SI24693A

SI24693A - Postopek za progresivno brezizgubno stiskanje podatkov, pridobljenih s prostorskimi laserskimi prebirniki

Info

Publication number: SI24693A
Application number: SI201400125A
Authority: SI
Inventors: LipuĹˇ Bogdan; Ĺ˝alik Borut
Original assignee: Univerza V Mariboru
Priority date: 2014-03-31
Filing date: 2014-03-31
Publication date: 2015-10-30
Also published as: EP2927875A3; EP2927875A2

Abstract

Ta izum obravnava postopek za brez izgubno progresivno stiskanje izmerjenih podatkov, ki jih pridobimo s prostorskimi laserskimi prebirniki LiDAR. Postopek po tem izumu je sestavljen iz več korakov: določanje omejujočega pravokotnika, njegova delitev v 2D mrežo, določanje nivojev mrežnih črt, določanje nivojev podatkovnih točk, njihovo razporejanje v odgovarjajoče sezname, ter shranjevanje le-teh z uporabo postopkov stiskanja. Zaradi pričakovanih velikih velikosti podatkovnih datotek se razporejanje podatkov LiDAR v hierarhične nivoje po predmetnem postopku izvede brez pred obdelave, v enem koraku.

Description

POSTOPEK ZA PROGRESIVNO BREZIZGUBNO STISKANJE PODATKOV,

PRIDOBLJENIH S PROSTORSKIMI LASERSKIMI PREBIRNIKI

OPIS IZUMA

Področje tehnike

Izum se nanaša na obdelavo podatkov, pridobljenih s prostorskimi laserskimi prebimiki LiDAR (Light detection and ranging), oziroma natančneje na postopek organizacije teh podatkov, s katerim je omogočeno progresivno brezizgubno stiskanje in razširjanje podatkov.

Prikaz problema

Tipična datoteka (na primer z zapisanimi podatki v skladu s specifikacijami standardiziranega formata LAS) vsebuje veliko količino podatkov, pridobljenih s prostorskimi laserskimi prebimiki LiDAR (običajno več kot 10 milijonov točk na kvadratni kilometer), kar pomeni, da lahko datoteke dosežejo velikosti tudi do nekaj gigabajtov. Zaradi omejitev v pasovni širini je prenašanje datotek takšnih velikosti skozi komunikacijske kanale zelo težaven in dolgotrajen proces. Postopek progresivnega brezizgubnega stiskanja podatkov za potrebe vizualizacije in drugih načinov procesiranja podatkov, ki je predmet tega izuma, tako predstavlja veliko prednost.

Stanje tehnike

Tehnologija LiDAR je aktivna tehnologija daljinskega zaznavanja, ki pri nekaterih različicah omogoča določanje razdalje do cilja glede na časovno zakasnitev med oddanim in sprejetim laserskim žarkom (glej na primer patentni dokument US 7746449 in US 7701558). Iz sprejetega žarka lahko, med drugim, pridobimo tudi intenziteto in število odbojev (US 7187452). Tehnologija LiDAR se uporablja na številnih področjih, na primer, v geografiji, geologiji, geomorfologiji, arheologiji, seizmologiji, atmosferski fiziki in laserskem merjenju višine.

• · · • ·

Tehnologija LiDAR se je izkazala kot primerna za zaznavo različnih ciljnih objektov, od kamnin, vegetacije, kovinskih in nekovinskih človeško izdelanih predmetov, kemičnih spojin, aerosolov in atmosfere. Pri prostorskih laserskih prebimikih se lahko uporablja ultravijolična, vidna ali skoraj infrardeča svetloba. Zaradi kratke valovne širine svetlobe, v primerjavi z ostalimi elektromagnetnimi valovanji, lahko dosežemo visoke ločljivosti. LiDAR prostorski laserski prebimiki so pogosto nameščeni na letala, helikopterje, pa tudi satelite. Takšni sistemi LiDAR se na primer uporabljajo za pridobivanje informacij o zemeljskem površju. Položaj prostorskega laserskega prebimika v sistemu LiDAR se določa z globalnim sistemom pozicioniranja (GPS), inercialna merilna enota pa se lahko uporablja za kotno orientacijo prostorskega laserskega prebimika. Na ta način lahko izračunamo natančen položaj (x, y, z) točke ciljnega objekta v enem izmed geografskih koordinatnih sistemov (na primer v koordinatnem sistemu »Universal Traverse Mercator« ali v koordinatnem sistemu »Gauss-Kruger«), S prostorskimi laserskimi prebimiki lahko dosežemo do 200.000 merilnih odčitkov na sekundo.

LiDAR podatki so shranjeni v podatkovnih datotekah v skladu s formatom datotek. Običajno uporabljeni format datoteke je odprtokodni industrijski standard, določen s specifikacijami LAS, ki jih je objavilo združenje The American Society for Photogrammetry & Remote Sensing (ASPRS). Specifikacije določajo binarni format datoteke LAS. Trenutno obstaja pet različic: LAS 1.0 do LAS 1.4. Razlike med posameznimi različicami so minimalne, vse pa vsebujejo podatke o koordinatah x, y, z ter ostale atribute, kot so intenziteta prejetega signala, številka prejetega signala, klasifikacijski indikator, barva točke ipd. Tipična datoteka LAS vsebuje več kot deset milijonov točk, kar pomeni, da lahko dosežemo velikosti datotek po nekaj gigabajtov na kvadratni kilometer. Podatkov takšnih velikosti zaenkrat ne moremo prenašati po komunikacijskih kanalih zaradi omejitev v pasovni širini, ki je potrebna za interaktivno vizualizacijo in procesiranje teh podatkov. Zaradi tega ima progresivno stiskanje podatkov LiDAR veliko prednost.

• · • · • ·

Stiskanje podatkov ima dolgo zgodovino v računalniški znanosti. Patentni dokumenti US 5418532, US 5546080 in US 7737870 obravnavajo splošne postopke stiskanja podatkov. Širok nabor različnih postopkov stiskanja podatkov je zbran v knjigi Davida Salomona z naslovom Data Compression: The Complete Reference, Springer Verlag, Berlin, 2007. Žal pa splošno namenski algoritmi stiskanja niso dovolj učinkoviti pri stiskanju podatkov LiDAR. Tako so bili predstavljeni domensko specifični algoritmi stiskanja podatkov. V nadaljevanju bomo tako predstavili patentne dokumente in ostala povezane znanstvene objave, ki obravnavajo stiskanje podatkov LiDAR.

V patentnem dokumentu US 5793371 je predstavljeno stiskanje tridimenzionalnih podatkov s pomočjo posplošene trikotniške mreže. Z analizo povezav v trikotniški mreži je določen vrstni red zapisa točk. Zatem pa se položaji točk kodirajo s Huffmanovim kodiranjem (A Method for the Construction of Minimum-Redundancy Codes, Proč. of the I.R.E., pp. 1098-1102, 1952). Obstajajo še nekateri drugi postopki geometrijskega stiskanja (na primer US 5793371, US 5867167, US 5870094, US 6239805, US 6314205 ter W0/2000/077740 in US 2002050992). Ti postopki niso primerni za stiskanje podatkov LiDAR, ker jih je težko urediti v trikotniške mreže in ker je zaporedje točk zelo veliko in jih je posledično zelo težko obdelovati. Potrebujemo torej posebne postopke stiskanja, ki upoštevajo tudi topologijo podatkov.

Avtorji Pradhan, Kumar, Mansor, Ramli in Sharif so v znanstvenem članku Light Detection and Ranging (LiDAR) data compression, KMITL Science and Technology Journal, pp. 515-526, 2005, predstavili postopek izgubnega stiskanja podatkov LiDAR, ki uporablja Delaunayevo triangulacijo pri aproksimaciji površja, določenega s točkami LiDAR. Površje je nato stisnjeno z valčno transformacijo druge stopnje.

V članku Wiman in Quin, Fast Compression and Access of LiDAR Point Clouds Using Wavelets, Joint Urban Remote Sensing Event, pp. 718-723, 2009, avtorja uporabita za stiskanje oblaka točk LiDAR tudi valčno transformacijo. Ta je izvedena neodvisno v smeri posamezne koordinatne osi x, y, z in kodirana kot enodimenzionalni vektor, razdeljen na dve polovici. Zaporedno posnete točke imajo po izvedeni valčni transformaciji podobne koeficiente v izhodnem vektorju, ki ga lahko učinkovito stisnemo. Zaradi kvantizacije gre za izgubno stiskanje. Postopek pa prav tako ne upošteva ostalih atributov točke v datoteki LAS (čas GPS, intenziteta itd.).

Mongus in Žalik sta v članku Efficient method for lossless LIDAR data compression, International Journal of Remote Sensing, 32 (9), pp. 2507-2518, 2011, predstavila brezizguben ne-progresiven postopek stiskanja datotek LAS ob uporabi modela z napovedovanjem. Vsak atribut točke sta kodirala neodvisno z uporabo naslednjih korakov: napovedovalno kodiranje, kodiranje s spremenljivo dolžino in aritmetično kodiranje. Napovedovalno kodiranje izkorišča geometrijsko soodvisnost med x, y in z koordinatami zaporednih točk. Ker so razlike med dejanskimi in napovedanimi vrednostmi običajno zelo majhne, jih lahko učinkovito stisnemo.

Avtor Martin Isenburg je v članku Laszip: Lossless compression of LiDAR data, Photogrammetric Engineering and Remote Sensing, 79 (2), pp. 209-217, 2013, predstavil postopek ne-progresivnega brezizgubnega stiskanja datotek LAS, ki tudi uporablja napovedovanje vrednosti za učinkovito stiskanje podatkov.

V članku Lossy LAS file compression using uniform space division, Electronics Letters, 48 (20), pp. 1278-1279, 2012, sta avtorja Lipuš in Žalik predstavila postopek izgubnega stiskanja podatkov LiDAR z uporabo enakomerne delitve prostora, v katerem sta s premikanjem in odstranjevanjem točk v območjih z večjo frekvenco vzorčenja omogočila boljše razmeije stiskanja ob enakem številu točk na kvadratni meter kot obstoječe rešitve.

Komercialni programski produkt za stiskanje datotek LAS ponuja podjetje LizardTech™ (http://www.lizardtech.com). Njihov produkt omogoča tako brezizgubno kot tudi izgubno stiskanje datotek. Podrobnosti o uporabljenem pristopu stiskanja niso znane.

Opis skic

Lastnosti in prednosti izuma so predstavljene in opisane z naslednjimi skicami:

Skica 1 prikazuje shematski prikaz podatkovnega toka pri postopku progresivnega stiskanja podatkov LiDAR;

Skica 2 prikazuje podroben diagram, ki predstavlja posamezne faze pri postopku progresivnega stiskanja podatkov LiDAR;

Skica 3 prikazuje rekurzivno delitev omejujočega pravokotnika in določanje nivojev mrežnih črt;

Skica 4 prikazuje primer vhodnega toka 16 zaporednih točk LAS, razporejenih v 2D mrežo;

Skica 5 prikazuje določanje nivojev 16 zaporednih točk LAS iz primera na skici 4 in njihovo porazdelitev v sezname točk z enakimi nivoji (Lo,..., £_n).

Opis nove rešitve

Glavni namen in cilj predmetnega izuma je izdelati postopek progresivnega stiskanja podatkovnih datotek, pridobljenih s prostorskimi laserskimi prebimiki LiDAR (kot so na primer datoteke LAS), ki bo omogočal postopen prenos stisnjenih podatkov - najprej manjših količin, ki predstavljajo podatke v manjši ločljivosti, nato pa ostale nivoje podatkov, ki dodajajo podrobnosti ter omogočajo prikaz in procesiranje podatkov v večji ločljivosti. Uresničitev zadane naloge je še posebej uporabna pri prenosu podatkov v omrežju, kjer je zaželen predhodni pregled podatkov v nižji ločljivosti, kasneje pa ima uporabnik z dodatnimi zahtevami po podatkih možnost pridobitve in obdelave podatkov v večji ločljivosti. Izum je še posebej primeren pri prenosu podatkov LiDAR po komunikacijskih kanalih, kjer je omejena pasovna širina.

V nadaljevanju so predstavljene podrobnosti izvedbe brezizgubnega progresivnega stiskanja podatkovnih datotek po postopku, ki je predmet tega izuma. Postopek po tem izumu je sicer ponazorjen na primeru stiskanja datotek LAS, vendar je po predmetnem postopku možno stiskati tudi druge vrste datotek, ki vsebujejo podatke LiDAR.

Postopek stiskanja podatkov po tem izumu torej ni omejen samo na stiskanje datotek LAS.

V bistvu postopek po tem izumu za progresivno stiskanje podatkov LiDAR brez predhodne obdelave podatkov obsega naslednje korake:

1. Najprej določimo omejujoč pravokotnik, v katerem so vse obravnavane podatkovne točke. Omejujoč pravokotnik rekurzivno razdelimo z mrežnimi črtami na štiri enakovredne dele, imenovane mrežne celice. Na ta način dodajamo mrežne črte v smeri vsake od obeh koordinatnih osi (x, y) in jim priredimo ustrezen nivo.

2. Po tvorbi mrežnih celic, omejenih z mrežnimi črtami, so točke iz podatkovne datoteke razporejene v različne nivoje oziroma v sezname točk z enakim nivojem.

3. Sezname podatkovnih točk stisnemo in shranimo od višjih do nižjih nivojev. Zaporedne točke v seznamih višjih nivojev so shranjene s kodiranjem s spremenljivo dolžino in aritmetičnim kodiranjem. Pri nižjih nivojih, ki vsebujejo večje število točk, ki so dovolj blizu skupaj, uporabimo še napovedovanje vrednosti, preden uporabimo kodiranje s spremenljivo dolžino in aritmetično kodiranje.

Pri predmetnem izumu zgradimo hierarhični podatkovni model, kjer vsak seznam istega nivoja vsebuje množico točk. Število točk narašča od višjih do nižjih nivojev. Na ta način predstavljajo višji nivoji podatke v nižji ločljivosti, ki se progresivno izboljšuje z dodajanjem točk iz nižjih nivojev. Da se izognemo predobdelavi podatkovnih datotek, število nivojev predhodno hevristično ocenimo z naslednjo enačbo:

«_e= [0,5 log2jLQ,

Kjer n_e predstavlja ocenjeno število nivojev, M pa predstavlja število točk v podatkovni datoteki. Pri tem je postopek po izumu uporaben tudi, če je število nivojev izbrano ali izračunano na kakšen drugačen način.

Blokovni diagram na skici 1 predstavlja osnovni tok v procesu progresivnega stiskanja podatkovnih datotek, kot je ponazoijeno na primeru datoteke LAS. Po laserskem prebiranju (blok 100), se podatki LiDAR (blok 110) shranijo v datoteko LAS (blok

120). V koraku 130 se točke iz datoteke LAS porazdelijo v nivoje. Po porazdelitvi se na koraku 140 seznami točk z enakim nivojem kodirajo in shranijo v izhodno datoteko (blok 150).

Množico točk na posameznem nivoju moramo izbrati dovolj enostavno, da lahko algoritem uspešno obdeluje večje število točk. Najpomembnejša omejitev je dejstvo, da so točke v datoteki LAS shranjene glede na čas GPS. Boljše rezultate lahko torej dosežemo, če ohranimo zaporedje vhodnih točk.

Postopek progresivnega stiskanja datotek LAS (blok 200) je sestavljen iz naslednjih korakov, semantično predstavljenih na skici 2. V koraku 210 pridobimo iz zaglavja datoteke LAS omejujoč pravokotnik, ki vsebuje vse obravnavane točke. V koraku 220 omejujoč pravokotnik razdelimo z mrežnimi črtami na štiri enake dele. Proces delitve omejujočega pravokotnika nadaljujemo, dokler ne dosežemo prekinitvenega kriterija (to je hevristično določenega števila nivojev). Na ta način so dodane mrežne črte v smeri obeh koordinatnih osi (x, y). Mrežnim črtam določimo odgovarjajoče nivoje Lq, L\, ..., L„ (kjer je n globina rekurzije, ki je določena s številom želenih nivojev). Podrobna predstavitev koraka 220 je prikazana na skici 3. Mreža po prvi delitvi je prikazana v koraku 310, druga in tretja delitev pa v korakih 320 oziroma 330.

Po formiranju mrežnih celic, omejenih z mrežnimi črtami, lahko točke iz datoteke LAS razporedimo v različne nivoje. Za vsako točko iz vhodne datoteke izvedemo korake 230, 240 in 250. Na začetku določimo mrežno celico, v kateri se nahaja prva točka iz datoteke LAS. Vsaka mrežna celica je določena s štirimi mrežnimi črtami (levo, desno, zgornjo in spodnjo). Nivo prve točke je določen kot nivo leve mrežne črte obravnavane mrežne celice (na primer, nivo točke Po na skici 4 je Z₂).

V nadaljevanju, se nivoji zaporednih točk določijo po naslednjem postopku:

Če je položaj naslednje točke v isti mrežni celici, je točka v najnižjem nivoju (L_n) (točka Ρ] na skici 4 dobi nivo L_n). Če se naslednja točka ne nahaja v isti mrežni celici kot prejšnja točka, poiščemo mrežno celico, v kateri se nahaja naslednja točka. Če je mrežna celica na levi strani prejšnje celice, se nivo naslednje točke določi glede na nivo desne mrežne črte. Podobno je, če mrežna celica leži na desni strani prejšnje mrežne celice. V tem primeru je nivo naslednje točke določen kot nivo leve mrežne črte (točka P2 na skici 4 ima tako nivo L\). Če položaj nove mrežne celice v smeri koordinatne osi x ostane enak, potem uporabimo smer y. To pomeni, če je nova mrežna celica na zgornji strani prejšnje celice, je nivo obravnavane točke določen kot nivo spodnje mrežne črte. Podobno je, če nova mrežna celica leži na spodnji strani glede na prejšnjo celico. V tem primeru je nivo točke določen kot nivo zgornje mrežne črte (nivo točke P₄ na skici 4 je Po)·

Točke, urejene v nivoje, shranimo na koraku 260 v sezname, kot je shematsko prikazano na skici 5. Kot smo že omenili, točke v seznamih ostanejo urejene glede na čas GPS in so posledično lahko stisnjene na enostaven in učinkovit način. Poleg tega so tudi koordinate točke urejene v nivoje na zelo priročen način za stiskanje. Pričakovati je namreč, da so razdalje v smeri x med dvema sosednjima točkama znotraj enakega nivoja zelo podobne (glej na primer točke Po, P*,, Pio in Pi6 na skici 5) in so približno enake razdalji med mrežnimi črtami obravnavanega nivoja. Ker so razlike med temi razdaljami majhne, jih lahko učinkovito stisnemo. V nadaljevanju se seznami točk LAS stisnejo in shranijo v vrstnem redu, od najvišjega (io) do najnižjega nivoja (£_n). Zaporedne točke seznamov višjih nivojev lahko shranimo s kodiranjem s spremenljivo dolžino in aritmetičnim kodiranjem. Seznami najnižjih nivojev, ki vsebujejo večje množice točk, so dovolj blizu, da lahko uporabimo napovedovalni model, ki sta ga predstavila Mongus in Žalik, v postopku brezizgubnega ne-progresivnega stiskanja, Efficient method for lossless LiDAR data compression, International Journal of Remote Sensing, 32 (9), pp. 2507-2518, 2011. Po uporabi napovedovalnega modela uporabimo kodiranje s spremenljivo dolžino in aritmetično kodiranje. V koraku 270 pridobimo progresivno stisnjeno datoteko.

Claims

PATENTNI ZAHTEVKI

1. Postopek za progresivno brezizgubno stiskanje podatkov, pridobljenih s prostorskimi laserskimi prebimiki in shranjenih v podatkovni datoteki, značilen po tem, da se uporabi dvodimenzionalna hierarhična mreža na vhodnih podatkovnih točkah, shranjenih v podatkovni datoteki, s katero razporedimo točke v sezname različnih nivojev, ki jih shranimo in stisnemo posamezno z uporabo znanih postopkov kodiranja.
2. Postopek po zahtevku 1, značilen po tem, da se omejujoč pravokotnik okoli vhodnih podatkovnih točk rekurzivno enakomerno deli v dvodimenzionalno mrežo, mrežnim črtam pa se priredi nivo glede na globino rekurzije (to je števila zaporednih delitev omejujočega pravokotnika).
3. Postopek po zahtevku 2, značilen po tem, da se vhodne podatkovne točke iz podatkovne datoteke razporedijo v sezname glede na njihove nivoje, ki so jim bili določeni na osnovi položaja obravnavane točke v dvodimenzionalni mreži.
4. Postopek po zahtevku 3, značilen po tem, da je nivo obravnavane podatkovne točke določen glede na mrežne črte, ki omejujejo mrežno celico, v kateri leži podatkovna točka, in glede na položaj mrežne celice, v kateri leži predhodno obravnavana podatkovna točka.
5. Postopek po zahtevkih 1-4, značilen po tem, da so seznami točk z enakim nivojem shranjeni v zaporedju od naj višjega do naj nižjega nivoja.
6. Postopek po zahtevku 5, značilen po tem, da so seznami točk višjih nivojev shranjeni z uporabo kodiranja s spremenljivo dolžino in aritmetičnega kodiranja.
7. Postopek po zahtevkih 5 in 6, značilen po tem, da so seznami točk nižjih nivojev shranjeni tudi z uporabo napovedovanja vrednosti ne-progresivne sheme stiskanja, kodiranja s spremenljivo dolžino in aritmetičnega kodiranja.
8. Postopek po kateremkoli od predhodnih zahtevkov, značilen po tem, da je podatkovna datoteka standardizirana datoteka LAS.