SI26178A - Napredni sistem za upravljanje s paketniki s pomočjo tehnologije obogatene in razširjene resničnosti - Google Patents

Abstract

Napredni sistem za upravljanje s paketniki s pomočjo tehnologije obogatene in razširjene resničnosti predstavlja zasnovo celovitega zalednega sistema, ki uporabniku s pomočjo mobilne aplikacije na pametni mobilni napravi, podprti z AR tehnologijo, omogoča enostavno in hitro izvedbo oddaje ali prejema paketa. Na tak način ima uporabnik preko mobilne aplikacije vzpostavljeno varno šifrirano dvosmerno komunikacijo z zalednim sistemom, kjer s pomočjo zaslona, kamere, trenutne lokacije, bliskavice, ARtehnologije in ostalih elementov pametne mobilne naprave izvede vsa potrebna opravila v vseh korakih izvedbe (določi velikost paketa s pomočjo kamere, določi najbližji prost in po velikosti ustrezen paketnik s pomočjo trenutne lokacije, izvede navigacijo do izbranega paketnika, izvede vizualno označbo uporabnikovega paketnika izmed množice paketnikov s pomočjo AR tehnologije, izvede vizualni prikaz vsebine določenih paketnikov s pomočjo AR tehnologije ipd.). Zaradi takšne celovite zasnove sistemapredstavlja izum pomemben korak k enostavnejši, prijaznejši, hitrejši, robustnejši in cenovno ugodnejši rešitvi vseh korakov, s katerimi se uporabniki srečujejo ob vsakokratni izvedbi te vrste storitev. Na tak način opisan izum omogoča nove dodatne možnosti pri samostojni oddaji ali prejemu paketa ter širitvi koncepta ponujanja produktov v zaprtih in zaklenjenih paketnikih.

Description

NAPREDNI SISTEM ZA UPRAVLJANJE S PAKETNIKI S POMOČJO TEHNOLOGIJE OBOGATENE IN RAZŠIRJENE RESNIČNOSTI

Predmet izuma predstavlja napredni sistem za upravljanje s paketniki s pomočjo tehnologije obogatene in razširjene resničnosti (angl. »Augmented Reality«, v nadaljevanju označene kot AR), ki so z uporabo obstoječih naprav, kot so paketnik in pametne naprave s podprto AR tehnologijo (pametna mobilna naprava, pametna očala in ostale sorodne naprave) namenjeni različnim aplikativnim izvedbam enostavnejše oddaje ali prejema paketa v/iz paketnika.

Tehnični problem, ki ga rešuje izum, predstavlja zasnovo celovitega zalednega sistema, ki uporabniku s pomočjo mobilne aplikacije na pametni mobilni napravi, podprti z AR tehnologijo, omogoča enostavno in hitro manipulacijo pri oddaji ali prejemu paketa pri izvedbi vseh uporabnikovih korakov. Na tak način ima uporabnik preko mobilne aplikacije vzpostavljeno varno šifrirano dvosmerno komunikacijo z zalednim sistemom, kjer s pomočjo zaslona, kamere, trenutne lokacije, bliskavice, AR tehnologije in ostalih elementov pametne mobilne naprave izvede vsa potrebna opravila v vseh korakih izvedbe (določi velikost paketa s pomočjo kamere, določi najbližji prost in po velikosti ustrezen paketnik s pomočjo trenutne lokacije, izvede navigacijo do izbranega paketnika, izvede vizualno označbo uporabnikovega paketnika izmed množice paketnikov s pomočjo AR tehnologije, izvede vizualni prikaz vsebine določenih paketnikov s pomočjo AR tehnologije ipd.). Zaradi takšne celovite zasnove sistema predstavlja izum pomemben korak k enostavnejši, prijaznejši, hitrejši, robustnejši in cenovno ugodnejši rešitvi vseh vmesnih korakov, s katerimi se uporabniki srečujejo ob vsakokratni izvedbi te vrste storitev. Na tak način opisan izum omogoča nove dodatne možnosti pri samostojni oddaji in/ali prejemu paketa ter širitvi koncepta novega prodajnega kanala pri ponujanju produktov v zaprtih in zaklenjenih paketnikih.

Opisan izum predstavlja nadgradnjo obstoječega sistema paketnikov, ki so predstavljeni v patentni prijavi s številko W02020025098A1 in naslovom 'Smart Unattended Home Delivery Box'. Omenjena patentna prijava definira paketnik kot celovit produkt, ki dostavnim službam omogoča vnos paketa točno določenega uporabnika in brez njegove prisotnosti ter nadalje uporabnikov samostojni prevzem le-tega. Ohišje paketnika je zasnovano kot kompaktno in vodotesno, ki zaradi svojih lastnosti ščiti vsebino notranjosti pred zunanjimi vremenskimi vplivi.

Znanih je nekaj podobnih rešitev od katerih pa nobena ne posega v področje uporabe pametne mobilne naprave z AR tehnologijo v segment paketnih storitev in koncepta paketnikov. Znana je rešitev po patentu s številko US9230171B2 in naslovom 'Object Outlining To Initiate A Visual Search', ki je prirejena za industrijsko rabo in omogoča iskanje predmeta na podlagi video podatkov iz kamere pritrjene na očala z AR tehnologijo. Druga znana rešitev je po patentu s številko JP2013245029A in naslovom 'Picking system', ki je prav tako prirejena za industrijsko rabo in s pomočjo očal z AR tehnologijo omogoča izboljšanje delovne učinkovitosti v proizvodnih in skladiščnih obratih. Tretja znana rešitev je predstavljena v patentu s številko JP2015124057A in naslovom 'Sorting equipment, Information display method in sorting equipment, display section of Information display mechanism in sorting equipment, Information Processing section of Information display mechanism in sorting equipment', ki se podobno kot prejšnja dva uporablja v proizvodni industriji z uporabo očal z AR tehnologijo.

Skupna značilnost vseh navedenih rešitev je uporaba očal z AR tehnologijo in prikaz rezultatov na drugem zaslonu ali mediju. V primeru opisanega izuma AR očala niso nujno potrebna, saj se vso dogajanje izvede lokalno v pametni mobilni napravi serijsko opremljeni z AR tehnologijo (tako zajemanje trenutne slike, kot prikaz dodatnih vsebin na zaslonu pametne mobilne naprave v realnem času). S tem je izboljšana uporabniška izkušnja in dodatno zaščitena zasebnost uporabnika, saj se zajeta slika obdeluje sproti (v realnem času) in ne pošilja v zaledni sistem.

Ob uporabi pojmov navidezne resničnosti (angl. »Virtual Reality«, označene kot VR) in obogatene/razširjene resničnosti (angl. »Augmented Reality«, označene kot AR), je potrebno biti previden, saj med njima obstaja bistvena razlika. VR predstavlja računalniško ustvarjeno interaktivno 3D simulacijo, ki zaznava uporabnikov položaj in gibanje ter ga obogati z dodatnimi informacijami, s pomočjo katerih uporabnik pridobi občutek lastne prisotnosti v simulaciji. Medtem ko AR predstavlja resničnost, kjer uporabnik uporablja dejansko okolje, ki je obogateno z računalniško ustvarjenimi navideznimi predmeti. Na tak način dobi uporabnik občutek, da dodatno ustvarjeni navidezni predmeti dejansko sobivajo v njegovem okolju. Za oba je značilno, da so vsi navidezni predmeti ustvarjeni v realnem času in da se izvaja usklajen prikaz dejanskega in navideznega okolja.

S pomočjo prednosti opisanega izuma je možno v praksi izvesti različne aplikativne scenarije:

Prepoznavanje paketnika s pomočjo AR tehnologije

Na lokacijah, kjer je postavljeno večje število paketnikov (npr. matrika 10 v širino in 3 v višino) je potrebno uporabniku pomagati, da na najlažji način poišče paketnik z njegovim paketom. Podobno velja tudi pri oddaji paketa. Kadar uporabnik želi poslati paket, mora preko mobilne aplikacije izvesti »naročilo pošiljanja«. Ob tem vnese tip paketa, s pomočjo mobilne aplikacije izmeri njegovo velikost, vnese naslov prejemnika in lokacijo paketnika iz katerega želi izvesti pošiljanje. Sistem mu avtomatsko dodeli primeren paketnik, v katerega bo vstavil svoj paket (glede na primerno velikost paketa, glede na zasedenost paketnikov, sistem upošteva logiko enakomerne uporabe vseh paketnikov v sklopu ...). Kadar pride uporabnik do lokacije paketnikov, ima enak »problem«, kot pri prevzemanju paketa - poiskati mora paketnik, ki je rezerviran za oddajo njegovega paketa. Tukaj pride v poštev opisana rešitev z mobilno aplikacijo in upoštevanjem AR tehnologije: ko se uporabnik približa sklopu paketnikov, se vklopi kamera, prepozna sklop paketnikov in na sliki barvno označi paketnik, ki je rezerviran za uporabnika (bodisi za prevzem ali za oddajo paketa). Oznaka je tako prikaže na sliki, v živo. S tem je potrebno poudariti, da za izvedbo opisanega postopka zadostuje pametna mobilna naprava z AR tehnologijo, kamero in mobilno aplikacijo.

Uporaba paketnikov za spletne trgovce

Ideja temelji na nadgradnji uporabe paketnikov, kjer bi te namestili na lokacije varnih prostorov. V te namene se lahko izkoristijo neuporabljeni prostori kot so npr. poslovalnice pošte, železniške postaje, prazni lokali v centru mesta ipd. Prostor bi bil na voljo spletnim trgovcem, ki bi paketnike polnili s popularnimi izdelki (npr. najbolj popularen prenosnik, mobilni telefon, slušalke, ovitek za telefone ipd.). V vsakem paketniku bi bil vedno le en izdelek. Kadar želi kupec kupiti enega od teh izdelkov, ima tako možnost takojšnjega prevzema - aplikacija ga usmeri do prve lokacije s paketniki, kjer je ta izdelek na voljo, da ga takoj prevzame. Nakupno izkušnjo je s tem možno izvesti na različne načine:

- kupec doma poišče izdelek, ga izbere in plača, ta je nato zanj avtomatsko rezerviran v paketniku. Od tukaj naprej se nadaljuje izkušnja iskanja paketnika s pomočjo AR tehnologije.

- kupec pride na takšno lokacijo, kjer ga zanima, kaj vse je na voljo v pred-napolnjenih paketnikih. V mobilni aplikaciji vklopi kamero in jo usmeri v paketnike. Na vsakem paketniku se mu avtomatsko nariše slika vsebine v paketniku. V kolikor želi kupiti izdelek, ga v mobilni aplikaciji izbere, plača in takoj za tem prevzame - odpre paketnik s pomočjo mobilne aplikacije. S tem pridemo do neke vrste virtualnega prodajnega avtomata (angl. »Virtual vending machine«), le da vsebina brez mobilne aplikacije ni vidna.

Celota naprednega sistema za upravljanje s paketniki zahteva vzpostavitev komunikacijske infrastrukture, sestavljene iz naslednjih gradnikov:

Zaledni sistem v oblaku (slika 1)

Zaledni sistem v oblaku predstavlja centralno točko za zbiranje podatkov na enem mestu in upravljanje z njimi. Na sistemski ravni vsebuje podatkovno bazo, spletne aplikacije in komunikacijske vmesnike za podporo uporabniškim mobilnim aplikacijam. Na aplikativni ravni so nanj komunikacijsko povezane vse uporabniške aplikacije registriranih uporabnikov. Ob tem z uporabo procesne logike in algoritmov s pomočjo metod strojnega učenja in umetne inteligence uporabniku pomaga pri izvajanju vseh storitev, ki jih sistem ponuja.

Uporabniška aplikacija na pametni mobilni napravi (slika 2)

Aplikacija na pametni mobilni napravi uporabniku omogoča več različnih funkcij:

avtomatsko določanje najbližjega in najoptimalnejšega (po velikosti) prostega paketnika glede na velikost in/ali maso in/ali vsebino paketa,

- rezervacijo paketnika pred oddajo paketa iz seznama prostih paketnikov na posamezni lokaciji, - pomoč pri določanju velikosti paketa:

o z ročnim vnosom zunanjih mer paketa, o s pomočjo kamere mobilnega telefona.

navigacijo uporabnika do vnaprej določenega paketnika (lokacijsko vodenje po zemljevidu), pomoč pri iskanju uporabnikovega paketnika na lokaciji skupine paketnikov, kjer uporabnik s pomočjo AR tehnologije pametne mobilne naprave (telefon, tablica, pametna očala, pametne leče ...) na zaslonu zazna svoj paketnik, saj se mu ta posebej označi in na tak način vizualno predstavi, prikaz vsebine določenih paketnikov v primeru uporabe pred-napolnjenih paketnikov z najbolj prodajanimi izdelki, kjer se ponovno s pomočjo AR tehnologije pametne mobilne naprave na zaslonu prikažejo slike vsebine posameznega paketnika, ki so uporabljeni v te namene, odklepanje paketnika in oddajo ali prevzem paketa, pregled zgodovine oddanih in prejetih paketov, vse ostale informacije in storitve, ki jih sistem ponuja.

Diagram poteka izvajanja opravil na pametni mobilni napravi (slika 5)

Postopek pošiljanja paketa je predstavljen v diagramu poteka 400 na sliki 5, ker posamezni koraki v mobilni aplikaciji 207 na pametni mobilni napravi 200 zajemajo sledeča opravila:

401: uporabnik se prijavi v mobilno aplikacijo 207,

402: izbere možnost »Ustvari nov paket«,

403: vnese potrebne informacije (telefonsko številko in naziv paketa),

404: izbere možnost med ročnim ali avtomatskim vnosom velikosti paketa,

405: izbran je postopek določanja velikosti paketa s pomočjo AR tehnologije 205,

406: uporabnik s pomočjo kamere 203 in AR modula 205 zajame velikost paketa,

- 407: na zaslonu 202 se izpiše velikost paketa,

- 408: glede na trenutno lokacijo uporabnika se izpišejo vsi razpoložljivi paketniki v bližini,

- 409: uporabnik izbere najprimernejši paketnik,

- 410: izbere želeno hitrost dostave,

- 411: sistem prikaže seznam storitev dostavnih podjetij s cenami in okvirnim časom dostave,

- 412: uporabnik izbere dostavno podjetje,

- 413: sledi proces plačila (sredstva na kartici se rezervirajo v višini zneska poštnine), 414: izvede se postopek preverjanja rezervacije sredstev na kreditni kartici,

- 415: v primeru neuspešne rezervacije sredstev se uporabniku ponudi izbira druge kartice ali ponovnega poskusa rezervacije z isto kartico,

416: sistem rezervira paketnik za dostavo za naslednjih 24 ur,

417: uporabnik prispe na lokacijo paketnikov in v mobilni aplikaciji 207 izbere shranjen paket,

- 418: uporabnik se odloči za način iskanja rezerviranega paketnika v sistemu paketnikov 300, 419: izbran je postopek iskanja rezerviranega paketnika s pomočjo AR tehnologije 205,

- 420: uporabnik s pomočjo kamere 203 in AR modula 205 poišče rezerviran paketnik,

- 421; na zaslonu 202 se z dodatno barvo in grafiko označi rezerviran paketnik 301,

- 422: uporabnik izbere opcijo »Odpri paketnik«,

- 423: prične se predvajati »zvočni žeton« s pomočjo zvočnika pametne mobilne naprave 200,

- 424: izvede se preverjanje uspešnosti odpiranja paketnika,

425: uporabnik vstavi paket v paketnik in v mobilni aplikaciji 207 potrdi vstavljanje,

426: dostavno podjetje je avtomatsko obveščeno o novemu paketu za prevzem,

- 427: sistem paketnik rezervira za prevzem paketa iz strani kurirja dostavnega podjetja,

- 428: kurir prevzame paket iz paketnika,

429: uporabnik je avtomatsko obveščen o prevzetem paketu iz paketnika.

V nadaljevanju je izum prikazan shematsko. Vključeni shematski prikazi pregledno in strnjeno prikazujejo sledeče:

Slika 1: Shematski prikaz komponent zalednega sistema v oblaku,

Slika 2: Shematski prikaz komponent pametne mobilne naprave, ki so potrebne in aktivne v času uporabe mobilne aplikacije,

Slika 3: Shematski prikaz primera, kjer se na zaslonu pametne mobilne naprave s pomočjo AR tehnologije in trenutne lokacije zazna sklop paketnikov in označi uporabnikov rezerviran paketnik, Slika 4: Shematski prikaz sistema s prikazanimi medsebojnimi povezavami med pametno mobilno napravo in sistemom paketnikov,

Slika 5: Diagram poteka izvajanja opravil v mobilni aplikaciji pri pošiljanju paketa.

Zaledni sistem 100 predstavlja strežniško rešitev v oblaku in vsebuje vsaj sledeče sklope klasične strežniške arhitekture, navedene v nadaljevanju. Podatkovni strežnik 101 skrbi za delovanje podatkovne baze 106 v kateri so shranjeni vsi podatki celotnega sistema za upravljanje s paketniki. Spletni strežnik 102 vsebuje servisne in uporabniške spletne aplikacije 108 ter vse potrebne spletne vmesnike 107 (angl. Web Services), ki so potrebni za komunikacijo z mobilno aplikacijo 207 na pametni mobilni napravi 200. Komunikacijski vmesniki 103 skrbijo za stalno komunikacijsko povezavo z drugimi sistemi, ki so zaradi različnih razlogov aplikativno povezani s storitvijo upravljanja s paketniki. Modul za strojno učenje 104 (angl. »Machine Learning«) se uporablja za analizo podatkov in odkrivanje podobnosti v podatkovni bazi 106, podatkovno rudarjenje (angl. »Data Mining«) in učenje prepoznavanja ter obnašanja uporabnikov v posameznih situacijah glede na dane razmere. Osnovni princip modula za strojno učenje 104 predstavlja modeliranje pojavov iz množice zgodovinskih podatkov, kjer kot rezultat dobimo pravila in povezave, ki omogočajo realnejše podajanje napotkov in pomoč pri vodenju uporabnika. Modul za umetno inteligenco 109 predstavlja podporo programski opremi za analizo in prepoznavanje določenega paketnika iz sklopa paketnikov 300, kjer osnovne podatke pridobiva iz žive slike iz kamere in ostalih podrobnih informacij pridobljenih s pomočjo AR tehnologije pametne mobilne naprave.

Pametna mobilna naprava 200 predstavlja katerokoli napravo, ki vsebuje vsaj sledeče sklope, navedene v nadaljevanju. Komunikacijski modem 201, ki preko trenutno obstoječe brezžične tehnologije 209 (npr. GSM/3G/4G/5G omrežje, direktno IP omrežje, ...) omogoča komunikacijo s spletnimi vmesniki 107 zalednega sistema 100. Mobilna aplikacija 207 na pametni mobilni napravi 200 omogoča uporabniško interakcijo z vsemi podprtimi funkcijami vsakokratne verzije mobilne aplikacije 207. Mobilna aplikacija za lastno delovanje potrebuje dostop do kamere 203, bliskavice 204, AR modula 205 in lokacijskega modula 206 (npr. GNSS ali podoben sistem) na pametni mobilni napravi 200. Kamera 203 in bliskavica 204 služita za zajem žive slike 208 in osvetlitev okolice 208, nakar se s pomočjo AR modula 205 dejanska slika paketnikov 300 nadgradi z navideznimi elementi 301 nad enim ali več paketniki, ki se ob živi sliki prikažejo na zaslonu 202 pametne mobilne naprave 200 (npr. prikaz uporabnikovega paketnika, prikaz vsebine določenih paketnikov ipd.). S pomočjo lokacijskega modula 206 je omogočeno pridobivanje trenutne lokacije in na tak način navigacijo uporabnika do končne lokacije paketnikov 300.

Claims (6)

1. PATENTNI ZAHTEVKI

   1. Napredni sistem za upravljanje s paketniki s pomočjo tehnologije obogatene in razširjene resničnosti, značilen po tem, da vsebuje zaledni sistem v oblaku (100), pametno mobilno napravo (200) in sistem paketnikov (300).
2. 2. Napredni sistem za upravljanje s paketniki s pomočjo tehnologije obogatene in razširjene resničnosti po zahtevku 1, značilen po tem, da zaledni sistem v oblaku (100) vsebuje vsaj podatkovni strežnik (101) za upravljanje s podatkovno bazo (106), spletni strežnik (102) s servisnimi in uporabniškimi spletnimi aplikacijami (108), spletne vmesnike (107) za komunikacijo z mobilno aplikacijo (207) na pametni mobilni napravi (200), komunikacijske vmesnike (103) za stalno komunikacijsko povezavo z drugimi sistemi in module za izvajanje sodobnih metod strojnega učenja (104), umetne inteligence (109), procesne logike ter podpornih algoritmov (105).
3. 3. Napredni sistem za upravljanje s paketniki s pomočjo tehnologije obogatene in razširjene resničnosti po zahtevku 1, značilen po tem, da pametna mobilna naprava (200) vsebuje vsaj komunikacijski modem tipa GSM/3G/4G/5G/IP ali novejšega (201) za komuniciranje (209) s spletnimi vmesniki (107) zalednega sistema v oblaku (100), zaslon (202) za prikaz trenutne slike (208) pridobljene s pomočjo kamere (203) in prikaz dodanih navideznih elementov (301), pridobljenih s pomočjo tehnologije AR modula (205), bliskavico (204) za osvetlitev okolice, modul za pridobivanje trenutne lokacije (206) in mobilno aplikacijo (207) za izvajanje uporabniške interakcije.
4. 4. Mobilna aplikacija na pametni mobilni napravi po zahtevku 3, značilna po tem, da omogoča meritev velikosti paketa s pomočjo kamere (203), bliskavice (204) in AR modula (205) ter s tem avtomatski izračun volumetričnih podatkov paketa.
5. 5. Mobilna aplikacija na pametni mobilni napravi po zahtevku 3, značilna po tem, da omogoča avtomatsko zaznavanje ciljnega paketnika (301) iz množice paketnikov (300) s pomočjo kamere (203), bliskavice (204) in AR modula (205) ter prikaz obogatene slike na zaslonu (202).
6. 6. Mobilna aplikacija na pametni mobilni napravi po zahtevku 3, značilna po tem, da s pomočjo lokacijskega modula (206) omogoča avtomatsko določanje najbližje lokacije prostih paketnikov (300), ki so ustrezni glede na izmerjeno velikost paketa.