SI26152A - Postopek obvladovanja dvosmerne interakcije pri uporabi avdio-video komunikacijskih platform z uporabo digitalnih kanalov - Google Patents
Postopek obvladovanja dvosmerne interakcije pri uporabi avdio-video komunikacijskih platform z uporabo digitalnih kanalov Download PDFInfo
- Publication number
- SI26152A SI26152A SI202100017A SI202100017A SI26152A SI 26152 A SI26152 A SI 26152A SI 202100017 A SI202100017 A SI 202100017A SI 202100017 A SI202100017 A SI 202100017A SI 26152 A SI26152 A SI 26152A
- Authority
- SI
- Slovenia
- Prior art keywords
- listeners
- lecturer
- data
- agent
- lecture
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004891 communication Methods 0.000 title claims abstract description 28
- 230000003993 interaction Effects 0.000 title abstract description 5
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 230000000926 neurological effect Effects 0.000 claims abstract description 8
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 238000010801 machine learning Methods 0.000 claims abstract description 5
- 210000003813 thumb Anatomy 0.000 claims abstract description 5
- 230000004886 head movement Effects 0.000 claims abstract description 4
- 230000000694 effects Effects 0.000 claims description 11
- 210000003128 head Anatomy 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000008450 motivation Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 6
- 241001282135 Poromitra oscitans Species 0.000 claims description 5
- 206010048232 Yawning Diseases 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 5
- 239000011521 glass Substances 0.000 claims description 5
- 230000026676 system process Effects 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 claims description 4
- 239000008280 blood Substances 0.000 claims description 3
- 210000004369 blood Anatomy 0.000 claims description 3
- 210000003811 finger Anatomy 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000006213 oxygenation reaction Methods 0.000 claims description 2
- 239000003795 chemical substances by application Substances 0.000 claims 15
- 238000013481 data capture Methods 0.000 claims 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims 1
- 230000036772 blood pressure Effects 0.000 claims 1
- 230000010339 dilation Effects 0.000 claims 1
- 230000001404 mediated effect Effects 0.000 claims 1
- 229910052760 oxygen Inorganic materials 0.000 claims 1
- 239000001301 oxygen Substances 0.000 claims 1
- 230000000287 tissue oxygenation Effects 0.000 claims 1
- 230000001953 sensory effect Effects 0.000 abstract description 4
- 230000009885 systemic effect Effects 0.000 abstract description 2
- 238000012549 training Methods 0.000 abstract 2
- 238000001514 detection method Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 206010048909 Boredom Diseases 0.000 description 1
- 208000019695 Migraine disease Diseases 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000009226 cognitive therapy Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 206010027599 migraine Diseases 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1831—Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/10—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations all student stations being capable of presenting the same information simultaneously
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Educational Technology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Game Theory and Decision Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Izum rešuje problem predavanj prek spletnih platform, saj virtualno okolje ne nudi enakih možnosti interakcij med udeleženci kot običajna okolja. Pričujoč izum sodi na področje e-platform za izobraževanja na daljavo za razne vrste slušateljev (10). Prek digitalnih naprav (9) in digitalnih komunikacijskih poti omogoča vzpostavitev senzornih kanalov (1 do 4) med slušatelji in predavateljem prek specializiranega agenta (5) in pripadajoče podatkovne baze (15), h kateremu se stekajo podatki motorične,fiziološke, nevrološke in sistemsko- specifične narave. Ti senzorni kanali nudijo predavatelju (11) povratno informacijo v realnem času o tem, ali so slušatelji (10) v stanju pozornosti in aktivnega spremljanja izobraževanja ali ne, kar je prek ustreznega modula za prikaz informacij (6), npr. semaforskim kodiranjem, prikazano v realnem času. Pridobivanje povratnih informacij je možno tudi z običajnimi komunikacijskimi gestami, npr. premiki glave (13) oz. dvigom palca (12), celotna funkcionalnost izuma paje na voljo tako, da je zaščitena zasebnost udeležencev. Olajša tudi komunikacijo med udeleženci prek artikulacijskega kanala (7) za pisna vprašanja. Sistem omogoča tudi profiliranje izobraževanj in njihovo rangiranje, tako da lahko predavatelj (11) primerja uspešnost posameznega predavanja s preostalimi predavanji tej isti populaciji, ali drugi populaciji ter lahko bodoča predavanja ustrezno načrtuje in optimira. Dobljeni podatki služijo tudi nadaljnji analizi izvedbe izobraževanj po njihovem zaključku,saj se hkrati z njimi hranijo vsi zgoraj omenjeni podatki tudi s strani predavatelja. Podatki se obdelujejo v realnem času ali post-festum z uporabo statistike, strojnega učenja in drugimi ustreznimi metodami.
Description
NAZIV IZUMA
Postopek obvladovanja dvosmerne interakcije pri uporabi avdiovideo komunikacijskih platform z uporabo digitalnih kanalov
1. Področje tehnike
Področje tehnike, kamor se umešča predmet izuma, je področje avdio-video komunikacijskih platform za izobraževanja (to je predavanja in poučevanja) na daljavo za razne vrste slušateljev (učence, dijake, študente, odrasle). Avdio-video komunikacijske platforme omogočajo dvosmeren prenos zvoka in slike ter dodatne komunikacijske kanale, kot so posredovanje teksta, izražanje reakcij slušateljev (dvignjen prst, ploskanje, opozorila o prehitrem poteku predavanj ipd.), izdelava in izvedba kvizov, dodatni video učinki (npr. izbira ozadja, virtualna in nadgrajena resničnost), deljenje zaslona, uporaba sob za delo (breakout room), snemanje ipd. Obenem pa se pojavlja izziv, kako v digitalnem okolju avdio-video komunikacijskih platform zagotoviti čim bolj primerljive pogoje s klasičnim fizičnim srečanje za izvedbo kakovostnega virtualnega srečanja.
2. Prikaz tehničnega problema
Uporaba digitalnih medijev in digitalnih naprav postaja osnova za množico pomembnih in za družbo ključnih aktivnosti, kamor sodi tudi izobraževanje, v tem primeru izobraževanje na daljavo. Zato je vse večja potreba po rešitvah, ki najprej omogočajo izobraževanje na daljavo, obenem pa želijo pogoje narediti kar se da enakovredne poučevanju pri običajnih pogojih. Potem pa je tu potreba, kako z novimi tehnologijami obvladati vidike, ki v običajnih pogojih predstavljajo problem (ali pa jih sploh ni moč vključiti), pa so lahko zelo koristni pri poučevanju in jih digitalna tehnologija omogoča. Zato je potrebno vključiti še te novosti, kjer je eden ključnih ciljev personalizacije učnega in študijskega procesa. Celoten problem bo predstavljen s scenariji, podanimi v nadaljevanju, ki so osnova za rešitve v tej patentni prijavi.
I. »Pogovor s steno«. Ta scenarij se nanaša na t.i. efekt govorjenja v steno. Predavatelji se v okoljih izobraževanja na daljavo srečujejo z občutkom govorjenja v prazno, saj so prikrajšani za neposredni življenjski stik - povratne informacije s strani slušateljev, kar se zadnje čase še stopnjuje zaradi zahtev GDPR (General Data Protection Regulation). Ta stik je pomemben, saj predavatelju omogoča ustrezne reakcije. Praktične izkušnje kažejo, da slušatelji v takih okoljih težje ohranjajo pozornost, se priklapljajo na druge komunikacijske kanale (npr. pregledujejo besedilna sporočila na telefonih, surfajo po internetu ali gledajo pretočne vsebine, uporabljajo družbena omrežja, itd.). Ta težava je pogosto še večja zaradi množičnosti, saj predavatelj v okolju izobraževanja na daljavo bistveno težje prek omrežja sledi več deset (ali tudi več sto) slušateljem, da bi pridobil te povratne informacije. Poleg tega velik del povratnih informacij (kot so govorica telesa, oz. v virtualnih okoljih nezaznavni elementi komunikacije) preprosto manjka. Tudi sam obraz je prikazan na omejen način, saj npr. orodja za delo na daljavo znižajo resolucijo, da lahko posredujejo dovolj soliden video tok množici udeležencev.
II. Enosmerna komunikacija. Ta scenarij obravnava problem enosmerne komunikacije. Zaradi pogosto »nevidne prisotnosti« oz. brez slike slušateljev manjka povratna informacija o težavah, npr. nerazumevanju snovi ali (ne)strinjanju s kako tematiko ali trditvijo. Problem je tudi pri slikah slušateljev, ki so predavateljem sicer dostopne, a jih je zaradi prevelikega števila slušateljev preveč, da bi jih predavatelj lahko koristno opazoval. Nekatere platforme problem delno rešujejo s tem, da omogočijo slušateljem uporabo pozitivnega ali negativnega povratnega odziva (feedbacka), npr. v obliki ikone z dvignjenim ali spuščenim palcem. V praksi je rešitev delno učinkovita, saj predavatelj vidi lahko le majhen del slušateljev (oz. njihovih profilov s sliko), na katerih se pojavi ikona (ne)strinjanja. Obenem pa zahteva ta rešitev pripravljenost na aktivno odzivanje slušateljev na omenjene načine. Prav tako je problem, ko imajo slušatelji nalogo, da preberejo določen študijski tekst, saj predavatelj nima informacije o tem, če so končali.
III. Motiviranost slušateljev. Ta scenarij se nanaša na nezadostno motivacijo slušateljev za sodelovanje v primerjavi s klasičnimi načini poučevanja oz.
predavanj. Razlogov je več, eden ključnih je okleščenje skupinske dinamike, ki jo omogoča neposredna prisotnost v istem prostoru v običajnih okoljih.
IV. »Slabi dnevi«. Ta scenarij se nanaša na potencialen problem, da bo v določeni skupini slušateljev in ob določeni uri, trajanju, dnevu, vrsti predavanj povezanih s strukturo uporabljenih elementov predavanja (npr. ex katedra predavanje, diskusija, študija primera, delo v skupinah, besedilen naloge ipd.), predavanja slabše sprejeta s strani slušateljev. Primer so npr. ex katedra predavanja, ki v večernih urah niso najbolj učinkovita.
V. Nenaravno okolje. Ta scenarij se nanaša na problem, da so video platforme sicer tehnično sicer dovršene, vendar ne nudijo istega (ali ustreznega nadomestnega) občutka kot ga nudi predavalnica ali učilnica.
VI. Pisno vprašanje - prosim pomoč! Ta scenarij se nanaša na diskusijo v razredu oz. predavalnici, ki je zelo pomembna za uspešen izobraževalni proces. Praksa kaže, da je število vprašanj pri poučevanju (oz. predavanjih) na daljavo relativno manjše kot pri neposrednem stiku. Pri tem slušatelji raje kot da bi uporabili mikrofon uporabijo pogovorno okno za tipkanje sporočil. Vendar je to medij, ki zahteva sposobnost kratkega, a jasnega oblikovanja vprašanj. Zato so vprašanja dostikrat površno napisana ali nezadostno artikulirana, je pisanje zahtevnejši proces kot besedno izražanje.
3. Stanje tehnike
Temo predlaganega izuma delno naslavljajo v nadaljevanju navedeni patenti (pridobljeni so v bazi esp@cenet, ki deluje preko vseh patentnih baz, pridobljeni pa so bili na dan 22. 10. 2021):
1. Utilizing correlations between PPG signals and IPPG signals to improve detection of psychological responses (US 2020/0085312 Α1): Predstavljeni so sistemi in metode za detektiranje fizioloških odzivov prek fotoflezmografskih senzorjev. Ti fiziološki senzorji zaznavajo npr. infarkt, migreno, čustvene odzive. Pri enem možnem načinu uporabe kamera zajema del kože na glavi subjekta in ga korelira z fotoflezmogramskim signalom na sosednjem segmentu kože.
2. Intelligent agents for managing data associated with three-dimensional objects (WO 2020/117615 Α1): Tehnike predstavljene v patentu izboljšajo učinkovitost prikazov v nadgrajeni in navidezni resničnosti, kjer individualni agenti zbirajo, analizirajo in hranijo podatke o individualnih objektih, ki so nato prikazani v deljenem pogledu (podoknu) vsem udeležencem (npr. prek ustreznih očal).
3. Selective alerting users of real objects in a Virtual environment (WO 2020/018252 Α1): Računalniško izvedena tehnika omogoča razločevanje enega ali več objektov v fizičnem svetu, ki jih lahko uporabnik selektivno identificira za prikaz v virtualnem svetu, ostali predmeti pa ostanejo neprikazani, da ne prihaja do nepotrebne informacijske preobremenjenosti uporabnika.
4. System and method for classifying passive human-device interactions though ongoing device context awareness (US 2020/0210781 Α1): Ta sistem in metoda omogočata kontekstno odvisno zaznavo pasivnih dogodkov (npr. lokomotorike uporabnika) na lokalni napravi s komercialno dosegljivimi senzorji ob nizki porabi, npr. na mobilnem telefonu (za povečanje neodvisnosti od procesiranja v npr. oblaku).
5. Simulation distraction suppression (US 2020/0183762 Α1): Ta rešitev omogoča udeležencu v računalniški simulaciji prek objekta (agenta), ki teče znotraj simulacije, posredovati sporočilo udeležencu glede na nujnost le-tega skladno s simuliranim ambientom.
6. Human-computer interface using high-speed and accuratetrackingof user interactions (WO 2020/061358 Α1): Prikazane izvedbe vključujejo sisteme, naprave in metode za izvedbo uporabniško-računalniškega vmesnika z uporabo hitrega sledenja interakcijam uporabnika. Izvedbe vključujejo nevronske, motorne in elektromiografske signale za omogočanje obvladovanja naprav in strojev s strani uporabnika.
7. Brain-computer interfaces with high-speed exe tracking features (US 2020/0192478 Α1): Prikazane izvedbe vključujejo sisteme, naprave in metode za implementacijo in uporabo možgansko-računalniškega vmesnika, ki sledi premikom očes v realnem času in jih integrira z možganskimi aktivnostmi. Skladno s tem z visoko hitrostjo prilagaja uporabniški vmesnik. Izvedbe vključujejo izvedbe možganskoračunalniškega vmesnika, ki uporablja sledenje očem v realnem času in analizo nevronskih signalov v realnem času, da uporabniku omogoči ustrezno upravljanje z napravo.
8. Internet based distance learning of medical procedures (WO 2005/076241 Α1): Podani metoda in oprema omogočata snemanje operativnega postopka, ki se prenese na strežnik in zatem omogočata na oddaljeni lokaciji izvajanje take operacije ob vodenju na podlagi obstoječega posnetka.
9. Wearable electric, multi-sensory, human-machine, human/human interfaces (WO 2016/168117 Α2): Nosljiv haptični vmesnik prejema biosignale mišičja in nevronov uporabnika, ki se uporabijo za generiranje električnega signala, ta pa služi za ustrezno aktiviranje in krmiljenje izbranega objekta. Objekt je lahko biološka komponenta taistega ali celo drugega uporabnika (npr. muskulatura), lahko pa je to naprava (npr. dron). Primeri uporabe vključujejo odpravo tremorja, kognitivno terapijo, oddaljeno vodenje robotov, nadgrajeno in navidezno resničnost, infarkt in z njim povezano rehabilitacijo, igre, izobraževanje, zabavo, obvladovanje bolečine, kirurške posege na daljavo, oddaljeno prisotnost pri raznih dogodkih (npr. športnih) in biološkem feed-backu. Rešitev vključuje pojem oddaljene realnosti, ki je lahko časovna ali prostorska in pokriva naravno realnost, nadgrajeno in navidezno resničnost.
lO.Stress level reduction using haptic feedback (US 2020/10692606 Β2): Patent podaja metode, računalniške programe in sisteme, ki lahko pridobivajo odzivne biometrične podatke prvega uporabnika in jih posredujejo njegovemu računalniku ali njemu samemu, lahko pa uporabniku drugega računalnika oz. drugemu uporabniku. Odzivni biometrični podatki služijo klasifikaciji stresa in vključujejo haptično povratno informacijo.
ll.Systems and methods for providing customizable haptic playback (US 2020/1042484 Α1): Opisani sistem vključuje računalniško napravo, ki generira vsebino, ki se posreduje uporabniku. Izbrana vsebina se posreduje z vključitvijo ustreznih haptičnih podatkov glede na izbrano vsebino, ti haptični podatki pa se potem uporabijo za krmiljenje izhodne naprave, ki te haptične signale posreduje uporabniku.
12.Mixed-reality system (W0 2017/055829 Α1): Patentiran sistem omogoča generiranje vsaj enega virtualnega objekta, ki ustreza vsaj enemu realnemu objektu. Sistem osveži stanje virtualnega objekta skladno s spremembami stanja realnega objekta in obratno.
13. Najbližje pa je patent, ki ga je nedavno dobil Micrisoft. Velikan iz sveta programske opreme se spopada s kritikami zaradi svoje nove tehnologije Productivity Score, ki lahko meri, koliko posamezni zaposleni uporabljajo e-pošto, klepet in druga digitalna orodja. Izkazalo seje, da ima Microsoft še večje načrte za uporabo tehnologije za spremljanje zaposlenih in povečanje produktivnosti. Njegova patentna prijava namreč opisuje sistem za izpeljavo in napovedovanje »splošnih ocen kakovosti« sestankov z uporabo podatkov, kot so govorica telesa, obrazna mimika, sobna temperatura, čas dneva in število ljudi na sestanku. Sistem uporablja kamere, senzorje in programska orodja, da ugotovi, koliko posamezen udeleženec prispeva k sestanku in koliko časa/energije porabi za druge »naloge« (na primer pošiljanje sporočil SMS, preverjanje e-pošte, brskanje po internetu ...).
Nobena od zgornjih inovacij nima sistema za spremljanje fiziološko-motoričnihnevroloških odzivov slušateljev (npr. koncentracije) oz. eksplicitne digitalne konceptualizacije štirih ključnih kanalov: sistemsko-procesnega, motoričnega, fiziološkega in nevrološkega. Nobena nima omenjenih štirih kanalov zastavljenih proti agentu tako s strani slušateljev kot predavatelja (in opcijsko v obratni smeri od agenta proti predavatelju in/ali udeležencem). Nadalje, nobena ne nudi učinkovitega načina prikaza (prikazna barvna črta z ustrezno skalo, ali prikazni kazalec, ki se giblje po ustrezni skali) za relevantne povratne informacije po posameznem kanalu, kombinaciji teh kanalov ali po vseh kanalih skupaj v realnem času ali post-festum. Nadalje, nobena od omenjenih metod ne zagotavlja zasebnosti slušateljev ob obenem ustrezen informiranju predavatelja o stanju slušateljev (avditorija), kar predstavljena rešitev omogoča.
4. Opis izuma (rešitev tehničnega problema)
Predlagani izum prek digitalnih naprav 9 (kot so računalniki, pametni telefoni, etablice) in digitalnih komunikacijskih poti omogoča vzpostavitev senzornih kanalov 1 do 4 od slušateljev k predavatelju, kamor se stekajo sistemskoprocesni podatki o osnovnih procesih na uporabljenih digitalnih napravah 9 vključno s strojnimi elementi, kot so kamera, mikrofon, tipkovnica in miška. Vzpostavljeni kanali 1 do 4 prek nadaljnje analize v agentu 5 nudijo predavatelju 11 povratno informacijo o motoričnem/fiziološkem/nevrološkem stanju slušateljev 10 in njihovih aktivnostih in odzivih. V praksi mislimo npr. na stanje slušateljev 10 oz. avditorija o koncentraciji in pozornosti, strinjanju oz. nestrinjanju, aktivnostmi (telefoniranje, igranje iger, drugo delo), ki niso povezane s predavanju in drugih pomembnih parametrih, ki služijo kot pomembna informacija predavatelju 11 pri izvedbi kakovostnega predavanja.
Rešitev vključuje sledeče bistvene elemente s pripadajočo funkcionalnostjo:
• Telemetrični (oddaljeni) zajem podatkov prek ustrezne senzorike. Ta poteka prek štirih temeljnih senzornih kanalov 1 do 4, ki so logične narave in realizirani: sistemsko procesnega 1, motoričnega 2, fiziološkega 3 in nevrološkega 4. Predavatelju 11 nudijo povratno informacijo v realnem času o tem, ali so slušatelji 10 v stanju pozornosti in aktivnega spremljanja izobraževanja, ali pa so v nekooperativnem stanju (npr. preutrujeni oz. v nezadostno aktivnem stanju). Skladno s tem lahko predavatelj 11 (učitelj, profesor, ekspert) prilagodi tok poučevanja oz. predavanj. Ti kanali, ki združujejo podatke glede na njihovo generično poreklo in se zajemajo prek senzorjev 14, ki so že vključeni na uporabljenih digitalnih napravah 9 (npr. računalnikih), ali pa omogočeni s strani dodatne opreme (npr. virtualno resničnostnih oz. VR očal) in so povezani z avdio-video platformo 8.
• Agent 5, ki deluje kot proksi (lahko tudi kot t.i. chatbot) in opravlja analizo podatkov, ki so zbrani s strani slušateljev 10 in/ali predavatelja 11 in ki vrši anonimizacijo podatkov ali na kak drug način zagotavlja zaščito zasebnosti udeležencev. Agent 5 upravlja modul za hranjenje informacij 15 (za hranjenje osnovnih ter analizno izvedenih podatkov), analitiko pa opravlja v realnem času in post-festum. Analitika obsega tako obdelavo podatkov pridobljenih s strani posameznih slušateljev 10 in predavatelja 11, ko tudi izdelavo njihovih agregatov. Pri tem je zelo pomembno zaznavanjem značilnih vzorcev na slikah oz. signalov iz drugih senzorjev 14, npr. fiziološki in motorični odzivi ne-koncentracije (zehanje, zdolgočasen obraz, pogovor, ki ni namenjen komunikaciji s predavateljem 11) ali drugačnega odziva slušatelja 10 (npr. prikimavanje kot znak strinjanja). Ti se praviloma ne prikazujejo udeležencem, ampak samo predavatelju 11. Analitika podatkov temelji na uveljavljenih metodah kot so zaznavanje vzorcev, statistika, umetna inteligenca in strojno učenje. Po koncu seje se predavatelju pokaže tudi generalni rezultat obdelave posameznih parametrov na osnovi uporabljene metrike za celotno virtualno srečanje, rangiranje napram drugim virtualnim srečanjem in možnost dodatne analitike (npr. pivotne tabele). Agentu 5 je pridružen tudi dvostranski kanal, realiziran prek, avdio-video platforme 8, imenovan artikulacijski kanal 7, prek katerega agent 5 pomaga slušateljem 10 artikulirati vprašanja, ali zajemati naravne odzive, kot je potrjevanje z dvignjenim palcem 12 ali kimanjem glave 13 (ki jih lahko procesirane posreduje naprej predavatelju).
• Modul za prikaz informacij 6, ki se v ustrezni zbirni in/ali anonimizirani obliki posredujejo (tipično v grafični obliki) prikaže predavatelju 11 in/ali slušateljem 10. Osrednji element je praviloma dinamičen barvno kodiran stolpič (npr. od zelene, ki predstavlja polno pozornost, prek rumene do rdeče, ki predstavlja odsotnost pozornosti) ali Likertova lestvica (npr. od 0 do 10, kjer 0 pomeni odsotnost pozornosti, 10 pa polno pozornost) oz. na analogen način prikazuje druge reakcije oz. indikatorje, kot je npr. strinjanje, končanje branja strani ipd.
• Modul za hranjenje informacij 15, ki so praviloma anonimizire za kasnejše analize, pri čemer agent lahko hrani tudi vse ostale podatke v skladu z zahtevami GDPR.
Rešitev tudi omogoča, da slušatelji 10 npr. svoje slike iz kamere ne posredujejo na avdio-video komunikacijsko platformo 8 tako, da jih vidijo ostali udeleženci, saj drugi senzorji 14 (v povezavi z omenjenimi štirimi kanali 1 do 4) omogočajo zbiranje podatkov za potrebe analitike. Lahko pa je kamera vseeno aktivna le za potrebe analitike oz. za potrebe analitike, a sama slika ni prikazana na avdiovideo platformo 8.
Izum omogoča zaznavo pozornosti na način, da je zaščitena zasebnost udeležencev (slušateljev 10 in predavatelja/ev 11), s tem da sami podatki, ki so na voljo predavatelju (ali pa morebitnemu napadalcu) ne predstavljajo zadostne osnove za napad na identiteto uporabnika (torej ščitijo njegovo zasebnost). Zaželeno je, da je komunikacija opravljena preko kriptiranega kanala, kar večina avdio-video platform 8 omogoča.
Glede na postavljen koncept navajamo nekaj izvedbenih primerov rešitev.
Izvedbeni primer 1: Pogovor s steno
Uporabimo telemetrijo za zbiranje in analizo podatkov o slušateljih 10 z njihovih digitalnih naprav (npr. računalnik, mobilni telefoni ipd). Tako predavatelji 11 pridobijo povratno informacijo glede tega, ali je slušatelju 10 upadla koncentracija. Povratna informacija o nivoju koncentracije slušateljev je predavatelju podana prek modula za prikaz informacij 6, npr. kot barvna skala (ali stolpec, merilna črta ali drugo), ki se dinamično obarva od zelene (»pozornost je«) do rdeče (»pozornosti ni«). Osnova za tako telemetrijo so podatki zajeti prek senzorjev, ki so pridruženi omenjenim štirim kanalom.
Faze postopka, ki poteka v agentu so sledeče:
a) Zbiranje podatkov in identifikacija značilnih vzorcev koncentracije
V prvi fazi sistem zazna, katere vrste digitalno napravo slušatelj 10 uporablja (npr. računalnik e enim ali dvema monitorjema, pametni telefon, e-tablica ipd). Glede na to se postopek razveji kot navedeno v nadaljevanju.
Pri uporabi računalnika z enim monitorjem (ali e-tablice) lahko nižjo koncentracijo pomenijo sledeči podatki:
- pogost in dolgotrajen odmik oči 13 od kamere/monitorja
- pogosti pogledi 13 na več strani (gor, dol, levo desno)
- pogosto zehanje, zdolgočasen obraz 13
- dolgotrajnejši pogled 13 navzdol lahko pomeni uporabo telefona - gre za primer, da tipkanje po računalniku ni zaznano, ki lahko pomeni pripravo zapiskov
- zaznavanje govora ob ugasnjenem mikrofonu 14 (na video platformi) - to lahko pomeni pogovor izven predavanj
- pogosta uporaba brskalnika in drugih programov, ki praviloma niso neposredno povezani s predavanji
- drugi znaki, posredovani iz senzorjev 14 kot so npr. spremembe v prevodnosti kože, padec nivoja oksigenacije krvi, povečan srčni utrip, tipični vzorci v elektro-encefalogramu oz. EEG, dilatirana šarenica 14 ipd., ki kažejo na določene motorično-fiziološko-nevrološka stanja. Ta pa so npr. zdolgočasenost, upad koncentracije, povečana fizična aktivnost in drugo.
Pri uporabi računalnika z dvema monitorjem lahko nižjo koncentracijo pomenijo sledeče informacije:
- pogost pogledi 13 na več stran (gor, dol, levo desno)
- pogosto zehanje, zdolgočasen obraz 13
- dolgotrajnejši pogled 13 navzdol lahko pomeni uporabo telefona - gre za primer, da tipkanje po računalniku ni zaznano, ki lahko pomeni pripravo zapiskov
- zaznavanje govora ob ugasnjenem mikrofonu 14 (video platforme) - to lahko pomeni pogovor izven predavanj
- pogosta uporaba brskalnika in drugih programov, ki praviloma niso neposredno povezani s predavanji
- drugi znaki, posredovani iz senzorjev 14, kot opisano v odstavku: Pri uporabi računalnika z enim monitorjem...
Pri uporabi pametnega telefona lahko nižjo koncentracijo pomenijo sledeče informacije:
- pogost in dolgotrajen odmik oči 13 od kamere/zaslona
- pogost pogledi 13 na več stran (gor, dol, levo desno)
- pogosto zehanje, zdolgočasen obraz 13
- zaznavanje govora ob ugasnjenem mikrofonu 14 (video platforme) - to lahko pomeni pogovor izven predavanj pogosta uporaba brskalnika in drugih programov, ki praviloma niso neposredno povezani s predavanji
- drugi znaki, posredovani iz senzorjev 14, kot opisano v odstavku: Pri uporabi računalnika z enim monitorjem...
b) Analiza podatkov
Vse te podatke/ali informacije se posreduje agentu 5 (proksiju, ki je lahko tudi v obliki avatarja), ta pa jih procesira npr. s pomočjo obdelave slike in drugih signalov z matematičnimi postopki, postopki umetne inteligence, strojnega učenja.
c) Prikaz informacij
Agregate prejetih podatkov agent 5 posreduje predavatelju prek modula za prikaz informacij 6 praviloma v obliki dinamičnega grafičnega barvnega prikaza pozornosti. Ta je viden za vsakega slušatelja 10 posebej - podobno, kot lahko pri predavanjih v živo ob fizičnem stiku predavatelj 11 opazuje vsakega od slušateljev 10. Sistem pa lahko prikaže tudi zbirne podatke celotnega avditorija vseh slušateljev 10, ki predstavljajo povprečne oz. utežene vrednosti posameznih parametrov.
d) Hranjenje informacij
Agent 5 ostale podatke zavrže v realnem času, ali pa jih ustrezno procesira (npr. anonimizira) za kasnejše analize, pri čemer agent 5 lahko hrani tudi vse ostale podatke v skladu z zahtevami GDPR znotraj modula za hranjenje informacij 15.
Izvedbeni primer 2: Enosmerna komunikacija
Tu obravnavamo problem enosmerne komunikacije, saj zaradi manjkajoče slike slušateljev 10 oz. njihovega prevelikega števila (več deset ali celo več sto) manjka povratna informacija o (ne)strinjanju s kako tematiko ali trditvijo. Možna rešitev je, da slušatelji 10 prikimajo ali odkimajo z glavo 13, lahko tudi dvignejo prst/palec 12, kar zazna kamera 14, sistem pa predavatelju 11 pošlje agregatno informacijo o tem ali drugih načinih neverbalne komunikacije. Ta rešitev je bolj intuitivna kot tiste, ki zahtevajo reakcijo slušateljev 10 s tem, da prek ustrezne ikone (npr. se strinjam, se ne strinjam) sporočajo svoje mnenje.
Drug primer enosmerne komunikacije je, ko predavatelj 10 slušateljem 11 poda nalogo ali študijski primer, ki ga morajo preučiti, ne ve pa, kdaj je kdo zaključil z branjem (npr. študijem primera ali dela strani). Rešitev je v tem, da agent 5 na podlagi kamere ali drugih senzorjev 14 zaznava tipične premike glave 13 pri branju, slednje očem (prek t.i. vročih zemljevidov) in predavatelju 11 podaja v realnem času celovito informacijo o tem, koliko slušateljev 10 je prenehalo z branjem. To pomeni, da se zaznava postopen premik glave oz. oči 13 navzdol, kar pomeni sledenje tekstu ali sliki. Ko pa se iz vzorca gibanja glave oz. oči razpozna, da se tekstu/sliki več ne sledi, lahko iz tega sklepamo na to, da je branje zaključeno.
Podobno kot pri predhodno prikazani rešitvi »Pogovor s steno« tudi tu uporabimo strukturo postopka: Zbiranje podatkov, Analiza podatkov, Prikaz informacij.
Izvedbeni primer 3: Motiviranost slušateljev
Ta scenarij se nanaša na nezadostno motivacijo slušateljev 10 za sodelovanje v primerjavi s klasičnimi načini poučevanja oz. predavanj. Možna rešitev je, da uporabimo dodatne načine motivacije prek motivacijske točkovalne lestvice oz zbiranja bonusnih točk. Slušatelji 10, ki sodelujejo, dobijo bonus točke, ki se prikažejo na motivacijski točkovalni lestvici pri vsakem slušatelju 10 in zberejo v ustrezni datoteki oz. modulu za hranjenje informacij 15. Pridobi se jih na podlagi različnih elementov sodelovanja, npr. ustnega sodelovanja, pisnega postavljanja vprašanj v pogovornem oknu, sodelovanja v kvizih v okviru avdio-video komunikacijske platforme 8 in spremljanje reakcij ter aktivnega sodelovanja v drugih dejavnostih, ki jih platforma 8 omogoča. Bonus točke se prek agenta 5 dodelijo posameznim slušateljem 10 ter posredujejo predavatelju 11, ki jih lahko upoštevajo pri oceni. Vsebinsko kakovost sodelovanja pa lahko predavatelj 11 ustrezno uteži.
Podobno kot pri predhodno prikazani rešitvi »Pogovor s steno« tudi tu uporabimo strukturo postopka: Zbiranje podatkov, Analiza podatkov, Prikaz informacij.
Izvedbeni primer 4: »Slabi dnevi«
Rešitev je v tem, da prek analize parametrov aktualnega predavanja in predhodnih predavanj agent 5 poda verjetnost, da bo predavatelj/skupina izvedla kakovostno srečanje. Za oceno predvidene kakovosti predavatelj vnese določene parametre prek modula za vnos parametrov aktualnega predavanja 16, ki vplivajo na kakovostno srečanje. Ti so termin predavanja (dan in ura), lastnosti slušateljev (npr. starost, motiviranost), struktura predavanja (npr. ex katedra predavanje, diskusija, študija primera, delo v skupinah, besedilne naloge ipd.), subjektivna ocena zanimivosti teme predavanja (zahtevnost oz. suhoparnost teme, kakovost predavanja). Postopek je ta, da za vsakega od omenjenih parametrov določimo, ali bo vplival pozitivno ali negativno (npr. nižjo oceno dobimo ob izvajanju le ex-katedra predavanja ob izvedbi v večernih urah).
Dodatno se izboljša kakovost ocene s tem, da agent 5 pri izračunu ocene upošteva tudi podatke predhodnih predavanj (izvede ekstrapolacijo), za katere so na voljo primerljivi podatki o terminu predavanja, lastnostih slušateljev, strukturi predavanja in subjektivni oceni zanimivosti teme predavanja. Ob tem se naredi primerjavo po posameznih parametrih za aktualno in predhodno predavanje(a) in se na ta način že dobljeno oceno (za aktualno predavanj) dodatno korigira. Oceno predhodnih predavanj pa se lahko pridobi na dva načina -ali prek neposrednega ocenjevanja izkušnje slušateljev, in/ali pa iz spremljanja podatkov iz štirih ključnih kanalov: sistemsko-procesnega 1, motoričnega 2, fiziološkega 3 in nevrološkega 4.
Primer so npr. ex katedra predavanja brez interaktivnih vložkov, z zahtevno in suhoparno temo v večernih urah rednim slušateljem 10, ki so praviloma manj motivirani od izrednih. V tem primeru bo predvidena ocena slušateljev slabša. Še dodatno pa negativno vpliva na oceno dejstvo, da so bila že bolj zanimiva predavanja sredi dneva povprečno sprejeta. Predvideno oceno lahko predavatelj 11 primerno upošteva in korigira določena parametre predavanja.
Faze postopka agenta: vnos in analiza parametrov aktualnega predavanja prek Modula za vnos parametrov predavanja, ekstrapolacija ocene na podlagi preteklih predavanj (opcijsko), prikaz informacij.
Izvedbeni primer 5: Nenaravno okolje.
Ta rešitev se nanaša na problem, da so avdio-video komunikacijske platforme 8 sicer tehnično sicer dovršene, vendar ne nudijo istega občutka, kot ga nudi klasična predavalnica. Možna rešitev je, da so fotografije oz. video tokovi prisotnih koncipirani in predstavljeni v virtualnem 3D (tri dimenzionalnem) virtualne prostoru 17. Lahko v najbolj osnovni obliki, lahko pa bolje z uporabo nadgrajene ali navidezne resničnosti. Prvi del rešitev že obstaja, ne obstaja pa postavitev slušateljev 10 v 3D virtualno okolje, kjer premik glave da občutek pogleda po razredu ali pa 2D/3D predstavitve na monitorju (kot npr. Google maps).
Faze postopka so sledeče: vnos fotografij z več zornih kotov in oblikovanje 3D slike udeleženca 10, 11, oblikovanje virtualnega 3D prostora 17, ki predstavlja tridimenzionalno zajeto sliko prostora (lahko predavalnice), ki je posneta v realnosti ali pa virtualno izdelana.
Izvedbeni primer 6: Pisno vprašanje - prosim pomoč!
Rešitev se nanaša na diskusijo v virtualnem prostoru (oz. predavalnici), ki je zelo pomembna za uspešen izobraževalni proces. Praksa kaže, da je število vprašanj pri poučevanju (oz. predavanjih) na daljavo relativno manjše kot pri neposrednem stiku. Pri tem slušatelji 10 pogosto (še posebno pri velikem številu slušateljev 10) raje kot da bi uporabili mikrofon 14 uporabijo pogovorno okno za tipkanje sporočil 14, kar pa je medij, ki zahteva sposobnosti jasnega in kratkega oblikovanja vprašanj. Zato so vprašanja dostikrat nezadostno artikulirana (tudi zaradi tega, ker je tipkanje zahtevnejši proces kot besedno izražanje). Možna rešitev je, da se slušatelj najprej anonimno pogovori z umetnim inteligentnim agentom 5 artikulacijskega kanala 7. Ta ga vodi, da dobro artikulira vprašanje in ko je cilj dosežen, se predavatelja 11 obvesti o vprašanju in se mu ga posreduje (bodisi pisno bodisi z glasom). Agent 5 pri tem lahko deluje kot anonimizirajoči proksi ali t.i. chatbot in tako zagotavlja zasebnost, istočasno pa pridobljeni podatki omogočajo vpogled v postopek artikulacije vprašanja in podajo dodatno povratno informacijo predavatelju o znanju in sposobnostih slušateljev.
Faze postopka so sledeče: vnos vprašanja, usklajevanje z agentom, prikaz vprašanja.
Claims (11)
- 5. Patentni zahtevki1. Postopek obvladovanja dvosmerne komunikacije pri uporabi digitalnih komunikacijskih platform na podlagi znanih elementov kot so digitalne naprave (9) vključno s kamero, mikrofonom, tipkovnico in miško, VR očala ter različni senzorji (14), npr. senzor za merjenje krvnega tlaka, srčnega utripa, tkivne oksigenacije, nasičenosti krvi s kisikom, prevodnosti kože, dilatacija šarenice, elektro encefalogram ter ob uporabi algoritmov za statistično obdelave signalov, elementov umetne inteligence, npr. strojno učenje ter drugi znani hardverskosoftverski sklopi označen s tem, da s pomočjo digitalnih naprav (9) in avdio-video komunikacijskih platform (8), prek telemetrije zajema podatke iz štirih ključnih kanalov: sistemsko-procesnega (1), motoričnega (2), fiziološkega (3) in nevrološkega (4) na podlagi naprav/njihovih delov/senzorjev (14), ki so vključeni na uporabljenih digitalnih napravah (9), ali pa omogočeni in posredovani s strani dodatne opreme povezane z omenjenimi štirimi kanali (1 do 4) s pomočjo ustrezne obdelave podatkov ob podpori agenta (5) oblikujemo primerne informacije, ki so posredovane prednostno predavatelju prek modula za prikaz informacij (6) in se shranjujejo prek modula za hranjenje informacij (15).
- 2. Postopek po zahtevku 1, označen s tem, da vsebuje agenta (5), to je strojno-programski procesni modul, ki igra vlogo proksija oz chatbota in zbira ter z zaznavanjem značilnih vzorcev s slik oz. iz signalov pridobljenih iz senzorjev (14) in z uporabo drugih metod analizira ter v ustrezni zbirni in/ali anonimizirani obliki posreduje in prek modula za prikaz informacij (6) pregledno prikaže prednostno predavatelju (11) informacijo o motoričnem/fiziološkem/nevrološkem stanju slušateljev (10) in njihovih aktivnostih v realnem času ali post-festum, obenem pa vsebuje modul za hranjenje informacij (15) in artikulacijski kanal (7), prek katerega agent (5) pomaga slušateljem (10) artikulirati nejasna pisna vprašanja.
- 3. Postopek po zahtevkih 1 in 2, označen s tem, da zmanjšuje oz. odpravlja t.i. efekt govorjenja v steno, s tem, da zaznava stanje koncentracije slušateljev (10) z zbiranjem podatkov iz njihovih digitalnih naprav (9) oz. štirih kanalov (1 do 4), kot so npr. podatki o procesih v digitalni napravi, iz kamere, mikrofona, tipkovnice, miške, VR očal in drugih senzorjev (14) ter z analizo prek agenta (5), ki opravlja identifikacijo značilnih vzorcev signalov povezanih s koncentracijo slušateljev (10), s tem, da so značilni vzorci (ne)koncentracije povezani z elementi kot npr.: pogost in dolgotrajen odmik oči od kamere/monitorja, pogosti pogledi na več strani, pogosto zehanje, zdolgočasen obraz, dolgotrajnejši pogled navzdol, zaznavanje govora ter pogosta uporaba računalniških programov, ki praviloma nista neposredno povezana s predavanji ter drugi znaki, kot so npr. spremembe v prevodnosti kože, nivoju oksigenacije krvi ki kažejo na določena stanja, npr. nekoncentracijo.
- 4. Postopek po zahtevku 3, označen s tem, da podatke iz senzorjev (14) posreduje prek agenta (5) predavatelju (11), ter mu posreduje agregirane informacije, lahko pa tudi ostalim izbranim slušateljem (10) prek modula za prikaz informacij (6) v ustrezni obliki, npr. v obliki dinamično se spreminjajočega barvnega stolpiča, merilne črte ali druge oblike prikaza s tem, da nepotrebne podatke zavrže v realnem času, ali pa jih anonimizira za kasnejše analize, pri čemer agent (5) lahko hrani tudi vse ostale podatke v skladu z GDPR s pomočjo modula za hranjenje informacij (15).
- 5. Postopek po zahtevkih 1 do 4, označen s tem, da zmanjšuje problem enosmerne komunikacije z uporabo arhitekture zajema podatkov prek štirih kanalov (1 do 4), agenta (5) in modula za prikaz informacij (6) z namenom, da se spremlja strinjanje ali nestrinjanje slušateljev s tem, da se zazna, če slušatelji prikimajo ali odkimajo tako, da npr. kamera ali drug senzor (14) zazna ustrezne gibe glave (13) ali dvig prsta/palca na roki (12), agent (5) pa predavatelju pošlje ustrezno agregatno informacijo prek modula za prikaz informacij (6).
- 6. Postopek po zahtevkih 1 do 4, označen s tem, da zmanjšuje problem enosmerne komunikacije tako, da analogno uporabimo arhitekturo zajema podatkov prek štirih kanalov (1 do 4), agenta (5) in modula za prikaz informacij (6) z namenom, da se spremlja, če so slušatelji (10) zaključili z branjem teksta/slike tako, da zaznava tipične vzorce gibanja glave oz. oči (13) in informacije posreduje predavatelju prek modula za prikaz informacij (6).
- 7. Postopek po zahtevkih 1 do 4, označen s tem, da zmanjšuje problem motiviranosti slušateljev tako, da uporabimo arhitekturo zajema podatkov prek štirih kanalov (1 do 4), agenta (5) in modula za prikaz informacij (6) z namenom, da se spremlja aktivno sodelovanje slušateljev (10) povezano s predavanjem, kot so njihove aktivnosti v obliki npr. ustnega sodelovanja, pisnega postavljanja vprašanj v pogovornem oknu, sodelovanja v kvizih v okviru avdio-video platforme in spremljanja reakcij ter sodelovanje v drugih aktivnostih, ki jih avdio-video platforma (8) omogoča z namenov dodeljevanja baze bonusnih točk slušateljem, ki se prek agenta (5) ter modula za hranjenje informacij (15) poimensko beležijo in shranjujejo.
- 8. Postopek po zahtevkih 1 do 7, označen s tem, da zmanjšuje problem »slabih dni« tako, da predavatelj vnese ključne parametre aktualnega predavanja prek modula za vnos parametrov aktualnega predavanja (16) kot so: termin predavanja, lastnosti slušateljev, struktura predavanja in subjektivna ocena zanimivosti teme predavanja, agent (5) pa na podlagi algoritma, ki upošteva ali posamezni parametri vplivajo na pričakovano kakovost srečanja pozitivno ali negativno ter v kakšni meri, izračuna predvideno pričakovano kakovost srečanja ter jo prikaže predavatelju prek modula za prikaz informacij (6).
- 9. Postopek po zahtevku 8, označen s tem, da agent (5) pri izračunu ocene upošteva podatke predhodnih predavanj, za katere so na voljo primerljivi podatki iz modula za hranjenje informacij (15) o: terminu predavanja, lastnostih slušateljev, strukturi predavanja in subjektivni oceni zanimivosti teme predavanja, s tem, da s pomočjo agenta (5) naredi primerjavo po parametrih za aktualno in predhodna predavanja in na ta način že dobljeno oceno za aktualno predavanje dodatno korigira oz. ekstrapolira, pri tem pa se oceno predhodnih predavanj pridobi na dva načina: ali prek neposrednega ocenjevanja kakovosti srečanja s strani slušateljev (10), predavatelja (11) in/ali pa iz spremljanja podatkov iz štirih ključnih kanalov: sistemsko-procesnega (1), motoričnega (2), fiziološkega (3) in nevrološkega (4).
- 10. Postopek po zahtevkih 1 do 9, označen s tem, da zmanjšuje problem nenaravnega okolja, pri čemer se uporablja znan postopek postavitve 2D slik slušateljev, izveden enakomerno po zaslonu digitalne naprave (9) ali v virtualno predavalnico, npr. vsakega na svoj stol oz. za mizo z namenom ustvarjanja občutka prave predavalnice, tako da se uporabi 3D tehnologijo za izvedbo virtualnega 3D prostora (17), ki je sestavni del avdio-video platforme (8), ter 3 dimenzionalnih fotografij udeležencev (10) vključno s predavateljem (11), ki so razporejeni v virtualni 3D prostor (17) in omogočajo s premiki glave, praviloma ob uporabi VR očal, doživeti občutek prave predavalnice, kar pomeni, da udeleženci z zasukom glave usmerijo pogled v ostale slušatelje oz. se predavatelj s premikom glave virtualno premika po virtualnem 3D prostoru (17).
- 11. Postopek po zahtevkih 1 do 10, označen s tem, da zmanjšuje problem pomoči pri pisanju tako, da olajša artikulacijo vprašanja slušateljev (10) s tem, da ta prek artikulacijskega kanala (7) najprej posreduje lahko slabo artikulirano vprašanje agentu (5), ki je podprt z algoritmi za statistično obdelavo teksta ter z umetno inteligenco in strojnim učenjem ter deluje kot anonimizirajoči proksi oz. chatbot in tako zagotavlja zasebnost, ter udeleženca vodi do tega, da ta vprašanje jasno artikulira in se ga nato posreduje predavatelju prek modula za prikaz informacij (6).
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SI202100017A SI26152A (sl) | 2021-02-04 | 2021-02-04 | Postopek obvladovanja dvosmerne interakcije pri uporabi avdio-video komunikacijskih platform z uporabo digitalnih kanalov |
| PCT/SI2022/050004 WO2022169424A1 (en) | 2021-02-04 | 2022-02-04 | A device and a process for managing alertness and quality interaction in two-way audio-video communication platforms |
| EP22712098.7A EP4289115A1 (en) | 2021-02-04 | 2022-02-04 | A device and a process for managing alertness and quality interaction in two-way audio-video communication platforms |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SI202100017A SI26152A (sl) | 2021-02-04 | 2021-02-04 | Postopek obvladovanja dvosmerne interakcije pri uporabi avdio-video komunikacijskih platform z uporabo digitalnih kanalov |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| SI26152A true SI26152A (sl) | 2022-08-31 |
Family
ID=80930090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| SI202100017A SI26152A (sl) | 2021-02-04 | 2021-02-04 | Postopek obvladovanja dvosmerne interakcije pri uporabi avdio-video komunikacijskih platform z uporabo digitalnih kanalov |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4289115A1 (sl) |
| SI (1) | SI26152A (sl) |
| WO (1) | WO2022169424A1 (sl) |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0402493D0 (en) | 2004-02-05 | 2004-03-10 | Medoom Ltd | Distance learning |
| US11887352B2 (en) * | 2010-06-07 | 2024-01-30 | Affectiva, Inc. | Live streaming analytics within a shared digital environment |
| US9426421B2 (en) * | 2014-09-05 | 2016-08-23 | Avaya Inc. | System and method for determining conference participation |
| US10799122B2 (en) | 2015-06-14 | 2020-10-13 | Facense Ltd. | Utilizing correlations between PPG signals and iPPG signals to improve detection of physiological responses |
| CN111629653B (zh) | 2017-08-23 | 2024-06-21 | 神经股份有限公司 | 具有高速眼睛跟踪特征的大脑-计算机接口 |
| CA3075861A1 (en) | 2017-09-15 | 2019-03-21 | Tandemlaunch Inc. | System and method for classifying passive human-device interactions through ongoing device context awareness |
| US10735211B2 (en) | 2018-05-04 | 2020-08-04 | Microsoft Technology Licensing, Llc | Meeting insight computing system |
| US20190349212A1 (en) * | 2018-05-09 | 2019-11-14 | International Business Machines Corporation | Real-time meeting effectiveness measurement based on audience analysis |
| US10664050B2 (en) | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
| US10692606B2 (en) | 2018-10-23 | 2020-06-23 | International Business Machines Corporation | Stress level reduction using haptic feedback |
-
2021
- 2021-02-04 SI SI202100017A patent/SI26152A/sl active IP Right Grant
-
2022
- 2022-02-04 WO PCT/SI2022/050004 patent/WO2022169424A1/en active Application Filing
- 2022-02-04 EP EP22712098.7A patent/EP4289115A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022169424A1 (en) | 2022-08-11 |
| EP4289115A1 (en) | 2023-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20160042648A1 (en) | Emotion feedback based training and personalization system for aiding user performance in interactive presentations | |
| Washington et al. | A wearable social interaction aid for children with autism | |
| Bailenson et al. | Transformed social interaction, augmented gaze, and social influence in immersive virtual environments | |
| Gonaygunta et al. | The Impact of Virtual Reality on Social Interaction and Relationship via Statistical Analysis | |
| WO2022067871A1 (zh) | 一种基于vr交互技术的听觉刺激儿童自闭症的训练方法 | |
| Ma et al. | Glancee: An adaptable system for instructors to grasp student learning status in synchronous online classes | |
| Han et al. | Understanding group behavior in virtual reality: A large-scale, longitudinal study in the metaverse | |
| US20080231686A1 (en) | Generation of constructed model for client runtime player using motion points sent over a network | |
| Xiao et al. | Context and cognitive state triggered interventions for mobile MOOC learning | |
| Dawood et al. | Affective computational model to extract natural affective states of students with Asperger syndrome (AS) in computer-based learning environment | |
| Pise et al. | Estimation of learning affects experienced by learners: an approach using relational reasoning and adaptive mapping | |
| Cheng et al. | Investigating mobile emotional learning for children with autistic spectrum disorders | |
| Kawamura et al. | Detecting drowsy learners at the wheel of e-learning platforms with multimodal learning analytics | |
| Mayer et al. | Collaborative work enabled by immersive environments | |
| Artiran et al. | Measuring social modulation of gaze in autism spectrum condition with virtual reality interviews | |
| Steptoe et al. | Multimodal data capture and analysis of interaction in immersive collaborative virtual environments | |
| Wiggins et al. | Affect-based early prediction of player mental demand and engagement for educational games | |
| US20200013311A1 (en) | Alternative perspective experiential learning system | |
| Rahman et al. | Robust modeling of epistemic mental states | |
| Eden | Technology Makes Things Possible | |
| SI26152A (sl) | Postopek obvladovanja dvosmerne interakcije pri uporabi avdio-video komunikacijskih platform z uporabo digitalnih kanalov | |
| US20230326092A1 (en) | Real-time visualization of head mounted display user reactions | |
| CN117524417A (zh) | 自闭症康复训练系统、方法、设备及介质 | |
| Tang et al. | An internet of things approach to “read” the emotion of children with autism spectrum disorder | |
| KR102681182B1 (ko) | 인공지능 기반 학습 관리 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| OO00 | Grant of patent |
Effective date: 20220902 |