LT6914B - Vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu - Google Patents

Vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu Download PDF

Info

Publication number
LT6914B
LT6914B LT2021535A LT2021535A LT6914B LT 6914 B LT6914 B LT 6914B LT 2021535 A LT2021535 A LT 2021535A LT 2021535 A LT2021535 A LT 2021535A LT 6914 B LT6914 B LT 6914B
Authority
LT
Lithuania
Prior art keywords
attributes
sketch
user
visual search
search method
Prior art date
Application number
LT2021535A
Other languages
English (en)
Other versions
LT2021535A (lt
Inventor
Pranas JAPERTAS
JAPERTAS Pranas
Original Assignee
Gasefis, UAB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gasefis, UAB filed Critical Gasefis, UAB
Priority to LT2021535A priority Critical patent/LT6914B/lt
Publication of LT2021535A publication Critical patent/LT2021535A/lt
Publication of LT6914B publication Critical patent/LT6914B/lt
Priority to US18/578,639 priority patent/US20240331007A1/en
Priority to EP22757646.9A priority patent/EP4371013A1/en
Priority to PCT/IB2022/056492 priority patent/WO2023286003A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2425Iterative querying; Query formulation based on the results of a preceding query
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Išradimas siejamas su vaizdų kompiuterinio apdorojimo bei e-komercijos sritimis, o konkrečiau - su vizualinės paieškos būdu, turinčiu grįžtamojo ryšio ciklą, paremtą interaktyviuoju eskizu, siekiant užtikrinti vartotojo kontrolę. Pateikiamas būdas suteikia galimybę vartotojui kontroliuoti procesą prie tradiciškai “juodos dėžės” principu veikiančios vizualinės paieškos, įvesdamas atgalinio ryšio ciklą, paremtą interaktyviuoju eskizu. Būdas apima šiuos pagrindinius žingsnius: pasirinkto objekto arba jo tipo atributai įvedami į įvesties sąsają; atliekama įvestų atributų analizė (patikra) ir identifikuojami minėti atributai taikant sistemos atributų atpažinimo modelį; minėti atributai sujungiami į vientisą vektorinį scheminį atributų eskizą (šabloną) pagal nustatytas projekcines taisykles; minėto atributų eskizo (šablono) palyginimas su duomenų bazėje esančiais objektų atributais siekiant nustatyti, kuris iš esamų objektų atitinka minėtą eskizą (šabloną); atrinkti objektai pateikiami išvesties įrenginyje.

Description

IŠRADIMO SRITIS
Aprašomas išradimas siejamas su vaizdų kompiuterinio apdorojimo bei ekomercijos sritimis, o konkrečiau - su vizualinės paieškos būdu, turinčiu grįžtamojo ryšio ciklą, paremtą interaktyviuoju eskizu, siekiant užtikrinti vartotojo kontrolę. Toliau šiame dokumente šis išradimas bus vadinamas IŠRADIMU (visos didžiosios raidės).
SUSIJUSIŲ IŠRADIMŲ APRAŠYMAS
Tradiciškai vizualinė paieška yra savotiškas “juodos dėžės” procesas vartotojas beveik negali įtakoti, kas šio proceso metu vyksta. Po to kai vartotojas pateikia pirminę informaciją, jis tiesiog gauna paieškos rezultatus kitame proceso gale. Jei paieškos rezultatai yra netinkami - tikroji to priežastis vartotojui lieka nežinoma. Ir vartotojas nieko negali padaryti, kad pagerintų paieškos rezultatus. Buvo ne vienas bandymas pagerinti šią probleminę situaciją, tačiau nei vienas iš esamų techninių sprendimų nesuteikia tokio skaidrumo bei vartotojo kontrolės lygio, kokį užtikrina IŠRADIMAS.
Patento dokumentas US8412594B2 (publikuotas 2013 m. balandžio 2 d.) aprašo būdą, kuris suteikia galimybę kliento kompiuteryje pasirinkti pirmą daikto silueto atvaizdą, parodant siluetų piešinėlius, iliustruojančius įvairias daikto savybes, kaip kad stilius, ilgio tipas, rankovės ilgis. Pasirinkus bet kurį iš šių aspektų serveris gali ieškoti duomenų bazėje daiktų, pasižyminčių pasirinktomis savybėmis. Pasirenkant ne vieną, o kelis piešinėlius, simbolizuojančius daikto savybes bei vieną ar kelis dydžius, leidžiama serveriui ieškoti daiktų, pasižyminčių visomis pasirinktomis savybėmis bei dydžiais. Nors šiame išradime suteikiama galimybė pasirinkti piešinėlius kaip paieškos parametrus, tačiau čia nėra grįžtamojo ryšio ciklo, kuris yra esminis IŠRADIMO elementas.
Patento dokumentas US20160239898A1 (publikuotas 2016 m. rugpjūčio 18 d.) aprašo eskizais pagrįstų užklausų sistemą ir būdą. Ieškomo daikto eskizas gaunamas iš vartotojo įrenginio. Iš eskizo yra išgaunama savybė, atspindinti fizinę daikto, vaizduojamo eskize, savybę. Pagal šią išgautą savybę yra surandami šią savybę turintys inventoriaus elementai. Surasti inventoriaus elementai yra pateikiami vartotojui. Kai gaunamas modifikuotas ieškomo daikto eskizas, paieška pakartojama ir pagal modifikuotą eskizą atnaujintas surastų inventoriaus elementų sąrašas yra pateikiamas vartotojui. Nors šiame išradime aprašomas būdas leidžia ne vieną kartą kartoti paieškos užklausą, tačiau kiekviena užklausa yra iš esmės nepriklausoma ir vykdoma pagal gautą naują (modifikuotą) eskizą. Vartotojas negali modifikuoti gautų paieškos rezultatų sistemiškai ir kontroliuojamai, kaip tai galima daryti IŠRADIME, bet tiesiog atlieka naują paiešką su rankiniu būdu modifikuotu eskizu. Taip pat šis išradimas kaip pirminį informacijos apie ieškomą daiktą šaltinį leidžia naudoti tik eskizą, kai tuo tarpu IŠRADIME taip pat leidžiama naudoti nuotrauką, tekstinį arba garsinį aprašymą bei pasirinktą iš meniu ieškomo produkto kategoriją.
Patento dokumentas US20180108066A1 (publikuota 2018 balandžio 19 d.) aprašo sistemas, būdus bei kompiuterinės programinės įrangos produktus, skirtus identifikuoti reikiamą produktą elektroninėje parduotuvėje. Sistemos realizacija atlieka vizualinio panašumo palyginimą tarp produkto atvaizdo vizualinio turinio bei užklausoje naudojamo atvaizdo vizualinio turinio, apdoroja formalios bei neformalios kalbos vartotojo pateiktus duomenis, koordinuojant su ankstesnėmis vartotojo sąveikomis su elektronine parduotuve, kurios yra išsaugotos žinių grafe. Vizualiai panašūs elementai bei jų atitinkamos produktų kategorijos, aspektai ir aspektų reikšmės gali nustatyti tinkamus produktus be pastebimo uždelsimo vykstant daugkartiniam vartotojo dialogui. Tuomet vartotojas gali patikslinti paiešką labiausiai tinkantiems elementams, kuriuos galima įsigyti, pateikdamas atsakymus j kompiuterio sugeneruotus klausimus, pagrįstus pirminiais paieškos rezultatais, gautais pateikus vizualinę, balso ir/ar tekstinę užklausą. Tokiu būdu išmanus internetinis asmeninis asistentas gali nuvesti vartotoją iki tinkamiausio produkto efektyviau, negu kitos egzistuojančios paieškos priemonės. Nors šiame patento dokumente aprašytas būdas leidžia duomenis pradinei užklausai pateikti įvairiais formatais (tekstiniu, balso ar vaizdo formatu) ir numato ne vieną paieškos iteraciją, principas, kaip yra nustatomi kriterijai naujai paieškos iteracijai, yra visiškai kitoks, nei numatyta IŠRADIME. Šiame išradime paieškos užklausos modifikacija yra pilnai pagrįsta dirbtinio intelekto pagrindu veikiančio virtualaus asistento veikimu, kuris pateikia tekstinius klausimus/pasiūlymus vartotojui ir vėliau, priklausomai nuo gautų vartotojo atsakymų, vykdo naujas paieškos užklausų iteracijas. Esminis skirtumas nuo IŠRADIMO yra tai, kad šiame išradime paieškos modifikacijas valdo dirbtinio intelekto pagrindu veikiantis virtualus asistentas, o tuo tarpu IŠRADIME - vartotojas pats yra visiškai atsakingas už tai, kurią paieškos užklausos dalį reikia pakeisti ir kaip. Taip pat IŠRADIMAS leidžia vartotojui unikaliu visiškai vizualiniu būdu pasirinkti ieškomo objekto modifikaciją, kai šiame išradime visas dialogas tarp sistemos ir vartotojo yra tekstinis.
IŠRADIMO ESMĖ
Šis IŠRADIMAS pateikia kompiuterizuotą vizualinės paieškos būdą su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu, sudarytu iš nustatytų atributų, siekiant užtikrinti vartotojo kontrolę. Pateikiamas būdas yra papildytas grįžtamojo ryšio ciklu, kuris leidžia padaryti procesą skaidresnį bei padidina vartotojo kontrolę procesui. Vartotojui yra pateikiama vizualinė reprezentacija to, kaip paieškos algoritmas supranta jam pateiktus pradinius duomenis. Ieškomas objektas yra pristatomas kaip scheminis eskizas, o tai leidžia gerai apibendrinti, ko yra ieškoma, bet tuo pačiu metu išsaugoti svarbias specifines detales apie ieškomą objektą. Ši vizuali objekto reprezentacija taip pat yra interaktyvi, tai yra vartotojas gali manipuliuoti scheminiu eskizu ir tokiu būdu daryti įtaką paieškai. Nėra jokio apribojimo, kiek tokių manipuliacijų (pataisymų) vartotojas atliks, - po kiekvienos manipuliacijos bus pateikti atitinkami paieškos rezultatai. Interaktyvus eskizas, kurį vartotojas gali modifikuoti, atlieka kelias funkcijas:
aiškiai pateikia vartotojui paieškos užklausą (ko algoritmas šiuo metu ieško), užtikrindamas skaidrumą;
leidžia vartotojui atlikti hibridines užklausas - pradedant nuo nuotraukos, bet vėliau modifikuojant eskizą, tokiu būdu pasiekiant rezultatų, kurių niekaip nebūtų įmanoma pasiekti standartiniais atvirkštinės vaizdo paieškos būdais.
Štai galimos paieškos eigos pavyzdys: vartotojas turi objekto, panašaus į tą, kurį jis norėtų surasti, nuotrauką; vartotojas pateikia šią nuotrauką kaip pirminius užklausos duomenis; objektas nuotraukoje yra atpažįstamas ir pristatomas vartotojui interaktyvaus eskizo pavidalu; vartotojas modifikuoja interaktyvų eskizą, kad jame vaizduojamas daiktas labiau atitiktų tai, ko jis ieško (patikslinama paieškos užklausa), tol, kol gauti paieškos rezultatai (duomenų bazėje surasti objektai) pagaliau jį tenkina.
Kompiuterizuotas vizualinės paieškos būdas apima šiuos žingsnius: pasirinkto objekto arba jo tipo atributai įvedami į įvesties sąsają; atliekama įvestų atributų analizė (patikra) ir identifikuojami minėti atributai taikant sistemos atributų atpažinimo modelį; minėti atributai sujungiami į vientisą vektorinį scheminį atributų eskizą (šabloną) pagal nustatytas projekcines taisykles; minėtas atributų eskizas (šablonas) palyginamas su duomenų bazėje esančiais objektų atributais siekiant nustatyti, kuris iš esamų objektų atitinka minėtą eskizą (šabloną); atrinkti objektai pateikiami išvesties įrenginyje. Minėti objekto arba jo tipo atributai yra pateikiami kaip nuotrauka ir/arba piešinys, tekstinis raktažodžių rinkinys, garsinis įrašas arba pasirenkami iš produktų kategorijos. Minėtas raktažodžių rinkinys apdorojamas pasitelkiant Natūralios Kalbos Apdorojimo (NKA) variklį. Minėtas garsinis įrašas apdorojamas pasitelkiant Kalbos Atpažinimo variklį, o toliau duomenys yra apdorojami Natūralios Kalbos Apdorojimo (NKA) varikliu.
TRUMPAS BRĖŽINIŲ APRAŠYMAS
Pav. 1. Schematiškai iliustruoja pateikiamo vizualinės paieškos būdo struktūrą (žingsniai S1.1/S2.1/S3.1/S4.1 - S3).
Pav. 2. Schematiškai iliustruoja pateikiamo vizualinės paieškos būdo struktūrą (žingsniai S4 - S8).
Pav. 3. Schematiškai iliustruoja pateikiamo vizualinės paieškos būdo struktūrą (žingsniai S9 - S12, įskaitant grįžimą atgal į S3 - S8).
IŠSAMUS IŠRADIMO APRAŠYMAS
Šiame aprašyme pateikiamas kompiuterizuotas vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu, sudarytu iš nustatytų atributų, siekiant užtikrinti vartotojo kontrolę. Būdas apima šiuos esminius žingsnius:
a) pasirinkto objekto arba jo tipo atributai įvedami į įvesties įrenginį;
b) atliekama įvestų atributų analizė (patikra) ir identifikuojami minėti atributai taikant sistemos atributų atpažinimo modelį;
c) minėti atributai sujungiami į vientisą vektorinį scheminį atributų eskizą (šabloną) pagal nustatytas projekcines taisykles;
d) minėtas atributų eskizas (šablonas) palyginamas su duomenų bazėje esančiais objektų atributais siekiant nustatyti, kuris iš esamų objektų atitinka minėtą eskizą (šabloną);
e) atrinkti objektai pateikiami išvesties įrenginyje.
Paieškos procesas prasideda vartotojui pateikiant pirminę informaciją apie ieškomą objektą. Vartotojui pateikiama vartotojo sąsaja, kurios pagalba jis gali įvesti pirminę informaciją apie ieškomą objektą (objekto arba jo tipo atributai). Ši informacija gali būti kelių skirtingų tipų:
Ieškomo objekto atvaizdas (nuotrauka, piešinys arba eskizas) (101).
Tekstas - žodžių (raktažodžių) rinkinys, aprašantis ieškomą objektą (102).
ištartų žodžių rinkinys (balso jrašas), kuriuo nupasakojamas ieškomas objektas (103).
Ieškomo produkto kategorija, kuri yra pasirenkama iš meniu vartotojo sąsajoje (104).
Pradinės informacijos apie ieškomą objektą pateikimo būdų įvairovė maksimaliai išplečia IŠRADIMO pritaikomumą įvairiomis aplinkybėmis bei įvairiuose vartojimo scenarijuose.
Kiekvienas iš galimų pradinės informacijos pateikimo būdų lemia skirtingą paieškos proceso pradžią, todėl yra pateikiamas kiekvieno iš galimų atvejų detalus aprašymas.
Pirmajame įgyvendinimo variante pradinė informacija yra pateikiama atvaizdo pavidalu.
S 1.1. Pirmame žingsnyje (101) vartotojas pateikia ieškomo daikto nuotrauką arba scheminį piešinį (eskizą).
S1.2. Kitame žingsnyje (106) objektų atpažinimo modelių (111), atsakingų už produkto atributų atpažinimą produkto atvaizde, pagalba yra identifikuojami produkto atributai.
S1.3. Kitame žingsnyje (108) yra patikrinamas anksčiau identifikuotų produkto atributų atitikimas ontologijos taisyklėms (113) - atrasti konfliktai yra išsprendžiami pašalinant iš atrinktų atributų sąrašo tarpusavyje nesuderinamus atributus. Šiuo atveju ontologijos taisyklės (113) veikia kaip pirminis identifikuotų atributų tinkamumo filtras.
S3. Atrinktų atributų sąrašas (115) yra paruoštas tolimesniems žingsniams.
Antrajame įgyvendinimo variante pirminė informacija yra pateikiama raktažodžių rinkinio pavidalu.
S2.1. Pirmame žingsnyje (102) vartotojas pateikia raktažodžius, aprašančius produktą, kurį norima surasti.
S2.2. Kitame žingsnyje (107) produkto atributai yra identifikuojami iš tekstinės informacijos, pasitelkiant NKA (Natūralios Kalbos Apdorojimo) variklį (112), kuris atsakingas už produkto atributų atpažinimą pateiktame tekste.
S2.3. Kitame žingsnyje (108) yra patikrinamas anksčiau identifikuotų produkto atributų atitikimas ontologijos taisyklėms (113) - atrasti konfliktai yra išsprendžiami pašalinant iš atrinktų atributų sąrašo tarpusavyje nesuderinamus atributus. Šiuo atveju ontologijos taisyklės (113) veikia kaip pirminis identifikuotų atributų tinkamumo filtras.
S3. Atrinktų atributų sąrašas (115) yra paruoštas tolimesniems žingsniams.
Trečiajame įgyvendinimo variante pirminė informacija yra pateikiama ištartų žodžių rinkinio (garso įrašo) pavidalu.
S3.1. Pirmame žingsnyje (103) vartotojas pateikia garsinį atpasakojimą (ištartus žodžius), apibūdinantį produktą, kurio yra ieškoma.
S3.2. Kitame žingsnyje (105) balso įrašas yra apdorojamas Kalbos Atpažinimo („Kalba - Tekstas“) variklio (110), atsakingo už patikimą garsinių kalbos duomenų pavertimą tekstiniais duomenimis, pagalba.
S3.3. Kitame žingsnyje (107) produkto atributai yra identifikuojami iš tekstinės informacijos, pasitelkiant NKA (Natūralios Kalbos Apdorojimo) variklį (112), kuris atsakingas už produkto atributų atpažinimą pateiktame tekste.
S3.4. Kitame žingsnyje (108) yra patikrinamas anksčiau identifikuotų produkto atributų atitikimas ontologijos taisyklėms (113) - atrasti konfliktai yra išsprendžiami pašalinant iš atrinktų atributų sąrašo kitiems atributams prieštaraujančius atributus. Šiuo atveju ontologijos taisyklės (113) veikia kaip pirminis identifikuotų atributų tinkamumo filtras.
S3. Atrinktų atributų sąrašas (115) yra paruoštas tolimesniems žingsniams.
Ketvirtajame įgyvendinimo variante pirminė informacija yra pateikiama pasirinktos produktų kategorijos pavidalu.
S4 .1. Pirmame žingsnyje (104) vartotojas pasirenka ieškomo produkto kategoriją iš vartotojo sąsajos meniu.
S4 .2. Kitame žingsnyje (109) pasirinktai produktų kategorijai aktualūs produkto atributai yra gaunami iš Produktų Ontologijų saugyklos (114).
S3. Atrinktų atributų sąrašas (115) yra paruoštas tolimesniems žingsniams.
S4. Kitame žingsnyje (201) atrinktus produkto atributus atitinkantys interaktyvaus eskizo (šablono) sudėtiniai elementai yra atrenkami iš duomenų bazės (205).
S5. Kitame žingsnyje (202) pasirinkti sudėtiniai interaktyvaus eskizo (šablono) elementai yra sujungiami j vientisą eskizą (šabloną) pagal derinimo taisykles (207). Šiame žingsnyje suformuotas eskizas (šablonas) yra pateikiamas vartotojui.
S6. Kitame žingsnyje (203), iš žingsniuose S1.4, S2.4, S3.5 arba S4.3 išfiltruotų atributų pagal projekcines taisykles (206) yra suformuojamas vektorius. Minėtos projekcinės taisyklės (206) yra sudarytos iš žiniomis pagrįstų taisyklių bei surinktų duomenų apie vartotoją, kad kuo geriau atspindėtų vartotojo asmeninius lūkesčius ir prioritetus. Šiuo atveju, projekcinės taisyklės (206) nukreipia iš atributų erdvės į tam tikrą Euklido erdvę, kad kuo geriau atspindėtų panašumą.
S7. Kitame žingsnyje (204) vektorius iš žingsnio S6 (203) yra palyginamas su duomenų baze (208), kurioje yra laikomi objektai ir jų atitinkami atributai.
S8. Šiame žingsnyje (209) vartotojui yra pateikiamas scheminis ieškomo objekto atvaizdas kartu su paieškos metu surastų objektų iš duomenų bazės sąrašu.
Šiame etape vartotojas pilnai kontroliuoja paieškos procesą, kadangi jis gali modifikuoti jam pateiktą scheminį atvaizdą. Tai vartotojas gali padaryti keliais būdais:
Su kompiuterine pele pasirinkdamas ir spragteldamas ant interaktyvaus eskizo grafinėje vartotojo sąsajoje ir pasirinkdamas vieną iš siūlomų alternatyvių pasirinkimų (šis atvejis yra toliau naudojamas iliustracijose ir aprašyme);
įvesdamas komandas, kurios apibrėžia vartotojo veiksmus (kuri eskizo vieta turi būti pasirenkama ir keičiama);
Sakydamas vartotojo veiksmus nusakančias komandas balsu (kuri eskizo vieta turi būti pasirenkama ir keičiama).
Šio veiksmo atlikimas toliau apima šiuos žingsnius:
S9. Šiame žingsnyje (209) vartotojas pasirenka (naudodamas “a”) būdą iš galimų variantų, aprašytų S8 žingsnyje, kažkurią scheminio atvaizdo vietą (atitinkančią kažkurį produkto atributą).
S10. Kitame žingsnyje (301) yra gaunamos galimos modifikacijos pasirinktam atributui. Šiam tikslui naudojama modifikavimo taisyklių duomenų bazė (304). Šios taisyklės aprašo atributų modifikavimo galimybes ir jos gali būti tobulinamos, remiantis egzistuojančiomis žiniomis bei sukaupta patirtimi, analizuojant realius esamus objektus.
S11. Kitame žingsnyje (302) atitinkamos eskizo sudedamosios dalys yra gaunamos iš duomenų bazės (205). Sudedamosios eskizo dalys bei galimos jų alternatyvos yra perduodamos j vartotojo sąsają ir pateikiamos vartotojui išvesties įrenginyje.
S12. Šiame žingsnyje (303) vartotojas, pasinaudodamas vienu iš galimų būdų, aprašytų S7 žingsnyje, pasirenka vieną iš jam pateiktų pasirinktos eskizo dalies/atributo alternatyvų.
Atributų pasikeitimai perduodami atgal algoritmui. Tuomet yra kartojami žingsniai S3-S7 (115, 201-204). Žingsniai S8-S12 (209, 301-303) ir po to žingsniai S3S7 (115, 201 -204) gali būti kartojami tiek kartų, kiek tik pageidaujama, - tai ir sudaro grįžtamojo ryšio ciklą vizualinei paieškai.
Aukščiau aprašytas paieškos procesas yra pateikiamas, siekiant iliustruoti bei aprašyti IŠRADIMĄ. Tai nėra nei išsamus, nei apribojantis aprašymas, siekiantis apibrėžti tikslią proceso formą ar realizaciją. Aukščiau pateiktas aprašymas turi būti traktuojamas labiau kaip iliustracija, nei kaip apribojimas. Akivaizdu, kad šios srities specialistams gali egzistuoti daugybė šio proceso modifikacijų bei variantų. Aprašyta proceso realizacija buvo pasirinkta, siekiant šios srities ekspertams aiškiausiu įmanomu būdu perteikti išradimo principus bei potencialias praktinio išradimo bei jo galimų modifikacijų pritaikymo galimybes įvairiose situacijose. Laikoma, kad šio išradimo apimtis yra apibrėžta žemiau išdėstytuose apibrėžties punktuose ir jų ekvivalentuose, kuriuose visi naudojami terminai turi plačiausią įmanomą prasmę, nebent būtų nurodyta priešingai.
Išradimo realizacijose, aprašomose šios srities specialistų, pakeitimai gali būti daromi nenukrypstant nuo išradimo apimties, kaip aprašoma žemiau pateikiamuose teiginiuose apibrėžties punktuose.

Claims (9)

  1. Kompiuterizuotas vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu, sudarytu iš nustatytų atributų, siekiant užtikrinti vartotojo kontrolę, b e s i s k i r i a n t i s tuo, kad apima šiuos žingsnius: a) pasirinkto objekto arba jo tipo atributai įvedami į įvesties sąsają; b) atliekama įvestų atributų analizė (patikra) ir identifikuojami minėti atributai taikant sistemos atributų atpažinimo modelį; c) minėti atributai sujungiami į vientisą vektorinį scheminį atributų eskizą (šabloną) pagal nustatytas projekcines taisykles; d) minėtas atributų eskizas (šablonas) palyginami su duomenų bazėje esančiais objektų atributais siekiant nustatyti, kuris iš esamų objektų atitinka minėtą eskizą (šabloną); e) atrinkti objektai pateikiami išvesties įrenginyje.
  2. Kompiuterizuotas vizualinės paieškos būdas pagal 1 punktą, b e s i s k i r i a n t i s tuo, kad minėti objekto arba jo tipo atributai yra nuotrauka ir/arba piešinys (101).
  3. Kompiuterizuotas vizualinės paieškos būdas pagal 1 punktą, b e s i s k i r i a n t i s tuo, kad minėti objekto arba jo tipo atributai yra tekstinis raktažodžių rinkinys (102).
  4. Kompiuterizuotas vizualinės paieškos būdas pagal 1 ir 3 punktus, b e s i s k i r i a n t i s tuo, kad minėtas raktažodžių rinkinys (102) yra apdorojamas pasitelkiant Natūralios Kalbos Apdorojimo (NKA) variklį (112).
  5. Kompiuterizuotas vizualinės paieškos būdas pagal 1 punktą, b e s i s k i r i a n t i s tuo, kad minėti objekto arba jo tipo atributai yra garsinis įrašas (103).
  6. Kompiuterizuotas vizualinės paieškos būdas pagal 1 ir 5 punktus, b e s i s k i r i a n t i s tuo, kad minėtas garsinis įrašas (103) apdorojamas pasitelkiant Kalbos Atpažinimo variklį (110) paverčiant garsinius duomenis tekstiniais duomenimis, ir toliau minėti tekstiniai duomenys apdorojami Natūralios Kalbos Apdorojimo (NKA) varikliu (112).
  7. Kompiuterizuotas vizualinės paieškos būdas pagal 1 punktą, b e s i s k i r i a n t i s tuo, kad minėti objekto arba jo tipo atributai pasirenkami iš produktų kategorijos (104).
  8. Kompiuterizuotas vizualinės paieškos būdas pagal 1 ir 7 punktą, b e s i s k i r i a n t i s tuo, kad minėtos produktų kategorijos (104) atributai pasirenkami iš Produktų Ontologijos Saugyklos (114).
  9. Kompiuterizuotas vizualinės paieškos būdas pagal 1 punktą, b e s i s k i r i a n t i s tuo, kad identifikuoti atributai patikrinami pagal ontologijos taisykles (113), kur pašalinami iš atrinktų atributų sąrašo tarpusavyje nesuderinami atributai.
LT2021535A 2021-07-14 2021-07-14 Vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu LT6914B (lt)

Priority Applications (4)

Application Number Priority Date Filing Date Title
LT2021535A LT6914B (lt) 2021-07-14 2021-07-14 Vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu
US18/578,639 US20240331007A1 (en) 2021-07-14 2022-07-14 Visual search method with feedback loop based on interactive sketch
EP22757646.9A EP4371013A1 (en) 2021-07-14 2022-07-14 Visual search method with feedback loop based on interactive sketch
PCT/IB2022/056492 WO2023286003A1 (en) 2021-07-14 2022-07-14 Visual search method with feedback loop based on interactive sketch

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
LT2021535A LT6914B (lt) 2021-07-14 2021-07-14 Vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu

Publications (2)

Publication Number Publication Date
LT2021535A LT2021535A (lt) 2022-04-25
LT6914B true LT6914B (lt) 2022-05-25

Family

ID=81213568

Family Applications (1)

Application Number Title Priority Date Filing Date
LT2021535A LT6914B (lt) 2021-07-14 2021-07-14 Vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu

Country Status (4)

Country Link
US (1) US20240331007A1 (lt)
EP (1) EP4371013A1 (lt)
LT (1) LT6914B (lt)
WO (1) WO2023286003A1 (lt)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7707220B2 (en) * 2004-07-06 2010-04-27 Icosystem Corporation Methods and apparatus for interactive searching techniques
US20080177640A1 (en) * 2005-05-09 2008-07-24 Salih Burak Gokturk System and method for using image analysis and search in e-commerce
US8412594B2 (en) 2010-08-28 2013-04-02 Ebay Inc. Multilevel silhouettes in an online shopping environment
US9449026B2 (en) * 2010-08-31 2016-09-20 Microsoft Technology Licensing, Llc Sketch-based image search
US9324102B2 (en) 2013-03-14 2016-04-26 Ebay Inc. System and method to retrieve relevant inventory using sketch-based query
DK2994908T3 (da) * 2013-05-07 2019-09-23 Veveo Inc Grænseflade til inkrementel taleinput med realtidsfeedback
US11004131B2 (en) 2016-10-16 2021-05-11 Ebay Inc. Intelligent online personal assistant with multi-turn dialog based on visual search
CN111819554A (zh) * 2017-12-29 2020-10-23 电子湾有限公司 计算机视觉和图像特征搜索

Also Published As

Publication number Publication date
WO2023286003A1 (en) 2023-01-19
EP4371013A1 (en) 2024-05-22
LT2021535A (lt) 2022-04-25
US20240331007A1 (en) 2024-10-03

Similar Documents

Publication Publication Date Title
Kuznetsova et al. The open images dataset v4: Unified image classification, object detection, and visual relationship detection at scale
US11042594B2 (en) Artificial intelligence for product data extraction
CN111026842A (zh) 自然语言处理方法、自然语言处理装置及智能问答系统
US10503830B2 (en) Natural language processing with adaptable rules based on user inputs
TW201824027A (zh) 字串驗證方法、字串擴充方法與驗證模型訓練方法
KR20120001053A (ko) 문서 감성 분석 시스템 및 그 방법
CN117743315B (zh) 一种为多模态大模型系统提供高质量数据的方法
CN114339450A (zh) 视频评论生成方法、系统、设备及存储介质
CN116611443A (zh) 知识交互图指导的事件因果关系识别系统及方法
CN117151112A (zh) 多模态关键短语生成方法
JP2019003472A (ja) 情報処理装置及び情報処理方法
Wu et al. AvaTaR: Optimizing LLM Agents for Tool-Assisted Knowledge Retrieval
CN117194638A (zh) 素材生成方法、模型训练方法、特征提取方法及设备
US20240256597A1 (en) Machine learning selection of images
JP2010198278A (ja) 評判情報分類装置、評判情報分類方法及びプログラム
LT6914B (lt) Vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu
WO2020175662A1 (ja) 辞書作成装置、辞書作成方法及び辞書作成プログラム
CN116186312A (zh) 用于数据敏感信息发现模型的多模态数据增强方法
CN115357259A (zh) 基于行业的产品更新方法、系统、设备及存储介质
Sato et al. Can Machines and Humans Use Negation When Describing Images?
CN114138929A (zh) 问答方法及装置
Butcher Contract Information Extraction Using Machine Learning
El-Gayar Automatic generation of image caption based on semantic relation using deep visual attention prediction
Rocha et al. LDoW-PaN: Linked Data on the Web—Presentation and Navigation
CN117851577B (zh) 基于知识图谱增强大语言模型的政府服务问答方法

Legal Events

Date Code Title Description
BB1A Patent application published

Effective date: 20220425

FG9A Patent granted

Effective date: 20220525

TH9A Changes in patent title/claims

Effective date: 20220502