LT6914B - Vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu - Google Patents
Vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu Download PDFInfo
- Publication number
- LT6914B LT6914B LT2021535A LT2021535A LT6914B LT 6914 B LT6914 B LT 6914B LT 2021535 A LT2021535 A LT 2021535A LT 2021535 A LT2021535 A LT 2021535A LT 6914 B LT6914 B LT 6914B
- Authority
- LT
- Lithuania
- Prior art keywords
- attributes
- sketch
- user
- visual search
- search method
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000000007 visual effect Effects 0.000 title claims abstract description 28
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 15
- 238000012795 verification Methods 0.000 claims abstract description 4
- 238000003058 natural language processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 15
- 230000004048 modification Effects 0.000 abstract description 10
- 238000012986 modification Methods 0.000 abstract description 10
- 238000012545 processing Methods 0.000 abstract description 2
- 235000000332 black box Nutrition 0.000 abstract 1
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2425—Iterative querying; Query formulation based on the results of a preceding query
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Išradimas siejamas su vaizdų kompiuterinio apdorojimo bei e-komercijos sritimis, o konkrečiau - su vizualinės paieškos būdu, turinčiu grįžtamojo ryšio ciklą, paremtą interaktyviuoju eskizu, siekiant užtikrinti vartotojo kontrolę. Pateikiamas būdas suteikia galimybę vartotojui kontroliuoti procesą prie tradiciškai “juodos dėžės” principu veikiančios vizualinės paieškos, įvesdamas atgalinio ryšio ciklą, paremtą interaktyviuoju eskizu. Būdas apima šiuos pagrindinius žingsnius: pasirinkto objekto arba jo tipo atributai įvedami į įvesties sąsają; atliekama įvestų atributų analizė (patikra) ir identifikuojami minėti atributai taikant sistemos atributų atpažinimo modelį; minėti atributai sujungiami į vientisą vektorinį scheminį atributų eskizą (šabloną) pagal nustatytas projekcines taisykles; minėto atributų eskizo (šablono) palyginimas su duomenų bazėje esančiais objektų atributais siekiant nustatyti, kuris iš esamų objektų atitinka minėtą eskizą (šabloną); atrinkti objektai pateikiami išvesties įrenginyje.
Description
IŠRADIMO SRITIS
Aprašomas išradimas siejamas su vaizdų kompiuterinio apdorojimo bei ekomercijos sritimis, o konkrečiau - su vizualinės paieškos būdu, turinčiu grįžtamojo ryšio ciklą, paremtą interaktyviuoju eskizu, siekiant užtikrinti vartotojo kontrolę. Toliau šiame dokumente šis išradimas bus vadinamas IŠRADIMU (visos didžiosios raidės).
SUSIJUSIŲ IŠRADIMŲ APRAŠYMAS
Tradiciškai vizualinė paieška yra savotiškas “juodos dėžės” procesas vartotojas beveik negali įtakoti, kas šio proceso metu vyksta. Po to kai vartotojas pateikia pirminę informaciją, jis tiesiog gauna paieškos rezultatus kitame proceso gale. Jei paieškos rezultatai yra netinkami - tikroji to priežastis vartotojui lieka nežinoma. Ir vartotojas nieko negali padaryti, kad pagerintų paieškos rezultatus. Buvo ne vienas bandymas pagerinti šią probleminę situaciją, tačiau nei vienas iš esamų techninių sprendimų nesuteikia tokio skaidrumo bei vartotojo kontrolės lygio, kokį užtikrina IŠRADIMAS.
Patento dokumentas US8412594B2 (publikuotas 2013 m. balandžio 2 d.) aprašo būdą, kuris suteikia galimybę kliento kompiuteryje pasirinkti pirmą daikto silueto atvaizdą, parodant siluetų piešinėlius, iliustruojančius įvairias daikto savybes, kaip kad stilius, ilgio tipas, rankovės ilgis. Pasirinkus bet kurį iš šių aspektų serveris gali ieškoti duomenų bazėje daiktų, pasižyminčių pasirinktomis savybėmis. Pasirenkant ne vieną, o kelis piešinėlius, simbolizuojančius daikto savybes bei vieną ar kelis dydžius, leidžiama serveriui ieškoti daiktų, pasižyminčių visomis pasirinktomis savybėmis bei dydžiais. Nors šiame išradime suteikiama galimybė pasirinkti piešinėlius kaip paieškos parametrus, tačiau čia nėra grįžtamojo ryšio ciklo, kuris yra esminis IŠRADIMO elementas.
Patento dokumentas US20160239898A1 (publikuotas 2016 m. rugpjūčio 18 d.) aprašo eskizais pagrįstų užklausų sistemą ir būdą. Ieškomo daikto eskizas gaunamas iš vartotojo įrenginio. Iš eskizo yra išgaunama savybė, atspindinti fizinę daikto, vaizduojamo eskize, savybę. Pagal šią išgautą savybę yra surandami šią savybę turintys inventoriaus elementai. Surasti inventoriaus elementai yra pateikiami vartotojui. Kai gaunamas modifikuotas ieškomo daikto eskizas, paieška pakartojama ir pagal modifikuotą eskizą atnaujintas surastų inventoriaus elementų sąrašas yra pateikiamas vartotojui. Nors šiame išradime aprašomas būdas leidžia ne vieną kartą kartoti paieškos užklausą, tačiau kiekviena užklausa yra iš esmės nepriklausoma ir vykdoma pagal gautą naują (modifikuotą) eskizą. Vartotojas negali modifikuoti gautų paieškos rezultatų sistemiškai ir kontroliuojamai, kaip tai galima daryti IŠRADIME, bet tiesiog atlieka naują paiešką su rankiniu būdu modifikuotu eskizu. Taip pat šis išradimas kaip pirminį informacijos apie ieškomą daiktą šaltinį leidžia naudoti tik eskizą, kai tuo tarpu IŠRADIME taip pat leidžiama naudoti nuotrauką, tekstinį arba garsinį aprašymą bei pasirinktą iš meniu ieškomo produkto kategoriją.
Patento dokumentas US20180108066A1 (publikuota 2018 balandžio 19 d.) aprašo sistemas, būdus bei kompiuterinės programinės įrangos produktus, skirtus identifikuoti reikiamą produktą elektroninėje parduotuvėje. Sistemos realizacija atlieka vizualinio panašumo palyginimą tarp produkto atvaizdo vizualinio turinio bei užklausoje naudojamo atvaizdo vizualinio turinio, apdoroja formalios bei neformalios kalbos vartotojo pateiktus duomenis, koordinuojant su ankstesnėmis vartotojo sąveikomis su elektronine parduotuve, kurios yra išsaugotos žinių grafe. Vizualiai panašūs elementai bei jų atitinkamos produktų kategorijos, aspektai ir aspektų reikšmės gali nustatyti tinkamus produktus be pastebimo uždelsimo vykstant daugkartiniam vartotojo dialogui. Tuomet vartotojas gali patikslinti paiešką labiausiai tinkantiems elementams, kuriuos galima įsigyti, pateikdamas atsakymus j kompiuterio sugeneruotus klausimus, pagrįstus pirminiais paieškos rezultatais, gautais pateikus vizualinę, balso ir/ar tekstinę užklausą. Tokiu būdu išmanus internetinis asmeninis asistentas gali nuvesti vartotoją iki tinkamiausio produkto efektyviau, negu kitos egzistuojančios paieškos priemonės. Nors šiame patento dokumente aprašytas būdas leidžia duomenis pradinei užklausai pateikti įvairiais formatais (tekstiniu, balso ar vaizdo formatu) ir numato ne vieną paieškos iteraciją, principas, kaip yra nustatomi kriterijai naujai paieškos iteracijai, yra visiškai kitoks, nei numatyta IŠRADIME. Šiame išradime paieškos užklausos modifikacija yra pilnai pagrįsta dirbtinio intelekto pagrindu veikiančio virtualaus asistento veikimu, kuris pateikia tekstinius klausimus/pasiūlymus vartotojui ir vėliau, priklausomai nuo gautų vartotojo atsakymų, vykdo naujas paieškos užklausų iteracijas. Esminis skirtumas nuo IŠRADIMO yra tai, kad šiame išradime paieškos modifikacijas valdo dirbtinio intelekto pagrindu veikiantis virtualus asistentas, o tuo tarpu IŠRADIME - vartotojas pats yra visiškai atsakingas už tai, kurią paieškos užklausos dalį reikia pakeisti ir kaip. Taip pat IŠRADIMAS leidžia vartotojui unikaliu visiškai vizualiniu būdu pasirinkti ieškomo objekto modifikaciją, kai šiame išradime visas dialogas tarp sistemos ir vartotojo yra tekstinis.
IŠRADIMO ESMĖ
Šis IŠRADIMAS pateikia kompiuterizuotą vizualinės paieškos būdą su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu, sudarytu iš nustatytų atributų, siekiant užtikrinti vartotojo kontrolę. Pateikiamas būdas yra papildytas grįžtamojo ryšio ciklu, kuris leidžia padaryti procesą skaidresnį bei padidina vartotojo kontrolę procesui. Vartotojui yra pateikiama vizualinė reprezentacija to, kaip paieškos algoritmas supranta jam pateiktus pradinius duomenis. Ieškomas objektas yra pristatomas kaip scheminis eskizas, o tai leidžia gerai apibendrinti, ko yra ieškoma, bet tuo pačiu metu išsaugoti svarbias specifines detales apie ieškomą objektą. Ši vizuali objekto reprezentacija taip pat yra interaktyvi, tai yra vartotojas gali manipuliuoti scheminiu eskizu ir tokiu būdu daryti įtaką paieškai. Nėra jokio apribojimo, kiek tokių manipuliacijų (pataisymų) vartotojas atliks, - po kiekvienos manipuliacijos bus pateikti atitinkami paieškos rezultatai. Interaktyvus eskizas, kurį vartotojas gali modifikuoti, atlieka kelias funkcijas:
aiškiai pateikia vartotojui paieškos užklausą (ko algoritmas šiuo metu ieško), užtikrindamas skaidrumą;
leidžia vartotojui atlikti hibridines užklausas - pradedant nuo nuotraukos, bet vėliau modifikuojant eskizą, tokiu būdu pasiekiant rezultatų, kurių niekaip nebūtų įmanoma pasiekti standartiniais atvirkštinės vaizdo paieškos būdais.
Štai galimos paieškos eigos pavyzdys: vartotojas turi objekto, panašaus į tą, kurį jis norėtų surasti, nuotrauką; vartotojas pateikia šią nuotrauką kaip pirminius užklausos duomenis; objektas nuotraukoje yra atpažįstamas ir pristatomas vartotojui interaktyvaus eskizo pavidalu; vartotojas modifikuoja interaktyvų eskizą, kad jame vaizduojamas daiktas labiau atitiktų tai, ko jis ieško (patikslinama paieškos užklausa), tol, kol gauti paieškos rezultatai (duomenų bazėje surasti objektai) pagaliau jį tenkina.
Kompiuterizuotas vizualinės paieškos būdas apima šiuos žingsnius: pasirinkto objekto arba jo tipo atributai įvedami į įvesties sąsają; atliekama įvestų atributų analizė (patikra) ir identifikuojami minėti atributai taikant sistemos atributų atpažinimo modelį; minėti atributai sujungiami į vientisą vektorinį scheminį atributų eskizą (šabloną) pagal nustatytas projekcines taisykles; minėtas atributų eskizas (šablonas) palyginamas su duomenų bazėje esančiais objektų atributais siekiant nustatyti, kuris iš esamų objektų atitinka minėtą eskizą (šabloną); atrinkti objektai pateikiami išvesties įrenginyje. Minėti objekto arba jo tipo atributai yra pateikiami kaip nuotrauka ir/arba piešinys, tekstinis raktažodžių rinkinys, garsinis įrašas arba pasirenkami iš produktų kategorijos. Minėtas raktažodžių rinkinys apdorojamas pasitelkiant Natūralios Kalbos Apdorojimo (NKA) variklį. Minėtas garsinis įrašas apdorojamas pasitelkiant Kalbos Atpažinimo variklį, o toliau duomenys yra apdorojami Natūralios Kalbos Apdorojimo (NKA) varikliu.
TRUMPAS BRĖŽINIŲ APRAŠYMAS
Pav. 1. Schematiškai iliustruoja pateikiamo vizualinės paieškos būdo struktūrą (žingsniai S1.1/S2.1/S3.1/S4.1 - S3).
Pav. 2. Schematiškai iliustruoja pateikiamo vizualinės paieškos būdo struktūrą (žingsniai S4 - S8).
Pav. 3. Schematiškai iliustruoja pateikiamo vizualinės paieškos būdo struktūrą (žingsniai S9 - S12, įskaitant grįžimą atgal į S3 - S8).
IŠSAMUS IŠRADIMO APRAŠYMAS
Šiame aprašyme pateikiamas kompiuterizuotas vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu, sudarytu iš nustatytų atributų, siekiant užtikrinti vartotojo kontrolę. Būdas apima šiuos esminius žingsnius:
a) pasirinkto objekto arba jo tipo atributai įvedami į įvesties įrenginį;
b) atliekama įvestų atributų analizė (patikra) ir identifikuojami minėti atributai taikant sistemos atributų atpažinimo modelį;
c) minėti atributai sujungiami į vientisą vektorinį scheminį atributų eskizą (šabloną) pagal nustatytas projekcines taisykles;
d) minėtas atributų eskizas (šablonas) palyginamas su duomenų bazėje esančiais objektų atributais siekiant nustatyti, kuris iš esamų objektų atitinka minėtą eskizą (šabloną);
e) atrinkti objektai pateikiami išvesties įrenginyje.
Paieškos procesas prasideda vartotojui pateikiant pirminę informaciją apie ieškomą objektą. Vartotojui pateikiama vartotojo sąsaja, kurios pagalba jis gali įvesti pirminę informaciją apie ieškomą objektą (objekto arba jo tipo atributai). Ši informacija gali būti kelių skirtingų tipų:
Ieškomo objekto atvaizdas (nuotrauka, piešinys arba eskizas) (101).
Tekstas - žodžių (raktažodžių) rinkinys, aprašantis ieškomą objektą (102).
ištartų žodžių rinkinys (balso jrašas), kuriuo nupasakojamas ieškomas objektas (103).
Ieškomo produkto kategorija, kuri yra pasirenkama iš meniu vartotojo sąsajoje (104).
Pradinės informacijos apie ieškomą objektą pateikimo būdų įvairovė maksimaliai išplečia IŠRADIMO pritaikomumą įvairiomis aplinkybėmis bei įvairiuose vartojimo scenarijuose.
Kiekvienas iš galimų pradinės informacijos pateikimo būdų lemia skirtingą paieškos proceso pradžią, todėl yra pateikiamas kiekvieno iš galimų atvejų detalus aprašymas.
Pirmajame įgyvendinimo variante pradinė informacija yra pateikiama atvaizdo pavidalu.
S 1.1. Pirmame žingsnyje (101) vartotojas pateikia ieškomo daikto nuotrauką arba scheminį piešinį (eskizą).
S1.2. Kitame žingsnyje (106) objektų atpažinimo modelių (111), atsakingų už produkto atributų atpažinimą produkto atvaizde, pagalba yra identifikuojami produkto atributai.
S1.3. Kitame žingsnyje (108) yra patikrinamas anksčiau identifikuotų produkto atributų atitikimas ontologijos taisyklėms (113) - atrasti konfliktai yra išsprendžiami pašalinant iš atrinktų atributų sąrašo tarpusavyje nesuderinamus atributus. Šiuo atveju ontologijos taisyklės (113) veikia kaip pirminis identifikuotų atributų tinkamumo filtras.
S3. Atrinktų atributų sąrašas (115) yra paruoštas tolimesniems žingsniams.
Antrajame įgyvendinimo variante pirminė informacija yra pateikiama raktažodžių rinkinio pavidalu.
S2.1. Pirmame žingsnyje (102) vartotojas pateikia raktažodžius, aprašančius produktą, kurį norima surasti.
S2.2. Kitame žingsnyje (107) produkto atributai yra identifikuojami iš tekstinės informacijos, pasitelkiant NKA (Natūralios Kalbos Apdorojimo) variklį (112), kuris atsakingas už produkto atributų atpažinimą pateiktame tekste.
S2.3. Kitame žingsnyje (108) yra patikrinamas anksčiau identifikuotų produkto atributų atitikimas ontologijos taisyklėms (113) - atrasti konfliktai yra išsprendžiami pašalinant iš atrinktų atributų sąrašo tarpusavyje nesuderinamus atributus. Šiuo atveju ontologijos taisyklės (113) veikia kaip pirminis identifikuotų atributų tinkamumo filtras.
S3. Atrinktų atributų sąrašas (115) yra paruoštas tolimesniems žingsniams.
Trečiajame įgyvendinimo variante pirminė informacija yra pateikiama ištartų žodžių rinkinio (garso įrašo) pavidalu.
S3.1. Pirmame žingsnyje (103) vartotojas pateikia garsinį atpasakojimą (ištartus žodžius), apibūdinantį produktą, kurio yra ieškoma.
S3.2. Kitame žingsnyje (105) balso įrašas yra apdorojamas Kalbos Atpažinimo („Kalba - Tekstas“) variklio (110), atsakingo už patikimą garsinių kalbos duomenų pavertimą tekstiniais duomenimis, pagalba.
S3.3. Kitame žingsnyje (107) produkto atributai yra identifikuojami iš tekstinės informacijos, pasitelkiant NKA (Natūralios Kalbos Apdorojimo) variklį (112), kuris atsakingas už produkto atributų atpažinimą pateiktame tekste.
S3.4. Kitame žingsnyje (108) yra patikrinamas anksčiau identifikuotų produkto atributų atitikimas ontologijos taisyklėms (113) - atrasti konfliktai yra išsprendžiami pašalinant iš atrinktų atributų sąrašo kitiems atributams prieštaraujančius atributus. Šiuo atveju ontologijos taisyklės (113) veikia kaip pirminis identifikuotų atributų tinkamumo filtras.
S3. Atrinktų atributų sąrašas (115) yra paruoštas tolimesniems žingsniams.
Ketvirtajame įgyvendinimo variante pirminė informacija yra pateikiama pasirinktos produktų kategorijos pavidalu.
S4 .1. Pirmame žingsnyje (104) vartotojas pasirenka ieškomo produkto kategoriją iš vartotojo sąsajos meniu.
S4 .2. Kitame žingsnyje (109) pasirinktai produktų kategorijai aktualūs produkto atributai yra gaunami iš Produktų Ontologijų saugyklos (114).
S3. Atrinktų atributų sąrašas (115) yra paruoštas tolimesniems žingsniams.
S4. Kitame žingsnyje (201) atrinktus produkto atributus atitinkantys interaktyvaus eskizo (šablono) sudėtiniai elementai yra atrenkami iš duomenų bazės (205).
S5. Kitame žingsnyje (202) pasirinkti sudėtiniai interaktyvaus eskizo (šablono) elementai yra sujungiami j vientisą eskizą (šabloną) pagal derinimo taisykles (207). Šiame žingsnyje suformuotas eskizas (šablonas) yra pateikiamas vartotojui.
S6. Kitame žingsnyje (203), iš žingsniuose S1.4, S2.4, S3.5 arba S4.3 išfiltruotų atributų pagal projekcines taisykles (206) yra suformuojamas vektorius. Minėtos projekcinės taisyklės (206) yra sudarytos iš žiniomis pagrįstų taisyklių bei surinktų duomenų apie vartotoją, kad kuo geriau atspindėtų vartotojo asmeninius lūkesčius ir prioritetus. Šiuo atveju, projekcinės taisyklės (206) nukreipia iš atributų erdvės į tam tikrą Euklido erdvę, kad kuo geriau atspindėtų panašumą.
S7. Kitame žingsnyje (204) vektorius iš žingsnio S6 (203) yra palyginamas su duomenų baze (208), kurioje yra laikomi objektai ir jų atitinkami atributai.
S8. Šiame žingsnyje (209) vartotojui yra pateikiamas scheminis ieškomo objekto atvaizdas kartu su paieškos metu surastų objektų iš duomenų bazės sąrašu.
Šiame etape vartotojas pilnai kontroliuoja paieškos procesą, kadangi jis gali modifikuoti jam pateiktą scheminį atvaizdą. Tai vartotojas gali padaryti keliais būdais:
Su kompiuterine pele pasirinkdamas ir spragteldamas ant interaktyvaus eskizo grafinėje vartotojo sąsajoje ir pasirinkdamas vieną iš siūlomų alternatyvių pasirinkimų (šis atvejis yra toliau naudojamas iliustracijose ir aprašyme);
įvesdamas komandas, kurios apibrėžia vartotojo veiksmus (kuri eskizo vieta turi būti pasirenkama ir keičiama);
Sakydamas vartotojo veiksmus nusakančias komandas balsu (kuri eskizo vieta turi būti pasirenkama ir keičiama).
Šio veiksmo atlikimas toliau apima šiuos žingsnius:
S9. Šiame žingsnyje (209) vartotojas pasirenka (naudodamas “a”) būdą iš galimų variantų, aprašytų S8 žingsnyje, kažkurią scheminio atvaizdo vietą (atitinkančią kažkurį produkto atributą).
S10. Kitame žingsnyje (301) yra gaunamos galimos modifikacijos pasirinktam atributui. Šiam tikslui naudojama modifikavimo taisyklių duomenų bazė (304). Šios taisyklės aprašo atributų modifikavimo galimybes ir jos gali būti tobulinamos, remiantis egzistuojančiomis žiniomis bei sukaupta patirtimi, analizuojant realius esamus objektus.
S11. Kitame žingsnyje (302) atitinkamos eskizo sudedamosios dalys yra gaunamos iš duomenų bazės (205). Sudedamosios eskizo dalys bei galimos jų alternatyvos yra perduodamos j vartotojo sąsają ir pateikiamos vartotojui išvesties įrenginyje.
S12. Šiame žingsnyje (303) vartotojas, pasinaudodamas vienu iš galimų būdų, aprašytų S7 žingsnyje, pasirenka vieną iš jam pateiktų pasirinktos eskizo dalies/atributo alternatyvų.
Atributų pasikeitimai perduodami atgal algoritmui. Tuomet yra kartojami žingsniai S3-S7 (115, 201-204). Žingsniai S8-S12 (209, 301-303) ir po to žingsniai S3S7 (115, 201 -204) gali būti kartojami tiek kartų, kiek tik pageidaujama, - tai ir sudaro grįžtamojo ryšio ciklą vizualinei paieškai.
Aukščiau aprašytas paieškos procesas yra pateikiamas, siekiant iliustruoti bei aprašyti IŠRADIMĄ. Tai nėra nei išsamus, nei apribojantis aprašymas, siekiantis apibrėžti tikslią proceso formą ar realizaciją. Aukščiau pateiktas aprašymas turi būti traktuojamas labiau kaip iliustracija, nei kaip apribojimas. Akivaizdu, kad šios srities specialistams gali egzistuoti daugybė šio proceso modifikacijų bei variantų. Aprašyta proceso realizacija buvo pasirinkta, siekiant šios srities ekspertams aiškiausiu įmanomu būdu perteikti išradimo principus bei potencialias praktinio išradimo bei jo galimų modifikacijų pritaikymo galimybes įvairiose situacijose. Laikoma, kad šio išradimo apimtis yra apibrėžta žemiau išdėstytuose apibrėžties punktuose ir jų ekvivalentuose, kuriuose visi naudojami terminai turi plačiausią įmanomą prasmę, nebent būtų nurodyta priešingai.
Išradimo realizacijose, aprašomose šios srities specialistų, pakeitimai gali būti daromi nenukrypstant nuo išradimo apimties, kaip aprašoma žemiau pateikiamuose teiginiuose apibrėžties punktuose.
Claims (9)
- Kompiuterizuotas vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu, sudarytu iš nustatytų atributų, siekiant užtikrinti vartotojo kontrolę, b e s i s k i r i a n t i s tuo, kad apima šiuos žingsnius: a) pasirinkto objekto arba jo tipo atributai įvedami į įvesties sąsają; b) atliekama įvestų atributų analizė (patikra) ir identifikuojami minėti atributai taikant sistemos atributų atpažinimo modelį; c) minėti atributai sujungiami į vientisą vektorinį scheminį atributų eskizą (šabloną) pagal nustatytas projekcines taisykles; d) minėtas atributų eskizas (šablonas) palyginami su duomenų bazėje esančiais objektų atributais siekiant nustatyti, kuris iš esamų objektų atitinka minėtą eskizą (šabloną); e) atrinkti objektai pateikiami išvesties įrenginyje.
- Kompiuterizuotas vizualinės paieškos būdas pagal 1 punktą, b e s i s k i r i a n t i s tuo, kad minėti objekto arba jo tipo atributai yra nuotrauka ir/arba piešinys (101).
- Kompiuterizuotas vizualinės paieškos būdas pagal 1 punktą, b e s i s k i r i a n t i s tuo, kad minėti objekto arba jo tipo atributai yra tekstinis raktažodžių rinkinys (102).
- Kompiuterizuotas vizualinės paieškos būdas pagal 1 ir 3 punktus, b e s i s k i r i a n t i s tuo, kad minėtas raktažodžių rinkinys (102) yra apdorojamas pasitelkiant Natūralios Kalbos Apdorojimo (NKA) variklį (112).
- Kompiuterizuotas vizualinės paieškos būdas pagal 1 punktą, b e s i s k i r i a n t i s tuo, kad minėti objekto arba jo tipo atributai yra garsinis įrašas (103).
- Kompiuterizuotas vizualinės paieškos būdas pagal 1 ir 5 punktus, b e s i s k i r i a n t i s tuo, kad minėtas garsinis įrašas (103) apdorojamas pasitelkiant Kalbos Atpažinimo variklį (110) paverčiant garsinius duomenis tekstiniais duomenimis, ir toliau minėti tekstiniai duomenys apdorojami Natūralios Kalbos Apdorojimo (NKA) varikliu (112).
- Kompiuterizuotas vizualinės paieškos būdas pagal 1 punktą, b e s i s k i r i a n t i s tuo, kad minėti objekto arba jo tipo atributai pasirenkami iš produktų kategorijos (104).
- Kompiuterizuotas vizualinės paieškos būdas pagal 1 ir 7 punktą, b e s i s k i r i a n t i s tuo, kad minėtos produktų kategorijos (104) atributai pasirenkami iš Produktų Ontologijos Saugyklos (114).
- Kompiuterizuotas vizualinės paieškos būdas pagal 1 punktą, b e s i s k i r i a n t i s tuo, kad identifikuoti atributai patikrinami pagal ontologijos taisykles (113), kur pašalinami iš atrinktų atributų sąrašo tarpusavyje nesuderinami atributai.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
LT2021535A LT6914B (lt) | 2021-07-14 | 2021-07-14 | Vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu |
US18/578,639 US20240331007A1 (en) | 2021-07-14 | 2022-07-14 | Visual search method with feedback loop based on interactive sketch |
EP22757646.9A EP4371013A1 (en) | 2021-07-14 | 2022-07-14 | Visual search method with feedback loop based on interactive sketch |
PCT/IB2022/056492 WO2023286003A1 (en) | 2021-07-14 | 2022-07-14 | Visual search method with feedback loop based on interactive sketch |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
LT2021535A LT6914B (lt) | 2021-07-14 | 2021-07-14 | Vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu |
Publications (2)
Publication Number | Publication Date |
---|---|
LT2021535A LT2021535A (lt) | 2022-04-25 |
LT6914B true LT6914B (lt) | 2022-05-25 |
Family
ID=81213568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
LT2021535A LT6914B (lt) | 2021-07-14 | 2021-07-14 | Vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240331007A1 (lt) |
EP (1) | EP4371013A1 (lt) |
LT (1) | LT6914B (lt) |
WO (1) | WO2023286003A1 (lt) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7707220B2 (en) * | 2004-07-06 | 2010-04-27 | Icosystem Corporation | Methods and apparatus for interactive searching techniques |
US20080177640A1 (en) * | 2005-05-09 | 2008-07-24 | Salih Burak Gokturk | System and method for using image analysis and search in e-commerce |
US8412594B2 (en) | 2010-08-28 | 2013-04-02 | Ebay Inc. | Multilevel silhouettes in an online shopping environment |
US9449026B2 (en) * | 2010-08-31 | 2016-09-20 | Microsoft Technology Licensing, Llc | Sketch-based image search |
US9324102B2 (en) | 2013-03-14 | 2016-04-26 | Ebay Inc. | System and method to retrieve relevant inventory using sketch-based query |
DK2994908T3 (da) * | 2013-05-07 | 2019-09-23 | Veveo Inc | Grænseflade til inkrementel taleinput med realtidsfeedback |
US11004131B2 (en) | 2016-10-16 | 2021-05-11 | Ebay Inc. | Intelligent online personal assistant with multi-turn dialog based on visual search |
CN111819554A (zh) * | 2017-12-29 | 2020-10-23 | 电子湾有限公司 | 计算机视觉和图像特征搜索 |
-
2021
- 2021-07-14 LT LT2021535A patent/LT6914B/lt unknown
-
2022
- 2022-07-14 US US18/578,639 patent/US20240331007A1/en active Pending
- 2022-07-14 WO PCT/IB2022/056492 patent/WO2023286003A1/en active Application Filing
- 2022-07-14 EP EP22757646.9A patent/EP4371013A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023286003A1 (en) | 2023-01-19 |
EP4371013A1 (en) | 2024-05-22 |
LT2021535A (lt) | 2022-04-25 |
US20240331007A1 (en) | 2024-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kuznetsova et al. | The open images dataset v4: Unified image classification, object detection, and visual relationship detection at scale | |
US11042594B2 (en) | Artificial intelligence for product data extraction | |
CN111026842A (zh) | 自然语言处理方法、自然语言处理装置及智能问答系统 | |
US10503830B2 (en) | Natural language processing with adaptable rules based on user inputs | |
TW201824027A (zh) | 字串驗證方法、字串擴充方法與驗證模型訓練方法 | |
KR20120001053A (ko) | 문서 감성 분석 시스템 및 그 방법 | |
CN117743315B (zh) | 一种为多模态大模型系统提供高质量数据的方法 | |
CN114339450A (zh) | 视频评论生成方法、系统、设备及存储介质 | |
CN116611443A (zh) | 知识交互图指导的事件因果关系识别系统及方法 | |
CN117151112A (zh) | 多模态关键短语生成方法 | |
JP2019003472A (ja) | 情報処理装置及び情報処理方法 | |
Wu et al. | AvaTaR: Optimizing LLM Agents for Tool-Assisted Knowledge Retrieval | |
CN117194638A (zh) | 素材生成方法、模型训练方法、特征提取方法及设备 | |
US20240256597A1 (en) | Machine learning selection of images | |
JP2010198278A (ja) | 評判情報分類装置、評判情報分類方法及びプログラム | |
LT6914B (lt) | Vizualinės paieškos būdas su grįžtamojo ryšio ciklu, paremtu interaktyviuoju eskizu | |
WO2020175662A1 (ja) | 辞書作成装置、辞書作成方法及び辞書作成プログラム | |
CN116186312A (zh) | 用于数据敏感信息发现模型的多模态数据增强方法 | |
CN115357259A (zh) | 基于行业的产品更新方法、系统、设备及存储介质 | |
Sato et al. | Can Machines and Humans Use Negation When Describing Images? | |
CN114138929A (zh) | 问答方法及装置 | |
Butcher | Contract Information Extraction Using Machine Learning | |
El-Gayar | Automatic generation of image caption based on semantic relation using deep visual attention prediction | |
Rocha et al. | LDoW-PaN: Linked Data on the Web—Presentation and Navigation | |
CN117851577B (zh) | 基于知识图谱增强大语言模型的政府服务问答方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
BB1A | Patent application published |
Effective date: 20220425 |
|
FG9A | Patent granted |
Effective date: 20220525 |
|
TH9A | Changes in patent title/claims |
Effective date: 20220502 |