TWI686706B - 跨語言資訊建構與處理方法及跨語言資訊系統 - Google Patents

跨語言資訊建構與處理方法及跨語言資訊系統 Download PDF

Info

Publication number
TWI686706B
TWI686706B TW108100366A TW108100366A TWI686706B TW I686706 B TWI686706 B TW I686706B TW 108100366 A TW108100366 A TW 108100366A TW 108100366 A TW108100366 A TW 108100366A TW I686706 B TWI686706 B TW I686706B
Authority
TW
Taiwan
Prior art keywords
image
object information
target
language
group
Prior art date
Application number
TW108100366A
Other languages
English (en)
Other versions
TW202024949A (zh
Inventor
蕭羽廷
梁哲瑋
陳聖軒
徐道婷
蔡雅芳
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to CN201910043224.3A priority Critical patent/CN111368117B/zh
Application granted granted Critical
Publication of TWI686706B publication Critical patent/TWI686706B/zh
Publication of TW202024949A publication Critical patent/TW202024949A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/53Processing of non-Latin text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/3332Query translation
    • G06F16/3337Translation of the query language, e.g. Chinese to English
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9532Query formulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0623Item investigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations

Abstract

一種跨語言資訊建構方法,包含以系統的處理器從多個網路平台蒐集多個物件資訊。以處理器依據該些物件資訊建構對應本地語言的第一資料結構與對應目標語言的第二資料結構。以處理器依據第一資料結構內的多個第一物件資訊具有的特徵資料,對該些第一物件資訊進行分群以形成多個本地圖像群組。以處理器依據第二資料結構內的多個第二物件資訊具有的特徵資料,對該些第二物件資訊進行分群以形成多個目標圖像群組。其中,每個本地圖像群組包含多個本地標籤群組,且每個目標圖像群組包含多個目標標籤群組。

Description

跨語言資訊建構與處理方法及跨語言資訊系統
本發明係關於一種應用圖像及詞語特徵的跨語言資訊建構與處理方法以及跨語言資訊系統。
網際網路的快速發展使人們的生活越來越便利,而網路購物已逐漸地成為全球化之中重要的一環。全球性的發展所要面對的第一個問題係為語言差異所造成的隔閡。雖然英文係為重要的國際語言,然而並非所有國家都使用英文作為主要溝通語言。當各國的使用者在網路平台上看到感興趣的商品資訊、亦或是其他具有概念或意涵的資訊或某些國家的當地流行語等相關內容時,需要透過翻譯軟體/工具來解網站的文字內容意思為何,且流行商品的翻譯更有其困難度,例如:中文中化妝品中之前導液,韓文翻為引物,英文翻為底漆,與原意相差甚遠。此外,各國的社群網站與論壇網站眾多,且所展示的商品時常推陳出新。這樣的情況會造成時間上的耗費且使用者的便利性也會大幅下降。
本發明提出一種跨語言資訊建構與處理方法以及系統,應用圖像與詞語特徵的分類進行跨語言的資料建構與比對分析,以便利地搜尋到跨語言標的(例如商品)。
依據本發明之一實施例揭露一種跨語言資訊建構方法,包含以下步驟:以系統的處理器從多個網路平台蒐集多個物件資訊;以處理器依據該些物件資訊而建構具有對應本地語言的第一資料結構與對應目標語言的第二資料結構的資料庫;以處理器依據第一資料結構內的多個第一物件資訊具有的特徵資料,對該些第一物件資訊進行分群以形成多個本地圖像群組;以處理器依據第二資料結構內的多個第二物件資訊具有的特徵資料,對該些第二物件資訊進行分群以形成多個目標圖像群組。其中,每個本地圖像群組包含多個本地標籤群組,且每個目標圖像群組包含多個目標標籤群組。
依據本發明之一實施例揭露一種跨語言資訊處理方法,包含以下步驟:以系統的處理器建構具有對應本地語言的第一資料結構與對應目標語言的第二資料結構的資料庫;以系統的操作介面接收目標物件資訊,並且提取目標物件資訊的特徵資料;以系統依據所提取的目標物件資訊的特徵資料而從對應本地語言的第一資料結構當中選取第一關聯圖像群;以系統依據第一關聯圖像群執行跨語言比對任務而從對應目標語言的第二資料結構當中選取第二關聯圖像群;以系統依據第二關聯圖像群而輸出多個候選物件圖像;以系統依據使用者指令選取該些候選物件圖像當中的一個候選物件圖像作為目標物件圖像。其中,目標物件資訊的特徵資料包含關於目標物件資訊的圖像特徵與詞語特徵。
依據本發明之一實施例揭露一種跨語言資訊系統,適於多個網路平台,該跨語言資訊系統包含資料庫,操作介面及處理器。資料庫配置以儲存對應本地語言的第一資料結構與對應目標語言的該第二資料結構。操作介面配置以接收目標物件資訊。處理器連接資料庫與操作介面,處理器配置以提取目標物件資訊的特徵資料,且依據所提取的目標物件資訊的特徵資料而從第一資料結構當中選取第一關聯圖像群,處理器更依據第一關聯圖像群執行跨語言比對任務而從第二資料結構當中選取第二關聯圖像群,且依據第二關聯圖像群而使操作介面輸出多個候選物件圖像,處理器更依據使用者指令選取些候選物件圖像當中的候選物件圖像作為目標物件圖像。其中,該目標物件資訊的特徵資料包含關於該目標物件資訊的一圖像特徵與一詞語特徵。
在本發明所提出的跨語言資訊建構與處理方法以及系統中,主要係先建構各類物件的圖像(image)及詞語(hashtag)的資料庫,並提取所輸入的目標物件的圖像特徵以及詞語(hashtag)特徵,以在不同語言的資料庫當中進行搜尋分類,從而篩選且排序出多個後選的品項供使用者選取,並且可允許使用者反饋分數。藉此,透過圖像及詞語標籤之分類比對建立高精準度的跨語言搜尋,讓使用者獲知不同語系國家的社群或購物網站上的產品,亦可用於供商品設計之進行、進貨布局、元素添加決策、廣告投放或標的熱度之消長狀態。
以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理,並且提供本發明之專利申請範圍更進一步之解釋。
以下在實施方式中詳細敘述本發明之詳細特徵以及優點,其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施,且根據本說明書所揭露之內容、申請專利範圍及圖式,任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點,但非以任何觀點限制本發明之範疇。
請一併參照圖1與圖2,圖1係依據本發明之一實施例所繪示的跨語言資訊系統的方塊示意圖。圖2係依據本發明之一實施例所繪示的跨語言資訊建構方法的方法流程圖,此方法可由圖1的跨語言資訊系統實施。如圖1所示,跨語言資訊系統10 (以下簡稱「系統10」)包含處理器101、資料庫103及操作介面105,其中處理器101連接資料庫103及操作介面105。於實務上,跨語言資訊系統10係為一電腦系統可通過網路連接外部的多個網路平台20a~20c,其中處理器101可係為中央處理器、微處理器、微控制器等具有運算功能的元件,而網路平台20a~20c可為各國家的不同社群網站、論壇網站等。
如圖2所示的跨語言資訊建構方法,在步驟S201中,以處理器101從網路平台20a~20c蒐集多個物件資訊。所述的物件資訊係為來自不同國家的各類商品資訊、例如是化妝品、3C商品、食品、服飾等。請進一步參照圖3,圖3係依據本發明之一實施例所繪示的跨語言物件資訊建構的示意圖。在步驟S203中,以處理器101依據這些物件資訊建構對應本地語言的第一資料結構DA1與對應目標語言的第二資料結構DA2。具體來說,處理器101先根據語言類別而將所蒐集的這些物件資訊(如下述的物件資訊SB1~SB27、TB1~TB27)進行初步的分群,以形成屬於本地語言的物件資訊(即第一資料結構DA1)以及屬於目標語言的物件資訊(即第二資料結構DA2)。在此所述的本地語言例如係為使用者的母語(例如中文),而目標語言係為不同於使用者母語的另一種語言(例如韓文),本發明不以此為限。
在步驟S205中,以處理器101依據該第一資料結構DA1內的第一物件資訊SB1~SB27具有的特徵資料,對該些第一物件資訊SB1~SB27進行分群以形成多個本地圖像群組,例如:SG1~SG3,本發明不以此為限。本地圖像群組SG1~SG3個別包含多個本地標籤群組。舉例來說,本地圖像群組SG1包含本地標籤群組SHG1~SHG3,本地圖像群組SG2包含本地標籤群組SHG4~SHG6,而本地圖像群組SG3包含本地標籤群組SHG7~SHG9,本發明不以此為限。
在步驟S207中,以處理器101依據第二資料結構DA2內的多個第二物件資訊TB1~TB27具有的特徵資料,對第二物件資訊TB1~TB27進行分群以形成多個目標圖像群組TG1~TG3。目標圖像群組TG1~TG3個別包含多個目標標籤群組。舉例來說,目標圖像群組TG1包含目標標籤群組THG1~THG3,目標圖像群組TG2包含目標標籤群組THG4~THG6,而目標圖像群組TG3包含目標標籤群組THG7~THG9。
於一實施例中,第一物件資訊SB1~SB27具有的特徵資料包含多個第一圖像資料及多個第一標籤資料,且第二物件資訊TB1~TB27具有的特徵資料包含多個第二圖像資料及多個第二標籤資料。詳言之,每個第一與第二物件資訊的特徵資料包含對應的圖像資料/標籤資料。所述的圖像資料包含物件資訊的形狀、顏色、輪廓等特徵資訊,而標籤資料包含形容物件資訊之意涵的文字資訊。在實作上,處理器101可透過卷積神經網絡(Convolutional Neural Network,CNN)的技術擷取物件資訊的特徵資料(例如圖像特徵),處理器101再進一步地執行基於密度的聚類演算法(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)以進行上述的圖像/標籤分群,但本發明不以此為限。處理器101藉由提取前述的圖像/詞語特徵,便可以建立圖3所示的跨語言物件資訊建構的資料結構內之多個圖像群組(含標籤群組),並將其儲存於資料庫103中以供使用者進行目標物件資訊的比對搜尋。
於一實施例中,以處理器101依據第一資料結構DA1內的第一物件資訊SB1~SB27具有的特徵資料,對第一物件資訊SB1~SB27進行分群以形成本地圖像群組SG1~SG3包含:以處理器101依據該些第一圖像資料對第一物件資訊SB1~SB27執行一圖像分群任務,以形成本地圖像群組SG1~SG3。而每個本地圖像群組內的該些第一物件資訊具有對應的第一圖像特徵。詳細來說,處理器101會將具有相同或相似第一圖像特徵的第一物件資訊分群在同一本地圖像群組。如圖3所示,由於第一物件資訊SB1~SB9具有相同或相似的第一圖像特徵,因此將其歸納至本地圖像群組SG1。同樣地,第一物件資訊SB10~SB18具有相同或相似的第一圖像特徵,因此將其歸納至本地圖像群組SG2。而第一物件資訊SB19~SB27具有相同或相似的第一圖像特徵,因此將其歸納至本地圖像群組SG3。
另一方面,於一實施例中,以處理器101依據第二資料結構DA2內的第二物件資訊TB1~TB27具有的特徵資料,對第二物件資訊TB1~TB27進行分群以形成該些目標圖像群組包含:以處理器101依據該些第二圖像資料對該些第二物件資訊TB1~TB27執行一圖像分群任務,以形成該些目標圖像群組TG1~TG3。而每個目標圖像群組內的該些第二物件資訊具有對應的第二圖像特徵。詳細來說,處理器101會將具有相同或相似第二圖像特徵的第二物件資訊分群在同一目標圖像群組。如圖3所示,由於第二物件資訊TB1~TB9具有相同或相似的第二圖像特徵,因此將其歸納至本地圖像群組TG1。同樣地,第二物件資訊TB10~TB18具有相同或相似的第二圖像特徵,因此將其歸納至本地圖像群組TG2。而第二物件資訊TB19~TB27具有相同或相似的第二圖像特徵,因此將其歸納至本地圖像群組TG3。
於一實施例中,本發明的跨語言資訊建構方法更包含以處理器101依據第一物件資訊SB1~SB27具有的第一標籤資料對每個本地圖像群組內的第一物件資訊執行一標籤分群任務,以形成本地標籤群組SHG1~SHG9,其中每個本地標籤群組內的第一物件資訊具有對應的第一標籤特徵。具體來說,在此標籤分群任務中,處理器101會將每個本地圖像群組內的具有對應的第一標籤資料的該些第一物件資訊分群在同一本地標籤群組。亦即,在同一個本地標籤群組內的第一物件資訊所具有的第一標籤資料包含相同或類似的詞語意涵。以圖3實施例的本地圖像群組SG1來說,第一物件資訊SB1~SB3具有相對應的第一標籤資料,因此處理器101便將第一物件資訊SB1~SB3分群至同一本地標籤群組SHG1。同樣地,第一物件資訊SB4~SB6具有相對應的第一標籤資料,因此處理器101便將第一物件資訊SB4~SB6分群至同一本地標籤群組SHG2。而第一物件資訊SB7~SB9具有相對應的第一標籤資料,因此處理器101便將第一物件資訊SB7~SB9分群至同一本地標籤群組SHG3。同樣的原理可應用在本地圖像群組SG2與本地圖像群組SG3。
另一方面,於一實施例中,本發明的跨語言資訊建構方法更包含以處理器101依據第二物件資訊TB1~TB27具有的第二標籤資料對每個目標圖像群組內的第二物件資訊執行一標籤分群任務,以形成該些目標標籤群組,其中每個目標標籤群組內的第二物件資訊具有對應的第二標籤特徵。具體來說,在此標籤分群任務中,處理器101會將每個目標圖像群組內的具有對應的第二標籤資料的該些第二物件資訊分群在同一目標標籤群組。以圖3實施例的目標圖像群組TG1來說,第二物件資訊TB1~TB3具有相對應的第二標籤資料,因此處理器101便將第二物件資訊TB1~TB3分群至同一目標標籤群組THG1。同樣地,第二物件資訊TB4~TB6具有相對應的第二標籤資料,因此處理器101便將第二物件資訊TB4~TB6分群至同一目標標籤群組THG2。而第二物件資訊TB7~TB9具有相對應的第二標籤資料,因此處理器101便將第二物件資訊TB7~TB9分群至同一目標標籤群組THG3。同樣的原理應用在目標圖像群組TG2與目標圖像群組TG3。
綜合前述實施例,本發明的系統會先進行資料庫的建構,亦即系統先將各種類的物件資訊依據語言類別進行初步分群以構成對應本地語言與目標語言的不同資料結構。接著,針對各個資料結構內的物件資訊分別執行圖像分群及標籤分群任務,以基於圖像/標籤特徵而將眾多的物件資訊分門別類,形成不同屬性的資料群組用於供後續使用者進行目標物件資訊的比對分析。關於如何使用建構完成的資料庫進行特定目標物件的相關比對及搜尋將於後續段落有詳細描述。
請一併參照圖1、圖3及圖4,圖4係依據本發明之一實施例所繪示的跨語言資訊處理方法的方法流程圖,此方法同樣可由圖1的跨語言資訊系統實施。如圖4所示,於步驟S301中,以系統10的處理器101建構具有對應本地語言(例如中文)的第一資料結構DA1與對應目標語言(例如韓文)的第二資料結構DA2,並將其儲存於資料庫103。在圖4實施例的跨語言資訊處理方法中,更包含第一資料結構DA1與第二資料結構DA2內部的第一物件資料及第二物件資料的圖像/標籤分群任務之執行,以形成如圖3所示的本地圖像/標籤群組以及目標圖像/標籤群組。由於上述的分群細部原理與步驟流程已於前述實施例中有詳細介紹,故於此不再贅述。以下段落將著重基於所建構的資料庫之特定目標物件的相關比對及搜尋。
於步驟S303中,以系統10的操作介面105接收一個目標物件資訊,並且提取此目標物件資訊的特徵資料。在實際操作來說,使用者可在操作介面105中輸入所欲搜尋的目標物件資訊(例如圖片/文字),其中所述的目標物件資訊的特徵資料包含關於此目標物件資訊的圖像特徵與詞語特徵。舉例來說,假設目標物件資訊係為某一種瓶裝沐浴乳,則系統10便可以提取此目標物件資訊(沐浴乳)的圖像特徵,例如是瓶罐外形、內容物顏色等,此外更可提取目標物件資訊(沐浴乳)的詞語特徵,例如是#沐浴乳、#乳狀、#泡泡綿密、#保濕、#香味等具有關於此目標物件意涵的文字,本發明不以此為限。
於步驟S305中,以系統10依據所提取的目標物件資訊的特徵資料而從對應本地語言的第一資料結構DA當中選取第一關聯圖像群。 於步驟S307中,以系統10依據第一關聯圖像群執行一跨語言比對任務而從對應目標語言的第二資料結構DA當中選取第二關聯圖像群。
於一實施例中,以系統10依據所提取的目標物件資訊的特徵資料而從本地語言的第一資料結構DA當中選取第一關聯圖像群包含:以系統10從第一資料結構DA1內的本地圖像群組SG1~SG3當中選取一個本地圖像群組作為第一關聯圖像群,其中所選取的本地圖像群組對應的第一圖像特徵與目標物件資訊的圖像特徵相符合。詳言之,系統10的處理器101係根據目標物件資訊的圖像特徵而從本地圖像群組SG1~SG3中查找對應此目標物件資訊之圖像特徵的本地圖像群組。
舉例來說,假設本地圖像群組SG1~SG3分別具有的第一圖像特徵例如是瓶罐外形、3C裝置外形、食品太空包外形,則由於目標物件資訊(沐浴乳)的圖像特徵是為瓶罐外形,因此系統10便可選取本地圖像群組SG1作為此第一關聯圖像群。更詳細來說,在本發明的跨語言資訊處理方法中,除了圖像特徵比對之外,更搭配詞語特徵的應用,因此系統10可以進一步地根據目標物件資訊的詞語特徵而可獲知此第一關聯圖像群內的哪個第一本地標籤群組內的物件資訊係對應目標物件資訊。如此一來,系統10得以更精準地搜尋到正確的第一關聯圖像群,而不會因圖像比對的誤差而導致誤選不正確的本地圖像群組作為此第一關聯圖像群。上述範例僅係用於舉例說明,本發明不以此為限。
於一實施例中,所述的跨語言比對程序包含以系統10依據作為第一關聯圖像群的本地圖像群組(例如前述範例的本地圖像群組SG1)的第一圖像特徵而對目標語言的第二資料結構DA2內的目標圖像群組TG1~TG3進行比對,以從目標圖像群組TG1~TG3當中選取出一個目標圖像群組作為第二關聯圖像群,其中所選取的目標圖像群組對應的第二圖像特徵與所選取的本地圖像群組對應的第一圖像特徵相符合。更具體來說,假設目標圖像群組TG1~TG3具有的第二圖像特徵分別係為桶裝外形、瓶罐外形、袋裝外形,則由於目標圖像群組TG2與第一關聯圖像群具有對應的圖像特徵,因此系統10的處理器101選取目標圖像群組TG2作為第二關聯圖像群。
於步驟S309中,以系統10依據第二關聯圖像群而輸出多個候選物件圖像。所述的多個候選物件圖像即為第二關聯圖像群中的第二物件資訊。以前述範例來說,系統10的操作界面105輸出作為第二關聯圖像群的目標圖像群組TG2內的第二物件資訊TB4~TB6。
於步驟S311中,以系統10依據使用者指令選取該些候選物件圖像當中的候選物件圖像作為目標物件圖像。詳言之,使用者可透過操作界面105下達一使用者指令而從第二物件資訊TB4~TB6挑選最為貼近目標物件資訊的一個第二物件資訊。於實作上,當系統10的操作介面105輸出所選取的第二物件資訊時,可一併顯示此第二物件資訊的詞語特特徵,亦即以目標語言(例如韓文)呈現的詞語意涵。由於目標物件資訊的詞語意涵係以使用者的本地語言(例如中文)呈現,因此當系統10輸出帶有目標語言(例如韓文)之詞語意涵的第二物件資訊時,使用者可了解到此目標語言之詞語意涵與本地語言的詞語意涵具有相似的意義。
於一實施例中,所述的跨語言資訊處理方法更包含在步驟S313中,以系統10的操作介面105接收使用者回饋評分,此使用者回饋評分係關聯於所選取的候選物件圖像。以實際範例來說,當使用者認為第二物件資訊TB5係為最貼近目標物件資訊,便可由操作界面105下達一個使用者指令以選取第二物件資訊TB5作為最終的目標物件圖像,並且針對此第二物件資訊TB5而反饋一使用者回饋評分到系統10。 於一實施例中,所述的跨語言資訊處理方法更包含在步驟S315中,以系統10依據使用者回饋評分調整所輸出的候選物件圖像的排序。
更具體來說,當完成比對任務後,系統10的處理器101會以一初始排序在操作介面105中輸出候選物件圖像,例如在操控介面中依據各個第二物件資訊的權重而依序輸出第二物件資訊TB4、TB5、TB6。當使用者選取第二物件資訊TB5作為最終的目標物件圖像時,系統10的處理器101會一併接收到使用者回饋評分。系統10的處理器101進一步將此使用者回饋評分加總至第二物件資訊TB5的原有的權重。此時,第二物件資訊TB5的權重將會提升。當使用者再次輸入相同或類似的目標物件資訊時,系統10的處理器101會將此使用者回饋評分列入考量而適時地調整輸出的排序,例如依序輸出第二物件資訊TB5、TB4、TB6。
綜上所述,在本發明所提出的跨語言資訊建構與處理方法,主要係透過特定功能的電腦系統(跨語言資訊系統10),使用特定的物件資訊歸納方式,亦即係先建構各類物件的圖像(image)及詞語(hashtag)的資料庫,並提取所輸入的目標物件的圖像特徵以及詞語(hashtag)特徵,搭配特定的比對方式以在不同語言的資料庫當中進行搜尋,從而篩選且排序出多個後選的品項供使用者選取,並且可允許使用者反饋分數到系統。藉此,透過圖像及詞語標籤之分類比對建立高精準度的跨語言搜尋,讓使用者獲知不同語系國家的標的資訊,例如係社群或購物網站上的產品資訊。也就是說,透過本發明可在不同語言系統中呈現同一個標的資訊,如此一來,可克服不同語言之間翻譯的困難度。
雖然本發明以前述之實施例揭露如上,然其並非用以限定本發明。在不脫離本發明之精神和範圍內,所為之更動與潤飾,均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。
10:跨語言資訊系統 101:處理器 103:資料庫 105:操作介面 20a~20c:網路平台 DA1:第一資料結構 DA2:第二資料結構 SG1~SG3:本地圖像群組 TG1~TG3:目標圖像群組 SHG1~SHG9:本地標籤群組 THG19~THG27:目標標籤群組 SB1~SB27:第一物件資訊 TB1~TB27:第二物件資訊
圖1係依據本發明之一實施例所繪示的跨語言資訊系統的方塊示意圖。 圖2係依據本發明之一實施例所繪示的跨語言資訊建構方法的方法流程圖。 圖3係依據本發明之一實施例所繪示的跨語言物件資訊建構的示意圖。 圖4係依據本發明之一實施例所繪示的跨語言資訊處理方法的方法流程圖。

Claims (24)

  1. 一種跨語言資訊建構方法,包含:以一系統的一處理器從多個網路平台蒐集多個物件資訊;以該處理器依據該些物件資訊建構對應一本地語言的一第一資料結構與對應一目標語言的一第二資料結構;以該處理器依據該第一資料結構內的多個第一物件資訊具有的特徵資料,對該些第一物件資訊進行分群以形成多個本地圖像群組;以及以該處理器依據該第二資料結構內的多個第二物件資訊具有的特徵資料,對該些第二物件資訊進行分群以形成多個目標圖像群組;其中,該處理器進一步在每一該本地圖像群組中形成多個本地標籤群組,並且在每一該目標圖像群組中形成多個目標標籤群組,該些第一物件資訊具有的特徵資料包含多個第一圖像資料,且該些第二物件資訊具有的特徵資料包含多個第二圖像資料。
  2. 如請求項1所述的跨語言資訊建構方法,其中該些第一物件資訊具有的特徵資料更包含多個第一標籤資料,且該些第二物件資訊具有的特徵資料更包含多個第二標籤資料。
  3. 如請求項2所述的跨語言資訊建構方法,其中以該處理器依據該第一資料結構內的該些第一物件資訊具有的特徵資料,對該些第一物件資訊進行分群以形成該些本地圖像群組包含:以該處理器依據該些第一圖像資料對該些第一物件資訊執行一圖像分群任務,以形成該些本地圖像群組,其中每一該本地圖像群組內的該些第一物件資訊具有對應的第一圖像特徵。
  4. 如請求項2所述的跨語言資訊建構方法,更包含:以該處理器依據該些第一標籤資料對每一該本地圖像群組內的該些第一物件資訊執行一標籤分群任務,以形成該些本地標籤群組,其中每一該本地標籤群組內的該些第一物件資訊具有對應的該第一標籤特徵。
  5. 如請求項2所述的跨語言資訊建構方法,其中以該處理器依據該第二資料結構內的該些第二物件資訊具有的特徵資料,對該些第二物件資訊進行分群以形成該些目標圖像群組包含:以該處理器依據該些第二圖像資料對該些第二物件資訊執行一圖像分群任務,以形成該些目標圖像群組,其中每一該目標圖像群組內的該些第二物件資訊具有對應的第二圖像特徵。
  6. 如請求項5所述的跨語言資訊建構方法,更包含:以該處理器依據該些第二標籤資料對每一該目標圖像群組內的該些第二物件資訊執行一標籤分群任務,以形成該些目標標籤群組,其中每一該目標標籤群組內的該些第二物件資訊具有對應的該第二標籤特徵。
  7. 一種跨語言資訊處理方法,包含:以一系統的一處理器建構對應一本地語言的一第一資料結構與對應一目標語言的一第二資料結構;以該系統的一操作介面接收一目標物件資訊,並且以該處理器提取該目標物件資訊的特徵資料; 以該系統依據所提取的該目標物件資訊的特徵資料而從對應該本地語言的該第一資料結構當中選取一第一關聯圖像群;以該系統依據該第一關聯圖像群執行一跨語言比對任務而從對應該目標語言的該第二資料結構當中選取一第二關聯圖像群;以該系統依據該第二關聯圖像群而輸出多個候選物件圖像;以及以該系統依據一使用者指令選取該些候選物件圖像當中的一候選物件圖像作為一目標物件圖像;其中,該目標物件資訊的特徵資料包含關於該目標物件資訊的一圖像特徵與一詞語特徵(hashtag)。
  8. 如請求項7所述的跨語言資訊處理方法,其中以該系統依據所提取的該目標物件資訊的特徵資料而從該本地語言的該第一資料結構當中選取該第一關聯圖像群包含:以該系統從該第一資料結構內的多個本地圖像群組當中選取一個本地圖像群組作為該第一關聯圖像群,其中所選取的該本地圖像群組對應的第一圖像特徵與該目標物件資訊的該圖像特徵相符合。
  9. 如請求項8所述的跨語言資訊處理方法,其中該跨語言比對任務包含:以該系統依據作為該第一關聯圖像群的該本地圖像群組的第一圖像特徵而對該目標語言的該第二資料結構內的多個目標圖像群組進行比對,以從該些目標圖像群組當中選取出一個目標圖像群組作為該第二關聯圖像群,其中所選取的該目標圖像群組對應的第二圖像特徵與所選取的該本地圖像群組對應的第一圖像特徵相符合。
  10. 如請求項8所述的跨語言資訊處理方法,更包含:以該處理器依據該第一資料結構內的多個第一物件資訊所具有的多個第一圖像資料而對該些第一物件資訊執行一圖像分群任務,以形成該些本地圖像群組,其中每一該本地圖像群組內的該些第一物件資訊具有對應的第一圖像特徵。
  11. 如請求項9所述的跨語言資訊處理方法,更包含:以該處理器依據該第二資料結構內的多個第二物件資訊所具有的多個第二圖像資料而對該些第二物件資訊執行一圖像分群任務,以形成該些目標圖像群組,其中每一該目標圖像群組內的該些第二物件資訊具有對應的第二圖像特徵。
  12. 如請求項10所述的跨語言資訊處理方法,更包含:以該處理器依據每一該本地圖像群組內的該些第一物件資訊具有的多個第一標籤特徵執行一標籤分群任務,以形成多個本地標籤群組,其中每一該本地標籤群組內的該些第一物件資訊具有對應的該第一標籤特徵。
  13. 如請求項11所述的跨語言資訊處理方法,更包含:以該處理器依據每一該目標圖像群組內的該些第二物件資訊具有的多個第二標籤特徵執行一標籤分群任務,以形成多個目標標籤群組,其中每一該目標標籤群組內的該些第二物件資訊具有對應的該第二標籤特徵。
  14. 如請求項7所述的跨語言資訊處理方法,更包含以該系統接收一使用者回饋評分,該使用者回饋評分係關聯於所選取的該候選物件圖像。
  15. 如請求項14所述的跨語言資訊處理方法,更包含以該系統依據該使用者回饋評分調整所輸出的該些候選物件圖像的排序。
  16. 一種跨語言資訊系統,適於多個網路平台,該跨語言資訊系統包含:一資料庫,配置以儲存對應一本地語言的一第一資料結構與對應一目標語言的一第二資料結構;一操作介面,配置以接收一目標物件資訊;一處理器,連接該資料庫與該操作介面,該處理器配置以提取該目標物件資訊的特徵資料,且依據所提取的該目標物件資訊的特徵資料而從該第一資料結構當中選取一第一關聯圖像群,該處理器更依據該第一關聯圖像群執行一跨語言比對任務而從該第二資料結構當中選取一第二關聯圖像群,且依據該第二關聯圖像群而使該操作介面輸出多個候選物件圖像,該處理器更依據一使用者指令選取該些候選物件圖像當中的一候選物件圖像作為一目標物件圖像;其中,該目標物件資訊的特徵資料包含關於該目標物件資訊的一圖像特徵與一詞語特徵(hashtag)。
  17. 如請求項16所述的跨語言資訊系統,其中該第一關聯圖像群係為該處理器從該第一資料結構內的多個本地圖像群組當中所選取的一 個本地圖像群組,所選取的該本地圖像群組對應的第一圖像特徵與該目標物件資訊的該圖像特徵相符合。
  18. 如請求項17所述的跨語言資訊系統,其中該跨語言比對任務包含:該處理器依據作為該第一關聯圖像群的該本地圖像群組的第一圖像特徵而對該目標語言的該第二資料結構內的多個目標圖像群組進行比對,以從該些目標圖像群組當中選取出一個目標圖像群組作為該第二關聯圖像群,其中所選取的該目標圖像群組對應的第二圖像特徵與所選取的該本地圖像群組對應的第一圖像特徵相符合。
  19. 如請求項17所述的跨語言資訊系統,其中該些本地圖像群組係為該處理器依據該第一資料結構內的多個第一物件資訊所具有的多個第一圖像資料對該些第一物件資訊執行一圖像分群任務所形成,每一該本地圖像群組內的該些第一物件資訊具有對應的第一圖像特徵。
  20. 如請求項18所述的跨語言資訊系統,其中該些目標圖像群組係為該處理器依據該第二資料結構內的多個第二物件資訊所具有的多個第二圖像資料對該些第二物件資訊執行一圖像分群任務所形成,每一該目標圖像群組內的該些第二物件資訊具有對應的第二圖像特徵。
  21. 如請求項20所述的跨語言資訊系統,其中該處理器更配置以依據每一該目標圖像群組內的該些第二物件資訊具有的多個第二標籤特徵執行一標籤分群任務,以形成多個目標標籤群組,其中每一該目標標籤群組內的該些第二物件資訊具有對應的該第二標籤特徵。
  22. 如請求項19所述的跨語言資訊系統,其中該處理器更配置以依據每一該本地圖像群組內的該些第一物件資訊具有的多個第一標籤特 徵執行一標籤分群任務,以形成多個本地標籤群組,其中每一該本地標籤群組內的該些第一物件資訊具有對應的該第一標籤特徵。
  23. 如請求項16所述的跨語言資訊系統,其中該操作介面更配置以接收一使用者回饋評分,該使用者回饋評分係關聯於所選取的該候選物件圖像。
  24. 如請求項23所述的跨語言資訊系統,其中該處理器更配置以依據該使用者回饋評分調整所輸出的該些候選物件圖像的排序。
TW108100366A 2018-12-26 2019-01-04 跨語言資訊建構與處理方法及跨語言資訊系統 TWI686706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910043224.3A CN111368117B (zh) 2018-12-26 2019-01-17 跨语言信息建构与处理方法及跨语言信息系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/232,438 2018-12-26
US16/232,438 US10956487B2 (en) 2018-12-26 2018-12-26 Method for establishing and processing cross-language information and cross-language information system

Publications (2)

Publication Number Publication Date
TWI686706B true TWI686706B (zh) 2020-03-01
TW202024949A TW202024949A (zh) 2020-07-01

Family

ID=70766890

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108100366A TWI686706B (zh) 2018-12-26 2019-01-04 跨語言資訊建構與處理方法及跨語言資訊系統

Country Status (3)

Country Link
US (1) US10956487B2 (zh)
CN (1) CN111368117B (zh)
TW (1) TWI686706B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11842165B2 (en) * 2019-08-28 2023-12-12 Adobe Inc. Context-based image tag translation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080052126A1 (en) * 2006-08-25 2008-02-28 Konica Minolta Medical & Graphic, Inc. Database system, program, image retrieving method, and report retrieving method
CN101329677A (zh) * 2008-05-07 2008-12-24 裴亚军 基于图像内容的图像搜索引擎
CN105814519A (zh) * 2013-12-12 2016-07-27 触摸式有限公司 将图像或标签输入到电子设备的系统和方法
TW201717126A (zh) * 2015-11-06 2017-05-16 Alibaba Group Services Ltd 商品對象資訊搜索方法及裝置
CN108763580A (zh) * 2018-06-08 2018-11-06 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机存储介质

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003280003A1 (en) 2002-10-21 2004-07-09 Leslie Spero System and method for capture, storage and processing of receipts and related data
IL199762A0 (en) * 2008-07-08 2010-04-15 Dan Atsmon Object search navigation method and system
US8582802B2 (en) 2009-10-09 2013-11-12 Edgenet, Inc. Automatic method to generate product attributes based solely on product images
CN102053991B (zh) * 2009-10-30 2014-07-02 国际商业机器公司 用于多语言文档检索的方法及系统
JP2012243130A (ja) * 2011-05-20 2012-12-10 Nippon Telegr & Teleph Corp <Ntt> 情報検索装置、方法、及びプログラム
CN103310343A (zh) 2012-03-15 2013-09-18 阿里巴巴集团控股有限公司 商品信息发布方法和装置
US9449070B2 (en) 2012-04-26 2016-09-20 Offerpop Corporation Category manager for social network content
CN103577989B (zh) 2012-07-30 2017-11-14 阿里巴巴集团控股有限公司 一种基于产品识别的信息分类方法及信息分类系统
CN103678335B (zh) 2012-09-05 2017-12-08 阿里巴巴集团控股有限公司 商品标识标签的方法、装置及商品导航的方法
JP2014056503A (ja) * 2012-09-13 2014-03-27 International Business Maschines Corporation 多言語環境でのコミュニケーションに適する非テキスト要素を特定するためのコンピュータ実装方法、プログラム、および、システム
EP2959405A4 (en) 2013-02-19 2016-10-12 Google Inc RESEARCH BASED ON TREATMENT OF NATURAL LANGUAGE
JP6188400B2 (ja) * 2013-04-26 2017-08-30 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
US20150172396A1 (en) * 2013-12-16 2015-06-18 Co Everywhere, Inc. Systems and methods for enriching geographically delineated content
US10043101B2 (en) 2014-11-07 2018-08-07 Adobe Systems Incorporated Local feature representation for image recognition
CN104537066B (zh) * 2014-12-30 2017-10-03 郑州中业科技股份有限公司 基于多语言翻译的近义词关联方法
TWI526953B (zh) 2015-03-25 2016-03-21 美和學校財團法人美和科技大學 人臉辨識方法及系統
CN104765842B (zh) 2015-04-15 2018-05-01 中山大学 一种最佳学习方案推送方法及系统
US11006095B2 (en) * 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US9704054B1 (en) * 2015-09-30 2017-07-11 Amazon Technologies, Inc. Cluster-trained machine learning for image processing
US10546015B2 (en) * 2015-12-01 2020-01-28 Facebook, Inc. Determining and utilizing contextual meaning of digital standardized image characters
TWI573031B (zh) 2015-12-04 2017-03-01 英業達股份有限公司 資料分類及搜尋方法
US20170177712A1 (en) * 2015-12-21 2017-06-22 Ebay Inc. Single step cross-linguistic search using semantic meaning vectors
CN105677913B (zh) 2016-02-29 2019-04-26 哈尔滨工业大学 一种基于机器翻译的中文语义知识库的构建方法
CN105808931B (zh) 2016-03-03 2019-05-07 北京大学深圳研究生院 一种基于知识图谱的针灸决策支持方法及装置
CN105808768B (zh) 2016-03-19 2019-03-26 浙江大学 一种基于图书的概念-描述词知识网络的构建方法
CN107273106B (zh) 2016-04-08 2021-07-06 北京三星通信技术研究有限公司 物体信息翻译、以及衍生信息获取方法和装置
CN106021281A (zh) 2016-04-29 2016-10-12 京东方科技集团股份有限公司 医学知识图谱的构建方法、其装置及其查询方法
US10423652B2 (en) 2016-08-08 2019-09-24 Baidu Usa Llc Knowledge graph entity reconciler
US20180052842A1 (en) 2016-08-16 2018-02-22 Ebay Inc. Intelligent online personal assistant with natural language understanding
TWI617930B (zh) 2016-09-23 2018-03-11 李雨暹 空間物件搜尋排序方法、系統與電腦可讀取儲存裝置
US20180089722A1 (en) * 2016-09-26 2018-03-29 Justin Schulte Social media advertising system and method
US11004131B2 (en) 2016-10-16 2021-05-11 Ebay Inc. Intelligent online personal assistant with multi-turn dialog based on visual search
US11256741B2 (en) 2016-10-28 2022-02-22 Vertex Capital Llc Video tagging system and method
US10684738B1 (en) * 2016-11-01 2020-06-16 Target Brands, Inc. Social retail platform and system with graphical user interfaces for presenting multiple content types
CN106492484A (zh) 2016-12-30 2017-03-15 佛山市米原信息系统科技有限公司 一种多功能益智积木拼盘
CN108304412B (zh) * 2017-01-13 2022-09-30 北京搜狗科技发展有限公司 一种跨语言搜索方法和装置、一种用于跨语言搜索的装置
US10558757B2 (en) * 2017-03-11 2020-02-11 International Business Machines Corporation Symbol management
CN107679128B (zh) * 2017-09-21 2020-05-05 北京金山安全软件有限公司 一种信息展示方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080052126A1 (en) * 2006-08-25 2008-02-28 Konica Minolta Medical & Graphic, Inc. Database system, program, image retrieving method, and report retrieving method
CN101329677A (zh) * 2008-05-07 2008-12-24 裴亚军 基于图像内容的图像搜索引擎
CN105814519A (zh) * 2013-12-12 2016-07-27 触摸式有限公司 将图像或标签输入到电子设备的系统和方法
TW201717126A (zh) * 2015-11-06 2017-05-16 Alibaba Group Services Ltd 商品對象資訊搜索方法及裝置
CN108763580A (zh) * 2018-06-08 2018-11-06 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机存储介质

Also Published As

Publication number Publication date
CN111368117A (zh) 2020-07-03
US10956487B2 (en) 2021-03-23
TW202024949A (zh) 2020-07-01
CN111368117B (zh) 2023-05-30
US20200210471A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
Hidasi et al. Parallel recurrent neural network architectures for feature-rich session-based recommendations
CN111784455B (zh) 一种物品推荐方法及推荐设备
WO2021174919A1 (zh) 简历数据信息解析及匹配方法、装置、电子设备及介质
WO2020125445A1 (zh) 分类模型训练方法、分类方法、设备及介质
GB2544379B (en) Structured knowledge modeling, extraction and localization from images
CN106599226B (zh) 一种内容推荐方法及内容推荐系统
CN103646088B (zh) 基于CRFs和SVM的产品评论细粒度情感要素提取
CN111177569A (zh) 基于人工智能的推荐处理方法、装置及设备
CN106663124A (zh) 生成和使用知识增强型模型
CN111444372B (zh) 用于图像处理的系统和方法
CN103559504A (zh) 图像目标类别识别方法及装置
CN109584006B (zh) 一种基于深度匹配模型的跨平台商品匹配方法
Jiang et al. Online robust action recognition based on a hierarchical model
Petz et al. On text preprocessing for opinion mining outside of laboratory environments
CN108038104A (zh) 一种实体识别的方法及装置
US20200074300A1 (en) Artificial-intelligence-augmented classification system and method for tender search and analysis
Lakshmi et al. An automatic language identification system for code-mixed English-Kannada social media text
WO2024041483A1 (zh) 一种推荐方法及相关装置
Korpusik et al. Data collection and language understanding of food descriptions
CN109325529A (zh) 一种草图识别方法以及该方法在商品检索中的应用
TWI686706B (zh) 跨語言資訊建構與處理方法及跨語言資訊系統
Guadarrama et al. Understanding object descriptions in robotics by open-vocabulary object retrieval and detection
KR20200140588A (ko) 이미지 기반 제품 매매 서비스 제공 시스템 및 방법
US11941681B2 (en) System, method, and computer program product for determining compatibility between items in images
CN117112775A (zh) 自动填写输入表单以生成列表的技术