TW202141475A - 物品名稱確定方法、裝置、電腦設備及儲存媒體 - Google Patents

物品名稱確定方法、裝置、電腦設備及儲存媒體 Download PDF

Info

Publication number
TW202141475A
TW202141475A TW110109220A TW110109220A TW202141475A TW 202141475 A TW202141475 A TW 202141475A TW 110109220 A TW110109220 A TW 110109220A TW 110109220 A TW110109220 A TW 110109220A TW 202141475 A TW202141475 A TW 202141475A
Authority
TW
Taiwan
Prior art keywords
image
item
images
article
similarity
Prior art date
Application number
TW110109220A
Other languages
English (en)
Other versions
TWI781554B (zh
Inventor
林榆耿
許典平
蔡博倫
程衍華
冉辰
伍敏慧
姜媚
劉一科
梅利健
黃華傑
賈曉義
許靳昌
譚志康
李浩宇
Original Assignee
大陸商騰訊科技(深圳)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商騰訊科技(深圳)有限公司 filed Critical 大陸商騰訊科技(深圳)有限公司
Publication of TW202141475A publication Critical patent/TW202141475A/zh
Application granted granted Critical
Publication of TWI781554B publication Critical patent/TWI781554B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3347Query execution using vector based model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/158Segmentation of character regions using character size, text spacings or pitch estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19107Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申請實施例公開了一種物品名稱確定方法、裝置、電腦設備及儲存媒體,屬於電腦技術領域。該方法包括:獲取包含目標物品的第一圖像,從資料庫中選取與第一圖像相似的多個參考圖像,對多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語,從多個詞語中提取滿足參考條件的關鍵字語,將提取的關鍵字語確定為目標物品的物品名稱。通過確定與第一圖像相似的多個參考圖像,提高了獲取到的物品文本資訊的準確性,從獲取到的物品文本資訊中提取滿足參考條件關鍵字語,提高了得到的關鍵字語的準確性,從而提高了確定的物品名稱的準確性。

Description

物品名稱確定方法、裝置、電腦設備及儲存媒體
本申請實施例涉及電腦技術領域,特別涉及一種物品名稱確定方法、裝置、電腦設備及儲存媒體。
隨著電腦技術的發展,使用者能夠通過多種方式獲取物品的物品詳情資訊,如通過文字來搜索物品詳情資訊或者通過圖片來搜索物品詳情資訊等。
相關技術中提供了一種物品搜索方法,根據包含目標物品的第一圖像進行搜索,將與該第一圖像相似的其他圖像對應的物品詳情資訊,作為目標物品的物品詳情資訊。
本申請實施例提供了一種基於人工智慧的物體檢測方法、裝置、設備及儲存媒體。該技術方案如下:
本申請實施例提供了一種物品名稱確定方法、裝置、電腦設備及儲存媒體。所述技術方案如下:
一方面,提供了一種物品名稱確定方法,所述方法包括:
獲取包含目標物品的第一圖像;
從資料庫中選取與所述第一圖像相似的多個參考圖像,所述資料庫中包括多個圖像和所述多個圖像對應的物品詳情資訊,所述圖像對應的物品詳情資訊用於對所述圖像中包含的物品進行描述,所述圖像對應的物品詳情資訊至少包括物品文本資訊;
對所述多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語;
從所述多個詞語中提取滿足參考條件的關鍵字語,將提取的關鍵字語確定為所述目標物品的物品名稱。
在一種可能實現方式中,所述方法還包括:
在所述顯示介面中,顯示所述多個參考圖像對應的物品詳情資訊。
在另一種可能實現方式中,所述獲取包含目標物品的第一圖像,包括:
通過顯示介面檢測到對物品識別選項的觸發操作,獲取包含目標物品的第一圖像。
另一方面,提供了一種物品名稱確定裝置,所述裝置包括:
圖像獲取模組,用於獲取包含目標物品的第一圖像;
圖像選取模組,用於從資料庫中選取與所述第一圖像相似的多個參考圖像,所述資料庫中包括多個圖像和所述多個圖像對應的物品詳情資訊,所述圖像對應的物品詳情資訊用於對所述圖像中包含的物品進行描述,所述圖像對應的物品詳情資訊至少包括物品文本資訊;
分詞處理模組,用於對所述多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語;
物品名稱確定模組,用於從所述多個詞語中提取滿足參考條件的關鍵字語,將提取的關鍵字語確定為所述目標物品的物品名稱。
在一種可能實現方式中,所述物品名稱確定模組,包括:
中心向量確定單元,用於將所述多個詞語的詞向量的平均值,確定為中心向量;
關鍵字語確定單元,用於確定多個詞向量中每個詞向量與所述中心向量之間的距離,將距離最小的詞向量對應的詞語,確定為所述滿足參考條件的關鍵字語。
在另一種可能實現方式中,所述分詞處理模組,包括:
分詞處理單元,用於按照多個參考長度,對所述多個參考圖像對應的物品文本資訊進行分詞處理,分別得到長度等於每個參考長度的詞語。
在另一種可能實現方式中,所述物品名稱確定模組,包括:
出現頻率確定單元,用於確定所述多個詞語在所述多個參考圖像對應的物品文本資訊中的出現頻率;
關鍵字語確定單元,用於從所述多個詞語中,選取長度最大且出現頻率大於第一閥值的詞語,將選取的詞語確定為所述滿足參考條件的關鍵字語;或者,
所述關鍵字語確定單元,用於從所述多個詞語中,選取出現頻率最大的詞語,將選取的詞語確定為所述滿足參考條件的關鍵字語。
在另一種可能實現方式中,所述圖像獲取模組,包括:
圖像獲取單元,用於獲取包含所述目標物品的原始圖像;
物品檢測單元,用於對所述原始圖像進行物品檢測,確定所述目標物品在所述原始圖像中所處的區域;
圖像提取單元,用於從所述原始圖像中提取所述區域的圖像,得到所述第一圖像。
在另一種可能實現方式中,所述資料庫中包括屬於多個類別的圖像;所述圖像選取模組,包括:
類別確定單元,用於確定所述第一圖像所屬的目標類別;
圖像選取單元,用於從資料庫中選取屬於所述目標類別且與所述第一圖像相似的多個參考圖像。
在另一種可能實現方式中,所述類別確定單元,還用於分別獲取所述多個類別中每個類別與所述第一圖像之間的相似度;將所述多個類別中與所述第一圖像之間的相似度最大的類別,確定為所述目標類別。
在另一種可能實現方式中,所述資料庫包括多個子資料庫,不同的子資料庫對應不同的類別,每個子資料庫中包括屬於對應類別的至少一個圖像和所述至少一個圖像對應的物品詳情資訊;
所述類別確定單元,還用於對於所述多個子資料庫中的每個子資料庫,執行如下步驟:
獲取所述子資料庫中每個圖像與所述第一圖像的相似度;根據所述每個圖像與所述第一圖像之間的相似度,從所述子資料庫中選取多個第二圖像,所述第二圖像與所述第一圖像的相似度大於所述子資料庫中其他圖像與所述第一圖像的相似度;確定所述多個第二圖像對應的平均相似度,將所述平均相似度確定為所述子資料庫對應的類別與所述第一圖像之間的相似度。
在另一種可能實現方式中,所述分詞處理模組,包括:
聚類處理單元,用於對所述多個參考圖像進行聚類處理,得到多個圖像堆,每個圖像堆包括至少兩個參考圖像;
相似度獲取單元,用於根據每個圖像堆中的參考圖像與所述第一圖像之間的相似度,獲取所述每個圖像堆與所述第一圖像之間的相似度;
圖像堆確定單元,用於從所述多個圖像堆中,選取與所述第一圖像的相似度最大的圖像堆,將選取的圖像堆確定為靶心圖表像堆;
分詞處理單元,用於對所述靶心圖表像堆中的多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語。
在另一種可能實現方式中,所述聚類處理單元,還用於回應於所述多個參考圖像中任兩個參考圖像之間的相似度大於第二閥值,建立所述任兩個參考圖像之間的關聯關係;將所述多個參考圖像中具有關聯關係的參考圖像構成一個圖像堆,得到所述多個圖像堆。
在另一種可能實現方式中,所述從所述多個詞語中提取滿足預設條件的關鍵字語,確定為所述目標物品的物品名稱之後,所述裝置還包括:
資訊搜索模組,用於根據所述物品名稱進行搜索,得到所述物品名稱對應的物品詳情資訊;
資訊顯示模組,用於在當前的顯示介面中,顯示所述物品詳情資訊。
在另一種可能實現方式中,所述裝置還包括:
所述圖像選取模組,用於從所述多個參考圖像中選出品質分值最高的參考圖像,將選出的參考圖像作為所述目標物品的展示圖像;
圖像顯示模組,用於在所述顯示介面中,顯示所述展示圖像。
在另一種可能實現方式中,所述裝置還包括:
所述資訊顯示模組,還用於在所述顯示介面中,顯示所述多個參考圖像對應的物品詳情資訊。
在另一種可能實現方式中,所述圖像獲取模組,包括:
圖像獲取單元,用於通過顯示介面檢測到對物品識別選項的觸發操作,獲取包含目標物品的第一圖像。
另一方面,提供了一種電腦設備,所述電腦設備包括處理器和記憶體,所述記憶體中儲存有至少一條程式碼,所述至少一條程式碼由所述處理器載入並執行,以實現如上述方面所述的物品名稱確定方法。
另一方面,提供了一種電腦可讀儲存媒體,所述電腦可讀儲存媒體中儲存有至少一條程式碼,所述至少一條程式碼由處理器載入並執行,以實現如上述方面所述的物品名稱確定方法。
為了使本申請的目的、技術方案及優點更加清楚明白,以下結合附圖及實施例,對本申請進行進一步詳細說明。應當理解,此處描述的具體實施例僅僅用以解釋本申請,並不用於限定本申請。
為使本申請實施例的目的、技術方案和優點更加清楚,下面將結合附圖對本申請實施方式作進一步地詳細描述。
本申請所使用的術語“第一”、“第二”等可在本文中用於描述各種概念,但除非特別說明,這些概念不受這些術語限制。這些術語僅用於將一個概念與另一個概念區分。舉例來說,在不脫離本申請的範圍的情況下,可以將第一圖像稱為第二圖像,且類似地,可將第二圖像稱為第一圖像。
本申請所使用的術語“至少一個”、“多個”、“每個”、“任一”,至少一個包括一個、兩個或兩個以上,多個包括兩個或兩個以上,而每個是指對應的多個中的每一個,任一是指多個中的任意一個。舉例來說,多個元素包括3個元素,而每個是指這3個元素中的每一個元素,任一是指這3個元素中的任意一個,可以是第一個,可以是第二個、也可以是第三個。
由於相關技術提供的物品搜索方法中僅考慮了物品圖像,導致確定的物品詳情資訊的準確性差,因此,本申請實施例提供了一種物品名稱確定方法,能夠提高確定的物品名稱的準確性,該物品名稱確定方法應用於電腦設備中,該電腦設備包括終端或伺服器,可選地,該終端為手機、電腦、平板電腦等多種類型的終端,可選地,該伺服器為一台伺服器,或者由若干台伺服器組成的伺服器集群,或者是一個雲計算伺服器中心。
圖1是本申請實施例提供的一種實施環境的結構示意圖,如圖1所示,該實施環境包括終端101和伺服器102。終端101與伺服器102建立通信連接,通過建立的通信連接進行交互。可選地,該終端101為手機、電腦、平板電腦等多種類型的終端。可選地,伺服器102為一台伺服器,或者由若干台伺服器組成的伺服器集群,或者是一個雲計算伺服器中心。
可選地,終端101獲取到包含目標物品的第一圖像,將第一圖像發送至伺服器102,伺服器102從資料庫中選取與第一圖像相似的多個參考圖像,對多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語,從多個詞語中提取滿足預設條件的關鍵字語,確定為目標物品的物品名稱,伺服器102向終端101發送物品名稱,終端101顯示該物品名稱,供用戶查看。
本申請實施例提供的方法,可用於物品識別的場景。
例如,物品詳情資訊獲取場景下:
終端在獲取到包含目標物品的第一圖像後,採用本申請實施例提供的物品名稱確定方法,確定目標物品的物品名稱,通過該物品名稱進行搜索,在顯示介面中顯示搜索得到的物品詳情資訊,以供使用者進行查看。
再例如,物品購物連結獲取場景下:
終端在獲取到包含目標物品的第一圖像後,採用本申請實施例提供的物品名稱確定方法,確定目標物品的物品名稱,通過該物品名稱進行搜索,得到該物品名稱對應的購物連結,在顯示介面中顯示該購物連結,以使使用者查看該購物連結,還能夠購買該目標物品。
圖2是本申請實施例提供的一種物品名稱確定方法的流程圖,應用於電腦設備中,如圖2所示,該方法包括:
201、獲取包含目標物品的第一圖像。
其中,目標物品為待識別的物品,可選地,該目標物品是任一物品,如手機、電腦、書籍、鞋子、化妝品等。可選地,該目標物品位於第一圖像中的任一區域,如第一圖像中的中間區域、左上角區域等。可選地,該第一圖像中除了包含目標物品外,還包含其他物品,如桌子、椅子、牆面等。
202、從資料庫中選取與第一圖像相似的多個參考圖像。
資料庫中包括多個圖像和多個圖像對應的物品詳情資訊,圖像對應的物品詳情資訊用於對圖像中包含的物品進行描述。
圖像對應的物品詳情資訊至少包括物品文本資訊。可選地,該物品文本資訊為圖像包含的物品對應的標題資訊、簡介資訊等,用於對該物品進行描述。可選地,該物品詳情資訊中除了包括物品文本資訊外,還包括物品連結資訊、或者物品的其他資訊等。可選地,該物品連結資訊為購買該物品的購物連結、或者包含該物品的圖片對應的連結位址、或者用於對該物品進行介紹的頁面所對應的連結位址等。
在本申請實施例中,資料庫中包括多個圖像和多個圖像對應的物品詳情資訊,可選地,在該資料庫中,每個圖像對應一個物品詳情資訊,或者多個圖像對應一個物品詳情資訊,或者多個圖像對應多個物品詳情資訊。例如,在資料庫中的多個圖像,如果不同的圖像中包含的物品不同,且不同的物品詳情資訊是對不同的物品進行描述,則每個圖像對應一個物品詳情資訊;如果多個圖像包含相同的物品,且不同的物品詳情資訊是對不同的物品進行描述,則在資料庫中多個圖像對應一個物品詳情資訊;如果多個圖像包含相同的物品,且多個物品詳情資訊是對同一個物品進行描述,則在資料庫中多個圖像與多個物品詳情資訊對應。需要說明的是,資料庫中圖像與物品詳情資訊的對應關係包括上述三種對應關係中的至少一種。
參考圖像是該多個圖像中與第一圖像相似的圖像,參考圖像與第一圖像相似,表示參考圖像與第一圖像中包含的目標物品相似。該多個參考圖像是兩個或者兩個以上的參考圖像。
203、對多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語。
其中,物品文本資訊包括多個字元,分詞處理是將物品文本資訊中包含的多個字元進行劃分,得到多個詞語。可選地,該多個詞語中包括相同的詞語;可選地,該多個詞語中包括不同的詞語。
204、從多個詞語中提取滿足參考條件的關鍵字語,將提取的關鍵字語確定為目標物品的物品名稱。
其中,該關鍵字語為該多個詞語中的一個或多個詞語。在該多個詞語中,確定每個詞語是否滿足參考條件,將滿足參考條件的詞語作為關鍵字語。其中,參考條件為物品文本資訊中包括的物品名稱所滿足的條件,滿足參考條件的關鍵字語為能夠體現出該多個詞語所描述的含義的詞語,因此,將確定的關鍵字作為目標物品的物品名稱。
本申請實施例提供的方法,由於多個參考圖像是與第一圖像相似的圖像,因此,多個參考圖像中的物品與第一圖像中的目標物品相似,進而參考圖像的物品文本資訊也能夠比較準確地對目標物品進行描述,通過獲取多個參考圖像的物品文本資訊,提高了獲取到的物品文本資訊的準確性,從獲取到的物品文本資訊中提取滿足參考條件的關鍵字語,提高了得到的關鍵字語的準確性,從而提高了確定的物品名稱的準確性。
在一種可能實現方式中,從多個詞語中提取滿足預設條件的關鍵字語,包括:
將多個詞語的詞向量的平均值,確定為中心向量;
確定多個詞向量中每個詞向量與中心向量之間的距離,將距離最小的詞向量對應的詞語,確定為滿足預設條件的關鍵字語。
在另一種可能實現方式中,對多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語,包括:
按照多個預設長度,對多個參考圖像對應的物品文本資訊進行分詞處理,分別得到長度等於每個預設長度的詞語。
在另一種可能實現方式中,從多個詞語中提取滿足預設條件的關鍵字語,確定為目標物品的物品名稱,包括:
確定多個詞語在多個參考圖像對應的物品文本資訊中的出現頻率;
從多個詞語中,選取長度最大且出現頻率大於預設閥值的詞語,確定為滿足預設條件的關鍵字語;或者,
從多個詞語中,選取出現頻率最大的詞語,確定為滿足預設條件的關鍵字語。
在另一種可能實現方式中,獲取包含目標物品的第一圖像,包括:
獲取包含目標物品的原始圖像;
對原始圖像進行物品檢測,確定目標物品在原始圖像中所處的區域;
從原始圖像中提取區域的圖像,得到第一圖像。
在另一種可能實現方式中,資料庫中包括屬於多個類別的圖像;從資料庫中選取與第一圖像相似的多個參考圖像,包括:
確定第一圖像所屬的目標類別;
從資料庫中選取屬於目標類別且與第一圖像相似的多個參考圖像。
在另一種可能實現方式中,確定第一圖像所屬的目標類別,包括:
分別獲取多個類別中每個類別與第一圖像之間的相似度;
將多個類別中與第一圖像之間的相似度最大的類別,確定為目標類別。
在另一種可能實現方式中,資料庫包括多個子資料庫,不同的子資料庫對應不同的類別,每個子資料庫中包括屬於對應類別的至少一個圖像和至少一個圖像對應的物品詳情資訊;
分別獲取多個類別中每個類別與第一圖像之間的相似度,包括:
對於多個子資料庫中的每個子資料庫,執行如下步驟:
獲取子資料庫中每個圖像與第一圖像的相似度;
根據每個圖像與第一圖像之間的相似度,從子資料庫中選取多個第二圖像,第二圖像與第一圖像的相似度大於子資料庫中其他圖像與第一圖像的相似度;
確定多個第二圖像對應的平均相似度,將平均相似度確定為子資料庫對應的類別與第一圖像之間的相似度。
在另一種可能實現方式中,對多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語,包括:
對多個參考圖像進行聚類處理,得到多個圖像堆,每個圖像堆包括至少兩個參考圖像;
根據每個圖像堆中的參考圖像與第一圖像之間的相似度,獲取每個圖像堆與第一圖像之間的相似度;
從多個圖像堆中,選取與第一圖像的相似度最大的圖像堆,確定為靶心圖表像堆;
對靶心圖表像堆中的多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語。
在另一種可能實現方式中,對多個參考圖像進行聚類處理,得到多個圖像堆,包括:
響應於多個參考圖像中任兩個參考圖像之間的相似度大於預設閥值,建立任兩個參考圖像之間的關聯關係;
將多個參考圖像中具有關聯關係的參考圖像構成一個圖像堆,得到多個圖像堆。
在另一種可能實現方式中,從多個詞語中提取滿足預設條件的關鍵字語,確定為目標物品的物品名稱之後,方法還包括:
根據物品名稱進行搜索,得到物品名稱對應的物品詳情資訊;
在當前的顯示介面中,顯示物品詳情資訊。
在另一種可能實現方式中,方法還包括:
從多個參考圖像中選出品質分值最高的參考圖像,作為目標物品的展示圖像;
在顯示介面中,顯示展示圖像。
在另一種可能實現方式中,方法還包括:
在顯示介面中,顯示多個參考圖像對應的物品詳情資訊。
在另一種可能實現方式中,獲取包含目標物品的第一圖像,包括:
通過顯示介面檢測到對物品識別選項的觸發操作,獲取包含目標物品的第一圖像。
圖3是本申請實施例提供的一種物品名稱確定方法的流程圖,應用於電腦設備中,如圖3所示,該方法包括:
301、電腦設備獲取包含目標物品的原始圖像。
其中,目標物品為待識別的物品,可選地,該目標物品是任一物品,如手機、電腦、書籍、鞋子、化妝品等。該目標物品可能位於在第一圖像中的任一區域,如第一圖像中的中間區域、左上角區域等。可選地,該第一圖像中除了包含的目標物品外,還包含其他物品,如桌子、椅子、牆面等。
在一種可能實現方式中,獲取原始圖像包括:電腦設備通過顯示介面檢測到對物品識別選項的觸發操作,拍攝目標物品,得到該原始圖像。可選地,物品識別選項為物品識別按鈕、或者物品識別滑動條等。例如,電腦設備顯示介面中顯示物品識別按鈕,檢測到使用者對物品識別按鈕的觸發操作,通過攝像頭拍攝目標物品,得到原始圖像。
在另一種可能實現方式中,電腦設備通過顯示介面檢測到對物品識別選項的觸發操作,顯示相冊中的多個圖像,檢測到對相冊中原始圖像的選中操作時,獲取該原始圖像。其中,該相冊中包括多個圖像,原始圖像為該多個圖像中的任一圖像。
302、電腦設備對原始圖像進行物品檢測,確定目標物品在原始圖像中所處的區域。
由於原始圖像中除了包括目標物品外,還可以包括其他物品,因此,需要對原始圖像進行物品檢測,以便識別出原始圖像中包含的目標物品,從而確定出目標物品在原始圖像中所處的區域。
在一種可能實現方式中,確定目標物品包括:對原始圖像進行物品檢測,確定原始圖像中包含的多個物品,根據每個物品在原始圖像中所占區域的尺寸,從多個物品中選出所占區域的尺寸最大的物品,確定為目標物品。
在另一種可能實現方式中,確定目標物品包括:對原始圖像進行物品檢測,確定原始圖像中包含的多個物品,根據每個物品的中心位置與原始圖像的中心位置之間的距離,從多個物品中選出與原始圖像的中心位置之間距離最小的物品,確定為目標物品。
303、電腦設備從原始圖像中提取該區域的圖像,得到第一圖像。
其中,第一圖像中包含目標物品。
由於原始圖像中可能會包括多個物品,為了避免其他物品的干擾,提高對目標物品識別的準確性,本申請實施例中,還會對目標物品所處的區域進行提取,以使得到的第一圖像中包含的物品少於原始圖像中包含的物品,能夠起到突出目標物品的效果,從而後續能夠準確地識別出第一圖像中包含的目標物品,並減小計算量。
需要說明的是,本申請實施例是以對原始圖像進行提取得到第一圖像進行說明的,而在另一實施例中,無需執行步驟301-303,而是執行通過顯示介面檢測到對物品識別選項的觸發操作,獲取包含目標物品的第一圖像。該過程與上述步驟301中通過物品識別選項獲取原始圖像的過程類似,在此不再贅述。
304、電腦設備確定第一圖像所屬的目標類別。
第一圖像所屬的目標類別是指該第一圖像中包含的目標物品所屬的類別。可選地,該目標類別為鞋子類別、衣服類別、箱包類別、家電類別等任一種物品類別。
在一種可能實現方式中,如圖4所示,確定第一圖像所屬的目標類別,包括下述3041-3042:
3041、分別獲取多個類別中每個類別與第一圖像之間的相似度。
其中,類別與第一圖像之間的相似度用於表示第一圖像與該類別的相似程度,相似度越高,則表示第一圖像屬於該類別的可能性越高。
在一種可能實現方式中,資料庫中包括多個圖像和多個圖像對應的物品詳情資訊,圖像對應的物品詳情資訊用於對圖像中包含的物品進行描述,圖像對應的物品詳情資訊至少包括物品文本資訊。並且,在該資料庫中包括的多個圖像屬於不同的類別,為了便於將不同類別的圖像及對應的物品詳情資訊區分儲存,可選地,該資料庫包括多個子資料庫,不同的子資料庫對應不同的類別,每個子資料庫中包括屬於對應類別的至少一個圖像和至少一個圖像對應的物品詳情資訊。例如,該多個子資料庫包括鞋子子資料庫、衣服子資料庫、箱包子資料庫、家電子資料庫等。
可選地,分別獲取多個類別中每個類別與第一圖像之間的相似度,包括:對於多個子資料庫中的每個子資料庫,執行如下步驟:
1、獲取子資料庫中每個圖像與第一圖像的相似度。
其中,該圖像與第一圖像的相似度表示該圖像與第一圖像的相似程度,也即是圖像中包含的物品與第一圖像中包含的目標物品的相似程度。該相似度越大,則該圖像與第一圖像越相似,也即是圖像中包含的物品與目標物品越相似。
在一種可能實現方式中,獲取相似度包括:對每個圖像及第一圖像進行特徵提取,得到該每個圖像及第一圖像的特徵向量,對該每個圖像的特徵向量與第一圖像的特徵向量進行計算,得到每個圖像與第一圖像的相似度。其中,獲取每個圖像與第一圖像的相似度的過程,採用歐幾裡德距離、曼哈頓距離、或者余弦相似度等任一種相似度演算法計算得到。
2、根據每個圖像與第一圖像之間的相似度,從子資料庫中選取多個第二圖像。
其中,該多個第二圖像包括兩個或者兩個以上的第二圖像。第二圖像與第一圖像的相似度大於該子資料庫中其他圖像與第一圖像的相似度。在確定該子資料庫中包括的每個圖像與第一圖像的相似度後,根據每個圖像與第一圖像的相似度的大小,從子資料庫中包括的多個圖像中選取相似度較大的多個第二圖像。
在一種可能實現方式中,根據每個圖像與第一圖像之間的相似度,從子資料庫中選取多個第二圖像,包括:按照每個圖像與第一圖像之間的相似度由大到小的順序,將該子資料庫中的多個圖像進行排序,從多個圖像中選取相似度較大的多個圖像,將選取的圖像作為第二圖像。其中,選取相似度較大的多個圖像是指選取前一定數目個圖像。
在另一種可能實現方式中,根據每個圖像與第一圖像之間的相似度,從子資料庫中選取多個第二圖像,包括:根據每個圖像與第一圖像之間的相似度,從子資料庫中選取與第一圖像之間的相似度大於參考相似度的多個圖像,作為第二參考圖像。
3、確定多個第二圖像對應的平均相似度,將平均相似度確定為子資料庫對應的類別與第一圖像之間的相似度。
其中,平均相似度是指多個第二圖像與第一圖像之間的相似度的平均值。由於該子資料庫對應一個類別,因此,將該平均相似度作為該子資料庫對應的類別與第一圖像之間的相似度。
可選地,在確定多個第二圖像對應的平均相似度時,確定多個第二圖像與第一圖像之間的相似度的和值,將該和值與第二圖像的個數之間的比值,確定為平均相似度。
3042、將多個類別中與第一圖像之間的相似度最大的類別,確定為目標類別。
由於類別與第一圖像之間的相似度越大,表示該第一圖像與該類別越相似,也即是第一圖像中包含的目標物品屬於該類別的可能性越大,因此,從多個類別中選取與第一圖像之間的相似度最大的類別,作為目標物品所屬的目標類別,能夠比較準確地確定目標物品所屬的類型。
305、電腦設備從資料庫中選取屬於目標類別且與第一圖像相似的多個參考圖像。
其中,資料庫中包括屬於多個類別的圖像,因此,電腦設備能夠從資料庫中儲存的多個圖像中確定屬於目標類別的圖像,還能夠從屬於目標類別的圖像中選取與第一圖像相似的的多個圖像,作為參考圖像。
在一種可能實現方式中,上述305包括:確定資料庫中屬於目標類別的多個圖像與第一圖像的相似度,從該多個圖像中選取一定數目個圖像作為參考圖像。可選地,該一定數目是預先設置在電腦設備上的任意數值,例如,技術人員設置的任意數值,設備預設設置的數值等,如5、6等。可選地,該一定數目是由使用者選擇的任意數值,本申請實施例對一定數目不做限定。其中,參考圖像與第一圖像的相似度大於屬於目標類別的其他圖像與第一圖像的相似度。
在另一種可能實現方式中,上述305包括:確定資料庫中屬於目標類別的多個圖像與第一圖像的相似度,從該多個圖像中選取與第一圖像的相似度大於第三閥值的圖像作為參考圖像。可選地,該第三閥值為任意數值,如80%等。該第三閥值與一定數目類似,可選地,第三閥值是預先設置在電腦設備上的任意數值,或者是由用戶選擇的任意數值。
另外,上述301中涉及的相冊與本申請實施例中的資料庫不同。相冊用於僅用於儲存圖像或視頻,該圖像或視頻為使用者通過電腦設備拍攝得到的,或者從互聯網上下載得到的,該相冊可供使用者直接查看儲存的圖像。而本申請實施例中資料庫用於儲存圖像及圖像對應的物品詳情資訊,可選地,該資料庫是通過爬取工具從網路中爬取得到的,或者由技術人員進行設置得到的。該資料庫是在為目標物品確定物品名稱的過程中提供相關資料的。
在一種可能實現方式中,本申請實施例提供的方法應用於終端運行的互聯網應用中,該互聯網應用為電腦設備上獨立運行的應用,可選地,該互聯網應用為即時通信應用、電子支付應用、地圖應用以及其他應用等。可選地,該互聯網應用中運行了多個功能應用,該功能應用為互聯網應用中的公眾號或小程式等。小程式是一種不需要下載安裝即可使用的應用程式。可選地,資料庫的構建包括:該互聯網應用通過爬取多個功能應用的資訊,獲取到多個圖像及多個圖像對應的物品詳情資訊,將該多個圖像及多個圖像對應的物品詳情資訊儲存於資料庫中。
可選地,在互聯網應用從多個功能應用中爬取資訊時,採用定嚮導入、長尾加爬、訪問重放、主動發現等策略進行爬取。該定嚮導入用於表示確定目標功能應用,爬取目標功能應用的資訊,如,確定購物功能應用,則爬取購物功能應用中的圖像及對應的購物連結。長尾加爬是根據資料庫中儲存的物品詳情資訊中所包括的物品文本資訊,爬取與該物品文本資訊對應的資訊。訪問重放是指確定歷史爬取的多個功能應用,爬取該多個功能應用的資訊,對該資料庫儲存的圖像及圖像對應的物品詳情資訊進行更新。主動發現是指該互聯網應用通過隨機控制模擬運行功能應用,爬取得到運行該功能應用中產生的資訊。
為了保證資料庫中包括的圖像的品質,在將圖像儲存至資料庫中時,需要對資料庫中儲存的圖像進行重複篩除,以使資料庫中包括的圖像均不相同。
可選地,採用MD5(Message-Digest Algorithm,消息摘要演算法)對資料庫中儲存的圖像進行重複篩除,可選地,採用雜湊去重演算法對資料庫中儲存的圖像進行重複篩除。其中,採用雜湊去重演算法對資料庫中儲存的圖像不僅能夠去除完全重複的圖像,還能夠去除在原始圖像上進行了加工的圖像,其中,進行加工是指改變原始圖像的亮度、尺度、對比度、邊沿銳化、模糊、色度或者旋轉角度等。
可選地,雜湊演算法為AHash(Average Hash,平均值雜湊)、DHash(Different Hash,差異值雜湊)、或者PHash(Perceptual Hash,感知雜湊)等任一種演算法,對資料庫中的圖像進行處理,通過對圖像的亮度、尺度、對比度、邊沿銳化、模糊、色度等進行調整,篩除重複的圖像。
上述雜湊演算法中DHash只需要通過計算臨近圖元的亮度差異,來進行去重處理,該處理方式比較簡單,而且DHash對於圖片簡單的加工操作具有較好的容忍度,對圖像的亮度、尺度、對比度、邊沿銳化、模糊以及色度等較小改變具有較好的抗干擾能力,有助於清除更多的無效圖像,例如,採用DHash對資料庫進行重複篩除能夠清理30%的重複圖像。
306、電腦設備對多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語。
在本申請實施例中,資料庫中還包括每個圖像對應的物品詳情資訊,物品詳情資訊中至少包括物品文本資訊,則在確定多個參考圖像後,能夠獲取到該多個參考圖像中對應的物品詳情資訊,從而得到多個參考圖像對應的物品文本資訊。
可選地,該物品文本資訊為圖像包含的物品對應的標題資訊、簡介資訊等,用於對該物品進行描述。其中,物品文本資訊包括多個字元,分詞處理是將物品文本資訊中包含的多個字元分成多個詞語。
可選地,在該多個詞語中,包括相同的詞語;可選地,在該多個詞語中,不包括相同的詞語。由於多個參考圖像對應的物品文本資訊中可能會包括相同的詞語,因此在對個參考圖像對應的物品文本資訊進行分詞處理後,得到的多個詞語中可能會包括相同的詞語。但為了使得到的多個詞語中不包括相同的詞語,則需要對得到的詞語進行重複篩除,將重複的詞語只保留一個,從而使重複篩除後的多個詞語均不相同。
在一種可能實現方式中,上述306包括:按照多個參考長度,對多個參考圖像對應的物品文本資訊進行分詞處理,分別得到長度等於每個參考長度的詞語。
其中,參考長度用於表示詞語包含的字元個數,如參考長度為3,則該參考長度對應的詞語包括3個字元。
按照多個參考長度中任一參考長度,對多個參考圖像對應的物品文本資訊進行分詞處理,能夠得到長度等於該參考長度的詞語,之後繼續按照其他參考長度對該多個參考圖像對應的物品文本資訊進行分詞處理,從而得到長度等於每個參考長度的詞語。
在一種可能實現方式中,如圖5所示,上述306可以包括如下3061-3064:
3061、對多個參考圖像進行聚類處理,得到多個圖像堆。
其中,每個圖像堆包括至少兩個參考圖像。對多個參考圖像進行聚類處理,將多個參考圖像中無法構成圖像堆的參考圖像進行篩除,從而得到多個圖像堆,避免了多個參考圖像中雜訊圖像的影響,提高了後續得到的詞語的準確性。其中,聚類處理可以採用DBSCAN(Density-Based Spatial Clustering of Applications with Noise,聚類演算法),得到多個圖像堆。
在一種可能實現方式中,上述3061包括:響應于多個參考圖像中任兩個參考圖像之間的相似度大於第二閥值,建立任兩個參考圖像之間的關聯關係,將多個參考圖像中具有關聯關係的參考圖像構成一個圖像堆,得到多個圖像堆。其中,第二閥值可以是任意設置的數值,如80%或90%等。
由於在多個參考圖像中,每兩個參考圖像之間具有相似度,如果任兩個參考圖像之間的相似度大於第二閥值,則表示該兩個參考圖像之間的相似程度滿足需求,則將該兩個參考圖像之間建立關聯關係,使得具有關聯關係的參考圖像構成一個圖像堆。
例如,多個參考圖像包括參考圖像1、參考圖像2、參考圖像3、參考圖像4和參考圖像5,參考圖像1與參考圖像2之間具有關聯關係,參考圖像2與參考圖像3之間具有關聯關係,參考圖像3與參考圖像4之間具有關聯關係,參考圖像4與參考圖像5之間具有關聯關係,則參考圖像1、參考圖像2、參考圖像3、參考圖像4和參考圖像5構成一個圖像堆。
3062、根據每個圖像堆中的參考圖像與第一圖像之間的相似度,獲取每個圖像堆與第一圖像之間的相似度。
由於每個圖像堆中包括至少兩個參考圖像,每個參考圖像均與第一圖像之間具有相似度,則由至少兩個參考圖像構成的圖像堆與第一圖像之間也具有相似度。
在一種可能實現方式中,獲取圖像堆與第一圖像之間的相似度包括:確定該圖像堆中多個參考圖像與第一圖像之間的相似度的平均值,將該平均值作為該圖像堆與第一圖像之間的相似度。其中,平均值為該圖像堆中多個參考圖像與第一圖像之間的相似度的和值與該圖像堆中參考圖像的個數之間的比值。
3063、從多個圖像堆中,選取與第一圖像的相似度最大的圖像堆,將選取的圖像堆確定為靶心圖表像堆。
由於在多個圖像堆中,圖像堆與第一圖像的相似度越大,表示圖像堆中的參考圖像與第一圖像越相似,也即是參考圖像中包含的物品與目標物品越相似,因此,從多個圖像堆中選取與第一圖像的相似度最大的圖像堆,將選取的圖像堆作為靶心圖表像堆。
3064、對靶心圖表像堆中的多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語。
該上述3064與上述306得到多個詞語的過程類似,在此不再贅述。
307、電腦設備從多個詞語中提取滿足參考條件的關鍵字語,將提取的關鍵字語確定為目標物品的物品名稱。
其中,參考條件為物品文本資訊中包括的物品名稱所滿足的條件,滿足參考條件的關鍵字語為能夠體現出該多個詞語所描述的含義的詞語,將確定的關鍵字語作為目標物品的物品名稱能夠比較準確地描述目標物品。
在一種可能實現方式中,確定詞語滿足參考條件包括:將多個詞語的詞向量的平均值,確定為中心向量,確定多個詞向量中每個詞向量與中心向量之間的距離,將距離最小的詞向量對應的詞語,確定為滿足參考條件的關鍵字語。
可選地,每個詞語用一個詞向量表示,不同詞語的詞向量不同。詞向量之間的距離越小,表示該兩個詞向量越相似。可選地,詞向量之間的距離通過歐幾里德距離、曼哈頓距離、余弦相似度等任一種距離演算法計算得到。
由於該多個詞語是通過物品文本資訊分詞得到的,因此,該多個詞語均是用於描述參考圖像中物品的詞語,而參考圖像與第一圖像具有較高的相似度,因此,參考圖像中的物品與目標物品具有較高的相似度,或者參考圖像中的物品就是目標物品。但是多個詞語中除了有用於描述目標物品的詞語,可能還有少量干擾詞語、描述其他物品的詞語等,因此,本申請實施例為了從多個詞語中準確地篩選出描述目標物品的詞語,還會通過多個詞語的詞向量,確定出該多個詞語對應的中心向量,詞向量越接近中心向量的詞語,表示該詞語描述該目標物體越準確,因此,從多個詞向量中選出與中心向量最小的詞向量,將該詞向量對應的詞語確定為滿足參考條件的關鍵字語。
在另一種可能實現方式中,確定多個詞語在多個參考圖像對應的物品文本資訊中的出現頻率,從多個詞語中,選取長度最大且出現頻率大於第一閥值的詞語,將選取的詞語確定為滿足參考條件的關鍵字語;或者,從多個詞語中,選取出現頻率最大的詞語,將選取的詞語確定為滿足參考條件的關鍵字語。
其中,出現頻率用於表示詞語在多個參考圖像對應的物品文本資訊中的出現次數所占的比重。第一閥值可以為任意設置的數值,如物品名稱通常在對應的物品文本資訊中的出現頻率的最小值,可以作為該第一閥值。
由於物品文本資訊是用於描述目標物品的,因此,目標物品的物品名稱通常比其他詞語的出現次數多,則根據多個詞語的出現頻率即可確定出現頻率較大的關鍵字,將關鍵字作為目標物品的物品名稱。可選地,在確定關鍵字語時,直接將多個詞語中出現頻率最高的詞語確定為關鍵字語。但由於不同長度的詞語表示的含義可能相同,但長度大的詞語包含的資訊更多,如“博覽會”和“XX市博覽會”,因此,為了提高確定的關鍵字語的準確性,從多個詞語中選取出現頻率大於第一閥值且長度最大的詞語,將選取的詞語確定為關鍵字語。
可選地,確定的多個詞語,是按照多個參考長度對多個參考圖像對應的物品文本資訊進行分詞處理得到的,則該多個詞語中包括長度等於每個參考長度的詞語。則在確定關鍵字語時,確定該多個詞語在多個參考圖像對應的物品文本資訊中的出現頻率,從多個詞語中,選取長度最大且出現頻率大於第一閥值的詞語,將選取的詞語確定為滿足參考條件的關鍵字語;或者,從多個詞語中,選取出現頻率最大的詞語,將選取的詞語確定為滿足參考條件的關鍵字語。
在一種可能實現方式中,確定詞語的出現頻率包括:對於任一詞語,根據該詞語遍歷多個物品文本資訊,確定包括該詞語的物品文本資訊的個數,將該個數與該多個物品文本資訊的總個數之間的比值,確定為該詞語的出現頻率。
在一種可能實現方式中,確定詞語的出現頻率包括:對於任一詞語,根據該詞語遍歷多個物品文本資訊,確定該詞語在多個物品文本資訊中的出現次數,將該出現次數與物品文本資訊的總個數之間的比值,確定為該詞語的出現頻率。
308、電腦設備根據物品名稱進行搜索,得到物品名稱對應的物品詳情資訊。
通過根據目標物品的物品名稱進行搜索,使得到物品詳情資訊更準確,以使使用者能夠根據該物品詳情資訊瞭解目標物品。例如,對物品名稱“咖啡杯”進行搜索,得到的物品詳情資訊中包括:關於“咖啡杯”的多個資訊以及“咖啡杯”的簡介資訊。
在一種可能實現方式中,本申請實施例提供的方法應用於物品識別用戶端,該物品識別用戶端具有搜索功能,可選地,該搜索過程包括:通過該物品識別用戶端的搜索功能,對該物品名稱進行搜索,得到物品名稱對應的物品詳情資訊。
在另一種可能實現方式中,本申請實施例提供的方法應用於物品識別用戶端,該物品識別用戶端不具有搜索功能,可選地,該搜索過程包括:該物品識別用戶端通過搜索應用用戶端提供的介面,調用搜索應用用戶端,對該物品名稱進行搜索,得到該物品名稱對應的物品詳情資訊。
309、電腦設備在當前的顯示介面中,顯示物品詳情資訊。
通過將搜索得到的物品詳情資訊在顯示介面中顯示出來,以便使用者可以通過顯示介面查看該物品詳情資訊,從而瞭解目標物品。
在一種可能實現方式中,該方法還包括:從多個參考圖像中選出品質分值最高的參考圖像,將選出的參考圖像作為目標物品的展示圖像,在顯示介面中顯示展示圖像。
其中,品質分值用於表示參考圖像中顯示物品的品質。品質分值越高,則參考圖像中顯示的物品越清晰,參考圖像中包含的其他內容越少,使用者能夠清楚地查看參考圖像中包含的物品;品質分值越低,則參考圖像中顯示的物品越不清晰,參考圖像中包含的其他內容越多,使用者不便查看參考圖像中包含的物品。
通過確定每個參考圖像的品質分值,選取品質分值最高的參考圖像,將選取的參考圖像作為展示圖像在顯示介面中進行展示,則使用者能夠通過顯示介面查看到該展示圖像。
在一種可能實現方式中,確定參考圖像的品質分值包括:確定參考圖像的背景分值和文字分值,將該參考圖像的背景分值與文字分值之間的差值,確定為該參考圖像的品質分值。
其中,背景分值用於表示參考圖像中除物品所在區域之外的其他區域包含內容的多少,其他區域包含的內容越多,背景分值越低;其他區域包含的內容越少,背景分值越高。例如,背景分值最高為1,則當參考圖像除物品所在區域的其他區域為白色背景時,該參考圖像的背景分值為1。
文字分值用於表示參考圖像中除物品所在區域之外的其他區域包含的文字的多少,文字越多,該參考圖像的文字分值越高,文字越少,則參考圖像的文字分值越低。
在一種可能實現方式中,該方法還包括:在顯示介面中,顯示多個參考圖像對應的物品詳情資訊。
通過在顯示介面中顯示多個參考圖像對應的物品詳情資訊,豐富了顯示介面中包括的內容,以使使用者能夠通過查看多個參考圖像的物品詳情資訊,更準確地瞭解目標物品。
目前二維碼已經得到了很好地普及。例如,用戶到達某個旅遊景點,用戶對該旅遊景點的歷史資訊感興趣,則通過掃描這個旅遊景點的二維碼,能夠查看該旅遊景點對應的物品詳情資訊。無論是各種形態的圖形碼還是文本資訊,都可以將其認為是一種特定編碼形態的圖像,而掃一掃識物則是識別自然場景圖像。掃一掃識物本質是一個搜尋引擎,只是輸入方式從二維碼升級到獲取到的任何圖像。由於並不是所有的物品都具有二維碼,且用戶能夠使用相機拍攝任何物品,進而通過拍攝該物品,獲取到該物品的物品詳情資訊,因此,通過本申請實施例提供的方法,能夠方便地瞭解物品背後的資訊。
用戶對一個未知的物品感興趣,會先瞭解它的詳情資訊,包括品牌、用途、價格以及其他各類參數。然後會看看其他用戶是如何評論它的,則該用戶會翻閱評測文章以及其他用戶的使用回饋。最後,該用戶可能會購買它,去各個購物應用中比較價格。通過本申請實施例提供的方法,只要用相機拍攝感興趣的物品,即可獲得物品的百科資訊,也能夠瞭解評測文章、網友的問答,最後可以在各個小程式裡比較價格並進行購買。掃一掃識物將物品搜索的完成鏈路閉環,去中心化分發公眾號文章及小程式,既滿足使用者的使用場景,又促進了應用包含的內容的發展。
如圖6所示,使用者通過終端對杯子進行拍攝,對得到的包含杯子的圖像進行識別,確定杯子名稱,並根據杯子名稱進行搜索,得到杯子名稱對應的百科資訊601及資訊信息602,還得到了資料庫中與該圖像類似的參考圖像的購物連結603,在終端的顯示介面中顯示得到的購物連結603、百科資訊601、資訊信息602。如圖7所示,在顯示介面701中按照圖7中的顯示樣式,顯示得到的杯子詳情資訊。如圖8所示,本申請實施例提供的方法,通過對物品進行識別,先確定物品的物品名稱,而後通過物品名稱獲取百科資訊601、資訊信息602、購物連結603。相關技術中是對圖像進行相似搜索,確定與物品相似的其他物品,與相關技術相比,本申請實施例提供的方法實現了精準搜索,通過識別出物品的物品名稱,提高了對物品識別的準確性。
本申請實施例提供的方法,由於多個參考圖像是與第一圖像相似的圖像,因此,多個參考圖像中的物品與第一圖像中的目標物品相似,進而參考圖像的物品文本資訊也能夠比較準確地對目標物品進行描述,通過獲取多個參考圖像的物品文本資訊,提高了獲取到的物品文本資訊的準確性,從獲取到的物品文本資訊中提取滿足參考條件的關鍵字語,提高了得到的關鍵字語的準確性,從而提高了確定的物品名稱的準確性。
根據確定的物品名稱進行搜索,使搜索物品詳情資訊的過程更具有針對性,從而提高了得到的物品詳情資訊的準確性。
通過在顯示介面中顯示物品名稱對應的物品詳情資訊、展示圖像及多個參考圖像對應的物品詳情資訊,豐富了顯示介面中包括的內容,提高了對使用者的吸引力。
圖9是本申請實施例提供的物品名稱確定方法的流程圖,如圖9所示,通過爬取工具從網路中爬取得到圖像及對應的物品詳情資訊,對圖像進行識別處理,確定圖像中包含的物品所屬的類別,將該圖像及對應的物品詳情資訊,與該圖像中包含的物品所屬的類別對應儲存於資料庫901中。獲取用戶線上請求,該使用者線上請求攜帶包含目標物品的第一圖像,對第一圖像進行識別處理,從資料庫901中選取與該第一圖像相似的多個參考圖像,將該多個參考圖像中包含的物品作為該目標物品的相似物品,將多個參考圖像及對應的物品詳情資訊作為同款搜索結果,根據該多個參考圖像的物品詳情資訊確定該目標物品的物品名稱。通過識別出目標物品的物品名稱進行搜索,得到物品名稱搜索結果,可選地,該物品名稱搜索結果來自多個資料來源,如百科網站或者資訊網站等,對同款搜索結果及物品名稱搜索結果進行展示,以使使用者能夠查看展示的資訊,瞭解目標物品。
另外,在本申請實施例提供的方法中,通過訓練後的網路模型對包含目標物品的第一圖像進行識別處理,從資料庫中選取多個參考圖像,或者通過訓練後的網路模型對多個參考圖像的物品詳情資訊進行處理,得到物品的物品名稱。
其中,通過模型訓練資料庫中包括的圖像對網路模型進行訓練,從而得到訓練後的網路模型的過程如圖10所示,設置模型訓練資料庫,獲取多個樣本圖像,對多個樣本圖像進行去重處理,對去重處理後的多個樣本圖像進行標注,將標注後的樣本圖像儲存至模型訓練資料庫。
在對去重處理後的多個樣本圖像進行標注時,樣本圖像的標注包括檢測資料庫標注1001和檢索資料庫標注1002。
該檢測資料庫標注1001用於通過檢測框標注出樣本圖像中包含的物品,可選地,採用人工檢測框標注、弱監督檢測框標注、半監督檢測框標注等任一種標注方法。其中,人工檢測框標注是人工利用檢測框,標注出每個樣本圖像中包含的多個物品;弱監督檢測框標注是人工利用檢測框,標注出每個樣本圖像中包含的主要物品;半監督檢測框標注是通過初始的網路模型對每個樣本圖像進行標注,得到多個樣本圖像的標注結果,人工對多個樣本圖像的標注結果進行校對。
該檢索資料庫標注1002用於將包含相同物品的樣本圖像進行去噪或合併,可選地,該過程採用人工同款去噪、人工同款合併、採用聚類和分類演算法自動進行去噪及合併等任一種去噪或合併方法。其中,人工同款去噪是指根據每個樣本圖像中包含的物品,從包含相同物品的多個樣本圖像中選取一個樣本圖像,使選取的多個樣本圖像中任兩個樣本圖像中包含的物品不同;人工同款合併是指根據每個樣本圖像中包含的物品,將包含相同物品的多個樣本圖像進行合併,得到物品對應的多個樣本圖像集合,不同的樣本集合對應的物品不同;採用聚類和分類演算法自動進行去噪及合併是採用聚類演算法和分類演算法,將包含相同物品的樣本圖像進行合併,得到多個樣本圖像集合,從每個樣本圖像集合選取一個樣本圖像,使選取的多個樣本圖像中任兩個樣本圖像中包含的物品不同。
另外,在本申請實施例提供的方法中,通過任務調度平台的調度作用,能夠實現確定物品名稱的整個過程,從而為用戶提供搜索到的物品詳情資訊。如圖11所示,該任務調度平台包括調度工具1101、調度系統1102、觸發器1103、及檔案系統1104等,該檔案系統1104可以包括HDFS(Hadoop Distributed File System,分散式檔案系統)及WFS(WorkFlow System,工作流系統)。任務調度平台接收到物品搜索任務後,調度系統1102通過調度工具1101對接收到的物品搜索任務進行儲存,儲存的任務資訊中包括任務名稱、調度時間等,通過觸發器1103查詢可執行的物品搜索任務,從任務清單中獲取需要執行的物品搜索任務,執行物品搜索任務,從而搜索到圖像中的物品對應的資訊。該實例儲存可以儲存本申請實施例中的多個圖像及圖像對應的物品詳情資訊,調度系統1101還能夠調度實例儲存,在執行物品識別任務時,調用實例儲存中的資訊,可選地,在通過爬取工具爬取到新的資訊時,調度系統1101還能夠對實例儲存中的資訊進行更新。
圖12是本申請實施例提供的一種物品名稱確定方法的流程圖,交互主體為終端和伺服器,如圖12所示,該方法包括:
1201、終端通過顯示介面檢測到對物品識別選項的觸發操作,拍攝目標物體,得到包含目標物品的原始圖像。
1202、終端對原始圖像進行物品檢測,確定該原始圖像中是否包含物品,執行步驟1203或1204。
1203、回應於確定原始圖像中不包含目標物品,終端顯示識別失敗通知,該識別失敗通知提示用戶未檢測到物品。
1204、回應於確定原始圖像中包含目標物品,終端向伺服器發送物品識別請求,該物品識別請求中攜帶該原始圖像。
1205、伺服器接收到該物品識別請求,對原始圖像進行識別處理,得到該目標物品的物品名稱。
上述1205與上述圖3所示的實施例中確定目標物品的過程類似,在此不再贅述。
1206、伺服器根據該物品名稱進行搜索,得到物品名稱對應的物品詳情資訊。
1207、伺服器向終端發送識別完成通知,該識別完成通知中攜帶物品名稱對應的物品詳情資訊、展示圖片及多個參考圖像對應的物品詳情資訊。
1208、終端接收到識別完成通知,在顯示介面中顯示物品名稱對應的物品詳情資訊、展示圖片及多個參考圖像對應的物品詳情資訊。
圖13是本申請實施例提供的一種物品名稱確定裝置的結構示意圖,如圖13所示,該裝置包括:
圖像獲取模組1301,用於獲取包含目標物品的第一圖像;
圖像選取模組1302,用於從資料庫中選取與第一圖像相似的多個參考圖像,資料庫中包括多個圖像和多個圖像對應的物品詳情資訊,圖像對應的物品詳情資訊用於對圖像中包含的物品進行描述,圖像對應的物品詳情資訊至少包括物品文本資訊;
分詞處理模組1303,用於對多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語;
物品名稱確定模組1304,用於從多個詞語中提取滿足參考條件的關鍵字語,將提取的關鍵字語確定為目標物品的物品名稱。
在一種可能實現方式中,如圖14所示,物品名稱確定模組1304,包括:
中心向量確定單元1341,用於將多個詞語的詞向量的平均值,確定為中心向量;
關鍵字語確定單元1342,用於確定多個詞向量中每個詞向量與中心向量之間的距離,將距離最小的詞向量對應的詞語,確定為滿足參考條件的關鍵字語。
在另一種可能實現方式中,如圖14所示,分詞處理模組1303,包括:
分詞處理單元1331,用於按照多個參考長度,對多個參考圖像對應的物品文本資訊進行分詞處理,分別得到長度等於每個參考長度的詞語。
在另一種可能實現方式中,如圖14所示,物品名稱確定模組1304,包括:
出現頻率確定單元1343,用於確定多個詞語在多個參考圖像對應的物品文本資訊中的出現頻率;
關鍵字語確定單元1342,用於從多個詞語中,選取長度最大且出現頻率大於第一閥值的詞語,將選取的詞語確定為滿足參考條件的關鍵字語;或者,
關鍵字語確定單元1342,用於從多個詞語中,選取出現頻率最大的詞語,將選取的詞語確定為滿足預設條件的關鍵字語。
在另一種可能實現方式中,如圖14所示,圖像獲取模組1301,包括:
圖像獲取單元1311,用於獲取包含目標物品的原始圖像;
物品檢測單元1312,用於對原始圖像進行物品檢測,確定目標物品在原始圖像中所處的區域;
圖像提取單元1313,用於從原始圖像中提取區域的圖像,得到第一圖像。
在另一種可能實現方式中,如圖14所示,資料庫中包括屬於多個類別的圖像;圖像選取模組1302,包括:
類別確定單元1321,用於確定第一圖像所屬的目標類別;
圖像選取單元1322,用於從資料庫中選取屬於目標類別且與第一圖像相似的多個參考圖像。
在另一種可能實現方式中,類別確定單元1321,還用於分別獲取多個類別中每個類別與第一圖像之間的相似度;將多個類別中與第一圖像之間的相似度最大的類別,確定為目標類別。
在另一種可能實現方式中,資料庫包括多個子資料庫,不同的子資料庫對應不同的類別,每個子資料庫中包括屬於對應類別的至少一個圖像和至少一個圖像對應的物品詳情資訊;
類別確定單元1321,還用於對於多個子資料庫中的每個子資料庫,執行如下步驟:
獲取子資料庫中每個圖像與第一圖像的相似度;根據每個圖像與第一圖像之間的相似度,從子資料庫中選取多個第二圖像,第二圖像與第一圖像的相似度大於子資料庫中其他圖像與第一圖像的相似度;確定多個第二圖像對應的平均相似度,將平均相似度確定為子資料庫對應的類別與第一圖像之間的相似度。
在另一種可能實現方式中,如圖14所示,分詞處理模組1303,包括:
聚類處理單元1332,用於對多個參考圖像進行聚類處理,得到多個圖像堆,每個圖像堆包括至少兩個參考圖像;
相似度獲取單元1333,用於根據每個圖像堆中的參考圖像與第一圖像之間的相似度,獲取每個圖像堆與第一圖像之間的相似度;
圖像堆確定單元1334,用於從多個圖像堆中,選取與第一圖像的相似度最大的圖像堆,將選取的圖像堆確定為靶心圖表像堆;
分詞處理單元1331,用於對靶心圖表像堆中的多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語。
在另一種可能實現方式中,聚類處理單元1332,還用於回應於多個參考圖像中任兩個參考圖像之間的相似度大於第二閥值,建立任兩個參考圖像之間的關聯關係;將多個參考圖像中具有關聯關係的參考圖像構成一個圖像堆,得到多個圖像堆。
在另一種可能實現方式中,如圖14所示,從多個詞語中提取滿足預設條件的關鍵字語,確定為目標物品的物品名稱之後,裝置還包括:
資訊搜索模組1305,用於根據物品名稱進行搜索,得到物品名稱對應的物品詳情資訊;
資訊顯示模組1306,用於在當前的顯示介面中,顯示物品詳情資訊。
在另一種可能實現方式中,如圖14所示,裝置還包括:
圖像選取模組1302,用於從多個參考圖像中選出品質分值最高的參考圖像,將選取的參考圖像作為目標物品的展示圖像;
圖像顯示模組1307,用於在顯示介面中,顯示展示圖像。
在另一種可能實現方式中,如圖14所示,裝置還包括:
資訊顯示模組1306,還用於在顯示介面中,顯示多個參考圖像對應的物品詳情資訊。
在另一種可能實現方式中,如圖14所示,圖像獲取模組1301,包括:
圖像獲取單元1311,用於通過顯示介面檢測到對物品識別選項的觸發操作,獲取包含目標物品的第一圖像。
上述技術方案所提供的電腦設備可以實現為終端或伺服器,例如,該電腦設備包括一個或多個處理器和一個或多個記憶體,該一個或多個記憶體中儲存有至少一條程式碼,該至少一條程式碼由該一個或多個處理器載入並執行如下操作:
獲取包含目標物品的第一圖像;
從資料庫中選取與所述第一圖像相似的多個參考圖像,所述資料庫中包括多個圖像和所述多個圖像對應的物品詳情資訊,所述圖像對應的物品詳情資訊用於對所述圖像中包含的物品進行描述,所述圖像對應的物品詳情資訊至少包括物品文本資訊;
對所述多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語;
從所述多個詞語中提取滿足參考條件的關鍵字語,將提取的關鍵字語確定為所述目標物品的物品名稱。
在一種可能實現方式中,該至少一條程式碼由該一個或多個處理器載入並執行如下操作:
將所述多個詞語的詞向量的平均值,確定為中心向量;
確定多個詞向量中每個詞向量與所述中心向量之間的距離,將距離最小的詞向量對應的詞語,確定為所述滿足參考條件的關鍵字語。
在一種可能實現方式中,該至少一條程式碼由該一個或多個處理器載入並執行如下操作:
按照多個參考長度,對所述多個參考圖像對應的物品文本資訊進行分詞處理,分別得到長度等於每個參考長度的詞語。
在一種可能實現方式中,該至少一條程式碼由該一個或多個處理器載入並執行如下操作:
確定所述多個詞語在所述多個參考圖像對應的物品文本資訊中的出現頻率;
從所述多個詞語中,選取長度最大且出現頻率大於第一閥值的詞語,將選取的詞語確定為所述滿足參考條件的關鍵字語;或者,
從所述多個詞語中,選取出現頻率最大的詞語,將選取的詞語確定為所述滿足參考條件的關鍵字語。
在一種可能實現方式中,該至少一條程式碼由該一個或多個處理器載入並執行如下操作:
獲取包含所述目標物品的原始圖像;
對所述原始圖像進行物品檢測,確定所述目標物品在所述原始圖像中所處的區域;
從所述原始圖像中提取所述區域的圖像,得到所述第一圖像。
在一種可能實現方式中,所述資料庫中包括屬於多個類別的圖像;該至少一條程式碼由該一個或多個處理器載入並執行如下操作:
確定所述第一圖像所屬的目標類別;
從所述資料庫中選取屬於所述目標類別且與所述第一圖像相似的多個參考圖像。
在一種可能實現方式中,該至少一條程式碼由該一個或多個處理器載入並執行如下操作:
分別獲取所述多個類別中每個類別與所述第一圖像之間的相似度;
將所述多個類別中與所述第一圖像之間的相似度最大的類別,確定為所述目標類別。
在一種可能實現方式中,所述資料庫包括多個子資料庫,不同的子資料庫對應不同的類別,每個子資料庫中包括屬於對應類別的至少一個圖像和所述至少一個圖像對應的物品詳情資訊;該至少一條程式碼由該一個或多個處理器載入並執行如下操作:
對於所述多個子資料庫中的每個子資料庫,執行如下步驟:
獲取所述子資料庫中每個圖像與所述第一圖像的相似度;
根據所述每個圖像與所述第一圖像之間的相似度,從所述子資料庫中選取多個第二圖像,所述第二圖像與所述第一圖像的相似度大於所述子資料庫中其他圖像與所述第一圖像的相似度;
確定所述多個第二圖像對應的平均相似度,將所述平均相似度確定為所述子資料庫對應的類別與所述第一圖像之間的相似度。
在一種可能實現方式中,該至少一條程式碼由該一個或多個處理器載入並執行如下操作:
對所述多個參考圖像進行聚類處理,得到多個圖像堆,每個圖像堆包括至少兩個參考圖像;
根據每個圖像堆中的參考圖像與所述第一圖像之間的相似度,獲取所述每個圖像堆與所述第一圖像之間的相似度;
從所述多個圖像堆中,選取與所述第一圖像的相似度最大的圖像堆,將選取的圖像堆確定為靶心圖表像堆;
對所述靶心圖表像堆中的多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語。
在一種可能實現方式中,該至少一條程式碼由該一個或多個處理器載入並執行如下操作:
響應於所述多個參考圖像中任兩個參考圖像之間的相似度大於第二閥值,建立所述任兩個參考圖像之間的關聯關係;
將所述多個參考圖像中具有關聯關係的參考圖像構成一個圖像堆,得到所述多個圖像堆。
在一種可能實現方式中,該至少一條程式碼由該一個或多個處理器載入並執行如下操作:
根據所述物品名稱進行搜索,得到所述物品名稱對應的物品詳情資訊;
在當前的顯示介面中,顯示所述物品詳情資訊。
在一種可能實現方式中,該至少一條程式碼由該一個或多個處理器載入並執行如下操作:
從所述多個參考圖像中選出品質分值最高的參考圖像,將選出的參考圖像作為所述目標物品的展示圖像;
在所述顯示介面中,顯示所述展示圖像。
下面以電腦設備為終端為例進行說明,圖15示出了本申請一個示例性實施例提供的終端1500的結構示意圖。終端1500包括有:處理器1501和記憶體1502。
處理器1501可以包括一個或多個處理核心,比如4核心處理器、8核心處理器等。處理器1501可以採用DSP(Digital Signal Processing,數位信號處理)、FPGA(Field-Programmable Gate Array,現場可程式設計閘陣列)、PLA(Programmable Logic Array,可程式設計邏輯陣列)中的至少一種硬體形式來實現。
記憶體1502可以包括一個或多個電腦可讀儲存媒體,該電腦可讀儲存媒體可以是非暫態的。記憶體1502還可包括高速隨機存取記憶體,以及非易失性記憶體,比如一個或多個磁片存放裝置、快閃記憶體存放裝置。在一些實施例中,記憶體1502中的非暫態的電腦可讀儲存媒體用於儲存至少一個程式碼,該至少一個程式碼用於被處理器1501所具有以實現本申請中方法實施例提供的物品名稱確定方法。
在一些實施例中,終端1500還可選包括有:週邊設備介面1503和至少一個週邊設備。處理器1501、記憶體1502和週邊設備介面1503之間可以通過匯流排或信號線相連。各個週邊設備可以通過匯流排、信號線或電路板與週邊設備介面1503相連。具體地,週邊設備包括:顯示幕1504、攝像頭元件1505和電源1506中的至少一種。
週邊設備介面1503可被用於將I/O(Input /Output,輸入/輸出)相關的至少一個週邊設備連接到處理器1501和記憶體1502。
顯示幕1504用於顯示UI(User Interface,使用者介面)。該UI可以包括圖形、文本、圖示、視頻及其它們的任意組合。當顯示幕1504是觸摸顯示幕時,顯示幕1504還具有採集在顯示幕1504的表面或表面上方的觸摸信號的能力。該觸摸信號可以作為控制信號輸入至處理器1501進行處理。此時,顯示幕1504還可以用於提供虛擬按鈕和/或虛擬鍵盤,也稱軟按鈕和/或軟鍵盤。在一些實施例中,顯示幕1504可以為一個,設置終端1500的前面板;在另一些實施例中,顯示幕1504可以為至少兩個,分別設置在終端1500的不同表面或呈折疊設計;在再一些實施例中,顯示幕1504可以是柔性顯示幕,設置在終端1500的彎曲表面上或折疊面上。甚至,顯示幕1504還可以設置成非矩形的不規則圖形,也即異形屏。顯示幕1504可以採用LCD(Liquid Crystal Display,液晶顯示幕)、OLED(Organic Light-Emitting Diode,有機發光二極體)等材質製備。
攝像頭元件1505用於採集圖像或視頻。可選地,攝像頭組件1505包括前置攝像頭和後置攝像頭。通常,前置攝像頭設置在終端1500的前面板,後置攝像頭設置在終端1500的背面。在一些實施例中,後置攝像頭為至少兩個,分別為主攝像頭、景深攝像頭、廣角攝像頭、長焦攝像頭中的任意一種,以實現主攝像頭和景深攝像頭融合實現背景虛化功能、主攝像頭和廣角攝像頭融合實現全景拍攝以及VR(Virtual Reality,虛擬實境)拍攝功能或者其它融合拍攝功能。在一些實施例中,攝像頭元件1505還可以包括閃光燈。閃光燈可以是單色溫閃光燈,也可以是雙色溫閃光燈。雙色溫閃光燈是指暖光閃光燈和冷光閃光燈的組合,可以用於不同色溫下的光線補償。
電源1506用於為終端1500中的各個元件進行供電。電源1506可以是交流電、直流電、一次性電池或可充電電池。當電源1506包括可充電電池時,該可充電電池可以支援有線充電或無線充電。該可充電電池還可以用於支援快充技術。
本領域技術人員可以理解,圖15中示出的結構並不構成對終端1500的限定,可以包括比圖示更多或更少的元件,或者組合某些元件,或者採用不同的元件佈置。
下面以電腦設備為伺服器為例進行說明,圖16是本申請實施例提供的一種伺服器的結構示意圖,該伺服器1600可因配置或性能不同而產生比較大的差異,可以包括一個或一個以上處理器(Central Processing Units,CPU)1601和一個或一個以上的記憶體1602,其中,記憶體1602中儲存有至少一條程式碼,至少一條程式碼由處理器1601載入並執行以實現上述各個方法實施例提供的方法。當然,該伺服器還可以具有有線或無線網路介面、鍵盤及輸入輸出介面等部件,以便進行輸入輸出,該伺服器還可以包括其他用於實現設備功能的部件,在此不做贅述。
伺服器1600可以用於執行上述物品名稱確定方法。
本申請實施例還提供了一種電腦可讀儲存媒體,該電腦可讀儲存媒體中儲存有至少一條程式碼,該至少一條程式碼由處理器載入並執行如下操作:
獲取包含目標物品的第一圖像;
從資料庫中選取與所述第一圖像相似的多個參考圖像,所述資料庫中包括多個圖像和所述多個圖像對應的物品詳情資訊,所述圖像對應的物品詳情資訊用於對所述圖像中包含的物品進行描述,所述圖像對應的物品詳情資訊至少包括物品文本資訊;
對所述多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語;
從所述多個詞語中提取滿足參考條件的關鍵字語,將提取的關鍵字語確定為所述目標物品的物品名稱。
在一種可能實現方式中,該至少一條程式碼由處理器載入並執行如下操作:
將所述多個詞語的詞向量的平均值,確定為中心向量;
確定多個詞向量中每個詞向量與所述中心向量之間的距離,將距離最小的詞向量對應的詞語,確定為所述滿足參考條件的關鍵字語。
在一種可能實現方式中,該至少一條程式碼由處理器載入並執行如下操作:
按照多個參考長度,對所述多個參考圖像對應的物品文本資訊進行分詞處理,分別得到長度等於每個參考長度的詞語。
在一種可能實現方式中,該至少一條程式碼由處理器載入並執行如下操作:
確定所述多個詞語在所述多個參考圖像對應的物品文本資訊中的出現頻率;
從所述多個詞語中,選取長度最大且出現頻率大於第一閥值的詞語,將選取的詞語確定為所述滿足參考條件的關鍵字語;或者,
從所述多個詞語中,選取出現頻率最大的詞語,將選取的詞語確定為所述滿足參考條件的關鍵字語。
在一種可能實現方式中,該至少一條程式碼由處理器載入並執行如下操作:
獲取包含所述目標物品的原始圖像;
對所述原始圖像進行物品檢測,確定所述目標物品在所述原始圖像中所處的區域;
從所述原始圖像中提取所述區域的圖像,得到所述第一圖像。
在一種可能實現方式中,所述資料庫中包括屬於多個類別的圖像;該至少一條程式碼由處理器載入並執行如下操作:
確定所述第一圖像所屬的目標類別;
從所述資料庫中選取屬於所述目標類別且與所述第一圖像相似的多個參考圖像。
在一種可能實現方式中,該至少一條程式碼由處理器載入並執行如下操作:
分別獲取所述多個類別中每個類別與所述第一圖像之間的相似度;
將所述多個類別中與所述第一圖像之間的相似度最大的類別,確定為所述目標類別。
在一種可能實現方式中,所述資料庫包括多個子資料庫,不同的子資料庫對應不同的類別,每個子資料庫中包括屬於對應類別的至少一個圖像和所述至少一個圖像對應的物品詳情資訊;該至少一條程式碼由處理器載入並執行如下操作:
對於所述多個子資料庫中的每個子資料庫,執行如下步驟:
獲取所述子資料庫中每個圖像與所述第一圖像的相似度;
根據所述每個圖像與所述第一圖像之間的相似度,從所述子資料庫中選取多個第二圖像,所述第二圖像與所述第一圖像的相似度大於所述子資料庫中其他圖像與所述第一圖像的相似度;
確定所述多個第二圖像對應的平均相似度,將所述平均相似度確定為所述子資料庫對應的類別與所述第一圖像之間的相似度。
在一種可能實現方式中,該至少一條程式碼由處理器載入並執行如下操作:
對所述多個參考圖像進行聚類處理,得到多個圖像堆,每個圖像堆包括至少兩個參考圖像;
根據每個圖像堆中的參考圖像與所述第一圖像之間的相似度,獲取所述每個圖像堆與所述第一圖像之間的相似度;
從所述多個圖像堆中,選取與所述第一圖像的相似度最大的圖像堆,將選取的圖像堆確定為靶心圖表像堆;
對所述靶心圖表像堆中的多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語。
在一種可能實現方式中,該至少一條程式碼由處理器載入並執行如下操作:
響應於所述多個參考圖像中任兩個參考圖像之間的相似度大於第二閥值,建立所述任兩個參考圖像之間的關聯關係;
將所述多個參考圖像中具有關聯關係的參考圖像構成一個圖像堆,得到所述多個圖像堆。
在一種可能實現方式中,該至少一條程式碼由處理器載入並執行如下操作:
根據所述物品名稱進行搜索,得到所述物品名稱對應的物品詳情資訊;
在當前的顯示介面中,顯示所述物品詳情資訊。
在一種可能實現方式中,該至少一條程式碼由處理器載入並執行如下操作:
從所述多個參考圖像中選出品質分值最高的參考圖像,將選出的參考圖像作為所述目標物品的展示圖像;
在所述顯示介面中,顯示所述展示圖像。
本申請實施例還提供了一種電腦程式,該電腦程式中儲存有至少一條程式碼,該至少一條程式碼由處理器載入並執行,以實現上述實施例的物品名稱確定方法。
應當理解的是,本申請並不局限於上面已經描述並在附圖中示出的精確結構,並且可以在不脫離其範圍進行各種修改和改變。本申請的範圍僅由所附的請求項來限制。
101:終端 102:伺服器 201~204:步驟 301~309:步驟 3041~3042:步驟 3061~3064:步驟 601:百科資訊 602:資訊信息 603:購物連結 701:顯示介面 901:資料庫 1001:檢測資料庫標注 1002:檢索資料庫標注 1101:調度工具 1102:調度系統 1103:觸發器 1104:文件系統 1201~1208:步驟 1301:圖像獲取模組 1302:圖像選取模組 1303:分詞處理模組 1304:物品名稱確定模組 1305:資訊搜索模組 1306:資訊顯示模組 1307:圖像顯示模組 1311:圖像獲取單元 1312:物品檢測單元 1313:圖像提取單元 1321:類別確定單元 1322:圖像選取單元 1331:分詞處理單元 1332:聚類處理單元 1333:相似度獲取單元 1334:圖像堆確定單元; 1341:中心向量確定單元 1342:關鍵字語確定單元 1343:出現頻率確定單元 1500:終端 1501:處理器 1502:記憶體 1503:週邊設備介面 1504:顯示幕 1505:攝像頭元件 1506:電源 1600:伺服器 1601:處理器 1602:記憶體
為了更清楚地說明本申請實施例中的技術方案,下面將對實施例描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本申請的一些實施例,對於本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些附圖獲得其他的附圖。
圖1是本申請實施例提供的一種實施環境的示意圖;
圖2是本申請實施例提供的一種物品名稱確定方法的流程圖;
圖3是本申請實施例提供的一種物品名稱確定方法的流程圖;
圖4是本申請實施例提供的一種物品名稱確定方法的流程圖;
圖5是本申請實施例提供的一種物品名稱確定方法的流程圖;
圖6是本申請實施例提供的一種顯示物品詳情資訊的示意圖;
圖7是本申請實施例提供的一種顯示物品詳情資訊的示意圖;
圖8是本申請實施例提供的一種物品名稱確定方法的流程圖;
圖9是本申請實施例提供的一種物品名稱確定方法的流程圖;
圖10是本申請實施例提供的一種設置模型訓練資料庫的流程圖;
圖11是本申請實施例提供的一種任務調度平台的結構示意圖;
圖12是本申請實施例提供的一種物品名稱確定方法的流程圖;
圖13是本申請實施例提供的一種物品名稱確定裝置的結構示意圖;
圖14是本申請實施例提供的一種物品名稱確定裝置的結構示意圖;
圖15是本申請實施例提供的一種終端的結構示意圖;
圖16是本申請實施例提供的一種伺服器的結構示意圖。
201~204:步驟

Claims (15)

  1. 一種物品名稱確定方法,應用於電腦設備,所述方法包括: 獲取包含目標物品的第一圖像; 從資料庫中選取與所述第一圖像相似的多個參考圖像,所述資料庫中包括多個圖像和所述多個圖像對應的物品詳情資訊,所述圖像對應的物品詳情資訊用於對所述圖像中包含的物品進行描述,所述圖像對應的物品詳情資訊至少包括物品文本資訊; 對所述多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語; 從所述多個詞語中提取滿足參考條件的關鍵字語,將提取的關鍵字語確定為所述目標物品的物品名稱。
  2. 根據請求項1所述的方法,其中,所述從所述多個詞語中提取滿足參考條件的關鍵字語,包括: 將所述多個詞語的詞向量的平均值,確定為中心向量; 確定多個詞向量中每個詞向量與所述中心向量之間的距離,將距離最小的詞向量對應的詞語,確定為所述滿足參考條件的關鍵字語。
  3. 根據請求項1所述的方法,其中,所述對所述多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語,包括: 按照多個參考長度,對所述多個參考圖像對應的物品文本資訊進行分詞處理,分別得到長度等於每個參考長度的詞語。
  4. 根據請求項1所述的方法,其中,所述從所述多個詞語中提取滿足參考條件的關鍵字語,包括: 確定所述多個詞語在所述多個參考圖像對應的物品文本資訊中的出現頻率; 從所述多個詞語中,選取長度最大且出現頻率大於第一閥值的詞語,將選取的詞語確定為所述滿足參考條件的關鍵字語;或者, 從所述多個詞語中,選取出現頻率最大的詞語,將選取的詞語確定為所述滿足參考條件的關鍵字語。
  5. 根據請求項1所述的方法,其中,所述獲取包含目標物品的第一圖像,包括: 獲取包含所述目標物品的原始圖像; 對所述原始圖像進行物品檢測,確定所述目標物品在所述原始圖像中所處的區域; 從所述原始圖像中提取所述區域的圖像,得到所述第一圖像。
  6. 根據請求項1所述的方法,其中,所述資料庫中包括屬於多個類別的圖像;所述從資料庫中選取與所述第一圖像相似的多個參考圖像,包括: 確定所述第一圖像所屬的目標類別; 從所述資料庫中選取屬於所述目標類別且與所述第一圖像相似的多個參考圖像。
  7. 根據請求項6所述的方法,其中,所述確定所述第一圖像所屬的目標類別,包括: 分別獲取所述多個類別中每個類別與所述第一圖像之間的相似度; 將所述多個類別中與所述第一圖像之間的相似度最大的類別,確定為所述目標類別。
  8. 根據請求項7所述的方法,其中,所述資料庫包括多個子資料庫,不同的子資料庫對應不同的類別,每個子資料庫中包括屬於對應類別的至少一個圖像和所述至少一個圖像對應的物品詳情資訊; 所述分別獲取所述多個類別中每個類別與所述第一圖像之間的相似度,包括: 對於所述多個子資料庫中的每個子資料庫,執行如下步驟: 獲取所述子資料庫中每個圖像與所述第一圖像的相似度; 根據所述每個圖像與所述第一圖像之間的相似度,從所述子資料庫中選取多個第二圖像,所述第二圖像與所述第一圖像的相似度大於所述子資料庫中其他圖像與所述第一圖像的相似度; 確定所述多個第二圖像對應的平均相似度,將所述平均相似度確定為所述子資料庫對應的類別與所述第一圖像之間的相似度。
  9. 根據請求項1所述的方法,其中,所述對所述多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語,包括: 對所述多個參考圖像進行聚類處理,得到多個圖像堆,每個圖像堆包括至少兩個參考圖像; 根據每個圖像堆中的參考圖像與所述第一圖像之間的相似度,獲取所述每個圖像堆與所述第一圖像之間的相似度; 從所述多個圖像堆中,選取與所述第一圖像的相似度最大的圖像堆,將選取的圖像堆確定為靶心圖表像堆; 對所述靶心圖表像堆中的多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語。
  10. 根據請求項9所述的方法,其中,所述對所述多個參考圖像進行聚類處理,得到多個圖像堆,包括: 響應於所述多個參考圖像中任兩個參考圖像之間的相似度大於第二閥值,建立所述任兩個參考圖像之間的關聯關係; 將所述多個參考圖像中具有關聯關係的參考圖像構成一個圖像堆,得到所述多個圖像堆。
  11. 根據請求項1所述的方法,其中,所述從所述多個詞語中提取滿足參考條件的關鍵字語,將提取的關鍵字語確定為所述目標物品的物品名稱之後,所述方法還包括: 根據所述物品名稱進行搜索,得到所述物品名稱對應的物品詳情資訊; 在當前的顯示介面中,顯示所述物品詳情資訊。
  12. 根據請求項11所述的方法,其中,所述方法還包括: 從所述多個參考圖像中選出品質分值最高的參考圖像,將選出的參考圖像作為所述目標物品的展示圖像; 在所述顯示介面中,顯示所述展示圖像。
  13. 一種物品名稱確定裝置,所述裝置包括: 圖像獲取模組,用於獲取包含目標物品的第一圖像; 圖像選取模組,用於從資料庫中選取與所述第一圖像相似的多個參考圖像,所述資料庫中包括多個圖像和所述多個圖像對應的物品詳情資訊,所述圖像對應的物品詳情資訊用於對所述圖像中包含的物品進行描述,所述圖像對應的物品詳情資訊至少包括物品文本資訊; 分詞處理模組,用於對所述多個參考圖像對應的物品文本資訊進行分詞處理,得到多個詞語; 物品名稱確定模組,用於從所述多個詞語中提取滿足參考條件的關鍵字語,將提取的關鍵字語確定為所述目標物品的物品名稱。
  14. 一種電腦設備,所述電腦設備包括處理器和記憶體,所述記憶體中儲存有至少一條程式碼,所述至少一條程式碼由所述處理器載入並執行,以實現如請求項1至12任一請求項所述的物品名稱確定方法。
  15. 一種電腦可讀儲存媒體,所述電腦可讀儲存媒體中儲存有至少一條程式碼,所述至少一條程式碼由處理器載入並執行,以實現如請求項1至12任一請求項所述的物品名稱確定方法。
TW110109220A 2020-04-16 2021-03-15 物品名稱確定方法、裝置、電腦設備及儲存媒體 TWI781554B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010299942.X 2020-04-16
CN202010299942.XA CN111506758B (zh) 2020-04-16 2020-04-16 物品名称确定方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
TW202141475A true TW202141475A (zh) 2021-11-01
TWI781554B TWI781554B (zh) 2022-10-21

Family

ID=71864803

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110109220A TWI781554B (zh) 2020-04-16 2021-03-15 物品名稱確定方法、裝置、電腦設備及儲存媒體

Country Status (4)

Country Link
US (1) US20220254143A1 (zh)
CN (1) CN111506758B (zh)
TW (1) TWI781554B (zh)
WO (1) WO2021208633A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111506758B (zh) * 2020-04-16 2024-05-03 腾讯科技(深圳)有限公司 物品名称确定方法、装置、计算机设备及存储介质
CN112307765B (zh) * 2020-09-15 2022-03-29 中国石油天然气股份有限公司 咸化湖相细粒沉积岩分类命名确定方法
CN112150251A (zh) * 2020-10-09 2020-12-29 北京明朝万达科技股份有限公司 物品名称治理方法和装置
JP2022187662A (ja) * 2021-06-08 2022-12-20 富士フイルムビジネスイノベーション株式会社 表面検査装置及びプログラム
US20220414336A1 (en) * 2021-06-23 2022-12-29 Microsoft Technology Licensing, Llc Semantic Difference Characterization for Documents
US20230011330A1 (en) * 2021-07-09 2023-01-12 At&T Intellectual Property I, L.P. Device condition determination
CN113626466B (zh) * 2021-08-10 2022-04-15 深圳市玄羽科技有限公司 基于工业互联网的物料管理方法、系统及计算机存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008152805A1 (ja) * 2007-06-14 2008-12-18 Panasonic Corporation 画像認識装置及び画像認識方法
CN101751439A (zh) * 2008-12-17 2010-06-23 中国科学院自动化研究所 基于层次聚类的图像检索方法
CN102855298B (zh) * 2012-08-16 2016-08-03 熊兵 图像检索方法及系统
KR101933921B1 (ko) * 2013-06-03 2018-12-31 삼성전자주식회사 포즈 추정 방법 및 장치
CN103955543A (zh) * 2014-05-20 2014-07-30 电子科技大学 基于多模态的服装图像检索方法
CN106815351A (zh) * 2017-01-18 2017-06-09 腾讯科技(深圳)有限公司 一种标签推荐方法及服务器
TW201828109A (zh) * 2017-01-19 2018-08-01 阿里巴巴集團服務有限公司 圖像檢索、獲取圖像資訊及圖像識別方法、裝置及系統
CN107016368A (zh) * 2017-04-07 2017-08-04 郑州悉知信息科技股份有限公司 一种目标物的信息获取方法及服务器
CN107122349A (zh) * 2017-04-24 2017-09-01 无锡中科富农物联科技有限公司 一种基于word2vec‑LDA模型的文本主题词提取方法
CN110020185A (zh) * 2017-12-29 2019-07-16 国民技术股份有限公司 智能搜索方法、终端及服务器
TWI660310B (zh) * 2018-08-06 2019-05-21 財團法人資訊工業策進會 比對追蹤物件的方法及電子裝置
KR20200017306A (ko) * 2018-08-08 2020-02-18 삼성전자주식회사 카테고리에 기반하여 아이템에 관한 정보를 제공하는 전자 장치
CN111506758B (zh) * 2020-04-16 2024-05-03 腾讯科技(深圳)有限公司 物品名称确定方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US20220254143A1 (en) 2022-08-11
CN111506758A (zh) 2020-08-07
CN111506758B (zh) 2024-05-03
WO2021208633A1 (zh) 2021-10-21
TWI781554B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
WO2021208633A1 (zh) 物品名称确定方法、装置、计算机设备及存储介质
US11216861B2 (en) Color based social networking recommendations
US9990557B2 (en) Region selection for image match
US10506168B2 (en) Augmented reality recommendations
US9607010B1 (en) Techniques for shape-based search of content
US10380461B1 (en) Object recognition
US20200311126A1 (en) Methods to present search keywords for image-based queries
US20200342320A1 (en) Non-binary gender filter
US10769718B1 (en) Method, medium, and system for live preview via machine learning models
CN108898082B (zh) 图片处理方法、图片处理装置及终端设备
CN103988202A (zh) 基于索引和搜索的图像吸引力
US20190325497A1 (en) Server apparatus, terminal apparatus, and information processing method
US9990665B1 (en) Interfaces for item search
CN116168038B (zh) 一种图像翻拍检测的方法、装置、电子设备及存储介质
US10606884B1 (en) Techniques for generating representative images
US20170013309A1 (en) System and method for product placement
CN111222596A (zh) 衣物管理方法、装置、衣柜
US9922052B1 (en) Custom image data store
CN114756590A (zh) 货品筛选方法、装置、电子设备和存储介质
CN116774879A (zh) 用于搜索的方法、装置、设备和存储介质
CN116775924A (zh) 图像显示控制方法、装置及设备
CN112765471A (zh) 搜索方法、装置和电子设备
Patel VISUAL SEARCH APPLICATION FOR ANDROID

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent