TW201826225A - 基於增強現實的圖像識別方法及裝置 - Google Patents
基於增強現實的圖像識別方法及裝置 Download PDFInfo
- Publication number
- TW201826225A TW201826225A TW106138738A TW106138738A TW201826225A TW 201826225 A TW201826225 A TW 201826225A TW 106138738 A TW106138738 A TW 106138738A TW 106138738 A TW106138738 A TW 106138738A TW 201826225 A TW201826225 A TW 201826225A
- Authority
- TW
- Taiwan
- Prior art keywords
- picture
- user
- image
- sample
- augmented reality
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012216 screening Methods 0.000 claims abstract description 27
- 239000000463 material Substances 0.000 claims description 72
- 230000000694 effects Effects 0.000 claims description 47
- 239000012769 display material Substances 0.000 claims description 35
- 238000007405 data analysis Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 18
- 230000003542 behavioural effect Effects 0.000 claims description 11
- 238000013480 data collection Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 77
- 230000006399 behavior Effects 0.000 description 35
- 238000004364 calculation method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/53—Network services using third party service providers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本案提供一種基於增強現實的圖像識別方法，包括：收集增強現實客戶端上傳的用戶信息；在預設的圖片特徵樣本庫中篩選出與所述用戶信息關聯的圖片特徵樣本；基於篩選出的所述圖片特徵樣本產生對應於所述用戶信息的圖片特徵樣本子庫，並將所述圖片特徵樣本子庫推送至所述增強現實客戶端，以使所述增強現實客戶端在針對所述用戶的線下環境執行圖像掃描時，基於所述圖片特徵樣本子庫對掃描到的圖像信息進行圖像識別。本案可以提升AR客戶端的圖像識別效率。
Description
本案涉及增強現實領域，尤其涉及一種基於增強現實的圖像識別方法及裝置。
AR（Augmented Reality，增強現實）技術，是一種透過即時計算影像的位置及角度，在影像上叠加相應的圖像、視頻、3D模型，進而對虛擬世界與現實世界進行融合的技術。AR客戶端可以結合直接儲存在其本地的圖片識別物料，對用戶的線下環境進行即時的圖像識別，並在識別出的特定的線下目標在真實場景中的位置上，按照預配置的展示效果增強顯示相應的展示資料。然而，隨著AR技術的不斷發展以及AR場景的不斷豐富，AR客戶端的計算量也日益膨脹，大量的計算會導致AR客戶端耗電過快以及異常發熱的問題，因此如何降低AR客戶端的計算量，是業界亟待解决的問題之一。
本案提出一種基於增強現實的圖像識別方法，應用於增強現實伺服端，所述方法包括： 收集增強現實客戶端上傳的用戶信息； 在預設的圖片特徵樣本庫中篩選出與所述用戶信息關聯的圖片特徵樣本； 基於篩選出的所述圖片特徵樣本產生對應於所述用戶信息的圖片特徵樣本子庫，並將所述圖片特徵樣本子庫推送至所述增強現實客戶端，以使所述增強現實客戶端在針對所述用戶的線下環境執行圖像掃描時，基於所述圖片特徵樣本子庫對掃描到的圖像信息進行圖像識別。 本案還提出一種基於增強現實的圖像識別裝置，應用於增強現實伺服端，所述裝置包括： 本案還提出一種基於增強現實的圖像識別裝置，應用於增強現實伺服端，所述裝置包括： 收集模組，收集增強現實客戶端上傳的用戶信息； 篩選模組，在預設的圖片特徵樣本庫中篩選出與所述用戶信息關聯的圖片特徵樣本；其中，所述圖片特徵樣本庫包括圖片特徵樣本與用戶信息的關聯關係； 推送模組，基於篩選出的所述圖片特徵樣本產生對應於所述用戶信息的圖片特徵樣本子庫，並將所述圖片特徵樣本子庫推送至所述增強現實客戶端，以使所述增強現實客戶端在針對所述用戶的線下環境執行圖像掃描時，基於所述圖片特徵樣本子庫對掃描到的圖像信息進行圖像識別。 在本案中，增強現實伺服端透過收集增強現實客戶端上傳的用戶信息，在預設的圖片特徵樣本庫中篩選出與該用戶信息關聯的圖片特徵樣本，並基於篩選出的圖片特徵樣本產生對應於該用戶信息的圖片特徵樣本子庫，然後將該圖片特徵樣本子庫推送至所述增強現實客戶端，由增強現實客戶端在針對用戶的線下環境執行圖像掃描時，基於該圖片特徵樣本子庫對掃描到的圖像信息進行圖像識別，由於增強現實伺服端基於用戶信息對圖片特徵樣本庫進行了篩選，可以顯著降低增強現實伺服端向增強現實客戶端推送的圖片識別物料的數量，以及增強現實客戶端在進行圖像識別時，所使用的圖片識別物料的數量，進而可以降低增強現實客戶端的計算量，提升增強現實客戶端的圖像識別效率。
在相關技術中，AR客戶端在針對用戶的線下環境執行圖像掃描的過程中，通常可以透過預配置完成的圖片識別物料庫，對掃描到的圖像信息進行即時的圖像識別。其中，上述圖片識別物料庫，包括從大量的線下目標的圖片樣本中提取到的圖片特徵樣本。AR客戶端在從用戶的線下環境中掃描到圖像信息後，可以透過AR引擎中搭載的圖像識別演算法，從該圖像信息中提取圖片特徵，然後將提取到的圖片特徵與上述圖片識別物料庫中的圖片特徵樣本逐一進行相似度計算，來識別掃描到的圖像信息中的線下目標；當圖像識別完成後，AR客戶端可以進一步計算識別出的線下目標在真實場景中的位置，然後按照預配置的展示效果增強顯示相應的展示資料。 目前，AR客戶端在執行圖像識別的過程中，所需要使用到的圖片識別物料庫、為圖片識別物料庫中每一個線下目標預配置完成的需要關聯展示的展示資料、以及相應的展示效果（比如動畫效果），通常都是預配置在AR服務平台上的。AR客戶端在啓動圖像掃描之前，需要從AR服務平台上將預配置完成的圖片識別物料庫，以及相應的展示資料、展示效果完整的下載至本地。 然而，在實際應用中，如果圖片識別物料庫中的物料過多時，一方面，會增大AR客戶端的資料儲存壓力；另一方面，會導致AR客戶端在執行圖像識別時的計算量非常龐大，從而造成的AR客戶端耗電過快、異常發熱以及圖像識別效率較低的問題。 有鑒於此，在本案提出一種能夠基於AR客戶端上傳的用戶信息，為AR客戶端靈活的篩選並推送圖片識別物料的AR伺服端。 AR伺服端透過收集AR客戶端上傳的用戶信息，在預設的圖片特徵樣本庫中篩選出與該用戶信息關聯的圖片特徵樣本，並基於篩選出的圖片特徵樣本產生對應於該用戶信息的圖片特徵樣本子庫，然後將該圖片特徵樣本子庫推送至AR客戶端，由AR客戶端在針對用戶的線下環境執行圖像掃描時，基於該圖片特徵樣本子庫對掃描到的圖像信息進行圖像識別。 在整個方案中，由於AR伺服端基於用戶信息對圖片特徵樣本庫進行了篩選，因此可以顯著降低AR伺服端向AR客戶端推送的圖片識別物料的數量，以及AR客戶端在進行圖像識別時，所使用的圖片識別物料的數量，進而可以降低AR客戶端的計算量，提升AR客戶端的圖像識別效率。 下面透過具體實施例並結合具體的應用場景對本案進行描述。 請參考圖1，圖1是本案一實施例提供的一種基於增強現實的圖像識別方法，應用於AR伺服端，所述方法執行以下步驟： 步驟101，收集增強現實客戶端上傳的用戶信息； 步驟102，在預設的圖片特徵樣本庫中篩選出與所述用戶信息關聯的圖片特徵樣本； 步驟103，基於篩選出的所述圖片特徵樣本產生對應於所述用戶信息的圖片特徵樣本子庫，並將所述圖片特徵樣本子庫推送至所述增強現實客戶端，以使所述增強現實客戶端在針對所述用戶的線下環境執行圖像掃描時，基於所述圖片特徵樣本子庫對掃描到的圖像信息進行圖像識別。 上述AR客戶端，是指基於AR技術開發的，或者整合了AR功能的客戶端軟體；例如，上述AR客戶端，可以是整合了AR服務功能的第三方支付APP；上述AR客戶端可以透過搭載的圖像掃描工具，對用戶的線下環境中的現實場景進行圖像掃描，並發起針對掃描到的線下目標的圖像識別；以及，透過上述AR客戶端前台的AR引擎，對後台的AR伺服端推送的與識別出的線下目標對應的展示資料進行可視化描繪，將其與現實場景（比實景圖像）進行叠加融合，在現實場景中與識別出的線下目標對應的位置上按照預配置完成的展示效果進行增強現實。 其中，上述展示資料，通常可以包括需要與識別出的線下目標進行關聯展示的虛擬資料；而上述展示效果，通常可以包括上述展示資料在現實場景中進行展示的展示效果； 例如，以上述線下目標為線下店鋪的LOGO圖片為例，上述展示資料則具體是需要與該線下店鋪的LOGO進行關聯展示的店鋪的基本信息、優惠信息等標籤資料；而上述展示效果，則具體可以包括自定義完成的這些標籤資料在與該店鋪的LOGO進行關聯展示時的展示特效；比如自定義的動畫效果、動態展示模板、以及展示文案等等。 上述AR伺服端，具體可以包括面向上述AR客戶端提供服務的伺服器、伺服器集群或者基於伺服器集群構建的雲端服務平台；例如，當上述AR客戶端為整合了AR服務功能的第三發支付APP時，上述AR伺服端則可以是面向整合了AR服務功能的第三發支付APP提供對接服務的雲端服務平台。上述AR伺服端可以基於後台的AR引擎，對上述AR客戶端掃描到的圖像進行圖像識別（當然該圖像識別過程也可以由AR客戶端基於前台的AR引擎來完成）；以及，對與線下業務相關的虛擬資料進行內容管理，並基於上述圖像識別的結果，向上述AR客戶端推送與識別出的線下目標相關的虛擬資料。 上述預設的圖片特徵樣本庫，即為上述圖片識別物料庫，通常包括從大量的線下目標的樣本圖片中提取到的圖片特徵樣本； 上述用戶信息，具體可以包括那些能夠作為篩選維度，對上述圖片特徵樣本庫進行篩選的用戶資料； 例如，在示出的一種實施方式中，上述用戶信息可以包括用戶的定位位置，在這種情况下，AR客戶端可以將用戶的定位位置即時上傳至AR伺服端，而AR伺服端則可以基於AR客戶端上傳的用戶的定位位置，從圖片特徵樣本庫中篩選出與用戶的距離在一定範圍內的圖片特徵樣本。 又如，在示出的另一種實施方式中，上述用戶資料還可以是用戶的行為日誌；在這種情况下，AR伺服端可以收集AR客戶端上傳的用戶行為日誌，並針對收集到的用戶的行為日誌進行大數據分析，以確定用戶的行為偏好，然後從基於用戶的定位位置篩選出的圖片特徵樣本庫中進一步篩選出能夠滿足用戶的行為偏好的圖片特徵樣本。 上述圖片特徵樣本子庫，是指AR伺服端基於上述用戶信息，從上述圖片特徵樣本庫中篩選出的部分圖片特徵樣本進行創建的圖片特徵樣本庫；該圖片特徵樣本子庫與上述用戶信息相對應，為上述圖片特徵樣本庫的子集。 例如，在示出的一種實施方式中，上述用戶信息可以包括用戶的定位位置以及用戶的行為日誌，AR伺服端可以基於用戶的定位位置，初步篩選出上述圖片識別物料庫中與用戶的定位位置之間的距離在一定範圍之內的部分圖片特徵樣本，同時AR伺服端還可是針對收集到的用戶的行為日誌進行大數據分析，確定出用戶的行為偏好，並基於確定出的用戶的行為偏好，從這部分圖片特徵樣本中進一步篩選出能夠滿足用戶的行為偏好的圖片特徵樣本，然後基於進一步篩選出的圖片特徵樣本來創建上述圖片特徵子庫。 以下以上述用戶信息包括用戶的定位位置以及行為日誌為例，結合具體的實施例對本案的技術方案進行詳細描述。 其中，以上述用戶信息為用戶的定位位置以及行為日誌僅為示例性的；顯然，在實際應用中，上述用戶信息也可以包括那些能夠作為篩選維度，對上述圖片特徵樣本庫進行篩選的其它用戶資料，在本案中不再進行一一列舉。 在本實施例中，在初始狀態下，AR伺服端可以透過搭載的資料採集系統，主動採集圖片樣本以及與該圖片樣本關聯的定位位置，來創建圖片識別物料庫。 而營運人員則可以透過登錄AR伺服端搭載的後台管理系統，為圖片識別物料庫中的圖片特徵樣本配置需要與該圖片特徵樣本對應的線下目標進行關聯展示的展示資料，以及為該展示資料配置展示效果；同時，對於配置完成的展示資料以及展示效果，營運人員也可以透過登錄AR伺服端搭載的後台管理系統，進行動態的修改和更新。 用戶在使用AR客戶端的過程中，AR客戶端可以採集用戶的定位位置以及行為日誌，然後即時的上傳至AR伺服端；而AR伺服端可以收集AR客戶端上傳的用戶的定位位置以及行為日誌，並基於AR客戶端上傳的用戶信息以及行為日誌，對圖片識別物料庫中的圖片識別物料進行更加靈活的管理。 一方面，AR伺服端可以基於客戶端上傳的定位位置，從圖片識別物料庫中為AR客戶端初步篩選出與用戶的定位位置之間的距離小於預設臨限值的圖片特徵樣本； 另一方面，AR伺服端可以透過搭載的雲端計算系統，對收集到的行為日誌進行大數據分析，確定出用戶的行為偏好，然後基於確定出的行為偏好，從已經初步篩選出的圖片特徵樣本中，進一步篩選出能夠滿足用戶的行為偏好的圖片特徵，為該用戶創建圖片特徵樣本子庫，然後推送給AR客戶端。 透過這種方式，可以顯著降低AR伺服端推送的圖片識別物料的數量，降低AR客戶端在進行圖像識別時的計算量，以及提升AR客戶端的圖像識別效率。 請參見圖2，圖2為本例示出的一種AR伺服端的架構圖。 如圖2所示，上述AR伺服端具體可以是一個基於分散式架構的AR圖片識別物料的管理平台(以下簡稱管理平台)；該管理平台搭載的功能節點具體可以包括雲端服務介面、WEB後台管理入口、分散式儲存系統、後台管理系統、資料採集系統、分散式檢索系統、雲端計算系統、圖像識別系統、用戶資料分析系統、物料篩選系統、內容推送系統等。 上述雲端服務介面，為管理平台面向AR客戶端提供服務的服務介面，AR客戶端可以透過接取該服務介面，向管理平台請求相應的雲端服務，而管理平台也可以將AR客戶端請求的服務資料，透過該服務介面返回給AR客戶端； 例如，上述雲端伺服端介面具體是一個HTTP介面，AR客戶端可以構建相應的HTTP服務請求，透過接取該HTTP介面，將構建完成的HTTP服務請求提交給管理平台；而管理平台也可以基於該HTTP介面，將相應的服務資料返回給AR客戶端。 上述WEB後台管理入口，是營運人員對管理平台中預配置完成的圖片識別物料庫，以及相關的展示資料和展示效果進行人工干預或者更新的管理入口。營運人員可以通常WEB的方式登錄到後台管理系統（比如接取管理平台的入口URL位址，然後輸入管理帳號和密碼來遠程登錄後台管理系統），對管理平台中的內容進行管理。 上述分散式儲存系統，為整個管理平台的資料基礎，用於對圖片識別物料庫，以及營運人員為圖片識別物料庫中的圖片特徵樣本預配置的展示資料和展示效果等資料進行分散式儲存。透過分散式儲存的方式，可以確保資料的可靠性，因而上述分散式儲存系統可以作為整個管理平台穩定的基礎而存在。 上述後台管理系統，是營運人員對管理平台直接進行管理的用戶平台。該後台管理系統可以向營運人員提供對應於各種管理操作的可視化用戶界面，營運人員可以在這些可視化用戶界面中執行相應的管理操作，向圖片識別物料庫中添加、删除以及更新作為圖片識別物料的圖片特徵樣本、為AR客戶端預配置需要與識別出的線下目標關聯展示的展示資料和展示效果、以及按照實際的需求對配置完成的展示資料和展示效果進行動態的更新等。 當然，在實際應用中，營運人員除了可以透過登錄上述後台管理系統，對管理平台中的內容進行管理以外，也可以透過該後台管理系統，對管理平台中的其它系統進行干預； 例如，可以對雲端計算系統的資料分析邏輯以及參數進行人工的編輯和干預；以及，還可以對圖片識別物料庫中與圖片特徵樣本進行關聯儲存的用戶的定位位置進行編輯和調整，等等。 上述資料採集系統，主要用於從網際網路上或者對接的第三方伺服端中主動的採集管理平台所需的“物料”等資料。 在傳統的管理平台中，圖片識別物料通常都是由營運人員透過人工的方式進行輸入和編輯的，因此會存在資料不夠豐富的問題。而在本案中，管理平台透過搭載資料採集系統，可以主動從網際網路以及對接的第三方伺服端上採集圖片識別物料，並存入到管理平台的分散式儲存系統中。 此外，上述資料採集系統除了具有主動採集圖片識別物料的功能以外，也可以主動收集AR客戶端上傳的用戶的行為日誌，以便於雲端計算平台後續的大數據分析。 上述分散式檢索系統，主要用於對分散式儲存系統中儲存的資料進行檢索和查詢。由於管理平台中需要管理大量的圖片識別物料，以及與圖片識別物料關聯的定位位置、展示資料以及展示效果等資料，因此為了方便對這些資料的檢索和查詢，管理平台可以搭載一個與分散式儲存系統對接的分散式檢索系統，透過該分散式檢索系統對管理平台中需要管理的資料進行檢索和查詢，從而可以保證資料管理的靈活性和穩定性。 上述雲端計算系統，用於承擔管理平台中所有的資料計算；在實際應用中，雲端計算系統，可以分別與管理平台中的分散式儲存系統、用戶資料分析系統、物料篩選系統以及圖像識別系統進行對接，來承擔分散式儲存系統、用戶資料分析系統、物料篩選系統以及圖像識別系統所有的資料計算，從而提升管理平台的資料處理效率。 其中，上述雲端計算系統中所搭載的資料分析邏輯可以由營運人員透過上述後台管理系統進行人工設置，在本案中不進行特別限定。 上述圖像識別系統，用於面向AR客戶端提供雲端的圖像識別服務。該圖像識別系統可以與雲端計算平台進行對接，透過雲端計算平台從AR客戶端上傳的圖像資料中提取圖片特徵，並將提取到的圖片特徵與上述圖片識別物料庫中的圖片特徵樣本逐一進行相似度計算，來完成針對該圖像資料的圖像識別。 上述用戶資料分析系統，用於對採集系統收集到的用戶的行為日誌進行大數據分析。該圖像識別系統可以與雲端計算平台進行對接，透過雲端計算平台搭載的大數據分析演算法，對採集系統收集到的用戶的行為日誌進行大數據分析，進而得到該用戶的行為偏好。 其中，上述雲端計算平台中所搭載的大數據分析演算法也可以由營運人員透過上述後台管理系統進行人工設置，在本案中不進行特別限定。 上述物料篩選系統，用於從分散式儲存系統中儲存的圖片識別物料庫中，篩選出與AR客戶端上傳的用戶的信息關聯的圖片特徵樣本。該物料篩選系統可以與雲端計算平台進行對接，透過雲端計算平台分別計算上述圖片識別物料庫中各圖片特徵樣本關聯的定位位置與用戶的定位位置之間的距離，並初步篩選出上述圖片特徵庫中與用戶的定位位置之間的距離小於預設臨限值的部分圖片特徵樣本； 以及，基於雲端計算平台針對收集到的用戶的行為日誌進行大數據分析後，確定出用戶的行為偏好，從初步篩選出的這部分圖片特徵樣本中進一步篩選出能夠滿足用戶的行為偏好的圖片特徵樣本，然後基於進一步篩選出的圖片特徵樣本來創建上述圖片特徵子庫。 上述內容推送系統，用於將上述物料篩選系統基於篩選出的圖片特徵樣本，創建的圖片特徵樣本子庫，推送至AR客戶端； 以及，在AR客戶端成功識別出與該圖片特徵樣本子庫中任一圖片特徵樣本對應的線下目標時，將分散式儲存系統中與該圖片特徵樣本關聯儲存的展示資料以及展示效果推送至AR客戶端，由AR客戶端基於該展示效果將該展示資料在AR場景中與識別出的該線下目標對應的位置上進行增強顯示。 以下以圖2中示出的以上各功能節點為例，並結合圖片特徵樣本庫的創建、圖片特徵樣本的篩選、以及圖像識別等三個階段，對本案的技術方案進行詳細描述。 其中，需要指出的是，如圖2所示出的上述AR伺服端的架構僅為示例性的，並不用於限定本案；顯然，在實際應用中，本領域技術人員可以基於實際的需求，對如圖2所示出的各功能節點在功能上進行整合（比如將多個功能節點合並為一個功能節點），也可以對如圖2所示出的各功能節點在功能上進行進一步的細分（比如將其中任意一個功能節點細分為多個功能節點），在本案不再進行一一列舉。 1）圖片特徵樣本庫的創建 在實施例中，營運人員除了可以透過登錄後台管理系統，向圖片識別物料庫中手動添加響應的圖片特徵樣本以及關聯的定位位置以外，管理平台還可以透過搭載的資料採集系統，主動採集圖片樣本以及與該圖片樣本關聯的定位位置。 在示出的一種實施方式中，資料採集系統可以透過諸如網際網路爬蟲的方式，從網際網路中海量的線上服務資料中主動採集圖片樣本，以及與圖片樣本關聯的定位位置。 在示出的另一種實施方式中，資料採集系統出了可以主動從海量的線上服務資料中採集圖片樣本以外，也可以直接從對接的第三方的伺服端中採集第三方的伺服端中儲存的圖片樣本，以及與圖片樣本關聯的定位位置；比如，管理平台可以導入對接的友商的服務平台中儲存的圖片樣本，以及與圖片樣本關聯的定位位置。 需要說明的是，在實際應用中，管理平台可以采用以上示出的兩種圖片樣本的採集方式中的任一一種，也可以將以上兩種採集方式進行有機結合，在本案中不進行特別限定。 在本實施例中，對於採集到的圖片樣本，以及關聯的定位位置，可以統一儲存至上述分散式儲存系統。而上述雲端計算系統，可以基於搭載的圖片特徵提取演算法，針對從分散式儲存系統中儲存的圖片樣本中分別進行圖片特徵提取，然後基於提取到的圖片特徵，以及與各圖片樣本關聯的定位位置，在上述分散式儲存系統創建上述圖片識別物料庫。此時，創建的圖片識別物料庫中儲存的信息，包括提取出的對應於各圖片樣本的圖片特徵，以及與各圖片樣本關聯的定位位置。 當上述圖片識別物料庫創建完成後，營運人員可以透過WEB瀏覽器接取管理平台的入口URL位址，然後輸入管理帳號和密碼來遠程登錄後台管理系統，對管理平台中的內容進行管理。 當成功登錄後台管理系統後，營運人員可以在後台管理系統提供的可視化用戶界面中執行相應的管理操作，為該圖片識別物料庫中的圖片特徵樣本，分別配置需要與該圖片特徵樣本對應的線下目標進行關聯展示的展示資料，以及為該展示資料配置的展示效果。 而後台管理系統可以獲取營運人員配置的展示資料以及展示效果，並將獲取到的展示資料與展示效果，與上述圖片識別物料庫中相應的圖片特徵樣本進行關聯儲存，以方便進行檢索。 同時，對於配置完成的展示資料以及展示效果，也可以由營運人員在後台管理系統提供的可視化用戶界面中執行相應的更新操作，來進行動態的更新；後台管理系統，則可以響應營運人員的更新操作，透過分散式檢索系統查詢圖片識別物料庫中相應的圖片特徵樣本，基於營運人員重新配置的展示資料以及展示效果，對與該圖片特徵樣本關聯儲存的原有的展示資料以及展示效果進行更新。 透過這種方式，營運人員可以透過登錄後台管理系統，基於實際的需求在任意時刻都可以與圖片識別物料庫中的圖片特徵樣本關聯儲存的展示資料以及展示效果進行動態更新，因此可以提升展示資料以及展示效果管理的靈活性。 2）圖片特徵樣本的篩選 在本實施例中，用戶在使用AR客戶端的過程中，AR客戶端可以採集用戶的定位位置以及行為日誌，然後透過接取上述雲端服務介面，將採集到的用戶的定位位置以及行為日誌即時的上傳至管理平台；而管理平台可以透過搭載的資料採集系統，來收集AR客戶端上傳的用戶的定位位置以及行為日誌，並基於AR客戶端上傳的用戶信息以及行為日誌，對圖片識別物料庫中的圖片識別物料進行更加靈活的管理。 一方面，物料篩選系統可以與雲端計算系統進行對接，由雲端計算系統來承擔所有的資料篩選計算。雲端計算系統可以即時的計算AR客戶端上傳的用戶的定位位置，與上述圖片識別物料庫中各圖片特徵樣本關聯的定位位置之間的距離；當雲端計算系統完成以上計算後，物料篩選系統可以初步篩選出與用戶的定位位置之間的距離小於預設臨限值的圖片特徵樣本。此時針對上述圖片識別物料庫的初步篩選完成； 例如，以上述圖片識別物料庫中儲存的為從大量的線下店鋪的LOGO中提取出的圖片特徵樣本，以及用戶透過使用AR客戶端進行線下店鋪的日常掃描的應用場景為例，用戶在使用AR客戶端對線下的某個店鋪的LOGO進行掃描之前，AR客戶端可以將該用戶的定位位置即時上傳至管理平台；而管理平台可以基於該用戶的定位位置，在圖片識別物料庫中篩選出該用戶附近在一定範圍內的商家的LOGO圖片，來為該用戶產生圖片特徵樣本子庫，從而降低需要向該AR客戶端推送的LOGO圖片的數量。 另一方面，用戶資料分析系統也可以與雲端計算系統進行對接，由雲端計算系統來承擔所有的資料分析計算。雲端計算系統可以基於搭載的大數據分析演算法，對資料採集系統收集到的用戶的行為日誌進行大數據分析，進而確定出上述用戶的行為偏好； 其中，上述行為偏好，具體是指基於用戶在日常使用AR客戶端的過程中，形成的特定的使用習慣或者規律； 例如，仍以上述圖片識別物料庫中儲存的為從大量的線下店鋪的LOGO中提取出的圖片特徵樣本，以及用戶透過使用AR客戶端進行線下店鋪的日常掃描的應用場景為例，AR客戶端可以在本地記錄用戶每一次針對線下店鋪進行掃描時產生的相關的行為資料，產生相應的日誌文件，並統一上傳至管理平台。而管理平台可以透過雲端計算平台對收集到的日誌文件進行大數據分析，從而可以進一步分析出用戶對於線下店鋪的偏好；比如，可以分析出用戶日常更喜歡光顧贈送優惠券的線下商鋪、價格便宜的線下商鋪等用戶偏好。 當管理平台透過行為日誌的大數據分析，確定出用戶的行為偏好後，為了進一步降低已經初步篩選出的圖片特徵樣本的數量，減少圖片識別物料的推送量，上述物料篩選系統還可以從初步篩選出的圖片特徵樣本中，進一步篩選出的能夠滿足用戶的行為偏好的圖片特徵樣本； 例如，仍以上述圖片識別物料庫中儲存的為從大量的線下店鋪的LOGO中提取出的圖片特徵樣本，以及用戶透過使用AR客戶端進行線下店鋪的日常掃描的應用場景為例，假設管理平台分析出的用戶日常的行為偏好為“更喜歡光顧贈送優惠券的線下商鋪”以及“價格便宜的線下商鋪”，此時物料篩選系統可以透過接取與初步篩選出的這些圖片特徵樣本對應的線下商鋪的相關信息，進一步查找出能夠向用戶發放優惠券以及價格更便宜的線下商鋪，然後進一步篩選出與這些線下商鋪對應的圖片特徵樣本。 當管理平台從初步篩選出的這些圖片特徵樣本中，進一步篩選出了能夠滿足用戶的行為偏好的圖片特徵樣本後，管理平台可以基於最終篩選出的這些圖片特徵樣本，為上述用戶創建的圖片特徵樣本子庫，然後透過內容推送系統將創建完成的圖片特徵樣本子庫推送至AR客戶端。 需要說明的是，上述物料篩選系統在針對圖片識別物料庫中的圖片特徵樣本進行篩選時，除了可以按照以上示出的基於用戶的定位位置進行初步篩選，然後基於分析出的用戶偏好執行進一步的篩選以外，在實際應用中，也可以不進行基於分析出的用戶偏好執行的進一步的篩選，而是直接基於初步篩選的結果為上述用戶創建圖片特徵樣本子庫，在本案中不再進行詳述。 3）圖像識別 在本實施例中，當AR客戶端接收到管理平台推送的圖片特徵樣本子庫後，可以將該圖片特徵樣本子庫在其本地進行加載。當用戶使用AR客戶端對線下環境進行圖像掃描時，AR客戶端可以基於前台的AR引擎中搭載的圖像識別演算法，從掃描到的圖像信息中提取圖片特徵，然後與該圖片特徵樣本子庫中的圖片特徵樣本逐一進行相似度匹配，來完成針對掃描到的圖像信息的圖像識別。其中，具體的圖像識別的計算過程，在本實施例中不再進行詳述，本領域技術人員在將本案記載的技術方案付諸實踐時，可以參考相關技術中的記載。 此時，由於管理平台此時推送的圖片特徵樣本子庫中的圖片特徵樣本，基於用戶的定位位置以及行為偏好執行了深度的篩選，因此AR客戶端在針對從用戶的線下環境中掃描到的圖像資料進行圖像識別時，不再需要依次遍歷管理平台中創建完成的圖片識別物料庫中所有的圖片識別物料，因而可以顯著的提升AR客戶端的圖像識別效率。 當然，除了AR客戶端在本地對掃描到的圖像信息進行圖像識別以外，AR客戶端也可以透過接取上述雲端伺服端介面，將掃描到的圖像信息即時的上傳至管理平台，由管理平台搭載的圖像識別系統，基於為該用戶篩選並創建的圖片特徵樣本子庫，來完成針對該圖像信息的圖像識別。 在本實施例中，當透過以上示出的圖像識別過程，最終從掃描到的圖像信息中識別出與上述圖片特徵樣本子庫中任一圖片特徵樣本對應的線下目標時，此時上述分散式檢索系統，可以從分散式儲存系統中查詢與該圖片特徵樣本關聯儲存的展示資料以及展示效果，並透過上述內容推送系統，將查詢到的展示資料以及展示效果推送至上述AR客戶端。 而上述AR客戶端在推送至本地的展示資料以及展示效果後，可以基於該展示效果將該展示資料在AR場景中，與識別出的上述線下目標對應的位置上進行增強顯示。 其中，需要說明的是，與上述圖片特徵樣本子庫中的圖片特徵樣本關聯儲存的上述展示資料以及展示效果，在實際應用中，也可以由上述內容推送系統在向AR客戶端推送創建完成的圖片特徵樣本子庫時，一並推送至AR客戶端，即對於營運人員配置完成的展示資料以及展示效果，可以與篩選並創建完成的圖片特徵樣本子庫一並推送至AR客戶端，也可以在完成圖像識別後，進行單獨的推送，在本案中不進行特別的限定。 透過以上各實施例可知，在本案提出了一種能夠基於AR客戶端上傳的用戶信息，為AR客戶端靈活的篩選並推送圖片識別物料的AR伺服端。 該AR伺服端可以透過收集AR客戶端上傳的用戶信息，在預設的圖片特徵樣本庫中篩選出與該用戶信息關聯的圖片特徵樣本，並基於篩選出的圖片特徵樣本產生對應於該用戶信息的圖片特徵樣本子庫，然後將該圖片特徵樣本子庫推送至AR客戶端，由AR客戶端在針對用戶的線下環境執行圖像掃描時，基於該圖片特徵樣本子庫對掃描到的圖像信息進行圖像識別。 在整個方案中，由於AR伺服端基於用戶信息對圖片特徵樣本庫進行了篩選，因此可以顯著降低AR伺服端向AR客戶端推送的圖片識別物料的數量，以及AR客戶端在進行圖像識別時，所使用的圖片識別物料的數量，進而可以降低AR客戶端的計算量，提升AR客戶端的圖像識別效率。 與上述方法實施例相對應，本案還提供了裝置的實施例。 請參見圖3，本案提出一種基於增強現實的圖像識別裝置30，應用於AR伺服端；請參見圖4，作為承載所述基於增強現實的圖像識別裝置30的AR伺服端所涉及的硬體架構中，通常包括CPU、記憶體、非易失性記憶體、網路介面以及內部匯流排等；以軟體實現為例，所述基於增強現實的圖像識別裝置30通常可以理解為加載在記憶體中的電腦程式，透過CPU運行之後形成的軟硬體相結合的邏輯裝置，所述裝置30包括： 收集模組301，收集增強現實客戶端上傳的用戶信息； 篩選模組302，在預設的圖片特徵樣本庫中篩選出與所述用戶信息關聯的圖片特徵樣本； 推送模組303，基於篩選出的所述圖片特徵樣本產生對應於所述用戶信息的圖片特徵樣本子庫，並將所述圖片特徵樣本子庫推送至所述增強現實客戶端，以使所述增強現實客戶端在針對所述用戶的線下環境執行圖像掃描時，基於所述圖片特徵樣本子庫對掃描到的圖像信息進行圖像識別。 在本例中，所述用戶信息包括用戶的定位位置； 所述裝置30還包括： 採集模組304（圖3中未示出），採集對接的第三方伺服端中儲存的圖片樣本，以及與該圖片樣本關聯的定位位置；和/或，基於預設的資料採集演算法從線上的服務資料中採集圖片樣本，以及與圖片樣本關聯的定位位置； 創建模組305（圖3中未示出），從採集到的圖片樣本中提取圖片特徵樣本，並基於提取出的圖片特徵樣本以及與所述圖片樣本關聯的定位位置，在本地創建所述圖片特徵樣本庫。 在本例中，所述裝置還包括： 獲取模組306（圖3中未示出），獲取營運人員為所述圖片特徵樣本庫中的圖片特徵樣本配置的展示資料；以及，為所述展示資料配置的展示效果； 儲存模組307（圖3中未示出），將獲取到的所述展示資料以及所述展示效果與所述圖片特徵樣本庫中的圖片特徵樣本進行關聯儲存，並響應於營運人員的更新操作，對所述展示資料以及所述展示效果進行動態更新。 在本例中，所述裝置30還包括： 識別模組308（圖3中未示出），接收所述增強現實客戶端上傳的掃描到的圖像信息；基於產生的所述圖片特徵樣本子庫，針對所述圖像信息進行圖像識別。 在本例中，所述推送模組303進一步： 當從所述圖像信息中識別出與所述圖片特徵樣本子庫中的任一圖片特徵樣本對應的線下目標時，將與該圖片特徵樣本關聯的展示資料，以及與該展示資料關聯的展示效果，推送至所述增強現實客戶端，以使所述增強現實客戶端基於所述展示效果將所述展示資料在增強現實場景中與所述線下目標對應的位置上進行增強顯示。 在本例中，所述篩選模組302： 計算增強現實客戶端上傳的用戶的定位位置，與所述圖片特徵樣本庫中各圖片特徵樣本關聯的定位位置之間的距離； 篩選出所述圖片特徵樣本庫中所述距離小於預設臨限值的圖片特徵樣本。 在本例中，所述用戶信息還包括用戶的行為日誌； 所述篩選模組302進一步： 針對收集到的用戶的行為日誌進行大數據分析，以確定所述用戶的行為偏好； 從所述距離小於預設臨限值的圖片特徵樣本中進一步篩選出滿足所述用戶的行為偏好的圖片特徵樣本。 對於裝置實施例而言，由於其基本對應於方法實施例，所以相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分散到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本案方案的目的。本領域普通技術人員在不付出創造性勞動的情况下，即可以理解並實施。 上述實施例闡明的裝置、裝置、模組或單元，具體可以由電腦晶片或實體實現，或者由具有某種功能的產品來實現。一種典型的實現設備為電腦，電腦的具體形式可以是個人電腦、膝上型電腦、蜂巢式電話、相機電話、智慧電話、個人數位助理、媒體播放器、導航設備、電子郵件收發設備、遊戲控制台、平板電腦、可穿戴設備或者這些設備中的任意幾種設備的組合。 本領域技術人員在考慮說明書及實踐這裏公開的發明後，將容易想到本案的其它實施方案。本案旨在涵蓋本案的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本案的一般性原理並包括本案未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本案的真正範圍和精神由下面的申請專利範圍指出。 應當理解的是，本案並不局限於上面已經描述並在附圖中示出的精確結構，並且可以在不脫離其範圍進行各種修改和改變。本案的範圍僅由所附的申請專利範圍來限制。 以上所述僅為本案的較佳實施例而已，並不用以限制本案，凡在本案的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本案保護的範圍之內。
30‧‧‧基於增強現實的圖像識別裝置
301‧‧‧收集模組
303‧‧‧篩選模組
305‧‧‧推送模組
圖1是本案一實施例示出的一種基於增強現實的圖像識別方法的處理流程圖； 圖2是本案一實施例示出的一種AR伺服端的架構圖； 圖3是本案一實施例示出的一種基於增強現實的圖像識別裝置的邏輯方塊圖； 圖4是本案一實施例提供的承載所述一種基於增強現實的圖像識別裝置的增強現實伺服端所涉及的硬體結構圖。
Claims (14)
- 一種基於增強現實的圖像識別方法，其特徵在於，應用於增強現實伺服端，所述方法包括： 收集增強現實客戶端上傳的用戶信息； 在預設的圖片特徵樣本庫中篩選出與所述用戶信息關聯的圖片特徵樣本； 基於篩選出的所述圖片特徵樣本產生對應於所述用戶信息的圖片特徵樣本子庫，並將所述圖片特徵樣本子庫推送至所述增強現實客戶端，以使所述增強現實客戶端在針對所述用戶的線下環境執行圖像掃描時，基於所述圖片特徵樣本子庫對掃描到的圖像信息進行圖像識別。
- 根據申請專利範圍第1項所述的方法，其中，所述用戶信息包括用戶的定位位置； 所述方法還包括： 採集對接的第三方伺服端中儲存的圖片樣本，以及與該圖片樣本關聯的定位位置；和/或， 基於預設的資料採集演算法從線上的服務資料中採集圖片樣本，以及與圖片樣本關聯的定位位置； 從採集到的圖片樣本中提取圖片特徵樣本，並基於提取出的圖片特徵樣本以及與所述圖片樣本關聯的定位位置，在本地創建所述圖片特徵樣本庫。
- 根據申請專利範圍第2項所述的方法，其中，還包括： 獲取營運人員為所述圖片特徵樣本庫中的圖片特徵樣本配置的展示資料；以及，為所述展示資料配置的展示效果； 將獲取到的所述展示資料以及所述展示效果與所述圖片特徵樣本庫中的圖片特徵樣本進行關聯儲存，並響應於營運人員的更新操作，對所述展示資料以及所述展示效果進行動態更新。
- 根據申請專利範圍第1項所述的方法，其中，還包括： 接收所述增強現實客戶端上傳的掃描到的圖像信息； 基於產生的所述圖片特徵樣本子庫，針對所述圖像信息進行圖像識別。
- 根據申請專利範圍第1或4項所述的方法，其中，還包括： 當從所述圖像信息中識別出與所述圖片特徵樣本子庫中的任一圖片特徵樣本對應的線下目標時，將與該圖片特徵樣本關聯的展示資料，以及與該展示資料關聯的展示效果，推送至所述增強現實客戶端，以使所述增強現實客戶端基於所述展示效果將所述展示資料在增強現實場景中與所述線下目標對應的位置上進行增強顯示。
- 根據申請專利範圍第2項所述的方法，其中， 所述在預設的圖片特徵樣本庫中篩選出與所述用戶信息關聯的圖片特徵樣本，包括： 計算增強現實客戶端上傳的用戶的定位位置，與所述圖片特徵樣本庫中各圖片特徵樣本關聯的定位位置之間的距離； 篩選出所述圖片特徵樣本庫中所述距離小於預設臨限值的圖片特徵樣本。
- 根據申請專利範圍第6項所述的方法，其中，所述用戶信息還包括用戶的行為日誌； 所述方法還包括： 針對收集到的用戶的行為日誌進行大數據分析，以確定所述用戶的行為偏好； 從所述距離小於預設臨限值的圖片特徵樣本中進一步篩選出滿足所述用戶的行為偏好的圖片特徵樣本。
- 一種基於增強現實的圖像識別裝置，其特徵在於，應用於增強現實伺服端，所述裝置包括： 收集模組，收集增強現實客戶端上傳的用戶信息； 篩選模組，在預設的圖片特徵樣本庫中篩選出與所述用戶信息關聯的圖片特徵樣本； 推送模組，基於篩選出的所述圖片特徵樣本產生對應於所述用戶信息的圖片特徵樣本子庫，並將所述圖片特徵樣本子庫推送至所述增強現實客戶端，以使所述增強現實客戶端在針對所述用戶的線下環境執行圖像掃描時，基於所述圖片特徵樣本子庫對掃描到的圖像信息進行圖像識別。
- 根據申請專利範圍第8項所述的裝置，其中，所述用戶信息包括用戶的定位位置； 所述裝置還包括： 採集模組，採集對接的第三方伺服端中儲存的圖片樣本，以及與該圖片樣本關聯的定位位置；和/或，基於預設的資料採集演算法從線上的服務資料中採集圖片樣本，以及與圖片樣本關聯的定位位置； 創建模組，從採集到的圖片樣本中提取圖片特徵樣本，並基於提取出的圖片特徵樣本以及與所述圖片樣本關聯的定位位置，在本地創建所述圖片特徵樣本庫。
- 根據申請專利範圍第9項所述的裝置，其中，還包括： 獲取模組，獲取營運人員為所述圖片特徵樣本庫中的圖片特徵樣本配置的展示資料；以及，為所述展示資料配置的展示效果； 儲存模組，將獲取到的所述展示資料以及所述展示效果與所述圖片特徵樣本庫中的圖片特徵樣本進行關聯儲存，並響應於營運人員的更新操作，對所述展示資料以及所述展示效果進行動態更新。
- 根據申請專利範圍第8項所述的裝置，其中，還包括： 識別模組，接收所述增強現實客戶端上傳的掃描到的圖像信息；基於產生的所述圖片特徵樣本子庫，針對所述圖像信息進行圖像識別。
- 根據申請專利範圍第8或11項所述的裝置，其中，所述推送模組進一步： 當從所述圖像信息中識別出與所述圖片特徵樣本子庫中的任一圖片特徵樣本對應的線下目標時，將與該圖片特徵樣本關聯的展示資料，以及與該展示資料關聯的展示效果，推送至所述增強現實客戶端，以使所述增強現實客戶端基於所述展示效果將所述展示資料在增強現實場景中與所述線下目標對應的位置上進行增強顯示。
- 根據申請專利範圍第9項所述的裝置，其中， 所述篩選模組： 計算增強現實客戶端上傳的用戶的定位位置，與所述圖片特徵樣本庫中各圖片特徵樣本關聯的定位位置之間的距離； 篩選出所述圖片特徵樣本庫中所述距離小於預設臨限值的圖片特徵樣本。
- 根據申請專利範圍第13項所述的裝置，其中，所述用戶信息還包括用戶的行為日誌； 所述篩選模組進一步： 針對收集到的用戶的行為日誌進行大數據分析，以確定所述用戶的行為偏好； 從所述距離小於預設臨限值的圖片特徵樣本中進一步篩選出滿足所述用戶的行為偏好的圖片特徵樣本。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ??201710018395.1 | 2017-01-11 | ||
| CN201710018395.1A CN107038408A (zh) | 2017-01-11 | 2017-01-11 | 基于增强现实的图像识别方法及装置 |
| CN201710018395.1 | 2017-01-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201826225A true TW201826225A (zh) | 2018-07-16 |
| TWI691934B TWI691934B (zh) | 2020-04-21 |
Family
ID=59530481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW106138738A TWI691934B (zh) | 2017-01-11 | 2017-11-09 | 基於擴增實境的影像識別方法及裝置 |
Country Status (9)
| Country | Link |
|---|---|
| US (2) | US10614341B2 (zh) |
| EP (1) | EP3568805A4 (zh) |
| JP (1) | JP6736145B2 (zh) |
| KR (1) | KR102222087B1 (zh) |
| CN (1) | CN107038408A (zh) |
| PH (1) | PH12019501599A1 (zh) |
| SG (1) | SG11201906315TA (zh) |
| TW (1) | TWI691934B (zh) |
| WO (1) | WO2018132590A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI719412B (zh) * | 2018-10-22 | 2021-02-21 | 美商惠普發展公司有限責任合夥企業 | 儲存有與影像中物件相關資料顯示相關聯的指令之電腦可讀媒體 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107038408A (zh) | 2017-01-11 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 基于增强现实的图像识别方法及装置 |
| CN109062523B (zh) * | 2018-06-14 | 2021-09-24 | 北京三快在线科技有限公司 | 增强现实数据的展示方法、装置、电子设备及存储介质 |
| US10725629B2 (en) * | 2018-06-25 | 2020-07-28 | Google Llc | Identifying and controlling smart devices |
| US11350264B2 (en) * | 2018-07-25 | 2022-05-31 | Samsung Electronics Co., Ltd. | Method and apparatus for establishing device connection |
| CN109260705A (zh) * | 2018-08-06 | 2019-01-25 | 光锐恒宇（北京）科技有限公司 | 游戏的实现方法、装置、智能终端和计算机可读存储介质 |
| EP3921803A4 (en) * | 2019-02-04 | 2022-11-02 | Beam Therapeutics, Inc. | SYSTEMS AND PROCESSES FOR MIXED REALITY IMPLEMENTED IN LABORATORY AUTOMATION |
| CN110020981A (zh) * | 2019-03-27 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 一种图像信息处理方法、装置及电子设备 |
| CN113923252B (zh) * | 2021-09-30 | 2023-11-21 | 北京蜂巢世纪科技有限公司 | 图像显示装置、方法和系统 |
| CN114022881A (zh) * | 2021-10-24 | 2022-02-08 | 何雨萌 | 一种ai+ar物品清点系统及物品清点方法 |
| US20240129745A1 (en) * | 2022-10-17 | 2024-04-18 | Rovi Guides, Inc. | Vision-based interface for content transfer |
| US11869136B1 (en) | 2022-12-16 | 2024-01-09 | Google Llc | User-context aware rendering dataset selection |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7522163B2 (en) | 2004-08-28 | 2009-04-21 | David Holmes | Method and apparatus for determining offsets of a part from a digital image |
| US7945099B2 (en) * | 2005-05-09 | 2011-05-17 | Like.Com | System and method for use of images with recognition analysis |
| US20090237546A1 (en) * | 2008-03-24 | 2009-09-24 | Sony Ericsson Mobile Communications Ab | Mobile Device with Image Recognition Processing Capability |
| US8190604B2 (en) * | 2008-04-03 | 2012-05-29 | Microsoft Corporation | User intention modeling for interactive image retrieval |
| US8819172B2 (en) | 2010-11-04 | 2014-08-26 | Digimarc Corporation | Smartphone-based methods and systems |
| US20110279445A1 (en) * | 2010-05-16 | 2011-11-17 | Nokia Corporation | Method and apparatus for presenting location-based content |
| KR101746838B1 (ko) * | 2010-06-14 | 2017-06-27 | 주식회사 비즈모델라인 | 진열대를 이용한 증강현실 운영 방법 |
| JP2015062090A (ja) | 2011-12-15 | 2015-04-02 | 日本電気株式会社 | 映像処理システム、映像処理方法、携帯端末用またはサーバ用の映像処理装置およびその制御方法と制御プログラム |
| US8654149B2 (en) | 2011-12-20 | 2014-02-18 | Honeywell International Inc. | System and method for displaying enhanced vision and synthetic images |
| JP6168303B2 (ja) | 2012-01-30 | 2017-07-26 | 日本電気株式会社 | 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム |
| US9678617B2 (en) | 2013-01-14 | 2017-06-13 | Patrick Soon-Shiong | Shared real-time content editing activated by an image |
| US9338603B2 (en) | 2013-09-30 | 2016-05-10 | Qualcomm Incorporated | Location based brand detection |
| JP2015090553A (ja) | 2013-11-05 | 2015-05-11 | 株式会社ソニー・コンピュータエンタテインメント | 端末装置、付加情報管理装置、および付加情報管理方法 |
| JP6435779B2 (ja) | 2014-10-30 | 2018-12-12 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| CN104834375A (zh) * | 2015-05-05 | 2015-08-12 | 常州恐龙园股份有限公司 | 基于增强现实的游乐园指南系统 |
| JP2017016466A (ja) | 2015-07-02 | 2017-01-19 | 富士通株式会社 | 端末制御方法、画像生成方法、端末制御プログラム、及び端末 |
| US20170103440A1 (en) * | 2015-08-01 | 2017-04-13 | Zhou Tian Xing | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command |
| CN105243142A (zh) * | 2015-10-10 | 2016-01-13 | 安徽尚舟电子科技有限公司 | 一种基于增强现实与可视计算的智能信息推送方法 |
| CN105227448B (zh) * | 2015-10-30 | 2019-09-17 | Tcl集团股份有限公司 | 一种信息推送方法及系统 |
| US10052170B2 (en) | 2015-12-18 | 2018-08-21 | MediLux Capitol Holdings, S.A.R.L. | Mixed reality imaging system, apparatus and surgical suite |
| US20170352282A1 (en) | 2016-06-03 | 2017-12-07 | International Business Machines Corporation | Image-based feedback for assembly instructions |
| CN107038408A (zh) | 2017-01-11 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 基于增强现实的图像识别方法及装置 |
| US20190005724A1 (en) * | 2017-06-30 | 2019-01-03 | Microsoft Technology Licensing, Llc | Presenting augmented reality display data in physical presentation environments |
| US10565764B2 (en) * | 2018-04-09 | 2020-02-18 | At&T Intellectual Property I, L.P. | Collaborative augmented reality system |
| US11103773B2 (en) * | 2018-07-27 | 2021-08-31 | Yogesh Rathod | Displaying virtual objects based on recognition of real world object and identification of real world object associated location or geofence |
-
2017
- 2017-01-11 CN CN201710018395.1A patent/CN107038408A/zh active Pending
- 2017-11-09 TW TW106138738A patent/TWI691934B/zh active
-
2018
- 2018-01-08 US US15/864,572 patent/US10614341B2/en active Active
- 2018-01-11 WO PCT/US2018/013344 patent/WO2018132590A1/en unknown
- 2018-01-11 SG SG11201906315TA patent/SG11201906315TA/en unknown
- 2018-01-11 KR KR1020197023416A patent/KR102222087B1/ko active IP Right Grant
- 2018-01-11 EP EP18739418.4A patent/EP3568805A4/en not_active Withdrawn
- 2018-01-11 JP JP2019558338A patent/JP6736145B2/ja active Active
-
2019
- 2019-07-08 PH PH12019501599A patent/PH12019501599A1/en unknown
-
2020
- 2020-04-06 US US16/841,467 patent/US10762382B2/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI719412B (zh) * | 2018-10-22 | 2021-02-21 | 美商惠普發展公司有限責任合夥企業 | 儲存有與影像中物件相關資料顯示相關聯的指令之電腦可讀媒體 |
| US11430216B2 (en) | 2018-10-22 | 2022-08-30 | Hewlett-Packard Development Company, L.P. | Displaying data related to objects in images |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020507173A (ja) | 2020-03-05 |
| PH12019501599A1 (en) | 2020-02-24 |
| US20200234077A1 (en) | 2020-07-23 |
| US20180197043A1 (en) | 2018-07-12 |
| EP3568805A1 (en) | 2019-11-20 |
| TWI691934B (zh) | 2020-04-21 |
| WO2018132590A1 (en) | 2018-07-19 |
| KR20190107069A (ko) | 2019-09-18 |
| JP6736145B2 (ja) | 2020-08-05 |
| CN107038408A (zh) | 2017-08-11 |
| US10762382B2 (en) | 2020-09-01 |
| EP3568805A4 (en) | 2020-01-15 |
| US10614341B2 (en) | 2020-04-07 |
| KR102222087B1 (ko) | 2021-03-05 |
| SG11201906315TA (en) | 2019-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW201826225A (zh) | 基於增強現實的圖像識別方法及裝置 | |
| US11017018B2 (en) | Systems and methods of building and using an image catalog | |
| CN107193962B (zh) | 一种互联网推广信息的智能配图方法及装置 | |
| US9007364B2 (en) | Augmented reality display apparatus and related methods using database record data | |
| KR20130126545A (ko) | 쇼핑 경험에서 가상 및 실제 이미지들의 비교 | |
| CN111460285A (zh) | 信息处理方法、装置、电子设备和存储介质 | |
| CA3031548A1 (en) | System and method for analyzing and searching for features associated with objects | |
| US11676345B1 (en) | Automated adaptive workflows in an extended reality environment | |
| US20180101550A1 (en) | Real time object description service integrated with knowledge center on augmented reality (ar) and virtual reality (vr) devices | |
| CN110188216B (zh) | 一种具有文字识别的照片直播系统及其方法 | |
| US9684846B2 (en) | Viewpoints of a point of interest | |
| TW201830274A (zh) | 對象搜索方法及裝置 | |
| CN104899306A (zh) | 信息处理方法、信息显示方法及装置 | |
| CN106875464B (zh) | 三维模型文件处理方法、上传方法及客户端 | |
| US20150113383A1 (en) | Analysis of web application state | |
| US10606884B1 (en) | Techniques for generating representative images | |
| US9396259B1 (en) | Capture of web application state | |
| US20140172965A1 (en) | Unified social graph | |
| CN110515908B (zh) | 一种照片直播系统及其方法 | |
| US11893675B1 (en) | Processing updated sensor data for remote collaboration | |
| WO2022178238A1 (en) | Live updates in a networked remote collaboration session | |
| US10387024B2 (en) | Interactive analysis of data based on progressive visualizations | |
| WO2024108552A1 (zh) | 虚拟模型的面部驱动方法、装置、设备及存储介质 | |
| Meng | Effect of photo album service on the construction of network image resources in the wireless network environment | |
| CN117575701A (zh) | 一种图像推理方法、装置、电子设备、介质及程序产品 |