TWI691934B - 基於擴增實境的影像識別方法及裝置 - Google Patents

基於擴增實境的影像識別方法及裝置 Download PDF

Info

Publication number
TWI691934B
TWI691934B TW106138738A TW106138738A TWI691934B TW I691934 B TWI691934 B TW I691934B TW 106138738 A TW106138738 A TW 106138738A TW 106138738 A TW106138738 A TW 106138738A TW I691934 B TWI691934 B TW I691934B
Authority
TW
Taiwan
Prior art keywords
image
picture
user
picture feature
library
Prior art date
Application number
TW106138738A
Other languages
English (en)
Other versions
TW201826225A (zh
Inventor
王林青
曾曉東
張鴻
林鋒
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201826225A publication Critical patent/TW201826225A/zh
Application granted granted Critical
Publication of TWI691934B publication Critical patent/TWI691934B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/53—Network services using third party service providers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Abstract

本案提供一種基於擴增實境(AR)的影像識別方法，包括：收集擴增實境客戶端上傳的用戶信息；在預設的圖片特徵樣本庫中篩選出與所述用戶信息關聯的圖片特徵樣本；基於篩選出的所述圖片特徵樣本產生對應於所述用戶信息的圖片特徵樣本子庫，並將所述圖片特徵樣本子庫推送至所述擴增實境客戶端，以使所述擴增實境客戶端在針對所述用戶的離線環境執行影像掃描時，基於所述圖片特徵樣本子庫對掃描到的影像信息進行影像識別。本案可以提升AR客戶端的影像識別效率。

Description

基於擴增實境的影像識別方法及裝置
本案涉及擴增實境領域，尤其涉及一種基於擴增實境的影像識別方法及裝置。
AR(Augmented Reality，擴增實境)技術，是一種透過即時計算影像的位置及角度，在影像上疊加相應的影像、視頻、3D模型，進而對虛擬世界與現實世界進行融合的技術。AR客戶端可以結合直接儲存在其本地的圖片識別物料，對用戶的離線環境進行即時的影像識別，並在識別出的特定的離線目標在真實場景中的位置上，按照預配置的展示效果增強顯示相應的展示資料。然而，隨著AR技術的不斷發展以及AR場景的不斷豐富，AR客戶端的計算量也日益膨脹，大量的計算會導致AR客戶端耗電過快以及異常發熱的問題，因此如何降低AR客戶端的計算量，是業界亟待解決的問題之一。
本案提出一種基於擴增實境的影像識別方法，應用於擴增實境伺服端，所述方法包括： 收集擴增實境客戶端上傳的用戶信息；在預設的圖片特徵樣本庫中篩選出與所述用戶信息關聯的圖片特徵樣本；基於篩選出的所述圖片特徵樣本產生對應於所述用戶信息的圖片特徵樣本子庫，並將所述圖片特徵樣本子庫推送至所述擴增實境客戶端，以使所述擴增實境客戶端在針對所述用戶的離線環境執行影像掃描時，基於所述圖片特徵樣本子庫對掃描到的影像信息進行影像識別。
本案還提出一種基於擴增實境的影像識別裝置，應用於擴增實境伺服端，所述裝置包括：本案還提出一種基於擴增實境的影像識別裝置，應用於擴增實境伺服端，所述裝置包括：收集模組，收集擴增實境客戶端上傳的用戶信息；篩選模組，在預設的圖片特徵樣本庫中篩選出與所述用戶信息關聯的圖片特徵樣本；其中，所述圖片特徵樣本庫包括圖片特徵樣本與用戶信息的關聯關係；推送模組，基於篩選出的所述圖片特徵樣本產生對應於所述用戶信息的圖片特徵樣本子庫，並將所述圖片特徵樣本子庫推送至所述擴增實境客戶端，以使所述擴增實境客戶端在針對所述用戶的離線環境執行影像掃描時，基於所述圖片特徵樣本子庫對掃描到的影像信息進行影像識別。
在本案中，擴增實境伺服端透過收集擴增實境客戶端上傳的用戶信息，在預設的圖片特徵樣本庫中篩選出與該 用戶信息關聯的圖片特徵樣本，並基於篩選出的圖片特徵樣本產生對應於該用戶信息的圖片特徵樣本子庫，然後將該圖片特徵樣本子庫推送至所述擴增實境客戶端，由擴增實境客戶端在針對用戶的離線環境執行影像掃描時，基於該圖片特徵樣本子庫對掃描到的影像信息進行影像識別，由於擴增實境伺服端基於用戶信息對圖片特徵樣本庫進行了篩選，可以顯著降低擴增實境伺服端向擴增實境客戶端推送的圖片識別物料的數量，以及擴增實境客戶端在進行影像識別時，所使用的圖片識別物料的數量，進而可以降低擴增實境客戶端的計算量，提升擴增實境客戶端的影像識別效率。
30:基於擴增實境的影像識別裝置
301:收集模組
302:篩選模組
303:推送模組
304:採集模組
305:創建模組
306:獲取模組
307:儲存模組
308:識別模組
圖1是本案一實施例示出的一種基於擴增實境的影像識別方法的處理流程圖；圖2是本案一實施例示出的一種AR伺服端的架構圖；圖3是本案一實施例示出的一種基於擴增實境的影像識別裝置的邏輯方塊圖；圖4是本案一實施例提供的承載所述一種基於擴增實境的影像識別裝置的擴增實境伺服端所涉及的硬體結構圖。
在相關技術中，AR客戶端在針對用戶的離線環境執 行影像掃描的過程中，通常可以透過預配置完成的圖片識別物料庫，對掃描到的影像信息進行即時的影像識別。其中，上述圖片識別物料庫，包括從大量的離線目標的圖片樣本中提取到的圖片特徵樣本。AR客戶端在從用戶的離線環境中掃描到影像信息後，可以透過AR引擎中搭載的影像識別演算法，從該影像信息中提取圖片特徵，然後將提取到的圖片特徵與上述圖片識別物料庫中的圖片特徵樣本逐一進行相似度計算，來識別掃描到的影像信息中的離線目標；當影像識別完成後，AR客戶端可以進一步計算識別出的離線目標在真實場景中的位置，然後按照預配置的展示效果增強顯示相應的展示資料。
目前，AR客戶端在執行影像識別的過程中，所需要使用到的圖片識別物料庫、為圖片識別物料庫中每一個離線目標預配置完成的需要關聯展示的展示資料、以及相應的展示效果(比如動畫效果)，通常都是預配置在AR服務平台上的。AR客戶端在啟動影像掃描之前，需要從AR服務平台上將預配置完成的圖片識別物料庫，以及相應的展示資料、展示效果完整的下載至本地。
然而，在實際應用中，如果圖片識別物料庫中的物料過多時，一方面，會增大AR客戶端的資料儲存壓力；另一方面，會導致AR客戶端在執行影像識別時的計算量非常龐大，從而造成的AR客戶端耗電過快、異常發熱以及影像識別效率較低的問題。
有鑒於此，在本案提出一種能夠基於AR客戶端上傳 的用戶信息，為AR客戶端靈活的篩選並推送圖片識別物料的AR伺服端。
AR伺服端透過收集AR客戶端上傳的用戶信息，在預設的圖片特徵樣本庫中篩選出與該用戶信息關聯的圖片特徵樣本，並基於篩選出的圖片特徵樣本產生對應於該用戶信息的圖片特徵樣本子庫，然後將該圖片特徵樣本子庫推送至AR客戶端，由AR客戶端在針對用戶的離線環境執行影像掃描時，基於該圖片特徵樣本子庫對掃描到的影像信息進行影像識別。
在整個方案中，由於AR伺服端基於用戶信息對圖片特徵樣本庫進行了篩選，因此可以顯著降低AR伺服端向AR客戶端推送的圖片識別物料的數量，以及AR客戶端在進行影像識別時，所使用的圖片識別物料的數量，進而可以降低AR客戶端的計算量，提升AR客戶端的影像識別效率。
下面透過具體實施例並結合具體的應用場景對本案進行描述。
請參考圖1，圖1是本案一實施例提供的一種基於擴增實境的影像識別方法，應用於AR伺服端，所述方法執行以下步驟：步驟101，收集擴增實境客戶端上傳的用戶信息；步驟102，在預設的圖片特徵樣本庫中篩選出與所述用戶信息關聯的圖片特徵樣本；步驟103，基於篩選出的所述圖片特徵樣本產生對應 於所述用戶信息的圖片特徵樣本子庫，並將所述圖片特徵樣本子庫推送至所述擴增實境客戶端，以使所述擴增實境客戶端在針對所述用戶的離線環境執行影像掃描時，基於所述圖片特徵樣本子庫對掃描到的影像信息進行影像識別。
上述AR客戶端，是指基於AR技術開發的，或者整合了AR功能的客戶端軟體；例如，上述AR客戶端，可以是整合了AR服務功能的第三方支付APP；上述AR客戶端可以透過搭載的影像掃描工具，對用戶的離線環境中的現實場景進行影像掃描，並發起針對掃描到的離線目標的影像識別；以及，透過上述AR客戶端前台的AR引擎，對後台的AR伺服端推送的與識別出的離線目標對應的展示資料進行可視化描繪，將其與現實場景(比實景影像)進行疊加融合，在現實場景中與識別出的離線目標對應的位置上按照預配置完成的展示效果進行擴增實境。
其中，上述展示資料，通常可以包括需要與識別出的離線目標進行關聯展示的虛擬資料；而上述展示效果，通常可以包括上述展示資料在現實場景中進行展示的展示效果；例如，以上述離線目標為離線店鋪的LOGO圖片為例，上述展示資料則具體是需要與該離線店鋪的LOGO進行關聯展示的店鋪的基本信息、優惠信息等標籤資料；而上述展示效果，則具體可以包括自定義完成的這些標籤資料在與該店鋪的LOGO進行關聯展示時的展示特效；比如 自定義的動畫效果、動態展示模板、以及展示文案等等。
上述AR伺服端，具體可以包括面向上述AR客戶端提供服務的伺服器、伺服器集群或者基於伺服器集群構建的雲端服務平台；例如，當上述AR客戶端為整合了AR服務功能的第三方支付APP時，上述AR伺服端則可以是面向整合了AR服務功能的第三方支付APP提供對接服務的雲端服務平台。上述AR伺服端可以基於後台的AR引擎，對上述AR客戶端掃描到的影像進行影像識別(當然該影像識別過程也可以由AR客戶端基於前台的AR引擎來完成)；以及，對與離線業務相關的虛擬資料進行內容管理，並基於上述影像識別的結果，向上述AR客戶端推送與識別出的離線目標相關的虛擬資料。
上述預設的圖片特徵樣本庫，即為上述圖片識別物料庫，通常包括從大量的離線目標的樣本圖片中提取到的圖片特徵樣本；上述用戶信息，具體可以包括那些能夠作為篩選維度，對上述圖片特徵樣本庫進行篩選的用戶資料；例如，在示出的一種實施方式中，上述用戶信息可以包括用戶的定位位置，在這種情況下，AR客戶端可以將用戶的定位位置即時上傳至AR伺服端，而AR伺服端則可以基於AR客戶端上傳的用戶的定位位置，從圖片特徵樣本庫中篩選出與用戶的距離在一定範圍內的圖片特徵樣本。
又如，在示出的另一種實施方式中，上述用戶資料還 可以是用戶的行為日誌；在這種情況下，AR伺服端可以收集AR客戶端上傳的用戶行為日誌，並針對收集到的用戶的行為日誌進行大數據分析，以確定用戶的行為偏好，然後從基於用戶的定位位置篩選出的圖片特徵樣本庫中進一步篩選出能夠滿足用戶的行為偏好的圖片特徵樣本。
上述圖片特徵樣本子庫，是指AR伺服端基於上述用戶信息，從上述圖片特徵樣本庫中篩選出的部分圖片特徵樣本進行創建的圖片特徵樣本庫；該圖片特徵樣本子庫與上述用戶信息相對應，為上述圖片特徵樣本庫的子集。
例如，在示出的一種實施方式中，上述用戶信息可以包括用戶的定位位置以及用戶的行為日誌，AR伺服端可以基於用戶的定位位置，初步篩選出上述圖片識別物料庫中與用戶的定位位置之間的距離在一定範圍之內的部分圖片特徵樣本，同時AR伺服端還可是針對收集到的用戶的行為日誌進行大數據分析，確定出用戶的行為偏好，並基於確定出的用戶的行為偏好，從這部分圖片特徵樣本中進一步篩選出能夠滿足用戶的行為偏好的圖片特徵樣本，然後基於進一步篩選出的圖片特徵樣本來創建上述圖片特徵子庫。
以下以上述用戶信息包括用戶的定位位置以及行為日誌為例，結合具體的實施例對本案的技術方案進行詳細描述。
其中，以上述用戶信息為用戶的定位位置以及行為日誌僅為示例性的；顯然，在實際應用中，上述用戶信息也 可以包括那些能夠作為篩選維度，對上述圖片特徵樣本庫進行篩選的其它用戶資料，在本案中不再進行一一列舉。
在本實施例中，在初始狀態下，AR伺服端可以透過搭載的資料採集系統，主動採集圖片樣本以及與該圖片樣本關聯的定位位置，來創建圖片識別物料庫。
而營運人員則可以透過登錄AR伺服端搭載的後台管理系統，為圖片識別物料庫中的圖片特徵樣本配置需要與該圖片特徵樣本對應的離線目標進行關聯展示的展示資料，以及為該展示資料配置展示效果；同時，對於配置完成的展示資料以及展示效果，營運人員也可以透過登錄AR伺服端搭載的後台管理系統，進行動態的修改和更新。
用戶在使用AR客戶端的過程中，AR客戶端可以採集用戶的定位位置以及行為日誌，然後即時的上傳至AR伺服端；而AR伺服端可以收集AR客戶端上傳的用戶的定位位置以及行為日誌，並基於AR客戶端上傳的用戶信息以及行為日誌，對圖片識別物料庫中的圖片識別物料進行更加靈活的管理。
一方面，AR伺服端可以基於客戶端上傳的定位位置，從圖片識別物料庫中為AR客戶端初步篩選出與用戶的定位位置之間的距離小於預設臨限值的圖片特徵樣本；另一方面，AR伺服端可以透過搭載的雲端計算系統，對收集到的行為日誌進行大數據分析，確定出用戶的行為偏好，然後基於確定出的行為偏好，從已經初步篩選 出的圖片特徵樣本中，進一步篩選出能夠滿足用戶的行為偏好的圖片特徵，為該用戶創建圖片特徵樣本子庫，然後推送給AR客戶端。
透過這種方式，可以顯著降低AR伺服端推送的圖片識別物料的數量，降低AR客戶端在進行影像識別時的計算量，以及提升AR客戶端的影像識別效率。
請參見圖2，圖2為本例示出的一種AR伺服端的架構圖。
如圖2所示，上述AR伺服端具體可以是一個基於分散式架構的AR圖片識別物料的管理平台(以下簡稱管理平台)；該管理平台搭載的功能節點具體可以包括雲端服務介面、WEB後台管理入口、分散式儲存系統、後台管理系統、資料採集系統、分散式檢索系統、雲端計算系統、影像識別系統、用戶資料分析系統、物料篩選系統、內容推送系統等。
上述雲端服務介面，為管理平台面向AR客戶端提供服務的服務介面，AR客戶端可以透過接取該服務介面，向管理平台請求相應的雲端服務，而管理平台也可以將AR客戶端請求的服務資料，透過該服務介面返回給AR客戶端；例如，上述雲端伺服端介面具體是一個HTTP介面，AR客戶端可以構建相應的HTTP服務請求，透過接取該HTTP介面，將構建完成的HTTP服務請求提交給管理平台；而管理平台也可以基於該HTTP介面，將相應的服務 資料返回給AR客戶端。
上述WEB後台管理入口，是營運人員對管理平台中預配置完成的圖片識別物料庫，以及相關的展示資料和展示效果進行人工干預或者更新的管理入口。營運人員可以通常WEB的方式登錄到後台管理系統(比如接取管理平台的入口URL位址，然後輸入管理帳號和密碼來遠程登錄後台管理系統)，對管理平台中的內容進行管理。
上述分散式儲存系統，為整個管理平台的資料基礎，用於對圖片識別物料庫，以及營運人員為圖片識別物料庫中的圖片特徵樣本預配置的展示資料和展示效果等資料進行分散式儲存。透過分散式儲存的方式，可以確保資料的可靠性，因而上述分散式儲存系統可以作為整個管理平台穩定的基礎而存在。
上述後台管理系統，是營運人員對管理平台直接進行管理的用戶平台。該後台管理系統可以向營運人員提供對應於各種管理操作的可視化用戶界面，營運人員可以在這些可視化用戶界面中執行相應的管理操作，向圖片識別物料庫中添加、删除以及更新作為圖片識別物料的圖片特徵樣本、為AR客戶端預配置需要與識別出的離線目標關聯展示的展示資料和展示效果、以及按照實際的需求對配置完成的展示資料和展示效果進行動態的更新等。
當然，在實際應用中，營運人員除了可以透過登錄上述後台管理系統，對管理平台中的內容進行管理以外，也可以透過該後台管理系統，對管理平台中的其它系統進行 干預；例如，可以對雲端計算系統的資料分析邏輯以及參數進行人工的編輯和干預；以及，還可以對圖片識別物料庫中與圖片特徵樣本進行關聯儲存的用戶的定位位置進行編輯和調整，等等。
上述資料採集系統，主要用於從網際網路上或者對接的第三方伺服端中主動的採集管理平台所需的“物料”等資料。
在傳統的管理平台中，圖片識別物料通常都是由營運人員透過人工的方式進行輸入和編輯的，因此會存在資料不夠豐富的問題。而在本案中，管理平台透過搭載資料採集系統，可以主動從網際網路以及對接的第三方伺服端上採集圖片識別物料，並存入到管理平台的分散式儲存系統中。
此外，上述資料採集系統除了具有主動採集圖片識別物料的功能以外，也可以主動收集AR客戶端上傳的用戶的行為日誌，以便於雲端計算平台後續的大數據分析。
上述分散式檢索系統，主要用於對分散式儲存系統中儲存的資料進行檢索和查詢。由於管理平台中需要管理大量的圖片識別物料，以及與圖片識別物料關聯的定位位置、展示資料以及展示效果等資料，因此為了方便對這些資料的檢索和查詢，管理平台可以搭載一個與分散式儲存系統對接的分散式檢索系統，透過該分散式檢索系統對管理平台中需要管理的資料進行檢索和查詢，從而可以保證 資料管理的靈活性和穩定性。
上述雲端計算系統，用於承擔管理平台中所有的資料計算；在實際應用中，雲端計算系統，可以分別與管理平台中的分散式儲存系統、用戶資料分析系統、物料篩選系統以及影像識別系統進行對接，來承擔分散式儲存系統、用戶資料分析系統、物料篩選系統以及影像識別系統所有的資料計算，從而提升管理平台的資料處理效率。
其中，上述雲端計算系統中所搭載的資料分析邏輯可以由營運人員透過上述後台管理系統進行人工設置，在本案中不進行特別限定。
上述影像識別系統，用於面向AR客戶端提供雲端的影像識別服務。該影像識別系統可以與雲端計算平台進行對接，透過雲端計算平台從AR客戶端上傳的影像資料中提取圖片特徵，並將提取到的圖片特徵與上述圖片識別物料庫中的圖片特徵樣本逐一進行相似度計算，來完成針對該影像資料的影像識別。
上述用戶資料分析系統，用於對採集系統收集到的用戶的行為日誌進行大數據分析。該影像識別系統可以與雲端計算平台進行對接，透過雲端計算平台搭載的大數據分析演算法，對採集系統收集到的用戶的行為日誌進行大數據分析，進而得到該用戶的行為偏好。
其中，上述雲端計算平台中所搭載的大數據分析演算法也可以由營運人員透過上述後台管理系統進行人工設置，在本案中不進行特別限定。
上述物料篩選系統，用於從分散式儲存系統中儲存的圖片識別物料庫中，篩選出與AR客戶端上傳的用戶的信息關聯的圖片特徵樣本。該物料篩選系統可以與雲端計算平台進行對接，透過雲端計算平台分別計算上述圖片識別物料庫中各圖片特徵樣本關聯的定位位置與用戶的定位位置之間的距離，並初步篩選出上述圖片特徵庫中與用戶的定位位置之間的距離小於預設臨限值的部分圖片特徵樣本；以及，基於雲端計算平台針對收集到的用戶的行為日誌進行大數據分析後，確定出用戶的行為偏好，從初步篩選出的這部分圖片特徵樣本中進一步篩選出能夠滿足用戶的行為偏好的圖片特徵樣本，然後基於進一步篩選出的圖片特徵樣本來創建上述圖片特徵子庫。
上述內容推送系統，用於將上述物料篩選系統基於篩選出的圖片特徵樣本，創建的圖片特徵樣本子庫，推送至AR客戶端；以及，在AR客戶端成功識別出與該圖片特徵樣本子庫中任一圖片特徵樣本對應的離線目標時，將分散式儲存系統中與該圖片特徵樣本關聯儲存的展示資料以及展示效果推送至AR客戶端，由AR客戶端基於該展示效果將該展示資料在AR場景中與識別出的該離線目標對應的位置上進行增強顯示。
以下以圖2中示出的以上各功能節點為例，並結合圖片特徵樣本庫的創建、圖片特徵樣本的篩選、以及影像識 別等三個階段，對本案的技術方案進行詳細描述。
其中，需要指出的是，如圖2所示出的上述AR伺服端的架構僅為示例性的，並不用於限定本案；顯然，在實際應用中，本領域技術人員可以基於實際的需求，對如圖2所示出的各功能節點在功能上進行整合(比如將多個功能節點合並為一個功能節點)，也可以對如圖2所示出的各功能節點在功能上進行進一步的細分(比如將其中任意一個功能節點細分為多個功能節點)，在本案不再進行一一列舉。
1)圖片特徵樣本庫的創建
在實施例中，營運人員除了可以透過登錄後台管理系統，向圖片識別物料庫中手動添加響應的圖片特徵樣本以及關聯的定位位置以外，管理平台還可以透過搭載的資料採集系統，主動採集圖片樣本以及與該圖片樣本關聯的定位位置。
在示出的一種實施方式中，資料採集系統可以透過諸如網際網路爬蟲的方式，從網際網路中海量的線上服務資料中主動採集圖片樣本，以及與圖片樣本關聯的定位位置。
在示出的另一種實施方式中，資料採集系統出了可以主動從海量的線上服務資料中採集圖片樣本以外，也可以直接從對接的第三方的伺服端中採集第三方的伺服端中儲存的圖片樣本，以及與圖片樣本關聯的定位位置；比如，管理平台可以導入對接的友商的服務平台中儲存的圖片樣 本，以及與圖片樣本關聯的定位位置。
需要說明的是，在實際應用中，管理平台可以採用以上示出的兩種圖片樣本的採集方式中的任一種，也可以將以上兩種採集方式進行有機結合，在本案中不進行特別限定。
在本實施例中，對於採集到的圖片樣本，以及關聯的定位位置，可以統一儲存至上述分散式儲存系統。而上述雲端計算系統，可以基於搭載的圖片特徵提取演算法，針對從分散式儲存系統中儲存的圖片樣本中分別進行圖片特徵提取，然後基於提取到的圖片特徵，以及與各圖片樣本關聯的定位位置，在上述分散式儲存系統創建上述圖片識別物料庫。此時，創建的圖片識別物料庫中儲存的信息，包括提取出的對應於各圖片樣本的圖片特徵，以及與各圖片樣本關聯的定位位置。
當上述圖片識別物料庫創建完成後，營運人員可以透過WEB瀏覽器接取管理平台的入口URL位址，然後輸入管理帳號和密碼來遠程登錄後台管理系統，對管理平台中的內容進行管理。
當成功登錄後台管理系統後，營運人員可以在後台管理系統提供的可視化用戶界面中執行相應的管理操作，為該圖片識別物料庫中的圖片特徵樣本，分別配置需要與該圖片特徵樣本對應的離線目標進行關聯展示的展示資料，以及為該展示資料配置的展示效果。
而後台管理系統可以獲取營運人員配置的展示資料以 及展示效果，並將獲取到的展示資料與展示效果，與上述圖片識別物料庫中相應的圖片特徵樣本進行關聯儲存，以方便進行檢索。
同時，對於配置完成的展示資料以及展示效果，也可以由營運人員在後台管理系統提供的可視化用戶界面中執行相應的更新操作，來進行動態的更新；後台管理系統，則可以響應營運人員的更新操作，透過分散式檢索系統查詢圖片識別物料庫中相應的圖片特徵樣本，基於營運人員重新配置的展示資料以及展示效果，對與該圖片特徵樣本關聯儲存的原有的展示資料以及展示效果進行更新。
透過這種方式，營運人員可以透過登錄後台管理系統，基於實際的需求在任意時刻都可以與圖片識別物料庫中的圖片特徵樣本關聯儲存的展示資料以及展示效果進行動態更新，因此可以提升展示資料以及展示效果管理的靈活性。
2)圖片特徵樣本的篩選
在本實施例中，用戶在使用AR客戶端的過程中，AR客戶端可以採集用戶的定位位置以及行為日誌，然後透過接取上述雲端服務介面，將採集到的用戶的定位位置以及行為日誌即時的上傳至管理平台；而管理平台可以透過搭載的資料採集系統，來收集AR客戶端上傳的用戶的定位位置以及行為日誌，並基於AR客戶端上傳的用戶信息以及行為日誌，對圖片識別物料庫中的圖片識別物料進行更加靈活的管理。
一方面，物料篩選系統可以與雲端計算系統進行對接，由雲端計算系統來承擔所有的資料篩選計算。雲端計算系統可以即時的計算AR客戶端上傳的用戶的定位位置，與上述圖片識別物料庫中各圖片特徵樣本關聯的定位位置之間的距離；當雲端計算系統完成以上計算後，物料篩選系統可以初步篩選出與用戶的定位位置之間的距離小於預設臨限值的圖片特徵樣本。此時針對上述圖片識別物料庫的初步篩選完成；例如，以上述圖片識別物料庫中儲存的為從大量的離線店鋪的LOGO中提取出的圖片特徵樣本，以及用戶透過使用AR客戶端進行離線店鋪的日常掃描的應用場景為例，用戶在使用AR客戶端對離線的某個店鋪的LOGO進行掃描之前，AR客戶端可以將該用戶的定位位置即時上傳至管理平台；而管理平台可以基於該用戶的定位位置，在圖片識別物料庫中篩選出該用戶附近在一定範圍內的商家的LOGO圖片，來為該用戶產生圖片特徵樣本子庫，從而降低需要向該AR客戶端推送的LOGO圖片的數量。
另一方面，用戶資料分析系統也可以與雲端計算系統進行對接，由雲端計算系統來承擔所有的資料分析計算。雲端計算系統可以基於搭載的大數據分析演算法，對資料採集系統收集到的用戶的行為日誌進行大數據分析，進而確定出上述用戶的行為偏好；其中，上述行為偏好，具體是指基於用戶在日常使用AR客戶端的過程中，形成的特定的使用習慣或者規律； 例如，仍以上述圖片識別物料庫中儲存的為從大量的離線店鋪的LOGO中提取出的圖片特徵樣本，以及用戶透過使用AR客戶端進行離線店鋪的日常掃描的應用場景為例，AR客戶端可以在本地記錄用戶每一次針對離線店鋪進行掃描時產生的相關的行為資料，產生相應的日誌文件，並統一上傳至管理平台。而管理平台可以透過雲端計算平台對收集到的日誌文件進行大數據分析，從而可以進一步分析出用戶對於離線店鋪的偏好；比如，可以分析出用戶日常更喜歡光顧贈送優惠券的離線商鋪、價格便宜的離線商鋪等用戶偏好。
當管理平台透過行為日誌的大數據分析，確定出用戶的行為偏好後，為了進一步降低已經初步篩選出的圖片特徵樣本的數量，減少圖片識別物料的推送量，上述物料篩選系統還可以從初步篩選出的圖片特徵樣本中，進一步篩選出的能夠滿足用戶的行為偏好的圖片特徵樣本；例如，仍以上述圖片識別物料庫中儲存的為從大量的離線店鋪的LOGO中提取出的圖片特徵樣本，以及用戶透過使用AR客戶端進行離線店鋪的日常掃描的應用場景為例，假設管理平台分析出的用戶日常的行為偏好為“更喜歡光顧贈送優惠券的離線商鋪”以及“價格便宜的離線商鋪”，此時物料篩選系統可以透過接取與初步篩選出的這些圖片特徵樣本對應的離線商鋪的相關信息，進一步查找出能夠向用戶發放優惠券以及價格更便宜的離線商鋪，然後進一步篩選出與這些離線商鋪對應的圖片特徵樣本。
當管理平台從初步篩選出的這些圖片特徵樣本中，進一步篩選出了能夠滿足用戶的行為偏好的圖片特徵樣本後，管理平台可以基於最終篩選出的這些圖片特徵樣本，為上述用戶創建的圖片特徵樣本子庫，然後透過內容推送系統將創建完成的圖片特徵樣本子庫推送至AR客戶端。
需要說明的是，上述物料篩選系統在針對圖片識別物料庫中的圖片特徵樣本進行篩選時，除了可以按照以上示出的基於用戶的定位位置進行初步篩選，然後基於分析出的用戶偏好執行進一步的篩選以外，在實際應用中，也可以不進行基於分析出的用戶偏好執行的進一步的篩選，而是直接基於初步篩選的結果為上述用戶創建圖片特徵樣本子庫，在本案中不再進行詳述。
3)影像識別
在本實施例中，當AR客戶端接收到管理平台推送的圖片特徵樣本子庫後，可以將該圖片特徵樣本子庫在其本地進行加載。當用戶使用AR客戶端對離線環境進行影像掃描時，AR客戶端可以基於前台的AR引擎中搭載的影像識別演算法，從掃描到的影像信息中提取圖片特徵，然後與該圖片特徵樣本子庫中的圖片特徵樣本逐一進行相似度匹配，來完成針對掃描到的影像信息的影像識別。其中，具體的影像識別的計算過程，在本實施例中不再進行詳述，本領域技術人員在將本案記載的技術方案付諸實踐時，可以參考相關技術中的記載。
此時，由於管理平台此時推送的圖片特徵樣本子庫中 的圖片特徵樣本，基於用戶的定位位置以及行為偏好執行了深度的篩選，因此AR客戶端在針對從用戶的離線環境中掃描到的影像資料進行影像識別時，不再需要依次遍歷管理平台中創建完成的圖片識別物料庫中所有的圖片識別物料，因而可以顯著的提升AR客戶端的影像識別效率。
當然，除了AR客戶端在本地對掃描到的影像信息進行影像識別以外，AR客戶端也可以透過接取上述雲端伺服端介面，將掃描到的影像信息即時的上傳至管理平台，由管理平台搭載的影像識別系統，基於為該用戶篩選並創建的圖片特徵樣本子庫，來完成針對該影像信息的影像識別。
在本實施例中，當透過以上示出的影像識別過程，最終從掃描到的影像信息中識別出與上述圖片特徵樣本子庫中任一圖片特徵樣本對應的離線目標時，此時上述分散式檢索系統，可以從分散式儲存系統中查詢與該圖片特徵樣本關聯儲存的展示資料以及展示效果，並透過上述內容推送系統，將查詢到的展示資料以及展示效果推送至上述AR客戶端。
而上述AR客戶端在推送至本地的展示資料以及展示效果後，可以基於該展示效果將該展示資料在AR場景中，與識別出的上述離線目標對應的位置上進行增強顯示。
其中，需要說明的是，與上述圖片特徵樣本子庫中的圖片特徵樣本關聯儲存的上述展示資料以及展示效果，在 實際應用中，也可以由上述內容推送系統在向AR客戶端推送創建完成的圖片特徵樣本子庫時，一併推送至AR客戶端，即對於營運人員配置完成的展示資料以及展示效果，可以與篩選並創建完成的圖片特徵樣本子庫一併推送至AR客戶端，也可以在完成影像識別後，進行單獨的推送，在本案中不進行特別的限定。
透過以上各實施例可知，在本案提出了一種能夠基於AR客戶端上傳的用戶信息，為AR客戶端靈活的篩選並推送圖片識別物料的AR伺服端。
該AR伺服端可以透過收集AR客戶端上傳的用戶信息，在預設的圖片特徵樣本庫中篩選出與該用戶信息關聯的圖片特徵樣本，並基於篩選出的圖片特徵樣本產生對應於該用戶信息的圖片特徵樣本子庫，然後將該圖片特徵樣本子庫推送至AR客戶端，由AR客戶端在針對用戶的離線環境執行影像掃描時，基於該圖片特徵樣本子庫對掃描到的影像信息進行影像識別。
在整個方案中，由於AR伺服端基於用戶信息對圖片特徵樣本庫進行了篩選，因此可以顯著降低AR伺服端向AR客戶端推送的圖片識別物料的數量，以及AR客戶端在進行影像識別時，所使用的圖片識別物料的數量，進而可以降低AR客戶端的計算量，提升AR客戶端的影像識別效率。
與上述方法實施例相對應，本案還提供了裝置的實施例。
請參見圖3，本案提出一種基於擴增實境的影像識別裝置30，應用於AR伺服端；請參見圖4，作為承載所述基於擴增實境的影像識別裝置30的AR伺服端所涉及的硬體架構中，通常包括CPU、記憶體、非易失性記憶體、網路介面以及內部匯流排等；以軟體實現為例，所述基於擴增實境的影像識別裝置30通常可以理解為加載在記憶體中的電腦程式，透過CPU運行之後形成的軟硬體相結合的邏輯裝置，所述裝置30包括：收集模組301，收集擴增實境客戶端上傳的用戶信息；篩選模組302，在預設的圖片特徵樣本庫中篩選出與所述用戶信息關聯的圖片特徵樣本；推送模組303，基於篩選出的所述圖片特徵樣本產生對應於所述用戶信息的圖片特徵樣本子庫，並將所述圖片特徵樣本子庫推送至所述擴增實境客戶端，以使所述擴增實境客戶端在針對所述用戶的離線環境執行影像掃描時，基於所述圖片特徵樣本子庫對掃描到的影像信息進行影像識別。
在本例中，所述用戶信息包括用戶的定位位置；所述裝置30還包括：採集模組304，採集對接的第三方伺服端中儲存的圖片樣本，以及與該圖片樣本關聯的定位位置；和/或，基於預設的資料採集演算法從線上的服務資料中採集圖片樣本，以及與圖片樣本關聯的定位位置； 創建模組305，從採集到的圖片樣本中提取圖片特徵樣本，並基於提取出的圖片特徵樣本以及與所述圖片樣本關聯的定位位置，在本地創建所述圖片特徵樣本庫。
在本例中，所述裝置還包括：獲取模組306，獲取營運人員為所述圖片特徵樣本庫中的圖片特徵樣本配置的展示資料；以及，為所述展示資料配置的展示效果；儲存模組307，將獲取到的所述展示資料以及所述展示效果與所述圖片特徵樣本庫中的圖片特徵樣本進行關聯儲存，並響應於營運人員的更新操作，對所述展示資料以及所述展示效果進行動態更新。
在本例中，所述裝置30還包括：識別模組308，接收所述擴增實境客戶端上傳的掃描到的影像信息；基於產生的所述圖片特徵樣本子庫，針對所述影像信息進行影像識別。
在本例中，所述推送模組303進一步：當從所述影像信息中識別出與所述圖片特徵樣本子庫中的任一圖片特徵樣本對應的離線目標時，將與該圖片特徵樣本關聯的展示資料，以及與該展示資料關聯的展示效果，推送至所述擴增實境客戶端，以使所述擴增實境客戶端基於所述展示效果將所述展示資料在擴增實境場景中與所述離線目標對應的位置上進行增強顯示。
在本例中，所述篩選模組302：計算擴增實境客戶端上傳的用戶的定位位置，與所述 圖片特徵樣本庫中各圖片特徵樣本關聯的定位位置之間的距離；篩選出所述圖片特徵樣本庫中所述距離小於預設臨限值的圖片特徵樣本。
在本例中，所述用戶信息還包括用戶的行為日誌；所述篩選模組302進一步：針對收集到的用戶的行為日誌進行大數據分析，以確定所述用戶的行為偏好；從所述距離小於預設臨限值的圖片特徵樣本中進一步篩選出滿足所述用戶的行為偏好的圖片特徵樣本。
對於裝置實施例而言，由於其基本對應於方法實施例，所以相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分散到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本案方案的目的。本領域普通技術人員在不付出創造性勞動的情況下，即可以理解並實施。
上述實施例闡明的裝置、裝置、模組或單元，具體可以由電腦晶片或實體實現，或者由具有某種功能的產品來實現。一種典型的實現設備為電腦，電腦的具體形式可以是個人電腦、膝上型電腦、蜂巢式電話、相機電話、智慧電話、個人數位助理、媒體播放器、導航設備、電子郵件 收發設備、遊戲控制台、平板電腦、可穿戴設備或者這些設備中的任意幾種設備的組合。
本領域技術人員在考慮說明書及實踐這裏公開的發明後，將容易想到本案的其它實施方案。本案旨在涵蓋本案的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本案的一般性原理並包括本案未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本案的真正範圍和精神由下面的申請專利範圍指出。
應當理解的是，本案並不局限於上面已經描述並在附圖中示出的精確結構，並且可以在不脫離其範圍進行各種修改和改變。本案的範圍僅由所附的申請專利範圍來限制。
以上所述僅為本案的較佳實施例而已，並不用以限制本案，凡在本案的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本案保護的範圍之內。

Claims (12)

  1. 一種基於擴增實境的影像識別方法，其特徵在於，應用於擴增實境伺服端，所述方法包括：收集用戶於擴增實境客戶端上傳的用戶信息及掃描到的影像信息；在預設的圖片特徵樣本庫中篩選出與所述用戶信息及影像信息關聯的圖片特徵樣本；基於篩選出的所述圖片特徵樣本產生對應於所述用戶信息與影像信息的圖片特徵樣本子庫，並將所述圖片特徵樣本子庫推送至所述擴增實境客戶端，以使所述擴增實境客戶端在針對所述用戶的離線環境執行影像掃描時，基於所述圖片特徵樣本子庫對所述掃描到的影像信息進行影像識別。
  2. 根據申請專利範圍第1項所述的方法，其中，所述用戶信息包括用戶的定位位置；所述方法還包括：採集與所述擴增實境伺服端對接的第三方伺服端中儲存的圖片樣本，以及與該圖片樣本關聯的定位位置；和/或，基於預設的資料採集演算法從線上的服務資料中採集圖片樣本，以及與圖片樣本關聯的定位位置；從採集到的圖片樣本中提取圖片特徵樣本，並基於提 取出的圖片特徵樣本以及與所述圖片樣本關聯的定位位置，在本地創建所述圖片特徵樣本庫。
  3. 根據申請專利範圍第2項所述的方法，其中，還包括：獲取營運人員為所述圖片特徵樣本庫中的圖片特徵樣本配置的展示資料；以及，為所述展示資料配置的展示效果；將獲取到的所述展示資料以及所述展示效果與所述圖片特徵樣本庫中的圖片特徵樣本進行關聯儲存，並響應於營運人員的更新操作，對所述展示資料以及所述展示效果進行動態更新。
  4. 根據申請專利範圍第1項所述的方法，其中，還包括：當從所述影像信息中識別出與所述圖片特徵樣本子庫中的任一圖片特徵樣本對應的離線目標時，將與該圖片特徵樣本關聯的展示資料，以及與該展示資料關聯的展示效果，推送至所述擴增實境客戶端，以使所述擴增實境客戶端基於所述展示效果將所述展示資料在擴增實境場景中與所述離線目標對應的位置上進行增強顯示。
  5. 根據申請專利範圍第2項所述的方法，其中，所述在預設的圖片特徵樣本庫中篩選出與所述用戶信 息關聯的圖片特徵樣本，包括：計算擴增實境客戶端上傳的用戶的定位位置，與所述圖片特徵樣本庫中各圖片特徵樣本關聯的定位位置之間的距離；篩選出所述圖片特徵樣本庫中所述距離小於預設臨限值的圖片特徵樣本。
  6. 根據申請專利範圍第5項所述的方法，其中，所述用戶信息還包括用戶的行為日誌；所述方法還包括：針對收集到的用戶的行為日誌進行大數據分析，以確定所述用戶的行為偏好；從所述距離小於預設臨限值的圖片特徵樣本中進一步篩選出滿足所述用戶的行為偏好的圖片特徵樣本。
  7. 一種基於擴增實境的影像識別裝置，其特徵在於，應用於擴增實境伺服端，所述裝置包括：收集模組，收集用戶於擴增實境客戶端上傳的用戶信息及掃描到影像信息；篩選模組，在預設的圖片特徵樣本庫中篩選出與所述用戶信息與影像信息關聯的圖片特徵樣本；推送模組，基於篩選出的所述圖片特徵樣本產生對應於所述用戶信息與影像信息的圖片特徵樣本子庫，並將所述圖片特徵樣本子庫推送至所述擴增實境客戶端，以使所 述擴增實境客戶端在針對所述用戶的離線環境執行影像掃描時，基於所述圖片特徵樣本子庫對所述掃描到的影像信息進行影像識別。
  8. 根據申請專利範圍第7項所述的裝置，其中，所述用戶信息包括用戶的定位位置；所述裝置還包括：採集模組，採集與所述擴增實境伺服端對接的第三方伺服端中儲存的圖片樣本，以及與該圖片樣本關聯的定位位置；和/或，基於預設的資料採集演算法從線上的服務資料中採集圖片樣本，以及與圖片樣本關聯的定位位置；創建模組，從採集到的圖片樣本中提取圖片特徵樣本，並基於提取出的圖片特徵樣本以及與所述圖片樣本關聯的定位位置，在本地創建所述圖片特徵樣本庫。
  9. 根據申請專利範圍第8項所述的裝置，其中，還包括：獲取模組，獲取營運人員為所述圖片特徵樣本庫中的圖片特徵樣本配置的展示資料；以及，為所述展示資料配置的展示效果；儲存模組，將獲取到的所述展示資料以及所述展示效果與所述圖片特徵樣本庫中的圖片特徵樣本進行關聯儲存，並響應於營運人員的更新操作，對所述展示資料以及所述展示效果進行動態更新。
  10. 根據申請專利範圍第7項所述的裝置，其中，所述推送模組進一步：當從所述影像信息中識別出與所述圖片特徵樣本子庫中的任一圖片特徵樣本對應的離線目標時，將與該圖片特徵樣本關聯的展示資料，以及與該展示資料關聯的展示效果，推送至所述擴增實境客戶端，以使所述擴增實境客戶端基於所述展示效果將所述展示資料在擴增實境場景中與所述離線目標對應的位置上進行增強顯示。
  11. 根據申請專利範圍第8項所述的裝置，其中，所述篩選模組：計算擴增實境客戶端上傳的用戶的定位位置，與所述圖片特徵樣本庫中各圖片特徵樣本關聯的定位位置之間的距離；篩選出所述圖片特徵樣本庫中所述距離小於預設臨限值的圖片特徵樣本。
  12. 根據申請專利範圍第11項所述的裝置，其中，所述用戶信息還包括用戶的行為日誌；所述篩選模組進一步：針對收集到的用戶的行為日誌進行大數據分析，以確定所述用戶的行為偏好；從所述距離小於預設臨限值的圖片特徵樣本中進一步 篩選出滿足所述用戶的行為偏好的圖片特徵樣本。
TW106138738A 2017-01-11 2017-11-09 基於擴增實境的影像識別方法及裝置 TWI691934B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??201710018395.1 2017-01-11
CN201710018395.1 2017-01-11
CN201710018395.1A CN107038408A (zh) 2017-01-11 2017-01-11 基于增强现实的图像识别方法及装置

Publications (2)

Publication Number Publication Date
TW201826225A TW201826225A (zh) 2018-07-16
TWI691934B true TWI691934B (zh) 2020-04-21

Family

ID=59530481

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106138738A TWI691934B (zh) 2017-01-11 2017-11-09 基於擴增實境的影像識別方法及裝置

Country Status (9)

Country Link
US (2) US10614341B2 (zh)
EP (1) EP3568805A4 (zh)
JP (1) JP6736145B2 (zh)
KR (1) KR102222087B1 (zh)
CN (1) CN107038408A (zh)
PH (1) PH12019501599A1 (zh)
SG (1) SG11201906315TA (zh)
TW (1) TWI691934B (zh)
WO (1) WO2018132590A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038408A (zh) 2017-01-11 2017-08-11 阿里巴巴集团控股有限公司 基于增强现实的图像识别方法及装置
CN109062523B (zh) * 2018-06-14 2021-09-24 北京三快在线科技有限公司 增强现实数据的展示方法、装置、电子设备及存储介质
US10725629B2 (en) * 2018-06-25 2020-07-28 Google Llc Identifying and controlling smart devices
WO2020022780A1 (en) * 2018-07-25 2020-01-30 Samsung Electronics Co., Ltd. Method and apparatus for establishing device connection
CN109260705A (zh) * 2018-08-06 2019-01-25 光锐恒宇（北京）科技有限公司 游戏的实现方法、装置、智能终端和计算机可读存储介质
US11430216B2 (en) 2018-10-22 2022-08-30 Hewlett-Packard Development Company, L.P. Displaying data related to objects in images
US20220139046A1 (en) * 2019-02-04 2022-05-05 Beam Therapeutics Inc. Systems and methods for implemented mixed reality in laboratory automation
CN110020981A (zh) * 2019-03-27 2019-07-16 阿里巴巴集团控股有限公司 一种图像信息处理方法、装置及电子设备
CN113923252B (zh) * 2021-09-30 2023-11-21 北京蜂巢世纪科技有限公司 图像显示装置、方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090237546A1 (en) * 2008-03-24 2009-09-24 Sony Ericsson Mobile Communications Ab Mobile Device with Image Recognition Processing Capability
US20090254539A1 (en) * 2008-04-03 2009-10-08 Microsoft Corporation User Intention Modeling For Interactive Image Retrieval
US7945099B2 (en) * 2005-05-09 2011-05-17 Like.Com System and method for use of images with recognition analysis
CN103119544A (zh) * 2010-05-16 2013-05-22 诺基亚公司 展现基于位置的内容的方法和装置
CN104834375A (zh) * 2015-05-05 2015-08-12 常州恐龙园股份有限公司 基于增强现实的游乐园指南系统
CN105227448A (zh) * 2015-10-30 2016-01-06 Tcl集团股份有限公司 一种信息推送方法及系统
CN105243142A (zh) * 2015-10-10 2016-01-13 安徽尚舟电子科技有限公司 一种基于增强现实与可视计算的智能信息推送方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7522163B2 (en) 2004-08-28 2009-04-21 David Holmes Method and apparatus for determining offsets of a part from a digital image
US8819172B2 (en) 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
KR101746838B1 (ko) * 2010-06-14 2017-06-27 주식회사 비즈모델라인 진열대를 이용한 증강현실 운영 방법
JP2015062090A (ja) 2011-12-15 2015-04-02 日本電気株式会社 映像処理システム、映像処理方法、携帯端末用またはサーバ用の映像処理装置およびその制御方法と制御プログラム
US8654149B2 (en) 2011-12-20 2014-02-18 Honeywell International Inc. System and method for displaying enhanced vision and synthetic images
WO2013115202A1 (ja) 2012-01-30 2013-08-08 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム
US9678617B2 (en) 2013-01-14 2017-06-13 Patrick Soon-Shiong Shared real-time content editing activated by an image
US9338603B2 (en) 2013-09-30 2016-05-10 Qualcomm Incorporated Location based brand detection
JP2015090553A (ja) 2013-11-05 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 端末装置、付加情報管理装置、および付加情報管理方法
JP6435779B2 (ja) 2014-10-30 2018-12-12 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2017016466A (ja) 2015-07-02 2017-01-19 富士通株式会社 端末制御方法、画像生成方法、端末制御プログラム、及び端末
US20170103440A1 (en) * 2015-08-01 2017-04-13 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US10052170B2 (en) 2015-12-18 2018-08-21 MediLux Capitol Holdings, S.A.R.L. Mixed reality imaging system, apparatus and surgical suite
US20170352282A1 (en) 2016-06-03 2017-12-07 International Business Machines Corporation Image-based feedback for assembly instructions
CN107038408A (zh) 2017-01-11 2017-08-11 阿里巴巴集团控股有限公司 基于增强现实的图像识别方法及装置
US20190005724A1 (en) * 2017-06-30 2019-01-03 Microsoft Technology Licensing, Llc Presenting augmented reality display data in physical presentation environments
US10565764B2 (en) * 2018-04-09 2020-02-18 At&T Intellectual Property I, L.P. Collaborative augmented reality system
US20180345129A1 (en) * 2018-07-27 2018-12-06 Yogesh Rathod Display virtual objects within predefined geofence or receiving of unique code from closest beacon

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7945099B2 (en) * 2005-05-09 2011-05-17 Like.Com System and method for use of images with recognition analysis
US20090237546A1 (en) * 2008-03-24 2009-09-24 Sony Ericsson Mobile Communications Ab Mobile Device with Image Recognition Processing Capability
US20090254539A1 (en) * 2008-04-03 2009-10-08 Microsoft Corporation User Intention Modeling For Interactive Image Retrieval
CN103119544A (zh) * 2010-05-16 2013-05-22 诺基亚公司 展现基于位置的内容的方法和装置
CN104834375A (zh) * 2015-05-05 2015-08-12 常州恐龙园股份有限公司 基于增强现实的游乐园指南系统
CN105243142A (zh) * 2015-10-10 2016-01-13 安徽尚舟电子科技有限公司 一种基于增强现实与可视计算的智能信息推送方法
CN105227448A (zh) * 2015-10-30 2016-01-06 Tcl集团股份有限公司 一种信息推送方法及系统

Also Published As

Publication number Publication date
PH12019501599A1 (en) 2020-02-24
JP6736145B2 (ja) 2020-08-05
TW201826225A (zh) 2018-07-16
US20200234077A1 (en) 2020-07-23
CN107038408A (zh) 2017-08-11
SG11201906315TA (en) 2019-08-27
US10762382B2 (en) 2020-09-01
KR20190107069A (ko) 2019-09-18
EP3568805A1 (en) 2019-11-20
EP3568805A4 (en) 2020-01-15
WO2018132590A1 (en) 2018-07-19
JP2020507173A (ja) 2020-03-05
US10614341B2 (en) 2020-04-07
KR102222087B1 (ko) 2021-03-05
US20180197043A1 (en) 2018-07-12

Similar Documents

Publication Publication Date Title
TWI691934B (zh) 基於擴增實境的影像識別方法及裝置
US11017018B2 (en) Systems and methods of building and using an image catalog
US10083357B2 (en) Image-based item location identification
CN107193962B (zh) 一种互联网推广信息的智能配图方法及装置
US10074214B2 (en) Systems and methods for generating 3D scenes with time element for display
EP2662831B1 (en) Comparing virtual and real images of a shopping planogram
KR102123780B1 (ko) 자동 가이드식 이미지 캡쳐 및 프레젠테이션
US9552342B2 (en) Generating a collage for rendering on a client computing device
CN108388649B (zh) 处理音视频的方法、系统、设备及存储介质
US20180225408A1 (en) System and method for interactive modeling and analysis of 3-d digital assemblies
US10957108B2 (en) Augmented reality image retrieval systems and methods
JP7242994B2 (ja) ビデオイベント識別方法、装置、電子デバイス及び記憶媒体
US11093548B1 (en) Dynamic graph for time series data
CN117152302A (zh) 目标对象的展示图像的生成方法、装置、设备及存储介质
CN108268615A (zh) 一种数据处理方法、装置以及系统
CN106875464B (zh) 三维模型文件处理方法、上传方法及客户端
KR20190106107A (ko) 위치정보와 촬영자세를 이용한 스마트 영상의 가상현실 서비스 기술
KR102648613B1 (ko) 입력 이미지를 기반으로 인터넷 쇼핑몰에 전시되는 상품 이미지를 생성하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체
KR102485811B1 (ko) 이미지에서 추출된 키워드를 이용하여 이미지를 필터링하기 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
Meng Effect of photo album service on the construction of network image resources in the wireless network environment
CN117035960A (zh) 数字藏品生成方法、装置、计算机设备和存储介质
CN117575701A (zh) 一种图像推理方法、装置、电子设备、介质及程序产品
CN117314425A (zh) 一种基于区块链的ar藏品鉴定系统及方法
CN114356160A (zh) 一种生成方法、页面显示方法、装置、设备以及存储介质
WO2019023959A1 (zh) 一种基于智能终端的空间布局控制方法及空间布局控制系统