TWI669956B - 擴增實境處理方法及裝置、顯示終端及電腦存儲介質 - Google Patents

擴增實境處理方法及裝置、顯示終端及電腦存儲介質 Download PDF

Info

Publication number
TWI669956B
TWI669956B TW107111026A TW107111026A TWI669956B TW I669956 B TWI669956 B TW I669956B TW 107111026 A TW107111026 A TW 107111026A TW 107111026 A TW107111026 A TW 107111026A TW I669956 B TWI669956 B TW I669956B
Authority
TW
Taiwan
Prior art keywords
target object
image frame
information
display
point
Prior art date
Application number
TW107111026A
Other languages
English (en)
Other versions
TW201902225A (zh
Inventor
龐英明
魏扼
Original Assignee
大陸商騰訊科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商騰訊科技（深圳）有限公司 filed Critical 大陸商騰訊科技（深圳）有限公司
Publication of TW201902225A publication Critical patent/TW201902225A/zh
Application granted granted Critical
Publication of TWI669956B publication Critical patent/TWI669956B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申請實施例公開了一種AR處理方法及裝置、顯示終端及電腦存儲介質。所述AR處理方法包括：獲取所述視頻中目標物件的AR資訊；跟蹤所述目標物件在當前顯示的所述視頻的當前圖像幀中的顯示位置；根據所述顯示位置，將所述AR資訊疊加到所述當前圖像幀中。

Description

擴增實境處理方法及裝置、顯示終端及電腦存儲介質
本申請涉及資訊技術領域，尤其涉及一種擴增實境(Augmented Reality，AR)處理方法及裝置、顯示終端及電腦存儲介質。
AR是在基於真實世界採集的圖像上，進行各種疊加從而進行顯示內容擴展的一種顯示技術。在現有技術中AR中引入的資訊需要顯示在對應的圖形物件周圍。在現有技術中，通常出現AR資訊偏離對應的圖形物件的問題，同時還可能存在著需要保持當前視頻靜止，等到AR資訊獲取之後再進行AR資訊的疊加顯示的問題。
有鑑於此，本申請實施例期望提供一種AR處理方法及煮給你指、顯示終端及電腦存儲介質，以減少AR資訊偏離對應圖形物件的問題，或需要中止視頻的問題。
本申請的技術方案是這樣實現的：本申請實施例第一方面提供一種擴增實境AR處理方法，應用於顯示終端中，包括：基於視頻流，顯示視頻；獲取所述視頻中目標物 件的AR資訊；跟蹤所述目標物件在當前顯示的所述視頻的當前圖像幀中的顯示位置；根據所述顯示位置，將所述AR資訊疊加到所述當前圖像幀中。
本申請實施例第二方面提供一種擴增實境AR處理裝置，應用於顯示終端中，包括：顯示單元，配置為基於視頻流，顯示視頻；獲取單元，配置為獲取所述視頻中目標物件的AR資訊；跟蹤單元，配置為跟蹤所述目標物件在當前顯示的所述視頻的當前圖像幀中的顯示位置；所述顯示單元，還配置為根據所述顯示位置，將所述AR資訊疊加到所述當前圖像幀中。
本申請實施例協力廠商面提供一種顯示終端，包括：顯示器，配置為資訊顯示；記憶體，配置為存儲電腦程式；處理器，與所述顯示器及所述記憶體連接，配置為通過執行所述電腦程式，控制所述顯示終端執行任一項上述的AR處理方法。
本申請實施例第四方面提供一種電腦存儲介質，所述電腦存儲介質中存儲電腦程式；所述電腦程式，用於被處理器執行後能夠實現任一項上述的AR處理方法。
本申請實施例提供AR處理方法及煮給你指、顯示終端及電腦存儲介質，在進行視頻的顯示，不會中止視頻的顯示；但是會在進行視頻顯示時，會跟蹤圖像幀中的目標物件的顯示位置，這樣在獲得AR資訊之後，會根據獲取的顯示位置，將AR資訊疊加顯示到當前圖像幀中，這樣就可以將AR資訊疊加目標物件上或目標物件附件，從而可以減少因為目標物件在視頻的不同圖像幀中目標物件的移動，導致AR資訊偏離目標物件的現 象，從而解決了AR資訊偏離對應的目標物件的問題，且在獲取AR資訊中不用中止視頻的顯示，以等待AR資訊的顯示，提升了使用者體驗。
110‧‧‧顯示單元
120‧‧‧獲取單元
130‧‧‧跟蹤單元
230‧‧‧處理器
240‧‧‧網路介面
220‧‧‧記憶體
210‧‧‧顯示器
S110、S120、S121、S122、S130、S131、S140、S141‧‧‧步驟
第1圖為本申請實施例提供的第一種AR處理方法的流程示意圖；第2圖為本申請實施例提供的一種基準點、特徵點、偏移向量及均值偏移向量的顯示示意圖；第3圖為本申請實施例提供的第二種AR處理方法的流程示意圖；第4圖為本申請實施例提供的一種視頻顯示效果示意圖；第5圖為本申請實施例提供的另一種視頻顯示效果示意圖；第6圖為本申請實施例提供的一種AR處理裝置的結構示意圖；第7圖為本申請實施例提供的另一種AR處理裝置的結構示意圖；第8圖為本申請實施例提供的另一種AR處理系統及處理流程示意圖。
以下結合說明書附圖及具體實施例對本申請的技術方案做進一步的詳細闡述。
如第1圖所示，本實施例提供一種AR處理方法，應用於顯示終端中，包括：步驟S110：基於視頻流，顯示視頻；步驟S120：獲取所述視頻中目標物件的AR資訊； 步驟S130：跟蹤所述目標物件在當前顯示的所述視頻的當前圖像幀中的顯示位置；步驟S140：根據所述顯示位置，將所述AR資訊疊加到所述當前圖像幀中。
本實施例提供一種AR處理方法，為應用於顯示終端中的方法。這裡的顯示終端可為各種類型具有顯示幕的顯示終端，例如，手機、平板電腦或可穿戴式設備等人載顯示終端，還可以是各種具有顯示幕的車載設備。這裡的顯示幕可為液晶顯示幕、電子墨水顯示幕或投影顯示幕等各種顯示幕。
在步驟S110中顯示終端會基於視頻流顯示視頻。所述視頻流包括：具有顯示時序的多幀圖像的資料流程。在步驟S110中所述視頻流可為所述顯示終端當前採集形成的，也可以是從其他設備接收的，也可以是預先存儲在所述顯示終端內，可用于終端顯示形成視頻的資料流程。
在步驟S120中會獲取所述視頻中目標物件的AR資訊。這裡的AR資訊可包括：所述目標物件的標識資訊、類別資訊、各種屬性資訊及所述目標物件所在位置的位置資訊的一種或多種。在第4圖中標注有目標物件1和目標物件2；顯然目標物件1為人的圖形；目標物件2為車輛的圖形。在第5圖中顯示疊加顯示AR資訊的圖像；在第5圖所示的AR資訊中包括字樣：公車及明星A。疊加顯示的AR資訊都是鄰近對應的目標物件顯示的。例如，字樣“公車”鄰近當前圖像中的識別為公車的目標物件1的附近，從而減少了AR資訊遠遠偏離目標物件的現象。
所述標識資訊，可為目標物件對應的被採集物件的名稱或識 別序號等資訊。例如，在一個圖像中有一輛車的圖形物件，在本實施中所述AR資訊可包括的標識資訊，可為指示該車輛為：賓士車的文本資訊，則文本“賓士”即為所述標識資訊的一種。
所述類別資訊可為指代所述目標物件所歸屬的類別的資訊，例如，指示該車輛為公車的文本資訊，則文本“公車”可作為所述類別資訊的一種。
所述屬性資訊可表徵該目標物件各種屬性的資訊。例如，識別出目標物件為一個公車，並識別出該公車的公車號，則所述屬性資訊可包括：該公車的路線信息。所述公車號可為所述標識資訊的另一種示例。
所述位置資訊，可用於指示所述目標物件當前所處的大致位置，例如，若所述目標物件為車輛，則可通過圖像識別和/或定位，例如，全球衛星系統(GPS)定位等給出所述車輛當前位置資訊。例如，可以顯示出當前車輛位於北京市海澱區海澱南路等位置資訊。
在本實施例中所述AR資訊可為文本資訊、也可以為圖像資訊。總之，這裡的AR資訊可為疊加顯示在當前圖像中的資訊。
在本實施例中對所述待識別圖像的識別，可以由所述顯示終端基於本地的圖像識別庫中存儲的圖像與預定資訊的對應關係，進行本地識別，從而提取部分所述預定資訊作為所述AR資訊進行顯示。
目標物件可能在視頻的不同圖像幀中的顯示位置是不同的，在本實施例中會跟蹤目標物件在視頻各個圖像幀的位置，從而確定出目標物件在當前圖像幀的顯示位置。
在步驟S140中會根據確定的顯示位置，以方便將所述AR 資訊疊加顯示在目標物件上或目標物件的周圍，避免AR資訊疊加顯示位置不對導致的資訊偏移問題，從而可以提升用戶體驗。
在本實施例中步驟S140中會根據目標物件在當前圖像幀的顯示位置，進行AR資訊的顯示疊加，而非隨意的疊加。這裡的當前圖像幀為當前時刻顯示的圖像幀。
這裡的顯示位置可包括：目標物件在當前圖像幀中的座標等顯示位置指示資訊。
在步驟S140中會跟蹤各個目標物件在視頻流中各個圖像幀的顯示位置，方便將所述AR資訊疊加顯示在目標物件上或目標物件的周圍，避免AR資訊疊加顯示位置不對導致的資訊偏移問題，從而可以提升用戶體驗。
所述AR資訊可以疊加到視頻流的多幀圖像中，直至所述目標物件從所述視頻流的圖像幀中消失。但是每次疊加時都需要重新確定目標物件在當前圖像幀中的位置參數，從而實現AR資訊跟隨所述目標物件在圖像幀之間的位置切換而切換；避免目標物件自身在圖像幀的移動，與AR資訊的脫離的現象，以再次提升用戶體驗。
在一些實施例中，所述步驟S120可包括：會截取一幀或多幀滿足預設清晰條件的待識別圖像。
獲取基於一幀或多幀所述待識別圖像中所述目標物件的識別結果對應的AR資訊。
在本實施例中判斷一個圖像幀是否滿足所述預設清晰條件，可包括：提取對應圖像幀的輪廓資訊，若輪廓資訊提取成功，可認為 該圖像幀為滿足所述預設清晰條件的圖像。
在一些實施例中還可包括：計算圖像幀中各個像素點與其周圍的像素點的灰度差，或存在預設個像素點與其周圍的像素點的灰度差大於預設閾值，可認為該圖像幀可為滿足所述預設清晰條件的圖像幀。
在一些情況下，所述視頻流為從其他設備接收的，或者，預先存儲在所述顯示終端中的，所述視頻流的圖像幀分為關鍵幀和非關鍵幀，在本實施例中可以選擇一個或多個關鍵幀作為滿足所述預設清晰條件的待識別圖像。在本實施例中，所述非關鍵幀可為依賴關鍵幀的圖像資訊的顯示。所述關鍵幀的顯示，可以獨立顯示。
總之，確定視頻流中滿足預設清晰條件的方式有很多種，不局限於上述任意一種。
在一些實施例中還包括：將所述待識別圖像發送給網路側的服務平台，供服務平台進行識別。
在本實施例中進行圖像識別時，所述待識別圖像中任意一個圖形物件都可視為所述目標物件進行識別，也可以僅是部分圖像物件作為所述目標物件。
值得注意的在一些實施例中，所述步驟S120與步驟130之間沒有一定的先後順序，所述步驟S120可以在所述步驟S130後執行，也可以與所述步驟S130同步執行。
可選地，如第3圖所示，所述步驟S120可包括：步驟S122：將所述待識別圖像發送給服務平台，其中，所 述待識別圖像用於所述服務平台進行圖像識別，以獲得識別結果；步驟S123：接收所述服務平台基於所述識別結果返回的AR資訊。
在本實施例中所述服務平台可為有一台或多台伺服器形成的提供圖像識別的服務端。
在本實施例中所述顯示終端將待識別圖像發送給服務平台，即所述用戶端會從視頻流中截取一幀或多幀圖像，發送給服務平台，由服務平台進行圖像識別。在本實施例中所述服務平台的識別可為泛化識別。這裡的泛化識別為所述服務平台會對所述待識別圖像中任意一個可識別的圖形物件進行識別，從而實現待識別圖像中各個圖形物件的全面識別，從而盡可能多提供AR資訊。
由所述服務平台進行圖像識別，這樣可以減少顯示終端自身的負載量，減少對顯示終端的資源消耗和功耗。若所述顯示終端為移動顯示終端時，可以延長所述移動顯示終端待測待機時長。
在一些實施例中，所述步驟S120可包括：提取所述視頻流中至少部分圖像的圖像特徵；依據所述圖像特徵，確定所述待識別圖像是否滿足所述預設清晰條件。
在本實施例中所述圖像特徵可包括：待識別圖像中各個圖形物件的輪廓特徵、紋理特徵和/或灰度特徵等。這些圖像特徵都可為用於進行圖像識別的特徵。
所述輪廓特徵可包括某一個物體的圖像的外輪廓，和外輪廓 內的內輪廓等，這些輪廓描述的圖形物件的形狀、尺寸等資訊，方便在進行圖像識別時，通過與基準圖像的圖像匹配得到所述AR資訊。
所述紋理特徵可用於描述相鄰輪廓之間的灰度變化梯度，同樣可以用於圖像識別，可以用於反映目標物件的材質等資訊。
所述灰度特徵，可直接包括灰度值及灰度梯度，所述灰度值和灰度梯度，可用於提取所述輪廓特徵及所述紋理特徵等。
在一些實施例中，所述圖像特徵還包括：色彩特徵；所述色彩特徵可包括：顏色的色相、飽和度等參數。
總之，所述圖像特徵有多種，不局限於上述任意一種，例如，當所述待識別圖像為彩色圖像時，所述圖像特徵還可包括：指示各目標物件整體或局部顏色的色彩的特徵。
在一些實施例中，所述提取所述視頻流中至少部分圖像的圖像特徵，包括：提取所述視頻流中至少部分圖像的特徵點，其中，所述特徵點為第一灰度值的第一像素點；所述第一灰度值與第一像素點鄰近的第二像素點的第二灰度值的差異滿足預設差異條件；根據所述特徵點的數目，判斷滿足所述預設清晰條件的所述待識別圖像。
例如，第一像素點的第一灰度值為A1，所述第二像素點的第二灰度值為B1；滿足所述預設差異條件可包括：所述A1與所述B1差的絕對值不小於差異閾值。若第一灰度值和第二灰度值的灰度足夠大，則該像素點可為圖像物件的輪廓上的像素點，或高亮部分的高亮點，可作為識 別對應圖像物件的重要圖元。
在一些實施例中所述第二像素點可為所述第一像素點的鄰域內的像素點。
在一些實施例中，鄰域為以所述第一像素點為中心，向第一方向和第二方向分別延伸N個像素點形成的區域，位於該區域內的像素點，均可為所述鄰域。所述N可為正整數。所述第一方向可為垂直所述第二方向。
在一些實施例所述鄰域可為矩形區域，所述鄰域還可為所述第一像素點為中心的圓形區域，則位於所述圓形區域的像素點即為所述第二像素點。
若一個圖像幀出現很明顯的模糊現象，則在模糊區域內的各個像素點的灰度差會比較小，則出現的特徵點就會很少。
在本實施例中可以基於所述特徵點的數量，確定一個圖像幀是否滿足所述預設清晰條件。例如，當所述特徵點的數量大於數量閾值時，可認為對應的圖像幀滿足所述預設清晰條件。
在還有一些實施例中，所述方法還包括：基於所述特徵點的數量及特徵點的分佈，計算各個子區域特徵點的分佈密度，當一個圖像中存在M個子區域的分佈密度大於密度閾值時，則可認為該圖像幀為滿足所述預設清晰條件的圖像幀。
在一些實施例中，所述步驟S140可包括：定位所述視頻流中的前一圖像幀所述目標物件的第一位置參數； 基於所述第一位置參數，搜索所述目標物件在所述當前圖像幀中的第二位置參數。
在本實施例中為了減少定位各個目標物件的顯示位置，採用跟蹤的方式，基於目標物件在視頻流中相鄰兩個圖像幀中的移動的漸變性，結合在前一個圖像幀的第一位置參數，定位在當前圖像幀中的第二位置參數，這樣可以減少每一次對目標物件的定位都是在當前圖像幀中的整個畫面上，減少計算量。
例如，基於第一位置參數確定搜索所述目標物件的搜索範圍，而不用在整個當前圖像幀上搜索所述目標物件，從而減少搜索過程中的計算量。具體以第一位置參數在當前圖像幀對應的邊緣位置，向外擴展預設個圖元，作為所述搜索區域；然後通過將搜索區域與前一圖像幀中目標物件的圖像匹配，定位出所述目標物件在當前圖像幀中的第二位置參數。採用這種方式，若在當前搜索區域未搜索到所述目標物件之後，則再次擴大所述搜索區域或變更搜索區域，直至搜索到整個當前圖像幀為止，這樣的話，顯然一些位置移動緩慢的目標物件，可以很快的被定為出在當前圖像幀中的第二位置參數。
當然以上僅是一種基於第一位置參數確定第二位置參數的方式，但是不局限於上述方法。例如，所述步驟S142可包括：基於在前一圖像幀對所述目標物件的跟蹤，確定所述目標物件在當前幀中的基準點，其中，所述基準點為表徵所述目標物件在前一圖像幀的顯示位置的像素點；確定在當前圖像幀的各個特徵點相對於所述基準點的偏移 向量，其中，所述特徵點為第一灰度值的第一像素點；所述第一灰度值與第一像素點鄰近的第二像素點的第二灰度值的差異滿足預設差異條件；基於所述偏移向量，確定各個所述特徵點相對於所述基準點的均值偏移向量，其中，所述均值偏移向量包括：均值偏移方向和均值偏移量；基於所述基準點及所述均值偏移向量，定位所述目標物件對應的目標點；其中，所述目標點為下一圖像幀的基準點，且與所述第二位置參數相對應。
在本實施例中所述基準點可為所述目標物件在前一圖像幀中的中心位置，但是不局限於中心等。
在本實施例中首先會提取當前圖像幀中各個特徵點，這裡的特徵點同樣是為與其周圍的像素點的灰度差滿足預設條件的像素點。構建以所述基準點為向量起始位置的指向各個特徵點的偏移向量；獲取各個偏移向量的偏移量，然後求取這個偏移量的均值，得到所述均值偏移向量的均值偏移量；再結合各個偏移向量，進行方向的向量運算從而可確定出所述均值偏移向量對應的均值偏移方向。通常情況下，所述均值平移向量的偏移方向會指向特徵點密度高的位置。在本實施例中所述目標點的位置，則可為以所述基準點為起點的所述均值偏移向量的終點。所述目標點可作為所述第二位置參數的組成部分；在對下一圖像幀進行目標物件的跟蹤時，可以以當前圖像幀的目標點，作為下一個圖像幀的基準點；從而進行反復反覆運算跟蹤，這種定位目標物件在當前圖像幀的顯示位置的方式，具有計算量小及實現簡便的特點。
如第2圖所示，第2圖中每一個黑心實點表示一個特徵點，空心原點表示基準點；單線箭頭表示的偏移向量；空心箭頭表徵的為均值偏移向量，顯然均值偏移向量是從當前的基準點出發，指向特徵點分佈密度較高的區域；均值偏移向量的均值偏移量等於所有偏移向量的偏移量的均值。
在一些實施例中，所述目標物件為顯示在待識別圖像的焦點區域內的圖形物件。
每一幀圖像的採集都可以是由攝像頭基於特定的焦點位置進行，每一圖像幀都有其對應的焦點區域；通常位於焦點區域的圖像物件是最清晰的圖形物件，也同時是使用者重點關注的圖像物件，在本實施例中為了減少識別工作量，所述目標物件為至少部分位於所述焦點區域內的圖形物件。
在一些實施例中，所述方法還包括：在獲取所述AR資訊的過程中，在所述視頻的畫面上顯示獲取提示，其中，所述獲取提示，用於提示當前正在獲取所述AR資訊。
在一些情況下，若待識別圖像的識別需要消耗一些時間，為了避免用戶當前還未開始識別或識別出現故障，通過所述獲取提示的顯示，提示使用者當前處於AR資訊的獲取過程中。所述獲取提示可為文本資訊，也可以為圖像資訊。例如，可為顯示在所述當前圖像幀上的半透明蒙層等，以進一步提升用戶體驗。
以下結合上述任意一個實施例提供一個應用示例：如第3圖所示，本示例提供一種AR處理方法，可以應用手 機、智慧眼鏡等各種智慧終端機中，智慧終端機在採集視頻時，需要進行AR資訊疊加，以提升顯示效果，具體可包括：步驟S110：基於視頻流，顯示視頻；步驟S121：提取所述視頻流中滿足預設清晰條件的一幀或多幀待識別圖像；其中，所述待識別圖像中包括目標物件；步驟S122：將所述待識別圖像發送給服務平台；步驟S123：接收所述服務平台基於對所述待識別圖像的識別結果返回的AR資訊；步驟S131：跟蹤所述目標物件在各圖像幀的顯示位置，從而獲得所述目標物件在當前圖像幀的位置參數；步驟S141：根據所述位置參數，將所述AR資訊疊加顯示在所述當前圖像幀中。
第4圖中通過多個嵌套的虛線圓圈作為所述獲取提示。
如第6圖所示，本實施例提供一種擴增實境AR處理裝置，應用於顯示終端中，包括：顯示單元110，配置為基於視頻流，顯示視頻；獲取單元120，配置為獲取所述視頻中目標物件的AR資訊；跟蹤單元130，配置為跟蹤所述目標物件在當前顯示的所述視頻的當前圖像幀中的顯示位置；所述顯示單元110，還配置為根據所述顯示位置，將所述AR資訊疊加到所述當前圖像幀中。
本實施例提供的顯示終端可為各種包括顯示幕的終端，這裡 的顯示幕可為液晶顯示幕、電子墨水顯示幕或投影顯示幕等各種類型的顯示幕。
所述獲取單元120、獲取單元120及跟蹤單元130對應於終端中的處理器或處理電路。所述處理器可為中央處理器(CPU)、微處理器(MCU)、數位訊號處理器(DSP)、應用處理器(AP)或可程式設計陣列(PLC)等。所述處理器電路可為專用積體電路(ASIC)。所述處理器或處理電路，可通過可執行代碼的執行，實現上述操作。
總之，本實施例提供的裝置，在顯示終端進行AR顯示時，會跟蹤所述目標物件在視頻中各幀圖像中的顯示位置，從而確保AR資訊疊加顯示在對應的目標物件附件，從而減少目標物件A的AR資訊疊加到目標物件B的周圍的現象，減少AR資訊偏離目標物件的現象，提升使用者體驗。
可選地，所述獲取單元120，配置為提取所述視頻流中滿足預設清晰條件的一幀或多幀待識別圖像；獲取基於一幀或多幀所述待識別圖像中所述目標物件的識別結果對應的AR資訊。
所述獲取單元120，配置為將所述待識別圖像發送給服務平台，其中，所述待識別圖像用於所述服務平台進行圖像識別，以獲得識別結果；接收所述服務平台基於所述識別結果返回的AR資訊。
在本實施例中所述AR資訊來自於服務平台，所述服務平台可以通過資訊搜索，可向所述用戶端提供盡可能多的資訊，從而減少因為終端自身資訊存儲不夠的導致的AR資訊的不夠豐富或信息量小的問題。
可選地，所述獲取單元120，配置為提取所述視頻流中至少 部分圖像的圖像特徵；依據所述圖像特徵，確定所述待識別圖像是否滿足所述預設清晰條件。
在本實施例中所述獲取單元120，主要用於通過圖像特徵的提取，選擇一幀或多幀足夠清晰的圖像，發送給服務平台或自身進行識別，提升識別精確度和識別成功的概率。
可選地，所述獲取單元120，配置為提取所述視頻流中至少部分圖像的特徵點，其中，所述特徵點為第一灰度值的第一像素點；所述第一灰度值與第一像素點鄰近的第二像素點的第二灰度值的差異滿足預設差異條件；根據所述特徵點的數目，判斷滿足所述預設清晰條件的所述待識別圖像。
在本所實施例中通過特徵點的提取，來確定出滿足預設清晰條件的待識別圖像，例如，採用FAST特徵點的檢測。所述FAST可為Features from Accelerated Segment Test的縮寫。
在一些實施例中，所述跟蹤單元130，配置為定位所述視頻流中的前一圖像幀所述目標物件的第一位置參數；基於所述第一位置參數，搜索所述目標物件在所述當前圖像幀中的第二位置參數。
在本實施例中基於相鄰兩個圖像幀位置參數的關聯性，獲取目標物件在當前圖像幀中的第二位置參數，減少定位第二位置參數的計算量。
可選地，所述跟蹤單元130，配置為基於在前一圖像幀對所述目標物件的跟蹤，確定所述目標物件在當前幀中的基準點，其中，所述基準點為表徵所述目標物件在前一圖像幀的顯示位置的像素點；確定在當 前圖像幀的各個特徵點相對於所述基準點的偏移向量，其中，所述特徵點為第一灰度值的第一像素點；所述第一灰度值與第一像素點鄰近的第二像素點的第二灰度值的差異滿足預設差異條件；基於所述偏移向量，確定各個所述特徵點相對於所述基準點的均值偏移向量，其中，所述均值偏移向量包括：均值偏移方向和均值偏移量；基於所述基準點及所述均值偏移向量，定位所述目標物件對應的目標點；其中，所述目標點為下一圖像幀的基準點，且與所述第二位置參數相對應。
在本實施例中所述第一位置參數可包括前一圖像幀的目標點的座標；第二位置參數可為當前圖像幀的目標點的座標。通過均值偏移向量的確定，基於前一圖像幀的目標點，快速定位出當前圖像幀的目標點。
可選地，所述目標物件為顯示在待識別圖像的焦點區域內的圖形物件。這樣可以減少不必要圖形物件的識別和AR資訊的返回，減少不必要圖形資訊的顯示，減少對使用者的資訊干擾。
可選地，所述顯示單元110，還配置為在獲取所述AR資訊的過程中，在所述視頻的畫面上顯示獲取提示，其中，所述獲取提示，用於提示當前正在獲取所述AR資訊。
在本實施例中通過所述獲取提示的顯示，可以提示使用者當前正在獲取AR資訊，減少使用者在等待過程中的焦慮狀態，再次提升了使用者體驗。
如第7圖所示，本實施例提供一種顯示終端，包括：顯示器210，配置為資訊顯示；記憶體220，配置為存儲電腦程式； 處理器230，與所述顯示器及所述記憶體連接，配置為通過執行所述電腦程式，控制所述顯示終端執行前述任意一個實施例提供的AR處理方法，例如，如第1圖提供的所述AR處理方法等。
在本實施例中所述顯示器210可為各種類型的顯示器、液晶顯示器、投影顯示器或電子墨水顯示器等。
所述記憶體220可為各種類型的存儲介質，例如，隨機存儲介質、唯讀存儲介質、快閃記憶體或光碟等。在本實施例中所述記憶體220至少包括部分非瞬間存儲介質，這裡的非瞬間存儲介質，可用於存儲所述電腦程式。
所述處理器230可為CPU、MCU、DSP、AP或PLC或ASIC等各種處理器或處理電路，可通過電腦程式的執行，執行顯示器210在視頻的當前圖像幀上疊加顯示AR資訊。
如第7圖所示，所述終端顯示器210、記憶體220、處理器230均通過匯流排250連接，所述匯流排250可包括可如積體電路匯流排(IIC)匯流排或外設部件互連標準(PCI)匯流排等。
在一些實施例中所述用戶端還可包括網路介面240，該網路介面240可用於連接到網路側，與所述服務平台連接。
本實施例還提供一種電腦存儲介質，所述電腦存儲介質中存儲電腦程式；所述電腦程式，用於被處理器執行後能夠實現前述任意一個實施例提供的AR處理方法，例如，如第1圖所示的AR處理方法等。
所述電腦存儲介質可為各種類型的存儲介質，可選為非瞬間存儲介質。所述電腦存儲介質，可選為移動存放裝置、唯讀記憶體(ROM， Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)、磁碟或者光碟等各種可以存儲程式碼等介質。
以下結合上述任意實施例提供一個具體示例：如第8圖所示，本示例提供一種AR處理系統，包括：用戶端及伺服器端；所述用戶端，可為顯示AR資訊的所述終端；所述伺服器端，可為所述用戶端提供AR處理支援的網路側的服務平台。
所述用戶端，包括：內核模組，對應於作業系統的內核，可以用於進行後臺的資訊處理，例如，可通過與服務平台的交互，獲取AR資訊；AR引擎(SDK)，用於獲取目標物件的位置資訊，基於位置資訊將對應的位置參數發送給顯示幕；顯示幕，對應於顯示使用者介面，可以用於視頻顯示，基於ARSDK提供的位置參數，將從內核模組轉發的AR資訊，將AR資訊正確疊加到對應的目標物件附近。
所述伺服器端可包括：代理伺服器、識別伺服器及搜索伺服器；所述代理伺服器，用於與用戶端進行資訊交互，例如，接收用戶端發送的待識別圖像；所述識別伺服器與所述代理伺服器連接，用於接收代理伺服器轉發的待識別圖像，然後將識別結果給到搜索伺服器； 所述搜索伺服器與識別伺服器相連，用於基於搜索結果，查詢AR資訊，並將所述AR資訊通過代理伺服器發送給用戶端。
以下具體提供一種AR資訊在上述系統中的應用方法，包括：物體實景掃描跟蹤，是終端長傳即時圖片雲端識別後再有終端展示的過程。本示例中終端的後臺與雲端的識別伺服器、搜索伺服器和進行資訊整合的代理伺服器連接。終端包含ARSDK、終端與網路平台資料傳輸的資料傳輸單元和與使用者進行顯示交互的UI單元。具體流程如下
終端通過應用打開攝像頭，此時視頻流會由UI單元導入終端網路傳輸單元，網路傳輸單元通過FAST特徵點檢測，FAST特徵點的數量可以代表圖片中的物體是否具備足夠的識別條件，滿足特徵點要求的圖像是足夠預設清晰條件的圖像，那麼我們把此幀圖像傳入後臺代理伺服器。
後臺代理伺服器，收到終端上傳圖片，將此圖片發送給雲端識別伺服器，雲端識別伺服器會進行圖像泛化識別，出別出圖像中物體類別、位置、個數資訊，然後傳給後臺代理伺服器
後臺代理伺服器拿到圖像類別資訊之後，將資訊發送給諮詢搜索中心伺服器，去撈取此物體類別相關諮詢資訊，如果沒有相關資訊資訊那麼直接返回空。此時代理伺服器在將圖像的資訊和諮詢資訊發送給終端。這裡的相關資訊資訊為前述的AR資訊的一種。
終端有模組接收，如果次數將資訊直接傳給UI繪製，那麼由於網路傳輸和識別耗時，此時當前的物體運動可能發生變化，如果還按照上傳那幀畫面的位置繪製，很可能出現繪製偏移。所以，此時資料傳輸 模組並不是將資訊塞給UI，而是發給ARSDK去獲取位置的更新。
ARSDK將傳輸模組的圖像幀數據傳給本地跟隨模組，本地跟隨模組使用均值漂移演算法，先算出第一幀畫面特徵點點的偏移均值，然後以此為新的起始點，再次查處找下一幀圖像對應特徵點移動位置，可以一直跟隨圖像中物體，可以即時獲取物體的位置資訊，此時收到內核傳來的物體，便可以將此物體的最新位置傳給內核模組。
內核更新到了物體最新位置資訊，將諮詢資訊、類別資訊和位置資訊一同傳給UI單元，UI單元收到相關資訊之後，邊可以在螢幕上繪製標識了。而且位置會準確無誤。
具體如第8圖所示，所述AR資訊處理方法可包括：步驟1：顯示幕向內核模組提供視頻流；步驟2：內核模組向代理伺服器提供待識別圖像；步驟3：代理伺服器向識別伺服器提供待識別圖像；步驟4：識別伺服器將識別結果給到代理伺服器，在一些實施例中所述識別伺服器可以直接向搜索伺服器回饋所述識別結果；步驟5：代理伺服器將識別結果發送給搜索伺服器；步驟6：搜索伺服器將基於識別結果搜索到的AR資訊返回給代理伺服器；步驟7：代理伺服器將AR資訊轉發給用戶端的內核模組；步驟8：內核模組向ARSDK獲取新的位置參數；這裡的位置參數為目標物件在當前圖像幀中的位置參數；步驟9：ARSDK將更新的位置參數發送給內核模組； 步驟10：內核模組將AR資訊和更新後的位置參數返回給顯示幕，可顯示幕在顯示視頻的同時，在目標物件的附近疊加顯示AR資訊。
在本申請所提供的幾個實施例中，應該理解到，所揭露的設備和方法，可以通過其它的方式實現。以上所描述的設備實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，如：多個單元或元件可以結合，或可以集成到另一個系統，或一些特徵可以忽略，或不執行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些介面，設備或單元的間接耦合或通信連接，可以是電性的、機械的或其它形式的。
上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可以不是物理單元，即可以位於一個地方，也可以分佈到多個網路單元上；可以根據實際的需要選擇其中的部分或全部單元來實現本實施例方案的目的。
另外，在本申請各實施例中的各功能單元可以全部集成在一個處理模組中，也可以是各單元分別單獨作為一個單元，也可以兩個或兩個以上單元集成在一個單元中；上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能單元的形式實現。
以上所述，僅為本申請的具體實施方式，但本申請的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本申請揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本申請的保護範圍之內。因此，本申請的保護範圍應以所述權利要求的保護範圍為准。
工業實用性
本申請實施例中在顯示視頻流的時候，一邊保持視頻流的繼續顯示，一邊提取視中目標物件的AR資訊，並在視頻顯示的同時跟蹤目標物件在視頻中的位置，將AR資訊會根據目標物件在視頻中的更新後的位置附近，這樣的話，不用中止視頻的顯示來確保AR資訊的疊加位置正確，同時也可以避免在視頻繼續顯示導致的目標物件的位置變化導致的疊加不正確，從而具有積極的工業效果，且實現簡便，在工業上的可實現性強。

Claims (17)

  1. 一種擴增實境AR處理方法，應用於顯示終端中，包括：基於視頻流，顯示視頻；提取所述視頻流中至少部分圖像的特徵點，其中，所述特徵點為第一灰度值的第一像素點；所述第一灰度值與所述第一像素點鄰近的第二像素點的第二灰度值的差異滿足預設差異條件；根據所述特徵點的數目，判斷滿足預設清晰條件的一幀或多幀待識別圖像；獲取基於一幀或多幀所述待識別圖像中目標物件的識別結果對應的AR資訊；跟蹤所述目標物件在當前顯示的所述視頻的當前圖像幀中的顯示位置；以及根據所述顯示位置，將所述AR資訊添加到所述當前圖像幀中。
  2. 根據申請專利範圍第1項所述之方法，其中，所述獲取基於一幀或多幀所述待識別圖像中目標物件的識別結果對應的AR資訊，包括：將所述待識別圖像發送給服務平台，其中，所述待識別圖像用於在所述服務平台進行圖像識別，以獲得識別結果；接收所述服務平台基於所述識別結果返回的AR資訊。
  3. 根據申請專利範圍第1至2項任一項所述之方法，其中， 所述跟蹤所述目標物件在當前顯示的所述視頻的當前圖像幀中的顯示位置，包括：跟蹤所述目標物件在所述視頻中各圖像幀的顯示位置，從而獲得所述目標物件在當前顯示的當前圖像幀的位置參數；所述根據所述顯示位置，將所述AR資訊疊加到視頻的圖像幀中，包括：根據所述位置參數，將所述AR資訊疊加在所述當前圖像幀中與所述位置參數對應的位置。
  4. 根據申請專利範圍第3項所述之方法，其中，所述跟蹤所述目標物件在所述視頻中各圖像幀的顯示位置，從而獲得所述目標物件在當前顯示的當前圖像幀的位置參數，包括：定位所述視頻流中的前一圖像幀所述目標物件的第一位置參數；基於所述第一位置參數，搜索所述目標物件在所述當前圖像幀中的第二位置參數。
  5. 根據申請專利範圍第4項所述之方法，其中，所述基於所述第一位置參數，搜索所述目標物件在所述當前圖像幀中的第二位置參數，包括：基於在前一圖像幀對所述目標物件的跟蹤，確定所述目標物件在當前幀中的基準點，其中，所述基準點為表徵所述目標物件在前一圖像幀的顯示位置的像素點；確定在當前圖像幀的各個特徵點相對於所述基準點的偏移向量，其中，所述特徵點為第一灰度值的第一像素點；所述第一灰度值與第一像素點鄰近的第二像素點的第二灰度值的差異滿足預設差異條件； 基於所述偏移向量，確定各個所述特徵點相對於所述基準點的均值偏移向量，其中，所述均值偏移向量包括：均值偏移方向和均值偏移量；基於所述基準點及所述均值偏移向量，定位所述目標物件對應的目標點；其中，所述目標點為下一圖像幀的基準點，且與所述第二位置參數相對應。
  6. 根據申請專利範圍第1至2項任一項所述之方法，其中，所述目標物件為顯示在待識別圖像的焦點區域內的圖形物件。
  7. 根據申請專利範圍第1至2項任一項所述之方法，還包括：在獲取所述AR資訊的過程中，在所述視頻的畫面上提示當前正在獲取所述AR資訊。
  8. 一種擴增實境AR處理裝置，其中，應用於顯示終端中，包括：顯示單元，配置為基於視頻流，顯示視頻；獲取單元，配置為提取所述視頻流中至少部分圖像的特徵點，其中，所述特徵點為第一灰度值的第一像素點；所述第一灰度值與所述第一像素點鄰近的第二像素點的第二灰度值的差異滿足預設差異條件；根據所述特徵點的數目，判斷滿足預設清晰條件的一幀或多幀待識別圖像；及獲取基於一幀或多幀所述待識別圖像中目標物件的識別結果對應的AR資訊；跟蹤單元，配置為跟蹤所述目標物件在當前顯示的所述視頻的當前圖像幀中的顯示位置；所述顯示單元，還配置為根據所述顯示位置，將所述AR資訊疊加到所述當前圖像幀中。
  9. 根據申請專利範圍第8項所述之裝置，其中，所述獲取單元，配置為將所述待識別圖像發送給服務平台，其中，所述待識別圖像用於所述服務平台進行圖像識別，以獲得識別結果；接收所述服務平台基於所述識別結果返回的AR資訊。
  10. 根據申請專利範圍第8至9項任一項所述之裝置，其中，所述跟蹤單元，配置為跟蹤所述目標物件在所述視頻中各圖像幀的顯示位置，從而獲得所述目標物件在當前顯示的當前圖像幀的位置參數；所述顯示單元，具體用於根據所述位置參數，將所述AR資訊疊加顯示在所述當前圖像幀中。
  11. 根據申請專利範圍第10項所述之裝置，其中，所述跟蹤單元，配置為基於在前一圖像幀對所述目標物件的跟蹤，確定所述目標物件在當前幀中的基準點，其中，所述基準點為表徵所述目標物件在前一圖像幀的顯示位置的像素點；確定在當前圖像幀的各個特徵點相對於所述基準點的偏移向量，其中，所述特徵點為第一灰度值的第一像素點；所述第一灰度值與第一像素點鄰近的第二像素點的第二灰度值的差異滿足預設差異條件；基於所述偏移向量，確定各個所述特徵點相對於所述基準點的均值偏移向量，其中，所述均值偏移向量包括：均值偏移方向和均值偏移量；基於所述基準點及所述均值偏移向量，定位所述目標物件對應的目標點；其中，所述目標點為下一圖像幀的基準點，且與所述第二位置參數相對應。
  12. 根據申請專利範圍第8至9項任一項所述之裝置，其中，所述目標物件為顯示在待識別圖像的焦點區域內的圖形物件。
  13. 根據申請專利範圍第8至9項任一項所述之裝置，其中，所述顯示單元，還配置為在獲取所述AR資訊的過程中，在所述視頻的畫面上顯示獲取提示，其中，所述獲取提示，用於提示當前正在獲取所述AR資訊。
  14. 一種顯示終端，包括：顯示器，配置為資訊顯示；記憶體，配置為存儲電腦程式；處理器，與所述顯示器及所述記憶體連接，配置為通過執行所述電腦程式，控制所述顯示終端執行申請專利範圍第1至7任一項所述的AR處理方法。
  15. 一種電腦存儲介質，所述電腦存儲介質中存儲電腦程式；所述電腦程式，用於被處理器執行後能夠實現申請專利範圍第1至7任一項所述的AR處理方法。
  16. 一種資訊顯示方法，用於在顯示裝置上即時顯示目標物件的擴增實境資訊，該方法包括：獲取目標物件的視頻流；接收視頻流中目標物件的擴增實境資訊；根據均值漂移演算法跟蹤所述目標物件在所述視頻流中各圖像幀的位置資訊，獲得所述目標物件在當前顯示的當前圖像幀的位置參數；定位所述視頻流中的前一圖像幀所述目標物件的第一位置參數；基於所述第一位置參數，獲取所述目標物件在所述當前圖像幀中的第二位置參數；以及 根據所述第一位置參數和所述第二位置參數，將所述擴增實境資訊添加到所述當前圖像幀中。
  17. 根據申請專利範圍第16項所述之方法，其中，所述基於所述第一位置參數，獲取所述目標物件在所述當前圖像幀中的第二位置參數，包括：基於在前一圖像幀對所述目標物件的跟蹤，確定所述目標物件在當前圖像幀中的基準點，其中，所述基準點為表徵所述目標物件在前一圖像幀的顯示位置的像素點；確定在當前圖像幀的各個特徵點相對於所述基準點的偏移向量，其中，所述特徵點為滿足第一灰度值的第一像素點，且所述第一灰度值與第一像素點鄰近的第二像素點的第二灰度值的差異滿足預設差異條件；基於所述偏移向量，確定各個所述特徵點相對於所述基準點的均值偏移向量，其中，所述均值偏移向量至少包括：均值偏移方向和均值偏移量；基於所述基準點及所述均值偏移向量，定位所述目標物件對應的目標點；其中，所述目標點為下一圖像幀的基準點，且與所述第二位置參數相對應。
TW107111026A 2017-05-15 2018-03-29 擴增實境處理方法及裝置、顯示終端及電腦存儲介質 TWI669956B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710340898.0A CN108875460B (zh) 2017-05-15 2017-05-15 增强现实处理方法及装置、显示终端及计算机存储介质
??201710340898.0 2017-05-15

Publications (2)

Publication Number Publication Date
TW201902225A TW201902225A (zh) 2019-01-01
TWI669956B true TWI669956B (zh) 2019-08-21

Family

ID=64273268

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107111026A TWI669956B (zh) 2017-05-15 2018-03-29 擴增實境處理方法及裝置、顯示終端及電腦存儲介質

Country Status (3)

Country Link
CN (1) CN108875460B (zh)
TW (1) TWI669956B (zh)
WO (1) WO2018210055A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113386785B (zh) * 2019-07-03 2022-11-22 北京百度网讯科技有限公司 用于显示增强现实警示信息的方法和装置
CN110619266B (zh) * 2019-08-02 2024-01-19 青岛海尔智能技术研发有限公司 目标物识别方法、装置和冰箱
CN112445318A (zh) * 2019-08-30 2021-03-05 龙芯中科技术股份有限公司 一种对象显示方法、装置、电子设备及存储介质
CN110784733B (zh) * 2019-11-07 2021-06-25 广州虎牙科技有限公司 直播数据处理方法、装置、电子设备及可读存储介质
CN110856005B (zh) * 2019-11-07 2021-09-21 广州虎牙科技有限公司 直播流显示方法、装置、电子设备及可读存储介质
CN111583329B (zh) * 2020-04-09 2023-08-04 深圳奇迹智慧网络有限公司 增强现实眼镜显示方法、装置、电子设备和存储介质
CN112017300A (zh) * 2020-07-22 2020-12-01 青岛小鸟看看科技有限公司 混合现实图像的处理方法、装置及设备
CN112328628A (zh) * 2020-11-10 2021-02-05 山东爱城市网信息技术有限公司 基于ar技术的公交实时查询方法及系统
CN112583976B (zh) * 2020-12-29 2022-02-18 咪咕文化科技有限公司 图形码显示方法、设备及可读存储介质
CN112734938A (zh) * 2021-01-12 2021-04-30 北京爱笔科技有限公司 行人位置预测方法、装置、计算机设备和存储介质
CN113038001A (zh) * 2021-02-26 2021-06-25 维沃移动通信有限公司 显示方法、装置及电子设备
CN113596350B (zh) * 2021-07-27 2023-11-17 深圳传音控股股份有限公司 图像处理方法、移动终端及可读存储介质
CN114415839A (zh) * 2022-01-27 2022-04-29 歌尔科技有限公司 一种信息显示方法、装置、设备及存储介质
CN115361576A (zh) * 2022-07-20 2022-11-18 中国电信股份有限公司 视频数据处理方法、装置，以及，电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104823152A (zh) * 2012-12-19 2015-08-05 高通股份有限公司 使用视线追踪实现扩增实境
CN106371585A (zh) * 2016-08-23 2017-02-01 塔普翊海（上海）智能科技有限公司 扩增实境系统及其方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750017A (zh) * 2010-01-18 2010-06-23 战强 大视场中多移动目标位姿的视觉检测方法
CN101807300B (zh) * 2010-03-05 2012-07-25 北京智安邦科技有限公司 一种目标碎片区域融合的方法及装置
ES2745739T3 (es) * 2010-09-20 2020-03-03 Qualcomm Inc Un entorno adaptable para realidad aumentada asistida por la nube
KR101338818B1 (ko) * 2010-11-29 2013-12-06 주식회사 팬택 이동 단말기 및 이를 이용한 정보 표시 방법
WO2014047876A1 (en) * 2012-09-28 2014-04-03 Intel Corporation Determination of augmented reality information
WO2014162825A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
CN103426184B (zh) * 2013-08-01 2016-08-10 华为技术有限公司 一种光流跟踪方法和装置
KR102114618B1 (ko) * 2014-01-16 2020-05-25 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
CN104936034B (zh) * 2015-06-11 2019-07-05 三星电子（中国）研发中心 基于视频的信息录入方法及装置
CN105654512B (zh) * 2015-12-29 2018-12-07 深圳微服机器人科技有限公司 一种目标跟踪方法和装置
CN107682688B (zh) * 2015-12-30 2020-02-07 视辰信息科技(上海)有限公司 基于增强现实的视频实时录制方法及录制设备
CN105760826B (zh) * 2016-02-03 2020-11-13 歌尔股份有限公司 一种人脸跟踪方法、装置和智能终端
CN105760849B (zh) * 2016-03-09 2019-01-29 北京工业大学 基于视频的目标对象行为数据获取方法及装置
CN106056046B (zh) * 2016-05-20 2019-01-18 北京集创北方科技股份有限公司 从图像中提取特征的方法和装置
CN106454350A (zh) * 2016-06-28 2017-02-22 中国人民解放军陆军军官学院 一种用于红外图像的无参考评价方法
CN106250938B (zh) * 2016-07-19 2021-09-10 易视腾科技股份有限公司 目标跟踪方法、增强现实方法及其装置
CN106650965B (zh) * 2016-12-30 2020-11-06 触景无限科技（北京）有限公司 一种远程视频处理方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104823152A (zh) * 2012-12-19 2015-08-05 高通股份有限公司 使用视线追踪实现扩增实境
CN106371585A (zh) * 2016-08-23 2017-02-01 塔普翊海（上海）智能科技有限公司 扩增实境系统及其方法

Also Published As

Publication number Publication date
CN108875460A (zh) 2018-11-23
CN108875460B (zh) 2023-06-20
TW201902225A (zh) 2019-01-01
WO2018210055A1 (zh) 2018-11-22

Similar Documents

Publication Publication Date Title
TWI669956B (zh) 擴增實境處理方法及裝置、顯示終端及電腦存儲介質
US11079841B2 (en) Enabling augmented reality using eye gaze tracking
KR101259957B1 (ko) 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법
EP2852933B1 (en) Image-driven view management for annotations
Grasset et al. Image-driven view management for augmented reality browsers
US10122888B2 (en) Information processing system, terminal device and method of controlling display of secure data using augmented reality
JP5480777B2 (ja) オブジェクト表示装置及びオブジェクト表示方法
US9418292B2 (en) Methods, apparatuses, and computer program products for restricting overlay of an augmentation
CN109583391B (zh) 关键点检测方法、装置、设备及可读介质
CA2898668A1 (en) Realization method and device for two-dimensional code augmented reality
JP2013025329A (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
CN106792153B (zh) 一种视频标识处理方法、装置和计算机可读存储介质
CN112182299A (zh) 一种视频中精彩片段的获取方法、装置、设备和介质
EP3159829A1 (en) Methods of detecting and managing a fiducial marker displayed on a display device
JP2016061885A (ja) 広告表示装置、広告表示方法、及び広告表示プログラム
CN110689014B (zh) 感兴趣区域的检测方法、装置、电子设备及可读存储介质
CN115170400A (zh) 一种视频修复的方法、相关装置、设备以及存储介质
JP2013210793A (ja) Ａｒ表示最適化のためのシステム、方法、およびプログラム
CN102609958A (zh) 视频对象提取的方法及设备
KR101915578B1 (ko) 시점 기반 오브젝트 피킹 시스템 및 그 방법
CN113784067B (zh) 字符叠加方法及装置、存储介质、电子装置
CN115439660A (zh) 一种检测方法、装置、电子设备及介质
JP2018151829A (ja) プログラム、情報端末、情報表示方法及び情報表示システム
JP5650060B2 (ja) 画像追跡装置及び画像追跡方法
CN112634460B (zh) 基于Haar-like特征的户外全景图生成方法及装置