TWI587205B - Method and system of three - dimensional interaction based on identification code - Google Patents

Method and system of three - dimensional interaction based on identification code Download PDF

Info

Publication number
TWI587205B
TWI587205B TW102126657A TW102126657A TWI587205B TW I587205 B TWI587205 B TW I587205B TW 102126657 A TW102126657 A TW 102126657A TW 102126657 A TW102126657 A TW 102126657A TW I587205 B TWI587205 B TW I587205B
Authority
TW
Taiwan
Prior art keywords
image
identification code
reference image
obtaining
matching
Prior art date
Application number
TW102126657A
Other languages
English (en)
Other versions
TW201432548A (zh
Inventor
Shi-Qi Zhou
ru-feng Chu
Lun Zhang
Original Assignee
Alibaba Group Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Services Ltd filed Critical Alibaba Group Services Ltd
Publication of TW201432548A publication Critical patent/TW201432548A/zh
Application granted granted Critical
Publication of TWI587205B publication Critical patent/TWI587205B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1456—Methods for optical code recognition including a method step for retrieval of the optical code determining the orientation of the optical code with respect to the reader and correcting therefore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

基於識別碼的三維交互的方法和系統
本發明係關於影像處理，尤其係關於一種可攝像設備的資訊處理的方法和系統。
隨著人們對交互體驗的要求的不斷增加，增強現實應用已經獲得了非常迅猛的發展。三維註冊是增強現實系統中最基礎最重要的技術之一。三維註冊即計算出世界坐標系與螢幕坐標系的轉化關係，然後由此計算出當前可攝像設備的位置和姿態，進而利用此資訊將虛擬物體和真實場景結合在一起。
已有方法有：1、利用sift(Scale Invariant Feature Transform，尺度不變特徵轉換)，surf(Speed Up Robust Feature，加速穩健特徵)方法對特徵點進行匹配，但是此類方法計算量比較大；2、利用random ferns(隨機蕨類算法)等的模型的方法，但是這類方法佔用記憶體空間比較大。
對於增強現實註冊的研究，如中國專利：“一種基於標誌點的增強現實三維註冊方法和系統”，申請號 20071011266.6，此發明將生成的人肉眼不可見的光標誌點投影到現實環境的承載面上，然後採用具有不可見光濾光片的攝像機對投影在承載面上的不可見光標誌點進行拍攝，獲取不可見光標誌點在螢幕中的二維座標資料從而進行註冊，此發明對硬體要求比較高。
又如“基於雲端計算的自然特徵註冊方法”，申請號201110180881.6，此發明首先提取參考影像的自然特徵點集，在註冊過程中提取從影像獲取設備不斷得到的影像關鍵幀的自然特徵點，然後通過基於雲端計算的自然特徵點匹配，根據匹配結果計算出攝像機的位置和角度，進而進行三維註冊。此發明需要後臺的伺服器，而且對網路通信要求比較高。
另外，基於自然圖片(例如商標)的三維人機交互，在設備計算能力有限時只能識別少數幾種商品；或者需要網路和後臺伺服器配合來達到識別多種商品的目的。
另一方面，識別碼(例如：二維碼)圖案簡單、易於識別，並且標準統一，可以對應多種商品，而且計算相對簡單，比較容易在手機等移動設備上實現。傳統的識別碼，例如二維碼在手機等移動設備上的應用，用戶通過手機網路攝影機掃描二維碼或輸入二維碼下面的號碼、關鍵字即可實現快速手機上網，快速便捷地流覽網頁、下載圖文、音樂、視頻、獲取優惠券、參與抽獎、瞭解企業產品資訊，而省去了在手機上輸入URL的繁瑣過程，實現一鍵上網。同時，還可以方便地用手機識別和儲存名片、自 動輸入簡訊，獲取公共服務(如天氣預報)，實現電子地圖查詢定位、手機閱讀等多種功能。傳統的識別碼的應用只是利用二維碼讀取一定的資訊，然後利用讀取的資訊打開額外鏈結等。
本發明的主要目的在於提供一種在進行三維的交互過程中，獲得預測影像的預測單應矩陣，並將所述預測單應矩陣應用於特徵點匹配，並獲得從參考影像至當前影像的單應矩陣，然後以參考影像至當前影像的單應矩陣獲得可攝像設備位置或姿態的方法，以及以此進行三維交互的方法。上述方法可解決現有技術存在的在三維交互中的計算量過大，或佔用記憶體過多，或對硬體、網路有較高要求以至於較難應用在可移動攝像設備中的問題。
進一步，在上述發明的應用前提下，本發明又提供一種利用識別碼進行三維交互的方法，可以以更快的速度進行三維交互，並同時獲得物品的資訊以進行進一步的其他應用，可實現多目標識別。
根據本發明的一個方式，提供一種基於識別碼的三維交互的方法，包括：獲得可攝像設備拍攝的包含識別碼實物的影像，識別識別碼並獲得識別碼所對應的物品資訊；獲取與所述識別碼相關的參考影像以及所述參考影像的特徵點；基於所述參考影像和所述特徵點，計算並獲得可攝像設備相對於識 別碼實物的位置和/或姿態資訊；以及基於所述可攝像設備相對於識別碼實物的位置和/或姿態與所述識別碼對應的物品資訊，進行三維交互。
根據本發明的實施例，在該方法中，所述物品資訊可以包括透過識別識別碼得到的基本資訊。
根據本發明的實施例，在該方法中，所述物品資訊包括依據所述基本資訊透過本地資料庫或網路獲得進一步的用於交互的目標資料，所述目標資料中包括所述物品資訊對應的三維影像。
根據本發明的實施例，在該方法中，所述三維交互可以包括：基於由物品資訊獲得物品的三維影像，將所述三維影像疊加到可攝像設備拍攝的當前影像中的識別碼上或識別碼所在的物品位置上。
根據本發明的實施例，在該方法中，所述三維交互可以包括：連續獲得可攝像設備相對於識別碼實物的位置和姿態，從而獲得可攝像設備與識別碼或識別碼所在實物的相對移動速度或加速度或兩者，以預定方式將所述移動速度或加速度或兩者傳遞到用戶介面。
根據本發明的實施例，在該方法中，獲取與所述識別碼相關的參考影像以及該參考影像的特徵點可以包括：獲得利用可攝像設備獲取的畫面中含有識別碼實物的初始影像，基於初始影像獲得參考影像，利用特徵點檢測算法對參考影像進行計算，獲得參考影像中的特徵點及其位置。
根據本發明的實施例，在該方法中，基於所述初始影 像獲得參考影像可以包括：將所述初始影像作為參考影像，或者基於所述物品資訊按照識別碼生成算法生成一幅標準識別碼，將所述標準識別碼作為參考影像。
根據本發明的實施例，在該方法中，獲得可攝像設備相對於識別碼實物的位置和/或姿態資訊可以包括：獲得可攝像設備拍攝的包含識別碼實物的當前影像；基於所述參考影像和當前影像，獲得從參考影像至當前影像的單應矩陣；以及基於所述單應矩陣，獲得可攝像設備相對於識別碼實物的位置和/或姿態資訊。
根據本發明的實施例，在該方法中，基於所述參考影像和當前影像，獲得從參考影像至當前影像單應矩陣可以包括：獲得識別碼在初始影像中4個頂點的位置；以參考影像的4個頂點與初始影像中識別碼的4個頂點構成匹配點對；以及基於匹配點對獲得從參考影像變換到當前影像的單應矩陣。
根據本發明的實施例，在該方法中，基於所述參考影像和當前影像、獲得從參考影像至當前影像的單應矩陣可以包括：利用特徵點匹配算法獲得參考影像的特徵點在當前影像中的匹配點；利用參考影像中的特徵點和所述當前影像中的匹配點構成匹配點對；以及以所述匹配點對獲得從參考影像至到當前影像的單應矩陣。
根據本發明的實施例，在該方法中，利用特徵點匹配算法獲得參考影像的特徵點在當前影像中的匹配點，可以包括：獲得預測影像，其中所述預測影像是基於當前影像 之前已經獲取的影像利用預定算法計算獲得的用於預測當前影像的影像；計算獲得參考影像中的特徵點在預測影像中的預測位置；以及以參考影像中的特徵點在預測影像中的預測位置在當前影像中找到相應預定位置；在所述各參考影像中的特徵點在預測影像中的預測位置的周圍以預定的大小和形狀截取預測影像的一部分作為每個特徵點的相應的預定影像匹配塊；以及在當前影像各預定位置的周圍，在預先設定的範圍內，以預定的影像匹配塊為標準，利用第二類特徵點匹配算法獲得參考影像的特徵點在當前影像中的匹配點。
根據本發明的實施例，在該方法中，可以以如下方式獲得預測影像及參考影像中的特徵點在預測影像中的預測位置：獲得可攝像設備拍攝的含有識別碼實物的第一影像A，獲得可攝像設備拍攝的含有識別碼實物的第二影像B，所述第一影像A，第二影像B為在當前影像之前獲取的影像，利用參考影像、第一影像A、第二影像B獲得參考影像至第二影像B的單應矩陣、第一影像A至第二影像B的單應矩陣，計算預測影像的預測單應矩陣，以預測單應矩陣P對參考影像進行變換，獲得預測影像，以預測單應矩陣P對參考影像中的特徵點的位置進行變換，獲得參考影像中的特徵點在預測影像中的預測位置。
根據本發明的實施例，在該方法中，所述第二影像B可以為當前影像的前一幀影像，所述第一影像A可以為當 前影像的前兩幀影像。
根據本發明的另一個方式，提供一種基於識別碼的三維交互的系統，包括：識別碼獲取與識別模組，用於獲得可攝像設備拍攝的包含識別碼實物的影像，識別識別碼並獲得識別碼所對應的物品資訊；參考影像獲取模組，用於獲取與所述識別碼相關的參考影像以及該參考影像的特徵點；位置與姿態獲取模組，用於基於所述參考影像和所述特徵點，計算並獲得可攝像設備相對於識別碼實物的位置和/或姿態資訊；以及交互模組，用於基於所述可攝像設備相對於識別碼實物的位置和/或姿態與所述識別碼對應的物品資訊，進行三維交互。
根據本發明的實施例，在所述系統中，所述交互模組可以進一步被配置成：基於由物品資訊獲得物品的三維影像，將所述三維影像疊加到可攝像設備拍攝的當前影像中的識別碼上或識別碼所在的物品位置上。
根據本發明的實施例，在所述系統中，所述交互模組可以進一步被配置成包括：連續獲得可攝像設備相對於識別碼實物的位置和姿態，從而獲得可攝像設備與識別碼或識別碼所在實物的相對移動速度或加速度或兩者，以預定方式將所述移動速度或加速度或兩者傳遞到用戶介面。
根據本發明的實施例，在所述系統中，參考影像獲取模組可以被配置成：獲得利用可攝像設備獲取的畫面中含有識別碼實物的初始影像，基於初始影像獲得參考影像； 以及利用特徵點檢測算法對參考影像進行計算，獲得參考影像中的特徵點及其位置。
根據本發明的實施例，在所述系統中，位置與姿態獲取模組可以被配置成：獲得可攝像設備拍攝的包含識別碼實物的當前影像；基於所述參考影像和當前影像，獲得從參考影像至當前影像的單應矩陣；以及基於所述單應矩陣，獲得可攝像設備相對於識別碼實物的位置和/或姿態資訊。
根據本發明的實施例，在所述系統中，基於所述參考影像和當前影像，獲得從參考影像至當前影像單應矩陣可以包括：獲得識別碼在初始影像中4個頂點的位置；以參考影像的4個頂點與初始影像中識別碼的4個頂點構成匹配點對；以及基於匹配點對獲得從參考影像變換到當前影像的單應矩陣。
根據本發明的實施例，在所述系統中，基於所述參考影像和當前影像、獲得從參考影像至當前影像的單應矩陣可以包括：利用特徵點匹配算法獲得參考影像的特徵點在當前影像中的匹配點；利用參考影像中的特徵點和所述當前影像中的匹配點構成匹配點對；以及以所述匹配點對獲得從參考影像至到當前影像的單應矩陣。
根據本發明的另一個方式，提供一種利用參考影像獲得預測影像的預測單應矩陣的方法，包括以下步驟： 獲取一張參考影像S；獲得利用可攝像設備獲取的含有參考影像實物的第一影像A，獲得利用可攝像設備獲取 的含有參考影像實物的第二影像B，利用參考影像S、第一影像A、第二影像B獲得參考影像S至第二影像B的單應矩陣，並獲得第一影像A至第二影像B的單應矩陣，計算預測影像的預測單應矩陣。
根據本發明的實施例，在該方法中，可以採用如下步驟獲得單應矩陣：利用特徵點檢測算法對參考影像S進行計算，獲得參考影像S中的特徵點及其位置；利用特徵點檢測算法對第二影像B進行計算，獲得第二影像B中的特徵點及其位置；利用特徵點匹配算法獲得參考影像S的特徵點在第二影像B中的匹配點及其位置；利用參考影像的特徵點和第二影像B中的匹配點構成匹配點對；基於所述匹配點對，獲得參考影像至第二影像的單應矩陣。
根據本發明的實施例，在該方法中，可以採用如下方式獲得第一影像至第二影像的單應矩陣：利用特徵點檢測算法對參考影像S進行計算，獲得參考影像S中的特徵點及其位置；利用特徵點檢測算法對第一影像A進行計算，獲得第一影像A中的特徵點及其位置；利用特徵點匹配算法獲得參考影像S的特徵點在第一影像A中的匹配點及其位置；利用參考影像的特徵點和第一影像A中的匹配點構成匹配點對；基於所述匹配點對，獲得參考影像至第一影像A的單應矩陣；獲得第一影像A至第二影像B的單應矩陣。
根據本發明的實施例，在該方法中，可以在利用參考影像的特徵點和第二影像B中的匹配點構成的步驟中採用 Prosac算法或Ransac算法排除誤匹配點對，並基於經過排除處理的匹配點對，獲得參考影像至第二影像的單應矩陣。
根據本發明的實施例，在該方法中，可以在利用參考影像的特徵點和第一影像A中的匹配點構成匹配點對的步驟中採用Prosac算法或Ransac算法排除誤匹配點對，並基於經過排除處理的匹配點對，獲得參考影像至第一影像A的單應矩陣。
與現有技術相比，根據本發明的技術方案，解決現有技術存在的上述在三維交互中的計算量過大，或佔用記憶體過多，或對硬體、網路有較高要求以至於較難應用在可移動攝像設備中，較難實現多目標識別的問題。
800‧‧‧基於識別碼的三維交互的系統
801‧‧‧識別碼獲取與識別模組
802‧‧‧參考影像獲取模組
803‧‧‧位置與姿態獲取模組
804‧‧‧交互模組
此處所說明的附圖用來提供對本發明的進一步理解，構成本發明的一部分，本發明的示意性實施例及其說明用於解釋本發明，並不構成對本發明的不當限定。在附圖中：圖1是根據本發明實施例的基於識別碼的三維交互的方法步驟圖；圖2是圖1中S102和步驟S103的較佳方法步驟圖。其更詳細地描述了如何獲取與所述識別碼相關的參考影像以及該參考影像的特徵點並基於其獲得可攝像設備相對於識別碼實物的位置和/或姿態； 圖3和圖4在圖1及圖2的基礎上，更詳細地描述一個例子，以詳細描述獲得從參考影像至當前影像的單應矩陣的較佳方法步驟。其中，當k=1時，參考圖3；當k>1時，參考圖4；圖5是根據本發明實施例的利用參考影像獲得預測影像的預測單應矩陣的方法的流程圖；圖6是根據本發明實施例的利用參考影像、預測影像的預測單應矩陣，獲得參考影像的特徵點在當前影像的匹配點的方法的流程；圖7是根據本發明實施例的獲得從參考影像至當前影像的單應矩陣的方法的流程圖；以及圖8是根據本發明實施例的一種基於識別碼的三維交互的系統800的結構方框圖。
本發明的主要思想在於，提供一種在進行三維的交互過程中，獲得預測影像的預測單應矩陣的方法；並將所述預測單應矩陣應用於特徵點匹配，並獲得從參考影像至當前影像的單應矩陣，從而以參考影像至當前影像的單應矩陣獲得可攝像設備位置或姿態的方法，及以此進行三維交互的方法。
為使本發明的目的、技術方案和優點更加清楚，以下結合附圖及具體實施例，對本發明作進一步地詳細說明。
為了方便下文描述，首先介紹本發明的各個實施方式 中所係關於的術語的解釋。
三維交互：獲得物體在三維空間中的狀態資訊，並基於所述三維空間中的狀態資訊與用戶進行交互。所述物體可以包括：用戶、用戶所持設備、用戶所指定的物等；所述三維空間中的狀態資訊可以包括：在三維空間的位置、在三維空間中的姿態等。
識別碼：以影像來儲存資訊的資訊碼。例如，條碼，二維碼。
識別碼實物：以實物展現的識別碼，例如一張列印的識別碼，一張印刷的識別碼，或在顯示器上顯示的識別碼。
標準識別碼：基於資訊所生成的準確無變形的識別碼。
參考影像：參考影像是在一次三維交互中使用的一幅影像，其可以用於描述被攝物件的初始狀態或標準狀態，參考影像作為當前影像的參考，用來通過對參考影像與當前影像的計算，可以獲得當前可攝像設備的位置及姿態。參考影像可以通過拍攝獲得，或通過識別碼生成算法生成標準識別碼作為參考影像，或可依據識別碼查找資料庫或通過網路查詢獲得。
參考影像的特徵點：參考影像的特徵點為參考影像中特徵明顯的點，可通過特徵點檢測算法獲得。參考影像的特徵點可以包括參考影像的頂點，例如，若參考影像為長方型，則特徵點可以包括其4個頂點。
當前影像：當前影像為通過可攝像設備獲得的包含識別碼實物或參考影像實物的當前的影像，其可以用於描述可攝像設備相對於被攝物件的當前狀態，通過對當前影像與參考影像的計算，可以獲得當前可攝像設備的位置及姿態。
預測影像：為了減少計算量，加快計算速度，在使用參考影像和當前影像計算可攝像設備的位置及姿態過程中，可先計算並獲得預測影像，預測影像是一幅預估的虛擬影像。預測影像可以基於參考影像及預測單應矩陣獲得。
預測單應矩陣：為獲得預測影像，可以先獲得預測單應矩陣，再依據預測單應矩陣獲得預測影像。預測單應矩陣體現了對預測影像的計算思路，基於不同的計算思路，可以有不同的預測單應矩陣計算方式。
第一類特徵點匹配算法：包括如Sift(Scale Invariant Feature Transform，尺度不變特徵轉換)，Surf(Speed Up Robust Feature，加速穩健特徵)或其他功能類似的特徵點匹配算法。
第二類特徵點匹配算法：包括如模版匹配法、交叉相關法、正歸化交叉相關法或其他功能類似的特徵點匹配算法。
根據本發明的實施例，提供了一種基於識別碼的三維交互的方法。本方法的一個典型場景是，一個用戶面對一個粘貼有識別碼的產品包裝，用戶拿出手機(作為一種典 型的可攝像設備)開啟手機的攝像功能，使畫面中包含識別碼，此時本方法依據手機獲得的畫面確定手機相對於產品的位置和姿態，將從識別碼識別的產品的資訊(例如三維影像)疊加到手機的當前畫面的產品包裝位置，從而實現良好的用戶體驗。下面詳細描述這種交互方法的步驟。
參考圖1，圖1是本發明實施例的基於識別碼的三維交互的方法步驟圖。
根據本發明的方法，在步驟S101處，獲得可攝像設備拍攝的包含識別碼實物的影像，識別識別碼並獲得識別碼所對應的物品資訊。所述物品資訊可以包括通過識別識別碼得到的基本資訊(例如：物品ID等)，還可以包括依據所述基本資訊通過本地資料庫或網路獲得進一步的用於交互的目標資料，目標資料中可以有與所述物品資訊對應的三維影像。例如，可攝像設備可以是但不限於攝像機、帶有攝像功能的移動設備、帶有攝像功能的可攜式設備等等。通過可攝像設備對識別碼實物進行拍攝從而獲得包含識別碼實物的影像。通過對該識別碼進行識別得到該識別碼所包含的物品資訊。
在步驟S102處，獲取與所述識別碼相關的參考影像以及該參考影像的特徵點。
較佳地，在資料庫中儲存與識別碼相關的資料，該資料可以包括：識別碼對應的物品ID、與該識別碼相關的參考影像、以及該參考影像的特徵點等內容。
依據識別識別碼得到的物品ID查找資料庫。若資料 庫存在與該識別碼相關的參考影像以及該參考影像的特徵點，則直接獲取之；若資料庫不存在該識別碼相關的參考影像以及該參考影像的特徵點則可依據圖2步驟S201所述方法獲得識別碼相關的參考影像，並且可依據圖2步驟S202所述方法獲得參考影像的特徵點並將其儲存到所述資料庫中。
在步驟S103處，基於所述參考影像以及該參考影像的特徵點，獲得所述可攝像設備相對於識別碼實物的位置和/或姿態。
在步驟S104處，基於所述可攝像設備相對於識別碼實物的位置和/或姿態與所述識別碼對應的物品資訊，進行三維交互。通過在步驟103處得到可攝像設備與識別碼實物之間的位置和/或姿態關係之後，用戶例如可以將物品資訊(例如物品的三維影像)疊加到包含識別碼的影像上以達到該物品資訊位於識別碼實物的位置上的虛實結合的效果，從而實現三維交互。
可選地，通過在步驟S103處，連續獲得可攝像設備相對於識別碼實物的位置和/或姿態，從而在步驟S104處，獲得可攝像設備與識別碼或識別碼所在實物的相對移動速度或加速度或兩者，以預定方式將所述移動速度或加速度或兩者傳遞到用戶介面，所述預定方式可以是資料顯示、三維影像顯示、或示意圖標(例如，箭頭、柱狀圖)等。
下面參考圖2，更詳細地描述步驟S102和步驟 S103。圖2更詳細地描述了如何獲取與所述識別碼相關的參考影像以及該參考影像的特徵點並基於其獲得可攝像設備相對於識別碼實物的位置和/或姿態。
在步驟S201處，基於所獲得的包含識別碼實物的影像獲得識別碼的參考影像。所述參考影像可以是該包含識別碼實物的影像本身，也可以是基於該包含識別碼實物的影像生成的標準識別碼影像。更具體地，獲得用可攝像設備獲取的畫面中含有識別碼實物的影像，並識別識別碼所對應的物品資訊，再基於該物品資訊並按照識別碼生成算法生成一幅標準識別碼影像，將其作為參考影像。獲取一張參考影像後，將此參考影像儲存於記憶體中，可在需要時獲得參考影像的大小資訊、參考影像中的選定點的位置資訊、色值資訊等資訊。
在步驟S202處，檢測參考影像特徵點。例如，查找參考影像中的多個明顯的特徵點並記錄這些特徵點在參考影像中的座標位置，特徵點可以包括其參考影像的頂點。特別地，當參考影像為依據物品資訊生成的標準識別碼，且標準識別碼為矩形，則在生成標準識別碼時即獲得了其4個頂點作為特徵點的位置。請注意：由於本方法所涉矩陣計算需要至少4個點對資訊，所以如果僅以頂點進行矩陣計算，所述標準識別碼應至少有4個頂點。例如，標準識別碼不應為三角形，因為無法以其3個頂點進行矩陣計算。
此後，基於該參考影像，並且以生成該參考影像的影 像作為第1幀影像。
在步驟S203處，獲得可攝像設備拍攝的包含識別碼實物的當前影像。
在步驟S204處，獲得從該參考影像至當前影像的單應矩陣。
在步驟S205處，基於所述單應矩陣計算並獲得可攝像設備相對於識別碼實物的位置和/或姿態。
根據本發明的實施方式，可以參照圖3和圖4所示出的方法來獲得從參考影像至當前影像的單應矩陣。
下面參照圖3和圖4更詳細地描述一個例子，以詳細描述如何獲得從參考影像至當前影像的單應矩陣。請注意：圖3和圖4描述中存在與圖1、圖2描述重複的步驟，不表示需要重複進行相關此步驟，而是旨在保持步驟的連貫。
在步驟S301處，獲得用可攝像設備獲取的畫面中含有識別碼實物的當前影像，以影像中包含識別碼的幀計數，第1次出現包含識別碼的當前影像設為第1幀，第k次出現包含識別碼的當前影像設為第k幀。
當k=1時，如圖3所示，進行如下步驟以獲得從參考影像到當前影像(k=1)的單應矩陣。
在步驟S302處，利用識別碼識別算法對此當前影像識別獲得識別碼在當前影像中的位置、識別碼的4個頂點的位置。應當指出：由於在步驟S306處進行的矩陣計算至少需要4個點對的位置，所以步驟S302處，識別碼應 至少有4個頂點。
在步驟S303處，使用步驟S101獲得的物品資訊按照識別碼生成算法生成一幅標準識別碼影像，將其作為參考影像，生成標準識別碼影像，同時獲得其4個頂點位置。
在步驟S304處，利用特徵點檢測算法對參考影像進行計算，獲得參考影像中的除4個頂點以外的特徵點及其位置；特徵點檢測算法可以是FAST(Features from Accelerated Segment Test，基於加速分割的檢測特徵)或者Harris(Harris Corner Detector，哈爾斯角點檢測算法)角點檢測法等方法；一般獲得的特徵點為多個；例如，獲得了6個特徵點。本步驟獲得的所述特徵點在步驟S404使用。
在步驟S305處，以參考影像中識別碼的4個頂點與當前影像中識別碼的4個頂點構成匹配點對。
在步驟S306處，基於所述匹配點對，構造方程並求解，獲得從參考影像至當前影像的單應矩陣。
在步驟S307處，以所述單應矩陣計算並獲得可攝像設備相對於識別碼實物的位置和/或姿態。
當k>1時，如圖4所示進行如下步驟以獲得從參考影像到當前影像(k>1)的單應矩陣。
在步驟S401處，獲得預測單應矩陣P k 。
在計算參考影像至當前影像的單應矩陣之前需要獲得預測影像，該預測影像是一幅預估的影像，利用預測影像可在預測影像的基礎上進行參考影像的特徵點的匹配點計 算，減少計算量，增快計算速度。要獲得預測影像首先要獲得預測單應矩陣P k 。可以以不同的硬體操作與計算規則的組合獲得預測單應矩陣P k 。較佳的，以如下方法計算P k ：當k=2時，P k =P 2=；當k>2時，，其中，其中，表示第k-2幀影像到第k-1幀影像的單應矩陣，表示從參考影像S至第k-1幀影像的單應矩陣(這一單應矩陣可以參照圖3來獲得)。
在步驟S402處，以預測單應矩陣P k 對參考影像中的預定點的位置進行變換，獲得參考影像中的預定點在預測影像中的預測位置；一般而言，所述預定點為參考影像的全部點，即獲得參考影像中的全部點在預測影像中的位置。預定點也可以是參考影像中的一部分點。
在步驟S403處，基於所述預定點的預測位置和參考影像中的預定點的相應色值，獲得預測影像。
在步驟S404處，以預測單應矩陣P k 對在步驟S304處獲得的參考影像中的特徵點的位置進行變換，獲得參考影像中的特徵點在預測影像中的預測位置；例如：對參考影像中的6個特徵點的位置進行變換，獲得了6個特徵點在預測影像中的6個預測位置。
在步驟S405處，在所述各特徵點在預測影像中的預測位置的周圍以預定的大小和形狀截取預測影像的一部分作為每個特徵點的相應的影像匹配塊；例如，已獲得參考影像的特徵點在預測影像中的6個預測位置，則以每個預測位置為中心，以預定大小9×9個圖元的正方形(形狀) 截取預測影像，即獲得了6個影像匹配塊，每個影像匹配塊為9×9圖元。
在步驟S406處，以特徵點在預測影像中的預測的位置在當前影像中找到相應位置；例如，已獲得了預測影像中的6個特徵點的6個預測位置，在當前影像找到相應的6個位置。
在步驟S407處，在當前影像各相應位置的周圍，在預先設定的範圍內，以相應的影像匹配塊為標準，利用第二類特徵點匹配算法(例如：模版匹配法、交叉相關法或其他功能類似的特徵點匹配算法、本實施例較佳正歸化交叉相關法)獲得參考影像的特徵點在當前影像中的匹配點；例如，在步驟S406中在當前影像找到了6個相應位置；對其中1個位置，在其周圍預設15×15圖元的範圍，在範圍內，利用步驟S405所獲得的相應9×9圖元的影像匹配塊，利用第二類特徵點匹配算法找到1個匹配點，即獲得匹配點在當前影像中的1個位置；以上述同樣方式找到其餘5個匹配點及其在當前影像中的5個位置。
在步驟S408處，利用參考影像中的特徵點和所述當前影像中的匹配點構成匹配點對。例如：步驟S304中獲得6個特徵點位置，其中一個特徵點在參考影像中的位置為(3,9)，步驟S407獲得6個匹配點位置，與上述特徵點相應匹配點在當前影像的位置為(2,8)，則[(3,9)；(2,8)]構成1個匹配點對，以同樣方式獲得其餘5個匹配點對，共6個匹配點對。較佳的，可以在獲得上述匹配 點對後，採用Prosac(Progressive Sample Consensus，進展型採樣一致性算法)算法或Ransac算法(Random Sample Consensus，隨機抽樣一致性算法)排除錯誤點對。例如，已獲得6個匹配點對；採用Prosac或Ransac算法可排除其中1個錯誤的匹配點對，剩餘5個匹配點對。
在步驟S409處，以匹配點對獲得從參考影像至到當前影像的單應矩陣。較佳的，可採用奇異值分解算法，或LM迭代優化算法(Levenberg-Marquardt method，LM迭代優化算法)，或高斯牛頓算法計算。
在步驟S410處，以所述單應矩陣計算並獲得可攝像設備相對於識別碼實物的位置和/或姿態。
下面，參見圖5，其詳細地描述了如何利用參考影像獲得預測影像的預測單應矩陣的方法的流程圖。該方法包括以下步驟。
在步驟S510處，獲取一張參考影像S；(本實施例中的參考影像皆指此參考影像，為方便標記，將參考影像記為符號S，在必要時使用)，參考影像可以是預先儲存在設備中，或者可以使通過可攝像設備拍攝的一張影像，或其他方式獲取的影像；獲取一張參考影像後，儲存在記憶體中，可在需要時獲得參考影像的大小資訊、參考影像中的選定點的位置資訊、色值資訊等資訊。
在步驟S520處，獲得利用可攝像設備獲取的含有參考影像實物的第一影像A；參考影像實物指一幅以實物形 式存在的參考影像，如一張列印的參考影像，或一張印刷的參考影像；如果參考影像是一張以實物拍攝的照片，則參考影像實物可以是參考影像中的實物。
在步驟S530處，獲得利用可攝像設備獲取的含有參考影像實物的第二影像B。
在步驟S540處，利用參考影像S、第一影像A、第二影像B獲得參考影像S至第二影像B的單應矩陣，並獲得第一影像A至第二影像B的單應矩陣。
可採用不同的方法獲得和，本實施例採用S541-S5410所述的方式獲得之。
在步驟S541利用特徵點檢測算法對參考影像S進行計算，獲得參考影像S中的特徵點及其位置；特徵點檢測算法可以是FAST(Features from Accelerated Segment Test，基於加速分割的檢測特徵)或者Harris(Harris Corner Detector，哈爾斯角點檢測算法)角點檢測法等方法；一般獲得的特徵點為多個。
在步驟S542處，利用特徵點檢測算法對第二影像B進行計算，獲得第二影像B中的特徵點及其位置。
在步驟S543處，利用第一類特徵點匹配算法獲得參考影像S的特徵點在第二影像B中的匹配點及其位置；所述第一類特徵點匹配算法包括Sift，Surf等功能類似的特徵點匹配算法。
在步驟S544，利用參考影像的特徵點和第二影像B中的匹配點構成匹配點對；較佳的，可採用Prosac算法 或Ransac算法從所述匹配點對中排除誤匹配點對。
在步驟S545處，基於所述匹配點對，獲得參考影像至第二影像B的單應矩陣。
在步驟S546處，利用特徵點檢測算法對第一影像A進行計算，獲得第一影像A中的特徵點及其位置。
在步驟S547處，利用第一類特徵點匹配算法獲得參考影像S的特徵點在第一影像A中的匹配點及其位置。
在步驟S548處，利用參考影像的特徵點和第一影像A中的匹配點構成匹配點對；較佳的，可採用Prosac算法或Ransac算法從所述匹配點對中排除誤匹配點對。
在步驟S549處，基於所述匹配點對，獲得參考影像至第一影像A的單應矩陣。
在步驟S5410處，獲得第一影像A至第二影像B的單應矩陣。
在步驟S550處，計算預測影像的預測單應矩陣P=×。
下面，參見圖6，其圖示了如何利用參考影像、預測影像的預測單應矩陣，獲得參考影像的特徵點在當前影像的匹配點的方法的流程。該方法描述了在一般情況下如何利用參考影像獲得預測單應矩陣，以此獲得匹配點。
在步驟S601處，獲取一張參考影像S(本實施例中的參考影像皆指此參考影像，為方便標記，將參考影像記為符號S，在必要時使用)。參考影像可以是預先儲存在設備中，或者可以是通過可攝像設備拍攝的一張影像，或 其他方式獲取的影像；獲取一張參考影像後，即意味著在本方法中，可在需要時獲得參考影像的大小資訊、參考影像中的選定點的位置資訊、色值資訊等資訊。
在步驟S602處，獲得以可攝像設備獲取的一張含有參考影像實物的當前影像。參考影像實物指一幅以實物形式存在的參考影像，如一張列印的參考影像，或一張印刷的參考影像，如果參考影像是一張以當前實物拍攝的照片，則參考影像實物可以是參考影像所指的當前實物。
在步驟S603處，獲得此參考影像中的特徵點及其位置。一般採用特徵點檢測算法對參考影像進行檢測，以獲得特徵點的位置；特徵點檢測算法可以是FAST或者Harris角點檢測法等方法；一般獲得的特徵點為多個；例如，獲得了6個特徵點。
在步驟S604處，基於所述參考影像獲得預測影像的預測單應矩陣P。預測影像是一幅預估的影像，利用預測影像可在預測影像的基礎上進行參考影像的特徵點的匹配點計算，減少計算量，增快計算速度。要獲得預測影像首先要獲得預測影像的單應矩陣P。可以以不同的硬體操作與計算規則的組合獲得預測單應矩陣P；本實施例較佳圖5所述方式獲得預測單應矩陣P，圖5中所指參考影像與本實施例中所指參考影像為同一幅。
在步驟S605處，利用預測單應矩陣P對參考影像中的預定點的位置進行變換，獲得參考影像中的預定點在預測影像中的預測位置。一般，所述預定點為參考影像的全 部點，即獲得參考影像全部點在預測影像中的預測位置。
在步驟S606處，基於所述預定點的預測位置和參考影像中的預定點的相應色值，獲得預測影像。
在步驟S607處，以預測單應矩陣P對參考影像中的特徵點的位置進行變換，獲得參考影像的特徵點在預測影像中的預測位置；例如：對6個特徵點的位置進行變換，獲得了6個特徵點在預測影像中的6個預測位置。
在步驟S608處，在所述各特徵點在預測影像中的預測位置的周圍以預定的大小和形狀截取預測影像的一部分作為各特徵點的相應的影像匹配塊。例如，已獲得參考影像的特徵點在預測影像中的6個預測位置，則以每個預測位置為中心，以9×9個圖元截取預測影像，即獲得了6個影像匹配塊，每個影像匹配塊為9×9圖元。
在步驟S609處，以特徵點在預測影像中的預測位置在當前影像中找到相應位置。例如，已獲得了預測影像中的6個特徵點的6個預測位置，在當前影像找到相應的6個位置。
在步驟S610處，在當前影像中各相應位置的周圍，在預先設定的範圍內，以相應的影像匹配塊為標準，利用第二類特徵點匹配算法(例如：模版匹配法、交叉相關法或其他功能類似的特徵點匹配算法、本實施例較佳正歸化交叉相關法)獲得參考影像的特徵點在當前影像中的匹配點及其位置。例如，在步驟S609中在當前影像找到了6個相應位置；對其中1個位置，在其周圍預設15×15圖元 的範圍，在範圍內，利用步驟S608所獲得的相應9×9圖元的影像匹配塊，利用特徵點匹配算法找到1個匹配點，即獲得匹配點在當前影像中的1個位置；以上述同樣方式找到其餘5個匹配點及其在當前影像中的5個位置。
參見圖7，其圖示了本發明的獲得從參考影像至當前影像的單應矩陣的方法的另一實施例。對本方法的步驟中與上述參照圖6描述的方法中功能相同的步驟，其技術細節也如上述參照圖6描述的方法中相應步驟所述，不再贅述。該方法包括以下步驟。
在步驟S701處，獲取一張參考影像S(本實施例中的參考影像皆指此參考影像，為方便標記，將參考影像記為符號S，在必要時使用)。
在步驟S702處，獲得以可攝像設備獲取的一張含有參考影像實物的當前影像。
在步驟S703處，獲得參考影像中的特徵點及其位置。
在步驟S704處，獲得參考影像中的特徵點在當前影像中的匹配點及其位置；可採用不同的方式獲得參考影像的特徵點在當前影像中的匹配點，本實施例較佳採用圖6及其方法所述方式，圖6及其方法中所述參考影像、當前影像分別與本實施例中所述參考影像、當前影像相同。
在步驟S705處，利用參考影像中的特徵點和所述當前影像中的匹配點構成匹配點對；即由步驟S703獲得的參考影像的特徵點在參考影像中的位置與步驟S704獲得 的當前影像中的匹配點在當前影像中的位置構成匹配點對。例如：步驟S703中獲得6個特徵點位置，其中一個特徵點在參考影像中的位置為(3,9)，步驟S704獲得6個匹配點位置，與上述特徵點相應匹配點在當前影像的位置為(2,8)，則[(3,9)；(2,8)]構成1個匹配點對，以同樣方式獲得其餘5個匹配點對，共6個匹配點對。較佳的，可以再獲得上述匹配點對後，採用Prosac或Ransac算法排除錯誤點對。例如，已獲得6個匹配點對；採用Prosac或Ransac算法可排除其中1個錯誤的匹配點對，剩餘5個匹配點對。
在步驟S706處，以匹配點對獲得從參考影像至當前影像的單應矩陣H。較佳的，可採用奇異值分解算法，或LM迭代算法，或高斯牛頓算法計算H。例如；在步驟S705中獲得了5個匹配點對，採用奇異值分解算法計算獲得H。
下面，將描述圖8，其圖示了本發明的一種基於識別碼的三維交互的系統的方框圖。該系統可以包括識別碼獲取與識別模組801、參考影像獲取模組802、位置與姿態獲取模組803、以及交互模組804。
識別碼獲取與識別模組801可以用於獲得可攝像設備拍攝的包含識別碼實物的影像，並識別識別碼所對應的物品資訊。參考影像獲取模組802可以用於獲取與所述識別碼相關的參考影像以及該參考影像的特徵點。位置與姿態獲取模組803可以用於基於所述參考影像和所述特徵點， 計算並獲得可攝像設備相對於識別碼實物的位置和/或姿態資訊。交互模組804可以用於基於所述可攝像設備相對於識別碼實物的位置和/或姿態與所述識別碼對應的物品資訊，進行三維交互。
較佳地，所述交互模組804進一步被配置成：基於由物品資訊獲得物品的三維影像，將所述三維影像疊加到可攝像設備拍攝的當前影像中的識別碼上或識別碼所在的物品位置上。
較佳地，所述交互模組804進一步被配置成：利用連續幀可攝像設備拍攝的識別碼實物的影像連續獲得可攝像設備相對於識別碼實物的位置和姿態，從而獲得可攝像設備與識別碼或識別碼所在實物的相對移動速度或加速度或兩者，以預定方式將所述移動速度或加速度或兩者傳遞到用戶介面。
較佳地，所述參考影像獲取模組802被配置成：獲得利用可攝像設備獲取的畫面中含有識別碼實物的初始影像，基於初始影像獲得參考影像；以及利用特徵點檢測算法對參考影像進行計算，獲得參考影像中的特徵點及其位置。
較佳地，所述位置與姿態獲取模組803被配置成：獲得可攝像設備拍攝的包含識別碼實物的當前影像；基於所述參考影像和當前影像，獲得從參考影像至當前影像的單應矩陣；以及基於所述單應矩陣，獲得可攝像設備相對於識別碼實物的位置和/或姿態資訊。
較佳地，基於所述參考影像和當前影像，獲得從參考影像至當前影像單應矩陣包括：獲得識別碼在初始影像中4個頂點的位置；以參考影像的4個頂點與初始影像中識別碼的4個頂點構成匹配點對；以及基於匹配點對獲得從參考影像變換到當前影像的單應矩陣。
較佳地，基於所述參考影像和當前影像、獲得從參考影像至當前影像的單應矩陣包括：利用特徵點匹配算法獲得參考影像的特徵點在當前影像中的匹配點；利用參考影像中的特徵點和所述當前影像中的匹配點構成匹配點對；以及以所述匹配點對獲得從參考影像至到當前影像的單應矩陣。
本發明的系統所包括的各個模組的具體實施與本發明的方法中的步驟的具體實施是相對應的，為了不模糊本發明，在此省略對各個模組的具體細節進行描述。
本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或電腦程式產品。因此，本發明可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中包含有電腦可用程式碼的電腦可用儲存介質(包括但不限於磁盤記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。
以上所述僅為本發明的實施例而已，並不用於限制本發明，對於本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修 改、等同替換、改進等，均應包含在本發明的申請專利範圍之內。

Claims (28)

  1. 一種基於識別碼的三維交互的方法，其特徵在於，包括：獲得可攝像設備拍攝的包含識別碼實物的影像；識別識別碼；獲得識別碼所對應的物品資訊；獲取與所述識別碼相關的參考影像以及所述參考影像的特徵點；基於所述參考影像和所述特徵點，計算並獲得可攝像設備相對於識別碼實物的位置和/或姿態資訊；以及基於所述可攝像設備相對於識別碼實物的位置和/或姿態與所述識別碼對應的物品資訊，進行三維交互。
  2. 根據申請專利範圍第1項所述方法，其中，所述物品資訊包括通過識別識別碼得到的基本資訊；所述物品資訊包括物品ID。
  3. 根據申請專利範圍第2項所述方法，其中，依據所述基本資訊包括透過本地資料庫或網路獲得用於三維交互的目標資料，所述目標資料中包括所述物品資訊對應的三維影像。
  4. 根據申請專利範圍第1項所述方法，其中，所述三維交互包括：基於由所述物品資訊獲得識別碼實物的三維影像，並且將所述三維影像逐一疊加到可攝像設備拍攝的當前影像 中的識別碼上或識別碼所在的物品位置上。
  5. 根據申請專利範圍第1項所述方法，其中，所述三維交互包括：連續獲得可攝像設備相對於識別碼實物的位置和姿態；獲得可攝像設備與識別碼或識別碼所在實物的相對移動速度或加速度或兩者；以預定方式將所述移動速度或加速度或兩者傳遞到用戶介面。
  6. 根據申請專利範圍第1項所述的方法，其中，獲取與所述識別碼相關的參考影像以及所述參考影像的特徵點包括：基於含有識別碼實物的初始影像獲得參考影像，基於特徵點檢測算法獲得所述參考影像中的特徵點及其位置。
  7. 根據申請專利範圍第1項所述的方法，其中，獲得可攝像設備相對於識別碼實物的位置和/或姿態資訊包括獲得可攝像設備相對於識別碼實物有關三維空間的位置和/或姿態資訊。
  8. 根據申請專利範圍第6項所述的方法，其中，基於所述初始影像獲得參考影像包括：將所述初始影像作為參考影像；或者基於所述物品資訊按照識別碼生成算法生成標準識別碼，並且將所述標準識別碼作為參考影像。
  9. 根據申請專利範圍第6項所述的方法，其中，獲得可攝像設備相對於識別碼實物的位置和/或姿態資訊包括：獲得可攝像設備拍攝的包含識別碼實物的當前影像；基於所述參考影像和當前影像，獲得從參考影像至當前影像的單應矩陣；以及基於所述單應矩陣，獲得可攝像設備相對於識別碼實物的位置和/或姿態資訊。
  10. 根據申請專利範圍第6項所述的方法，其中，基於特徵點檢測算法獲得所述參考影像中的特徵點及其位置包括：選擇對應於除了標準識別碼的頂點位置之外的特徵點作為至少一個獲得的所述特徵點。
  11. 根據申請專利範圍第9項所述的方法，其中，基於所述參考影像和當前影像，獲得從參考影像至當前影像單應矩陣包括：獲得識別碼在初始影像中4個頂點的位置；以參考影像的4個頂點與初始影像中識別碼的4個頂點構成匹配點對；以及基於匹配點對獲得用以將參考影像變換到當前影像的單應矩陣。
  12. 根據申請專利範圍第9項所述的方法，其中，基於所述參考影像和當前影像、獲得從參考影像至當前影像的單應矩陣包括： 利用特徵點匹配算法獲得參考影像的特徵點在當前影像中的匹配點；利用參考影像中的特徵點和所述當前影像中的匹配點構成匹配點對；以及以所述匹配點對獲得從參考影像至到當前影像的單應矩陣。
  13. 根據申請專利範圍第12項所述方法，其中，利用特徵點匹配算法獲得參考影像的特徵點在當前影像中的匹配點，包括：獲得預測影像，其中所述預測影像是基於利用預定算法計算獲得的用於預測當前影像的影像；計算獲得參考影像中的特徵點在預測影像中的預測位置；以及基於參考影像中的特徵點在預測影像中的預測位置在當前影像中找到相應預定位置；在所述各參考影像中的特徵點在預測影像中的預測位置的周圍以預定的大小和形狀截取預測影像的一部分作為每個特徵點的相應的預定影像塊；以及在當前影像各預定位置的周圍，在預先設定的範圍內，以預定的影像塊為標準，利用第二類特徵點匹配算法獲得參考影像的特徵點在當前影像中的匹配點。
  14. 根據申請專利範圍第13項所述方法，其中，以如下方式獲得預測影像及參考影像中的特徵點在預測影像中的預測位置： 獲得可攝像設備拍攝的含有識別碼實物的第一影像A，獲得可攝像設備拍攝的含有識別碼實物的第二影像B，所述第一影像A，第二影像B為在當前影像之前獲取的影像，利用參考影像、第一影像A、第二影像B獲得參考影像至第二影像B的單應矩陣、第一影像A至第二影像B的單應矩陣，依據獲得參考影像至第二影像B的單應矩陣，以及第一影像A至第二影像B的單應矩陣計算預測影像的預測單應矩陣，以所述預測單應矩陣對參考影像進行變換，獲得所述預測影像，以所述預測單應矩陣對參考影像中的特徵點的位置進行變換，獲得預測影像中參考影像特徵點的預測位置。
  15. 根據申請專利範圍第14項所述方法，其中，所述第二影像B為當前影像的前一幀影像，所述第一影像A為當前影像的前兩幀影像。
  16. 一種基於識別碼的三維交互的系統，其特徵在於，包括：至少一處理器，其組構以：獲得可攝像設備拍攝的包含識別碼實物的影像； 從識別碼實物識別識別碼；獲得識別碼所對應的物品資訊；獲取與所述識別碼相關的參考影像以及所述參考影像的特徵點；基於所述參考影像的所述特徵點，獲得所述可攝像設備相對於所述識別碼實物的位置和/或姿態資訊；以及基於所述可攝像設備相對於所述識別碼實物的位置和/或姿態與所述識別碼對應的物品資訊，進行三維交互；耦接至所述至少一個處理器的記憶體，其組構以提供指令至所述至少一個處理器。
  17. 根據申請專利範圍第16項所述的系統，其中，所述交互模組進一步被配置成：基於由物品資訊獲得物品的三維影像，將所述三維影像疊加到可攝像設備拍攝的當前影像中的識別碼上或識別碼所在的物品位置上。
  18. 根據申請專利範圍第16項所述的系統，其中，所述三維交互包括：連續獲得所述可攝像設備相對於所述識別碼實物的位置和姿態；獲得所述可攝像設備與識別碼或識別碼所在實物的相對移動速度或加速度或兩者；以預定方式將所述移動速度或加速度或兩者傳遞到用戶介面。
  19. 根據申請專利範圍第16項所述的系統，其中，獲 取與所述識別碼相關的參考影像以及所述參考影像的特徵點包括：基於含有識別碼實物的初始影像，獲得參考影像；以及基於特徵點檢測演法獲得參考影像中的特徵點及其位置。
  20. 根據申請專利範圍第19項所述的系統，其中，獲得所述可攝像設備相對於所述識別碼實物的位置、姿態或其兩者包含：獲得可攝像設備拍攝的包含識別碼實物的當前影像；基於所述參考影像和所述當前影像，獲得從所述參考影像至所述當前影像的單應矩陣；基於所述單應矩陣，獲得可攝像設備相對於識別碼實物的位置和/或姿態資訊。
  21. 根據申請專利範圍第20項所述的系統，其中，基於所述參考影像和所述當前影像，獲得從參考影像至當前影像單應矩陣包括：獲得識別碼在所述初始影像中4個頂點的位置；以所述參考影像的4個頂點與所述初始影像中識別碼的4個頂點構成匹配點對；以及基於匹配點對獲得用以將所述參考影像變換到當前影像的單應矩陣。
  22. 根據申請專利範圍第20項所述的系統，其中，基於所述參考影像和所述當前影像獲得從參考影像至當前影 像的單應矩陣包括：基於特徵點匹配算法獲得所述參考影像的特徵點在所述當前影像中的匹配點；基於所述參考影像中的特徵點和所述當前影像中的匹配點構成匹配點對；以及基於所述匹配點對獲得從參考影像至到當前影像的單應矩陣。
  23. 一種預測性單應矩陣方法，其用於獲得基於參考影像的預測性影像，包含：獲取參考影像S；獲得可攝像設備拍攝的第一影像A，其包含第一參考影像實物；獲得可攝像設備拍攝的第二影像B，其包含第二參考影像實物；獲得根據參考影像S、第一影像A、第二影像B獲得參考影像至第二影像B的單應矩陣、第一影像A至第二影像B的單應矩陣；以及依據獲得參考影像至第二影像B的單應矩陣，以及第一影像A至第二影像B的單應矩陣計算預測影像的預測單應矩陣，其用於計算預測影像。
  24. 根據申請專利範圍第23項所述的方法，其中，獲得參考影像至第二影像B的單應矩陣包含：基於特徵點檢測算法獲得在所述參考影像S的特徵點，以及所述特徵點的位置； 基於特徵點檢測算法獲得所述第二影像B中的特徵點以及所述特徵點的位置；基於所述參考影像的特徵點構成匹配點對，以及基於所述第二影像B構成匹配點對；以及基於所述匹配點對獲取參考影像至第二影像的單應矩陣。
  25. 根據申請專利範圍第23項所述的方法，其中，獲得第一影像A至第二影像B的單應矩陣包含：基於特徵點檢測算法，獲得所述參考影像S中的特徵點及其位置；基於特徵點匹配算法，獲得所述第一影像A匹配在所述參考影像S中的特徵點之點；基於所述參考影像S中的特徵點以及在所述影像A中的匹配點構成匹配點對；基於所述匹配點對獲得參考影像至第一影像A的單應矩陣；並且基於參考影像至第一影像A的所述單應矩陣，及參考影像S至第二影像B的所述單應矩陣，獲得第一影像A至第二影像B的單應矩陣。
  26. 根據申請專利範圍第24項所述的方法，更包含：排除在所述匹配點對中的錯誤匹配對，其基於所述參考影像的所述特徵點及所述第二影像B的所述匹配點構成，所述排除錯誤匹配對是基於Prosac算法或是Ransac算法；且 基於在排除運算中並未被排除的匹配對，獲得參考影像至第二影像B的單應矩陣。
  27. 根據申請專利範圍第24項所述的方法，更包含：排除在所述匹配點對中的錯誤匹配對，其基於在所述參考影像的特徵點及所述第一影像A的所述匹配點構成，所述排除錯誤匹配對是基於Prosac算法或是Ransac算法；且基於在排除運算中並未被排除的匹配對，獲得參考影像至第一影像A的單應矩陣。
  28. 一種基於識別碼的三維交互的電腦程式產品，所述電腦程式產品體現在具體非暫態電腦可讀取儲存媒體中，並包含電腦指令以用於：獲得可攝像設備拍攝的包含識別碼實物的影像；從所述識別碼實物識別識別碼；獲得識別碼所對應的物品資訊；獲取與所述識別碼相關的參考影像以及所述參考影像的特徵點；基於所述參考影像和所述參考影像的特徵點，獲得可攝像設備相對於識別碼實物的位置和/或姿態資訊；以及基於所述可攝像設備相對於識別碼實物的位置和/或姿態與所述識別碼對應的物品資訊，進行三維交互。
TW102126657A 2013-02-06 2013-07-25 Method and system of three - dimensional interaction based on identification code TWI587205B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310047346.2A CN103971400B (zh) 2013-02-06 2013-02-06 一种基于标识码的三维交互的方法和系统

Publications (2)

Publication Number Publication Date
TW201432548A TW201432548A (zh) 2014-08-16
TWI587205B true TWI587205B (zh) 2017-06-11

Family

ID=51240847

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102126657A TWI587205B (zh) 2013-02-06 2013-07-25 Method and system of three - dimensional interaction based on identification code

Country Status (5)

Country Link
US (4) US9195871B2 (zh)
EP (2) EP3674853A1 (zh)
CN (1) CN103971400B (zh)
TW (1) TWI587205B (zh)
WO (1) WO2014123954A2 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105378593B (zh) 2012-07-13 2019-03-01 索尼深度传感解决方案股份有限公司 利用手上的奇异兴趣点基于手势进行人机同步交互的方法和系统
CN103971400B (zh) * 2013-02-06 2018-02-02 阿里巴巴集团控股有限公司 一种基于标识码的三维交互的方法和系统
EP2891950B1 (en) 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
US9846948B2 (en) * 2014-07-09 2017-12-19 Ditto Labs, Inc. Systems, methods, and devices for image matching and object recognition in images using feature point optimization
WO2016017253A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN105515935B (zh) * 2014-09-22 2019-09-27 阿里巴巴集团控股有限公司 一种交互信息中doi的处理方法及装置
US20180129846A1 (en) * 2014-12-19 2018-05-10 Gionee Communication Equipment Co.,Ltd. Shenzhen Two dimension code operating method and terminal
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US11308642B2 (en) * 2017-03-30 2022-04-19 Visualimits Llc Automatic region of interest detection for casino tables
US10217312B1 (en) * 2016-03-30 2019-02-26 Visualimits, Llc Automatic region of interest detection for casino tables
US10650550B1 (en) * 2016-03-30 2020-05-12 Visualimits, Llc Automatic region of interest detection for casino tables
CN105868733A (zh) * 2016-04-21 2016-08-17 腾讯科技（深圳）有限公司 一种人脸活体验证方法及装置
KR101768532B1 (ko) * 2016-06-08 2017-08-30 주식회사 맥스트 증강 현실을 이용한 화상 통화 시스템 및 방법
CN106331639B (zh) * 2016-08-31 2019-08-27 浙江宇视科技有限公司 一种自动确定摄像机位置的方法及装置
FR3055446A1 (fr) * 2016-09-01 2018-03-02 Arjo Solutions Procede et syteme de generation de la signature d'une surface
US9871774B1 (en) * 2016-09-29 2018-01-16 International Business Machines Corporation Secured file transfer management on augmented reality (AR) and virtual reality (VR) devices
US10453204B2 (en) * 2016-12-06 2019-10-22 Adobe Inc. Image alignment for burst mode images
US10417738B2 (en) 2017-01-05 2019-09-17 Perfect Corp. System and method for displaying graphical effects based on determined facial positions
CN107633526B (zh) * 2017-09-04 2022-10-14 腾讯科技（深圳）有限公司 一种图像跟踪点获取方法及设备、存储介质
CN109525538B (zh) * 2017-09-20 2021-08-24 丰盛数位有限公司 用于增强现实认证的互动方法及系统
TWI649998B (zh) * 2017-11-21 2019-02-01 鴻海精密工業股份有限公司 立體影像顯示方法及裝置
CN108022301B (zh) * 2017-11-23 2020-05-19 腾讯科技（上海）有限公司 一种图像处理方法、装置以及存储介质
CN108711188A (zh) * 2018-02-24 2018-10-26 石化盈科信息技术有限责任公司 一种基于ar的工厂实时数据展示方法及系统
CN108734736B (zh) * 2018-05-22 2021-10-26 腾讯科技（深圳）有限公司 相机姿态追踪方法、装置、设备及存储介质
EP3667236B1 (en) * 2018-12-13 2023-09-06 Ordnance Survey Limited A method of determining position data
CN109815764B (zh) * 2019-01-16 2022-04-08 王诗会 图像内部机读信息的读取方法及系统
CN110210584B (zh) * 2019-05-14 2022-10-21 武汉工程大学 一种基于改进surf复合算法的高速动态二维码识别方法
CN110852951B (zh) * 2019-11-08 2023-04-07 Oppo广东移动通信有限公司 图像处理方法、装置、终端设备及计算机可读存储介质
SG10201913798WA (en) * 2019-12-30 2021-07-29 Sensetime Int Pte Ltd Image processing method and apparatus, and electronic device
US11354883B2 (en) 2019-12-30 2022-06-07 Sensetime International Pte. Ltd. Image processing method and apparatus, and electronic device
CN111290676B (zh) * 2020-03-02 2021-02-12 北京金山安全软件有限公司 客户端中指定区域的图片的截取方法、装置及设备
EP3893144A1 (en) * 2020-04-06 2021-10-13 Deutsche Post AG Unique object face id
CN113853577A (zh) * 2020-04-28 2021-12-28 深圳市大疆创新科技有限公司 图像的处理方法及装置、可移动平台及其控制终端、计算机可读存储介质
US11416079B2 (en) * 2020-12-03 2022-08-16 Motorola Mobility Llc Snap motion gesture detection and response
JP2022145190A (ja) * 2021-03-19 2022-10-03 株式会社リコー 情報処理システム、位置管理方法、情報処理装置及びプログラム
CN113051953A (zh) * 2021-04-08 2021-06-29 广州百视信通智能科技有限公司 一种基于二维码定位的ar虚拟商品展示方法
CN113128448B (zh) * 2021-04-29 2024-05-24 平安国际智慧城市科技股份有限公司 基于肢体识别的视频匹配方法、装置、设备及存储介质
EP4254336A1 (en) * 2022-03-30 2023-10-04 Auki Labs AG A computer implemented method for locating an electronic device in a coordinate system
CN115356840A (zh) * 2022-09-01 2022-11-18 广东粤港澳大湾区黄埔材料研究院 一种显微镜的锁焦方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800065A (zh) * 2012-07-13 2012-11-28 苏州梦想人软件科技有限公司 基于二维码识别跟踪的增强现实设备及方法
US20120327117A1 (en) * 2011-06-23 2012-12-27 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (ar)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3086151B2 (ja) 1995-05-18 2000-09-11 シャープ株式会社 二次元バーコード処理機能付き情報処理装置
CA2376941A1 (en) 2000-04-18 2001-10-25 Amaskorea Co., Ltd. Method for producing identification code, and method and system for giving electronic notice service and electronic meter reading service by using the same
US6634552B2 (en) * 2001-09-26 2003-10-21 Nec Laboratories America, Inc. Three dimensional vision device and method, and structured light bar-code patterns for use in the same
KR100560735B1 (ko) 2002-05-06 2006-03-14 이승철 식별코드를 이용한 맵정보 검색 방법
US7231063B2 (en) 2002-08-09 2007-06-12 Intersense, Inc. Fiducial detection system
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
US20100020970A1 (en) * 2006-11-13 2010-01-28 Xu Liu System And Method For Camera Imaging Data Channel
CN101339654A (zh) 2007-07-04 2009-01-07 北京威亚视讯科技有限公司 一种基于标志点的增强现实三维注册方法和系统
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
CN102254345A (zh) 2011-06-30 2011-11-23 上海大学 基于云计算的自然特征注册方法
US20130068839A1 (en) * 2011-09-21 2013-03-21 Symbol Technologies, Inc. Method of and apparatus for imaging targets by utilizing multiple imaging modules with on-board local microprocessors
CN102821323B (zh) * 2012-08-01 2014-12-17 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端
US20140210857A1 (en) * 2013-01-28 2014-07-31 Tencent Technology (Shenzhen) Company Limited Realization method and device for two-dimensional code augmented reality
CN103971400B (zh) * 2013-02-06 2018-02-02 阿里巴巴集团控股有限公司 一种基于标识码的三维交互的方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120327117A1 (en) * 2011-06-23 2012-12-27 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (ar)
CN102800065A (zh) * 2012-07-13 2012-11-28 苏州梦想人软件科技有限公司 基于二维码识别跟踪的增强现实设备及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
G. Simon, A.W. Fitzgibbon, A. Zisserman，"Markerless tracking using planar structures in the scene"，2000/12/06，Augmented Reality, 2000. (ISAR 2000). Proceedings. IEEE and ACM International Symposium on, page 120-128 *
Jun Rekimoto, Yuji Ayatsuka，"CyberCode: designing augmented reality environments with visual tags"，2000/04/12 ，Proceeding DARE '00 Proceedings of DARE 2000 on Designing augmented reality environments, page 1-10 *
Wagner, Tobias Langlotz, Dieter Schmalstieg，"Robust and unobtrusive marker tracking on mobile phones"，2008/09/15，Mixed and Augmented Reality, 2008. ISMAR 2008. 7th IEEE/ACM International Symposium on, page 121-124 *

Also Published As

Publication number Publication date
US20160035097A1 (en) 2016-02-04
US10121099B2 (en) 2018-11-06
EP2954390B1 (en) 2020-04-01
US9195871B2 (en) 2015-11-24
US9430835B2 (en) 2016-08-30
US9704247B2 (en) 2017-07-11
EP3674853A1 (en) 2020-07-01
WO2014123954A2 (en) 2014-08-14
US20170277989A1 (en) 2017-09-28
CN103971400B (zh) 2018-02-02
CN103971400A (zh) 2014-08-06
TW201432548A (zh) 2014-08-16
US20140217178A1 (en) 2014-08-07
US20160321814A1 (en) 2016-11-03
WO2014123954A3 (en) 2014-10-16
EP2954390A2 (en) 2015-12-16

Similar Documents

Publication Publication Date Title
TWI587205B (zh) Method and system of three - dimensional interaction based on identification code
US11393173B2 (en) Mobile augmented reality system
US10977818B2 (en) Machine learning based model localization system
US11003956B2 (en) System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression
CN103839277B (zh) 一种户外大范围自然场景的移动增强现实注册方法
WO2019011249A1 (zh) 一种图像中物体姿态的确定方法、装置、设备及存储介质
EP3206163B1 (en) Image processing method, mobile device and method for generating a video image database
CN111459269B (zh) 一种增强现实显示方法、系统及计算机可读存储介质
Zhang et al. Synthetic aperture photography using a moving camera-IMU system
JP2014164483A (ja) データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム
Seo et al. Real-time visual tracking of less textured three-dimensional objects on mobile platforms
CN111815683B (zh) 目标定位方法及装置、电子设备和计算机可读介质
Hui et al. Determining shape and motion from monocular camera: A direct approach using normal flows
CN110033420B (zh) 一种图像融合的方法和装置
Gupta et al. Image feature detection using an improved implementation of maximally stable extremal regions for augmented reality applications
Oh et al. Mobile augmented reality system for Design Drawing visualization
Kobayashi et al. Planar markerless augmented reality using online orientation estimation

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees