TWI552596B - 分離的電腦視覺式位置及方向與慣性感測器式位置及方向之顯示 - Google Patents

分離的電腦視覺式位置及方向與慣性感測器式位置及方向之顯示 Download PDF

Info

Publication number
TWI552596B
TWI552596B TW102147644A TW102147644A TWI552596B TW I552596 B TWI552596 B TW I552596B TW 102147644 A TW102147644 A TW 102147644A TW 102147644 A TW102147644 A TW 102147644A TW I552596 B TWI552596 B TW I552596B
Authority
TW
Taiwan
Prior art keywords
orientation
mobile device
graphic
sensor
visual
Prior art date
Application number
TW102147644A
Other languages
English (en)
Other versions
TW201434315A (zh
Inventor
瑪荷許 瑞瑪屈安卓恩
克李斯多福 布魯那
愛爾文德 瑞曼安丹
史賓朵拉 瑟拉芬 迪茲
穆瑞里 瑞馬斯維米 查理
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201434315A publication Critical patent/TW201434315A/zh
Application granted granted Critical
Publication of TWI552596B publication Critical patent/TWI552596B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Description

分離的電腦視覺式位置及方向與慣性感測器式位置及方向之顯示
本文中所描述之主題之實施例大體而言係關於將電腦視覺式位置及方向及慣性感測器式位置及方向分離地用於視覺化應用程式中，且更特定言之，係關於顯示針對電腦視覺式位置及方向及慣性感測器式位置及方向之分別的圖形以提示使用者行動器件之移動。
諸如智慧型手機、平板型電腦、攝影機等等之愈來愈多數目個行動器件除了攝影機以外亦包括各種類型之慣性感測器。諸如加速計及迴轉儀之慣性感測器歸因於其在高取樣速率下量測加速度及角速度之能力而被用於追蹤行動器件之移動。諸如擴增實境、室內導航等等之許多應用程式使用慣性感測器與電腦視覺之組合以用於判定行動器件之位置及方向(位置及定向)及追蹤行動器件。
為了將慣性感測器用於準確位置判定，特別在將慣性感測器與電腦視覺技術組合時，需要對慣性感測器之準確校準。慣性感測器之校準包括將慣性感測器相對於攝影機對準，以及校準慣性感測器之尺度(scale)及非正交性參數。然而，慣性感測器之校準當前為耗時的工廠製程，每一個別行動器件皆需要慣性感測器之校準。在慣性感測器之工廠校準期間，執行行動器件之一系列精確移動且使該等精確移動與慣性感測器之回應相關。雖然存在用於用使用者運動校準感測器之 一些途徑，但此等途徑之效能嚴重地取決於供應與工廠運動品質相似的使用者運動。指示使用者提供複雜且又高度準確的運動係困難的。然而，在無此等充足運動的情況下，工廠校準(其帶來成本增加)為用以可靠地獲得準確校準參數之唯一方式。
一行動器件使用由一攝影機捕捉之影像判定一視覺式位置及方向，且使用來自諸如加速計及迴轉儀之慣性感測器之資料判定一感測器式位置及方向。該視覺式位置及方向及該感測器式位置及方向係分離地用於一視覺化應用程式中，該視覺化應用程式顯示針對該等不同位置及方向之分別的圖形。舉例而言，該視覺化應用程式可用以校準該等慣性感測器，其中該視覺化應用程式基於該視覺式位置及方向顯示一圖形且基於該感測器式位置及方向顯示一圖形，且提示一使用者隨該等所顯示圖形在一特定方向上移動該行動器件以加速對該等慣性感測器之校準的收斂。或者，該視覺化應用程式可為使用該視覺式位置及方向及該感測器式位置及方向顯示分別的圖形的一基於運動的遊戲或攝影應用程式。
在一實施中，一種方法包括：使用經捕捉影像判定一行動器件之一視覺式位置及方向；使用慣性感測器判定該行動器件之一感測器式位置及方向；及將該視覺式位置及方向及該感測器式位置及方向分離地用於一視覺化應用程式中。
在一實施中，一種行動器件包括：一攝影機，其捕捉一環境之影像；慣性感測器，其回應於該行動器件之移動而產生資料；一顯示器；及一處理器，其耦接至該顯示器、耦接至該攝影機以接收該環境之經捕捉影像且耦接至該等慣性感測器以接收回應於該行動器件之該移動的該資料，該處理器經組態以使用該等經捕捉影像判定該行動器件之一視覺式位置及方向；使用來自該等慣性感測器之該資料判定該 行動器件之一感測器式位置及方向；且使該顯示器基於該視覺式位置及方向展示一第一圖形且基於該感測器式位置及方向展示一第二圖形。
在一實施中，一種行動器件包括：用於使用經捕捉影像判定該行動器件之一視覺式位置及方向之構件；用於使用慣性感測器判定該行動器件之一感測器式位置及方向之構件；及用於將該視覺式位置及方向及該感測器式位置及方向分離地用於一視覺化應用程式中之構件。
在一實施中，一種儲存媒體(包括儲存於其上之程式碼)包括：用以使用經捕捉影像判定一行動器件之一視覺式位置及方向之程式碼；用以使用慣性感測器判定該行動器件之一感測器式位置及方向之程式碼；及用以將該視覺式位置及方向及該感測器式位置及方向分離地用於一視覺化應用程式中之程式碼。
100‧‧‧行動器件
101‧‧‧目標
102‧‧‧顯示器
104‧‧‧揚聲器
105‧‧‧控制單元
105b‧‧‧匯流排
105f‧‧‧韌體
105h‧‧‧硬體
105m‧‧‧相關聯的記憶體
105p‧‧‧處理器
105s‧‧‧軟體
106‧‧‧麥克風
108‧‧‧前向攝影機
110‧‧‧慣性感測器
112‧‧‧視覺位置及方向模組
114‧‧‧慣性感測系統(INS)
116‧‧‧呈現模組
118‧‧‧視覺化應用程式模組
119‧‧‧混合位置及方向模組
120‧‧‧第一圖形/視覺式圖形
122‧‧‧第二圖形/感測器式圖形
124‧‧‧文字
126H‧‧‧水平條
126V‧‧‧垂直條
132‧‧‧所顯示圖形/視覺式圖形
134‧‧‧分別的圖形/感測器式圖形
142‧‧‧所顯示圖形/視覺式圖形
144‧‧‧分別的圖形/感測器式圖形
150‧‧‧使用者介面
152‧‧‧小鍵盤
圖1說明能夠自經捕捉影像判定視覺式位置及方向及自慣性感測器判定感測器式位置及方向且將該視覺式位置及方向及該感測器式位置及方向分離地用於視覺化應用程式中的行動器件。
圖2說明可由行動器件用於視覺化應用程式中的圖形之一個可能實施。
圖3說明可由行動器件用於視覺化應用程式中的圖形之另一可能實施。
圖4說明可由行動器件用於視覺化應用程式中的圖形之另一可能實施。
圖5為說明將視覺式圖形及感測器式圖形分離地用於視覺化應用程式中之處理程序的流程圖。
圖6為說明將視覺式圖形、感測器式圖形及混合圖形用於視覺化 應用程式中之處理程序的流程圖。
圖7為說明用於校準慣性感測器之視覺化應用程式之特定實施例的流程圖。
圖8為能夠判定視覺式位置及方向及感測器式位置及方向且將視覺式圖形及感測器式圖形分離地用於視覺化應用程式中之行動器件的方塊圖。
圖1說明能夠自經捕捉影像判定視覺式位置及方向及自慣性感測器判定感測器式位置及方向，且將該視覺式位置及方向及該感測器式位置及方向分離地用於視覺化應用程式中的行動器件100。視覺化應用程式針對視覺式位置及方向及感測器式位置及方向顯示分別的圖形，該等圖形有時在本文中分別被稱作視覺式圖形及感測器式圖形。藉由實例，視覺化應用程式可用以校準慣性感測器、遊戲、攝影等等。舉例而言，可基於使用者回應於所顯示圖形對行動器件之操控而校準慣性感測器。行動器件100被說明為包括顯示器102，該顯示器102可為(但未必為)觸控螢幕顯示器。行動器件100包括用以使諸如目標101之環境成像之前向攝影機108，該目標101被說明為展示於顯示器102上。行動器件100亦包括慣性感測器110，諸如，加速計、迴轉儀或其類似者。行動器件100亦可包括與本發明不相關之其他特徵，諸如揚聲器104及麥克風106(例如，在行動器件100為蜂巢式電話的情況下)。
如本文中所使用，「行動器件」係指能夠根據經捕捉影像或視訊串流進行視覺式位置偵測及追蹤且包括慣性感測器的任何攜帶型電子器件，且可包括(例如)蜂巢式或其他無線通信器件、個人通信系統(PCS)器件、個人導航器件(PND)、個人資訊管理器(PIM)、個人數位助理(PDA)，或包括攝影機、無線通信器件、電腦、膝上型電腦、平 板型電腦，等等之其他合適行動器件。行動器件可(但未必需要)能夠接收無線通信及/或導航信號(諸如，導航定位信號)。術語「行動器件」亦意欲包括(諸如)藉由短程無線、紅外線、有線連接或其他連接而與個人導航器件(PND)通信的器件--而不管在器件處或在PND處是否會發生衛星信號接收、輔助資料接收及/或位置相關之處理。
行動器件100包括視覺位置及方向模組112，視覺位置及方向模組112使用由攝影機108捕捉之影像(例如，由攝影機108產生之系列視訊圖框)以產生視覺式位置及方向。視覺式位置及方向為使用電腦視覺技術而判定之行動器件之位置及定向。應理解，攝影機108可捕捉視訊影像及/或圖框，且術語影像及圖框在本文中可互換地使用。行動器件100進一步包括慣性感測系統(INS)114，該慣性感測系統114使用慣性感測器110之輸出以產生感測器式位置及方向。應理解，視覺式位置及方向及感測器式位置及方向中之一者或兩者可基於另一者而予以初始化，但在其他情況下(如本文中所使用)，視覺式位置及方向獨立於感測器式位置及方向，且感測器式位置及方向獨立於視覺式位置及方向。因此，在當前時刻，當呈現當前擴增集合時視覺式位置及方向及感測器式位置及方向係獨立的；但其可能在一過去時刻融合在一起。
行動器件100使用視覺化應用程式，該視覺化應用程式基於自經捕捉影像產生之視覺式位置及方向及自慣性感測器資料產生之感測器式位置及方向而在顯示器102上顯示分別的圖形。舉例而言，如圖1中所說明，行動器件100可基於藉由視覺位置及方向模組112產生之視覺式位置及方向而呈現第一圖形120，且基於藉由INS 114產生之感測器式位置及方向而呈現第二圖形122。視需要，視覺式圖形120及感測器式圖形122可為同一所呈現物件之不同色彩通道，或其可為不同物件。圖1將圖形120及122說明為球狀，但應理解，可使用任何類型之 圖形。此外，視需要，可將多個圖形用於視覺式位置及方向，且可將多個圖形用於感測器式位置及方向。舉例而言，如下文所論述，可基於視覺式位置及方向呈現一或多個水平條及一或多個垂直條，且相似地，可基於感測器式位置及方向呈現若干水平條及垂直條。視需要，所呈現圖形可更複雜或更生動，例如，可基於視覺式位置及方向呈現貓且可基於感測器式位置及方向呈現鼠，其中基於使用者運動，貓受控制以捕捉鼠。
視覺化應用程式分離地顯示視覺式圖形及感測器式圖形以提示使用者移動行動器件。舉例而言，視覺化應用程式可為娛樂，例如，遊戲。另一應用程式可與攝影有關。舉例而言，為了使用單一攝影機產生三維影像，將行動器件移動至不同視角，同時維持經成像對象在顯示器中居中。因此，視覺式圖形可被顯示為相對於對象靜止，而感測器式圖形之移動提示使用者將行動器件移動至不同視角以便維持視覺式圖形及感測器式圖形之對準。在另一實例中，為了產生全景，需要在橫搖攝影機的同時維持攝影機之位置。因此，感測器式圖形可被顯示為在顯示器中靜止，而視覺式圖形之移動提示使用者旋轉行動器件同時將位置保持靜止，以便維持視覺式圖形及感測器式圖形之對準。
視覺化應用程式之另一實例係用於慣性感測器110之校準。對慣性感測器110及攝影機108之對準以及尺度及非正交性之校準可將視覺式位置及方向用作外部量測。此外，基於視覺式圖形及感測器式圖形之顯示，使用者被提示隨校準之所要軌跡來移動行動器件100。因此，激勵使用者沿著所要軌跡移動行動器件以收集可饋送至校準演算法中之品質良好的資料。
行動器件100自慣性感測器110收集回應於行動器件100之移動而產生的資料，同時捕捉用以產生視覺式位置及方向之影像。視覺式位 置及方向及感測器資料可用於慣性感測器之校準。可呈現視覺式圖形120及感測器式圖形122以提示使用者移動行動器件，以及可對使用者進行關於慣性感測器之校準狀態(諸如，校準準確度及對校準參數之可信度)的回饋。因此，行動器件100可使用視覺化應用程式以允許使用者將慣性感測器校準準確度視覺化且基於對校準參數估計之可信度而適應性地改變使用者與行動器件之互動。
圖2藉由實例說明在校準慣性感測器時可由行動器件用於視覺化應用程式中的圖形之一個可能實施。如與圖1所示之行動器件100之位置及方向相比可看出，圖2中之行動器件100被說明為相對於目標101而旋轉。歸因於行動器件100之旋轉，感測器式圖形122已移動成與視覺式圖形120較緊密對準。手動地移動行動器件100以對準圖形之過程可提供回饋以相對於攝影機108校準慣性感測器110。此外，分別的圖形120及122之視覺顯示可將關於慣性感測器110至攝影機108之校準狀態之回饋提供給使用者。另外，如藉由圖2中之文字124所說明，可向使用者提供計分以指示對準之狀態。亦可將其他或另外回饋提供給使用者，諸如，可分別指示沿著水平軸線及垂直軸線之對準狀態的水平條126H及垂直條126V。此外，因為存在六個維度(三個供旋轉且三個供平移)，所以可顯示六個分別的圖形(例如，條或其他者)或其子集(例如，兩個或兩個以上圖形)。圖形120及122可經呈現為促使使用者在特定方向上移動行動器件以加速對慣性感測器之校準的收斂的遊戲之部分。換言之，可將校準程序作為為獲得娛樂所玩的遊戲呈現給使用者(而非繁重的管理處理程序)。舉例而言，在校準遊戲中，可週期性地移動視覺式圖形120之所顯示位置，從而要求使用者操控行動器件100之位置及定向以將感測器式圖形122與視覺式圖形120重新對準。因此，可提示使用者沿著一或多個軸線旋轉及/或移動行動器件100，且行動器件100之所得運動可用於校準。在具有愈來愈佳校準的 情況下，由慣性感測器估計之運動將與基於電腦視覺求解出之運動愈來愈緊密地匹配。當由慣性感測器估計之運動與基於電腦視覺求解出之運動之間的差在可基於系統之雜訊位準之一臨限範圍內匹配時，可將校準判定為可接受的。
預期對準及非正交性在電話之壽命內極慢地改變。因此，可不頻繁地執行對準及非正交性之校準。然而，尺度取決於溫度。雖然可以進行中的方式與偏置一起估計尺度，但聯合地估計對準、非正交性、尺度及偏置將很可能導致總體校準參數之準確度減低。因此，可週期性地執行行動器件100之使用者校準或在行動器件100受到機械應力的情況下進行行動器件100之使用者校準。
圖3說明在校準慣性感測器時可由行動器件用於視覺化應用程式中的圖形之另一可能實施。所顯示圖形132可基於電腦視覺位置及方向，且分別的圖形134可基於感測器式位置及方向。如圖3中所說明，視覺式圖形132可為迷宮，而感測器式圖形134可為待由使用者所產生的行動器件100之運動而移動通過迷宮的物件。因此，如圖3中可看出，使用者將被提示水平地及垂直地旋轉或移動行動器件100以將感測器式圖形134移動通過視覺式圖形132。行動器件100之運動可用以校準慣性感測器110。
圖4說明在校準慣性感測器時可由行動器件用於視覺化應用程式中的圖形之另一可能實施。所顯示圖形142可基於電腦視覺位置及方向，且分別的圖形144可基於感測器式位置及方向。可使用視覺式圖形142及感測器式圖形144(例如)以提示使用者(例如)沿著垂直於顯示器102而延伸之Z軸來旋轉行動器件100。另外，使用者可被提示前後移動行動器件100(例如，沿著垂直於顯示器102而延伸之軸線沿著Z軸而平移行動器件)，以變更圖形142、144中之一或多者之大小直至該等圖形之大小相似為止。相似地，使用者可被提示沿著X軸及Y軸移 動(平移)行動器件100以將圖形142、144對準，且可被提示基於圖形142、144之外觀圍繞X軸及Y軸旋轉行動器件100。因此，可看出，使用者可被提示以6個自由度移動行動器件。
圖5為說明將視覺式圖形及感測器式圖形分離地用於視覺化應用程式中之處理程序的流程圖。使用經捕捉影像判定行動器件之視覺式位置及方向(202)。可使用習知電腦視覺技術而產生行動器件之視覺式位置及方向。舉例而言，對於每一新影像，可使用FAST(來自加速片段測試之特徵)隅角偵測器、尺度不變特徵變換(SIFT)、加速穩固特徵(SURF)或任何其他所要方法來提取特徵。可將當前影像之經提取特徵與來自參考影像之特徵比較，參考影像可為已知或所獲悉目標之前一影像或模型。將當前影像中之經提取特徵之位置映射至參考影像之單應性(homography)可提供行動器件的相對於具有6個自由度之環境的位置及方向。
亦使用慣性感測器判定行動器件之感測器式位置及方向(204)。眾所周知，可藉由整合隨著時間推移(例如)來自加速計或迴轉儀之慣性感測器資料以判定隨著整合時間推移行動器件之位置及方向的改變來判定感測器式位置及方向。因此，藉由在與用攝影機捕捉環境之參考影像的同時起始慣性感測器之整合，可與判定視覺式位置及方向並行地判定行動器件之感測器式位置及方向。應理解，來自慣性感測器之資料提供位置及方向之相對改變。位置及方向之改變可用作感測器式位置及方向。或者，可(例如)使用電腦視覺技術或其他初始化技術來提供初始位置及方向，其中感測器式位置及方向可在自初始位置及方向改變時被判定。舉例而言，可按規則時間間隔(例如，每隔5個圖框)用視覺式位置及方向來初始化感測器式位置及方向。在彼等初始化圖框之間，將來自感測器之位置及方向之改變用作感測器式位置及方向。
將視覺式位置及方向及感測器式位置及方向分離地用於視覺化應用程式中(206)。換言之，視覺式位置及方向及感測器式位置及方向可由同一視覺化應用程式同時使用，但不將視覺式位置及方向及感測器式位置及方向組合以便分離地使用其。舉例而言，在視覺化應用程式中，可顯示基於視覺式位置及方向之第一圖形及基於感測器式位置及方向之第二圖形。視需要，可藉由呈現具有不同色彩通道之單一擴增字元而在視覺化應用程式中使用視覺式位置及方向及感測器式位置及方向。因此，第一圖形可為用於單一擴增字元之第一色彩通道，且第二圖形可為用於單一擴增字元之第二色彩通道。
如上文所論述，視覺化應用程式可使用經捕捉影像執行對慣性感測器之校準，其中第一圖形及第二圖形經呈現為基於對慣性感測器之校準而彼此互動。舉例而言，藉由基於慣性感測器之校準狀態而移動第一圖形及第二圖形中之至少一者，使用者可被提示在特定方向上移動行動器件，其中在特定方向上行動器件之移動加速了對慣性感測器之校準的收斂。舉例而言，在完成一個校準參數(例如，X軸)之校準之後，可移動第一圖形及/或第二圖形以提示使用者沿著Y軸移動行動器件。可以相似方式校準Z軸，以及圍繞各種軸線的旋轉。額外或替代性地，慣性感測器之校準狀態可為(例如)校準準確度、對校準參數之可信度、誤差協方差或誤差協方差之變化。誤差協方差或可信度之一實例為來自可用於校準程序之擴展卡爾曼濾波器(Extended Kalman Filter)之結果。另一實例可來自估計估計值之可靠性之另一演算法。提示使用者在特定方向上移動行動器件會將慣性感測器之校準品質用作對視覺化應用程式之回饋以加速對慣性感測器之校準的收斂。
然而，視覺化應用程式可用於除校準以外之其他處理程序。舉例而言，視覺化應用程式可為基於視覺式位置及方向顯示第一圖形且 基於感測器式位置及方向顯示第二圖形的行動器件之基於運動的遊戲或攝影應用程式。
視需要，可由視覺化應用程式在行動器件100中顯示額外資訊。 舉例而言，圖6為流程圖，其與圖5所示之流程圖相似，但包括由視覺化應用程式使用之額外資訊。因此，如可看出，判定視覺式位置及方向及感測器式位置及方向(202，204)。另外，一起使用經捕捉影像及慣性感測器來判定行動器件之混合式位置及方向(212)。舉例而言，視需要，可組合視覺式位置及方向及感測器式位置及方向，或可組合來自慣性感測器之資料及來自攝影機之資料以形成混合式位置及方向。視覺化應用程式(例如)藉由顯示表示每一位置及方向之分別的圖形而分離地使用視覺式位置及方向、感測器式位置及方向及混合式位置及方向(214)。應理解，無需在校準期間總是顯示基於視覺式位置及方向或感測器式位置及方向而顯示的圖形中之一者或兩者，例如，在對視覺式位置及方向之追蹤丟失時，可移除針對視覺式位置及方向而顯示之圖形，同時仍顯示針對感測器式位置及方向而顯示之圖形。
圖7為說明用於慣性感測器之呈校準應用程式之形式的視覺化應用程式之特定實施例的流程圖。如可看到，起始校準處理程序(302)。校準應用程式可代替工廠校準或除工廠校準以外亦存在校準應用程式，且校準應用程式可預安裝於行動器件100上。在准許使用慣性感測器之前，可需要自動起始校準應用程式，或替代地，使用者可在需要時起始該應用程式。可向使用者提供指令，諸如，關於在何處可找到適於產生準確電腦視覺位置及方向估計之富含特徵目標的資訊。行動器件100可被置放於特定位置中(例如，在水平表面上面向上)以用於初始化行動器件之位置及方向(304)。行動器件100可(例如)藉由發射音調而在初始化完成時向使用者進行指示。行動器件100判定感測器式位置及方向及分別的視覺式位置及方向(306)。舉例而 言，行動器件100捕捉參考目標之影像或視訊圖框以使用電腦視覺判定位置及方向且獲取追蹤，同時亦基於亦用於追蹤之慣性感測器判定位置及方向。藉由顯示與感測器式位置及方向及視覺式位置及方向有關之分別的圖形，將移動行動器件之指令提供給使用者(308)。在使用者移動行動器件時個別地追蹤感測器式位置及方向及視覺式位置及方向以改良校準(310)。
可基於對每一位置及方向估計之可信度而產生用於移動行動器件之指令，可自來自擴展卡爾曼濾波器之誤差協方差或自其他演算法導出可信度。舉例而言，若針對由量測圍繞Z軸之旋轉的迴轉儀產生的位置及方向之可信度低，則使用者可被指示圍繞Z軸旋轉行動器件，同時繼續捕捉參考目標之影像直至達到可信度之臨限值為止。可按照所顯示圖形之計分或改變來表達可信度臨限以促使使用者進行特定運動以增加估計之可信度。將計分及/或挑戰提供給使用者利用了遊戲玩家的為了增加其遊戲計分或完成挑戰而玩遊戲的普遍特性。每當對校準參數中之一者之校準完成(亦即，可信度位準增加超過臨限)時，就獎勵使用者分數。使用者完成所花費的時間亦可包括於計分中。因此，可激勵使用者操控行動器件以提供用於校準處理程序之輸入資料。因此，使用者與行動器件之互動可用於校準，藉此避免了對慣性感測器進行昂貴的工廠校準之需要。
圖8為能夠判定視覺式位置及方向及感測器式位置及方向且將視覺式圖形及感測器式圖形分離地用於視覺化應用程式中之行動器件100的方塊圖。行動器件100包括攝影機108以及諸如加速計、迴轉儀或其類似者之慣性感測器110。行動器件100進一步包括使用者介面150，使用者介面150包括顯示器102以及小鍵盤152或使用者可藉以將資訊輸入至行動器件100中的其他輸入器件。視需要，藉由將虛擬小鍵盤整合至具有觸控感測器(或示意動作控制)的顯示器102中，可取 消小鍵盤152。使用者介面150亦可包括麥克風106及揚聲器104(例如，在行動器件100為蜂巢式電話或其類似者時)。當然，行動器件100可包括與本發明不相關之其他元件。
行動器件100亦包括控制單元105，控制單元105連接至攝影機108、慣性感測器110以及使用者介面150(包括顯示器102)且與攝影機108、慣性感測器110以及使用者介面150(包括顯示器102)通信。控制單元105可由匯流排105b、處理器105p及相關聯的記憶體105m、硬體105h、韌體105f及軟體105s提供。控制單元105接收及處理如上文所論述的由攝影機捕捉之影像以及自慣性感測器110獲得之資料。控制單元105進一步被說明為包括視覺位置及方向模組112，視覺位置及方向模組112使用電腦視覺技術來使用由攝影機108捕捉之影像產生視覺式位置及方向。行動器件100進一步包括INS 114，INS 114使用慣性感測器110之輸出以產生感測器式位置及方向。呈現模組116產生待提供給使用者之視覺式圖形及感測器式圖形及任何其他圖形資料，其被展示於顯示器102上。另外，視覺化應用程式模組118使用視覺式位置及方向及感測器式位置及方向，且使得將顯示來自呈現模組116之圖形。舉例而言，視覺化應用程式模組118可為基於視覺式位置及方向及感測器式位置及方向校準慣性感測器110之校準模組(如上文所論述)，或可替代地為基於運動的遊戲或其他適當類型之應用程式(諸如，攝影應用程式)。可包括混合位置及方向模組119以基於經組合的視覺式位置及方向及感測器式位置及方向而判定行動器件之位置及方向，或以其他方式基於經捕捉影像及慣性感測器資料來判定行動器件之位置及方向。
為清楚起見，將視覺位置及方向模組112、INS 114、呈現模組116、視覺化應用程式模組118及混合位置及方向模組119與處理器105p分開加以說明，但其可為處理器105p之部件或基於執行於處理器 105p中之軟體105s中之指令而在處理器中予以實施。應理解，如本文中所使用，處理器105p可(但未必需要)包括一或多個微處理器、嵌入式處理器、控制器、特殊應用積體電路(ASIC)、數位信號處理器(DSP)，及其類似者。術語處理器意欲描述由系統而非特定硬體實施之功能。此外，如本文中所使用，術語「記憶體」係指任何類型之電腦儲存媒體，包括與行動器件相關聯之長期、短期或其他記憶體，且將不限於任何特定類型之記憶體或數目之記憶體，或供儲存記憶體之媒體類型。
取決於應用，可藉由各種構件來實施本文中所描述之方法。舉例而言，可以硬體105h、韌體105f、軟體105s或其任何組合來實施此等方法。對於硬體實施，處理單元可經實施於一或多個特殊應用積體電路(ASIC)、數位信號處理器(DSP)、數位信號處理器件(DSPD)、可程式化邏輯器件(PLD)、場可程式化閘陣列(FPGA)、處理器、控制器、微控制器、微處理器、電子器件、經設計以執行本文中所描述之功能的其他電子單元或其組合內。
對於韌體及/或軟體實施，可藉由執行本文中所描述之功能的模組(例如，程序、函式，等等)來實施該等方法。有形地體現指令之任何機器可讀媒體可用於實施本文中所描述之方法。舉例而言，軟體程式碼可儲存於記憶體105m中且由處理器105p執行。記憶體105m可經實施於處理器105p內或處理器105p外部。若以韌體及/或軟體予以實施，則功能可作為一或多個指令或程式碼而儲存於電腦可讀的儲存媒體上，其中儲存媒體不包括暫時性傳播信號。實例包括用資料結構編碼之儲存媒體及用電腦程式編碼之儲存器。儲存媒體包括實體電腦儲存媒體。儲存媒體可為可由電腦存取之任何可用媒體。藉由實例而非限制，此等儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件，或可用以儲存呈指 令或資料結構形式之所要程式碼且可藉由電腦存取的任何其他媒體；如本文中所使用之磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於儲存媒體之範疇內。
因此，行動器件100包括用於使用經捕捉影像判定行動器件之視覺式位置及方向之構件，該構件可包括(例如)攝影機108以及視覺位置及方向模組112。用於使用慣性感測器判定行動器件之感測器式位置及方向之構件可包括(例如)慣性感測器110及INS 114。用於將視覺式位置及方向及感測器式位置及方向分離地用於視覺化應用程式中之構件可包括(例如)視覺化應用程式模組118，視覺化應用程式模組118可為(例如)校準模組、基於運動的遊戲，或攝影應用程式。用於使用經捕捉影像及慣性感測器判定行動器件之混合式位置及方向的構件可為混合位置及方向模組119，混合位置及方向模組119可組合視覺式位置及方向及感測器式位置及方向，或以其他方式基於經捕捉影像及慣性感測器資料判定位置及方向。
儘管出於指導目的結合特定實施例來說明本發明，但本發明不限於此。可在不脫離本發明之範疇的情況下進行各種調適及修改。因此，附加申請專利範圍之精神及範疇應不限於前述描述。

Claims (27)

  1. 一種顯示方法，其包含：使用經捕捉影像判定一行動器件之一視覺式位置及方向；使用慣性感測器判定該行動器件之一感測器式位置及方向；及將該視覺式位置及方向及該感測器式位置及方向分離地用於一視覺化應用程式中。
  2. 如請求項1之顯示方法，其進一步包含使用該等經捕捉影像及該等慣性感測器判定該行動器件之一混合式位置及方向，且將該混合式位置及方向用於該視覺化應用程式中。
  3. 如請求項1之顯示方法，其中將該視覺式位置及方向及該感測器式位置及方向分離地用於該視覺化應用程式中包含基於該視覺式位置及方向顯示一第一圖形且基於該感測器式位置及方向顯示一第二圖形。
  4. 如請求項3之顯示方法，其中將該視覺式位置及方向及該感測器式位置及方向用於該視覺化應用程式中包含呈現一單一擴增字元，其中該第一圖形為用於該單一擴增字元之一第一色彩通道，且該第二圖形為用於該單一擴增字元之一第二色彩通道。
  5. 如請求項3之顯示方法，其中將該視覺式位置及方向及該感測器式位置及方向分離地用於該視覺化應用程式中包含使用該等經捕捉影像執行對該等慣性感測器之校準，其中基於對該等慣性感測器之該校準而呈現該第一圖形及該第二圖形。
  6. 如請求項5之顯示方法，其中基於對該等慣性感測器之該校準之一品質而呈現該第一圖形及該第二圖形，其中對該等慣性感測器之該校準之該品質係選自由校準準確度、對一校準參數之可 信度、一誤差協方差及該誤差協方差之一變化組成的群組。
  7. 如請求項5之顯示方法，其中將該視覺式位置及方向及該感測器式位置及方向分離地用於該視覺化應用程式中包含：提示一使用者隨該第一圖形及該第二圖形在一特定方向上移動該行動器件，其中在該特定方向上該行動器件之移動會加速對該等慣性感測器之該校準的收斂。
  8. 如請求項1之顯示方法，其中該視覺化應用程式為基於該視覺式位置及方向及該感測器式位置及方向而在該行動器件上顯示圖形的該行動器件之一基於運動的遊戲及一攝影應用程式中之一者。
  9. 一種行動器件，其包含：一攝影機，其捕捉一環境之影像；慣性感測器，其回應於該行動器件之移動而產生資料；一顯示器；及一處理器，其耦接至該顯示器、耦接至該攝影機以接收該環境之經捕捉影像且耦接至該等慣性感測器以接收回應於該行動器件之該移動的該資料，該處理器經組態以使用該等經捕捉影像判定該行動器件之一視覺式位置及方向；使用來自該等慣性感測器之該資料判定該行動器件之一感測器式位置及方向；且使該顯示器基於該視覺式位置及方向展示一第一圖形且基於該感測器式位置及方向展示一第二圖形。
  10. 如請求項9之行動器件，其中該處理器經進一步組態以使用該等經捕捉影像及該等慣性感測器判定該行動器件之一混合式位置及方向，且使該顯示器基於該混合式位置及方向展示一第三圖形。
  11. 如請求項9之行動器件，其中該處理器經組態以藉由經組態以使 該顯示器展示一單一擴增字元而使該顯示器基於該視覺式位置及方向展示該第一圖形且基於該感測器式位置及方向展示該第二圖形，其中該第一圖形為該單一擴增字元之一第一色彩通道且該第二圖形為該單一擴增字元之一第二色彩通道。
  12. 如請求項9之行動器件，其中該處理器經進一步組態以使用該視覺式位置及方向及該感測器式位置及方向校準該等慣性感測器，其中該處理器經組態以使該顯示器基於對該等慣性感測器之該校準而展示該第一圖形及該第二圖形。
  13. 如請求項12之行動器件，其中該處理器經組態以基於對該等慣性感測器之該校準之一品質而呈現該第一圖形及該第二圖形，其中對該等慣性感測器之該校準之該品質係選自由校準準確度、對一校準參數之可信度、一誤差協方差及該誤差協方差之一變化組成的群組。
  14. 如請求項12之行動器件，其中該處理器經進一步組態以提示一使用者隨該第一圖形及該第二圖形在一特定方向上移動該行動器件，其中在該特定方向上該行動器件之該移動會加速對該等慣性感測器之該校準的收斂。
  15. 如請求項9之行動器件，其中該處理器經組態以使該顯示器回應於該行動器件之一基於運動的遊戲及一攝影應用程式中之一者而展示該第一圖形及該第二圖形。
  16. 一種行動器件，其包含：用於使用經捕捉影像判定該行動器件之一視覺式位置及方向之構件；用於使用慣性感測器判定該行動器件之一感測器式位置及方向之構件；及用於將該視覺式位置及方向及該感測器式位置及方向分離地 用於一視覺化應用程式中之構件。
  17. 如請求項16之行動器件，其進一步包含用於使用該等經捕捉影像及該等慣性感測器判定該行動器件之一混合式位置及方向之構件，且其中用於將該視覺式位置及方向及該感測器式位置及方向分離地用於該視覺化應用程式中之該構件進一步使用該混合式位置及方向。
  18. 如請求項16之行動器件，其中用於將該視覺式位置及方向及該感測器式位置及方向分離地用於該視覺化應用程式中之該構件基於該視覺式位置及方向顯示一第一圖形且基於該感測器式位置及方向顯示一第二圖形。
  19. 如請求項18之行動器件，其中用於將該視覺式位置及方向及該感測器式位置及方向用於該視覺化應用程式中之該構件呈現一單一擴增字元，其中該第一圖形為用於該單一擴增字元之一第一色彩通道且該第二圖形為用於該單一擴增字元之一第二色彩通道。
  20. 如請求項18之行動器件，其中用於將該視覺式位置及方向及該感測器式位置及方向用於該視覺化應用程式中之該構件使用該等經捕捉影像執行對該等慣性感測器之校準，其中基於對該等慣性感測器之該校準而呈現該第一圖形及該第二圖形。
  21. 如請求項20之行動器件，其中用於將該視覺式位置及方向及該感測器式位置及方向分離地用於該視覺化應用程式中之該構件提示一使用者隨該第一圖形及該第二圖形在一特定方向上移動該行動器件，其中在該特定方向上該行動器件之移動會加速對該等慣性感測器之該校準的收斂。
  22. 如請求項16之行動器件，其中該視覺化應用程式為一基於運動的遊戲及一攝影應用程式中之一者。
  23. 一種儲存媒體，其包括儲存於其上之程式碼，其包含：用以使用經捕捉影像判定一行動器件之一視覺式位置及方向之程式碼；用以使用慣性感測器判定該行動器件之一感測器式位置及方向之程式碼；及用以將該視覺式位置及方向及該感測器式位置及方向分離地用於一視覺化應用程式中之程式碼。
  24. 如請求項23之儲存媒體，其中用以將該視覺式位置及方向及該感測器式位置及方向分離地用於該視覺化應用程式中之該程式碼包含用以基於該視覺式位置及方向顯示一第一圖形且基於該感測器式位置及方向顯示一第二圖形之程式碼。
  25. 如請求項24之儲存媒體，其中用以將該視覺式位置及方向及該感測器式位置及方向分離地用於該視覺化應用程式中之該程式碼包含用以使用該等經捕捉影像執行對該等慣性感測器之校準之程式碼，其中基於對該等慣性感測器之該校準而呈現該第一圖形及該第二圖形。
  26. 如請求項25之儲存媒體，其中用以將該視覺式位置及方向及該感測器式位置及方向分離地用於該視覺化應用程式中之該程式碼包含：用以提示一使用者隨該第一圖形及該第二圖形在一特定方向上移動該行動器件之程式碼，其中在該特定方向上該行動器件之移動會加速對該等慣性感測器之該校準的收斂。
  27. 如請求項23之儲存媒體，其中該視覺化應用程式為基於該視覺式位置及方向及該感測器式位置及方向而在該行動器件上顯示圖形的該行動器件之一基於運動的遊戲及一攝影應用程式中之一者。
TW102147644A 2012-12-21 2013-12-20 分離的電腦視覺式位置及方向與慣性感測器式位置及方向之顯示 TWI552596B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/725,175 US10444845B2 (en) 2012-12-21 2012-12-21 Display of separate computer vision based pose and inertial sensor based pose

Publications (2)

Publication Number Publication Date
TW201434315A TW201434315A (zh) 2014-09-01
TWI552596B true TWI552596B (zh) 2016-10-01

Family

ID=49817312

Family Applications (2)

Application Number Title Priority Date Filing Date
TW102147644A TWI552596B (zh) 2012-12-21 2013-12-20 分離的電腦視覺式位置及方向與慣性感測器式位置及方向之顯示
TW105112885A TWI593289B (zh) 2012-12-21 2013-12-20 分離的電腦視覺式位置及方向與慣性感測器式位置及方向之顯示

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW105112885A TWI593289B (zh) 2012-12-21 2013-12-20 分離的電腦視覺式位置及方向與慣性感測器式位置及方向之顯示

Country Status (8)

Country Link
US (1) US10444845B2 (zh)
EP (1) EP2936060B1 (zh)
JP (1) JP6285955B2 (zh)
KR (1) KR20150099570A (zh)
CN (1) CN104870941B (zh)
BR (1) BR112015015073A2 (zh)
TW (2) TWI552596B (zh)
WO (1) WO2014099410A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292936B2 (en) * 2013-01-09 2016-03-22 Omiimii Ltd. Method and apparatus for determining location
DE102015203968A1 (de) * 2014-12-12 2016-06-16 Robert Bosch Gmbh Vorrichtung zum Abgleich und Selbsttest von Inertialsensoren und Verfahren
US9594980B1 (en) * 2015-01-19 2017-03-14 Ricoh Co., Ltd. Image acquisition user interface for linear panoramic image stitching
JP6565465B2 (ja) * 2015-08-12 2019-08-28 セイコーエプソン株式会社 画像表示装置、コンピュータープログラム、および画像表示システム
CN107923740B (zh) * 2015-09-09 2020-08-11 索尼公司 传感器设备、传感器系统以及信息处理设备
US10104282B2 (en) * 2015-09-30 2018-10-16 Ricoh Co., Ltd. Yaw user interface
US10073531B2 (en) * 2015-10-07 2018-09-11 Google Llc Electronic device pose identification based on imagery and non-image sensor data
CN105719299A (zh) * 2016-01-22 2016-06-29 吉林大学 分离的计算机视觉位置及方向与惯性传感器位置及方向的显示
US10078377B2 (en) 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
JP2017224984A (ja) * 2016-06-15 2017-12-21 セイコーエプソン株式会社 プログラム、装置、キャリブレーション方法
DE102016211244B4 (de) * 2016-06-23 2018-01-18 Kuka Roboter Gmbh Roboter-Bedienhandgerätverbund mit einem Grundsteuerungs-Lagesensor
JP2018009836A (ja) 2016-07-12 2018-01-18 セイコーエプソン株式会社 プログラム、頭部装着型表示装置、キャリブレーション方法
CN112184829A (zh) * 2016-08-29 2021-01-05 华为技术有限公司 一种调整扫描状态的方法及装置
IL270146B1 (en) * 2017-04-27 2024-03-01 Magic Leap Inc Light emitting assembly for illuminating light patterns
US10365710B2 (en) * 2017-06-23 2019-07-30 Seiko Epson Corporation Head-mounted display device configured to display a visual element at a location derived from sensor data and perform calibration
US10970425B2 (en) * 2017-12-26 2021-04-06 Seiko Epson Corporation Object detection and tracking
GB2573271B (en) * 2018-03-27 2022-04-06 Displaylink Uk Ltd Data transmission to mobile devices
CN111829552B (zh) * 2019-04-19 2023-01-06 北京魔门塔科技有限公司 一种视觉惯性系统的误差修正方法和装置
CN111027438B (zh) * 2019-12-03 2023-06-02 Oppo广东移动通信有限公司 一种人体姿态的迁移方法、移动终端以及计算机存储介质
CN112362084A (zh) * 2020-11-23 2021-02-12 北京三快在线科技有限公司 一种数据标定方法、装置及数据标定系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI333156B (en) * 2007-08-16 2010-11-11 Ind Tech Res Inst Inertia sensing input controller and receiver and interactive system using thereof
TWI341692B (en) * 2005-12-26 2011-05-01 Ind Tech Res Inst Online interactive multimedia system and the trasnsmission method thereof
US20110178708A1 (en) * 2010-01-18 2011-07-21 Qualcomm Incorporated Using object to align and calibrate inertial navigation system
TWI348639B (en) * 2005-12-16 2011-09-11 Ind Tech Res Inst Motion recognition system and method for controlling electronic device
US20110310283A1 (en) * 2010-06-17 2011-12-22 Canon Kabushiki Kaisha Imaging apparatus, control method thereof, and program
US20120206129A1 (en) * 2011-02-11 2012-08-16 Research In Motion Limited System and method for calibrating a magnetometer with visual affordance

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7554578B2 (en) 2000-07-11 2009-06-30 Phase One A/S Digital camera with integrated accelerometers
JP4007899B2 (ja) * 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
DE10318500A1 (de) 2003-04-24 2004-11-25 Robert Bosch Gmbh Vorrichtung und Verfahren zur Kalibrierung eines Bildsensors
JP4532856B2 (ja) 2003-07-08 2010-08-25 キヤノン株式会社 位置姿勢計測方法及び装置
JP2005050189A (ja) 2003-07-30 2005-02-24 Canon Inc 画像処理装置およびその方法並びにプログラムコード、記憶媒体
JP4726194B2 (ja) 2005-04-01 2011-07-20 キヤノン株式会社 キャリブレーション方法及び装置
US8255161B2 (en) 2008-10-03 2012-08-28 Honeywell International Inc. System and method of auto-calibration of inertial sensors
KR101556150B1 (ko) * 2008-12-31 2015-09-30 엘지전자 주식회사 드럼세탁기
KR101557678B1 (ko) 2009-04-22 2015-10-19 삼성전자주식회사 휴대 단말기의 캘리브레이션 방법 및 장치
US8945720B2 (en) * 2009-08-06 2015-02-03 National Oilwell Varco, L.P. Hard composite with deformable constituent and method of applying to earth-engaging tool
JP5448073B2 (ja) 2010-01-12 2014-03-19 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、選択対象の選択方法
JP5564300B2 (ja) 2010-03-19 2014-07-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
US8694051B2 (en) 2010-05-07 2014-04-08 Qualcomm Incorporated Orientation sensor calibration
US9052202B2 (en) 2010-06-10 2015-06-09 Qualcomm Incorporated Use of inertial sensor data to improve mobile station positioning
US8705909B2 (en) * 2010-07-16 2014-04-22 Ibiden Co., Ltd. Optical interconnect
US9341720B2 (en) 2011-01-11 2016-05-17 Qualcomm Incorporated Camera-based position location and navigation based on image processing
US8912970B1 (en) * 2011-03-18 2014-12-16 The Boeing Company Antenna element with integral faraday cage
US8912979B1 (en) * 2011-07-14 2014-12-16 Google Inc. Virtual window in head-mounted display
US9270885B2 (en) 2012-10-26 2016-02-23 Google Inc. Method, system, and computer program product for gamifying the process of obtaining panoramic images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI348639B (en) * 2005-12-16 2011-09-11 Ind Tech Res Inst Motion recognition system and method for controlling electronic device
TWI341692B (en) * 2005-12-26 2011-05-01 Ind Tech Res Inst Online interactive multimedia system and the trasnsmission method thereof
TWI333156B (en) * 2007-08-16 2010-11-11 Ind Tech Res Inst Inertia sensing input controller and receiver and interactive system using thereof
US20110178708A1 (en) * 2010-01-18 2011-07-21 Qualcomm Incorporated Using object to align and calibrate inertial navigation system
US20110310283A1 (en) * 2010-06-17 2011-12-22 Canon Kabushiki Kaisha Imaging apparatus, control method thereof, and program
US20120206129A1 (en) * 2011-02-11 2012-08-16 Research In Motion Limited System and method for calibrating a magnetometer with visual affordance

Also Published As

Publication number Publication date
CN104870941B (zh) 2019-07-19
CN104870941A (zh) 2015-08-26
EP2936060C0 (en) 2023-10-11
EP2936060A1 (en) 2015-10-28
BR112015015073A2 (pt) 2017-07-11
JP2016502210A (ja) 2016-01-21
US10444845B2 (en) 2019-10-15
TWI593289B (zh) 2017-07-21
US20140176418A1 (en) 2014-06-26
TW201630405A (zh) 2016-08-16
EP2936060B1 (en) 2023-10-11
WO2014099410A1 (en) 2014-06-26
JP6285955B2 (ja) 2018-02-28
TW201434315A (zh) 2014-09-01
KR20150099570A (ko) 2015-08-31

Similar Documents

Publication Publication Date Title
TWI552596B (zh) 分離的電腦視覺式位置及方向與慣性感測器式位置及方向之顯示
US10864433B2 (en) Using a portable device to interact with a virtual space
US9084938B2 (en) Handheld device for spectator viewing of an interactive application
US8970624B2 (en) Entertainment device, system, and method
US10839544B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable storage medium
EP2354893B1 (en) Reducing inertial-based motion estimation drift of a game input controller with an image-based motion estimation
JP5660648B2 (ja) マルチユーザ拡張現実におけるオンライン参照生成および追跡
US8933986B2 (en) North centered orientation tracking in uninformed environments
JP5697487B2 (ja) 画像処理システム、画像処理方法、画像処理装置、および画像処理用プログラム
JP6456347B2 (ja) 平面固有の特徴のターゲットのｉｎｓｉｔｕ生成
JP5774226B2 (ja) 方位センサに基づくホモグラフィ分解の曖昧性の解決
JP2008502206A (ja) デュアル・カメラ入力を用いたセンサ
JP2008171280A (ja) 位置検出装置、位置検出方法、及び位置検出プログラム
US20130076894A1 (en) Position and rotation of a portable device relative to a television screen
EP3514763A1 (en) Information processing device, information processing method, and program
US8885878B2 (en) Interactive secret sharing
JP2015230699A (ja) 情報処理システム及び情報処理プログラム
JP4878240B2 (ja) 画像表示制御装置、画像表示方法及びプログラム
KR102614102B1 (ko) 실물 객체에 대한 정밀한 추적을 위한 자동화된 캘리브레이션 시스템, 캘리브레이션 방법 및 캘리브레이션 방법을 기초로 이미지 내에서 실물 객체를 추적하고 실물 객체에 가상 모델을 증강하는 방법
WO2023090213A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN105719299A (zh) 分离的计算机视觉位置及方向与惯性传感器位置及方向的显示