TW201832185A - 利用陀螺儀的相機自動校準 - Google Patents

利用陀螺儀的相機自動校準 Download PDF

Info

Publication number
TW201832185A
TW201832185A TW106145906A TW106145906A TW201832185A TW 201832185 A TW201832185 A TW 201832185A TW 106145906 A TW106145906 A TW 106145906A TW 106145906 A TW106145906 A TW 106145906A TW 201832185 A TW201832185 A TW 201832185A
Authority
TW
Taiwan
Prior art keywords
image frame
camera
point
processor
calibration parameters
Prior art date
Application number
TW106145906A
Other languages
English (en)
Inventor
嘉祺 宋
蓋瑞 麥格拉斯
克里斯多夫 布魯爾
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201832185A publication Critical patent/TW201832185A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Gyroscopes (AREA)

Abstract

實施例包括用於自動對相機進行校準的設備和方法。在各個實施例中，圖像感測器可以擷取圖像。可以預測和偵測包括在所擷取的圖像訊框中的一或多個點的位置。可以基於選擇的點在圖像訊框內的預測位置和選擇的點在所擷取的圖像訊框內的觀察位置之間的差值，來計算校準參數。可以對自動相機校準方法進行重複，直到校準參數滿足校準品質閾值為止。

Description

利用陀螺儀的相機自動校準
本專利申請案主張享有於2017年2月16日提出申請的、題為「Camera Auto-Calibration with Gyroscope」的美國臨時申請案第62/459,879號的利益，經由引用的方式將其全部內容併入本文。
本案係關於利用陀螺儀的相機自動校準。
為了處理數位圖像，需要對包括在電子設備內的相機進行校準。通常，相機在電子設備的製造商處已經被校準。然而，該校準增加了製造過程並且不支援對相機的後續校準。
各個實施例包括用於對相機進行校準的方法以及具有用於實現該等方法的處理器的電子設備。各個實施例可以包括：接收第一圖像訊框；在該第一圖像訊框中選擇至少一個點；接收第二圖像訊框；決定該至少一個點在該第二圖像訊框中的位置；在該處理器中從陀螺儀接收與該第一圖像訊框和該第二圖像訊框之間的時間相對應的、該相機的旋轉速度的量測結果；基於該相機的旋轉速度的該量測結果和該至少一個點在該第一圖像訊框中的該位置，來計算所選擇的至少一個點在該第二圖像訊框中的預測位置；基於所選擇的至少一個點在所接收的第二圖像訊框中的預測位置之間的差值，來計算用於該相機的校準參數；及使用所計算的校準參數來處理來自該相機的資料。
一些實施例亦可以包括：在記憶體中儲存該至少一個點在該第二圖像訊框中的該決定位置；及在該記憶體中儲存所選擇的至少一個點在該第二圖像訊框中的該預測位置，其中基於所選擇的至少一個點在該第二圖像訊框中的該預測位置與所選擇的至少一個點在所接收的第二圖像訊框中的決定位置之間的差值，來計算用於該相機的校準參數包括：基於該至少一個點在該第二圖像訊框中的所儲存的決定位置和該至少一個點在該第二圖像訊框中的預測位置，來計算該等校準參數。
一些實施例亦可以包括：計算所計算的用於該相機的校準參數的品質或置信度值；決定所計算的校準參數的該品質或置信度值是否超過閾值；回應於決定所計算的校準參數的該品質或置信度值超過該閾值，使用所計算的校準參數來對上文概述的方法的至少一些操作進行重複，以處理來自該相機的資料，以產生下一圖像訊框；及回應於決定所計算的校準參數的該品質或置信度值未超過該閾值，使用所計算的校準參數或先前計算的校準參數來處理來自該相機的資料。
在一些實施例中，基於所選擇的至少一個點在該第二圖像訊框中的該預測位置與所選擇的至少一個點在所接收的第二圖像訊框中的決定位置之間的差值，來計算用於該相機的校準參數可以包括：將所選擇的至少一個點在該第二圖像訊框中的該預測位置和所選擇的至少一個點在所接收的第二圖像訊框中的該決定位置應用於卡爾曼濾波器（Kalman filter）。在該等實施例中，該卡爾曼濾波器可以是擴展型卡爾曼濾波器。
在一些實施例中，使用所計算的校準參數來處理來自該相機的資料可以包括：使用所計算的校準參數來處理來自該相機的資料，以矯正由鏡頭導致的畸變。在一些實施例中，使用所計算的校準參數來處理來自該相機的資料可以包括：使用所計算的校準參數作為電腦視覺演算法或機器視覺演算法的輸入。
在一些實施例中，該處理器和該陀螺儀可以被包括在該相機內。在一些實施例中，該相機可以是電子設備，並且該處理器和該陀螺儀可以在該電子設備中。在一些實施例中，該相機可以在包括航空電子單元的無人機上，並且基於所選擇的至少一個點在該第二圖像訊框中的該預測位置與所選擇的至少一個點在所接收的第二圖像訊框中的決定位置之間的差值，來計算用於該相機的校準參數可以包括：基於從該航空電子單元接收的平移速度資訊、加速度資訊，或者平移速度資訊和加速度資訊二者來計算該等校準參數。
各個實施例亦可以包括電子設備，其具有相機、陀螺儀、記憶體，以及被配置有處理器可執行指令的處理器，該等處理器可執行指令用於執行上文概述的方法的操作。各個實施例包括處理設備，其用於在電子設備中使用並且被配置為執行上文概述的方法的操作。各個實施例包括電子設備，其具有用於執行上文概述的方法的功能的構件。
將參照附圖詳細描述各個實施例。只要有可能，貫穿附圖將使用相同的元件符號來代表相同或相似的部件。對特定實例和實施例進行的引用是出於說明性的目的，並非意欲限制申請專利範圍的範疇。
各個實施例包括可以在電子設備的處理器上實現的用於對相機進行校準而不需要已知目標的方法。各個實施例可以包括陀螺儀，其被配置為量測相機如何移動，其中可以經由對物體在該相機所擷取的連續圖像訊框上的運動與相應的陀螺儀讀數進行比較來決定相機校準參數。經由校準方法決定的校準參數可以用於處理來自相機的原始圖像資料，以產生數位圖像。校準參數可以直接用在相機所產生的圖像訊框上，以便例如矯正由鏡頭導致的任何畸變。校準參數亦可以用作使用相機圖像資料的演算法的輸入參數。例如，基於視覺的定位演算法要求良好的校準參數，以便產生準確的結果。
各個實施例不要求已知目標並且校準可以由電子設備自動執行（例如，沒有使用者干預）及/或在後臺中執行（例如，在使用者不知情的情況下）。各個實施例可以經由在工廠外執行校準來降低製造成本和複雜度，並且使相機能夠隨著時間被校準。另外，各個實施例使用在習知的校準方法中不可用的另外的校準參數。例如，校準參數可以包括相機和陀螺儀之間的相對朝向、時間關係或者與圖像擷取和陀螺儀量測相對應的對準參數。
相機已經被實現在各種電子設備中，例如智慧型電話、無人機、汽車、家庭安全系統甚至吸塵器。相機所擷取的圖像不再是僅用於照相或記錄視訊。替代地，可以從相機所擷取的圖像中提取資訊，以在沒有使用者互動的情況下做出另外的決策或執行另外的動作。例如，電腦視覺（CV）演算法或機器視覺（MV）演算法可以針對各種應用（包括定位、映射、物體偵測、三維重構等）來從擷取的圖像中提取資訊。由於CV或MV依靠對真實世界物體如何顯現在擷取的圖像中進行建模，因此當對相機擷取的圖像進行處理時，需要高水平的準確度。
為了達到高水平的準確度，通常採用如下程序來對數位相機進行校準：辨識與相機相對應的、為了提供從數位圖像到真實世界物體的準確且一致的映射所需要的校準參數的程序。例如，在處理原始圖像資料時使用校準參數，使得真實世界中的直線在所產生的圖像中亦顯現為直的，並且真實世界中的圓形物體在所產生的圖像中不變成橢圓形。例如，基於視覺的定位演算法可以要求良好的校準參數，以便將物體（或相機）正確地放置在真實世界內。校準參數可以包括內在參數（例如，取決於相機的元件的參數，例如主點、焦距、鏡頭畸變等）及/或外在參數（例如，與相機相對於其他感測器的位置及/或朝向相對應的參數或者圖像擷取和感測器讀數之間的時間關係）。
由於製造差異，因此每個相機皆是獨特的並且需要個別地進行校準。通常，校準是在製造商處執行的，其中相機被置於距具有已知大小、形狀和質地的目標物體已知的距離處。常用的目標是棋盤。當在校準期間採用棋盤時，可以將目標的已知形狀和尺寸與目標的結果圖像進行比較，以計算用於相機的校準參數。
然而，在製造期間執行校準要求可能是耗時的另外的步驟。另外，終端使用者可能無法獲得在製造商處的校準中使用的特殊設備和軟體，因此通常僅執行一次相機校準。在製造處執行的校準可能不是永遠有效的，是因為相機的一些尺寸特性可能因實體或環境變化而隨時間改變。例如，顯著的加速或減速事件（例如，碰撞或掉落）或者溫度或濕度因素的巨大變化可能影響相機的鏡頭與圖像感測器之間的尺寸和角度。此情形對於安裝在機器或機器人上的相機而言可能是尤其成問題的。例如，與智慧型電話相比，室外設備（例如，飛行的無人機或汽車）可能面對嚴酷的環境條件。
其他校準方法要求使用者幹預。另外，經由使用者差錯引入的不準確度可能使校準品質降級。此種校準方法可能僅基於盡力而為的值來僅計算校準參數。因此，可能沒有決定或考慮校準參數計算的品質，並且因此，可能仍然存在校準參數的不期望的誤差。
在一些習知的相機校準方法中，可以擷取預定數量的資料並線下處理該等資料以執行校準。若沒有擷取到足夠的資料，則可能需要重新開始校準方法。此種類型的校準不提供對相機的連續校準。一些相機校準方法要求相機的純旋轉，而沒有任何平移，此情形在實驗室以外（例如，真實世界設定中）是很難達到的。
各個實施例經由提供用於自動對相機進行校準而不需要已知的校準目標或使用者參與的方法，來克服習知的相機校準方法的缺點。
各個實施例可以實現在各種電子設備內，在圖1中圖示該等電子設備的實例100。適於與各個實施例一起使用的電子設備100可以包括一或多個相機101、陀螺儀106、處理器108和記憶體116，每個該等相機101皆包括圖像感測器102和光學系統104。電子設備100的實例包括相機、視訊攝錄影機、數位相機、包括相機的蜂巢式電話、包括相機的智慧型電話、包括相機的電腦（例如，桌上型電腦、膝上型電腦等）、包括相機的平板設備、媒體播放機、電視機、遊戲控制台、可穿戴設備、虛擬實境設備、增強現實設備、混合現實設備、監控攝相機、智慧家電、智慧應用、醫療設備、機上盒、基於地面的機器（例如，機器人、運載工具、汽車等）、飛機、無人機或無人駕駛飛行器（UAV）等，或其組合。
電子設備100可以包括一或多個相機101，每個該等相機101可以包括至少一個圖像感測器102和至少一個光學系統104（例如，一或多個鏡頭）。電子設備100的相機101可以獲得一或多個數位圖像（本文中有時稱為圖像訊框）。相機101可以採用不同類型的圖像擷取方法，例如滾動快門（rolling-shutter）技術或全域快門（global-shutter）技術。
通常，光學系統104（例如，鏡頭）被配置為將來自位於相機101的視場內的場景及/或物體的光線聚焦在圖像感測器102上。圖像感測器102包括大量的光線系統，該等光線系統被配置為回應於光線來產生信號，該等信號被處理以獲得儲存在記憶體116（例如，圖像緩衝器）中的數位圖像。光學系統104可以耦合到處理器108及/或由處理器108控制，以便例如提供自動聚焦動作。
光學系統104可以包括一或多個鏡頭。例如，光學系統104可以包括廣角鏡頭、廣FOV鏡頭、魚眼鏡頭等，或其組合。另外，光學系統104可以擷取全景圖像，包括200-360度圖像。
儘管未在圖1中圖示，但是電子設備100可以包括圖像資料緩衝器，其是與記憶體116分開的記憶體。圖像資料緩衝器可以是相機101的一部分並且可以被配置為對來自圖像感測器102的圖像資料進行緩衝（亦即，暫時儲存）。經緩衝的圖像資料可以被提供給處理器108或者可以是可由處理器108存取的。
電子設備100可以包括相機軟體應用及/或顯示器，例如使用者介面118。當執行相機應用時，圖像感測器102可以擷取位於光學系統104的視場內的物體的圖像。所擷取的圖像可以被呈現在使用者介面118的顯示器上。在一些配置中，可以以相對高的訊框速率快速連續地顯示所擷取的圖像，使得在任何給定的時刻，相機101的視場內的場景及/或物體被呈現在顯示器上。在各個實施例中，可以顯示與所擷取的圖像相對應的另外的或替代的資訊。例如，可以使用使用者介面118來呈現一或多個關注區域（例如，邊界框）及/或深度資訊（例如，距一或多個選擇的物體的一或多個估計距離）。
陀螺儀106可以被配置為量測電子設備100的旋轉運動。例如，陀螺儀106可以擷取複數個角速度量測結果，包括x軸分量、y軸分量和z軸分量。在各個實施例中，陀螺儀量測結果可以被儲存在可由處理器108存取的記憶體（例如，緩衝器或記憶體116）中。
在各個實施例中，相機101擷取的圖像序列和陀螺儀106獲得的角運動量測結果可以被蓋上時間戳記，以使電子設備100的處理器108能夠決定從一個圖像訊框到下一個圖像訊框，相機101圍繞三個軸旋轉的度數。
在各個實施例中，處理器108可以耦合到（例如，與以下各項進行電子通訊）一或多個圖像感測器102、一或多個光學系統104、陀螺儀106和記憶體116。另外，電子設備100可以包括耦合到處理器108的使用者介面118（例如，輸入/輸出設備、顯示器、觸控式螢幕等）和在處理器108上執行的電腦視覺（CV）應用軟體或機器視覺（MV）應用軟體120。處理器108可以是通用單晶片或多晶片微處理器（例如，ARM）、專用微處理器（例如，數位信號處理器（DSP））、微控制器、可程式設計閘陣列等。處理器108可以被稱為中央處理單元（CPU）。儘管在圖1中圖示單個處理器108，但是電子設備100可以包括多個處理器（例如，多核處理器）或不同類型的處理器（例如，ARM和DSP）的組合。
處理器108可以被配置為實現各個實施例的方法來對電子設備100的相機101進行校準。例如，處理器108可以包括及/或實現相機自動校準器110、圖像處理器112及/或再校準偵測器114。相機自動校準器110、圖像處理器112及/或再校準偵測器114可以用硬體或韌體來實現、實現成在處理器108上執行的模組，及/或用硬體、軟體及/或韌體的組合來實現。
記憶體116可以儲存資料（例如，圖像資料和相機校準因數）和可以由處理器108執行的指令。各個實施例中的可以儲存在記憶體116中的指令及/或資料的實例可以包括圖像資料、陀螺儀量測結果資料、相機自動校準指令（包括物體偵測指令、物體追蹤指令、物體位置預測器指令、時間戳記偵測器指令、校準參數計算指令、校準參數/置信度得分估計器指令）、校準參數/置信度得分方差閾值資料、當前訊框資料的偵測的物體位置、下一訊框資料中的先前的物體位置、所計算的校準參數資料等。記憶體116可以是能夠儲存電子資訊的任何電子元件，包括例如隨機存取記憶體（RAM）、唯讀記憶體（ROM）、磁碟儲存媒體、光學儲存媒體、RAM中的快閃記憶體設備、與處理器包括在一起的板上記憶體、可抹除可程式設計唯讀記憶體（EPROM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、暫存器等等，包括以上各項的組合。
在一些實施例中，處理器108可以被配置有CV/MV應用軟體120，該CV/MV應用軟體120可以被配置為對電子設備100（例如，機動車、機器人、無人機等）的運動進行程式設計或控制，包括用於使得電子設備101在相機自動校準程序期間旋轉的控制。
可以對電子設備100的元件或元件中的一者或多者進行組合及/或拆分。例如，可以將相機自動校準器110、圖像處理器112和再校準偵測器114組合成單個模組及/或硬體元件。另外地或替代地，可以將相機自動校準器110、圖像處理器112和再校準偵測器114中的一者或多者拆分成執行其操作的子集的元件或組件。
圖2圖示根據各個實施例的電子設備100的相機自動校準器110。參照圖1和圖2，相機自動校準器110可以用電子設備100的硬體元件及/或軟體元件來實現，其操作可以由電子設備100的一或多個處理器（例如，處理器108）控制。為了實現相機自動校準，可以經由將物體在圖像訊框之間的運動與物體的基於陀螺儀量測結果的預測運動進行比較，來動態地計算校準參數。另外，可以基於物體的選擇的點的預測位置和量測位置來估計與所計算的校準參數相關聯的品質或置信度得分。
當物體在光學系統104的視場內時，相機101的圖像感測器102可以擷取包括該物體的一系列圖像訊框。可以快速地擷取圖像訊框，例如每秒30-60訊框。圖像感測器102可以向處理器108及/或相機自動校準器110的當前訊框物體偵測器202提供與圖像訊框相關聯的圖像資料。為了便於引用，順序的圖像訊框可以被稱為第一圖像訊框和第二圖像訊框，或者被稱為在先圖像訊框和下一圖像訊框。然而，此種引用是任意的，是因為在後續處理操作中，第二圖像訊框或下一圖像訊框變成在先圖像訊框或第一圖像訊框。
當前訊框物體偵測器202可以辨識與出現在任何兩個圖像訊框（例如，第一圖像訊框和第二圖像訊框）內的物體相關聯的一或多個點。例如，高對比圖元中的一者或組合可以被辨識用於在圖像訊框的序列內進行追蹤。任何已知的形狀辨別方法或技術可以用於辨識圖像訊框內的物體或細節的部分以用於追蹤。例如，Kanade-Lucas-Tomasi（KLT）特徵追蹤器可以用於辨識和追蹤圖像訊框內的物體或細節。另外，當前訊框物體偵測器202可以量測或偵測所辨識的與圖像訊框內的物體相關聯的一或多個點的位置（例如，座標值）。可以將所辨識的與每個圖像訊框內的物體相關聯的一或多個點的偵測到的位置儲存在記憶體緩衝器208的當前訊框部分212的偵測到的物體位置中。
校準參數計算器220可以基於來自兩個圖像訊框的圖像資料、所辨識的與兩個圖像訊框內的物體相關聯的一或多個點的偵測到的位置，以及相機101在兩個圖像訊框之間的旋轉運動的陀螺儀量測結果，來計算校準參數。例如，校準參數計算器220可以計算外在校準參數和內在校準參數。在計算了關於第一圖像訊框的校準參數之後，可以將所計算的校準參數儲存在記憶體緩衝器208的校準參數部分216中。
在各個實施例中，主點校準參數可以與圖像中的光學中心的位置相對應，並且可以是基於以下各項來計算的：與兩個圖像訊框相關聯的圖像資料及/或所辨識的與兩個圖像訊框內的物體相關聯的一或多個點的偵測到的位置。校準參數計算器220亦可以基於與圖像訊框相關聯的圖像資料及/或所辨識的與圖像訊框內的物體相關聯的一或多個點的偵測到的位置，來計算與圖像訊框相對應的焦距校準參數及/或鏡頭畸變校準參數。
在計算校準參數時，校準參數計算器220可以考慮擷取圖像訊框的時間和擷取陀螺儀的旋轉速度量測結果的時間之間的時間關係。例如，每個圖像訊框可以包括用於指示何時擷取到圖像訊框的時間戳記。可以由與圖像感測器102相關聯的處理器或處理器108來提供每個圖像訊框的時間戳記。另外，陀螺儀106的旋轉速度量測結果可以包括用於指示何時進行陀螺儀量測的時間戳記。例如，陀螺儀106可以包括時間戳記資料連同量測結果資料，或者處理器108可以在來自陀螺儀106的信號被接收時向該等信號指派時間戳記。當計算相機101在兩個圖像訊框之間發生的旋轉量時，時間戳記偵測器218（或在處理器108內執行的模組）可以將與圖像訊框相關聯的時間戳記和與陀螺儀106量測結果相關聯的時間戳記進行比較。
在各個實施例中，與圖像訊框或者陀螺儀量測結果相關聯的時間戳記可以是單個值或時間段或值的範圍。例如，擷取圖像所花費的時間（例如，1/30秒或1/60秒）可以大於獲得單個陀螺儀旋轉速度量測結果所花費的時間（例如，2毫秒），因此，複數個陀螺儀量測結果可以與兩個順序圖像訊框的時間戳記相對應。另外地或替代地，時間戳記偵測器218可以監測與圖像訊框相關聯的時間戳記和與陀螺儀量測結果相關聯的時間戳記，以決定與圖像訊框相關聯的時間戳記和與陀螺儀量測結果相關聯的時間戳記之間的初始同步或關聯。
另外，相機101獲得圖像資料的方式可以影響何時在圖像訊框中擷取物體。當電子設備100的相機101在滾動快門模式下操作時，在一個時間間隔上曝光每條水平線（或垂直列）。與相機在滾動快門模式下操作時產生的圖像訊框相關聯的時間戳記基於每條線的中心曝光時間，其中時間戳記包括兩個值，基於第一水平線（或垂直列）和最後水平線（或垂直列）的中心曝光時間的對圖像訊框的開始的指示和對訊框的結束的指示。
使用所辨識的與第一圖像訊框內的物體相關聯的一或多個點和第一圖像訊框與下一（第二）圖像訊框之間的旋轉速度的陀螺儀量測結果，下一訊框物體位置預測器206（例如，在處理器108中執行的模組或操作）可以預測與物體相關聯的一或多個點將出現在第二圖像訊框內的何處。該計算可以是基於所量測的旋轉速度來對每個點的位置的改變進行的簡單線性估計。在所有校準參數之後，可以在擴展型卡爾曼濾波器（EKF）中估計相機的平移運動。可以在最終輸出中省略平移運動估計，是因為其品質可能不如校準參數好。
隨後，可以將被追蹤物體的預測位置與後續圖像訊框或第二圖像訊框中的位置進行比較，以決定預測位置和觀察位置之間的差值。物體的偵測到的一或多個點之每一者點在圖像訊框中的位置（亦即，圖元）將取決於用於處理圖像資料的校準參數。因此，被追蹤物體的點的預測位置與觀察位置之間的差值反映校準參數中的誤差。校準參數/置信度得分估計器222（例如，在處理器108中執行的模組或操作）可以計算新的校準參數集合，該新的校準參數集合將所辨識的與物體相關聯的點在第一圖像訊框和第二圖像訊框之間的預測位置和量測位置之間的差值歸零。另外，校準參數/置信度得分估計器222可以基於被追蹤物體的點的預測位置和觀察位置之間的差值，來估計先前校準參數的品質或置信度得分。例如，所估計的置信度得分可以用於推導第一訊框中的預測物體位置和所辨識的與在第一訊框中偵測到的物體相關聯的一或多個點的位置之間的誤差。作為另一實例，可以決定所計算的校準參數和初始校準參數之間的加權平均，其中加權值是基於所估計的置信度得分的。所計算的先前校準參數的品質或置信度得分可以用於決定相機101的校準參數是否達到可接受的品質水平。
校準參數/置信度得分估計器222可以將品質或置信度得分與校準參數/置信度得分方差閾值（其可以被儲存在記憶體緩衝器208的部分210處）進行比較。只要所估計的校準參數的品質或置信度得分及/或置信度得分不在方差閾值內，就可以利用所計算的新的校準參數集合來更新儲存在216處的校準參數，並且可以使用該新的校準參數集合來處理下一圖像訊框，將被追蹤物體的點的預測位置與下一圖像訊框中的觀察位置進行比較，以及計算另一校準參數集合和品質或置信度得分來重複該過程。當所估計的校準參數的品質及/或置信度得分在方差閾值內時，可以結束相機校準程序，並且隨後，圖像處理器112可以使用儲存在記憶體中（例如，在記憶體緩衝器208的部分216處）的校準參數來執行對原始圖像訊框資料的成像處理。
因此，在各個實施例中，可以在循環中執行相機校準方法，直到獲得了足夠的圖像品質為止。一旦使用經由校準方法決定的校準參數獲得了足夠的圖像品質，就使用彼等校準參數來處理來自相機的圖像感測器102的原始圖像資料，以產生數位圖像。在一些實施例中，可以定期地（例如，每天、每月、每年等）或者在觸發事件（例如，加電，加速計偵測到高加速事件，高度、溫度及/或濕度的改變等）之後執行校準方法。在一些實施例中，若沒有偵測到觸發事件，則可以省略或跳過相機校準方法。例如，若觸發事件是相機的移動或運動，則相機校準方法可以僅回應於偵測到相機的移動或運動而被啟動和執行。
一些實施例可以僅依靠來自陀螺儀106的量測結果來預測物體的所辨識的點在圖像訊框中的位置。然而，在一些實施例中，可以在校準方法中使用來自其他感測器的量測結果。例如，可以將來自加速計的相機加速度的量測結果與陀螺儀所提供的旋轉速度量測結果組合，以更好地預測物體在每個圖像訊框中的位置。作為另一實例，在其中相機（例如，101）被置於能夠快速運動的運載工具（例如，無人機或汽車）的一些實施例中，可以將（例如，無人機的航空電子模組所提供的）關於運載工具的速度的資訊與陀螺儀所提供的旋轉速度量測結果（以及來自加速計的加速度資料）組合，以更好地預測物體在每個圖像訊框中的位置。
圖3是圖示根據各個實施例的對用於電子設備（例如，圖1中的電子設備100）的相機進行校準的方法300。參照圖1-圖3，方法300可以由電子設備100或相機101的一或多個處理器（例如，處理器108等）來實現。
在方塊302中，可以假定或從記憶體獲得初始校準參數。例如，可以從記憶體獲得初始校準參數（其中在先前執行的相機自動校準方法之後，已經將資料儲存在該記憶體中），或者可以由設備製造商或其他實體來提供初始校準參數。作為另一實例，可以由相機製造商來提供預設校準參數。在又一實例中，可以將校準參數設置為任意值，例如零。
在方塊304中，處理器可以接收圖像訊框和相關聯的時間戳記。例如，當物體進入光學系統104的視場中時，圖像訊框可以由相機101的圖像感測器102擷取並且由圖像感測器102提供給處理器。
在方塊306中，處理器可以選擇圖像訊框的一或多個點。例如，在處理器及/或韌體中執行的當前訊框物體偵測器202可以辨識圖像訊框內的具有適於追蹤的特性的一或多個點。
在方塊308中，下一圖像訊框和相關聯的時間戳記可以由圖像感測器擷取並且被提供給處理器。在一些實施例中，下一圖像訊框可以是圖像感測器所產生的緊接著的下一圖像訊框。在一些實施例中，提供給處理器的下一圖像訊框可以跳過圖像感測器所擷取的一或多個圖像訊框，由此為被追蹤物體在經處理的圖像訊框之間的運動提供更多的時間。
在方塊310中，物體的被追蹤點的位置可以位於下一訊框中。例如，一旦使用當前校準參數對原始圖像資料進行了處理，物體追蹤器204就可以決定在第一圖像訊框中所辨識的一或多個點在下一圖像訊框內的位置。
在方塊312中，處理器可以從陀螺儀（例如，106）接收與下一圖像訊框相對應的旋轉速度量測結果和相關聯的時間戳記。在一些實施例中，處理器可以在初始（第一）圖像訊框擷取和下一（第二）圖像訊框擷取之間的時間期間，從陀螺儀接收旋轉速度的連續量測結果。作為方塊312中的操作的一部分，處理器可以計算在初始（第一）圖像訊框擷取和下一（第二）圖像訊框擷取之間的時間期間圍繞三個軸的平均旋轉速度。
在方塊314中，處理器可以基於相機的量測旋轉速度來預測選擇的點在下一圖像訊框中的位置。例如，處理器可以計算相機在第一圖像訊框和第二圖像訊框之間發生的旋轉量，並且作為結果，計算每個點應當在圖像平面上移動的方向和移動了多遠。
在方塊316中，可以將選擇的點在下一圖像訊框中觀察到的位置和選擇的點的預測位置儲存在記憶體（例如，資料庫）中。例如，可以將與當前訊框相關聯的觀察物體位置儲存在記憶體緩衝器208的偵測到的物體位置地點212處，並且可以將下一訊框中的預測物體位置儲存在記憶體緩衝器208的預測物體位置地點214處。
在方塊318中，處理器可以使用所儲存的物體點在下一圖像訊框中的觀察位置和預測位置來計算新校準參數和新校準參數的置信度得分。例如，校準參數/校準得分估計器（例如，222）可以對新校準參數進行估計，該等新校準參數將被追蹤物體在下一圖像訊框中的觀察位置和預測位置之間的差值歸零，並且基於被追蹤物體在下一訊框中的觀察位置和預測位置之間的差值的大小，來對來自校準參數的置信度得分進行估計。
在決定方塊320中，處理器可以決定所估計的校準參數/置信度得分是否在閾值方差內。例如，處理器可以將所估計的校準參數/置信度得分與儲存在記憶體緩衝器208的位置210處的校準參數/置信度得分方差閾值進行比較。
回應於決定所估計的校準參數/置信度得分不在閾值方差內（亦即，決定方塊320=「否」），在方塊322中，處理器108可以對用於處理原始圖像資料的校準參數進行更新，並且經由使用被更新的校準參數來處理來自圖像感測器（例如，102）的原始圖像資料來在方塊308中獲得下一圖像訊框，來重複校準過程。因此，基於物體在現在在先的圖像訊框中的預測位置和觀察位置之間的差值計算的新校準參數可以用於處理下一圖像訊框的原始圖像資料，並且重複對預測位置和觀察位置進行比較的過程。
回應於決定所估計的校準參數/置信度得分在閾值方差內（亦即，決定方塊320=「是」），在方塊324中，處理器可以結束校準過程，並且使用儲存在記憶體中的所計算的校準參數來執行對來自圖像感測器（例如，102）的原始圖像資料的後續圖像處理。例如，所計算的校準參數可以用於處理來自相機的資料，以矯正由鏡頭導致的畸變。作為另一實例，所計算的校準參數可以用作電腦視覺演算法或機器視覺演算法的輸入。所儲存的校準參數可以是在方塊318中計算的校準參數或者是在方法300的先前反覆運算中計算的校準參數。
可選地，在決定方塊326中，處理器可以決定是否已發生事件觸發再校準。例如，再校準偵測器114可以決定是否已發生時間觸發事件或實體觸發事件。回應於決定尚未發生觸發事件（亦即，決定方塊326=「否」），在方塊324中，處理器可以使用所計算的校準參數來繼續執行圖像處理。回應於決定已發生觸發事件（亦即，決定方塊326=「是」），返回到方塊304中，處理器可以經由獲得圖像訊框和時間戳記來重複校準程序。
圖4是圖示根據各個實施例的對用於電子設備（例如，圖1中的電子設備100）的相機進行校準的另一種方法400。參照圖1-圖4，方法400可以由相機（例如，101）或電子設備（例如，100）的一或多個處理器（例如，處理器108等）來實現。在方法400中，可以如針對方法300的類似編號的方塊所描述的一般來執行方塊302-314的操作。
在方塊416中，處理器可以將卡爾曼濾波器應用於選擇的點在下一訊框中決定位置和預測位置，以計算被更新的校準因數和所估計的校準參數的誤差之間的協方差。在各個實施例中，卡爾曼濾波器可以是擴展型卡爾曼濾波器（EKF）。
在一些實施例中，可以利用狀態變數x=[cx , cy , fx , fy , d1 , d2 , d3 , d4 , wx , wy , wz , td , vx , vy , vz ]T 來對EKF進行初始化，其中： cx 是主點的x軸座標； cy 是主點的y軸座標； fx 是沿x軸的焦距； fy 是沿y軸的焦距； d1 是第一畸變參數； d2 是第二畸變參數； d3 是第三畸變參數； d4 是第四畸變參數； wx 是與相機-陀螺儀朝向相關聯的x軸座標； wy 是與相機-陀螺儀朝向相關聯的y軸座標； wz 是與相機-陀螺儀朝向相關聯的z軸座標； td 是相機-陀螺儀時間偏移； vx 是與慣性參考系中的相機速度相關聯的x軸座標； vy 是與慣性參考系中的相機速度相關聯的y軸座標；及 vz 是與慣性參考系中的相機速度相關聯的z軸座標。
可以使用內在矩陣K =來決定主點參數和焦點參數。
若相機實現魚眼鏡頭，則可以使用魚眼畸變模型d=[d1 , d2 , d3 , d4 ]來決定畸變參數，其中畸變模型可以是基於投影模型的。然而，可以使用任何模型來決定畸變參數。
相機-陀螺儀朝向參數可以是在軸-角度表示中指定的。
經由實現包括所有校準參數（包括相機速度v）的狀態變數，校準方法可以依賴於相機在完整的六個自由度內移動時由相機擷取的圖像。經由省略相機速度，校準方法可能限於僅使用與相機相關聯的旋轉移動參數，此舉降低了對所擷取的圖像的校準和後續處理的準確度。
在使用狀態變數x對EKF進行初始化之後，可以使用EKF來執行量測函數（h（x））和預測函數（f（x））。
可以使用如下等式來決定EKF的量測函數h（x）：其中對應於核線：
可以在兩個圖像訊框之間決定一對被追蹤的特徵點(p1, p2)。旋轉矩陣可以是基於陀螺儀量測結果R1 (p1 , td )、R2 (p2 , td )來估計的，其中Ri 對應於與擷取pi 的時間相同的時間處的陀螺儀估計。具體而言，可以使用兩個陀螺儀量測結果取樣來執行球面線性內插（SLERP）。隨後，EKF可以用於使用如下等式來標準化和矯正兩個圖像訊框：其中()是與畸變模型相關聯的畸變函數。隨後，EKF可以用於使用如下等式將物體的位置從第一訊框投影到第二訊框：其中Rw 是轉換成旋轉矩陣的相機-陀螺儀朝向值。
EKF的預測函數f（x）可以大致等於狀態變數x，是因為校準參數要麼保持恆定，要麼緩慢改變。可以使用恆定速度模型來決定預測函數。
可以針對每個輸入圖像對來反覆運算地執行EKF，其中針對圖像訊框對之間的每個被追蹤的特徵點對（k）來對EKF進行循環或重複。例如，可以使用來自的td 來估計R 1 和R 2 ，並且使用如下等式來計算所預測的量測結果：亦可以將EKF量測雜訊乘以： ω() 另外，可以執行和更新EKF預測函數h（x）。例如，實際的量測結果Zk 可以是零。
在決定方塊418中，處理器可以決定所估計的校準參數的誤差之間的協方差是否在閾值方差內。換言之，處理器可以將所估計的校準參數的誤差之間的協方差與儲存在記憶體（例如，116）中的預定的閾值方差進行比較。
回應於決定所估計的校準參數的誤差之間的協方差不在閾值方差內（亦即，決定方塊418=「否」），在方塊420中，處理器可以儲存及/或使用所計算的被更新的校準參數，並且經由使用被更新的校準參數來處理來自圖像感測器（例如，102）的原始圖像資料在方塊308中獲得下一圖像訊框和時間戳記，來重複校準操作。
回應於決定所估計的校準參數的誤差之間的協方差在閾值方差內（亦即，決定方塊418=「是」），在方塊324中，處理器可以結束校準過程，並且使用儲存在記憶體中的所計算的校準參數來執行對來自圖像感測器（例如，102）的資料的後續圖像處理。例如，所計算的校準參數可以用於處理來自相機的資料，以矯正由鏡頭導致的畸變。作為另一實例，所計算的校準參數可以用作電腦視覺演算法或機器視覺演算法的輸入。所儲存的校準參數可以是在方塊318中計算的校準參數或者是在方法400的先前反覆運算中計算的校準參數。
可選地，在決定方塊326中，處理器可以決定是否已發生事件觸發再校準。例如，再校準偵測器（例如，114）可以決定是否已發生時間觸發事件或實體觸發事件。回應於決定尚未發生觸發事件（亦即，決定方塊326=「否」），在方塊324中，處理器可以使用所計算的校準參數來繼續執行圖像處理。回應於決定已發生觸發事件（亦即，決定方塊326=「是」），返回到方塊304中，處理器可以經由獲得圖像訊框和時間戳記來重複校準程序。
圖5是圖示根據各個實施例的可以包括在電子設備內的元件的元件方塊圖，該電子設備被配置為實現對相機進行校準的系統和方法的各種配置。電子設備500的實例包括相機、視訊攝錄影機、數位相機、蜂巢式電話、智慧型電話、電腦（例如，桌上型電腦、膝上型電腦等）、平板設備、無人機、無人駕駛飛行器（UAV）等。電子設備100的元件或元件中的一者或多者可以用硬體（例如，電路系統）或硬體和軟體的組合（例如，具有指令的至少一個處理器）來實現。可以根據電子設備100及/或電子設備700來實現電子設備500。該電子設備可以包括處理器524，其可以是通用單晶片或多晶片微處理器（例如，ARM）、專用微處理器（例如，數位信號處理器（DSP）518）。
電子設備500亦可以包括耦合到處理器524的記憶體502。記憶體502可以是能夠儲存電子資訊的任何電子元件。記憶體502可以體現為隨機存取記憶體（RAM）、唯讀記憶體（ROM）、磁碟儲存媒體、光學儲存媒體、RAM中的快閃記憶體設備、與處理器包括在一起的板上記憶體、EPROM記憶體、EEPROM記憶體、暫存器等等，包括以上各項的組合。
資料506和指令504可以被儲存在記憶體502中。指令504可以是可由處理器524執行的以實現本文描述的方法（例如，方法300或400）、程序、步驟及/或功能中的一者或多者。執行指令504可能涉及對儲存在記憶體中的資料506的使用。當處理器524執行指令504時，指令526的各個部分可以被載入到處理器524上，並且/或者資料528的各個部分可以被載入到處理器524上。
電子設備500亦可以包括傳輸器510和接收器514，以便允許信號傳輸到電子設備500以及從電子設備500的接收信號。傳輸器510和接收器514可以共同地被稱為收發機508。一或多個天線512、516可以電氣地耦合到收發機508。電子設備500亦可以包括（未圖示）多個傳輸器、多個接收器、多個收發機及/或另外的天線。
電子設備500亦可以包括通訊介面520。通訊介面520可以允許及/或實現一或多個類型的輸入及/或輸出。例如，通訊介面520可以包括一或多個埠及/或通訊設備，以用於將其他設備連結到電子設備500。在一些配置中，通訊介面520可以包括傳輸器510、接收器514或二者（例如，收發機508）。另外地或替代地，通訊介面520可以包括一或多個其他介面（例如，觸控式螢幕、按鍵板、鍵盤、麥克風、相機等）。例如，通訊介面520可以使使用者能夠與電子設備500進行互動。
電子設備500亦可以包括一或多個感測器522。一或多個感測器522可以包括接近感測器、環境光感測器、加速計、近場通訊感測器、陀螺儀、磁力計、溫度感測器、氣壓、顏色感測器、紫外線感測器、GPS感測器等。
電子設備500的各個元件可以經由一或多個匯流排（其可以包括電力匯流排、控制信號匯流排、狀態信號匯流排、資料匯流排等）耦合到一起。為了清楚起見，圖5中將各個匯流排示為匯流排系統530。
各個實施例可以用被配置有相機的多種多樣的無人機來實現，該等無人機的實例是在圖6中圖示的四旋翼無人機。參照圖1-圖6，無人機600可以包括主體605（亦即，機身，框架等），該主體605可以是由適於飛行的塑膠、金屬或其他材料的任何組合製造的。為了便於描述和說明，省略了無人機600的一些詳細態樣，例如接線、框架結構、電源、起落列/架（landing columns/gear），或者熟習此項技術者已知的其他特徵。另外，儘管示例性無人機600被示為具有四個旋翼的「四軸飛行器（quad-copter）」，但是無人機600中的一或多個無人機600可以包括多於或少於四個的旋翼。此外，無人機600中的一或多個無人機600可以具有相似或不同的配置、旋翼數量及/或其他態樣。各個實施例亦可以利用其他類型的無人機來實現，包括其他類型的自主飛行器、陸地運載工具、水上運載工具，或其組合。
主體605可以包括處理器630，該處理器630被配置為監測和控制無人機600的各個功能、子系統及/或其他元件。例如，處理器630可以被配置為監測和控制與所描述的與相機校準有關的模組、軟體、指令、電路系統、硬體等的任何組合，以及推進、導航、電力管理、感測器管理及/或穩定性管理。
處理器630可以包括一或多個處理單元601，例如被配置為執行處理器可執行指令（例如，應用程式、常式、腳本、指令集等）以控制飛行和無人機600的其他操作（包括各個實施例的操作）的一或多個處理器。處理器630可以耦合到被配置為儲存資料（例如，飛行計畫、獲得的感測器資料、接收到的訊息、應用程式等）的記憶體單元602。處理器亦可以耦合到被配置為經由無線通訊鏈路來與地面站及/或其他無人機進行通訊的無線收發機604。
處理器630亦可以包括航空電子模組或系統606，該航空電子模組或系統606被配置為從各個感測器（例如，陀螺儀608）接收輸入並且向處理單元601提供姿態和速度資訊。
在各個實施例中，處理器630可以耦合到被配置為執行如所描述的各個實施例的操作的相機640。在一些實施例中，無人機處理器630可以從相機640接收圖像訊框並從陀螺儀608接收旋轉速率和方向資訊，並且執行如所描述的操作。在一些實施例中，相機640可以包括被配置為執行如所描述的操作的單獨的陀螺儀（未圖示）和處理器（未圖示）。
無人機可以是有翼或旋翼飛行器種類的。例如，無人機600可以是旋轉式推進設計，其使用由相應的馬達622驅動的一或多個旋翼624來提供離地升空（或起飛）以及其他空中運動（例如，向前行進、上升、下降、側向運動、傾斜、旋轉等）。無人機600被示為可以使用各個實施例的無人機的實例，但是並不意欲暗示或要求各個實施例僅限於旋翼飛行器無人機。替代地，各個實施例亦可以實現在有翼無人機上。此外，各個實施例可以同樣地與基於陸地的自主運載工具、水上自主運載工具和基於空間的自主運載工具一起使用。
旋翼飛行器無人機600可以使用馬達622和相應的旋翼624來進行離地升空和提供空中推進。例如，無人機600可以是裝備有四個馬達622和相應的旋翼624的「四軸飛行器」。馬達622可以耦合到處理器630並且因此可以被配置為從處理器630接收操作指令或信號。例如，馬達622可以被配置為基於從處理器630接收到的指令來增加其相應的旋翼624的旋轉速度等。在一些實施例中，馬達622可以由處理器630獨立地控制，使得一些旋翼624可以以不同的速度嚙合、使用不同的電量，及/或提供不同水平的輸出以用於移動無人機600。
主體605可以包括電源612，其可以耦合到無人機600的各個元件並且被配置為各個元件供電。例如，電源612可以是可再充電電池，其用於提供用於操作馬達622、相機640及/或處理器630的單元的電力。
各個實施例可以以配置有立體照相機的多種電子設備來實現，在圖7中圖示該等電子設備的實例。參照圖1-圖5和圖7，電子設備700可以是包括以下各項的電子設備100：以立體照相配置來佈置的至少兩個相機702、704，陀螺儀106，和耦合到陀螺儀106、第一相機702和第二相機704的處理器712。為了便於描述和說明，省略了立體照相電子設備700的一些詳細態樣，例如與第一相機702及/或第二相機704通訊的圖像感測器102及/或光學系統104，或者對於熟習此項技術者而言將是已知的其他特徵。另外，儘管示例性電子設備700被示為具有兩個立體照相機702、704，但是電子設備700可以包括一或多個另外的相機，其可以具有單個相機配置及/或立體照相配置。各個實施例可以以各種類型的電子設備（包括無人機、虛擬實境耳機、增強現實耳機等）來實現。
第一相機702可以與第一軸706對準。由於安裝相機使得焦軸彼此精確平行是困難的，因此第二相機704可以與第二軸708對準，該第二軸708與第一軸706相切但是不與第一軸706平行。
在各個實施例中，電子設備700的處理器712可以執行如所描述的各個實施例的操作。在一些實施例中，電子設備700的處理器712可以從第一相機702及/或第二相機704接收圖像訊框並從陀螺儀106接收旋轉速率和方向資訊，並且執行如所描述的操作。
在一些實施例中，電子設備700的處理器712可以使用來自陀螺儀106的資訊來單獨地對第一相機702和第二相機704進行校準。例如，處理器712可以使用陀螺儀資訊來決定與對第一相機702和第二相機704進行校準相關聯的朝向和速度參數。在一些實施例中，可以使用陀螺儀資訊來糾正由第一相機702和第二相機704擷取的作為結果的立體圖像的深度。處理器172可以使用校準來精細地調整所擷取的圖像之每一者圖元的位置，以便更好地決定物體的位置以及預測物體在後續圖像訊框中的位置。
在一些實施例中，電子設備700的處理器712可以執行校準操作以克服對準角(Ɵ)。例如，基於在第一相機702和第二相機704上單獨完成的校準，處理器712可以決定第一相機702與陀螺儀106之間的朝向以及第二相機704與陀螺儀106之間的朝向。隨後，處理器712可以決定陀螺儀106的參考朝向，以決定第二軸708和期望的對準軸710之間的對準角(Ɵ)。
在一些實施例中，電子設備700的處理器712亦可以使用平移分量來對第一相機702及/或第二相機704進行校準。例如，處理器712可以決定第一相機702和第二相機704之間的距離L和電子設備700的位移的方向，以決定平移校準分量。可以將平移校準分量添加到上文所辨識的校準參數中的至少一些校準參數中，以便對電子設備700的第一相機702及/或第二相機704進行校準。
各個實施例可以在被配置為在電子設備中使用的處理設備810內實現。處理設備可以被配置為或包括晶片上系統（SoC）812，其實例在圖8中圖示。參照圖1-圖8，SOC 812可以包括（但不限於）處理器814、記憶體816、通訊介面818和儲存記憶體介面820。處理設備810或SOC 812亦可以包括通訊元件822（例如，有線或無線數據機）、儲存記憶體824、用於建立無線通訊鏈路的天線826等。處理設備810或SOC 812亦可以包括硬體介面828，其被配置為使處理器814能夠與電子設備的各個元件進行通訊並且控制電子設備的各個元件。特別地，硬體介面828可以被配置為耦合到電子設備內的相機和陀螺儀並且與相機和陀螺儀進行通訊並且/或者從相機和陀螺儀接收資料。
本文使用術語「晶片上系統」（SoC）來代表一組互連的電子電路，通常但不排他地包括一或多個處理器（例如，814）、記憶體（例如，816）和通訊介面（例如，818）。SOC 812可以包括各種不同類型的處理器814和處理器核心，例如通用處理器、中央處理單元（CPU）、數位信號處理器（DSP）、圖形處理單元（GPU）、加速處理單元（APU）、處理設備的特定元件的子系統處理器（例如，相機子系統的圖像處理器或顯示器的顯示處理器）、輔助處理器、單核處理器和多核處理器。SOC 812亦可以體現其他硬體和硬體組合，例如現場可程式設計閘陣列（FPGA）、特殊應用積體電路（ASCI）、其他可程式設計邏輯設備、個別閘門邏輯單元、電晶體邏輯單元、效能監測硬體、看門狗硬體和時間參考。積體電路可以被配置為使得積體電路的元件位於單片半導體材料（例如，矽）上。
SoC 812可以包括一或多個處理器814。處理設備810可以包括多於一個的SoC 812，由此增加處理器814和處理器核心的數量。處理設備810亦可以包括不與SoC 812相關聯（亦即，在SoC 812外部）的處理器814。個別的處理器814可以是多核處理器。處理器814可以各自被配置用於與處理設備810或SOC 812的其他處理器814相同或不同的特定目的。可以將具有相同或不同配置的處理器814和處理器核心中的一者或多者分類在一起。處理器814或處理器核心的群組可以被稱為多處理器簇。
SoC 812的記憶體816可以是被配置用於儲存供處理器814存取的資料和處理器可執行指令的揮發性或非揮發性記憶體。處理設備810及/或SoC 812可以包括被配置用於各種目的的一或多個記憶體816。一或多個記憶體816可以包括揮發性記憶體，例如隨機存取記憶體（RAM）或主記憶體，或快取記憶體。
處理設備810和SOC 812的元件中的一些或全部元件可以被不同地佈置及/或組合，同時仍服務於各個態樣的功能。處理設備810和SOC 812可以不限於該等元件之每一者元件中的一個元件，並且每個元件的多個實例可以被包括在處理設備810的各種配置中。
所說明和描述的各個實施例僅是作為實例而提供的，以說明申請專利範圍的各個特徵。然而，關於任何給定實施例所展示和描述的特徵未必限於相關聯的實施例，並且可以與所展示和描述的其他實施例一起使用或組合。此外，申請專利範圍並不意欲受任何一個示例性實施例的限制。例如，方法300和方法400的操作中的一或多個操作可以與方法300和方法400的一或多個操作替換或者組合，反之亦然。
提供前述的方法描述和過程流程圖僅僅作為說明性實例，而並不意欲要求或暗示各個實施例的操作必須以所呈現的順序來執行。如熟習此項技術者將領會的，前述實施例中的操作的順序可以按照任何順序來執行。例如，用於預測物體在下一圖像訊框中的位置的操作可以在獲得下一圖像訊框之前、期間或之後執行，並且陀螺儀對旋轉速度的量測可以在方法期間的任何時間或連續地獲得。
諸如「此後」、「隨後」、「接著」等詞並不意欲限制操作的順序；該等詞用於引導讀者通讀方法的描述。此外，任何以單數形式對請求項元素的引用，例如，使用冠詞「一」、「一個」、「該」不應被解釋為將該元素限制成單數。
結合本文所揭示的實施例所描述的各種說明性邏輯區塊、模組、電路和演算法操作可以實現成電子硬體、電腦軟體，或者二者的組合。為了清楚地說明硬體和軟體的此種可互換性，上文已經對各種說明性元件、方塊、模組、電路以及操作就其功能進行了一般性描述。至於此種功能是實現成硬體還是實現成軟體，取決於具體應用和施加在整體系統上的設計約束。技術者可以針對每個具體應用，以不同方式實現所描述的功能，但是此種實施例決策不應被解釋為導致脫離申請專利範圍的範疇。
可以利用被設計為執行本文所描述的功能的通用處理器、數位信號處理器（DSP）、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）或其他可程式設計邏輯設備、個別閘門或電晶體邏輯單元、個別硬體元件，或者其任何組合來實現或執行用於實現結合本文所揭示的態樣而描述的各種說明性邏輯單元、邏輯區塊、模組和電路的硬體。通用處理器可以是微處理器，但在替代的方案中，處理器可以是任何習知的處理器、控制器、微控制器或狀態機。處理器亦可以實現為接收器智慧物體的組合（例如，DSP和微處理器的組合）、複數個微處理器、一或多個微處理器結合DSP核心，或者任何其他此種配置。或者，一些操作或方法可以由特定於給定功能的電路系統來執行。
在一或多個態樣中，所描述的功能可以用硬體、軟體、韌體或其任意組合來實現。若用軟體來實現，則可以將功能作為一或多個指令或代碼儲存在非暫時性電腦可讀取儲存媒體或者非暫時性處理器可讀取儲存媒體上。本文所揭示的方法或演算法的操作可以體現在處理器可執行軟體模組或處理器可執行指令中，其可以位於非暫時性電腦可讀取或處理器可讀取儲存媒體上。非暫時性電腦可讀取或處理器可讀取儲存媒體可以是電腦或處理器可以存取的任何儲存媒體。經由舉例而非限制性的方式，此種非暫時性電腦可讀取或處理器可讀取儲存媒體可以包括RAM、ROM、EEPROM、快閃記憶體、CD-ROM或其他光碟儲存、磁碟儲存或其他磁儲存智慧物體，或者可以用於以指令或資料結構的形式儲存期望的程式碼並可以由電腦存取的任何其他媒體。如本文所使用的，磁碟和光碟包括壓縮光碟（CD）、鐳射光碟、光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常磁性地複製資料，而光碟則用鐳射來光學地複製資料。上述的組合亦包括在非暫時性電腦可讀取和處理器可讀取媒體的範疇之內。另外，方法或演算法的操作可以作為代碼及/或指令中的一者或任何組合或集合位於非暫時性處理器可讀取儲存媒體及/或電腦可讀取儲存媒體上，其可以併入電腦程式產品中。
提供對所揭示的實施例的在先描述使任何熟習此項技術者能夠實施或使用請求項。對於熟習此項技術者而言，對該等實施例的各種修改將是顯而易見的，並且在不脫離申請專利範圍的精神或範疇的情況下，可以將本文定義的一般性原理應用於其他實施例。因此，本案內容並不意欲限於本文所展示的實施例，而是要符合與所附申請專利範圍和本文所揭示的原理和新穎特徵的相一致的最寬的範疇。
100‧‧‧電子設備
101‧‧‧相機
102‧‧‧圖像感測器
104‧‧‧光學系統
106‧‧‧陀螺儀
108‧‧‧處理器
110‧‧‧相機自動校準器
112‧‧‧圖像處理器
114‧‧‧再校準偵測器
116‧‧‧記憶體
118‧‧‧使用者介面
120‧‧‧CV/MV應用軟體
202‧‧‧當前訊框物體偵測器
204‧‧‧物體追蹤器
206‧‧‧下一訊框物體位置預測器
208‧‧‧記憶體緩衝器
210‧‧‧部分
212‧‧‧偵測到的物體位置地點
214‧‧‧預測物體位置地點
216‧‧‧校準參數部分
218‧‧‧時間戳記偵測器
220‧‧‧校準參數計算器
222‧‧‧校準參數/置信度得分估計器
300‧‧‧方法
302‧‧‧方塊
304‧‧‧方塊
306‧‧‧方塊
308‧‧‧方塊
310‧‧‧方塊
312‧‧‧方塊
314‧‧‧方塊
316‧‧‧方塊
318‧‧‧方塊
320‧‧‧決定方塊
322‧‧‧方塊
324‧‧‧方塊
326‧‧‧決定方塊
400‧‧‧方法
416‧‧‧方塊
418‧‧‧決定方塊
420‧‧‧方塊
500‧‧‧電子設備
502‧‧‧記憶體
504‧‧‧指令
506‧‧‧資料
508‧‧‧收發機
510‧‧‧傳輸器
512‧‧‧天線
514‧‧‧接收器
516‧‧‧天線
518‧‧‧數位信號處理器（DSP）
520‧‧‧通訊介面
522‧‧‧感測器
524‧‧‧處理器
526‧‧‧指令
528‧‧‧資料
530‧‧‧匯流排系統
600‧‧‧無人機
601‧‧‧處理單元
602‧‧‧記憶體單元
604‧‧‧無線收發機
605‧‧‧主體
606‧‧‧航空電子模組或系統
608‧‧‧陀螺儀
612‧‧‧電源
622‧‧‧馬達
624‧‧‧旋翼
630‧‧‧處理器
640‧‧‧相機
700‧‧‧電子設備
702‧‧‧相機
704‧‧‧相機
706‧‧‧第一軸
708‧‧‧第二軸
710‧‧‧期望的對準軸
712‧‧‧處理器
810‧‧‧處理設備
812‧‧‧晶片上系統（SoC）
814‧‧‧處理器
816‧‧‧記憶體
818‧‧‧通訊介面
820‧‧‧儲存記憶體介面
822‧‧‧通訊元件
824‧‧‧儲存記憶體
826‧‧‧天線
828‧‧‧硬體介面
被併入本文並構成本說明書的一部分的附圖圖示示例性實施例，並且連同上文所提供的一般性描述和下文所提供的詳細描述一起，用於解釋各個實施例的特徵。
圖1是圖示根據各個實施例的電子設備的元件的元件方塊圖。
圖2是圖示適於與各個實施例一起使用的相機的元件的元件方塊圖。
圖3是圖示根據各個實施例的用於對電子設備的相機進行校準的方法的過程流程圖。
圖4是圖示根據各個實施例的用於對電子設備的相機進行校準的方法的過程流程圖。
圖5是圖示適於與各個實施例一起使用的電子設備的元件的元件方塊圖。
圖6是適於與各個實施例一起使用的無人機的元件方塊圖。
圖7是適於與各個實施例一起使用的立體照相電子設備的元件方塊圖。
圖8是圖示適於實現各個實施例的處理設備的元件方塊圖。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無

Claims (28)

  1. 一種對一相機進行校準的方法，包括以下步驟： 在一處理器中接收一第一圖像訊框；由該處理器在該第一圖像訊框中選擇至少一個點；在該處理器中接收一第二圖像訊框；由該處理器決定該至少一個點在該第二圖像訊框中的一位置；在該處理器中從一陀螺儀接收與該第一圖像訊框和該第二圖像訊框之間的一時間相對應的、該相機的旋轉速度的一量測結果；由該處理器基於該相機的旋轉速度的該量測結果和該至少一個點在該第一圖像訊框中的該位置，來計算所選擇的該至少一個點在該第二圖像訊框中的一預測位置；由該處理器基於所選擇的該至少一個點在該第二圖像訊框中的該預測位置與所選擇的該至少一個點在所接收的該第二圖像訊框中的一決定位置之間的一差值，來計算用於該相機的校準參數；及使用所計算的該等校準參數來處理來自該相機的資料。
  2. 根據請求項1之方法，亦包括以下步驟： 由該處理器在一記憶體中儲存該至少一個點在該第二圖像訊框中的該決定位置；及由該處理器在該記憶體中儲存所選擇的該至少一個點在該第二圖像訊框中的該預測位置，其中由該處理器基於所選擇的該至少一個點在該第二圖像訊框中的該預測位置與所選擇的該至少一個點在所接收的該第二圖像訊框中的一決定位置之間的一差值，來計算用於該相機的校準參數之步驟包括以下步驟：基於該至少一個點在該第二圖像訊框中的所儲存的該決定位置和該至少一個點在該第二圖像訊框中的預測位置，來計算該等校準參數。
  3. 根據請求項1之方法，亦包括以下步驟： 計算所計算的用於該相機的該等校準參數的一品質或置信度值；決定所計算的該等校準參數的該品質或置信度值是否超過一閾值；回應於決定所計算的該等校準參數的該品質或置信度值超過該閾值，使用所計算的該等校準參數來對請求項1中記載的該等操作進行重複，以處理來自該相機的資料，以產生一下一圖像訊框；及回應於決定所計算的該等校準參數的該品質或置信度值未超過該閾值，使用所計算的該等校準參數或先前計算的校準參數來處理來自該相機的資料。
  4. 根據請求項1之方法，其中由該處理器基於所選擇的該至少一個點在該第二圖像訊框中的該預測位置與所選擇的該至少一個點在所接收的該第二圖像訊框中的一決定位置之間的一差值，來計算用於該相機的校準參數之步驟包括以下步驟：將所選擇的該至少一個點在該第二圖像訊框中的該預測位置和所選擇的該至少一個點在所接收的該第二圖像訊框中的該決定位置應用於一卡爾曼濾波器。
  5. 根據請求項4之方法，其中該卡爾曼濾波器是一擴展型卡爾曼濾波器。
  6. 根據請求項1之方法，其中使用所計算的該等校準參數來處理來自該相機的資料之步驟包括以下步驟：使用所計算的該等校準參數來處理來自該相機的資料，以矯正由一鏡頭導致的畸變。
  7. 根據請求項1之方法，其中使用所計算的該等校準參數來處理來自該相機的資料之步驟包括以下步驟：使用所計算的該等校準參數作為一電腦視覺演算法或機器視覺演算法的輸入。
  8. 根據請求項1之方法，其中該處理器和該陀螺儀被包括在該相機內。
  9. 根據請求項1之方法，其中該相機在一電子設備中，並且該處理器和該陀螺儀在該電子設備中。
  10. 根據請求項1之方法，其中該相機在包括一航空電子單元的一無人機上，並且其中由該處理器基於所選擇的該至少一個點在該第二圖像訊框中的該預測位置與所選擇的該至少一個點在所接收的該第二圖像訊框中的一決定位置之間的一差值，來計算用於該相機的校準參數之步驟包括以下步驟：基於從該航空電子單元接收的平移速度資訊、加速度資訊，或者平移速度資訊和加速度資訊二者來計算該等校準參數。
  11. 一種電子設備，包括： 一相機；一陀螺儀；一記憶體；及耦合到該相機、該陀螺儀和該記憶體的一處理器，其中該處理器被配置有用於執行包括以下各項的操作的處理器可執行指令：從該相機接收一第一圖像訊框；在該第一圖像訊框中選擇至少一個點；從該相機接收一第二圖像訊框；決定該至少一個點在該第二圖像訊框中的一位置；從該陀螺儀接收與該第一圖像訊框和該第二圖像訊框之間的一時間相對應的、該相機的旋轉速度的一量測結果；基於該相機的旋轉速度的該量測結果和該至少一個點在該第一圖像訊框中的該位置，來計算所選擇的該至少一個點在該第二圖像訊框中的一預測位置；基於所選擇的該至少一個點在該第二圖像訊框中的該預測位置與所選擇的該至少一個點在所接收的該第二圖像訊框中的一決定位置之間的一差值，來計算用於該相機的校準參數；及使用所計算的該等校準參數來處理來自該相機的資料。
  12. 根據請求項11之電子設備，其中該處理器被配置有用於執行亦包括以下各項的操作的處理器可執行指令： 在該記憶體中儲存該至少一個點在該第二圖像訊框中的該決定位置；及在該記憶體中儲存所選擇的該至少一個點在該第二圖像訊框中的該預測位置，其中基於所選擇的該至少一個點在該第二圖像訊框中的該預測位置與所選擇的該至少一個點在所接收的該第二圖像訊框中的一決定位置之間的一差值，來計算用於該相機的校準參數包括：基於該至少一個點在該第二圖像訊框中的所儲存的該決定位置和該至少一個點在該第二圖像訊框中的預測位置，來計算該等校準參數。
  13. 根據請求項11之電子設備，其中該處理器被配置有用於執行亦包括以下各項的操作的處理器可執行指令： 計算所計算的用於該相機的該等校準參數的一品質或置信度值；決定所計算的該等校準參數的該品質或置信度值是否超過一閾值；回應於決定所計算的該等校準參數的該品質或置信度值超過該閾值，使用所計算的該等校準參數來對請求項11中記載的該等操作進行重複，以處理來自該相機的資料，以產生一下一圖像訊框；及回應於決定所計算的該等校準參數的該品質或置信度值未超過該閾值，使用所計算的該等校準參數或先前計算的校準參數來處理來自該相機的資料。
  14. 根據請求項11之電子設備，其中該處理器被配置有用於執行操作的處理器可執行指令，使得基於所選擇的該至少一個點在該第二圖像訊框中的該預測位置與所選擇的該至少一個點在所接收的該第二圖像訊框中的一決定位置之間的一差值，來計算用於該相機的校準參數包括：將所選擇的該至少一個點在該第二圖像訊框中的該預測位置和所選擇的該至少一個點在所接收的該第二圖像訊框中的該決定位置應用於一卡爾曼濾波器。
  15. 根據請求項14之電子設備，其中該卡爾曼濾波器是一擴展型卡爾曼濾波器。
  16. 根據請求項11之電子設備，其中該處理器被配置有用於執行操作的處理器可執行指令，使得使用所計算的該等校準參數來處理來自該相機的資料包括：使用所計算的該等校準參數來處理來自該相機的資料，以矯正由一鏡頭導致的畸變。
  17. 根據請求項11之電子設備，其中該處理器被配置有用於執行操作的處理器可執行指令，使得使用所計算的該等校準參數來處理來自該相機的資料包括：使用所計算的該等校準參數作為一電腦視覺演算法或機器視覺演算法的輸入。
  18. 根據請求項11之電子設備，其中該處理器和該陀螺儀被包括在該相機內。
  19. 根據請求項11之電子設備，其中該電子設備是亦包括一航空電子單元的一無人機，並且 其中該處理器被配置有用於執行操作的處理器可執行指令，使得基於所選擇的該至少一個點在該第二圖像訊框中的該預測位置與所選擇的該至少一個點在所接收的該第二圖像訊框中的一決定位置之間的一差值，來計算用於該相機的校準參數包括：基於從該航空電子單元接收的平移速度資訊、加速度資訊，或者平移速度資訊和加速度資訊二者來計算該等校準參數。
  20. 一種處理設備，其被配置為耦合到一電子設備的一相機和一陀螺儀並且被配置為： 從該相機接收一第一圖像訊框；在該第一圖像訊框中選擇至少一個點；接收一第二圖像訊框；決定該至少一個點在該第二圖像訊框中的一位置；從該陀螺儀接收與該第一圖像訊框和該第二圖像訊框之間的一時間相對應的、該相機的旋轉速度的一量測結果；基於該相機的旋轉速度的該量測結果和該至少一個點在該第一圖像訊框中的該位置，來計算所選擇的該至少一個點在該第二圖像訊框中的一預測位置；基於所選擇的該至少一個點在該第二圖像訊框中的該預測位置與所選擇的該至少一個點在所接收的該第二圖像訊框中的一決定位置之間的一差值，來計算用於該相機的校準參數；及使用所計算的該等校準參數來處理來自該相機的資料。
  21. 根據請求項20之處理設備，其中該處理設備亦被配置為： 儲存該至少一個點在該第二圖像訊框中的該決定位置；及儲存所選擇的該至少一個點在該第二圖像訊框中的該預測位置，其中該處理設備亦被配置為：基於該至少一個點在該第二圖像訊框中的所儲存的該決定位置和該至少一個點在該第二圖像訊框中的一預測位置，來計算用於該相機的校準參數。
  22. 根據請求項20之處理設備，其中該處理設備亦被配置為： 計算所計算的用於該相機的該等校準參數的一品質或置信度值；決定所計算的該等校準參數的該品質或置信度值是否超過一閾值；回應於決定所計算的該等校準參數的該品質或置信度值超過該閾值，使用所計算的該等校準參數來對請求項20中記載的操作進行重複，以處理來自該相機的資料，以產生一下一圖像訊框；及回應於決定所計算的該等校準參數的該品質或置信度值未超過該閾值，使用所計算的該等校準參數或先前計算的校準參數來處理來自該相機的資料。
  23. 根據請求項20之處理設備，其中該處理設備亦被配置為：經由將所選擇的該至少一個點在該第二圖像訊框中的該預測位置和所選擇的該至少一個點在所接收的該第二圖像訊框中的該決定位置應用於一卡爾曼濾波器，來基於所選擇的該至少一個點在該第二圖像訊框中的該預測位置與所選擇的該至少一個點在所接收的該第二圖像訊框中的一決定位置之間的一差值，來計算用於該相機的校準參數。
  24. 根據請求項23之處理設備，其中該卡爾曼濾波器是一擴展型卡爾曼濾波器。
  25. 根據請求項20之處理設備，其中該處理設備亦被配置為：使用所計算的該等校準參數來處理來自該相機的資料，以矯正由一鏡頭導致的畸變。
  26. 根據請求項20之處理設備，其中該處理設備亦被配置為：使用所計算的該等校準參數作為一電腦視覺演算法或機器視覺演算法的輸入，來處理來自該相機的資料。
  27. 根據請求項20之處理設備，其中該處理設備被配置為實現在包括一航空電子單元的一無人機上，並且其中該處理設備亦被配置為：經由基於從該航空電子單元接收的平移速度資訊、加速度資訊，或者平移速度資訊和加速度資訊二者來計算該等校準參數，來基於所選擇的該至少一個點在該第二圖像訊框中的該預測位置與所選擇的該至少一個點在所接收的該第二圖像訊框中的一決定位置之間的一差值，來計算用於該相機的校準參數。
  28. 一種電子設備，包括： 一相機；一陀螺儀；用於從該相機接收一第一圖像訊框的構件；用於在該第一圖像訊框中選擇至少一個點的構件；用於從該相機接收一第二圖像訊框的構件；用於決定該至少一個點在該第二圖像訊框中的一位置的構件；用於從該陀螺儀接收與該第一圖像訊框和該第二圖像訊框之間的一時間相對應的、該相機的旋轉速度的一量測結果的構件；用於基於該相機的旋轉速度的該量測結果和該至少一個點在該第一圖像訊框中的該位置，來計算所選擇的該至少一個點在該第二圖像訊框中的一預測位置的構件；用於基於所選擇的該至少一個點在該第二圖像訊框中的該預測位置與所選擇的該至少一個點在所接收的該第二圖像訊框中的一決定位置之間的一差值，來計算用於該相機的校準參數的構件；及用於使用所計算的該等校準參數來處理來自該相機的資料的構件。
TW106145906A 2017-02-16 2017-12-27 利用陀螺儀的相機自動校準 TW201832185A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762459879P 2017-02-16 2017-02-16
US62/459,879 2017-02-16
US15/641,510 2017-07-05
US15/641,510 US11205283B2 (en) 2017-02-16 2017-07-05 Camera auto-calibration with gyroscope

Publications (1)

Publication Number Publication Date
TW201832185A true TW201832185A (zh) 2018-09-01

Family

ID=63105292

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106145906A TW201832185A (zh) 2017-02-16 2017-12-27 利用陀螺儀的相機自動校準

Country Status (5)

Country Link
US (1) US11205283B2 (zh)
EP (1) EP3583578A1 (zh)
CN (1) CN110268445A (zh)
TW (1) TW201832185A (zh)
WO (1) WO2018151792A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10379545B2 (en) * 2017-07-03 2019-08-13 Skydio, Inc. Detecting optical discrepancies in captured images
JP6972756B2 (ja) 2017-08-10 2021-11-24 富士通株式会社 制御プログラム、制御方法、及び情報処理装置
JP6972757B2 (ja) * 2017-08-10 2021-11-24 富士通株式会社 制御プログラム、制御方法、及び情報処理装置
CN110574040A (zh) * 2018-02-14 2019-12-13 深圳市大疆创新科技有限公司 自动抓拍方法及装置、无人机及存储介质
JP7137464B2 (ja) * 2018-12-26 2022-09-14 株式会社デンソーアイティーラボラトリ カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム
US11586914B2 (en) * 2019-01-11 2023-02-21 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for evaluating perception systems for autonomous vehicles using quality temporal logic
CN111726539B (zh) * 2019-03-20 2021-12-31 北京初速度科技有限公司 一种图像时间戳确定方法及装置
CN110519507B (zh) * 2019-07-23 2021-03-19 影石创新科技股份有限公司 一种相机镜头平滑处理方法、装置及便携式终端
US11164337B2 (en) * 2019-10-04 2021-11-02 Google Llc Autocalibration for multiple cameras using near-infrared illuminators
CN114730451A (zh) * 2019-10-04 2022-07-08 皇家飞利浦有限公司 使用纹理分析进行图像质量（iq）标准化和系统健康预测的磁共振（mr）图像伪影确定
US11393125B1 (en) 2019-12-09 2022-07-19 Gopro, Inc. Systems and methods for dynamic optical medium calibration
US11507113B2 (en) * 2020-01-23 2022-11-22 Ford Global Technologies, Llc Aerial vehicle sensor calibration systems and methods
CN111459176B (zh) * 2020-04-03 2023-09-01 重庆固高科技长江研究院有限公司 车自动充电定位控制方法、标定方法及车辆姿态计算方法
US20220198714A1 (en) * 2020-12-23 2022-06-23 Lyft, Inc. Camera to camera calibration
CN114062769A (zh) * 2021-10-09 2022-02-18 深圳市易优电气有限公司 汽车空调驱动器输出电流测试方法、装置、设备及介质
CN114025055A (zh) * 2021-11-29 2022-02-08 上海商汤临港智能科技有限公司 一种数据处理的方法、装置、系统、设备及存储介质
US20230315120A1 (en) * 2022-04-01 2023-10-05 Ford Global Technologies, Llc Systems and methods for calibrating a map of an autonomous robot
KR102514200B1 (ko) * 2022-09-08 2023-03-28 주식회사 아프로시스템즈 영상 내 특정영역 화질 개선을 위한 카메라 파라미터 자동 보정 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998054593A1 (en) * 1997-05-30 1998-12-03 British Broadcasting Corporation Position determination
FR2770317B1 (fr) 1997-10-24 2000-12-08 Commissariat Energie Atomique Procede d'etalonnage de la position et de l'orientation d'origine d'une ou plusieurs cameras mobiles et son application a la mesure de position tridimentionnelle d'objets fixes
JP4250620B2 (ja) * 2005-07-29 2009-04-08 キヤノン株式会社 情報処理方法および装置
US9105080B2 (en) * 2008-10-01 2015-08-11 Hi-Key Limited Method and a system for calibrating an image capture device
US8676498B2 (en) * 2010-09-24 2014-03-18 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
US8823813B2 (en) * 2011-06-06 2014-09-02 Apple Inc. Correcting rolling shutter using image stabilization
US9367928B2 (en) 2012-10-05 2016-06-14 Universidade De Coimbra Method for aligning and tracking point regions in images with radial distortion that outputs motion model parameters, distortion calibration, and variation in zoom
US9013617B2 (en) * 2012-10-12 2015-04-21 Qualcomm Incorporated Gyroscope conditioning and gyro-camera alignment
US10306206B2 (en) 2013-07-23 2019-05-28 The Regents Of The University Of California 3-D motion estimation and online temporal calibration for camera-IMU systems
US9400930B2 (en) * 2013-09-27 2016-07-26 Qualcomm Incorporated Hybrid photo navigation and mapping
KR102209008B1 (ko) * 2014-02-17 2021-01-28 삼성전자주식회사 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
US10412369B2 (en) * 2015-07-31 2019-09-10 Dell Products, Lp Method and apparatus for compensating for camera error in a multi-camera stereo camera system
US20170070731A1 (en) 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
KR102457617B1 (ko) * 2015-09-16 2022-10-21 한화테크윈 주식회사 영상 움직임 추정 방법 및 장치, 영상 안정화 방법 및 장치, 및 컴퓨터 기록매체
US9489735B1 (en) * 2015-09-17 2016-11-08 Qualcomm Incorporated Multiplexed temporal calibration for event-based cameras
CN110268224A (zh) * 2017-02-10 2019-09-20 深圳市大疆创新科技有限公司 用于无人机实时位置跟踪的系统和方法

Also Published As

Publication number Publication date
EP3583578A1 (en) 2019-12-25
WO2018151792A1 (en) 2018-08-23
CN110268445A (zh) 2019-09-20
US11205283B2 (en) 2021-12-21
US20180232907A1 (en) 2018-08-16

Similar Documents

Publication Publication Date Title
TW201832185A (zh) 利用陀螺儀的相機自動校準
US20210012520A1 (en) Distance measuring method and device
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN109887057B (zh) 生成高精度地图的方法和装置
WO2020253260A1 (zh) 时间同步处理方法、电子设备及存储介质
US20190096069A1 (en) Systems and methods for visual target tracking
EP3158293B1 (en) Sensor fusion using inertial and image sensors
WO2016187760A1 (en) Sensor fusion using inertial and image sensors
WO2016187759A1 (en) Sensor fusion using inertial and image sensors
CN111670419A (zh) 用于自主导航的主动补充曝光设置
EP3734394A1 (en) Sensor fusion using inertial and image sensors
CN102914293A (zh) 信息处理设备和信息处理方法
CN108780577A (zh) 图像处理方法和设备
WO2021081774A1 (zh) 一种参数优化方法、装置及控制设备、飞行器
Zhang et al. Vision-aided localization for ground robots
CN108981687A (zh) 一种视觉与惯性融合的室内定位方法
WO2020062089A1 (zh) 磁传感器校准方法以及可移动平台
CN109521785A (zh) 一种随身拍智能旋翼飞行器系统
CN110720113A (zh) 一种参数处理方法、装置及摄像设备、飞行器
CN115930959A (zh) 视觉初始化方法、装置及飞行汽车
WO2020062024A1 (zh) 基于无人机的测距方法、装置及无人机
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
CN110136168B (zh) 一种基于特征点匹配和光流法的多旋翼速度测量方法
CN108225316A (zh) 载体姿态信息的获取方法和装置及系统
US20210256732A1 (en) Image processing method and unmanned aerial vehicle