TW201622419A - 相機校準 - Google Patents

相機校準 Download PDF

Info

Publication number
TW201622419A
TW201622419A TW104125104A TW104125104A TW201622419A TW 201622419 A TW201622419 A TW 201622419A TW 104125104 A TW104125104 A TW 104125104A TW 104125104 A TW104125104 A TW 104125104A TW 201622419 A TW201622419 A TW 201622419A
Authority
TW
Taiwan
Prior art keywords
feature
images
features
homography
image
Prior art date
Application number
TW104125104A
Other languages
English (en)
Other versions
TWI590645B (zh
Inventor
馬丁 梅隆
丹尼爾 米德頓
Original Assignee
英特爾股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾股份有限公司 filed Critical 英特爾股份有限公司
Publication of TW201622419A publication Critical patent/TW201622419A/zh
Application granted granted Critical
Publication of TWI590645B publication Critical patent/TWI590645B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本文說明用於影像校準的技術。此等技術可包括偵測在一組影像的特徵、描述在該組影像的特徵、決定影像組的特徵之間的匹配、根據與匹配特徵關聯的相機位置決定在匹配特徵的偏移、決定相機位置與所決定的偏移之間的第一單應性(homography)、以及根據回到相機的三維特徵的再投影決定第二單應性。

Description

相機校準
本發明一般有關於相機校準。更精確而言，本發明有關於影像被擷取時所執行的特設校準(ad hoc calibration)程序。
運算裝置日益包括一或多個相機，或其他類型的影像擷取裝置，使使用者能夠擷取影像。舉例來說，許多智慧型電話及平板運算裝置包括可操作於各種情境中擷取影像的相機。許多相機系統可在製造期間被校準。然而，因為諸如偏移、雜訊及其他影像品質因數的相機系統容差異，當影像於正常使用期間被擷取時，即時或特設校準可有助於維持有彈性的每日使用消費性產品。
100‧‧‧運算裝置
102‧‧‧處理器
104‧‧‧儲存裝置
106‧‧‧記憶體裝置
108‧‧‧顯示驅動器
110‧‧‧顯示裝置
112‧‧‧相機驅動器
114‧‧‧相機裝置
115‧‧‧多相機系統
116‧‧‧校準應用程式
118‧‧‧特徵模組
120‧‧‧單應性模組
122‧‧‧訂正模組
124‧‧‧異常值模組
126‧‧‧重建模組
128‧‧‧網路介面控制器
130‧‧‧遠端運算裝置
132‧‧‧網路
134‧‧‧系統匯流排
202‧‧‧以原始H改正的影像組
204‧‧‧特徵偵測
206‧‧‧特徵描述
208‧‧‧特徵匹配
210‧‧‧特徵>臨限值？
212‧‧‧丟棄異常值
214‧‧‧根據相機的位置決定匹配特徵的偏移
216‧‧‧產生目前位置與偏移之間的單應性
218‧‧‧重建3D特徵並根據回到相機的3D特徵再投影尋找另一單應性
302‧‧‧理想點
304‧‧‧點
404‧‧‧異常值
600‧‧‧電腦可讀取媒體
602‧‧‧處理器
604‧‧‧電腦匯流排
圖1是具有在運算裝置校準影像的校準應用程式的運 算裝置的方塊圖。
圖2是說明在運算裝置執行的校準的程序流程圖。
圖3是在相機裝置的校準之前存在於擷取影像中的特徵的圖。
圖4是在相機裝置的校準之後存在於擷取影像中的特徵的圖。
圖5說明可於校準期間發生的對準修正的照片。
圖6是說明建構以校準影像擷取裝置的電腦可讀媒體的例子的方塊圖。
【發明內容及實施方式】
本文揭露的標的有關使用工廠校準資料作為主動影像修正程序的一部分的技術，主動影像修正程序於每當深度相機系統正使用於運算裝置時執行。此板上校準提供許多益處。例如，可根據實際場景從工廠設定改進校準，使得懸殊差異產生可用的影像。在某些態樣中，可使用自該影像取出的特徵來修正影像調整，所以可以改正他們。在某些態樣中，可提供景深估計以自動化懸殊差異的參數選擇。在具有小量雜訊及良好照明的場景中，特設校準可針對相機旋轉方面的小改變以及可能改變的給定相機的固有性質增加改正。
圖1是具有在運算裝置校準影像的校準應用程式的運算裝置的方塊圖。運算裝置100可包括處理器102、包括非暫態電腦可讀取媒體的儲存裝置104、及記 憶體裝置106。運算裝置100可包括顯示驅動器108及相機驅動器112，顯示驅動器108經組配用以操作顯示裝置110在圖形使用者介面(GUI)呈現影像，相機驅動器112經組配用以操作多相機系統115的一或多個相機裝置114。
運算裝置100包括校準應用程式116的模組，其經組配用以校準由一或多個相機裝置114所擷取的影像。如圖1所示，該等模組包括特徵模組118及單應性模組120。在某些實施例中，校準應用程式116包括改正模組122、異常值模組124以及重建模組126。模組118、120、122、124及126可以是至少部分包含硬體邏輯的邏輯。在一些範例中，模組118、120、122、124及126可以是儲存在儲存媒體上的指令，經組配用以由諸如處理器102的處理裝置來執行。在又其他的範例中，模組118、120、122、124及126可以是硬體、軟體及韌體的組合。模組118、120、122、124及126可以經組配用以獨立、平行、分散方式或作為更廣程序的一部分而操作。模組120、122、124可被視為分離模組或是父代模組.的子模組。亦可包括額外的模組。在任何例子中，模組118、120、122、124及126經組配用以執行操作。
特徵模組118經組配用以偵測一組影像上的特徵。該組影像可為至少兩個擷取自不同相機裝置114的影像。在實施例中，該組影像可為至少三個擷取自至少三個不同相機裝置114的影像。特徵模組118可使用特徵偵 測演算法偵測特徵。例如，特徵模組118可實施角點偵測(corner detection)法，像是加速分段測試特徵(FAST)法。特徵模組118亦經組配用以描述該組影像上的特徵。特徵是每一影像的一項資訊。可使用諸如快速視網膜特徵(FREAK)法的特徵描述符(feature descriptor)法實施每一特徵的描述。一旦特徵已經偵測到且予以描述，則對所有被擷取的影像或影像組而言是共同特徵為匹配。在實施例中，可使用暴力匹配器及簡單限制來進行匹配。
單應性模組120經組配用以根據用來擷取該組影像中一影像的每一相機的相機位置來決定有關匹配特徵的偏移。在射影幾何(projective geometry)中，單應性可以是由來自得到射影空間之向量空間的異種同形(isomorphism)所誘導之射影空間的異種同形。單應性模組120可決定相機位置與所決定的偏移之間的第一單應性。單應性模組120亦可根據回到相機裝置114的三維(3D)特徵再投影決定第二單應性。
在某些實施例中，校準應用程式116包括改正模組122。改正模組122經組配用以使用工廠校準資料。舉例來說，改正模組122可利用由製造商提供的原始單應性來改正該組影像。原始單應性可儲存於儲存裝置104。可在特徵模組118的特徵偵測之前執行改正以便強化校準的結果。
在某些實施例中，校準應用程式116進一步包括異常值模組124。異常值模組124經組配用以根據在 大於一預定臨限值的特徵匹配角度丟棄異常值。異常值模組124亦可根據大於一預定臨限值的特徵匹尺寸丟棄異常值。在至少三個用以擷取影像組的相機裝置114的情形中，異常值模組124經組配用以丟棄不在來自至少三個相機裝置114的影像中產生的特徵匹配。異常值模組124可進一步經被組配用以決定偏移的規模，其指示由一與每一被擷取影像關聯之位移所劃分的影像組之間的特徵座標的差異。須注意以上及/或以下討論的模組可實施為單一應用，可組合二或更多模組以實施任何給定的操作。
在某些實施例中，校準應用程式116包括重建模組126。重建模組126可經組配用以3D重建被偵測的特徵，其中第二單應性是在來自製造商校準的原始特徵座標與基於到一或多個相機之3D重建的再投影的特徵座標之間的單應性。在某些情形中，3D重建估計景深。
以上討論的校準在此可稱為特設或即時校準。因為影像擷取於運算裝置100，此引用校準的實施，而非僅僅依賴由製造商所執行的校準。
在實施例中，運算裝置100包括網路介面控制器128組件，其經組配用以將運算裝置100經由網路132連接到遠端運算裝置130。在某些情況中，網路介面控制器128係為經組配以通訊地耦接至系統滙流排134的擴充卡。在其他情況中，網路介面控制器128可與像是運算裝置100的運算裝置的主機板整合。在實施例中，校準應用程式116可執行、且/或儲存於諸如其中一個運算裝 置130的遠端運算裝置。舉例來說，被擷取的影像可被傳送到遠端運算裝置130，諸如具有類似於校準應用程式116的校準應用程式的伺服器。校準可以從一或多個遠端運算裝置130經由網路132提供給運算裝置100。
本文所稱的運算裝置100，可以是行動運算裝置，其中諸如處理裝置、儲存裝置及顯示裝置的組件配置於單一殼體內。例如，運算裝置100可為平板電腦、智慧型手機、手持式電玩系統、行動電話、一體式平板運算裝置、或其他具有一體式功能的運算裝置，其中運算裝置的殼體收納顯示器以及諸如儲存器組件及處理組件的組件。
處理器102可為主處理器，其適用於執行所儲存的指令。處理器102可為單核心處理器、多核心處理器、計算叢集、或任何數量的其他配置。處理器102可實施為複雜指令集電腦(Complex Instruction Set Computer,CISC)或精簡指令集電腦(Reduced Instruction Set Computer,RISC)處理器、x86指令集相容處理器、多核心、或任何其他微處理器或中央處理單元(CPU)。
記憶體裝置106可包括隨機存取記憶體(RAM)(例如，靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、零電容RAM、SONOS(矽-氧化物-氮化物-氧化物-矽)、嵌入式DRAM、資料輸出延伸式RAM、雙倍資料率(DDR)RAM、電阻式隨機存取記憶體(RRAM)、參數隨機存取記憶體(PRAM)等)、唯讀記憶體(ROM)(例如，光罩式唯讀記憶體、可編程唯讀記憶體(PROM)、 可抹除可編程唯讀記憶體(EPROM)、電子可抹除可編程唯讀記憶體(EEPROM)等)、快閃記憶體、或任何其他適合的記憶體系統。主處理器102可透過系統匯流排134(例如，週邊組件互連(PCI)、工業標準架構(ISA)、快速PCI、HyperTransport®、NuBus等)連接到包括記憶體106及儲存裝置104的組件。
相機驅動器112經組配用以指示一或多個相機裝置114擷取視覺資訊，或換言之，要用來校準相機裝置114的影像組的影像。藉提供校準後製造，校準可利用真實世界影像來強化校準。在一些範例中，該校準強化先前於製造期間實施的校準資料。然而，也可以不引用製造商校準資料來實施校準。相機裝置114可為經組配用以擷取即時視訊或靜止影像的多數個視訊攝影機。在一些實施例中，校準可用於單一相機裝置114，針對不同位置擷取的影像實施校準。在某些態樣中，運算裝置100包括深度感應相機，不論是作為相機裝置114的附加組件或是整合組件，其經組配用以判定運算裝置100與一或更多實體表面之間的距離。
圖1的方塊圖不意圖指運算裝置100要包括圖1所顯示的所有組件。再者，運算裝置100可包括任何數量之未顯示於圖1的附加組件，端視特定實施方細節而定。
圖2是繪示實施於該運算裝置的校準的程序流程圖。在202，該組影像利用原始單應性「H」加以改 正。如以上所討論，原始單應性可以是製造期間實施之校準所提供的資料。該原始單應性資料可儲存於運算裝置中，諸如圖1之運算裝置100。在204，實施特徵偵測，且在206，實施特徵描述。如以上所討論，在204的特徵偵測可使用FAST實施，且可使用FREAK實施特徵描述。在208，在該影像組中在超過一個影像中出現的特徵被匹配。在210，異常值被辨識為符合或超過臨限值的特徵。如以上關於圖1的討論，臨限制可以根據尺寸、角度等等。雖未繪示於圖2，但異常值亦可根據一給定特徵是否出現於至少三個相機中而加以辨識。倘若匹配的特徵超過該臨限值，則它們在212被辨識為異常值且被丟棄。在210沒有超過該臨限值的匹配的特徵會在214被用來決定應該被用來校準相機裝置的偏移。該偏移可根據相機位置、或彼此的相對位移。相機裝置的目前位置與在214所決定的偏移之間的單應性在216產生。在某些情況下，單應性根據諸如隨機取樣一致(RANSAC)的迭代法產生。在218，特徵可3D重建，且在目前位置與根據回到相機裝置的3D特徵的再投影的最佳位置之間找到另一單應性。
在某些實施例中，特徵在一參考相機與其他相機之間匹配。在每一對應的特徵組中決定偏移的規模。偏移的規模可為相機與參考相機之間由該二相機的距離所劃分的一特徵座標的差異。特徵可能必須在至少三個相機中匹配才是有用的。換言之，他們的偏移的規模必須在所 有的相機114中匹配。在此情況下，可決定平均規模，可在非參考相機中標示理想座標，作為在參考相機中特徵的座標加上從參考相機到另一相機的方向。因此，平均規模，即此等理想座標與目前座標之間的差異，或換言之，即可在圖表上畫出誤差，諸如下述圖3繪示的圖表。
所找到的第一單應性是針對所有特徵的目前座標與理想座標之間，使用RANSC來丟棄異常值，並且針對每一相機，使得RANSAC將個別在每一相機中執行。須注意移除誤差的共同成分，使得當參考相機不對準時其本身會被修正。
新找到的單應性應用於所有相機中被偵測的特徵。此可導致估計的改正相機矩陣。特徵被3D重建且因3D重建誤差造成的誤差可予以丟棄。被3D重建的特徵被再投影回到諸相機中且在他們目前的座標與得自再投影的座標之間決定一單應性。此可再度以RANSAC完成，因為其改善了相機矩陣且馬上與所有相機一起作用。單應性修正矩陣H2被判定為在原始特徵座標與根據回到諸相機之3D重建的再投影的待徵座標之間的單應性。以下關於圖4所討論的綠點中心圖表，其繪示當施加H2時對應如何改變。
特設即時校準的輸出可包括3D重建特徵估計景深、以及單應性修正矩陣H2。H2單應性修正矩陣可根據下述方程式導出。例如，改正的相機矩陣可為KP，如方程式1所示： K P =H×K×R方程式1
然而，當校準隨著時間改變時，便不再有K及R，但有稍微修改的KO和PO。所以，為了再度得到KP，需要產生新的單應性矩陣HO以便得到新的KP，如方程式2所示：K P' =H O ×K O ×R O 方程式2
然而，HO可能是未知的。當來自一影像組的影像以原始H改正時，產生未知矩陣KPO的影像，如方程式3所示：K PO =H×K O ×R O 方程式3
KPO與KP’之間的差異可根據特徵對準來觀察，其可產生H2，如方程式4所示：K P ~H 2×H×K O ×R O 方程式4
此可為近似值。且最後KP如方程式5所示：K P =H×K×R~H 2×H×K O ×R O 方程式5
在方程式5中，KO和RO是未知矩陣。但是，未必需要他們來決定H2，且會假設原始K維持常數。
圖3是描繪在相機裝置的校準之前存在於擷 取影像中的特徵的圖。在圖3中，使用相機擷取影像。在302表示理想點。理想點302是倘若多相機系統114被校準，向量所在之處。異常值以點304表示且指出對應的誤差。
圖4是描繪在相機裝置的校準之後存在於擷取影像中的特徵的圖。類似圖3，繪示理想點302，但相較於圖3，異常值404較接近理想點302。參照圖3及圖4，校準可產生改善的對應。
圖5是說明可於校準期間發生的對準修正的照片。在502，相機沒有正確對準，而在504，相機確實正確對準。
圖6是說明經組配用以校準影像擷取裝置的電腦可讀取媒體的範例的方塊圖。電腦可讀取媒體600可被處理器602經由電腦匯流排604存取。在某些例子中，電腦可讀取媒體600可為非暫態電腦可讀取媒體。在某些例子中，電腦可讀取媒體可為儲存媒體，但不包括載波、信號等等。再者，電腦可讀取媒體600可包括指示處理器602實施目前方法的步驟的電腦可執行指令。
此處討論的種種軟體組件可儲存於實體的、非暫態的電腦可讀取媒體600，如圖6所示。舉例來說，校準應用程式606可經組配用以偵測在一組影像的特徵、描述在該組影像的特徵、決定諸影像組的特徵之間的匹配、根據關聯的相機位置決定在匹配特徵的偏移、決定諸相機位置與決定的偏移之間的第一單應性、以及根據回到 相機的三維特徵的再投影決定第二單應性。
範例可包括標的，像是方法、用以實施該方法的行為的手段、至少一包括指令的機器可讀取媒體，當由機器執行該等指令時，使該機器實施該方法、或是根據此處所述之實施例及範例之用以投影虛擬影像的裝置或系統的行為。
範例1包括一種用於影像校準的系統。該系統包括處理裝置及要由該處理裝置實施的模組。該等模組包括特徵模組及單應性模組。
該特徵模組是用以偵測在一組影像的特徵，並描述在該組影像的特徵。該特徵模組亦可經組配用以決定該等影像組之特徵之間的匹配。
該單應性模組經組配用以根據相機位置決定在該等匹配特徵的偏移。該單應性模組經進一步組配用以決定該等相機位置興該決定的偏移之間的第一單應性。該單應性模組經進一步組配用以根據回到該相機之三維特徵的再投影決定第二單應性。
範例2包括一種用於影像校準的方法。該方法包括偵測在一組影像的特徵、描述在該組影像的特徵、決定該等影像組的特徵之間的匹配、以及根據與該匹配的特徵關聯的相機位置決定該等匹配特徵的偏移。
範例2的方法亦可包括決定該等相機位置與該決定的偏移之間的第一單應性。該方法可進一步包括根據回到該等相機之三維特性的再投影決定第二單應性。
在某些情況下，範例2的方法可由一種用於校準的適合手段實施。在某些情況下，該手段包括經組配用以實施範例2之方法的電腦可讀取媒體。
範例3包括一種用於影像校準的裝置。該裝置可包括用於偵測在一組影像的特徵、描述在該組影像的特徵、決定該等影像組的特徵之間的匹配、以及根據與該等匹配的特徵關聯的相機位置決定在該等匹配的特徵上的偏移的手段。
範例3的裝置亦可包括用以決定該等相機位置與該決定的偏移之間的第一單應性的手段。該手段亦可經組配用以根據回到該等相機之三維特徵的再投影決定第二單應性。
範例4包括一種具有碼的電腦可讀取媒體，當處理裝置執行該碼時，該碼使該處理裝置偵測在一組影像的特徵。該碼亦可使該處理裝置描述在該組影像的特徵、決定該等影像組的特徵之間的匹配、以及根據與該等匹配的特徵關聯的相機位置決定在該等匹配的特徵的偏移。該碼可進一步使該處理裝置決定該等相機位置與該決定的偏移之間的第一單應性、以及根據回到該等相機之三維特徵的再投影決定第二單應性。
範例5包括一種具有邏輯之用於影像校準的裝置。該邏輯可至少部分包括硬體邏輯。該邏輯可經組配用以實施一種方法，該方法包括偵測在一組影像的特徵、描述在該組影像的特徵、決定該等影像組的特徵之間的匹 配、以及根據與該等匹配的特徵關聯的相機位置決定在該等匹配的特徵的偏移。
範例5亦可包括一種用以決定在該等相機位置與該決定的偏移之間的第一單應性的邏輯。該邏輯亦可經組配用以根據回到該等相機之三維特徵的再投影決定第二單應性。
實施例是實作或範例。說明書中引用「實施例」、「一實施例」、「某些實施例」、「各種實施例」、或「其他實施例」意指所描述之與該實施例有關的一特定特徵、結構、或特性包括在至少某些實施例，但不一定是本技術的所有實施例。「實施例」、「一實施例」、或「某些實施例」的各種出現並不一定全都指本技術的相同實施例。
並非此處所描述及繪示的所有組件、特徵、結構、或特性等需包括在一特定的實施例或諸實施例中。如果說明書陳述「可以」、「可能」、「能」或「可」包括例如一組件、特徵、結構或特性，則並沒有規定要包括該特定組件、特徵、結構或特性。如果說明書或申請專利範圍引用「一」(「a」或「an」)元件，其並非意指僅有一個該元件。如果說明書或申請專利範圍引用「額外的」元件，其並不預先排除會有多於一個該額外的元件。
應注意，雖然某些實施例已參照特定實施例如以描述，但根據某些實施例的其他實施是可能的。此外，繪示於圖式及/或此處描述的電路元件或其他特徵的 配置及/或順序並不一定要以所繪示或描述的特定方式來配置。根據某些實施例的許多其他配置是可能的
顯示於圖式中的每一系統中，在某些情況下的元件可各具有相同參考號碼或不同參考號碼，以表明所代表的元件可以不同及/或類似。然而，元件可以足夠彈性到可具有不同的實施且與此處顯示或描述的一些或所有系統作用。於圖式中顯示的種種元件可以相同或不同。哪一元件被稱為第一元件且哪一元件被稱為第二元件是隨意的。
應該要瞭解到，前述範例中的細節可用於一或更多實施例的任何地方。舉例來說，上述運算裝置的所有可選擇特徵亦可針對此處描述的方法或電腦可讀取媒體實施。再者，雖然在此可使用流程圖及/或狀態圖來描述實施例，但技術並不侷限於此處的圖或對應的說明。例如，流程不需要移經每一所繪示的框或狀態或完全依與此處所繪示及說明相同的順序。
本發明技術並不限於此處所列之特定細節。的確，有此說明書之利益的熟於此技藝之人士會體認到在本發明技術的範疇內可從事來自前述說明及圖式的許多其他變化。因此，是以下包括任何修正的申請專利範圍界定本發明技術的範圍。
100‧‧‧運算裝置
102‧‧‧處理器
104‧‧‧儲存裝置
106‧‧‧記憶體裝置
108‧‧‧顯示驅動器
110‧‧‧顯示裝置
112‧‧‧相機驅動器
114‧‧‧相機裝置
115‧‧‧多相機系統
128‧‧‧網路介面控制器
130‧‧‧遠端運算裝置
132‧‧‧網路
134‧‧‧系統匯流排

Claims (25)

  1. 一種用於影像校準的系統，包含：處理裝置；以及由該處理裝置實施的模組，該等模組包含：特徵模組，用以：偵測在一組影像的特徵；描述在該組影像的特徵；決定該組影像的特徵之間的匹配；以及單應性模組，用以：根據相機位置決定在該等匹配特徵的偏移；決定該等相機位置與該決定的偏移之間的第一單應性；以及根據回到該等相機的三維特徵的再投影決定第二單應性。
  2. 如申請專利範圍第1項之系統，進一步包含改正模組，其經組配用以以來自製造商校準的原始單應性改正該組影像，其中，該改正實施於該特徵模組的該特徵偵測之前。
  3. 如申請專利範圍第1項之系統，其中，一影像組的影像包含各擷取於包含至少三個相機的不同相機的影像。
  4. 如申請專利範圍第1項之系統，其中，該影像組的該等影像包含擷取於配置在不同位置的單一相機的影像。
  5. 如申請專利範圍第1項之系統，進一步包含異常值 模組，其經組配用以：根據大於一預定臨限值的特徵匹配角度丟棄異常值；以及根據大於一預定臨限值的特徵匹配尺寸丟棄異常值。
  6. 如申請專利範圍第5項之系統，其中，該異常值模組經進一步組配用以丟棄特徵匹配發生在少於三個相機的情況下的異常值。
  7. 如申請專利範圍第5項之系統，其中，該異常值模組經進一步組配用以決定該偏移的規模，該偏移的規模指出在由與各擷取影像關聯之位移所劃分的影像組之間的特徵座標的差異。
  8. 如申請專利範圍第1項之系統，進一步包含重建模組，其經組配用以三維重建該等被偵測特徵，其中，該第二單應性為在來自製造商校準的原始特徵座標與根據到一或多個相機的該三維重建的再投影的特徵座標之間的單應性。
  9. 如申請專利範圍第8項之系統，其中，該三維重建估計景深。
  10. 如申請專利範圍第1項之系統，其中，該等模組為當影像被擷取時可操作特設的。
  11. 一種用於影像校準的方法，包含：偵測在一組影像的特徵；描述在該組影像的特徵；決定該組影像的特徵之間的匹配； 根據與該等匹配特徵關聯的相機位置決定在該等匹配特徵的偏移；決定該等相機位置與該決定的偏移之間的第一單應性；以及根據回到該等相機的三維特徵的再投影決定第二單應性。
  12. 如申請專利範圍第11項之方法，進一步包含以來自製造商校準的原始單應性改正該組影像，其中，該改正實施於該特徵模組的該特徵偵測之前。
  13. 如申請專利範圍第11項之方法，其中，一影像組的影像包含各擷取於包含至少三個相機的不同相機的影像。
  14. 如申請專利範圍第11項之方法，其中，該影像組的該等影像包含擷取於配置在不同位置的單一相機的影像。
  15. 如申請專利範圍第11項之方法，進一步包含：根據大於一預定臨限值的特徵匹配角度丟棄異常值；以及根據大於一預定臨限值的特徵匹配尺寸丟棄異常值。
  16. 如申請專利範圍第11之方法，進一步包含丟棄特徵匹配發生在少於三個相機的情況下的異常值。
  17. 如申請專利範圍第11項之方法，進一步包含決定該偏移的規模，該偏移的規模指出在由與各擷取影像關聯之位移所劃分的影像組之間的特徵座標的差異。
  18. 如申請專利範圍第11項之方法，進一步包含三維重建該等被偵測特徵，其中，該第二單應性為在來自製造商校準的原始特徵座標與根據再投影到一或更多相機的該三維重建的再投影的特徵座標之間的單應性。
  19. 如申請專利範圍第18項之方法，其中，該三維重建估計景深。
  20. 如申請專利範圍第11項之方法，其中，該方法為當影像被擷取時可操作特設的。
  21. 一種包括碼的電腦可讀取媒體，當該碼被執行時，使處理裝置用以：偵測在一組影像的特徵；描述在該組影像的特徵；決定該組影像的特徵之間的匹配；根據與該等匹配特徵關聯的相機位置決定在該等匹配特徵的偏移；決定該等相機位置與該決定的偏移之間的第一單應性；以及根據回到該等相機的三維特徵的再投影決定第二單應性。
  22. 如申請專利範圍第21之電腦可讀取媒體，進一步包含碼，當該碼被執行時，使該處理裝置用以以來自製造商校準的原始單應性改正該組影像，其中，該改正實施於該特徵模組的該特徵偵測之前。
  23. 如申請專利範圍第21之電腦可讀取媒體，其中， 一影像組的影像包含各擷取於包含至少三個相機的不同相機的影像。
  24. 如申請專利範圍第21項之電腦可讀取媒體，其中，該影像組的該等影像包含擷取於配置在不同位置的單一相機的影像。
  25. 如申請專利範圍第21項之電腦可讀取媒體，進一步包含碼，當該碼被執行時，使該處理裝置用以：根據大於一預定臨限值的特徵匹配角度丟棄異常值；以及根據大於一預定臨限值的特徵匹配尺寸丟棄異常值。
TW104125104A 2014-09-05 2015-08-03 相機校準 TWI590645B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462046788P 2014-09-05 2014-09-05
US14/498,801 US9491452B2 (en) 2014-09-05 2014-09-26 Camera calibration

Publications (2)

Publication Number Publication Date
TW201622419A true TW201622419A (zh) 2016-06-16
TWI590645B TWI590645B (zh) 2017-07-01

Family

ID=55438744

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104125104A TWI590645B (zh) 2014-09-05 2015-08-03 相機校準

Country Status (7)

Country Link
US (1) US9491452B2 (zh)
EP (1) EP3189658B1 (zh)
JP (1) JP6391130B2 (zh)
KR (1) KR102268878B1 (zh)
CN (1) CN106537908B (zh)
TW (1) TWI590645B (zh)
WO (1) WO2016036470A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI668565B (zh) * 2018-02-09 2019-08-11 神雲科技股份有限公司 相機功能的自動測試及修復方法及其電子裝置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170270654A1 (en) 2016-03-18 2017-09-21 Intel Corporation Camera calibration using depth data
CN107566720B (zh) * 2017-08-25 2019-09-27 维沃移动通信有限公司 一种更新移动终端的标定值的方法及移动终端
US20200077073A1 (en) * 2018-08-28 2020-03-05 Qualcomm Incorporated Real-time stereo calibration by direct disparity minimization and keypoint accumulation
JP2020159965A (ja) * 2019-03-27 2020-10-01 東北電力株式会社 ３次元計測装置、３次元計測システムおよび３次元計測方法
WO2021061112A1 (en) 2019-09-25 2021-04-01 Google Llc Gain control for face authentication
EP3827409B1 (en) 2019-10-04 2023-01-04 Google LLC Autocalibration for multiple cameras using near-infrared illuminators
DE112019007808T5 (de) 2019-10-10 2022-08-04 Google LLC Kamera-synchronisation und bild-markieren für eine gesichtsauthentifizierung
US11360197B2 (en) 2020-01-07 2022-06-14 Luminar, Llc Calibration of sensor systems
CN113766209B (zh) * 2020-05-29 2024-04-30 上海汉时信息科技有限公司 相机偏移量处理方法及装置
US11122248B1 (en) * 2020-07-20 2021-09-14 Black Sesame International Holding Limited Stereo vision with weakly aligned heterogeneous cameras
CN111862234B (zh) * 2020-07-22 2023-10-20 中国科学院上海微系统与信息技术研究所 双目相机自标定方法及系统
CN118096742B (zh) * 2024-04-23 2024-07-05 鑫创鑫自动化设备科技（漳州）有限公司 一种基于角点检测和三维建模技术的贴片机吸嘴检测方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643066B2 (en) * 2004-02-19 2010-01-05 Robert Bosch Gmbh Method and apparatus for producing frame accurate position data in a PTZ dome camera with open loop control
US7382897B2 (en) * 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
JP4595733B2 (ja) * 2005-08-02 2010-12-08 カシオ計算機株式会社 画像処理装置
KR101195942B1 (ko) 2006-03-20 2012-10-29 삼성전자주식회사 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법
CN101226638B (zh) * 2007-01-18 2010-05-19 中国科学院自动化研究所 一种对多相机系统的标定方法及装置
ATE452379T1 (de) * 2007-10-11 2010-01-15 Mvtec Software Gmbh System und verfahren zur 3d-objekterkennung
KR100966592B1 (ko) 2007-12-17 2010-06-29 한국전자통신연구원 영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정 방법
US8401276B1 (en) 2008-05-20 2013-03-19 University Of Southern California 3-D reconstruction and registration
JP4569698B2 (ja) * 2008-06-20 2010-10-27 ソニー株式会社 物体認識装置、物体認識方法及び物体認識方法のプログラム
EP2192546A1 (en) * 2008-12-01 2010-06-02 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO Method for recognizing objects in a set of images recorded by one or more cameras
US8599317B2 (en) * 2009-03-13 2013-12-03 Disney Enterprises, Inc. Scene recognition methods for virtual insertions
US11699247B2 (en) * 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
EP2375376B1 (en) 2010-03-26 2013-09-11 Alcatel Lucent Method and arrangement for multi-camera calibration
US9560343B2 (en) 2012-11-23 2017-01-31 Samsung Electronics Co., Ltd. Apparatus and method for calibrating multi-layer three-dimensional (3D) display
CN103841394B (zh) * 2012-11-23 2017-07-07 北京三星通信技术研究有限公司 多层式三维显示器的标定设备和标定方法
US9519968B2 (en) * 2012-12-13 2016-12-13 Hewlett-Packard Development Company, L.P. Calibrating visual sensors using homography operators

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI668565B (zh) * 2018-02-09 2019-08-11 神雲科技股份有限公司 相機功能的自動測試及修復方法及其電子裝置

Also Published As

Publication number Publication date
WO2016036470A1 (en) 2016-03-10
KR102268878B1 (ko) 2021-06-24
EP3189658A1 (en) 2017-07-12
JP2017535980A (ja) 2017-11-30
EP3189658B1 (en) 2019-07-24
CN106537908A (zh) 2017-03-22
TWI590645B (zh) 2017-07-01
EP3189658A4 (en) 2018-01-24
US20160073102A1 (en) 2016-03-10
CN106537908B (zh) 2018-10-26
KR20170026591A (ko) 2017-03-08
US9491452B2 (en) 2016-11-08
JP6391130B2 (ja) 2018-09-19

Similar Documents

Publication Publication Date Title
TWI590645B (zh) 相機校準
JP6619105B2 (ja) カメラ較正システム
CA3016906C (en) Perspective correction for curved display screens
TWI528028B (zh) 用於機器視覺檢驗的檢驗設備、方法和電腦程式產品
US11282232B2 (en) Camera calibration using depth data
US9774837B2 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
Martynov et al. Projector calibration by “inverse camera calibration”
JP2014092461A (ja) 画像処理装置および方法、画像処理システム、並びにプログラム
CN110770794A (zh) 图像深度估计方法、装置、可读存储介质及电子设备
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US10692262B2 (en) Apparatus and method for processing information of multiple cameras
CN106570907B (zh) 一种相机标定方法及装置
US11205281B2 (en) Method and device for image rectification
US10252417B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
US20170155889A1 (en) Image capturing device, depth information generation method and auto-calibration method thereof
WO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
CN109785225B (zh) 一种用于图像矫正的方法和装置
TW201719579A (zh) 影像擷取裝置及其產生深度資訊的方法與自動校正的方法
CN109313811A (zh) 基于视觉系统振动移位的自动校正方法、装置及系统
KR20200057929A (ko) 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램
Ciurea et al. Adaptive Geometric Calibration Correction for Camera Array
KR20170081522A (ko) 다시점 영상 보정 장치 및 방법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees