TWI709110B - 攝像頭校準方法和裝置、電子設備 - Google Patents

攝像頭校準方法和裝置、電子設備 Download PDF

Info

Publication number
TWI709110B
TWI709110B TW108120211A TW108120211A TWI709110B TW I709110 B TWI709110 B TW I709110B TW 108120211 A TW108120211 A TW 108120211A TW 108120211 A TW108120211 A TW 108120211A TW I709110 B TWI709110 B TW I709110B
Authority
TW
Taiwan
Prior art keywords
image
camera
rgb
point set
infrared
Prior art date
Application number
TW108120211A
Other languages
English (en)
Other versions
TW202008306A (zh
Inventor
郭子青
周海濤
歐錦榮
譚筱
Original Assignee
大陸商Ｏｐｐｏ廣東移動通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201810866119.5A external-priority patent/CN109040745B/zh
Priority claimed from CN201810867079.6A external-priority patent/CN109040746B/zh
Application filed by 大陸商Ｏｐｐｏ廣東移動通信有限公司 filed Critical 大陸商Ｏｐｐｏ廣東移動通信有限公司
Publication of TW202008306A publication Critical patent/TW202008306A/zh
Application granted granted Critical
Publication of TWI709110B publication Critical patent/TWI709110B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

一種攝像頭校準方法、攝像頭校準裝置(300)、電子設備、電腦可讀儲存媒體。攝像頭校準方法包括：(202)當檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；(204)提取目標紅外線影像中的特徵點得到第一特徵點集合和RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；(206)根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。

Description

攝像頭校準方法和裝置、電子設備
本發明涉及影像技術領域，特別是涉及一種攝像頭校準方法、攝像頭校準裝置、電子設備、電腦可讀儲存媒體。
隨著電子設備和影像技術的發展，越來越多的使用者使用電子設備的攝像頭採集影像。紅外線攝像頭和RGB攝像頭在出廠前需要進行參數標定處理。當溫度變化或電子設備跌落等導致攝像頭模組發生形變，影響拍攝影像的清晰度。
本發明實施例提供一種攝像頭校準方法、攝像頭校準裝置、電子設備、電腦可讀儲存媒體，可以提高拍攝影像的清晰度。
一種攝像頭校準方法，包括：當檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取所述目標紅外線影像中的特徵點得到第一特徵點集合和所述RGB影像中的特徵點得到第二特徵點集合，並將所述第一特徵點集合和所述第二特徵點集合進行匹配；根據匹配後的特徵點獲取所述紅外線攝像頭的坐標系和所述RGB攝像頭的坐標系之間的變換關係。
一種攝像頭校準裝置包括影像獲取模組、匹配模組和參數確定模組。影像獲取模組用於當檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。匹配模組用於提取所述目標紅外線影像中的特徵點得到第一特徵點集合和所述RGB影像中的特徵點得到第二特徵點集合，並將所述第一特徵點集合和所述第二特徵點集合進行匹配。參數確定模組用於根據匹配後的特徵點獲取所述紅外線攝像頭的坐標系和所述RGB攝像頭的坐標系之間的變換關係。
一種電子設備，包括記憶體及處理器，所述記憶體中儲存有電腦程式，所述電腦程式被所述處理器執行時，使得所述處理器執行以下步驟：當檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取所述目標紅外線影像中的特徵點得到第一特徵點集合和所述RGB影像中的特徵點得到第二特徵點集合，並將所述第一特徵點集合和所述第二特徵點集合進行匹配；根據匹配後的特徵點獲取所述紅外線攝像頭的坐標系和所述RGB攝像頭的坐標系之間的變換關係。
一種非揮發性電腦可讀儲存儲存媒體，其上儲存有電腦程式，所述電腦程式被處理器執行時實現以下步驟：當檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取所述目標紅外線影像中的特徵點得到第一特徵點集合和所述RGB影像中的特徵點得到第二特徵點集合，並將所述第一特徵點集合和所述第二特徵點集合進行匹配；根據匹配後的特徵點獲取所述紅外線攝像頭的坐標系和所述RGB攝像頭的坐標系之間的變換關係。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。
可以理解，本發明所使用的術語「第一」、「第二」等可在本文中用於描述各種元件，但這些元件不受這些術語限制。這些術語僅用於將第一個元件與另一個元件區分。舉例來說，在不脫離本發明的範圍的情況下，可以將第一標定影像稱為第二標定影像，且類似地，可將第二標定影像稱為第一標定影像。第一標定影像和第二標定影像兩者都是標定影像，但其不是同一標定影像。
圖1為本發明某些實施例中攝像頭校準方法的應用環境示意圖。如圖1所示，該應用環境包括電子設備110和場景120。電子設備110包括紅外線攝像頭（Infrared Radiation Camera）和RGB（Red、Green、Blue）攝像頭。電子設備110可通過紅外線攝像頭和RGB攝像頭對場景120拍攝得到目標紅外線影像和RGB影像，並根據目標紅外線影像和RGB影像進行特徵點匹配，再計算紅外線攝像頭的坐標系和RGB攝像頭的坐標系的變換關係。電子設備110可為智慧手機、平板電腦、個人數位助理、穿戴式設備等。
圖2為本發明某些實施例中攝像頭校準方法的流程圖。如圖2所示，一種攝像頭校準方法，包括：
步驟202，當檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。
具體地，電子設備110可定期對自身攝像頭拍攝的影像進行檢測，當檢測到影像的清晰度小於清晰度閾值，則表示需要對自身攝像頭進行校準。清晰度閾值可根據需要設定，如80%、90%等。可採用Brenner梯度函數計算相連兩個像素灰度差的平方得到影像清晰度，也可採用Tenegrad梯度函數的sobel運算元分別提取水準和垂直方向的梯度值，基於Tenengrad梯度函數的影像清晰度從而求取影像清晰度，還可採用方差函數、能量梯度函數、vollath函數、熵函數、EAV點銳度演算法函數、Laplacian梯度函數、SMD灰度方差函數等來檢測影像清晰度。
步驟204，提取該目標紅外線影像中的特徵點得到第一特徵點集合和該RGB影像中的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配。
具體地，對目標紅外線影像採用尺度不變特徵轉換（Scale-invariant feature transform，簡稱SIFT）檢測得到第一特徵點集合，對RGB影像採用SIFT檢測得到第二特徵點集合。SIFT是用於影像處理中的一種描述。這種描述具有尺度不變性，可在影像中檢測出關鍵點。通過SIFT對第一特徵點集合和第二特徵點集合中的特徵點進行匹配。
SIFT特徵檢測包括：搜索所有尺度上的影像位置；在每個候選的位置上，通過擬合來確定位置和尺度；基於影像局部的梯度方向，分配給每個關鍵點位置一個或多個方向；在每個關鍵點周圍的領域內，在選定的尺度上測量影像局部的梯度。
SIFT的特徵匹配包括：從多幅影像中提取對尺度縮放、旋轉、亮度變化無關的特徵向量，得到SIFT特徵向量；採用SIFT特徵向量的歐式距離判斷兩幅影像中關鍵點的相似性。歐式距離越小，則相似度越高。當歐式距離小於設定的閾值時，則可判定為匹配成功。
步驟206，根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
設
Figure 02_image001
為在紅外線攝像頭座標下某點的空間座標，
Figure 02_image005
為該點在像平面上的投影座標（x、y單位為像素，z等於深度值，單位為毫米），
Figure 02_image009
為深度攝像頭的內參矩陣，由小孔成像模型可知，它們滿足以下關係：
Figure 02_image011
公式（1）
再設
Figure 02_image013
為在RGB攝像頭座標下同一點的空間座標，
Figure 02_image015
為該點在RGB像平面上的投影座標，
Figure 02_image017
為RGB攝像頭的內參矩陣。由於紅外線攝像頭的座標和RGB攝像頭的座標不同，它們之間可以用一個旋轉平移變換聯繫起來，即：
Figure 02_image019
公式（2）
其中，
Figure 02_image021
為旋轉矩陣，
Figure 02_image023
為平移向量。最後再用
Figure 02_image025
對
Figure 02_image026
投影，即可得到該點對應的RGB座標。
Figure 02_image027
公式（3）
需要注意的是，
Figure 02_image029
和
Figure 02_image030
使用的都是齊次座標，因此在構造
Figure 02_image029
時，應將原始的像素座標（x，y）乘以深度值，而最終的RGB像素座標必須將
Figure 02_image030
除以z分量，即（x/z，y/z），且z分量的值即為該點到RGB攝像頭的距離（單位為毫米）。
紅外線攝像頭的外參包括旋轉矩陣
Figure 02_image031
和平移向量
Figure 02_image033
，RGB攝像頭的外參包括旋轉矩陣
Figure 02_image035
和平移向量
Figure 02_image037
，攝像頭的外參表示將一個世界坐標系下的點P變換到攝像頭坐標系下，分別對紅外線攝像頭和RGB攝像頭進行變換，有以下關係：
Figure 02_image039
公式（4）
將公式（4）進行轉換得到：
Figure 02_image041
公式（5）
結合公式（2）可得：
Figure 02_image043
公式（6）
紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係包括兩者之間的旋轉矩陣和平移向量。
上述攝像頭校準方法，檢測到滿足預設條件時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景得到的目標紅外線影像和RGB影像，對目標紅外線影像提取得到第一特徵點集合，對RGB影像提取得到第二特徵點集合，將第一特徵點集合和第二特徵點集合進行匹配，採用匹配後的特徵點求取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係，實現了對紅外線攝像頭和RGB攝像頭兩者之間的外參的標定，校準了兩個攝像頭之間的變換關係，提高了影像的清晰度。
在一個實施例中，當檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像，包括：當檢測到影像清晰度小於清晰度閾值時，檢測電子設備110的工作狀態；當電子設備110的工作狀態為預設工作狀態時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。
預設工作狀態為預先設定的工作狀態。預設工作狀態可包括以下情況中的至少一種：檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗；檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗的次數超過第一預設次數；接收到對紅外線攝像頭和RGB攝像頭的開啟指令；檢測到光發射器的當前溫度與初始溫度之差超過溫度閾值；連續第二預設次數檢測到光發射器的當前溫度與初始溫度之差超過溫度閾值；接收到對預覽影像的三維處理請求。
具體地，紅外線攝像頭和RGB攝像頭的開啟指令可為啟動相機應用程式觸發產生。電子設備110接收到使用者觸發相機應用程式，啟動紅外線攝像頭和RGB攝像頭。攝像頭啟動後，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外影像和RGB影像。在開啟攝像頭時，進行紅外線攝像頭和RGB攝像頭的坐標系的變換關係的求取，可以確保後續攝像頭拍攝影像的準確性。
光發射器可為雷射燈等。初始溫度是指上一次校準時的光發射器的溫度。通過溫度感測器檢測光發射器的溫度，當光發射器的當前溫度與初始溫度之差超過溫度閾值，則獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。通過溫度監控，在溫度變化超過溫度閾值時，對紅外線攝像頭和RGB攝像頭的變換關係進行校準，保證了採集影像的準確性。
第二預設次數可根據需要設定，如2次、3次、4次等。通過溫度感測器檢測光發射器的溫度，當連續第二預設次數檢測到光發射器的當前溫度與初始溫度之差超過溫度閾值，則獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。通過設定次數，可以降低校準的頻率，確保攝像頭拍攝的影像的準確性，也能降低校準的次數，節省功耗。
螢幕解鎖可採用人臉驗證方式，在人臉匹配失敗時，電子設備110可獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得的目標紅外線影像和RGB影像進行匹配計算得到紅外線攝像頭和RGB攝像頭坐標系的變換關係。在人臉解鎖失敗後，進行紅外線攝像頭和RGB攝像頭的校準，可以提高影像的準確性，方便再次進行人臉解鎖。
進一步的，在人臉匹配失敗次數超過第一預設次數時，電子設備110可獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得的目標紅外線影像和RGB影像進行匹配計算得到紅外線攝像頭和RGB攝像頭坐標系的變換關係。當匹配失敗次數超過第一預設次數時，進行計算紅外線攝像頭和RGB攝像頭坐標系的變換關係，避免因其他因素導致的人臉匹配失敗而進行紅外線攝像頭和RGB攝像頭的校準。
三維處理請求可以是用戶通過點擊顯示幕上的按鈕生成的，也可以是用戶通過按壓觸控式螢幕上的控制項生成的，電子設備110可以獲取對初始預覽影像的三維處理指示。三維處理是指對影像進行三個維度的處理，即有長、寬、高三個維度。具體地，電子設備110可以通過深度影像或紅外線影像檢測影像中物體或人臉的深度資訊，對影像進行三維處理。例如，三維處理可以是對影像進行美顏處理，電子設備110可以根據人臉的深度資訊確定需要進行美顏的區域，使影像的美顏效果更好；三維處理也可以是三維人臉建模處理，即根據影像中的人臉建立對應的三維人臉模型等。電子設備110可以接收對初始預覽影像的三維處理指示。初始預覽影像是指電子設備110通過攝像頭採集的周圍環境資訊的影像，初始預覽影像即時顯示在電子設備110的顯示幕上。電子設備110在接收對初始預覽影像的三維處理指示後，對初始預覽影像進行對應的三維處理。
在一個實施例中，當該電子設備110的工作狀態為預設工作狀態時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像，提取所述目標紅外線影像中的特徵點得到第一特徵點集合和所述RGB影像中的特徵點得到第二特徵點集合，並將所述第一特徵點集合和第二特徵點集合進行匹配，根據匹配後的特徵點獲取所述紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係，包括：
當該電子設備110的工作狀態為檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取所述目標紅外線影像中的特徵點得到第一特徵點集合和所述RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係；
當再次檢測到該電子設備110的工作狀態為接收到對紅外線攝像頭和RGB攝像頭的開啟指令時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取目標紅外線影像中的特徵點得到第一特徵點集合和RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係；
當再次檢測到該電子設備110的工作狀態為檢測到光發射器的當前溫度與初始溫度之差超過溫度閾值，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取目標紅外線影像中的特徵點得到第一特徵點集合和RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係；
當再次檢測到該電子設備110的工作狀態為接收到對預覽影像的三維處理請求，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取目標紅外線影像中的特徵點得到第一特徵點集合和RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
可在電子設備110不同的工作狀態均進行校準，提供了多次校準的時機，保證及時校準，為拍攝影像的清晰度。
在上述實施例中，可採用當該電子設備110的工作狀態為檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗的次數超過第一預設次數，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。
在一個實施例中，當該電子設備的工作狀態為預設工作狀態時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像，包括：
當該電子設備110的工作狀態為檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取目標紅外線影像中的特徵點得到第一特徵點集合和RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係；
當再次檢測到該電子設備110的工作狀態為接收到對紅外線攝像頭和RGB攝像頭的開啟指令時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取目標紅外線影像中的特徵點得到第一特徵點集合和所述RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係；
當再次檢測到該電子設備110的工作狀態為連續第二預設次數檢測到光發射器的當前溫度與初始溫度之差超過溫度閾值，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取目標紅外線影像中的特徵點得到第一特徵點集合和RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係；
當再次檢測到該電子設備110的工作狀態為接收到對預覽影像的三維處理請求，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取目標紅外線影像中的特徵點得到第一特徵點集合和RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
可在電子設備110不同的工作狀態均進行校準，提供了多次校準的時機，保證及時校準，為拍攝影像的清晰度。
在上述實施例中，可採用當該電子設備110的工作狀態為檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗的次數超過第一預設次數，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。
在一個實施例中，圖2所示的攝像頭校準方法還包括：在第一運行環境中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在第二運行環境中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像；在該第二運行環境中提取該目標紅外線影像中的特徵點得到第一特徵點集合，以及在該第一運行環境中提取該RGB影像中的特徵點得到第二特徵點集合，將第二特徵點集合傳輸給第二運行環境，在該第二運行環境中將第一特徵點集合和第二特徵點集合進行匹配。其中，該第二運行環境的安全級別高於該第一運行環境。
具體地，第一運行環境可為REE（Rich Execution Environment，自然運行環境）環境，第二運行環境可為TEE（Trusted execution environment，可信運行環境）。TEE的安全級別高於REE。在第二運行環境中進行特徵點的匹配，提高了安全性，保證資料的安全。
在一個實施例中，圖2所示的攝像頭校準方法還包括：在第一運行環境中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在第二運行環境中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像；將該RGB影像傳輸給該第二運行環境，在該第二運行環境中提取該目標紅外線影像中的特徵點得到第一特徵點集合，提取該RGB影像中的特徵點得到第二特徵點集合，在該第二運行環境中將第一特徵點集合和第二特徵點集合進行匹配。其中，第二運行環境的安全級別高於第一運行環境。在第二運行環境中提取特徵點以及特徵點進行匹配，提高了安全性，保證資料的安全。
在一個實施例中，圖2所示的攝像頭校準方法還包括：在第一運行環境中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在第二運行環境中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像；在該第二運行環境中提取該目標紅外線影像中的特徵點得到第一特徵點集合，將該第一特徵點集合傳輸給該第一運行環境；在該第一運行環境中提取該RGB影像中的特徵點得到第二特徵點集合，在該第一運行環境中將第一特徵點集合和第二特徵點集合進行匹配。其中，第二運行環境的安全級別高於第一運行環境。在第一運行環境中對特徵點進行匹配，資料處理效率高。
在一個實施例中，一種攝像頭校準方法包括：
首先，當電子設備110的工作狀態為檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取該目標紅外線影像中的第一特徵點集合和RGB影像中的第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
其次，當電子設備110的工作狀態為接收到對紅外線攝像頭和RGB攝像頭的開啟指令時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取該目標紅外線影像中的第一特徵點集合和RGB影像中的第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
可選地，當電子設備110的工作狀態為接收當檢測到光發射器的當前溫度與初始溫度之差超過溫度閾值，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取該目標紅外線影像中的第一特徵點集合和RGB影像中的第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
可選地，當電子設備110的工作狀態為連續第二預設次數檢測到光發射器的當前溫度與初始溫度之差超過溫度閾值，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取該目標紅外線影像中的第一特徵點集合和所述RGB影像中的第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
可選地，當電子設備110的工作狀態為接收到對預覽影像的三維處理請求，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取該目標紅外線影像中的第一特徵點集合和RGB影像中的第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
圖3為本發明某些實施例中攝像頭校準方法的流程圖。如圖3所示，攝像頭校準方法，包括：
步驟302，當檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。
具體地，電子設備110可定期對自身攝像頭拍攝的影像進行檢測，當檢測到影像的清晰度小於清晰度閾值，則表示需要對自身攝像頭進行校準。清晰度閾值可根據需要設定，如80%、90%等。可採用Brenner梯度函數計算相連兩個像素灰度差的平方得到影像清晰度，也可採用Tenegrad梯度函數的sobel運算元分別提取水準和垂直方向的梯度值，基於Tenengrad梯度函數的影像清晰度從而求取影像清晰度。還可採用方差函數、能量梯度函數、vollath函數、熵函數、EAV點銳度演算法函數、Laplacian梯度函數、SMD灰度方差函數等來檢測影像清晰度。
步驟304，提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取該RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配。
具體地，對目標紅外線影像採用尺度不變特徵轉換（Scale-invariant feature transform，簡稱SIFT）檢測得到特徵點，再選取間距相等的特徵點，加入到第一特徵點集合，對RGB影像採用SIFT檢測得到特徵點，再選取間距相等的特徵點，加入到第二特徵點集合。SIFT是用於影像處理中的一種描述。這種描述具有尺度不變性，可在影像中檢測出關鍵點。通過SIFT對第一特徵點集合和第二特徵點集合中的特徵點進行匹配。間距相等是指相鄰的特徵點之間的間距相等。
SIFT特徵檢測包括：搜索所有尺度上的影像位置；在每個候選的位置上，通過擬合來確定位置和尺度；基於影像局部的梯度方向，分配給每個關鍵點位置一個或多個方向；在每個關鍵點周圍的領域內，在選定的尺度上測量影像局部的梯度。
SIFT的特徵匹配包括：從多幅影像中提取對尺度縮放、旋轉、亮度變化無關的特徵向量，得到SIFT特徵向量；採用SIFT特徵向量的歐式距離判斷兩幅影像中關鍵點的相似性。歐式距離越小，則相似度越高。當歐式距離小於設定的閾值時，則可判定為匹配成功。
步驟306，根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
設
Figure 02_image001
為在紅外線攝像頭座標下某點的空間座標，
Figure 02_image005
為該點在像平面上的投影座標（x、y單位為像素，z等於深度值，單位為毫米），
Figure 02_image009
為深度攝像頭的內參矩陣，由小孔成像模型可知，它們滿足以下關係：
Figure 02_image011
公式（7）
再設
Figure 02_image013
為在RGB攝像頭座標下同一點的空間座標，
Figure 02_image015
為該點在RGB像平面上的投影座標，
Figure 02_image017
為RGB攝像頭的內參矩陣。由於紅外線攝像頭的座標和RGB攝像頭的座標不同，它們之間可以用一個旋轉平移變換聯繫起來，即：
Figure 02_image019
公式（8）
其中，
Figure 02_image021
為旋轉矩陣，
Figure 02_image023
為平移向量。最後再用
Figure 02_image025
對
Figure 02_image026
投影，即可得到該點對應的RGB座標。
Figure 02_image027
公式（9）
需要注意的是，
Figure 02_image029
和
Figure 02_image030
使用的都是齊次座標，因此在構造
Figure 02_image029
時，應將原始的像素座標（x，y）乘以深度值，而最終的RGB像素座標必須將
Figure 02_image030
除以z分量，即（x/z，y/z），且z分量的值即為該點到RGB攝像頭的距離（單位為毫米）。
紅外線攝像頭的外參包括旋轉矩陣
Figure 02_image031
和平移向量
Figure 02_image033
，RGB攝像頭的外參包括旋轉矩陣
Figure 02_image035
和平移向量
Figure 02_image037
，攝像頭的外參表示將一個世界坐標系下的點P變換到攝像頭坐標系下，分別對紅外線攝像頭和RGB攝像頭進行變換，有以下關係：
Figure 02_image039
公式（10）
將公式（10）進行轉換得到：
Figure 02_image041
公式（11）
結合公式（8）可得：
Figure 02_image043
公式（12）
紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係包括兩者之間的旋轉矩陣和平移向量。
上述攝像頭校準方法，檢測到滿足預設條件時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景得到的目標紅外線影像和RGB影像，提取目標紅外線影像中的間距相等的特徵點得到第一特徵點集合，提取RGB影像中間距相等的特徵點得到第二特徵點集合，將第一特徵點集合和第二特徵點集合進行匹配，採用匹配後的特徵點求取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係，利用間距相等的特徵點進行匹配，匹配更加準確，實現了對紅外線攝像頭和RGB攝像頭兩者之間的外參的標定，校準了兩個攝像頭之間的變換關係，提高了影像的清晰度。
在一個實施例中，當檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像，包括：當檢測到影像清晰度小於清晰度閾值時，檢測電子設備110的工作狀態；當該電子設備110的工作狀態為預設工作狀態時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。
預設工作狀態為預先設定的工作狀態。預設工作狀態可包括以下情況中的至少一種：接收到對紅外線攝像頭和RGB攝像頭的開啟指令；檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗；檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗的次數超過第一預設次數。
具體地，紅外線攝像頭和RGB攝像頭的開啟指令可為啟動相機應用程式觸發產生。電子設備110接收到使用者觸發相機應用程式，啟動紅外線攝像頭和RGB攝像頭。攝像頭啟動後，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。在開啟攝像頭時，進行紅外線攝像頭和RGB攝像頭的坐標系的變換關係的求取，可以確保後續攝像頭拍攝影像的準確性。
螢幕解鎖可採用人臉驗證方式，在人臉匹配失敗時，電子設備110可獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得的目標紅外線影像和RGB影像進行匹配計算得到紅外線攝像頭和RGB攝像頭坐標系的變換關係。在人臉解鎖失敗後，進行紅外線攝像頭和RGB攝像頭的校準，可以提高影像的準確性，方便進行再次進行人臉解鎖。
進一步的，在人臉匹配失敗次數超過第一預設次數時，電子設備110可獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得的目標紅外線影像和RGB影像進行匹配計算得到紅外線攝像頭和RGB攝像頭坐標系的變換關係。
當匹配失敗次數超過第一預設次數時，進行計算紅外線攝像頭和RGB攝像頭坐標系的變換關係，避免因其他因素導致的人臉匹配失敗而進行紅外線攝像頭和RGB攝像頭的校準。
在一個實施例中，當該電子設備110的工作狀態為預設工作狀態時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像，包括：當檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；以及當接收到對紅外線攝像頭和RGB攝像頭的開啟指令時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。
具體地，當檢測到電子設備110的工作狀態為用於解鎖螢幕錄入的人臉與預存人臉匹配失敗時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像，提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
當再次檢測到電子設備110的工作狀態為接收到對紅外線攝像頭和RGB攝像頭的開啟指令時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像，提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取所述紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
在一個實施例中，當該電子設備110的工作狀態為預設工作狀態時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像，包括：
當檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗的次數超過第一預設次數，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；以及當接收到對紅外線攝像頭和RGB攝像頭的開啟指令時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。
具體地，當檢測到電子設備110的工作狀態為用於解鎖螢幕錄入的人臉與預存人臉匹配失敗的次數超過第一預設次數，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取該RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
當再次檢測到電子設備110的工作狀態為接收到對紅外線攝像頭和RGB攝像頭的開啟指令時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取該RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
在一個實施例中，圖3所示的攝像頭校準方法還包括：在第一運行環境中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在第二運行環境中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像；在該第二運行環境中提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及在該第一運行環境中提取該RGB影像中間距相等的特徵點得到第二特徵點集合，將第二特徵點集合傳輸給第二運行環境，在該第二運行環境中將第一特徵點集合和第二特徵點集合進行匹配。其中，該第二運行環境的安全級別高於該第一運行環境。
具體地，第一運行環境可為REE（Rich Execution Environment，自然運行環境）環境，第二運行環境可為TEE（Trusted execution environment，可信運行環境）。TEE的安全級別高於REE。在第二運行環境中進行特徵點的匹配，提高了安全性，保證資料的安全。
在一個實施例中，圖3所示的攝像頭校準方法還包括：在第一運行環境中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在第二運行環境中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像；將該RGB影像傳輸給該第二運行環境，在該第二運行環境中提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，提取該RGB影像中間距相等的特徵點得到第二特徵點集合，在該第二運行環境中將第一特徵點集合和第二特徵點集合進行匹配，其中，該第二運行環境的安全級別高於該第一運行環境。在第二運行環境中提取特徵點以及特徵點進行匹配，提高了安全性，保證資料的安全。
在一個實施例中，圖3所示的攝像頭校準方法還包括：在第一運行環境中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在第二運行環境中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像；在該第二運行環境中提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，將該第一特徵點集合傳輸給該第一運行環境；在該第一運行環境中提取該RGB影像中間距相等的特徵點得到第二特徵點集合，在該第一運行環境中將第一特徵點集合和第二特徵點集合進行匹配，其中，該第二運行環境的安全級別高於該第一運行環境。在第一運行環境中對特徵點進行匹配，資料處理效率高。
圖4為本發明某些實施例中攝像頭校準裝置的結構框圖。如圖4所示，該攝像頭校準裝置300包括影像獲取模組310、匹配模組320和參數確定模組330。其中，影像獲取模組310用於當檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。匹配模組320用於提取目標紅外線影像中的特徵點得到第一特徵點集合和RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配。參數確定模組330用於根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
本發明的攝像頭校準裝置300檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景得到的目標紅外線影像和RGB影像，對目標紅外線影像提取得到第一特徵點集合，對RGB影像提取得到第二特徵點集合，將第一特徵點集合和第二特徵點集合進行匹配，採用匹配後的特徵點求取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係，實現了對紅外線攝像頭和RGB攝像頭兩者之間的外參的標定，校準了兩個攝像頭之間的變換關係，提高了影像的清晰度。
在一個實施例中，如圖4所示，該攝像頭校準裝置300還包括檢測模組340。檢測模組340用於當檢測到影像清晰度小於清晰度閾值時，檢測電子設備110（圖1所示）的工作狀態。影像獲取模組310還用於當該電子設備110的工作狀態為預設工作狀態時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。
在一個實施例中，預設工作狀態包括以下情況中至少一種：檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗；檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗的次數超過第一預設次數；接收到對紅外線攝像頭和RGB攝像頭的開啟指令；檢測到光發射器的當前溫度與初始溫度之差超過溫度閾值；連續第二預設次數檢測到光發射器的當前溫度與初始溫度之差超過溫度閾值；接收到對預覽影像的三維處理請求。
在一個實施例中，如圖4所示，影像獲取模組310還用於當該電子設備110的工作狀態為檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；匹配模組320還用於提取目標紅外線影像中的特徵點得到第一特徵點集合和所述RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；參數確定模組330還用於根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係；
當影像獲取模組310還用於再次檢測到該電子設備110的工作狀態為接收到對紅外線攝像頭和RGB攝像頭的開啟指令時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；匹配模組320還用於提取目標紅外線影像中的特徵點得到第一特徵點集合和所述RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；參數確定模組330還用於根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係；
當影像獲取模組310還用於再次檢測到該電子設備110的工作狀態為檢測到光發射器的當前溫度與初始溫度之差超過溫度閾值，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；匹配模組320還用於提取目標紅外線影像中的特徵點得到第一特徵點集合和RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；參數確定模組330還用於根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係；
當影像獲取模組310還用於再次檢測到該電子設備的工作狀態為接收到對預覽影像的三維處理請求，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；匹配模組320還用於提取目標紅外線影像中的特徵點得到第一特徵點集合和RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；參數確定模組330還用於根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
可在電子設備110不同的工作狀態均進行校準，提供了多次校準的時機，保證及時校準，為拍攝影像的清晰度。
在上述實施例中，影像獲取模組310還可用於當該電子設備110的工作狀態為檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗的次數超過第一預設次數，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。
在一個實施例中，影像獲取模組310還用於當該電子設備110的工作狀態為檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；匹配模組320還用於提取目標紅外線影像中的特徵點得到第一特徵點集合和RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；參數確定模組330還用於根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係；
當影像獲取模組310還用於再次檢測到該電子設備110的工作狀態為接收到對紅外線攝像頭和RGB攝像頭的開啟指令時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；匹配模組320還用於提取目標紅外線影像中的特徵點得到第一特徵點集合和RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；參數確定模組330還用於根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係；
當影像獲取模組310還用於再次檢測到該電子設備110的工作狀態為連續第二預設次數檢測到光發射器的當前溫度與初始溫度之差超過溫度閾值，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；匹配模組320還用於提取目標紅外線影像中的特徵點得到第一特徵點集合和所述RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；參數確定模組330還用於根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係；
當影像獲取模組310還用於再次檢測到該電子設備110的工作狀態為接收到對預覽影像的三維處理請求，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；匹配模組320還用於提取目標紅外線影像中的特徵點得到第一特徵點集合和所述RGB影像中的特徵點得到第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配；參數確定模組330還用於根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
可在電子設備110不同的工作狀態均進行校準，提供了多次校準的時機，保證及時校準，為拍攝影像的清晰度。
在上述實施例中，影像獲取模組310可用於當該電子設備110的工作狀態為檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗的次數超過第一預設次數，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。
在一個實施例中，影像獲取模組310還用於在第一運行環境中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在第二運行環境中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像；匹配模組320還用於在該第二運行環境中提取該目標紅外線影像中的特徵點得到第一特徵點集合，以及在該第一運行環境中提取該RGB影像中的特徵點得到第二特徵點集合，將第二特徵點集合傳輸給第二運行環境，在該第二運行環境中將第一特徵點集合和第二特徵點集合進行匹配。其中，該第二運行環境的安全級別高於該第一運行環境。
具體地，第一運行環境可為REE（Rich Execution Environment，自然運行環境）環境，第二運行環境可為TEE（Trusted execution environment，可信運行環境）。TEE的安全級別高於REE。在第二運行環境中進行特徵點的匹配，提高了安全性，保證資料的安全。
在一個實施例中，影像獲取模組310還用於在第一運行環境中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在第二運行環境中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像；匹配模組320還用於將該RGB影像傳輸給該第二運行環境，在該第二運行環境中提取該目標紅外線影像中的特徵點得到第一特徵點集合，提取該RGB影像中的特徵點得到第二特徵點集合，在該第二運行環境中將第一特徵點集合和第二特徵點集合進行匹配。其中，所述第二運行環境的安全級別高於所述第一運行環境。在第二運行環境中提取特徵點以及特徵點進行匹配，提高了安全性，保證資料的安全。
在一個實施例中，影像獲取模組310還用於在第一運行環境中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在第二運行環境中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像；匹配模組320還用於在該第二運行環境中提取該目標紅外線影像中的特徵點得到第一特徵點集合，將該第一特徵點集合傳輸給該第一運行環境；在該第一運行環境中提取該RGB影像中的特徵點得到第二特徵點集合，在該第一運行環境中將第一特徵點集合和第二特徵點集合進行匹配。其中，所述第二運行環境的安全級別高於所述第一運行環境。在第一運行環境中對特徵點進行匹配，資料處理效率高。
請參閱圖4，在一個實施例中，影像獲取模組310用於當檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。匹配模組320用於提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取該RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配。參數確定模組330用於根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
本發明的攝像頭校準裝置300檢測到滿足預設條件時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景得到的目標紅外線影像和RGB影像，提取目標紅外線影像中的間距相等的特徵點得到第一特徵點集合，提取RGB影像中間距相等的特徵點得到第二特徵點集合，將第一特徵點集合和第二特徵點集合進行匹配，採用匹配後的特徵點求取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係，利用間距相等的特徵點進行匹配，匹配更加準確，實現了對紅外線攝像頭和RGB攝像頭兩者之間的外參的標定，校準了兩個攝像頭之間的變換關係，提高了影像的清晰度。
在一個實施例中，該攝像頭校準裝置300中的檢測模組340用於當檢測到影像清晰度小於清晰度閾值時，檢測電子設備的工作狀態。影像獲取模組310還用於當該電子設備的工作狀態為預設工作狀態時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。
其中，預設工作狀態包括以下情況中至少一種：接收到對紅外線攝像頭和RGB攝像頭的開啟指令；檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗；檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗的次數超過第一預設次數。
在一個實施例中，影像獲取模組310還用於當檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；以及當接收到對紅外線攝像頭和RGB攝像頭的開啟指令時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。
具體地，影像獲取模組310用於當檢測到電子設備110的工作狀態為用於解鎖螢幕錄入的人臉與預存人臉匹配失敗，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；匹配模組320用於提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取該RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；參數確定模組330用於根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
進一步地，影像獲取模組310還用於當檢測到電子設備110的工作狀態為接收到對紅外線攝像頭和RGB攝像頭的開啟指令時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；匹配模組320還用於提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取該RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；參數確定模組330還用於根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
在一個實施例中，影像獲取模組310還用於在第一運行環境中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在第二運行環境中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像；匹配模組320還用於在該第二運行環境中提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及在該第一運行環境中提取該RGB影像中間距相等的特徵點得到第二特徵點集合，將第二特徵點集合傳輸給第二運行環境，在該第二運行環境中將第一特徵點集合和第二特徵點集合進行匹配。其中，該第二運行環境的安全級別高於該第一運行環境。
在一個實施例中，影像獲取模組310還用於在第一運行環境中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在第二運行環境中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像；匹配模組320還用於將該RGB影像傳輸給該第二運行環境，在該第二運行環境中提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，提取該RGB影像中間距相等的特徵點得到第二特徵點集合，在該第二運行環境中將第一特徵點集合和第二特徵點集合進行匹配，其中，該第二運行環境的安全級別高於該第一運行環境。
在一個實施例中，影像獲取模組310還用於在第一運行環境中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在第二運行環境中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像；匹配模組320還用於在該第二運行環境中提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，將該第一特徵點集合傳輸給該第一運行環境，在該第一運行環境中提取該RGB影像中間距相等的特徵點得到第二特徵點集合，在該第一運行環境中將第一特徵點集合和第二特徵點集合進行匹配，其中，該第二運行環境的安全級別高於該第一運行環境。
請參閱圖5，圖5為本發明某些實施例中電子設備的內部結構示意圖。本發明實施例還提供了一種電子設備。該電子設備包括記憶體及處理器，該記憶體中儲存有電腦程式，該電腦程式被該處理器執行時，使得該處理器執行上述任意一個實施例所述的攝像頭校準方法中的操作。
例如，電腦程式被處理器執行時，處理器可以執行以下步驟：當檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取該目標紅外線影像中的特徵點得到第一特徵點集合和該RGB影像中的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
再例如，電腦程式被處理器執行時，處理器還可以執行以下步驟：當檢測到影像清晰度小於清晰度閾值時，檢測電子設備的工作狀態；當電子設備的工作狀態為預設工作狀態時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取該目標紅外線影像中的特徵點得到第一特徵點集合和該RGB影像中的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
再例如，電腦程式被處理器執行時，處理器可以執行以下步驟：在第一運行環境中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在第二運行環境中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像；在該第二運行環境中提取該目標紅外線影像中的特徵點得到第一特徵點集合，以及在該第一運行環境中提取該RGB影像中的特徵點得到第二特徵點集合，將第二特徵點集合傳輸給第二運行環境，在該第二運行環境中將第一特徵點集合和第二特徵點集合進行匹配。其中，該第二運行環境的安全級別高於該第一運行環境。
再例如，電腦程式被處理器執行時，處理器可以執行以下步驟：當檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取該RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
再例如，電腦程式被處理器執行時，處理器可以執行以下步驟：當檢測到影像清晰度小於清晰度閾值時，檢測電子設備110的工作狀態；當該電子設備110的工作狀態為預設工作狀態時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取該RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
再例如，電腦程式被處理器執行時，處理器可以執行以下步驟：在第一運行環境中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在第二運行環境中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像；將該RGB影像傳輸給該第二運行環境，在該第二運行環境中提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，提取該RGB影像中間距相等的特徵點得到第二特徵點集合，在該第二運行環境中將第一特徵點集合和第二特徵點集合進行匹配，其中，該第二運行環境的安全級別高於該第一運行環境。
請參閱圖5，本發明實施例提供了一種非揮發性電腦可讀儲存媒體。非揮發性電腦可讀儲存媒體上儲存有電腦程式，該電腦程式被處理器執行時實現上述任意一個實例所述的攝像頭校準方法中的操作。
例如，電腦程式被處理器執行時可以實現以下步驟：當檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取該目標紅外線影像中的特徵點得到第一特徵點集合和該RGB影像中的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
再例如，電腦程式被處理器執行時還可實現以下步驟：當檢測到影像清晰度小於清晰度閾值時，檢測電子設備的工作狀態；當電子設備的工作狀態為預設工作狀態時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取該目標紅外線影像中的特徵點得到第一特徵點集合和該RGB影像中的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
再例如，電腦程式被處理器執行時還可實現以下步驟：在第一運行環境中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在第二運行環境中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像；在該第二運行環境中提取該目標紅外線影像中的特徵點得到第一特徵點集合，以及在該第一運行環境中提取該RGB影像中的特徵點得到第二特徵點集合，將第二特徵點集合傳輸給第二運行環境，在該第二運行環境中將第一特徵點集合和第二特徵點集合進行匹配。其中，該第二運行環境的安全級別高於該第一運行環境。
再例如，電腦程式被處理器執行時還可實現以下步驟：當檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取該RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
再例如，電腦程式被處理器執行時還可實現以下步驟：當檢測到影像清晰度小於清晰度閾值時，檢測電子設備110的工作狀態；當該電子設備110的工作狀態為預設工作狀態時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取該RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
再例如，電腦程式被處理器執行時還可實現以下步驟：在第一運行環境中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在第二運行環境中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像；將該RGB影像傳輸給該第二運行環境，在該第二運行環境中提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，提取該RGB影像中間距相等的特徵點得到第二特徵點集合，在該第二運行環境中將第一特徵點集合和第二特徵點集合進行匹配，其中，該第二運行環境的安全級別高於該第一運行環境。
圖5為本發明某些實施例中電子設備的內部結構示意圖。如圖5所示，該電子設備包括通過系統匯流排連接的處理器、記憶體和網路介面。其中，該處理器用於提供計算和控制能力，支撐整個電子設備的運行。記憶體用於儲存資料、程式等，記憶體上儲存至少一個電腦程式，該電腦程式可被處理器執行。記憶體可包括非揮發性儲存介質及內記憶體。非揮發性儲存介質儲存有作業系統和電腦程式。該電腦程式可被處理器所執行，以用於實現上述各實施例所提供的攝像頭校準方法。內記憶體為非揮發性儲存介質中的作業系統電腦程式提供快取記憶體的運行環境。網路介面可以是乙太網卡或無線網卡等，用於與外部的電子設備進行通信。該電子設備可以是手機、平板電腦或者個人數位助理或穿戴式設備等。
本發明實施例中提供的攝像頭校準裝置300中的各個模組的實現可為電腦程式的形式。該電腦程式可在終端或伺服器上運行。該電腦程式構成的程式模組可儲存在終端或伺服器的記憶體上。該電腦程式被處理器執行時，實現本發明任意一個實施例所描述的攝像頭校準方法的步驟。
本發明實施例還提供一種包含指令的電腦程式產品，當其在電腦上運行時，使得電腦執行本發明任意一個實施例所述的攝像頭校準方法。
圖6為本發明某些實施例中電子設備的內部結構示意圖。如圖6所示，電子設備50可包括攝像頭模組510、第二處理器520，第一處理器530。第二處理器520可為CPU（Central Processing Unit，中央處理器）模組。第一處理器530可為MCU（Microcontroller Unit，微控制器）模組等。其中，第一處理器530連接在第二處理器520和攝像頭模組550之間，第一處理器530可控制攝像頭模組510中雷射攝像頭512、泛光燈514和雷射燈518，第二處理器520可控制攝像頭模組510中的RGB（Red/Green/Blue，紅/綠/藍色彩模式）攝像頭516。在一個實施例中，圖6中的電子設備50與圖5中的電子設備可為同一個電子設備。圖6中的第一處理器530和第二處理器520二者的功能與圖5中的處理器的功能一致。
攝像頭模組510包括雷射攝像頭512、泛光燈514、RGB攝像頭516和雷射燈518。上述雷射攝像頭512為紅外線攝像頭，用於獲取紅外線影像或散斑影像。上述泛光燈514為可發射紅外光的面光源；上述雷射燈518為可發射雷射且發射的雷射可形成圖案的點光源。其中，當泛光燈514發射紅外光時，雷射攝像頭552可根據反射回的光線獲取紅外線影像。當雷射燈518發射紅外雷射時，雷射攝像頭512可根據反射回的光線獲取散斑影像。上述散斑影像是雷射燈518發射的紅外雷射被反射後圖案發生形變的影像。
第二處理器520可包括在TEE（Trusted execution environment，可信運行環境）環境下運行的CPU內核和在REE（Rich Execution Environment，自然運行環境）環境下運行的CPU內核。其中，TEE環境和REE環境均為ARM模組（Advanced RISC Machines，高級精簡指令集處理器）的運行模式。其中，TEE環境的安全級別較高，第二處理器520中有且僅有一個CPU內核可同時運行在TEE環境下。通常情況下，電子設備50中安全級別較高的操作行為需要在TEE環境下的CPU內核中執行，安全級別較低的操作行為可在REE環境下的CPU內核中執行。
第一處理器530包括PWM（Pulse Width Modulation，脈波寬度調變）模組532、SPI/I2C（Serial Peripheral Interface/Inter－Integrated Circuit，串列外設介面/雙向二線制同步序列介面）介面534、RAM（Random Access Memory，隨機存取記憶體）模組536和深度引擎538。PWM模組532可向攝像頭模組510發射脈衝，控制泛光燈514或雷射燈518開啟，使得雷射攝像頭512可採集到紅外線影像或散斑影像。SPI/I2C介面534用於接收第二處理器520發送的影像採集指令。深度引擎538可對散斑影像進行處理得到深度視差圖。隨機存取記憶體536可以儲存雷射攝像頭512獲取的紅外線影像、散斑影像、深度引擎538處理紅外線影像或散斑影像得到的處理後的影像等。
當第二處理器520接收到應用程式的資料獲取請求時，例如，當應用程式需要進行人臉解鎖、人臉支付時，可通過運行在TEE環境下的CPU內核向第一處理器530發送影像採集指令。當第一處理器530接收到影像採集指令後，可通過PWM模組532發射脈衝波控制攝像頭模組510中泛光燈514開啟並通過雷射攝像頭512採集紅外線影像、控制攝像頭模組510中雷射燈518開啟並通過雷射攝像頭512採集散斑影像。攝像頭模組510可將採集到的紅外線影像和散斑影像發送給第一處理器530。第一處理器530可對接收到的紅外線影像進行處理得到紅外線視差圖；對接收到的散斑影像進行處理得到散斑視差圖或深度視差圖。其中，第一處理器530對上述紅外線影像和散斑影像進行處理是指對紅外線影像或散斑影像進行校正，去除攝像頭模組510中內外參數對影像的影響。其中，第一處理器530可設置成不同的模式，不同模式輸出的影像不同。當第一處理器530設置為散斑圖模式時，第一處理器530對散斑影像處理得到散斑視差圖，根據上述散斑視差圖可得到目標散斑影像；當第一處理器530設置為深度圖模式時，第一處理器530對散斑影像處理得到深度視差圖，根據上述深度視差圖可得到深度影像，上述深度影像是指帶有深度資訊的影像。第一處理器530可將上述紅外線視差圖和散斑視差圖發送給第二處理器520，第一處理器530也可將上述紅外線視差圖和深度視差圖發送給第二處理器520。第二處理器520可根據上述紅外線視差圖獲取紅外線影像、根據上述深度視差圖獲取深度影像。進一步的，第二處理器520可根據紅外線影像、深度影像來進行人臉識別、人臉匹配、活體檢測以及獲取檢測到的人臉的深度資訊。
第一處理器530與第二處理器520之間通信是通過固定的安全介面，用以確保傳輸資料的安全性。如圖6所示，第二處理器520發送給第一處理器530的資料是通過SECURE SPI/I2C 540，第一處理器530發送給第二處理器520的資料是通過SECURE MIPI（Mobile Industry Processor Interface，行動產業處理器介面）550。例如，紅外線影像、散斑影像、紅外線視差圖、散斑視差圖、深度視差圖、深度影像等均可以通過SECURE MIPI 550傳送給第二處理器520。
在一個實施例中，第一處理器530也可根據上述紅外線視差圖獲取目標紅外線影像、上述深度視差圖計算獲取深度影像，再將上述目標紅外線影像、深度影像發送給第二處理器520。
在一個實施例中，第一處理器530可根據上述目標紅外線影像、深度影像進行人臉識別、人臉匹配、活體檢測以及獲取檢測到的人臉的深度資訊。其中，第一處理器530將影像發送給第二處理器520是指第一處理器530將影像發送給第二處理器520中處於TEE環境下的CPU內核。
在一個實施例中，第二處理器520檢測影像清晰度是否小於清晰度閾值，並在檢測到影像清晰度小於清晰度度閾值時，獲取紅外線攝像頭（即雷射攝像頭512）和RGB攝像頭516拍攝同一場景所得到的目標紅外線影像和RGB影像。隨後，第二處理器520提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取該RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配。最後，第二處理器520根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。其中，RGB影像由第二處理器520控制RGB攝像頭516拍攝得到。第二處理器520可以發送獲取紅外線影像的指令至第一處理器530，第一處理器530控制雷射攝像頭512（即紅外線攝像頭）拍攝紅外線影像，第一處理器530再將紅外線影像發送通過SECURE MIPI發送給第二處理器520。
在一個實施例中，第二處理器520在檢測到影像清晰度小於清晰度閾值時，檢測電子設備50的工作狀態；當電子設備50的工作狀態為預設工作狀態時，獲取紅外線攝像頭和RGB攝像頭516拍攝同一場景所得到的目標紅外線影像和RGB影像。隨後，第二處理器520提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取該RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配。最後，第二處理器520根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
在一個實施例中，可在TEE環境中獲取目標紅外線影像，即第二處理器520接收到紅外線影像後，將紅外線影像儲存在TEE中。在REE環境下獲取RGB影像，即，第二處理器520接收到RGB攝像頭發送的RGB影像後，將RGB影像儲存在REE中。隨後，第二處理器520將RGB影像發送到TEE環境中，在TEE環境中提取該目標紅外線影像中的第一特徵點集合和RGB影像中的第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
在一個實施例中，可在TEE環境中獲取目標紅外線影像，即第二處理器520接收到紅外線影像後，將紅外線影像儲存在TEE中。在REE環境下獲取RGB影像，即，第二處理器520接收到RGB攝像頭發送的RGB影像後，將RGB影像儲存在REE中。隨後，第二處理器520可在TEE環境下提取目標紅外線影像中的第一特徵點集合，並將第一特徵點集合發送到REE中，再在REE環境下提取RGB影像中的第二特徵點集合，並將第一特徵點集合和第二特徵點集合進行匹配。最後，第二處理器520根據匹配後的特徵點獲取紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
在一個實施例中，第二處理器520檢測影像清晰度是否小於清晰度閾值，並在檢測到影像清晰度小於清晰度度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。隨後，第二處理器520提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取該RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配。最後，第二處理器520根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。其中，RGB影像由第二處理器520控制RGB攝像頭516拍攝得到。第二處理器520可以發送獲取紅外線影像的指令至第一處理器530，第一處理器530控制雷射攝像頭512（即紅外線攝像頭）拍攝紅外線影像，第一處理器530再將紅外線影像發送通過SECURE MIPI發送給第二處理器520。
在一個實施例中，第二處理器520在檢測到影像清晰度小於清晰度閾值時，檢測電子設備50的工作狀態；當電子設備50的工作狀態為預設工作狀態時，獲取紅外線攝像頭和RGB攝像頭516拍攝同一場景所得到的目標紅外線影像和RGB影像。第二處理器520提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取該RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配。最後，第二處理器520根據匹配後的特徵點獲取該紅外線攝像頭的坐標系和RGB攝像頭的坐標系之間的變換關係。
在一個實施例中，可在REE中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在TEE中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像，即第二處理器520接收到RGB攝像頭發送的RGB影像後，將RGB影像儲存在REE中，第二處理器520接收到紅外線影像後，將紅外線影像儲存在TEE中。隨後，第二處理器520在TEE中提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及在REE中提取該RGB影像中間距相等的特徵點得到第二特徵點集合。隨後，第二處理器520將第二特徵點集合傳輸給TEE，並在TEE中將第一特徵點集合和第二特徵點集合進行匹配。其中，TEE的安全級別高於REE。
在一個實施例中，可在REE中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在TEE中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像，即第二處理器520接收到RGB攝像頭發送的RGB影像後，將RGB影像儲存在REE中，第二處理器520接收到紅外線影像後，將紅外線影像儲存在TEE中。隨後，第二處理器520將RGB影像傳輸給TEE，在TEE中提取目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取RGB影像中間距相等的特徵點得到第二特徵點集合。最後，第二處理器520在TEE中將第一特徵點集合和第二特徵點集合進行匹配。
在一個實施例中，可在REE中獲取RGB攝像頭拍攝同一場景得到的RGB影像，以及在TEE中獲取紅外線攝像頭拍攝同一場景得到的目標紅外線影像，即第二處理器520接收到RGB攝像頭發送的RGB影像後，將RGB影像儲存在REE中，第二處理器520接收到紅外線影像後，將紅外線影像儲存在TEE中。隨後，第二處理器520在TEE中提取目標紅外線影像中間距相等的特徵點得到第一特徵點集合，將第一特徵點集合傳輸給REE。隨後，第二處理器520在REE中提取所述RGB影像中間距相等的特徵點得到第二特徵點集合，並在REE中將第一特徵點集合和第二特徵點集合進行匹配。
本發明實施例還提供一種電子設備。上述電子設備包括影像處理電路，影像處理電路可以利用硬體和/或軟體元件實現，可包括定義ISP（Image Signal Processing，影像訊號處理）管線的各種處理器。圖7為本發明某些實施例中影像處理電路的示意圖。如圖7所示，為便於說明，僅示出與本發明實施例相關的影像處理技術的各個方面。
如圖7所示，影像處理電路包括第一ISP處理器630、第二ISP處理器640、控制邏輯器650和、影像記憶體660。
第一攝像頭610包括一個或多個第一透鏡612和第一影像感測器614。第一攝像頭610可為紅外線攝像頭。此時，第一影像感測器614可包括紅外線濾光片。第一影像感測器614可獲取第一影像感測器614中的每個成像像素捕捉的光強度和波長資訊，並提供可由第一ISP處理器630處理的一組影像資料，該組影像資料用於生成紅外線影像。
第二攝像頭620包括一個或多個第二透鏡622和第二影像感測器624。第二攝像頭可為RGB攝像頭。此時，第二影像感測器624可包括色彩濾鏡陣列（如Bayer濾鏡）。第二影像感測器624可獲取第二影像感測器624中的每個成像像素捕捉的光強度和波長資訊，並提供可由第二ISP處理器640處理的一組影像資料，該組影像資料用於生成RGB影像。
在一個例子中，第一ISP處理器630可為圖6中的第一處理器530，第二ISP處理器640可為圖6中的第二處理器520。此時，影像記憶體660包括兩個獨立的記憶體，一個記憶體位於第一ISP處理器630中（此時記憶體可為圖6中的隨機存取記憶體536），另一個記憶體位於第二ISP處理器640中。控制邏輯器650也包括兩個獨立的控制邏輯器，一個控制邏輯器位於第一ISP處理器630中，用於控制第一攝像頭610獲取第一影像（即紅外線影像），另一個控制邏輯器位於第二ISP處理器640中，用於控制第二攝像頭620獲取第二影像（即RGB影像）。
第一攝像頭610採集的第一影像傳輸給第一ISP處理器630進行處理，第一ISP處理器630處理第一影像後，可將第一影像的統計資料（如影像的亮度、影像的反差值等）發送給控制邏輯器650，控制邏輯器650可根據統計資料確定第一攝像頭610的控制參數，從而第一攝像頭66可根據控制參數進行自動對焦、自動曝光等操作。第一影像經過第一ISP處理器630進行處理後可儲存至影像記憶體660中，例如，對接收到的紅外線影像進行處理得到紅外線視差圖等。第一ISP處理器630也可以讀取影像記憶體660中儲存的影像並進行處理。
其中，第一ISP處理器630按多種格式逐個像素地處理影像資料。例如，每個影像像素可具有8、10、12或14比特的位深度，第一ISP處理器630可對影像資料進行一個或多個影像處理操作、收集關於影像資料的統計資訊。其中，影像處理操作可按相同或不同的位深度計算清晰度。
同樣地，第二攝像頭620採集的第二影像傳輸給第二ISP處理器640進行處理，第二ISP處理器640處理第二影像後，可將第二影像的統計資料（如影像的亮度、影像的反差值、影像的顏色等）發送給控制邏輯器650，控制邏輯器650可根據統計資料確定第二攝像頭620的控制參數，從而第二攝像頭620可根據控制參數進行自動對焦、自動曝光等操作。其中，統計資料可包括自動曝光、自動白平衡、自動聚焦、閃爍檢測、黑電平補償、第二透鏡622陰影校正等，控制參數可包括增益、曝光控制的積分時間、防抖參數、閃光控制參數、第一透鏡612控制參數（例如聚焦或變焦用焦距）、或這些參數的組合等。第二影像經過第二ISP處理器640進行處理後可儲存至影像記憶體660中，第二ISP處理器640也可以讀取影像記憶體660中儲存的影像以對進行處理。另外，第二影像經過ISP處理器640進行處理後可輸出給顯示器670進行顯示，以供使用者觀看和/或由圖形引擎或GPU（Graphics Processing Unit，圖形處理器）進一步處理。
在一個例子中，當第二ISP處理器640檢測到影像清晰度小於清晰度閾值時，第一ISP處理器630接收第一攝像頭610獲取的影像資料並處理影像資料以形成目標紅外線影像。第一ISP處理器630將目標紅外線影像發送給第二ISP處理器640，第二ISP處理器640接收第二攝像頭620獲取的影像資料並處理影像資料以形成RGB影像。第二ISP處理器640提取該目標紅外線影像中的特徵點得到第一特徵點集合和該RGB影像中的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配；根據匹配後的特徵點獲取該紅外線攝像頭（即第一攝像頭610）的坐標系和RGB攝像頭（即第二攝像頭620）的坐標系之間的變換關係。
在一個例子中，當第二ISP處理器640檢測到影像清晰度小於清晰度閾值時，第一ISP處理器630接收第一攝像頭610獲取的影像資料並處理影像資料以形成目標紅外線影像。第一ISP處理器630將目標紅外線影像發送給第二ISP處理器640，第二ISP處理器640接收第二攝像頭620獲取的影像資料並處理影像資料以形成RGB影像。第二ISP處理器640提取該目標紅外線影像中間距相等的特徵點得到第一特徵點集合，以及提取該RGB影像中間距相等的特徵點得到第二特徵點集合，並將該第一特徵點集合和第二特徵點集合進行匹配，再根據匹配後的特徵點獲取該紅外線攝像頭（即第一攝像頭610）的坐標系和RGB攝像頭（即第二攝像頭620）的坐標系之間的變換關係。
本發明所使用的對記憶體、儲存、資料庫或其它介質的任何引用可包括非揮發性和/或揮發性記憶體。合適的非揮發性記憶體可包括唯讀記憶體（ROM）、可程式ROM（PROM）、可抹除可程式ROM（EPROM）、可電氣抹除可程式ROM（EEPROM）或快閃記憶體。揮發性記憶體可包括隨機存取記憶體（RAM），它用作外部高速緩衝記憶體。作為說明而非局限，RAM以多種形式可得，諸如同步靜態 RAM（SRAM）、動態隨機 RAM（DRAM）、同步 DRAM（SDRAM）、雙倍資料率 SDRAM（DDR SDRAM）、增強型 SDRAM（ESDRAM）、同步鏈路（Synclink）DRAM（SLDRAM）、記憶體匯流排（Rambus）直接RAM（RDRAM）、直接記憶體匯流排動態RAM（DRDRAM）、以及記憶體匯流排動態RAM（RDRAM）。
以上所述實施例僅表達了本發明的幾種實施方式，其描述較為具體和詳細，但並不能因此而理解為對本申請專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬於本發明的保護範圍。因此，本發明專利的保護範圍應以所附的申請專利範圍為準。
110、50‧‧‧電子設備 120‧‧‧場景 202~206、302~306‧‧‧步驟 300‧‧‧攝像頭校準裝置 310‧‧‧影像獲取模組 320‧‧‧匹配模組 330‧‧‧參數確定模組 340‧‧‧檢測模組 510‧‧‧攝像頭模組 512‧‧‧雷射攝像頭 514‧‧‧泛光燈 516‧‧‧RGB攝像頭 518‧‧‧雷射燈 520‧‧‧第二處理器 530‧‧‧第一處理器 532‧‧‧脈波寬度調變模組 534‧‧‧串列外設介面/雙向二線制同步序列介面 536‧‧‧隨機存取記憶體 538‧‧‧深度引擎 540‧‧‧SECURE SPI/I2C 550‧‧‧SECURE MIPI 610‧‧‧第一攝像頭 612‧‧‧第一透鏡 614‧‧‧第一影像感測器 620‧‧‧第二攝像頭 622‧‧‧第二透鏡 624‧‧‧第二影像感測器 630‧‧‧第一ISP處理器 640‧‧‧第二ISP處理器 650‧‧‧控制邏輯器 660‧‧‧影像記憶體 670‧‧‧顯示器
圖1為本發明某些實施例中攝像頭校準方法的應用環境示意圖。 圖2和圖3為本發明某些實施例中攝像頭校準方法的流程圖。 圖4為本發明某些實施例中攝像頭校準裝置的結構框圖。 圖5為本發明某些實施例中電子設備的內部結構示意圖。 圖6為本發明某些實施例中電子設備的內部結構示意圖。 圖7為本發明某些實施例中影像處理電路的示意圖。
202~206‧‧‧步驟

Claims (14)

  1. 一種攝像頭校準方法，包括：當檢測到由紅外線攝像頭和RGB攝像頭獲得的影像清晰度小於清晰度閾值時，獲取所述紅外線攝像頭和所述RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像；提取所述目標紅外線影像中的特徵點得到第一特徵點集合和所述RGB影像中的特徵點得到第二特徵點集合，並將所述第一特徵點集合和所述第二特徵點集合進行匹配；以及根據匹配後的特徵點獲取所述紅外線攝像頭的坐標系和所述RGB攝像頭的坐標系之間的變換關係。
  2. 如申請專利範圍第1項所述的攝像頭校準方法，其中當檢測到由紅外線攝像頭和RGB攝像頭獲得的影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像的步驟包括：當檢測到所述影像清晰度小於所述清晰度閾值時，檢測電子設備的工作狀態；以及當所述電子設備的工作狀態為預設工作狀態時，獲取所述紅外線攝像頭和所述RGB攝像頭拍攝同一場景所得到的所述目標紅外線影像和所述RGB影像。
  3. 如申請專利範圍第2項所述的攝像頭校準方法，其中所述預設工作狀態包括以下情況中至少一種：檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗； 檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗的次數超過第一預設次數；接收到對所述紅外線攝像頭和所述RGB攝像頭的開啟指令；檢測到光發射器的當前溫度與初始溫度之差超過溫度閾值；連續第二預設次數檢測到光發射器的當前溫度與初始溫度之差超過溫度閾值；以及接收到對預覽影像的三維處理請求。
  4. 如申請專利範圍第2項所述的攝像頭校準方法，其中當所述電子設備的工作狀態為預設工作狀態時，獲取所述紅外線攝像頭和所述RGB攝像頭拍攝同一場景所得到的所述目標紅外線影像和所述RGB影像的步驟包括：當所述電子設備的工作狀態為檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗，獲取所述紅外線攝像頭和所述RGB攝像頭拍攝同一場景所得到的所述目標紅外線影像和所述RGB影像；以及當再次檢測到所述電子設備的工作狀態為接收到對所述紅外線攝像頭和所述RGB攝像頭的開啟指令時，獲取所述紅外線攝像頭和所述RGB攝像頭拍攝同一場景所得到的所述目標紅外線影像和所述RGB影像。
  5. 如申請專利範圍第4項所述的攝像頭校準方法，其中當所述電子設備的工作狀態為預設工作狀態時，獲取所述紅外線攝像頭和所述RGB攝像頭拍攝同一場景所得到的所述目標紅外 線影像和所述RGB影像的步驟還包括：當再次檢測到所述電子設備的工作狀態為檢測到光發射器的當前溫度與初始溫度之差超過溫度閾值，獲取所述紅外線攝像頭和所述RGB攝像頭拍攝同一場景所得到的所述目標紅外線影像和所述RGB影像；或者，還包括：當再次檢測到所述電子設備的工作狀態為連續第二預設次數檢測到光發射器的當前溫度與初始溫度之差超過溫度閾值，獲取所述紅外線攝像頭和所述RGB攝像頭拍攝同一場景所得到的所述目標紅外線影像和所述RGB影像。
  6. 如申請專利範圍第4至5項中任一項所述的攝像頭校準方法，其中當所述電子設備的工作狀態為預設工作狀態時，獲取所述紅外線攝像頭和所述RGB攝像頭拍攝同一場景所得到的所述目標紅外線影像和所述RGB影像的步驟還包括：當再次檢測到所述電子設備的工作狀態為接收到對預覽影像的三維處理請求，獲取所述紅外線攝像頭和所述RGB攝像頭拍攝同一場景所得到的所述目標紅外線影像和所述RGB影像。
  7. 如申請專利範圍第1項所述的攝像頭校準方法，其中提取所述目標紅外線影像中的特徵點得到第一特徵點集合和所述RGB影像中的特徵點得到第二特徵點集合，並將所述第一特徵點集合和第二特徵點集合進行匹配的步驟包括： 提取所述目標紅外線影像中間距相等的特徵點得到所述第一特徵點集合，以及提取所述RGB影像中間距相等的特徵點得到所述第二特徵點集合，並將所述第一特徵點集合和所述第二特徵點集合進行匹配。
  8. 如申請專利範圍第7項所述的攝像頭校準方法，其中當檢測到由紅外線攝像頭和RGB攝像頭獲得的影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像的步驟包括：當檢測到所述影像清晰度小於所述清晰度閾值時，檢測電子設備的工作狀態；以及當所述電子設備的工作狀態為預設工作狀態時，獲取所述紅外線攝像頭和所述RGB攝像頭拍攝同一場景所得到的所述目標紅外線影像和所述RGB影像。
  9. 如申請專利範圍第8項所述的攝像頭校準方法，其中所述預設工作狀態包括以下情況中至少一種：接收到對所述紅外線攝像頭和所述RGB攝像頭的開啟指令；檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗；以及檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗的次數超過第一預設次數。
  10. 如申請專利範圍第8項所述的攝像頭校準方法，其中當所述電子設備的工作狀態為預設工作狀態時，獲取所述紅外線攝像頭和所述RGB攝像頭拍攝同一場景所得到的所述目標紅外 線影像和所述RGB影像的步驟包括：當檢測到用於解鎖螢幕錄入的人臉與預存人臉匹配失敗時，獲取所述紅外線攝像頭和所述RGB攝像頭拍攝同一場景所得到的所述目標紅外線影像和所述RGB影像；以及當接收到對所述紅外線攝像頭和所述RGB攝像頭的開啟指令時，獲取所述紅外線攝像頭和所述RGB攝像頭拍攝同一場景所得到的目標紅外線影像和RGB影像。
  11. 如申請專利範圍第7至10項中任一項所述的攝像頭校準方法，其中所述攝像頭校準方法還包括：在第一運行環境中獲取所述RGB攝像頭拍攝同一場景得到的所述RGB影像，以及在第二運行環境中獲取所述紅外線攝像頭拍攝同一場景得到的所述目標紅外線影像；以及在所述第二運行環境中提取所述目標紅外線影像中間距相等的所述特徵點得到所述第一特徵點集合，以及在所述第一運行環境中提取所述RGB影像中間距相等的所述特徵點得到所述第二特徵點集合，在所述第二運行環境中將所述第一特徵點集合和所述第二特徵點集合進行匹配，其中，所述第二運行環境的安全級別高於所述第一運行環境；或者，所述攝像頭校準方法還包括：在第一運行環境中獲取所述RGB攝像頭拍攝同一場景得到的所述RGB影像，以及在第二運行環境中獲取所述紅外線攝像頭 拍攝同一場景得到的所述目標紅外線影像；以及將所述RGB影像傳輸給所述第二運行環境，在所述第二運行環境中提取所述目標紅外線影像中間距相等的所述特徵點得到所述第一特徵點集合，提取所述RGB影像中間距相等的所述特徵點得到所述第二特徵點集合，在所述第二運行環境中將所述第一特徵點集合和所述第二特徵點集合進行匹配，其中，所述第二運行環境的安全級別高於所述第一運行環境；或者，所述攝像頭校準方法還包括：在第一運行環境中獲取所述RGB攝像頭拍攝同一場景得到的所述RGB影像，以及在第二運行環境中獲取所述紅外線攝像頭拍攝同一場景得到的所述目標紅外線影像；在所述第二運行環境中提取所述目標紅外線影像中間距相等的所述特徵點得到所述第一特徵點集合，將所述第一特徵點集合傳輸給所述第一運行環境；以及在所述第一運行環境中提取所述RGB影像中間距相等的所述特徵點得到所述第二特徵點集合，在所述第一運行環境中將所述第一特徵點集合和所述第二特徵點集合進行匹配，其中，所述第二運行環境的安全級別高於所述第一運行環境。
  12. 一種攝像頭校準裝置，包括：影像獲取模組，用於當檢測到影像清晰度小於清晰度閾值時，獲取紅外線攝像頭和RGB攝像頭拍攝同一場景所得到的目標紅外 線影像和RGB影像；匹配模組，用於提取所述目標紅外線影像中的特徵點得到第一特徵點集合和所述RGB影像中的特徵點得到第二特徵點集合，並將所述第一特徵點集合和所述第二特徵點集合進行匹配；以及參數確定模組，用於根據匹配後的特徵點獲取所述紅外線攝像頭的坐標系和所述RGB攝像頭的坐標系之間的變換關係。
  13. 如申請專利範圍第12項所述的攝像頭校準裝置，其中所述匹配模組還用於提取所述目標紅外線影像中間距相等的特徵點得到所述第一特徵點集合，以及提取所述RGB影像中間距相等的特徵點得到所述第二特徵點集合，並將所述第一特徵點集合和所述第二特徵點集合進行匹配。
  14. 一種電子設備，包括記憶體及處理器，所述記憶體中儲存有電腦程式，所述電腦程式被所述處理器執行時，使得所述處理器執行如請求項1-11任意一項所述攝像頭校準方法中的步驟。
TW108120211A 2018-08-01 2019-06-12 攝像頭校準方法和裝置、電子設備 TWI709110B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201810867079.6 2018-08-01
CN201810866119.5A CN109040745B (zh) 2018-08-01 2018-08-01 摄像头自校准方法和装置、电子设备、计算机存储介质
CN201810866119.5 2018-08-01
CN201810867079.6A CN109040746B (zh) 2018-08-01 2018-08-01 摄像头校准方法和装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
TW202008306A TW202008306A (zh) 2020-02-16
TWI709110B true TWI709110B (zh) 2020-11-01

Family

ID=66951761

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108120211A TWI709110B (zh) 2018-08-01 2019-06-12 攝像頭校準方法和裝置、電子設備

Country Status (4)

Country Link
US (1) US11158086B2 (zh)
EP (1) EP3608875A1 (zh)
TW (1) TWI709110B (zh)
WO (1) WO2020024576A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020024575A1 (zh) * 2018-08-01 2020-02-06 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
US11172139B2 (en) * 2020-03-12 2021-11-09 Gopro, Inc. Auto exposure metering for spherical panoramic content
US11418719B2 (en) 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
CN112232278B (zh) * 2020-11-04 2024-02-20 上海菲戈恩微电子科技有限公司 一种3d结构光自适应精度实现方法及系统
JP2024508359A (ja) * 2021-01-19 2024-02-27 グーグル エルエルシー カメラキャリブレーションのためのクロススペクトル特性マッピング
CN112819901B (zh) * 2021-02-26 2024-05-14 中国人民解放军93114部队 基于图像边缘信息的红外相机自标定方法
CN113920267B (zh) * 2021-09-07 2024-06-28 北京理工大学 三维场景模型构建方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156189A1 (en) * 2002-01-16 2003-08-21 Akira Utsumi Automatic camera calibration method
CN102782721A (zh) * 2009-12-24 2012-11-14 康耐视公司 用于相机校准误差的运行时测定的系统和方法
TW201349870A (zh) * 2012-01-19 2013-12-01 Vid Scale Inc 支援自適應觀看條件的視訊傳遞的方法和系統
CN106340045A (zh) * 2016-08-25 2017-01-18 电子科技大学 三维人脸重建中基于双目立体视觉的标定优化方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002090887A2 (en) * 2001-05-04 2002-11-14 Vexcel Imaging Gmbh Digital camera for and method of obtaining overlapping images
WO2011013079A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
US10819962B2 (en) * 2012-12-28 2020-10-27 Apple Inc. Method of and system for projecting digital information on a real object in a real environment
US20140348416A1 (en) * 2013-05-23 2014-11-27 Himax Media Solutions, Inc. Stereo image rectification apparatus and method
US10123003B2 (en) * 2014-07-01 2018-11-06 Fotonation Limited Method for calibrating an image capture device
WO2016205419A1 (en) * 2015-06-15 2016-12-22 Flir Systems Ab Contrast-enhanced combined image generation systems and methods
US20170064287A1 (en) * 2015-08-24 2017-03-02 Itseez3D, Inc. Fast algorithm for online calibration of rgb-d camera
US20190000564A1 (en) * 2015-12-30 2019-01-03 The Johns Hopkins University System and method for medical imaging
CN105701827B (zh) * 2016-01-15 2019-04-02 中林信达（北京）科技信息有限责任公司 可见光相机与红外相机的参数联合标定方法及装置
EP3411755A4 (en) * 2016-02-03 2019-10-09 Sportlogiq Inc. SYSTEMS AND METHODS FOR AUTOMATED CALIBRATION OF PHOTOGRAPHIC APPARATUS
US10398353B2 (en) * 2016-02-19 2019-09-03 Covidien Lp Systems and methods for video-based monitoring of vital signs
KR20180071589A (ko) * 2016-12-20 2018-06-28 삼성전자주식회사 홍채 인식 기능 운용 방법 및 이를 지원하는 전자 장치
US10540784B2 (en) * 2017-04-28 2020-01-21 Intel Corporation Calibrating texture cameras using features extracted from depth images
CN108230395A (zh) * 2017-06-14 2018-06-29 深圳市商汤科技有限公司 双视角图像校准及图像处理方法、装置、存储介质和电子设备
CN107679481B (zh) * 2017-09-27 2021-09-14 Oppo广东移动通信有限公司 解锁控制方法及相关产品
CN109754427A (zh) * 2017-11-01 2019-05-14 虹软科技股份有限公司 一种用于标定的方法和装置
CN107820011A (zh) 2017-11-21 2018-03-20 维沃移动通信有限公司 拍照方法和拍照装置
US10762664B2 (en) * 2017-12-29 2020-09-01 Intel Corporation Multi-camera processor with feature matching
CN108090477A (zh) * 2018-01-23 2018-05-29 北京易智能科技有限公司 一种基于多光谱融合的人脸识别方法与装置
CN109040746B (zh) * 2018-08-01 2019-10-25 Oppo广东移动通信有限公司 摄像头校准方法和装置、电子设备、计算机可读存储介质
CN109040745B (zh) * 2018-08-01 2019-12-27 Oppo广东移动通信有限公司 摄像头自校准方法和装置、电子设备、计算机存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156189A1 (en) * 2002-01-16 2003-08-21 Akira Utsumi Automatic camera calibration method
CN102782721A (zh) * 2009-12-24 2012-11-14 康耐视公司 用于相机校准误差的运行时测定的系统和方法
TW201349870A (zh) * 2012-01-19 2013-12-01 Vid Scale Inc 支援自適應觀看條件的視訊傳遞的方法和系統
CN106340045A (zh) * 2016-08-25 2017-01-18 电子科技大学 三维人脸重建中基于双目立体视觉的标定优化方法

Also Published As

Publication number Publication date
WO2020024576A1 (zh) 2020-02-06
US11158086B2 (en) 2021-10-26
US20200043198A1 (en) 2020-02-06
EP3608875A1 (en) 2020-02-12
TW202008306A (zh) 2020-02-16

Similar Documents

Publication Publication Date Title
TWI709110B (zh) 攝像頭校準方法和裝置、電子設備
EP3435655B1 (en) Electronic device for acquiring image using plurality of cameras and method for processing image using the same
CN109040745B (zh) 摄像头自校准方法和装置、电子设备、计算机存储介质
US8786679B2 (en) Imaging device, 3D modeling data creation method, and computer-readable recording medium storing programs
JP2021520154A (ja) 画像処理方法、コンピュータ可読記憶媒体、および電子機器
CN109040746B (zh) 摄像头校准方法和装置、电子设备、计算机可读存储介质
WO2020038255A1 (en) Image processing method, electronic apparatus, and computer-readable storage medium
WO2019037088A1 (zh) 一种曝光的控制方法、装置以及无人机
CN108805024A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108924426B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2019205887A1 (zh) 控制拍摄的方法、装置、电子设备及计算机可读存储介质
US11019325B2 (en) Image processing method, computer device and readable storage medium
CN109327626A (zh) 图像采集方法、装置、电子设备和计算机可读存储介质
CN112840644B (zh) 利用相机或深度传感器中的至少一个获取深度信息的电子装置和方法
CN109584312B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN109683698B (zh) 支付验证方法、装置、电子设备和计算机可读存储介质
CN109559353A (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN109068060B (zh) 图像处理方法和装置、终端设备、计算机可读存储介质
TW201544995A (zh) 物件辨識方法與裝置
US11218650B2 (en) Image processing method, electronic device, and computer-readable storage medium
US20210368093A1 (en) Electronic device and method for processing image of same
CN107454335B (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN109120846B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109658459B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
KR101822169B1 (ko) 파노라마 영상을 제공하는 전자 장치 및 그 제어 방법