TWI646506B

TWI646506B - 利用魚眼影像計算所攝物體座標的方法及影像擷取裝置

Info

Publication number: TWI646506B
Application number: TW106136425A
Authority: TW
Inventors: 吳伯政
Original assignee: 華晶科技股份有限公司
Priority date: 2017-10-24
Filing date: 2017-10-24
Publication date: 2019-01-01
Also published as: TW201917697A

Abstract

一種利用魚眼影像計算所攝物體座標的方法及影像擷取裝置。此方法是利用影像擷取裝置的魚眼鏡頭擷取包括一物體的魚眼影像，接著偵測此物體在魚眼影像中的座標，並根據此座標，計算物體在魚眼鏡頭的影像感測器平面上相對於魚眼影像的魚眼中心的方位角，之後則利用魚眼鏡頭的鏡頭曲線，將所述座標與魚眼影像的魚眼中心的距離轉換為入射角，並根據物體在魚眼影像中朝向魚眼中心方向上的寬度，計算物體與魚眼鏡頭之間的距離，最後則根據所述方位角、入射角以及距離，利用三角函數計算物體的三維座標。

Description

利用魚眼影像計算所攝物體座標的方法及影像擷取裝置

本發明是有關於一種影像擷取裝置及方法，且特別是有關於一種利用魚眼影像計算所攝物體座標的方法及影像擷取裝置。

遊戲機是現代人家庭娛樂不可或缺的電子產品之一。為了增加玩家與遊戲內容的互動，許多遊戲機已摒除傳統手把的控制模式，加入了體感偵測的元素。藉由紅外線等感測器偵測使用者於空間中的移動或動作，並反應於遊戲內容的操控，而大幅增加遊戲的娛樂性。

除了早期的紅外線感測定位技術之外，近期的遊戲機更導入了光球偵測技術，當使用者手持光球遙桿在空間中揮舞時，遊戲機會藉由配置其上的雙鏡頭拍攝光球的影像，並根據光球在影像中的位置計算光球在空間中的位置。

然而，由於傳統鏡頭的視野(field of view，FOV)有限，此將使得上述雙鏡頭的拍攝範圍受到限制，連帶使得使用者的移動空間也受到限制。而若將此鏡頭替換成視野較廣的魚眼鏡頭，則因為魚眼鏡頭所擷取的影像會有變形，需要進行魚眼校正後才能用來定位，但校正過程需要經過幾何轉換(geometry transformation)，此將降低視訊影像的管線期間(pipeline duration)，而有可能需要透過增加圖框率(frame rate)來解決。

本發明提供一種利用魚眼影像計算所攝物體座標的方法及影像擷取裝置，可在不進行幾何轉換的情況下，使用魚眼影像計算出物體於空間中的三維座標。

本發明的利用魚眼影像計算所攝物體座標的方法，適用於具有魚眼鏡頭的影像擷取裝置。所述方法是利用魚眼鏡頭擷取包括一物體的魚眼影像，接著偵測此物體在魚眼影像中的座標，而根據此座標，計算物體在魚眼鏡頭的影像感測器平面上相對於魚眼影像的魚眼中心的方位角，之後則利用魚眼鏡頭的鏡頭曲線，將所述座標與魚眼影像的魚眼中心的距離轉換為入射角，並根據所述物體在魚眼影像中朝向所述魚眼中心的方向上的寬度，計算物體與魚眼鏡頭之間的距離，最後則根據所述方位角、入射角以及距離，利用三角函數計算物體的三維座標。

在本發明的一實施例中，所述物體包括發光裝置，而偵測物體在魚眼影像中的座標的步驟包括偵測魚眼影像中亮度或顏色分量大於預設值的多個像素，而以這些像素所形成區域的中心或重心在魚眼影像中的座標作為所述座標。

本發明的影像擷取裝置包括魚眼鏡頭、儲存裝置及處理器。其中，儲存裝置是用以儲存多個模組。處理器耦接魚眼鏡頭及儲存裝置，用以存取並執行儲存於儲存裝置中的多個模組。這些模組包括影像擷取模組、物體偵測模組、方位角計算模組、入射角計算模組、距離計算模組及座標計算模組。影像擷取模組是利用魚眼鏡頭擷取包括一物體的魚眼影像。物體偵測模組是偵測所述物體在魚眼影像中的座標。方位角計算模組是根據所述座標，計算物體在魚眼鏡頭的影像感測器平面上相對於魚眼影像的魚眼中心的方位角。入射角計算模組是利用魚眼鏡頭的鏡頭曲線，將所述座標與魚眼影像的魚眼中心的距離轉換為入射角。距離計算模組是根據所述物體在魚眼影像中朝向魚眼中心的方向上的寬度，計算此物體與魚眼鏡頭之間的距離。座標計算模組是根據所述的方位角、入射角以及距離，利用三角函數計算所述物體的三維座標。

在本發明的一實施例中，所述的物體包括發光裝置，而所述物體偵測模組包括偵測魚眼影像中亮度或顏色分量大於預設值的多個像素，而以這些像素所形成區域的中心或重心在魚眼影像中的座標作為所述座標。

在本發明的一實施例中，所述物體所發出的光在魚眼鏡頭上的入射角與此光在魚眼鏡頭的影像感測器上的投影半徑呈正比。

在本發明的一實施例中，假設所述物體在魚眼影像中的寬度為w _T、此物體的實際寬度為W _T、魚眼影像的影像寬度為W _I、魚眼鏡頭的視野(Field of View，FOV)為F，則所述物體與魚眼鏡頭之間的距離r為：

在本發明的一實施例中，假設所述方位角為φ、所述入射角為θ以及所述距離為r，所述物體的三維座標為(x,y,z)，其中x=r cos θ cos φ；y=r cos θ sin φ；以及z=r sin θ。

基於上述，本發明的利用魚眼影像計算所攝物體座標的方法及影像擷取裝置利用雙魚眼鏡頭擷取物體影像，在不進行幾何轉換的情況，直接使用物體在魚眼影像中的座標計算由物體發射之光在魚眼鏡頭上的入射角以及在鏡頭平面上的方位角，並根據物體在魚眼影像中的寬度估測物體與魚眼鏡頭的距離，最後利用三角函數計算該物體在空間中的三維座標。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

10‧‧‧影像擷取裝置

12‧‧‧魚眼鏡頭

14‧‧‧儲存裝置

141‧‧‧影像擷取模組

142‧‧‧物體偵測模組

143‧‧‧方位角計算模組

144‧‧‧入射角計算模組

145‧‧‧距離計算模組

146‧‧‧座標計算模組

16‧‧‧處理器

32、42‧‧‧魚眼鏡頭

34、44‧‧‧影像感測器

36、40‧‧‧魚眼影像

W‧‧‧物體T的原始寬度

w‧‧‧物體T’的寬度

θ‧‧‧入射角

φ‧‧‧方位角

O‧‧‧魚眼中心

P‧‧‧投影點

R‧‧‧有效投影平徑

r‧‧‧投影平徑

T‧‧‧物體

T’‧‧‧魚眼影像中的物體

M‧‧‧P點在水平軸線上的投影點

S202~S212‧‧‧本發明一實施例之利用魚眼影像計算所攝物體座標的方法步驟

圖1是依照本發明一實施例所繪示的影像擷取裝置的方塊圖。

圖2是依照本發明一實施例所繪示的利用魚眼影像計算所攝物體座標的方法的流程圖。

圖3A是依照本發明一實施例所繪示之物體在魚眼鏡頭的投影半徑與入射角的關係示意圖。

圖3B是依照本發明一實施例所繪示之物體在魚眼影像中的位置與方位角的關係示意圖。

圖4是依照本發明一實施例所繪示之計算物體三維座標的示意圖。

圖5是依照本發明一實施例所繪示之計算物體三維座標的示意圖。

由於魚眼鏡頭採用等距鏡頭(Equi-Distance lens)，其自物體(例如光球)接收的光的入射角會與此光在影像感測器上的投影半徑呈近乎線性的關係。據此，本發明即藉由偵測物體在魚眼影像中的位置，利用上述關係反推物體發光的入射角，並取得物體在鏡頭平面上的方位角。另一方面，本發明還依據物體在魚眼影像中的寬度，進一步推算物體與魚眼鏡頭之間的距離，最終依據所計算的距離及入射角與方位角，即可利用三角函數計算出物體於空間中的三維座標。藉此，本發明可在增加拍攝視野且不進行幾何轉換的情況下，實現所攝物體的三維座標計算。

圖1是依照本發明一實施例所繪示的影像擷取裝置的方塊圖。請參照圖1，本實施例的影像擷取裝置10例如是手機、平板電腦、筆記型電腦、導航裝置、行車紀錄器、數位相機、數位攝影機(Digital video camcorder，DVC)等具備攝像功能的電子裝置。影像擷取裝置10中包括魚眼鏡頭12、儲存裝置14及處理器16，其功能分述如下：魚眼鏡頭12包括鏡頭及影像感測器，其中所述鏡頭是採用視角接近、等於或超過180度的定焦或變焦鏡頭，其可使得位於其視野(Field of View，FOV)內的被攝物體成像在影像感測器上。影像感測器中配置有電荷耦合元件(Charge coupled device，CCD)、互補性氧化金屬半導體(Complementary metal-oxide semiconductor，CMOS)元件或其他種類的感光元件，而可感測進入鏡頭的光線強度，從而擷取影像訊號以產生魚眼影像。

儲存裝置14例如是任何型態的固定式或可移動式隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)或類似元件或上述元件的組合。在本實施例中，儲存裝置14用以記錄影像擷取模組141、物體偵測模組142、方位角計算模組143、入射角計算模組 144、距離計算模組145及座標計算模組146，這些模組例如是儲存在儲存裝置14中的程式。

處理器16例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合。處理器16連接第一魚眼鏡頭12、第二魚眼鏡頭14及儲存裝置14，而配置用以從儲存裝置14載入影像擷取模組141、物體偵測模組142、方位角計算模組143、入射角計算模組144、距離計算模組145及座標計算模組146的程式，據以執行本申請利用魚眼影像計算所攝物體座標的方法。

詳言之，圖2是依照本發明一實施例所繪示的利用魚眼影像計算所攝物體座標的方法的流程圖。請同時參照圖1及圖2，本實施例的方法適用於圖1的影像擷取裝置10，以下即搭配影像擷取裝置10中的各項元件說明本案之利用魚眼影像計算所攝物體座標的方法的詳細步驟。

首先，處理器16執行影像擷取模組141，以利用魚眼鏡頭12擷取包括一物體的魚眼影像(步驟S202)。其中，所述物體例如是白色、藍色、紅色、綠色或其他易辦識顏色的光球，其例如是配置在遙桿、遙控器、虛擬實境的頭戴式顯示器、頭盔或是手環、手錶等可穿戴式裝置上，而可藉由發出白光或其他顏色的光，讓影像擷取裝置10可辨識出手持或配戴此物體之使用者的動作。

接著，處理器16執行物體偵測模組142，以偵測物體在魚眼影像中的座標(步驟S204)。其中，物體偵測模組142例如會偵測魚眼影像中亮度或某一顏色分量大於預設值的多個像素，而以這些像素所形成區域的中心或重心在魚眼影像中的座標作為所述的座標。

詳言之，若所述物體為光球，則此物體在魚眼影像中將以亮度較高或某一顏色分量較高的圓形(或橢圓形)區域呈現，因此，物體偵測模組142即藉由將魚眼影像中各個像素的亮度值與預設值比較，以偵測出物體(白色光球)，或是將魚眼影像中各個像素的某個顏色分量(例如R、G、B)的像素值(例如藍色分量的像素值)與預設值比較，以偵測出具有該顏色的物體(例如藍色光球)。另一方面，魚眼鏡頭所拍攝的物體，會依其偏離魚眼中心的距離而產生不同程度的形變(例如圓形的光球會變成橢圓形)，因此，在確定物體於魚眼影像中的座標時，物體偵測模組142例如會計算此物體的中心(例如範圍可涵括此物體的最小矩形的中心)或重心，而以此中心或重心在魚眼影像中的座標作為物體的座標。

然後，處理器16執行方位角計算模組143，以根據所述座標，計算物體在魚眼鏡頭的影像感測器平面上相對於魚眼影像的魚眼中心的方位角(步驟S206)。此外，處理器16還會執行入射角計算模組144，以利用魚眼鏡頭12的鏡頭曲線，將前述座標與魚眼影像的魚眼中心的距離轉換為入射角(步驟S208)。其中，處理器16執行的順序並不限於上述的步驟S206、步驟S208，亦可先執行步驟S208、再執行步驟S206，或同時執行。

魚眼鏡頭12所拍攝物體在其影像感測器平面上的投影半徑，會依據其鏡頭曲線而有不同。在一實施例中，若魚眼鏡頭12是採用等距鏡頭，則其所接收光的入射角會與此光在影像感測器上的投影半徑呈近乎線性的關係。意即，由物體所發出的光在魚眼鏡頭12上的入射角與此光在魚眼鏡頭12的影像感測器上的投影半徑呈正比。而在另一實施例中，魚眼鏡頭12所接收光的入射角與此光在影像感測器上的投影半徑彼此間也可具有多項式函數的關係，此關係可藉由預先取得鏡頭曲線，或預先測定不同角度入射光在影像感測器上的投影半徑，而預先取得。

舉例來說，圖3A是依照本發明一實施例所繪示之物體在魚眼鏡頭的投影半徑與入射角的關係示意圖，圖3B是依照本發明一實施例所繪示之物體在魚眼影像中的位置與方位角的關係示意圖。請先參照圖3A，由物體T所發出的光例如是以入射角θ入射魚眼鏡頭32，並經由魚眼鏡頭32的折射，在影像感測器34所在的影像感測器平面上與魚眼中心O的距離為投影平徑r的位置上成像。其中，魚眼鏡頭32在影像感測器平面上的有效投影平徑為R。根據魚眼鏡頭32的鏡頭曲線，前述的入射角θ與投影平徑r的關係例如為θ=k．r，其中k為常數且可預先測得。藉此，若使用此魚眼鏡頭32拍攝任意物體，即可依據該物體在所拍攝魚眼影像中的位置，利用上述關係反推由此物體發光的入射角θ。另一方面，請參照圖3B，依據物體T’在魚眼影像36中的位置，即可以貫穿魚眼影像36的魚眼中心O的x軸為基準，計算出物體T’相對於魚眼中心O的方位角φ。

此外，處理器16執行距離計算模組145，以根據物體在魚眼影像中朝向魚眼中心的方向上的寬度，計算物體與魚眼鏡頭之間的距離(步驟S210)。詳言之，如前所述，魚眼鏡頭122所拍攝的物體，會依其偏離魚眼中心的距離不同而產生不同程度的形變(例如圓形的光球會變成橢圓形)，偏離魚眼中心的距離愈遠，形變的程度也愈嚴重。本發明實施例即依據此特性，根據魚眼影像中所攝物體形變後的寬度，推算該物體與魚眼鏡頭122之間的距離。

舉例來說，圖4A及圖4B是依照本發明一實施例所繪示之所攝物體透過魚眼鏡頭成像的範例。請參照圖4A，由物體T發出的光在經由魚眼鏡頭42折射後，會在影像感測器44上成像。其中，假設物體T的原始寬度為W，經由魚眼鏡頭42折射，在影像感測器44上成像的寬度將變成w。圖4B即繪示由影像感測器44所擷取的物體T的魚眼影像40，其中物體T’即是物體T投射在影像感測器44上的成像，而由於魚眼鏡頭42的特性是，偏離魚眼中心O的距離愈遠，物體形變的程度也愈高，因此物體T’的形狀已變成圖中所示的橢圓形，且物體T’在魚眼影像40中朝向魚眼中心O的方向上的寬度w可用以計算物體T與魚眼鏡頭42之間的距離。

詳言之，在一實施例中，假設物體在魚眼影像中的的寬度為w _T、物體的實際寬度為W _T、魚眼影像的影像寬度為W _I、魚眼鏡頭的視野(Field of View，FOV)為F，則物體與魚眼鏡頭之間的距離r為：

舉例來說，表1列示利用魚眼鏡頭拍攝放置在不同距離的物體的魚眼影像時，該物體在魚眼影像中的寬度(像素)與距離的關係。其中，物體1為直徑1公分的光球、物體2為直徑5公分的光球，魚眼鏡頭所拍攝的魚眼影像的影像寬度為864像素，且魚眼鏡頭的視野為187度。

以拍攝距離100公分的物體2為例，此物體2在所拍攝魚眼影像中的寬度為13.23624425像素。將上述參數導入公式(1)後，可算出物體2與魚眼鏡頭之間的距離r為：

在計算出物體的方位角、入射角以及與魚眼鏡頭的距離之後，處理器16即執行座標計算模組146，而根據前述的方位角、入射角以及距離，利用三角函數計算物體的三維座標(步驟S212)。

詳言之，圖5是依照本發明一實施例所繪示之計算物體三維座標的示意圖。請參照圖5，假設O是魚眼鏡頭的魚眼中心，P點是物體T在鏡頭平面上的投影點，物體T與魚眼中心O之間的距離為r。其中，線段為線段在鏡頭平面上的投影線，線段與線段之間的夾角θ可視為物體T的發光入射於魚眼鏡頭的入射角；線段為線段在水平軸線上的投影線，而線段與線段之間的夾角φ則可視為物體T相對於魚眼中心O的方位角。

基於前述的方位角φ、入射角θ以及距離r，物體T的三維座標為(x,y,z)可利用下列公式推得：

藉由上述方法，本實施例的影像擷取裝置10即可在不進行魚眼校正的情況下，實現所攝物體的三維座標計算，且其所拍攝範圍相較於傳統鏡頭更廣。

綜上所述，本發明的利用魚眼影像計算所攝物體座標的方法及影像擷取裝置依據物體在雙魚眼鏡頭所拍攝影像中的位置，分別計算出物體發光進入魚眼鏡頭的入射角以及物體在鏡頭平面上的方位角，並根據物體在魚眼影像中的寬度估算物體與魚眼鏡頭的距離，最終利用三角函數計算出物體於空間中的三維座標。藉此，本發明實施例可在不進行幾何轉換的情況下，實現所攝物體的三維座標計算，且可在增加偵測範圍的同時，減少偵測物體所需的運算量。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

Claims

一種利用魚眼影像計算所攝物體座標的方法，適用於具有魚眼鏡頭的影像擷取裝置，所述方法包括下列步驟：利用所述魚眼鏡頭擷取包括一物體的魚眼影像；偵測所述物體在所述魚眼影像中的座標；根據所述座標，計算所述物體在所述魚眼鏡頭的影像感測器平面上相對於所述魚眼影像的魚眼中心的方位角，其中所述魚眼鏡頭設置於所述魚眼鏡頭的影像感測器平面的中心點的上方；利用所述魚眼鏡頭的鏡頭曲線，將所述座標與所述魚眼影像的魚眼中心的距離轉換為入射角；根據所述物體在所述魚眼影像中朝向所述魚眼中心的方向上的寬度，計算所述物體與所述魚眼鏡頭之間的距離；以及根據所述方位角、所述入射角以及所述距離，利用三角函數計算所述物體的三維座標。
如申請專利範圍第1項所述的方法，其中所述物體包括發光裝置，而偵測所述物體在所述魚眼影像中的所述座標的步驟包括：偵測所述魚眼影像中亮度或顏色分量大於預設值的多個像素，而以所述像素所形成區域的中心或重心在所述魚眼影像中的座標作為所述座標。
如申請專利範圍第2項所述的方法，其中所述物體所發出的光在所述魚眼鏡頭上的入射角與所述光在所述魚眼鏡頭的影像感測器上的投影半徑呈正比。
如申請專利範圍第1項所述的方法，其中假設所述物體在所述魚眼影像中的所述寬度為w _T、所述物體的實際寬度為W _T、所述魚眼影像的影像寬度為W _I、所述魚眼鏡頭的視野(Field of View，FOV)為F，則所述物體與所述魚眼鏡頭之間的距離r為：
如申請專利範圍第1項所述的方法，其中假設所述方位角為φ、所述入射角為θ以及所述距離為r，所述物體的三維座標為(x,y,z)，其中x=r cos θ cos φ；y=r cos θ sin φ；以及z=r sin θ。
一種影像擷取裝置，包括：魚眼鏡頭；儲存裝置，儲存多個模組；處理器，耦接所述魚眼鏡頭及所述儲存裝置，存取並執行儲存於所述儲存裝置中的所述模組，所述模組包括：影像擷取模組，利用所述魚眼鏡頭擷取包括一物體的影像；物體偵測模組，偵測所述物體在所述魚眼影像中的座標；方位角計算模組，根據所述座標，計算所述物體在所述魚眼鏡頭的影像感測器平面上相對於所述魚眼影像的魚眼中心的方位角，其中所述魚眼鏡頭設置於所述魚眼鏡頭的影像感測器平面的中心點的上方；入射角計算模組，利用所述魚眼鏡頭的鏡頭曲線，分別將所述座標與所述魚眼影像的魚眼中心的距離轉換為入射角；距離計算模組，根據所述物體在所述魚眼影像中朝向所述魚眼中心的方向上的寬度，計算所述物體與所述魚眼鏡頭之間的距離；以及座標計算模組，根據所述方位角、所述入射角以及所述距離，利用三角函數計算所述物體的三維座標。
如申請專利範圍第6項所述的影像擷取裝置，其中所述物體包括發光裝置，而所述物體偵測模組包括偵測所述魚眼影像中亮度或顏色分量大於預設值的多個像素，而以所述像素所形成區域的中心或重心在所述魚眼影像中的座標作為所述座標。
如申請專利範圍第7項所述的影像擷取裝置，其中所述物體所發出的光在所述魚眼鏡頭上的入射角與所述光在所述魚眼鏡頭的影像感測器上的投影半徑呈正比。
如申請專利範圍第6項所述的影像擷取裝置，其中假設所述物體在所述魚眼影像中的所述寬度為w _T、所述物體的實際寬度為W _T、所述魚眼影像的影像寬度為W _I、所述魚眼鏡頭的視野 (Field of View，FOV)為F，則所述物體與所述魚眼鏡頭之間的距離r為：
如申請專利範圍第6項所述的影像擷取裝置，其中假設所述方位角為φ、所述入射角為θ以及所述距離為r，所述物體的三維座標為(x,y,z)，其中x=r cos θ cos φ；y=r cos θ sin φ；以及z=r sin θ。