TWI725279B - 利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置 - Google Patents

利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置 Download PDF

Info

Publication number
TWI725279B
TWI725279B TW107100884A TW107100884A TWI725279B TW I725279 B TWI725279 B TW I725279B TW 107100884 A TW107100884 A TW 107100884A TW 107100884 A TW107100884 A TW 107100884A TW I725279 B TWI725279 B TW I725279B
Authority
TW
Taiwan
Prior art keywords
fisheye
image
fisheye lens
lens
angle
Prior art date
Application number
TW107100884A
Other languages
English (en)
Other versions
TW201931304A (zh
Inventor
吳伯政
Original Assignee
華晶科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 華晶科技股份有限公司 filed Critical 華晶科技股份有限公司
Priority to TW107100884A priority Critical patent/TWI725279B/zh
Priority to US16/164,810 priority patent/US10762658B2/en
Publication of TW201931304A publication Critical patent/TW201931304A/zh
Application granted granted Critical
Publication of TWI725279B publication Critical patent/TWI725279B/zh

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一種利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置。此方法是利用影像擷取裝置的第一及第二魚眼鏡頭分別擷取包括一物體的第一及第二魚眼影像,偵測物體在第一及第二魚眼影像中的座標,據此計算物體在第一及第二魚眼鏡頭的影像感測器平面上相對於第一及第二魚眼影像的魚眼中心的第一及第二方位角,利用第一及第二魚眼鏡頭的鏡頭曲線,將物體座標與第一、第二魚眼影像的魚眼中心的距離分別轉換為第一及第二入射角。最後,根據第一、第二方位角、第一、第二入射角以及第一及第二魚眼鏡頭之間的基線距離,利用三角函數計算物體的三維座標。

Description

利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置
本發明是有關於一種影像擷取裝置及方法,且特別是有關於一種利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置。
遊戲機是現代人家庭娛樂不可或缺的電子產品之一。為了增加玩家與遊戲內容的互動,許多遊戲機已摒除傳統手把的控制模式,加入了體感偵測的元素。藉由紅外線等感測器偵測使用者於空間中的移動或動作,並反應於遊戲內容的操控,而大幅增加遊戲的娛樂性。
除了早期的紅外線感測定位技術之外,近期的遊戲機更導入了光球偵測技術,當使用者手持光球遙桿在空間中揮舞時,遊戲機會藉由配置其上的雙鏡頭拍攝光球的影像,並根據光球在 影像中的位置計算光球在空間中的位置。
然而,由於傳統鏡頭的視野(field of view,FOV)有限,此將使得上述雙鏡頭的拍攝範圍會受到限制,連帶使得使用者的移動空間也受到限制。而若將此鏡頭替換成視野較廣的魚眼鏡頭,則因為魚眼鏡頭所擷取的影像會有變形,需要進行魚眼校正後才能用來定位,但校正過程需要經過幾何轉換(geometry transformation),此將降低視訊影像的管線期間(pipeline duration),而有可能需要透過增加圖框率(frame rate)來解決。
本發明提供一種利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置,可在不進行幾何轉換的情況下,使用雙魚眼影像計算出物體於空間中的三維座標。
本發明的利用雙魚眼影像計算所攝物體座標的方法適用於具有第一魚眼鏡頭及第二魚眼鏡頭的影像擷取裝置。其中,第一魚眼鏡頭及第二魚眼鏡頭之間具有基線距離。所述方法是利用第一魚眼鏡頭及第二魚眼鏡頭分別擷取包括一物體的第一魚眼影像及第二魚眼影像。接著,偵測此物體在第一魚眼影像及第二魚眼影像中的第一座標及第二座標,然後根據此第一座標及第二座標,計算物體在第一魚眼鏡頭及第二魚眼鏡頭的影像感測器平面上相對於第一魚眼影像及第二魚眼影像的魚眼中心的第一方位角及第二方位角,之後則利用第一魚眼鏡頭及第二魚眼鏡頭的鏡頭 曲線,分別將第一座標與第一魚眼影像的魚眼中心的第一距離以及第二座標與第二魚眼影像的魚眼中心的第二距離轉換為第一入射角及第二入射角。最後,根據所述的第一方位角、第二方位角、第一入射角、第二入射角以及基線距離,利用三角函數計算物體的三維座標。
在本發明的一實施例中,所述的物體包括發光裝置,而所述偵測物體在第一魚眼影像及第二魚眼影像中的第一座標及第二座標的步驟包括分別偵測第一魚眼影像及第二魚眼影像中亮度或顏色分量大於預設值的多個像素,而以這些像素所形成區域的中心或重心在第一魚眼影像及第二魚眼影像中的座標作為所述的第一座標及第二座標。
在本發明的一實施例中,所述物體所發出的光在第一魚眼鏡頭上的入射角與此光在第一魚眼鏡頭的影像感測器上的投影半徑呈正比,以及所述物體所發出的光在第二魚眼鏡頭上的入射角與此光在第二魚眼鏡頭的影像感測器上的投影半徑呈正比。
在本發明的一實施例中,假設所述第一方位角為φ l 、第二方位角為φ r 、第一入射角為θ l 、第二入射角為θ r 以及基線距離為B,物體的三維座標為(x,y,z),其中
Figure 107100884-A0305-02-0005-1
Figure 107100884-A0305-02-0005-2
;以及
Figure 107100884-A0305-02-0006-3
在本發明的一實施例中,所述第一魚眼鏡頭的光軸及第二魚眼鏡頭的光軸具有一夾角,使得第一魚眼鏡頭的視野與第二魚眼鏡頭的視野包括重疊區域及非重疊區域。其中,當所述物體出現在重疊區域時,根據所述的第一方位角、第二方位角、第一入射角、第二入射角以及基線距離,利用三角函數計算此物體的三維座標;以及當所述物體出現在非重疊區域時,根據所述的第一方位角、第二方位角、第一入射角、第二入射角以及基線距離,利用三角函數計算此物體的二維座標。
本發明的影像擷取裝置包括第一魚眼鏡頭、第二魚眼鏡頭、儲存裝置及處理器。其中,第二魚眼鏡頭與第一魚眼鏡頭之間具有基線距離。儲存裝置是用以儲存多個模組。處理器耦接第一魚眼鏡頭、第二魚眼鏡頭及儲存裝置,用以存取並執行儲存於儲存裝置中的多個模組。這些模組包括影像擷取模組、物體偵測模組、方位角計算模組、入射角計算模組及座標計算模組。影像擷取模組是利用第一魚眼鏡頭及第二魚眼鏡頭分別擷取包括一物體的第一魚眼影像及第二魚眼影像。物體偵測模組是偵測所述物體在第一魚眼影像及第二魚眼影像中的第一座標及第二座標。方位角計算模組是根據所述的第一座標及第二座標,計算所述物體在第一魚眼鏡頭及第二魚眼鏡頭的影像感測器平面上相對於第一魚眼影像及第二魚眼影像的魚眼中心的第一方位角及第二方位 角。入射角計算模組是利用第一魚眼鏡頭及第二魚眼鏡頭的鏡頭曲線,分別將第一座標與第一魚眼影像的魚眼中心的第一距離以及第二座標與第二魚眼影像的魚眼中心的第二距離轉換為第一入射角及第二入射角。座標計算模組是根據所述的第一方位角、第二方位角、第一入射角、第二入射角以及基線距離,利用三角函數計算所述物體的三維座標。
在本發明的一實施例中,所述的物體包括發光裝置,而所述物體偵測模組包括分別偵測第一魚眼影像及第二魚眼影像中亮度或顏色分量大於預設值的多個像素,而以這些像素所形成區域的中心或重心在第一魚眼影像及第二魚眼影像中的座標作為第一座標及第二座標。
在本發明的一實施例中,所述的物體所發出的光在第一魚眼鏡頭上的入射角與此光在第一魚眼鏡頭的影像感測器上的投影半徑呈正比,以及所述的物體所發出的光在第二魚眼鏡頭上的入射角與此光在第二魚眼鏡頭的影像感測器上的投影半徑呈正比。
在本發明的一實施例中,假設所述的第一方位角為φ l 、第二方位角為φ r 、第一入射角為θ l 、第二入射角為θ r 以及基線距離為B,物體的三維座標為(x,y,z),其中
Figure 107100884-A0305-02-0007-4
Figure 107100884-A0305-02-0007-5
;以及
Figure 107100884-A0305-02-0008-6
在本發明的一實施例中,所述的第一魚眼鏡頭的光軸及第二魚眼鏡頭的光軸具有一夾角,使得第一魚眼鏡頭的視野與第二魚眼鏡頭的視野包括重疊區域及非重疊區域,其中當物體出現在重疊區域時,座標計算模組包括根據第一方位角、第二方位角、第一入射角、第二入射角以及基線距離,利用三角函數計算物體的三維座標;以及當物體出現在重疊區域時,座標計算模組包括根據第一方位角、第二方位角、第一入射角、第二入射角以及基線距離,利用三角函數計算物體的二維座標。
基於上述,本發明的利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置利用雙魚眼鏡頭擷取物體影像,並在不進行幾何轉換的情況,直接使用物體在雙魚眼影像中的座標計算由物體發射之光在魚眼鏡頭上的入射角以及在鏡頭平面上的方位角,最後利用三角定位的方式,計算該物體在空間中的三維座標。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
10:影像擷取裝置
12:第一魚眼鏡頭
14:第二魚眼鏡頭
16:儲存裝置
161:影像擷取模組
162:物體偵測模組
163:方位角計算模組
164:入射角計算模組
165:座標計算模組
18:處理器
32:魚眼鏡頭
34:影像感測器
36:魚眼影像
θθ l θ r :入射角
φ、φ l φ r :方位角
B:基線距離
O、Ol、Or:魚眼中心
P:投影點
R:有效投影平徑
r:投影平徑
T、T’:物體
M:P點在基線
Figure 107100884-A0305-02-0017-34
上的投影點
S202~S210:本發明一實施例之利用雙魚眼影像計算所攝物體座標的方法步驟
圖1是依照本發明一實施例所繪示的雙攝像頭影像擷取裝置的方塊圖。
圖2是依照本發明一實施例所繪示的雙攝像頭影像擷取裝置 的攝像方法的流程圖。
圖3A至圖3B是依照本發明一實施例所繪示的雙攝像頭影像擷取裝置20的攝像方法的範例。
圖4是依照本發明一實施例所繪示的雙攝像頭影像擷取裝置的方塊圖。
由於魚眼鏡頭採用等距鏡頭(Equi-Distance lens),其自物體(例如光球)接收的光的入射角會與此光在影像感測器上的投影半徑呈近乎線性的關係。據此,本發明即藉由偵測物體在魚眼影像中的位置,利用上述關係反推物體發光的入射角,結合物體在鏡頭平面上的方位角,利用三角定位的方式,即可計算出物體於空間中的三維座標。藉此,本發明可在增加拍攝視野且不進行幾何轉換的情況下,實現所攝物體的三維座標計算。
圖1是依照本發明一實施例所繪示的影像擷取裝置的方塊圖。請參照圖1,本實施例的影像擷取裝置10例如是手機、平板電腦、筆記型電腦、導航裝置、行車紀錄器、數位相機、數位攝影機(Digital video camcorder,DVC)等具備攝像功能的電子裝置。影像擷取裝置10中包括第一魚眼鏡頭12、第二魚眼鏡頭14、儲存裝置16及處理器18,其功能分述如下: 第一魚眼鏡頭12及第二魚眼鏡頭14分別包括鏡頭及影像感測器,其中所述鏡頭是採用視角接近、等於或超過180度的 定焦或變焦鏡頭,其可使得位於其視野(Field of View,FOV)內的被攝物體成像在影像感測器上。影像感測器中配置有電荷耦合元件(Charge coupled device,CCD)、互補性氧化金屬半導體(Complementary metal-oxide semiconductor,CMOS)元件或其他種類的感光元件,而可感測進入鏡頭的光線強度,從而擷取影像訊號以產生魚眼影像。第一魚眼鏡頭12及第二魚眼鏡頭14之間例如具有一基線距離。
儲存裝置16例如是任何型態的固定式或可移動式隨機存取記憶體(random access memory,RAM)、唯讀記憶體(read-only memory,ROM)、快閃記憶體(flash memory)或類似元件或上述元件的組合。在本實施例中,儲存裝置16用以記錄影像擷取模組161、物體偵測模組162、方位角計算模組163、入射角計算模組164及座標計算模組165,這些模組例如是儲存在儲存裝置16中的程式。
處理器18例如是中央處理單元(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合。處理器18連接第一魚眼鏡頭12、第二魚眼鏡頭14及儲存裝置16,而配置用以從儲存裝置16載入影像擷取模組161、物體偵測模組162、 方位角計算模組163、入射角計算模組164及座標計算模組165的程式,據以執行本申請利用雙魚眼影像計算所攝物體座標的方法。
詳言之,圖2是依照本發明一實施例所繪示的利用雙魚眼影像計算所攝物體座標的方法的流程圖。請同時參照圖1及圖2,本實施例的方法適用於圖1的影像擷取裝置10,以下即搭配影像擷取裝置10中的各項元件說明本案之利用雙魚眼影像計算所攝物體座標的方法的詳細步驟。
首先,處理器18執行影像擷取模組161,以利用第一魚眼鏡頭12及第二魚眼鏡頭14分別擷取包括一物體的第一魚眼影像及第二魚眼影像(步驟S202)。其中,所述物體例如是白色、藍色、紅色、綠色或其他易辦識顏色的光球,其例如是配置在遙桿、遙控器、虛擬實境的頭戴式顯示器、頭盔或是手環、手錶等可穿戴式裝置上,而可藉由發出白光或其他顏色的光,讓影像擷取裝置10可辨識出手持或配戴此物體之使用者的動作。
接著,處理器18執行物體偵測模組162,以偵測物體在第一魚眼影像及第二魚眼影像中的第一座標及第二座標(步驟S204)。其中,物體偵測模組162例如會分別偵測第一魚眼影像及第二魚眼影像中亮度或某一顏色分量大於預設值的多個像素,而以這些像素所形成區域的中心或重心在第一魚眼影像及第二魚眼影像中的座標作為所述的第一座標及第二座標。
詳言之,若所述物體為光球,則此物體在魚眼影像中將以亮度較高或某一顏色分量較高的圓形(或橢圓形)區域呈現,因此,物體偵測模組162即藉由將魚眼影像中各個像素的亮度值與預設值比較,以偵測出物體(白色光球),或是將魚眼影像中各個像素的某個顏色分量(例如R、G、B)的像素值(例如藍色分量的像素值)與預設值比較,以偵測出具有該顏色的物體(例如藍色光球)。另一方面,魚眼鏡頭所拍攝的物體,會依其偏離魚眼中心的距離而產生不同程度的形變(例如圓形的光球會變成橢圓形),因此,在確定物體於魚眼影像中的座標時,物體偵測模組162例如會計算此物體的中心(例如範圍可涵括此物體的最小矩形的中心)或重心,而以此中心或重心在魚眼影像中的座標作為物體的座標。
然後,處理器18執行方位角計算模組163,以根據第一座標及第二座標,計算物體在第一魚眼鏡頭及第二魚眼鏡頭的影像感測器平面上相對於第一魚眼影像及第二魚眼影像的魚眼中心的第一方位角及第二方位角(步驟S206)。此外,處理器18還會執行入射角計算模組164,以利用第一魚眼鏡頭12及第二魚眼鏡頭14的鏡頭曲線,分別將前述第一座標與第一魚眼影像的魚眼中心的第一距離以及前述第二座標與第二魚眼影像的魚眼中心的第二距離轉換為第一入射角及第二入射角(步驟S208)。其中,處理器18執行的順序並不限於上述的步驟S206、步驟S208,亦可先執行步驟S208、再執行步驟S206,或同時執行。
第一魚眼鏡頭12及第二魚眼鏡頭14所拍攝物體在其影像感測器平面上的投影半徑,會依據其鏡頭曲線而有不同。在一實施例中,若第一魚眼鏡頭12與第二魚眼鏡頭14是採用等距鏡頭(Equi-Distance lens),則其所接收光的入射角會與此光在影像感測器上的投影半徑呈近乎線性的關係。意即,由物體所發出的光在第一魚眼鏡頭12上的入射角與此光在第一魚眼鏡頭12的影像感測器上的投影半徑呈正比;另一方面,由物體所發出的光在第二魚眼鏡頭14上的入射角與此光在第二魚眼鏡頭14的影像感測器上的投影半徑呈正比。而在另一實施例中,第一魚眼鏡頭12與第二魚眼鏡頭14所接收光的入射角與此光在影像感測器上的投影半徑彼此間也可具有多項式函數的關係,此關係可藉由預先取得鏡頭曲線,或預先測定不同角度入射光在影像感測器上的投影半徑,而預先取得。
舉例來說,圖3A是依照本發明一實施例所繪示之物體在魚眼鏡頭的投影半徑與入射角的關係示意圖,圖3B是依照本發明一實施例所繪示之物體在魚眼影像中的位置與方位角的關係示意圖。請先參照圖3A,由物體T所發出的光例如是以入射角θ入射魚眼鏡頭32,並經由魚眼鏡頭32的折射,在影像感測器34所在的影像感測器平面上距離魚眼中心O為投影平徑r的位置上呈像。其中,魚眼鏡頭32在影像感測器平面上的有效投影平徑為R。根據魚眼鏡頭32的鏡頭曲線,前述的入射角θ與投影平徑r的關係例如為θ=kr,其中k為常數且可預先測得。藉此,若使用此魚眼鏡頭32 拍攝任意物體,即可依據該物體在所拍攝魚眼影像中的位置,利用上述關係反推由此物體發光的入射角θ。另一方面,請參照圖3B,依據物體T’在魚眼影像36中的位置,即可以貫穿魚眼影像36的魚眼中心O的x軸為基準,計算出物體T’相對於魚眼中心O的方位角φ。
在計算出物體相對於魚眼中心的方位角以及由物體與魚眼中心的距離所計算出的入射角之後,處理器18即執行座標計算模組165,而根據前述的第一方位角、第二方位角、第一入射角、第二入射角以及基線距離,利用三角函數計算所述物體的三維座標(步驟S210)。
詳言之,圖4是依照本發明一實施例所繪示之計算物體三維座標的示意圖。請參照圖4,假設Ol與Or分別是左、右魚眼鏡頭的魚眼中心,P點是物體T在鏡頭平面上的投影點,基線
Figure 107100884-A0305-02-0014-8
的長度為B。其中,線段
Figure 107100884-A0305-02-0014-9
與線段
Figure 107100884-A0305-02-0014-10
之間的夾角θ l 可視為物體T的發光入射於左魚眼鏡頭的入射角,線段
Figure 107100884-A0305-02-0014-11
為線段
Figure 107100884-A0305-02-0014-12
在鏡頭平面上的投影線,而基線
Figure 107100884-A0305-02-0014-16
與投影線
Figure 107100884-A0305-02-0014-17
之間的夾角φ l 則可視為物體T相對於魚眼中心Ol的方位角。類似地,線段
Figure 107100884-A0305-02-0014-18
與線段
Figure 107100884-A0305-02-0014-19
之間的夾角θ r 可視為物體T的發光入射於右魚眼鏡頭的入射角,線段
Figure 107100884-A0305-02-0014-21
為線段
Figure 107100884-A0305-02-0014-22
在鏡頭平面上的投影線,而基線
Figure 107100884-A0305-02-0014-23
與投影線
Figure 107100884-A0305-02-0014-24
之間的夾角φ r 則可視為物體T相對於魚眼中心Or的方位角。
基於前述的方位角φ l φ r 、入射角θ l θ r 以及基線距離B,物體T的三維座標為(x,y,z)可利用下列公式推得:
Figure 107100884-A0305-02-0015-25
Figure 107100884-A0305-02-0015-26
;以及
Figure 107100884-A0305-02-0015-35
藉由上述方法,本實施例的影像擷取裝置10即可在不進行魚眼校正的情況下,實現所攝物體的三維座標計算,且其所拍攝範圍相較於傳統鏡頭更廣。
需說明的是,在上述實施例中,影像擷取裝置的兩個魚眼鏡頭的光軸預設為平行。而在其他實施例中,兩個魚眼鏡頭的光軸也可不平行,即兩個魚眼鏡頭的光軸之間具有夾角。此夾角愈大,代表兩個魚眼鏡頭視野所涵蓋的範圍愈大,可支援物體位置偵測的角度也愈大。
基於人眼感受深度的範圍有限,但對於兩側物體的感受較為明顯。本發明一實施例的影像擷取裝置是採用光軸不平行的兩個魚眼鏡頭,其光軸之間的夾角將使得兩個魚眼鏡頭的視野包括重疊區域及非重疊區域。其中,當有物體出現在重疊區域時,影像擷取裝置即可根據前述實施例所計算的第一方位角、第二方位角、第一入射角、第二入射角以及基線距離,利用三角函數計算此物體的三維座標。而當有物體出現在非重疊區域時,影像擷取裝置則可根據第一方位角、第二方位角、第一入射角、第二入射角以及基線距離,利用三角函數計算此物體的二維座標。其中, 雖然位於非重疊區域中的物體會因為只被一個魚眼鏡頭拍攝到,因此無法計算出深度。但由於物體的二維座標仍可被計算出,因此仍有助於對位於視野邊緣的物體進行定位。
綜上所述,本發明的利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置依據物體在雙魚眼鏡頭所拍攝影像中的位置,分別計算出物體發光進入魚眼鏡頭的入射角以及物體在鏡頭平面上的方位角,進而計算出物體於空間中的三維座標。藉此,本發明實施例可在不進行幾何轉換的情況下,實現所攝物體的三維座標計算,且可在增加偵測範圍的同時,減少偵測物體所需的運算量。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S202~S210‧‧‧本發明一實施例之利用雙魚眼影像計算所攝物體座標的方法步驟

Claims (8)

  1. 一種利用雙魚眼影像計算所攝物體座標的方法,適用於具有第一魚眼鏡頭及第二魚眼鏡頭的影像擷取裝置,其中所述第一魚眼鏡頭及所述第二魚眼鏡頭之間具有基線距離,所述方法包括下列步驟:利用所述第一魚眼鏡頭及所述第二魚眼鏡頭分別擷取包括一物體的第一魚眼影像及第二魚眼影像;偵測所述物體在所述第一魚眼影像及所述第二魚眼影像中的第一座標及第二座標;根據所述第一座標及所述第二座標,計算所述物體在所述第一魚眼鏡頭及所述第二魚眼鏡頭的影像感測器平面上相對於所述第一魚眼影像及所述第二魚眼影像的魚眼中心的第一方位角及第二方位角,其中所述第一方位角及所述第二方位角為所述第一魚眼鏡頭及所述第二魚眼鏡頭之間的基線與所述物體在所述影像感測器平面上的投影點之間的夾角;利用所述第一魚眼鏡頭及所述第二魚眼鏡頭的鏡頭曲線,分別將所述第一座標與所述第一魚眼影像的魚眼中心的第一距離以及所述第二座標與所述第二魚眼影像的魚眼中心的第二距離轉換為第一入射角及第二入射角;以及根據所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述基線距離,利用三角函數計算所述物體於空間中的三維座標, 其中假設所述第一方位角為φ l 、所述第二方位角為φ r 、所述第一入射角為θ l 、所述第二入射角為θ r 以及所述基線距離為B,所述物體的三維座標為(x,y,z),其中
    Figure 107100884-A0305-02-0019-28
    Figure 107100884-A0305-02-0019-29
    ;以及
    Figure 107100884-A0305-02-0019-30
  2. 如申請專利範圍第1項所述的方法,其中所述物體包括發光裝置,而偵測所述物體在所述第一魚眼影像及所述第二魚眼影像中的所述第一座標及所述第二座標的步驟包括:分別偵測所述第一魚眼影像及所述第二魚眼影像中亮度或顏色分量大於預設值的多個像素,而以所述像素所形成區域的中心或重心在所述第一魚眼影像及所述第二魚眼影像中的座標作為所述第一座標及所述第二座標。
  3. 如申請專利範圍第2項所述的方法,其中所述物體所發出的光在所述第一魚眼鏡頭上的入射角與所述光在所述第一魚眼鏡頭的影像感測器上的投影半徑呈正比,以及所述物體所發出的光在所述第二魚眼鏡頭上的入射角與所述光在所述第二魚眼鏡頭的影像感測器上的投影半徑呈正比。
  4. 如申請專利範圍第1項所述的方法,其中所述第一魚眼鏡頭的光軸及所述第二魚眼鏡頭的光軸具有一夾角,使得所述 第一魚眼鏡頭的視野與所述第二魚眼鏡頭的視野包括重疊區域及非重疊區域,其中當所述物體出現在所述重疊區域時,根據所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述基線距離,利用三角函數計算所述物體於空間中的所述三維座標;以及當所述物體出現在所述非重疊區域時,根據所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述基線距離,利用三角函數計算所述物體的二維座標。
  5. 一種影像擷取裝置,包括:第一魚眼鏡頭;第二魚眼鏡頭,與所述第一魚眼鏡頭之間具有基線距離;儲存裝置,儲存多個模組;處理器,耦接所述第一魚眼鏡頭、所述第二魚眼鏡頭及所述儲存裝置,存取並執行儲存於所述儲存裝置中的所述模組,所述模組包括:影像擷取模組,利用所述第一魚眼鏡頭及所述第二魚眼鏡頭分別擷取包括一物體的第一魚眼影像及第二魚眼影像;物體偵測模組,偵測所述物體在所述第一魚眼影像及所述第二魚眼影像中的第一座標及第二座標;方位角計算模組,根據所述第一座標及所述第二座標,計算所述物體在所述第一魚眼鏡頭及所述第二魚眼鏡頭的影像感測器平面上相對於所述第一魚眼影像及所述第二魚眼影像的魚眼中 心的第一方位角及第二方位角,其中所述第一方位角及所述第二方位角為所述第一魚眼鏡頭及所述第二魚眼鏡頭之間的基線與所述物體在所述影像感測器平面上的投影點之間的夾角;入射角計算模組,利用所述第一魚眼鏡頭及所述第二魚眼鏡頭的鏡頭曲線,分別將所述第一座標與所述第一魚眼影像的魚眼中心的第一距離以及所述第二座標與所述第二魚眼影像的魚眼中心的第二距離轉換為第一入射角及第二入射角;以及座標計算模組,根據所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述基線距離,利用三角函數計算所述物體於空間中的三維座標,其中假設所述第一方位角為φ l 、所述第二方位角為φ r 、所述第一入射角為θ l 、所述第二入射角為θ r 以及所述基線距離為B,所述物體的三維座標為(x,y,z),其中
    Figure 107100884-A0305-02-0021-31
    Figure 107100884-A0305-02-0021-32
    ;以及
    Figure 107100884-A0305-02-0021-33
  6. 如申請專利範圍第5項所述的影像擷取裝置,其中所述物體包括發光裝置,而所述物體偵測模組包括分別偵測所述第一魚眼影像及所述第二魚眼影像中亮度或顏色分量大於預設值的多個像素,而以所述像素所形成區域的中心或重心在所述第一魚 眼影像及所述第二魚眼影像中的座標作為所述第一座標及所述第二座標。
  7. 如申請專利範圍第6項所述的影像擷取裝置,其中所述物體所發出的光在所述第一魚眼鏡頭上的入射角與所述光在所述第一魚眼鏡頭的影像感測器上的投影半徑呈正比,以及所述物體所發出的光在所述第二魚眼鏡頭上的入射角與所述光在所述第二魚眼鏡頭的影像感測器上的投影半徑呈正比。
  8. 如申請專利範圍第5項所述的影像擷取裝置,其中所述第一魚眼鏡頭的光軸及所述第二魚眼鏡頭的光軸具有一夾角,使得所述第一魚眼鏡頭的視野與所述第二魚眼鏡頭的視野包括重疊區域及非重疊區域,其中當所述物體出現在所述重疊區域時,所述座標計算模組包括根據所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述基線距離,利用三角函數計算所述物體於空間中的所述三維座標;以及當所述物體出現在所述非重疊區域時,所述座標計算模組包括根據所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述基線距離,利用三角函數計算所述物體的二維座標。
TW107100884A 2017-10-24 2018-01-10 利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置 TWI725279B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107100884A TWI725279B (zh) 2018-01-10 2018-01-10 利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置
US16/164,810 US10762658B2 (en) 2017-10-24 2018-10-19 Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107100884A TWI725279B (zh) 2018-01-10 2018-01-10 利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置

Publications (2)

Publication Number Publication Date
TW201931304A TW201931304A (zh) 2019-08-01
TWI725279B true TWI725279B (zh) 2021-04-21

Family

ID=68315885

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107100884A TWI725279B (zh) 2017-10-24 2018-01-10 利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置

Country Status (1)

Country Link
TW (1) TWI725279B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI784754B (zh) * 2021-04-16 2022-11-21 威盛電子股份有限公司 電子裝置以及物件偵測方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233280A1 (en) * 2003-05-19 2004-11-25 Honda Motor Co., Ltd. Distance measurement apparatus, distance measurement method, and distance measurement program
CN101650891A (zh) * 2008-08-12 2010-02-17 三星电子株式会社 创建3维网络地图的方法和控制自动行进设备的方法
TWI356186B (en) * 2003-07-03 2012-01-11 Physical Optics Corp Panoramic video system with real-time distortion-f
TWI558208B (zh) * 2015-07-14 2016-11-11 旺玖科技股份有限公司 影像處理方法、影像處理裝置及顯示系統

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233280A1 (en) * 2003-05-19 2004-11-25 Honda Motor Co., Ltd. Distance measurement apparatus, distance measurement method, and distance measurement program
TWI356186B (en) * 2003-07-03 2012-01-11 Physical Optics Corp Panoramic video system with real-time distortion-f
CN101650891A (zh) * 2008-08-12 2010-02-17 三星电子株式会社 创建3维网络地图的方法和控制自动行进设备的方法
TWI558208B (zh) * 2015-07-14 2016-11-11 旺玖科技股份有限公司 影像處理方法、影像處理裝置及顯示系統

Also Published As

Publication number Publication date
TW201931304A (zh) 2019-08-01

Similar Documents

Publication Publication Date Title
JP6299983B2 (ja) 複数の光源を有するモーションセンサ装置
WO2020088133A1 (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP6302414B2 (ja) 複数の光源を有するモーションセンサ装置
JP6556013B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
CN110934572A (zh) 体温监测方法及装置、可读存储介质
JP5843454B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10212353B2 (en) Display control apparatus and method of controlling display control apparatus
US10298858B2 (en) Methods to combine radiation-based temperature sensor and inertial sensor and/or camera output in a handheld/mobile device
KR20150085710A (ko) 디스플레이 장치 및 그 제어 방법
US10762658B2 (en) Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images
TWI725279B (zh) 利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置
CN107563329A (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN107454335A (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN110021044B (zh) 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置
TWI646506B (zh) 利用魚眼影像計算所攝物體座標的方法及影像擷取裝置
JP2019009643A (ja) 画像処理装置、画像処理方法およびプログラム
TW202001792A (zh) 用於偵測在一視訊序列中之移動之方法
CN109696122A (zh) 利用鱼眼影像计算所摄物体坐标的方法及影像获取装置
TWI520100B (zh) 自由空間定位方法及系統
CN108701364B (zh) 台球位置确定方法、台球位置确定装置及电子设备
TW201642008A (zh) 影像擷取裝置及其動態對焦方法
JP7200002B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
JP7309425B2 (ja) 処理装置、処理システム、撮像装置、処理方法、および、プログラム
JP7439784B2 (ja) 画像処理装置および画像処理方法
JP2009270893A (ja) 位置計測装置、位置計測方法およびプログラム