TWI792381B - 影像擷取裝置及其深度資訊計算方法 - Google Patents

影像擷取裝置及其深度資訊計算方法 Download PDF

Info

Publication number
TWI792381B
TWI792381B TW110124133A TW110124133A TWI792381B TW I792381 B TWI792381 B TW I792381B TW 110124133 A TW110124133 A TW 110124133A TW 110124133 A TW110124133 A TW 110124133A TW I792381 B TWI792381 B TW I792381B
Authority
TW
Taiwan
Prior art keywords
image
mode
processing unit
target point
depth information
Prior art date
Application number
TW110124133A
Other languages
English (en)
Other versions
TW202238073A (zh
Inventor
鄭智謙
呂巧文
林明華
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Publication of TW202238073A publication Critical patent/TW202238073A/zh
Application granted granted Critical
Publication of TWI792381B publication Critical patent/TWI792381B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Abstract

本發明揭露一種影像擷取裝置及其深度資訊計算方法。深度資訊計算方法包括:藉由一立體相機模組,獲取一影像資訊;以及藉由一處理單元根據一使用情境決一重投影模式,並根據該定重投影模式將該影像資訊轉換成對應該重投影模式的一深度資訊。重投影模式為一平面模式、一圓柱模式或一球模式,對應的顯示座標系統分別為平面座標系統、圓柱座標系統及球座標系統。

Description

影像擷取裝置及其深度資訊計算方法
本發明是有關於一種具有複數重投影模式之影像擷取裝置及其深度資訊計算方法。
立體相機是一種可以獲取景物及環境的深度資訊的影像擷取裝置。立體相機採用的技術例如飛時測距、三角視差測距及結構光測距。飛時測距是透過計算發射光與反射光到達之間的時間差獲得深度資訊。結構光測距是透過投射一定結構特徵的光線到被拍攝的物體上,再根據採集到的反射的結構光圖案,利用三角測量原理進行計算獲得深度資訊。三角視差測距是透過線性排列的二個鏡頭同時進行拍攝,並利用三角測量原理獲取深度資訊。然而,傳統的雙鏡頭相機計算深度資訊的方法通常只適用於重投影模式平面模式,而無法適用於其他非平面模式,例如圓柱模式及球模式。這將使得在非平面模式下計算深度資訊採用的卻是適用於平面模式的深度資訊計算方法。於是,計算得到的深度資訊可能是錯誤的。
本發明一實施例揭露一種影像擷取裝置,包括:一立體相機模組,用以獲取一影像資訊;以及一處理單元,耦接該立體相機模組,該處理單元根據一使用情境決定一重投影模式,並根據該重投影模式將該影像資訊轉換成對應該重投影模式的一深度資訊。重投影模式為一平面模式、一圓柱模式或一球模式,對應於平面模式的顯示座標系統為平面座標系統,對應於圓柱模式的顯示座標系統為圓柱座標系統,以及對應於球模式的顯示座標系統為球座標系統。重投影模式由處理單元根據一使用情境決定,或者由使用者手動選擇。
本發明另一實施例揭露一種影像擷取裝置的深度資訊計算方法,包括:藉由一立體相機模組,獲取一影像資訊以及藉由一處理單元根據一使用情境決定一重投影模式,並根據該重投影模式將該影像資訊轉換成對應該重投影模式的一深度資訊。重投影模式為一平面模式、一圓柱模式或一球模式。對應於平面模式的顯示座標系統為平面座標系統。對應於圓柱模式的顯示座標系統為圓柱座標系統。對應於球模式的顯示座標系統為球座標系統。
為了對本發明之上述及其他方面有更佳的瞭解,下文特舉實施例,並配合所附圖式詳細說明如下:
10:影像擷取裝置
102:第一鏡頭模組
104:第二鏡頭模組
106:儲存單元
108:處理單元
110:顯示單元
C:觀察點
BL:觀察線
T:目標點
S601~S604:步驟
第1圖繪示根據本發明一實施例的影像擷取裝置的示意圖。
第2圖繪示根據本發明一實施例的影像擷取裝置的系統方塊圖。
第3圖繪示平面模式的示意圖。
第4圖繪示圓柱模式的示意圖。
第5圖繪示球模式的示意圖。
第6圖繪示根據本發明一實施例的影像擷取裝置的深度資訊計算方法的流程圖。
本發明的影像擷取裝置包括一立體相機模組及一處理單元。立體相機模組用以獲取一影像資訊,而處理單元用以將影像資訊轉換成一深度資訊。影像擷取裝置採用的測距技術不同,立體相機模組也會有不同的硬體架構。在結構光測距的實施例中,立體相機模組可包括用以獲取景物的色彩及亮度等相關資訊的鏡頭、至少一光源及至少一反射光接收器,其中通過鏡頭、光源及反射光接收器獲取的所有資訊統稱為影像資訊。光源可包括多個發光二極體,用以產生多條光線以形成具有一特定結構的一發射光。反射光接收器用以接收發射光經過一物件反射的多條光線所形成具有一圖樣的一反射光。處理單元用以根據反射光的圖樣計算一深度資訊。在飛時測距的實施例中,立體相機模組可包括用以獲取景物的色彩及亮度等相關資訊的鏡頭、至少一光源及至少一反射光接收器,其中通過鏡頭、光源及反射光接收器獲取的所有資訊統稱為影像資訊。光源例如是發光二極體, 用以產生一發射光。反射光接收器用以接收發射光經過一物體反射的一反射光。處理單元根據發射發射光與接收到反射光之間的時間差獲得深度資訊。在三角視差測距的實施例中,立體相機模組包括一第一相機模組及一第二相機模組。第一影像模組及第二影像模組用以獲取影像資訊。處理單元再根據影像資訊產生深度資訊。無論立體相機使用何種測距技術,處理單元可根據一重投影模式將獲取的影像資訊投影至對應於重投影模式的一顯示座標系統。處理單元可從多個可允許的模式中決定一個做為重投影模式,每個可允許的模式皆有其對應的顯示座標系統。可允許的模式例如包括平面模式及非平面模式,其中非平面模式又可包括圓柱模式及球模式,而對應於平面模式、圓柱模式及球模式的座標系統分別為平面座標系統、圓柱座標系統及球座標系統。顯示座標系統屬於相對座標系統,或稱增量座標系統。處理單元可根據使用者的選擇或者自適應地決定重投影模式,而使得影像資訊呈現於較佳的增量座標系統之上。以下會以三角視差測距的實施例為例對本發明做進一步說明。
請參照第1圖及第2圖。第1圖繪示根據本發明一實施例的影像擷取裝置的示意圖。第2圖繪示根據本發明一實施例的影像擷取裝置10的系統方塊圖。本實施例顯示的是立體相機模組採用三角視差測距技術的實施例,或稱為雙眼相機。影像擷取裝置10包括一第一鏡頭模組102、一第二鏡頭模組104、一儲存單元106、一處理單元108以及一顯示單元110。第一鏡頭模組102朝向一第一方向。第二鏡頭模組104朝向一第二方向。在一實施例中,第一方向實質上相同於 第二方向。第一鏡頭模組102具有一光學中心(optical center)O1。第二鏡頭模組104具有一第二光學中心O2。第一光學中心O1與第二光學中心O2之間的距離被定義為第一鏡頭模組102與第二鏡頭模組104之間的距離(單位為長度單位例如公分或英吋等),以下稱為鏡頭距離b。第一鏡頭模組102用以擷取/獲取一第一影像。第二鏡頭模組104用以擷取/獲取一第二影像。第一影像及第二影像可統稱為影像資訊。第一鏡頭模組102與第二鏡頭模組104所使用的鏡頭類型可為任何適合的鏡頭類型,例如魚眼鏡頭、廣角鏡頭及標準鏡頭等。在本實施例中,第一鏡頭模組102與第二鏡頭模組104使用相同的鏡頭類型。在替代的實施例中,第一鏡頭模組102與第二鏡頭模組104也可以是不同的鏡頭類型。
儲存單元106可為非揮發性記憶體或非揮發性記憶體與揮發性記憶體之組合。儲存單元106可用以儲存韌體、元資料(metadata)、影像資料以及應用程式等。
處理單元108耦接至第一鏡頭模組102、第二鏡頭模組104以及儲存單元106。處理單元108可為通用目的處理器或專用的影像處理晶片,例如中央處理器(central processing unit,CPU)系統單晶片(system on chip,SoC)。處理單元108可包括多個集成電路組成的集合,並可搭配儲存於儲存單元106中的韌體、元資料及應用程式進行協作以實現運行及操作影像擷取裝置10所需的各種運算。處理單元108被配置以根據第一影像及第二影像產生一第三影像,其中第三影像可為二維影像。處理單元108可進一步根據一重投影模式將第三 影像顯示於顯示單元110。在一實施例中,重投影模式包括平面模式、圓柱模式以及球模式。此外,處理單元108還可用以計算對應於第四影像中的一目標點的一世界座標點與影像擷取裝置10(即相機位置)之間的一距離,此距離又稱為深度資訊。下文中將會對處理單元108所執行的運算進行詳細的說明。
在一實施例中,使用者可通過一使用者介面以手動選擇重投影模式。回應於使用者藉由使用者介面針對重投影模式的選擇,處理單元108將重投影模式設定為使用者所選擇的重投影模式,即平面模式、圓柱模式以及球模式的其中之一。在另一實施例中,處理單元108根據一操作情境決定重投影模式。舉例來說,影像擷取裝置10可裝設於車輛上,並且可藉由一通訊單元(未繪示)耦接至車輛的車用電腦。通過與車用電腦之間的訊號溝通,處理單元108可得知車輛的操作狀況,例如直線行駛、轉彎、倒車等,並將車輛的操作狀況做為使用情境以決定重投影模式。舉例來說,當車輛倒車時,處理單元108通過來自車用電腦的訊號得知使用情境為倒車,於是根據倒車的使用情境將重投影模式切換為平面模式;當處理單元108通過來自車用電腦的訊號得知操作狀況由倒車改為直線行駛,處理單元108根據使用情境為直線行駛,將重投影模式由平面模式切換至圓柱模式。處理單元108可預先決定好使用情境與各種重投影模式之間的對應關係,並將此對應關係以硬體、韌體或軟體的方式記載下來。例如,倒車對應於平面模式,直線行駛對應於圓柱模式,轉彎對應於球模式等。在一實施例中,可允許使用者手動變更使用情境與重投影模式之 間的對應關係。在一實施例中,重投影模式可預設為一第一投影模式,例如可預設為平面模式,處理單元可根據使用情境將重投影模式從第一投影模式切換至更適當的另一模式。同時,對應於第一投影模式的立體影像資訊也會隨之被轉換為對應於另一模式的立體影像資訊,並且計算深度資訊的算法亦會隨之改變。
換言之,重投影模式的切換可以是由使用者手動進行,或者是由處理單元108適應性自動調整。
顯示單元110耦接至處理單元108。顯示單元110可用以顯示第三影像以及經過重投影後所產生的第四影像。顯示單元110例如是液晶顯示器、發光二極體顯示器等,本發明不予以限定。在替代的實施例中,顯示單元是外接於影像擷取裝置,亦即影像擷取裝置可不包括顯示單元。
為了更清楚理解本發明,在此先針對影像擷取裝置10的原理進行說明。
首先說明的是座標系統。現實世界所使用的座標系統一般稱之為世界座標系統,屬於「絕對座標系統(absolute coordinate system)」。影像擷取裝置10藉由第一鏡頭模組102與第二鏡頭模組104對現實世界進行拍攝而獲得第三影像,第三影像所使用的座標系統在此稱為影像座標系統,屬於「相對座標系統(relative coordinate system)」。數學上,影像座標系統與世界座標系統之間可通過一轉換矩陣相互轉換,具體的轉換方式屬於本領域中的通常知識,例如可參考關於理想針孔成像的數學推導,在此不贅述。基於世界座標系統 與影像座標系統之間可相互轉換的特性,第三影像中的一特定點/像素可對應至世界座標系統中特定的一世界座標點。第四影像是處理單元108將第三影像投影至一顯示座標系統而產生,其中顯示座標系統亦屬於「相對座標系統」。顯示座標系統會隨著所選擇的重投影模式而改變。如前文所述,重投影模式包括平面模式、圓柱模式及球模式,對應到的顯示座標系統分別是平面座標系統、圓柱座標系統及球座標系統。不同顯示座標系統下呈現的第四影像在視覺上會有所差異。類似於世界座標系統與影像座標系統之間的轉換,影像座標系統與顯示座標系統之間的轉換亦可根據對應的轉換矩陣來完成,屬於本領域的通常知識,在此不贅述。此外,顯示座標系統之間也可相互轉換,例如平面座標系統轉換為圓柱座標系統、圓柱座標系統轉換為球座標系統等。也就是說,隨著重投影模式改變,顯示座標系統也可隨之對應轉換。
光學中心O1與光學中心O2的連線的中心點被定義為影像擷取裝置10的位置,以下稱為相機位置。相機位置對應至重投影後的顯示座標系統稱為觀察點。光學中心O1與光學中心O2的連線及其延伸被定義為一基準線。基準線對應在重投影後的顯示座標系統中稱為觀察線BL。
請參照第3圖,第3圖繪示平面模式的示意圖。對應於平面座標系統中第四影像的目標點T的世界座標點與相機位置之間的距離等同於觀察線BL所在平面與目標點T所在且平行於觀察線BL所在平面的平面之間的垂直距離Z1。
在計算距離Z1之前,處理單元108會計算對應於目標點T的視差(disparity)參數d。詳細來說,如同人類的雙眼,第一鏡頭模組102與第二鏡頭模組104的視野範圍(field of view,FOV)內的景物實際上略有不同。因此,特定的世界座標點所對應的第一影像與第二影像中的兩個點之間包括座標在內的一些參數會存在差異,此些參數可能包括亮度值、飽和度值、RGB值等。處理單元108可透過分析此些參數的差異計算出對應於特定的世界座標點的視差參數。由於世界座標系統、影像座標系統及顯示座標系統之間存在轉換關係,計算目標點T的視差參數等同於計算對應於目標點T的世界座標點的視差參數,也等同於計算第三影像中對應於目標點T的一第三點的視差參數。因此,對應於目標點T的視差參數可根據第一影像中對應於目標點T的一第一點與第二影像中對應於目標點T的一第二點之間的一或多個特徵的差異計算而得。特徵可包括亮度值、飽和度值、RGB值、紋理、邊緣等。視差參數d的具體計算方式取決於所採用的演算法。在一實施例中,處理單元108在產生第三影像時,會根據第一影像與第二影像的紋理、邊緣等特徵進行影像匹配,當第一影像中某一點與第二影像中某一點之間的特徵差異經過計算小於與第二影像中其他點的特徵差異時,第一影像與第二影像中的此二點會被認為是對應到同一個世界座標點,也就是會對應到第三影像中的同一點,在此過程中視差參數也可根據特徵差異被計算出來。得到的視差參數d的單位為像素。需要注意的是,現有的計算視差參數的演算法皆可適用於本發明。
接著,處理單元108根據對應於目標點T的視差參數d、對應於水平視角的焦距f1(單位為像素)以及鏡頭距離b計算距離Z1,所謂的水平視角指平行於觀察線BL所在平面的方向的視角,即垂直於第一鏡頭模組102的光軸與第二鏡頭模組104的光軸的平面的方向的視角。具體的公式為Z1=f1*b/d。在一實施例中,對應於水平視角的焦距f1可在影像擷取裝置10出廠前藉由測試與校正取得,並且可儲存於儲存單元106或處理單元108中。
請參照第4圖,第4圖繪示圓柱模式的示意圖。對應於圓柱座標系統中第四影像的目標點T的世界座標點與相機位置之間的距離等同於觀察線BL與目標點T所在的圓柱面之間的垂直距離Z2(也就是該圓柱體的半徑),其中觀察線BL穿過圓柱體的圓心並且軸向延伸。處理單元108根據對應於目標點T的視差參數d、對應於垂直視角的焦距f2(單位為像素)及鏡頭距離b計算距離Z2。所謂垂直視角是指垂直於第一鏡頭模組102的光軸與第二鏡頭模組104的光軸的方向的視角。具體的公式為Z2=f2*b/d。在一實施例中,對應於垂直視角的焦距f2可在影像擷取裝置10出廠前藉由測試與校正取得,並且可儲存於儲存單元106或處理單元108中。在一實施例中,對應於垂直視角的焦距f2的計算方式如下:設定第一鏡頭模組102反投影於第一影像中的角度(處理單元108可允許的角度極限為180度),再將垂直視角代入公式計算。具體的公式為f2=(影像解析度的寬/2)/tan(投影角度設定/2*180/PI),其中影像解析度角度設定的單位為像素,PI為圓周率。
請參照第5圖,第5圖繪示球模式的示意圖。對應於球座標系統中第四影像的目標點T的世界座標點與相機位置之間的距離等同於觀察線BL與目標點T的垂直距離Z3,其中觀察點位於球心,觀察線BL穿過球體的球心並且軸向延伸。處理單元108根據對應於目標點T的視差參數d、像素對角度轉換函數p2a(x)、一夾角θ及鏡頭距離b計算距離Z3,其中夾角θ為目標點T與觀察線BL之間的一垂直線與目標點T與觀察點(球心)之間連線的夾角。像素對角度函數p2a(x)可將像素根據一特定比例轉換為角度。夾角θ可根據像素對角度轉換函數的特定比例而得到計算得到。舉例來說,若將180度分配給1280個像素,則p2a(x)中的特定比例為180/1280,於是只要知道像素的數量,將像素的數量乘以180/1280即為角度。具體的公式為Z3=b/tan(θ)-tan(θ-p2a(d))。在一實施例中,像素對角度轉換函數可儲存於處理單元108或儲存單元106中。
基於上述內容,本發明提出的深度資訊計算方法可歸總為包括:藉由一立體相機模組獲取一影像資訊;以及藉由一處理單元根據一使用情境決定一重投影模式,並根據重投影模式將影像資訊轉換成對應重投影模式的一深度資訊。以下以影像擷取裝置10為例對深度資訊計算方法做進一步的說明。
請參照第6圖,第6圖繪示根據本發明一實施例的影像擷取裝置的深度資訊計算方法的流程圖。本深度計算方法例如是由影像擷取裝置10執行。
步驟S601中,藉由第一鏡頭模組獲取一第一影像,藉由第二鏡頭模組獲取一第二影像。
步驟S602中,處理單元根據第一影像及第二影像產生一第三影像。
步驟S603中,處理單元根據重投影模式將第三影像投影至對應於重投影模式的座標系統,以產生第四影像。重投影模式可為平面模式、圓柱模式或球模式,對應的座標系統分別為平面座標系統、圓柱座標系統以急求座標系統。
步驟S604中,處理單元108根據重投影模式選擇對應於重投影模式的算法計算對應於第四影像中的目標點的深度資訊(相當於計算對應於目標點的世界座標點與相機位置之間的距離)。平面模式、圓柱模式及球模式下的具體的深度資訊算法可參考前文針對第3、4及5圖的說明。
傳統上,無論重投影模式為何,處理單元只會使用平面模式下的深度資訊算法來計算第四影像中的目標點的深度資訊。這使得當重投影模式為非平面模式時計算得到的目標點的深度資訊可能會是錯誤的。然後,藉由本發明提出的影像擷取裝置及其深度資訊計算方法,能夠根據重投影模式的不同,適應性地調整計算深度資訊的算法。如此一來,可以避免在非平面模式下使用平面模式的算法算出錯誤的深度資訊。
綜上所述,雖然本發明已以實施例揭露如上,然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者,在不脫 離本發明之精神和範圍內,當可作各種之更動與潤飾。因此,本發明之保護範圍當視後附之申請專利範圍所界定者為準。
S601~S604:步驟

Claims (12)

  1. 一種影像擷取裝置,包括:一立體相機模組,用以獲取一影像資訊,該立體相機模組包括:一第一鏡頭模組,用以獲取一第一影像;及一第二鏡頭模組,用以獲取一第二影像;以及一處理單元,耦接該立體相機模組,該處理單元根據一使用情境決定一重投影模式,並根據該重投影模式將該影像資訊轉換成對應該重投影模式的一深度資訊;其中該重投影模式為一圓柱模式,對應於該圓柱模式的一顯示座標系統為圓柱座標系統,該處理單元根據對應於一目標點的一視差參數、一鏡頭距離及對應於垂直視角的一焦距計算對應於該深度資訊,該視差參數係該處理單元根據第一影像中對應於該目標點的一第一點與該第二影像中對應於該目標點的一第二點的一或多個特徵值差異計算而得,該鏡頭距離係該第一鏡頭模組的一第一光學中心與該第二鏡頭模組的一第二光學中心之間的距離。
  2. 如請求項1所述之影像擷取裝置,其中該深度資訊等於f*b/d,f為對應於垂直視角的該焦距,b為該鏡頭距離,以及d為該視差參數。
  3. 一種影像擷取裝置,包括:一立體相機模組,用以獲取一影像資訊,該立體相機模組包括:一第一鏡頭模組,用以獲取一第一影像;及一第二鏡頭模組,用以獲取一第二影像;以及一處理單元,耦接該立體相機模組,該處理單元根據一使用情境決定一重投影模式,並根據該重投影模式將該影像資訊轉換成對應該重投影模式的一深度資訊;其中該重投影模式為一球模式,對應於該球模式的一顯示座標系統為球座標系統,該處理單元根據對應於該目標點的一視差參數、一鏡頭距離、一像素對角度的轉換函數及一夾角計算對應於該目標點的該深度資訊,該視差參數係該處理單元根據第一影像中對應於該目標點的一第一點與該第二影像中對應於該目標點的一第二點的一或多個特徵值差異計算而得,該鏡頭距離係該第一鏡頭模組的一第一光學中心與該第二鏡頭模組的一第二光學中心之間的距離,該夾角係該目標點與一觀察線之間的連線與該目標點與一觀察點之間連線所夾的角度。
  4. 如請求項3所述之影像擷取裝置,其中該深度資訊等於b/tan(θ)-tan(θ-p2a(d)),b為該鏡頭距離,p2a(d)為將該視差參數代入該像素對角度的轉換函數的值,θ為該夾角。
  5. 一種影像擷取裝置,包括:一立體相機模組,用以獲取對應一第一投影模式的一立體影像資訊;以及一處理單元,耦接該立體相機模組,該處理單元根據一使用情境決定一重投影模式,並根據該重投影模式將該立體影像資訊轉換成對應該重投影模式的一深度資訊;其中該重投影模式為一圓柱模式,對應於該圓柱模式的一顯示座標系統為圓柱座標系統,該處理單元根據對應於一目標點的一視差參數、一鏡頭距離及對應於垂直視角的一焦距計算對應於該目標點的該深度資訊,該視差參數係該處理單元根據第一影像中對應於該目標點的一第一點與該第二影像中對應於該目標點的一第二點的一或多個特徵值差異計算而得,該鏡頭距離係該第一鏡頭模組的一第一光學中心與該第二鏡頭模組的一第二光學中心之間的距離。
  6. 如請求項5所述之影像擷取裝置,其中該深度資訊等於f*b/d,f為對應於垂直視角的該焦距,b為該鏡頭距離,以及d為該視差參數。
  7. 一種影像擷取裝置,包括:一立體相機模組,用以獲取對應一第一投影模式的一立體影像資訊;以及 一處理單元,耦接該立體相機模組,該處理單元根據一使用情境決定一重投影模式,並根據該重投影模式將該立體影像資訊轉換成對應該重投影模式的一深度資訊;其中該重投影模式為一球模式,對應於該球模式的一顯示座標系統為球座標系統,該處理單元根據對應於一目標點的一視差參數、一鏡頭距離、一像素對角度的轉換函數及一夾角計算對應於該目標點的該深度資訊,該視差參數係該處理單元根據第一影像中對應於該目標點的一第一點與該第二影像中對應於該目標點的一第二點的一或多個特徵值差異計算而得,該鏡頭距離係該第一鏡頭模組的一第一光學中心與該第二鏡頭模組的一第二光學中心之間的距離,該夾角係該目標點與一觀察線之間的連線與該目標點與一觀察點之間連線所夾的角度。
  8. 如請求項7所述之影像擷取裝置,其中該深度資訊等於b/tan(θ)-tan(θ-p2a(d)),b為該鏡頭距離,p2a(d)為將該視差參數代入該像素對角度的轉換函數的值,θ為該夾角。
  9. 一種深度資訊計算方法,包括下列步驟:藉由一立體相機模組,獲取一影像資訊,包括:利用該立體相機模組的一第一鏡頭模組,獲取一第一影像;及 利用該立體相機模組的一利用該一第二鏡頭模組,獲取一第二影像;以及藉由一處理單元根據一使用情境決定一重投影模式,並根據該重投影模式將該影像資訊轉換成對應該重投影模式的一深度資訊;其中該重投影模式為一圓柱模式,對應於該圓柱模式的一顯示座標系統為圓柱座標系統,該處理單元根據對應於一目標點的一視差參數、一鏡頭距離及對應於垂直視角的一焦距計算對應於該目標點的該深度資訊,該視差參數係該處理單元根據第一影像中對應於該目標點的一第一點與該第二影像中對應於該目標點的一第二點的一或多個特徵值差異計算而得,該鏡頭距離係該第一鏡頭模組的一第一光學中心與該第二鏡頭模組的一第二光學中心之間的距離。
  10. 如請求項9所述之深度資訊計算方法,其中該深度資訊等於f*b/d,f為對應於垂直視角的該焦距,b為該鏡頭距離,以及d為該視差參數。
  11. 一種深度資訊計算方法,包括下列步驟:藉由一立體相機模組,獲取一影像資訊,包括:利用該立體相機模組的一第一鏡頭模組,獲取一第一影像;及 利用該立體相機模組的一利用該一第二鏡頭模組,獲取一第二影像;以及藉由一處理單元根據一使用情境決定一重投影模式,並根據該重投影模式將該影像資訊轉換成對應該重投影模式的一深度資訊;其中該重投影模式為一球模式,對應於該球模式的一顯示座標系統為球座標系統,該處理單元根據對應於一目標點的一視差參數、一鏡頭距離、一像素對角度的轉換函數及一夾角計算對應於該目標點的該深度資訊,該視差參數係該處理單元根據第一影像中對應於該目標點的一第一點與該第二影像中對應於該目標點的一第二點的一或多個特徵值差異計算而得,該鏡頭距離係該第一鏡頭模組的一第一光學中心與該第二鏡頭模組的一第二光學中心之間的距離,該夾角係該目標點與一觀察線之間的連線與該目標點與一觀察點之間連線所夾的角度。
  12. 如請求項11所述之深度資訊計算方法,其中該深度資訊等於b/tan(θ)-tan(θ-p2a(d)),b為該鏡頭距離,p2a(d)為將該視差參數代入該像素對角度的轉換函數的值,θ為該夾角。
TW110124133A 2021-03-25 2021-06-30 影像擷取裝置及其深度資訊計算方法 TWI792381B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163165743P 2021-03-25 2021-03-25
US63/165,743 2021-03-25

Publications (2)

Publication Number Publication Date
TW202238073A TW202238073A (zh) 2022-10-01
TWI792381B true TWI792381B (zh) 2023-02-11

Family

ID=83365199

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110124133A TWI792381B (zh) 2021-03-25 2021-06-30 影像擷取裝置及其深度資訊計算方法

Country Status (2)

Country Link
US (1) US11778157B2 (zh)
TW (1) TWI792381B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751664A (zh) * 2008-12-02 2010-06-23 奇景光电股份有限公司 立体深度资讯的产生系统及产生方法
CN101751661A (zh) * 2008-12-01 2010-06-23 奇景光电股份有限公司 深度相关的影像加强系统及方法
CN101833758A (zh) * 2009-03-09 2010-09-15 奇景光电股份有限公司 单视场深度估算方法及系统
TW201447228A (zh) * 2013-06-05 2014-12-16 Nat Univ Chung Cheng 環境深度量測方法及其影像擷取裝置
TW201608872A (zh) * 2014-06-09 2016-03-01 豪威科技股份有限公司 用於獲得影像深度資訊之系統及方法
TW201817215A (zh) * 2016-10-19 2018-05-01 財團法人工業技術研究院 影像掃描系統及其方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
US6023588A (en) * 1998-09-28 2000-02-08 Eastman Kodak Company Method and apparatus for capturing panoramic images with range data
JP3938559B2 (ja) * 2003-08-28 2007-06-27 アイシン精機株式会社 車両後退支援装置
KR101235273B1 (ko) * 2005-07-07 2013-02-20 삼성전자주식회사 다수의 투명한 플렉시블 디스플레이 패널을 이용한 체적형3차원 디스플레이 시스템
TWI303782B (en) * 2006-03-10 2008-12-01 Sony Taiwan Ltd An optimized video stitching mehtod for asic implementation
WO2008053649A1 (fr) * 2006-11-02 2008-05-08 Konica Minolta Holdings, Inc. Procédé d'acquisition d'image grand angle et dispositif d'appareil photographique stéréo grand angle
US9288476B2 (en) * 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9418475B2 (en) * 2012-04-25 2016-08-16 University Of Southern California 3D body modeling from one or more depth cameras in the presence of articulated motion
JP5846549B1 (ja) * 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
US10269257B1 (en) * 2015-08-11 2019-04-23 Gopro, Inc. Systems and methods for vehicle guidance
AU2015275255A1 (en) * 2015-12-22 2017-07-06 Canon Kabushiki Kaisha Multi-projector alignment refinement
CN105931240B (zh) * 2016-04-21 2018-10-19 西安交通大学 三维深度感知装置及方法
US10885650B2 (en) * 2017-02-23 2021-01-05 Eys3D Microelectronics, Co. Image device utilizing non-planar projection images to generate a depth map and related method thereof
JP2018147450A (ja) * 2017-03-09 2018-09-20 オムロン株式会社 モード切替制御装置、モード切替制御システム、モード切替制御方法およびプログラム
JP6969121B2 (ja) * 2017-03-17 2021-11-24 株式会社リコー 撮像システム、画像処理装置および画像処理プログラム
US10535138B2 (en) * 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
KR20200049958A (ko) * 2018-10-29 2020-05-11 삼성전자주식회사 3차원 깊이 측정 장치 및 방법
CN109544618B (zh) * 2018-10-30 2022-10-25 荣耀终端有限公司 一种获取深度信息的方法及电子设备
US11237572B2 (en) * 2018-12-27 2022-02-01 Intel Corporation Collision avoidance system, depth imaging system, vehicle, map generator and methods thereof
US10917565B1 (en) * 2019-03-08 2021-02-09 Gopro, Inc. Image capture device with a spherical capture mode and a non-spherical capture mode
US11561085B2 (en) * 2019-06-05 2023-01-24 Qualcomm Incorporated Resolving multipath interference using a mixed active depth system
CN114423355A (zh) * 2019-09-23 2022-04-29 波士顿科学医学有限公司 用于内窥镜视频增强、定量和手术引导的系统和方法
US11080923B2 (en) * 2019-12-11 2021-08-03 Msg Entertainment Group, Llc Position-based media pipeline for volumetric displays

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751661A (zh) * 2008-12-01 2010-06-23 奇景光电股份有限公司 深度相关的影像加强系统及方法
CN101751664A (zh) * 2008-12-02 2010-06-23 奇景光电股份有限公司 立体深度资讯的产生系统及产生方法
CN101833758A (zh) * 2009-03-09 2010-09-15 奇景光电股份有限公司 单视场深度估算方法及系统
TW201447228A (zh) * 2013-06-05 2014-12-16 Nat Univ Chung Cheng 環境深度量測方法及其影像擷取裝置
TW201608872A (zh) * 2014-06-09 2016-03-01 豪威科技股份有限公司 用於獲得影像深度資訊之系統及方法
TW201817215A (zh) * 2016-10-19 2018-05-01 財團法人工業技術研究院 影像掃描系統及其方法

Also Published As

Publication number Publication date
TW202238073A (zh) 2022-10-01
US11778157B2 (en) 2023-10-03
US20220311985A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
US9807371B2 (en) Depth perceptive trinocular camera system
JP4852591B2 (ja) 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
WO2019100933A1 (zh) 用于三维测量的方法、装置以及系统
JP6456156B2 (ja) 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
JP6786225B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2010113720A (ja) 距離情報を光学像と組み合わせる方法及び装置
CN106709865B (zh) 一种深度图像合成方法及装置
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
JP2010276433A (ja) 撮像装置、画像処理装置及び距離計測装置
Hata et al. Cs231a course notes 1: Camera models
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
JP2009174854A (ja) 測距用画像選択機能を有する測距装置
TWI792381B (zh) 影像擷取裝置及其深度資訊計算方法
JPH08242469A (ja) 撮像カメラ装置
US20190340771A1 (en) Method for detecting motion in a video sequence
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
Zhang et al. Virtual image array generated by Risley prisms for three-dimensional imaging
US10979633B1 (en) Wide view registered image and depth information acquisition
CN109945840B (zh) 三维影像摄取方法及系统
KR101632069B1 (ko) 양안 기반에서 굴절 매질을 이용한 깊이 지도 생성 방법 및 장치
TWI725620B (zh) 全向立體視覺的相機配置系統及相機配置方法
CN111080689B (zh) 确定面部深度图的方法和装置