TW201605225A - 產生深度影像之方法及其系統及電腦程式產品 - Google Patents

產生深度影像之方法及其系統及電腦程式產品 Download PDF

Info

Publication number
TW201605225A
TW201605225A TW103124881A TW103124881A TW201605225A TW 201605225 A TW201605225 A TW 201605225A TW 103124881 A TW103124881 A TW 103124881A TW 103124881 A TW103124881 A TW 103124881A TW 201605225 A TW201605225 A TW 201605225A
Authority
TW
Taiwan
Prior art keywords
image
depth
feature
search
target point
Prior art date
Application number
TW103124881A
Other languages
English (en)
Other versions
TWI528783B (zh
Inventor
徐敏堂
陳昱均
Original Assignee
由田新技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 由田新技股份有限公司 filed Critical 由田新技股份有限公司
Priority to TW103124881A priority Critical patent/TWI528783B/zh
Priority to CN201410386122.9A priority patent/CN105279736A/zh
Publication of TW201605225A publication Critical patent/TW201605225A/zh
Application granted granted Critical
Publication of TWI528783B publication Critical patent/TWI528783B/zh

Links

Abstract

一種產生深度影像之方法。首先,透過位於不同位置的一第一影像擷取裝置與一第二影像擷取裝置,擷取一目標場景,並產生一第一影像與一第二影像。接著,沿著Y軸方向取樣該第一影像與該第二影像,產生一第一特徵影像與一第二特徵影像,並且沿著X軸方向取樣該第一特徵影像與該第二特徵影像,以產生一第三特徵影像與一第四特徵影像。其次,搜尋該第三特徵影像之一目標點相對於該第四特徵影像之一對應點之位置,其中該目標點有一搜尋範圍。之後,依據該目標點及其相對之該對應點之位置計算一深度資訊,得到一第一深度影像與一第二深度影像。接著,依據該第一深度影像與該第二深度影像,產生一第三深度影像。

Description

產生深度影像之方法及其系統及電腦程式產品
本發明係有關於一種產生深度影像之方法及其系統,特別是有關於一種可快速找到左影像與右影像的對應點的產生深度影像之方法及其系統。
深度計算廣泛用於各種領域,例如可用於產生三維(3D)立體影像等。對具有兩台以上的攝影機或立體攝影機(Stereoscopic camera)的裝置來說,可採用基於視差的深度演算法,以圖像視點變化引起的視差為深度計算依據。基於視差的深度演算法係利用左右攝影機因拍攝角度不同,同一物體在左右影像中的成像位置不同造成視差產生位移偏差(disparity),可根據位移偏差來建立一深度圖(depth map),此深度圖包含距物體的距離資訊,藉此可求得對應物體的深度資訊,進而算出與待測物體的距離。之後,此深度圖可應用於各種領域,例如影像技術中的自動機器人導航、深度圖建立、人/機交談、監視以及自動對焦系統等等。
也就是說,找深度的問題即為找左右影像中的對應點的問題。然而,為了找出左右影像的對應點,通常需要耗費龐 大的計算量才能達成。舉例來說,假設一張影像的大小為1280x960個像素,為了求得整張影像的深度值,便需要做1228800次搜索。若最大搜尋值設定為128時,則需要進行1280x960x128=157286400次搜索才能找出左右影像的對應點的位置,計算複雜度龐大,使得整體處理速度不佳,難以達到即時運算的需求。因此,需要一種可快速找出左右影像的對應點,進而求得深度圖之影像深度計算方法及系統。
有鑑於此,本發明提供一種產生深度影像之方法及其系統,用以快速找出左右影像的對應點,進而求得深度圖。
本發明一實施例提供一種產生深度影像之方法,適用於一產生深度影像之系統。方法包括下列步驟。首先,透過位於不同位置的一第一影像擷取裝置與一第二影像擷取裝置,擷取一目標場景,並產生一第一影像與一第二影像。接著,沿著Y軸方向取樣該第一影像與該第二影像,產生一第一特徵影像與一第二特徵影像,並且沿著X軸方向取樣該第一特徵影像與該第二特徵影像,以產生一第三特徵影像與一第四特徵影像。其次,搜尋該第三特徵影像之一目標點相對於該第四特徵影像之一對應點之位置,其中該目標點有一搜尋範圍。之後,依據該目標點及其相對之該對應點之位置計算一深度資訊,得到一第一深度影像與一第二深度影像。接著,依據該第一深度影像與該第二深度影像,產生一第三深度影像。其中該搜尋範圍分為複數之搜尋區段,並且每一該搜尋區段具有一對應搜尋頻率。
本發明另一實施例提供一種產生深度影像之系統, 包括一第一影像擷取裝置、一第二影像擷取裝置、一儲存模組、一取樣模組、一搜尋模組以及一影像處理模組。第一影像擷取裝置用以擷取一目標場景,並產生一第一影像。第二影像擷取裝置用以擷取該目標場景,並產生一第二影像。儲存模組耦合於第一影像擷取裝置與第二影像擷取裝置之間,用以儲存第一影像與第二影像。取樣模組用以沿著Y軸方向取樣第一影像與第二影像,產生一第一特徵影像與一第二特徵影像,其中取樣模組沿著X軸方向取樣第一特徵影像與第二特徵影像,以產生一第三特徵影像與一第四特徵影像。搜尋模組用以搜尋第三特徵影像之一目標點相對於第四特徵影像之一對應點之位置,其中目標點有一搜尋範圍。影像處理模組耦接於取樣模組以及搜尋模組,用以依據目標點及相對之對應點之位置計算一深度資訊,得到一第一深度影像與一第二深度影像。其中,影像處理模組依據第一深度影像與第二深度影像,產生一第三深度影像。其中搜尋範圍分為複數之搜尋區段,並且每一搜尋區段具有一對應搜尋頻率。
本發明上述方法可以透過程式碼方式收錄於實體媒體中。當程式碼被機器載入且執行時,機器變成用以實行本發明之裝置。
10‧‧‧目標場景
100‧‧‧產生深度影像之系統
110‧‧‧第一影像擷取裝置
120‧‧‧第二影像擷取裝置
130‧‧‧儲存模組
140‧‧‧取樣模組
150‧‧‧搜尋模組
160‧‧‧影像處理模組
200‧‧‧影像
201‧‧‧像素陣列
(X,Y)‧‧‧像素點
S302、S304、...、S310、S312‧‧‧步驟
第1圖係顯示本發明一實施例之產生深度影像之系統的示意圖。
第2圖係顯示本發明一實施例之影像的示意圖。
第3圖係顯示依據本發明一實施例之產生深度影像之方法的 流程圖。
第4圖係顯示依據本發明一實施例之影像深度計算方式的示意圖。
第5圖係顯示依據本發明一實施例之對應點搜尋示意圖。
第6圖係顯示依據本發明一實施例之成本函數-視差的關係圖。
為讓本發明之上述與其他目的、特徵、與優點能更明顯易懂,下文特舉出較佳實施例,並配合所附圖式,作詳細說明如下:第1圖係顯示本發明一實施例之產生深度影像之系統100的示意圖。如第1圖所示,產生深度影像之系統100可用以偵測其前方的目標場景10,可用以擷取關於目標場景的影像,計算影像之深度,計算出來深度可應用於各種領域,例如影像技術中的自動機器人導航、人/機交談、監視以及自動對焦系統等等。產生深度影像之系統100可至少包括一第一影像擷取裝置110、一第二影像擷取裝置120、一儲存模組130、一取樣模組140、一搜尋模組150以及一影像處理模組160,其中第一影像擷取裝置110與第二影像擷取裝置120係分別設置於相距一固定距離內的不同位置,可用以於同一時間擷取目標場景10的影像。具體來說,第一影像擷取裝置110可於一第一時間擷取目標場景10並產生一第一影像,而第二影像擷取裝置120可於相同的第一時間擷取目標場景10並產生一第二影像,其中第一影像以及第二影像係各由一像素陣列所組成且像素陣列包含複數像素點(X,Y)。其中,X表示X軸的座標, Y表示Y軸的座標。參見第2圖,係顯示本發明一實施例之影像的示意圖。如第2圖所示,影像200包括一像素陣列201,像素陣列201包含1280*960個像素點(X,Y),每個像素點具有座標(X,Y),其中,X表示X軸的座標,Y表示Y軸的座標。參見第2圖,沿著Y軸方向對影像進行取樣係指對同一X軸座標,依序對Y軸座標為0,1,2,...,959的像素點進行取樣,而沿著X軸方向對影像進行取樣係指對同一Y軸座標,依序對X軸座標為0,1,2,...,1279的像素點進行取樣。
儲存模組130係耦合於第一影像擷取裝置110與第二影像擷取裝置120之間,用以儲存第一影像擷取裝置110與第二影像擷取裝置120同時產生的第一影像與第二影像。取樣模組140用以依據一特定取樣順序,對第一影像與第二影像進行取樣,產生對應的特徵影像。搜尋模組150用以搜尋第三特徵影像之一目標點相對於第四特徵影像的一對應點的位置,其中目標點有一搜尋範圍。
影像處理模組160係耦接至第一影像擷取裝置110、第二影像擷取裝置120、儲存模組130、取樣模組140以及搜尋模組150,其係具有適當之軟體、硬體元件或兩者的組合,可用以執行本案之產生深度影像之方法,其細節將描述於下。注意的是,於一些實施例中,儲存模組130、取樣模組140以及搜尋模組150也可整合於影像處理模組150中,用以執行本案之產生深度影像之方法。
具體來說,取樣模組140可先沿著Y軸方向取樣第一影像與第二影像,產生一第一特徵影像與一第二特徵影像,接著 再沿著X軸方向取樣第一特徵影像與第二特徵影像,藉此產生第三特徵影像與第四特徵影像。搜尋模組150接著搜尋第三特徵影像的一目標點相對於第四特徵影像的一對應點之位置,其中目標點有一搜尋範圍且搜尋範圍可被分為複數的搜尋區段,並且每一搜尋區段具有一對應搜尋頻率。影像處理模組160接著依據每個目標點及相對的對應點之位置計算一深度資訊,得到一第一深度影像與一第二深度影像例如特定比例的縮小深度影像,最後再依據第一深度影像與第二深度影像,產生一第三深度影像例如可將縮小深度影像放大回原來的比例,便可求得對應的深度影像(或稱深度圖)。
提醒的是,為了加快處理速度,一般係先直接縮小影像來計算深度,得到縮小影像的深度後再放大回原寸,然而,這樣的作法容易造成深度精確度的損失。因此,於一實施例中,本案係採用先對原始影像進行垂直(Y軸)方向取樣計算各點的特徵值(目標點)產生特徵圖後,再對該特徵圖進行水平(X軸)方向取樣來取得縮小影像對應的深度影像,最後將縮小影像對應的深度影像放大回原尺寸來得到原始影像對應的深度影像,藉此可避免造成深度精確度的損失。
第3圖顯示依據本發明一實施例之產生深度影像之方法的流程圖,用以計算並產生一影像之深度圖。請同時參照第1圖與第3圖。依據本發明實施例之產生深度影像之方法可以應用於第1圖的產生深度影像之系統100上。
首先,如步驟S302,透過位於不同位置的第一影像擷取裝置110與第二影像擷取裝置120,擷取一目標場景10,並產 生一第一影像與一第二影像,其中第一影像以及第二影像係各由一像素陣列所組成且像素陣列包含複數像素點(X,Y)。舉例來說,左影像的大小可為1280*960個像素,其係由包含1280*960個像素點(X,Y)的像素陣列所組成,如第2圖所示。產生的第一影像與第二影像將會儲存於儲存模組130中。
於產生目標場景10的第一影像與第二影像之後,如步驟S304,取樣模組140自儲存模組130取出第一影像與第二影像,並依據一縮小比例,沿著Y軸方向取樣第一影像與第二影像,產生一第一特徵影像與一第二特徵影像。其中,第一特徵影像與第二特徵影像包括第一影像以及第二影像的對應影像特徵圖。舉例來說,假設縮小比例為1/4時,則對像素點(X,Y)而言,取樣模組影140可先沿Y軸方向取樣第一影像,亦即對第一影像中Y座標為0,4,8...,960的像素點進行取樣,計算特徵產生大小為1280*240個像素的特徵圖,得到表示第一影像特徵圖的第一特徵影像。類似地,取樣模組140可沿Y軸方向取樣第二影像,亦即對右影像中Y座標為0,4,8...,960的像素點進行取樣,計算特徵產生大小為1280*240個像素的特徵圖,得到表示第二影像特徵圖的第二特徵影像。
於得到第一特徵影像與第二特徵影像之後,如步驟S306,取樣模組140再依據此縮小比例,沿著X軸方向取樣第一特徵影像與第二特徵影像,以產生一第三特徵影像與一第四特徵影像。之後,如步驟S308,搜尋模組150再搜尋第三特徵影像的每個目標點相對於第四特徵影像的一對應點的位置,以搜尋第三特徵影像之每一目標點在第四特徵影像之一對應點,並且於搜尋模 組150找出第三特徵影像的每一目標點在第四特徵影像的一對應點之後,如步驟S310,影像處理模組160可依據每個目標點及其相對之對應點的位置計算一深度資訊,得到一第一深度影像與第二深度影像。其中每一目標點有一搜尋範圍,其表示每一目標點所需找尋的對應點的個數。舉例來說,假設搜尋範圍設為128時,則表示每一目標點需要從128個點中找出其對應點,因此需搜尋128次。舉例來說,假設縮小比例為1/4時,則對像素點(X,Y)而言,取樣模組140可沿X軸方向對第二特徵影像進行取樣,亦即對第二特徵影像中X座標為0,4,8...,1280的像素點進行取樣,取得大小為320*240個像素的縮小影像,以產生第三特徵影像。類似地,取樣模組140可沿X軸方向對第一特徵影像進行取樣,亦即對第一特徵影像中X座標為0,4,8...,1280的像素點進行取樣,取得大小為320*240個像素的縮小影像,以產生第四特徵影像。搜尋模組150將搜尋第三特徵影像的每個目標點相對於第四特徵影像的一對應點的位置,以搜尋第三特徵影像之每一目標點在第四特徵影像之一對應點,來取得大小為320*240個像素的縮小影像對應的深度影像,得到表示縮小為1/4的第一影像對應的縮小深度影像的第一深度影像。
類似地,搜尋模組150將搜尋第四特徵影像的每個目標點相對於第三特徵影像的一對應點的位置,以搜尋第四特徵影像之每一目標點在第三特徵影像之一對應點,來取得大小為320*240個像素的縮小影像對應的深度影像,得到表示縮小為1/4的第一影像對應的縮小深度影像的第二深度影像。也就是說,第一深度影像與第二深度影像包括左影像以及右影像的對應縮小深 度影像。
於一實施例中,依據每一目標點以及其對應之對應點計算一深度資訊之步驟可包括計算每一目標點以及其對應之對應點之一位移偏差(disparity)並依據位移偏差得到深度資訊。舉例來說,但不限於此,於一實施例中,可利用位於兩側的影像擷取裝置例如左右相機的視差產生位移偏差d,以得到對應物件10的深度Z,其中d=XR-XT,XR表示左影像(第一影像)的目標點以及XT表示XR於右影像(第二影像)中的對應點,則深度Z可經由以下公式得到:Z=b*f/(XR-XT)=b*f/d (1),其中,b表示左右相機的距離,f表示其焦距。由於b、f的值為預先決定好的固定值,因此可根據公式(1)與每一目標點以及其對應之對應點之一位移偏差簡單推得各點的深度Z。
於得到第一深度影像與一第二深度影像之後,如步驟S312,影像處理模組160可依據第一深度影像與第二深度影像,產生一第三深度影像。
於一實施例中,依據第一深度影像與第二深度影像,得到第三深度影像之步驟可更包括相應於縮小比例,放大第一深度影像與第二深度影像,以便得到第三深度影像。舉例來說,假設縮小比例為1/4,則影像處理模組160可將大小為320*240個像素的第一深度影像,放大4倍,得到相應原始影像大小(1280*960)的深度圖。於一些實施例中,放大第一深度影像與第二深度影像之步驟可更包括利用一內插運算放大第一深度影像與第二深度影像以放大回原尺寸。舉例來說,假設取樣時係僅選取(X,Y)座標分 別為(0,0)與(4,0)的像素點且座標為(1,0)、(2,0)與(3,0)的像素點未被選取時,則放大回原尺寸時可利用座標(0,0)與(4,0)的像素點的值經由內插運算或其他運算來得到座標(1,0)、(2,0)與(3,0)的值。由於內插運算係廣泛應用於各種領域,其細節不在此贅述。
因此,本案係以特定順序對原始影像進行取樣來縮小影像,於產生特徵圖時保留所有可能的位移偏差,之後,再對該特徵圖進行取樣來取得縮小影像對應的深度影像,藉此可避免直接縮小影像造成深度精確度的損失。
第4圖顯示依據本發明一實施例之影像深度計算之示意圖,用以計算並產生一影像之深度圖。於此實施例中,假設第一影像擷取裝置110以及第二影像擷取裝置120已分別取得一第一影像L與一第二影像R。首先,對第一影像L與第二影像R進行一影像校正,得到一左校正影像L’與一右校正影像R’。接著,對左校正影像L’與右校正影像R’進行一特徵計算。依據一縮小比例,沿著Y軸方向對左校正影像L’與右校正影像R’進行取樣,得到一第一特徵影像與一第二特徵影像,以得到左影像特徵圖與右影像特徵圖。舉例來說,如第4圖所示,假設原始左影像與右影像的大小為1280*960個像素且縮小比例為1/4時,則對像素點(X,Y)而言,可先沿Y軸方向對左校正影像L’與右校正影像R’影像進行取樣,計算特徵產生大小為1280*240個像素的特徵圖(第一特徵影像以及第二特徵影像),接著沿X軸方向取樣第一特徵影像以及第二特徵影像,計算特徵產生大小為1280*240個像素的特徵圖(第三特徵影像以及第四特徵影像)。接著,依據第三特徵影像以及第四特徵影像,得到一左縮小深度影像(第一深度影像)與右縮小深度 影像(第二深度影像)。
其中,得到第一深度影像與第二深度影像係依據每一目標點以及其對應點計算位移偏差,並透過如前述公式(1)計算深度資訊,得到第一深度影像與第二深度影像。之後,再相應於縮小比例,放大第一深度影像與第二深度影像,以便得到第三深度影像DL與第四深度影像DR。舉例來說,可沿著X軸方向對左影像特徵圖與右影像特徵圖進行取樣來取得大小為320*240個像素的縮小影像對應的深度影像,最後將縮小影像對應的深度影像放大回原尺寸(1280*960個像素)來得到原始影像對應的深度影像。
最後,對第三深度影像DL與第四深度影像DR進行一誤差校正與匹配,得到一左深度影像Dout。其中,誤差校正與匹配係用以交叉比對算出的第三深度影像DL與第四深度影像DR的一致性並適當進行誤差校正,使左深度影像Dout的精確度更高,其係廣泛應用於本領域,故其細節不在此贅述。
於一些實施例中,為了加快搜尋速度,本案更進一步利用影像的視差(disparity)(或稱水平位移偏量)與深度成反比的特性,將搜尋範圍分為複數之搜尋區段,並且每一搜尋區段具有一對應搜尋頻率,並且於每一搜尋區段中以對應搜尋頻率進行搜尋。其中,搜尋頻率係與其與物件的距離有關。其中,距離愈遠的點,深度值愈大,而其水平位移偏量則愈小,因此在包含這些點的搜尋區段內需要仔細搜尋,其搜尋頻率較頻繁。相反地,距離愈近的點,深度值愈小,而其水平位移偏量則愈大,因此在包含這些點的搜尋區段內無需仔細搜尋,可給予較不頻繁的搜尋頻率。
於本實施例中,前述搜尋第一特徵影像之每一目標點在第二特徵影像之一對應點,可更包括於每一搜尋區段中以對應搜尋頻率進行搜尋之步驟。舉例來說,參見第5圖,係顯示依據本發明一實施例之對應點搜尋示意圖。如第5圖所示,假設最大搜尋範圍Rmax設為128,亦即搜尋範圍為水平位移偏量數值為0~127的像素點,則Rmax可分割為4個搜尋區段S1-S4。其中搜尋區段S1係對水平位移偏量數值為0-31的像素點的區段進行搜尋;搜尋區段S2係對水平位移偏量數值為32-63的像素點的區段進行搜尋,搜尋區段S3係對水平位移偏量數值為64-95的像素點的區段進行搜尋,搜尋區段S4係對水平位移偏量數值為96-127的像素點的區段進行搜尋,且其中搜尋區段S1-S4分別具有搜尋頻率F1-F4。搜尋頻率F1係為每個像素點搜尋一次,搜尋頻率F2係為每兩個像素點點搜尋一次,搜尋頻率F3係為每四個像素點搜尋一次,搜尋頻率F4係為每八個像素點搜尋一次。
也就是說,搜尋區段S1中,每一個像素點都會依序進行搜尋,其搜尋順序可為0,1,2,...,31。搜尋區段S2以每兩個像素點的頻率進行搜尋,其搜尋順序可為33,35,37,...,63;搜尋區段S3以每四個像素點的頻率進行搜尋,其搜尋順序可為67,71,75,...,91,95;而搜尋區段S4則以每八個像素點的頻率進行搜尋,其搜尋順序可為103,111,119,127,因此總共僅需搜尋60次便可找出對應點。相較於先前技術中於找尋對應點時於最大搜尋範圍內採用一個一個搜需要128次的搜尋,依據本案之深度計算方法,於找尋對應點時,依據不同搜尋區段給予不同的搜尋頻率,可大幅減少需搜尋的次數,進而提高搜尋效率與處理速度。
於一些實施例中,由於深度計算時有許多算錯的可能性,為了讓深度值穩定,本案更可利用連續影像的特性來輔助以穩定深度。依據第一影像中的一第一目標點及其於第二影像中之一第一對應點,計算一第一深度值。於執行一成本函數(Cost Function)計算時,對該第一深度值提供一權重,使其於產生第一影像之後接續經由第一影像擷取裝置擷取目標場景而產生一第三影像(接續左影像)時,於第三影像的相同位置的第一目標點得到相同或相似於第一深度值的深度值。舉例來說,假設某一像素點於前一張影像中找到的深度值為Dp,於計算成本值Cost時,可對於後續的影像中相同深度值Dp附近的成本值給予加成,賦予較高的權重,調整後可更容易於後續影像中得到與前張影像相同的深度值。參見第6圖,係顯示依據本發明之一實施例之成本函數-視差的關係圖。如第6圖所示,其中橫軸表示位移偏差,縱軸表示成本函數,假設前張影像的某一目標點的深度值DP所對應的位移偏差在線段L所示之處,則將Dp附近的成本值給予加成,賦予較高的權重,調整其深度曲線,調整後影像比較可以取得與前張影像近似的深度值。
因此,依據本發明之產生深度影像之方法及其系統,於搜尋透過不同位置的兩個影像擷取裝置所擷取到的影像的對應點時,採用特定順序的取樣方式,可有效減少需搜尋的目標點,同時維持深度精確度,以較少計算量即可建立深度圖,加快搜尋對應點的速度。此外,依據本發明之產生深度影像之方法及其系統,可更進一步分割搜尋範圍為複數之搜尋區段並賦予每一搜尋區段一個不同搜尋頻率,可大幅減少需搜尋的次數,進而提 高搜尋效率與加快搜尋速度。再者,依據本發明之產生深度影像之方法及其系統可進一步利用連續影像的特性來輔助,於成本匹配計算時加重前一個找到的深度值的權重以穩定深度,可容易於後續影像中得到與前張影像相同的深度值。
本發明之方法,或特定型態或其部份,可以以程式碼的型態存在。程式碼可以包含於實體媒體,如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體,亦或不限於外在形式之電腦程式產品,其中,當程式碼被機器,如電腦載入且執行時,此機器變成用以參與本發明之裝置。程式碼也可透過一些傳送媒體,如電線或電纜線、光纖、或是任何傳輸型態進行傳送,其中,當程式碼被機器,如電腦接收、載入且執行時,此機器變成用以參與本發明之裝置。當在一般用途處理單元實作時,程式碼結合處理單元提供一操作類似於應用特定邏輯電路之獨特裝置。
雖然本發明已以較佳實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中包括通常知識者,在不脫離本發明之精神與範圍內,當可作些許之更動與潤飾。舉例來說,本發明實施例所述之系統以及方法可以硬體、軟體或硬體以及軟體的組合的實體實施例加以實現。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
S302、S304、S306、S308、S310、S312‧‧‧步驟

Claims (13)

  1. 一種產生深度影像之方法,包括下列步驟:透過位於不同位置的一第一影像擷取裝置與一第二影像擷取裝置,擷取一目標場景,並產生一第一影像與一第二影像;沿著Y軸方向取樣該第一影像與該第二影像,產生一第一特徵影像與一第二特徵影像;沿著X軸方向取樣該第一特徵影像與該第二特徵影像,以產生一第三特徵影像與一第四特徵影像;以該第三特徵影像之一目標點為基礎,搜尋該第四特徵影像之一對應點之位置,其中該目標點有一搜尋範圍;依據每一個該目標點及其相對之該對應點之位置計算一深度資訊,得到一第一深度影像與一第二深度影像;以及依據該第一深度影像與該第二深度影像,產生一第三深度影像;其中該搜尋範圍分為複數之搜尋區段,並且每一該搜尋區段具有一對應搜尋頻率。
  2. 如申請專利範圍第1項所述之方法,其中該對應搜尋頻率係和該目標點與該對應點之間的位移偏差(disparity)成反比。
  3. 如申請專利範圍第1項所述之方法,其中依據該第一深度影像與該第二深度影像,產生該第三深度影像之步驟更包括: 相應於一縮小比例,放大該第一深度影像與該第二深度影像,以產生該第三深度影像。
  4. 如申請專利範圍第3項所述之方法,其中相應於該縮小比例,放大該第一深度影像與該第二深度影像之步驟更包括利用一內插運算放大該第一深度影像與該第二深度影像。
  5. 如申請專利範圍第1項所述之方法,更包括:依據一第一目標點以及其對應之一第一對應點計算一第一深度值;以及於執行一成本計算時對該第一深度值提供一權重,使其於產生該第一影像之後經由該第一影像擷取裝置擷取該目標場景而產生一第三影像時,於該第三影像之該第一目標點得到該第一深度值。
  6. 如申請專利範圍第1項所述之方法,其中依據該目標點以及其相對之該對應點之位置計算該深度資訊,得到該第一深度影像與該第二深度影像之步驟更包括:計算該目標點以及該對應點之間之一位移偏差;以及依據該位移偏差算出該深度資訊。
  7. 一種產生深度影像之系統,包括:一第一影像擷取裝置,用以擷取一目標場景,並產生一第一影像;一第二影像擷取裝置,用以擷取該目標場景,並產生一第二影像; 一儲存模組,耦合於該第一影像擷取裝置與該第二影像擷取裝置之間,用以儲存該第一影像與該第二影像;一取樣模組,用以沿著Y軸方向取樣該第一影像與該第二影像,產生一第一特徵影像與一第二特徵影像,其中該取樣模組沿著X軸方向取樣該第一特徵影像與該第二特徵影像,以產生一第三特徵影像與一第四特徵影像;一搜尋模組,用以搜尋該第三特徵影像之一目標點相對於該第四特徵影像之一對應點之位置,其中該目標點有一搜尋範圍;一影像處理模組,耦接於該取樣模組以及該搜尋模組,用以依據該目標點及相對之該對應點之位置計算一深度資訊,得到一第一深度影像與一第二深度影像;其中該影像處理模組依據該第一深度影像與該第二深度影像,產生一第三深度影像;其中該搜尋範圍分為複數之搜尋區段,並且每一該搜尋區段具有一對應搜尋頻率。
  8. 如申請專利範圍第7項所述之系統,其中該對應搜尋頻率係和該目標點與該對應點之間的位移偏差(disparity)成反比。
  9. 如申請專利範圍第7項所述之系統,其中該影像處理模組更相應於一縮小比例,放大該第一深度影像與該第二深度影像,以產生該第三深度影像。
  10. 如申請專利範圍第7項所述之系統,其中該影像處理模組更 利用一內插運算以放大該第一深度影像與該第二深度影像。
  11. 如申請專利範圍第7項所述之系統,其中該影像處理模組更依據一第一目標點以及其對應之一第一對應點計算一第一深度值,並於執行一成本計算時對該第一深度值提供一權重,使其於產生該第一影像之後經由該第一影像擷取裝置擷取該目標場景而產生一第三影像時,於該第三影像之該第一目標點得到該第一深度值。
  12. 如申請專利範圍第7項所述之系統,其中該影像處理模組依據該目標點以及其相對之該對應點之位置計算該深度資訊,得到該第一深度影像與該第二深度影像係透過計算該目標點以及該對應點之間之一位移偏差並依據該位移偏差算出該深度資訊。
  13. 一種電腦程式產品,其係被一機器載入以執行一產生深度影像之方法,該電腦程式產品包括:一第一程式碼,用以透過位於不同位置的一第一影像擷取裝置與一第二影像擷取裝置,擷取一目標場景,並產生一第一影像與一第二影像;一第二程式碼,用以沿著Y軸方向取樣該第一影像與該第二影像,產生一第一特徵影像與一第二特徵影像;一第三程式碼,用以沿著X軸方向取樣該第一特徵影像與該第二特徵影像,以產生一第三特徵影像與一第四特徵影像; 搜尋該第三特徵影像之一目標點相對於該第四特徵影像之一對應點之位置,其中該目標點有一搜尋範圍;一第四程式碼,用以依據該目標點及其相對之該對應點之位置計算一深度資訊,得到一第一深度影像與一第二深度影像;以及一第五程式碼,用以依據該第一深度影像與該第二深度影像,產生一第三深度影像;其中該搜尋範圍分為複數之搜尋區段,並且每一該搜尋區段具有一對應搜尋頻率。
TW103124881A 2014-07-21 2014-07-21 產生深度影像之方法及其系統及電腦程式產品 TWI528783B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103124881A TWI528783B (zh) 2014-07-21 2014-07-21 產生深度影像之方法及其系統及電腦程式產品
CN201410386122.9A CN105279736A (zh) 2014-07-21 2014-08-07 产生深度图像的方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103124881A TWI528783B (zh) 2014-07-21 2014-07-21 產生深度影像之方法及其系統及電腦程式產品

Publications (2)

Publication Number Publication Date
TW201605225A true TW201605225A (zh) 2016-02-01
TWI528783B TWI528783B (zh) 2016-04-01

Family

ID=55148689

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103124881A TWI528783B (zh) 2014-07-21 2014-07-21 產生深度影像之方法及其系統及電腦程式產品

Country Status (2)

Country Link
CN (1) CN105279736A (zh)
TW (1) TWI528783B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780589A (zh) * 2016-12-09 2017-05-31 深圳奥比中光科技有限公司 一种获取目标深度图像的方法
CN106683133B (zh) * 2016-12-09 2020-04-17 深圳奥比中光科技有限公司 一种获取目标深度图像的方法
CN109213138B (zh) * 2017-07-07 2021-09-14 北京臻迪科技股份有限公司 一种避障方法、装置及系统
CN109410253B (zh) * 2018-11-06 2019-11-26 北京字节跳动网络技术有限公司 用于生成信息的方法、装置、电子设备和计算机可读介质
CN114866758B (zh) * 2022-05-31 2024-02-23 星宸科技股份有限公司 视差图像填补方法以及图像处理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100592338C (zh) * 2008-02-03 2010-02-24 四川虹微技术有限公司 多视角视频图像深度搜索方法及深度估计方法
CN102047288B (zh) * 2008-05-28 2014-04-23 汤姆森特许公司 利用正向和反向深度预测进行图像的深度提取的系统和方法
US8345956B2 (en) * 2008-11-03 2013-01-01 Microsoft Corporation Converting 2D video into stereo video
KR20120049997A (ko) * 2010-11-10 2012-05-18 삼성전자주식회사 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들
TWI579801B (zh) * 2011-12-06 2017-04-21 財團法人工業技術研究院 階段式深度運算裝置及階段式深度運算方法
CN102523464A (zh) * 2011-12-12 2012-06-27 上海大学 一种双目立体视频的深度图像估计方法
US8934707B2 (en) * 2012-03-21 2015-01-13 Industrial Technology Research Institute Image processing apparatus and image processing method
US9013549B2 (en) * 2012-05-24 2015-04-21 Silicon Integrated Systems Corp. Depth map generation for conversion of two-dimensional image data into three-dimensional image data

Also Published As

Publication number Publication date
CN105279736A (zh) 2016-01-27
TWI528783B (zh) 2016-04-01

Similar Documents

Publication Publication Date Title
CN111354042B (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
EP3252715B1 (en) Two-camera relative position calculation system, device and apparatus
TWI528783B (zh) 產生深度影像之方法及其系統及電腦程式產品
JP2019510234A (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
CN104685513A (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
KR20140014298A (ko) 모바일 디바이스들에 대한 평면 맵핑 및 트래킹
CN104539934A (zh) 图像采集装置和图像处理方法、系统
WO2011145285A1 (ja) 画像処理装置、画像処理方法およびプログラム
US9430834B2 (en) Visual perception matching cost on binocular stereo images
US10142613B2 (en) Image processing apparatus, image processing system, and image processing method
TW201837862A (zh) 深度處理裝置
TWI571099B (zh) 深度估測裝置及方法
US11348271B2 (en) Image processing device and three-dimensional measuring system
JP6494402B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP2016099318A (ja) ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法
JP2009186287A (ja) 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
CN109859313B (zh) 3d点云数据获取方法、装置、3d数据生成方法及系统
CN108197531A (zh) 一种道路曲线检测方法、装置和终端
GB2569609A (en) Method and device for digital 3D reconstruction
WO2020090358A1 (ja) 測距カメラ
JP6305232B2 (ja) 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム。
JP2015149675A (ja) カメラパラメータ推定装置及びカメラパラメータ推定プログラム
JP2007179236A (ja) 画像生成装置及び方法
KR101804157B1 (ko) 개선된 sgm 기반한 시차 맵 생성 방법
JP2009186369A (ja) 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees