TW201322734A - 立體匹配系統之前置處理裝置 - Google Patents

Abstract

本發明揭露一種立體匹配系統之前置處理裝置。在該前置處理裝置中，一立體攝影機之座標資訊係被儲存，一像素之一新位址係利用該座標資訊而被即時指定，以及利用該像素之該新位址，而修正自被該立體攝影機接收之左、右影像。

Description

立體匹配系統之前置處理裝置

本發明係主張關於2011年11月23日申請之韓國專利案號10-2011-0123177之優先權。藉以引用的方式併入本文用作參考。

本發明係關於處理三維影像之技術，特別是使用在立體攝影機(stereo camera)等中之一立體匹配系統的一前置處理裝置。

眾所皆知，人們的視力為獲取周圍環境資訊之感官的一種，透過雙眼可以辨識，以得到物體的位置和距離。亦即，透過雙眼，被視力所接收資訊被結合成距離資訊，以使人們能夠自由移動而不會感到不方便。

所以，利用人的視力結構之機制來實現一立體攝影系統。

在立體攝影系統中，立體匹配係在由兩攝影機所得到之一影像進行。在此情況下，兩攝影機之外部和內部結構是相互不相同的。因此，為使該兩攝影機之內部結構一致，在一習知的立體匹配系統中，前置處理之進行係藉由對該兩攝影機之間的差異而建立之一參考表且應用在參考表的數值至各個攝影機。

然而，因習知之使用參考表的立體匹配系統中需使用複數個非揮發記憶體(ROMs)，造成硬體尺寸增大和硬體價格提升。

本發明之實施例提供一種在立體匹配系統中的一前置處理裝置，其中減少了非揮發記憶體之數量，且立體攝影機之權重資訊(weight information)被提供來作為一等值(equal value)，以使硬體之尺寸和價格能夠減少同時維持相同效能。

本發明所欲解決之技術問題並不限於上列所述者，且任何其他尚未提及之技術問題在經下文的描述說明後，對於熟悉此技術者而言將為顯而易見。

本發明提供一前置處理裝置包含：一第一存儲器用來儲存一立體攝影機之座標資訊；以及一前置處理單元利用該座標資訊指定一像素之一新位址，且利用該像素之新位址修正自該立體攝影機所接收到的左、右影像。

該第一存儲器單元可包含一第二存儲器用來儲存該座標資訊中之一左列位置、一第三存儲器用來儲存該座標資訊中之一左行位置、一第四存儲器用來儲存該座標資訊中之一右列位置、以及一第五存儲器用來儲存該座標資訊中之一右行位置。

該第二至該第五存儲器可包含非揮發記憶體。

該前置處理單元可包含一位址產生器，利用該座標資訊來指定該影像之像素的新位址；以及一插入器，利用該像素之新位址和該立體攝影機之權重資訊來插入該左、右影像。

該前置處理單元更包含一第六存儲器用來儲存自該立體攝影機所接收到的該左、右影像。

該第六存儲器可包含一揮發記憶體。

該權重資訊可提供為一預設值至該插入器。

該預設值可約為0.25。

該插入器可應用該權重資訊至該像素之新位址，以獲得對應像素之一平均值。

該前置處理單元可包含一左位址產生器，利用該左列位置和該左行位置來指定該左影像之像素的一新位址；一右位址產生器，利用該右列位置和該右行位置來指定該右影像之像素的一新位址；一左插入器，利用該左影像之像素的新位址和該立體攝影機之一左權重資訊來插入該左影像；以及一右插入器，利用該右影像之像素的新位址和該立體攝影機之一右權重資訊來插入該右影像。

該前置處理單元可更包含一第七存儲器用來儲存該左影像， 以及一第八存儲器用來儲存該右影像。

該第七、八存儲器可包含揮發記憶體。

該左權重資訊和該右權重資訊可分別提供作為預設值至該左插入器和該右插入器。

該預設值可約為0.25。

該左插入器可應用該左權重資訊至該左影像之像素的新位址，以得到對應像素之一平均值。

該右插入器可應用該右權重資訊至該右影像之像素的新位址，以得到對應的像素之一平均值。

如上述所述，根據本發明之立體匹配系統的前置處理裝置所使用的非揮發記憶體較習知前置處理裝置所使用的數量來的少，因此該系統之尺寸將可減少，且成本降低。

此外，一影像係藉由均衡一立體攝影機之權重資訊作為一預設值而被插入，因此能簡化一插入器的計算。

再者，指定該像素之一新位址之運算式(expression)係置換成一等效運算式(equivalent expression)，藉以簡化位址產生的計算。

為讓本發明之特徵和特點能更明顯易懂，茲配合圖式將本發明相關實施例詳細說明如下。

在下文中，將配合圖示詳細說明本發明之實施例。在此所述之結構與圖示所繪示者，僅為本發明之實施例，其可具有多種變化及修改，並非用以限定本發明。相反的，在此所述之實施例係被提供，以使熟習此項技術者可輕易實現本發明之內容。然而，本發明之揭示可以根據本發明的精神和範疇以不同形式實施，而並不用以限制本發明。

應予理解的是，儘管「第一」、「第二」以及類似的用詞在此可用來描述不同的元件；但這些元件並不限制於此些用詞。這些用詞僅係用以區分各項元件者。因此，下述討論到一「第一」元件時，其亦可被定義為一「第二」元件，而不背離本發明揭示之精神和範疇。

應予理解的是，當提及一元件係與另一元件「連接」或「耦接」時，則其可以是直接地與另一元件「連接」或「耦接」，或存在中介元件。相反地，當提及一元件是「直接地」與另一元件「連接」或「耦接」時，則其是直接地與另一元件「連接」或「耦接」，而不存在中介元件。

本發明使用之詞語僅係為了說明本發明實施例，而非用以限定本發明。在此處，除非內文有清楚指出其數目，否則單數形式 詞「一」、「一種」、「該」係包含複數指稱。

進一步應理解的是，在本發明中所使用「包含」/「包含」/「具有」等詞的程度，係指定說明之功能、總數、步驟、操作、元件、及/或組成部分，但並不排除其他及/或額外的功能、總數、步驟、操作、元件、組成部分、及/或其群組。

在圖示中，為求清晰和便利，層及區域的厚度尺寸係被放大。相同參考的數字將會指定到圖示解說中的相同元件。

在下文中，將首先說明習知前置處理裝置，接著將配合所附圖式，說明根據本發明一實施例之前置處理裝置。

圖1係繪示習知立體匹配系統之前置處理裝置的配置圖。

在立體匹配系統中之習知前置處理裝置利用修正參數，修正自兩立體攝影機分別提供之左、右影像(未圖示)，且藉由對齊該左、右影像之極線(epipolar line)而輸出修正後的左、右影像。

習知前置處理裝置包含一前置處理單元100和一非揮發記憶體單元200。非揮發記憶體單元200包含一左列位置存儲器210、一左行位置存儲器220、一左列權重存儲器230、一左行權重存儲器240、一右列位置存儲器250、一右行位置存儲器260、一右列權重存儲器270、和一右行權重存儲器280。

如此，非揮發記憶體單元200儲存包含一左列位置、一左行位置、一右列位置、一右行位置等等之座標資訊，以及包含一左列權重、一左行權重、一右列權重、一右行權重等等之權重資訊。

一左位址產生器110利用儲存在左列和左行位置存儲器210、220之資料，依據下列運算式，來估算一位址。一右位址產生器150利用儲存在右列和右行位置存儲器250、260，依據下列運算式，來估算一位址。

運算式1 x ← (u-c' _x )/f' _x y ← (v-c' _y )/f' _y

運算式2[X Y W] ^T ← R ^T ×[x y 1] ^T

運算式3 x' ← X/W y' ← Y/W

運算式4 x" ← x'(1+k ₁ r ²+k ₂ r ⁴+k ₃ r ⁶)+2p ₁ x'y'+p ₂(r ²+2x'²) y" ← y'(1+k ₁ r ²+k ₂ r ⁴+k ₃ r ⁶)+p ₁(r ²+2y'²)+2p ₂ x'y'

運算式5 map _x (u,v) ← x"f _x +c _x map _y (u,v) ← y"f _y +c _y

藉由左和右位址產生器110、150分別輸出，該些像素之位址係最後經由運算式5而獲得。

在此情況下，該原始攝影機矩陣係為

其中f _x 表示一原始x軸比例因子(scale factor)、f _y 表示一原始y軸比例因子、c _x 一原始x軸主點、和c _y 一原始y軸主點(principle point)。

產生的新攝影機矩陣係為

其中f’ _x 表示一新x軸比例因子、f’ _y 表示一新y軸比例因子、c’ _x 表示一新x軸主點、和c’ _y 一新y軸主點。

當假設一影像之尺寸係為N×M，u表示從1到N之一x軸像素指數(x-axis pixel index)，以及v表示從1到M之一y軸像素指數。該左和右位址產生器110和150藉由分別得到對應於從(1,1)至(N,M)像素格式之像素的新位址，進行如上述的計算。在這個情 況下，k₁、k₂、p₁、和p₂表示失真變數(distortion variables)。

一左權重產生器120利用儲存在左列和左行權重儲存器230、240之左列和行權重而產生一左權重。一右權重產生器160利用儲存在右列和右行權重儲存器270、280之右列和行權重而產生一右權重。

左和右插入器140、180利用分別如上述而產生之左、右位址和左、右權重而插入左、右影像。

然而，因於習知前置處理裝置中，至少需要八個非揮發記憶器，導致該系統之尺寸增加以及成本增加。

為了解決上述習知系統之問題，本發明所使用之非揮發記憶體數量係少於在習知前置處理裝置中之非揮發記憶體的數量，所以系統的尺寸將可被縮小，以減少計算的複雜度並且節省成本。

圖2係根據本發明之實施例繪示立體匹配系統之前置裝置的配置圖。

如圖2所示，根據本發明實施例之前置處理裝置包含一前置處理單元10和一非揮發記憶體單元20。

非揮發記憶體單元20包含一左列位置存儲器21、一左行位置存儲器22、一右列位置存儲器23、和一右行位置存儲器24。

非揮發記憶體單元20係為一非揮發記憶體，且每個存儲器21至24包含一非揮發記憶體。該非揮發記憶體為一種能在不需電力供給的情況下能連續維持所儲存的資訊的記憶體，而一唯讀記憶體(ROM)在文中作為該非揮發記憶體之代表。

前置處理單元10包含一左位址產生器11、一右位址產生器12、一左影像存儲器13、一右影像存儲器14、一左插入器15以及一右插入器16。

該左和右影像存儲器13、14分別用來儲存藉由一立體攝影機(未圖示)得到的左、右影像。該左、右影像存儲器13、14較佳為揮發記憶體。

揮發記憶體係指必需有電力才能維持所儲存之資訊的一種電腦記憶體，並且也可稱為一暫時記憶體。一隨機存取記憶體(RAM)在文中作為該揮發記憶體之代表。

亦即，該左、右影像存儲器13、14暫時地儲存自該立體攝影機(未圖示)之分別的左、右影像且提供被儲存的左、右影像至分別的左、右插入器15、16。

非揮發記憶體單元20之左列和行位置存儲器21、22儲存提供該左影像之立體攝影機(未圖示)之座標資訊(一左列位置和一左行位置)，以及非揮發記憶體單元20之右列和行位置存儲器 23、24儲存提供該右影像之立體攝影機(未圖示)之座標資訊(一右列位置和一右行位置)。

在圖1之習知前置處理裝置中，該些立體攝影機之權重資訊，如：左列權重、左行權重、右列權重、和右行權重，分別儲存在左列權重存儲器230、左行權重存儲器240、右列權重存儲器270、和右行權重存儲器280，係被提供於左、右插入器140、180。另一方面，在根據本發明實施例之前置處理裝置中，預設值(如：0.25)被分別提供作為左、右權重至左、右插入器15、16。

在此情況下，該左權重包含一左列權重和一左行權重，而該右權重包含一右列權重和一右行權重。

根據本發明實施例之左、右位址產生器11、12，藉由將運算式1至5發展成以運算式6至10來表示之等效式，而分別產生多個像素之新位址。

運算式6 x ← (u-c' _x )/f' _x y ← (v-c' _y )/f' _y

在此情況下，於運算式2中，左、右位址產生器11、12假設R=I。此處，I表示為一相同矩陣(identity matrix)，因此R^{- 1}=I。亦即，運算式2發展成以運算式7來表示。

運算式7[X Y W] ^T ← [x y 1] ^T

運算式8 x' ← x y' ← y

因此，與運算式3相較，運算式8的計算較為簡化。

運算式9 x" ← x'(1+k ₁ r ²+k ₂ r ⁴)+2p ₁ x'y'+p ₂(r ²+2x'²) y" ← y'(1+k ₁ r ²+k ₂ r ⁴)+p ₁(r ²+2y'²)+2p ₂ x'y'

運算式10 map _x (u,v) ← x"f _x +c _x map _y (u,v) ← y"f _y +c _y

根據本發明實施例之左、右位址產生器11、12，藉由省略於運算式4中之r⁶項，而用運算式9來表示簡化計算。因在立體攝影機之特徵項中，r係為一非常小的小數點，故r係為非常小的值，因此，r⁶可被省略。

因此，考慮到電路複雜化、成本、和功能，該上述之等效式被視為最佳化運算式。

該些像素之新位址係藉由分別的左和位址產生器11、12利用運算式10得到之值而最終輸出。

在此情況下，修正參數之原始攝影機矩陣係為

其中f _x 表示一原始x軸比例因子，f _y 表示一原始y軸比例因子，c _x 表示x軸一原始主點，和c _y 表示一原始y軸主點。

修正參數之產生的新攝影機矩陣係為

其中f’ _x 表示一新x軸比例因子，f’ _y 表示一新y軸比例因子，c’ _x 表示一新x軸主點，和c’ _y 表示y軸主點。

在此情況下，k₁、k₂、p₁和p₂表示為失真變數。

當假設一影像之尺寸係為N×M，u表示從1至N之一x軸像素指數。v表示從1至M之一y軸像素指數。左、右位址產生器11、12藉由得到對應於像素格式(1,1)至(N,M)的像素之新位址而進行如上所述之計算。

左插入器15，利用藉由左位址產生器11產生的像素之新位址和輸入作為一等值的左權重來插入暫存於左影像存儲器13之左影像。右插入器16，利用藉由右位址產生器12產生的像素之新位址和輸入作為一等值的右權重來插入暫存於右影像存儲器14之右 影像。

特別是，左插入器15接收自左位址產生器11之四個像素(如：上、下、左、右像素)之位址，以及權重資訊係被應用於該些像素之被接收的位址，因此得到該些對應像素之一平均值。右插入器16接收自右位址產生器12之四個像素(如：上、下、左、右像素)之位址，以及權重資訊係被應用於該些像素之被接收的位址，因此得到該些對應像素之一平均值。本發明之實施例中，該相同值係被提供至該左、右權重。然而，本發明不限於此，且其中該左和右權重彼此不同的情況也會發生。

圖3係藉由習知立體匹配系統之前置處理裝置之一修正後輸出影像之實例圖。圖4根據本發明之實施例，係藉由立體匹配系統之前置裝置，繪示一修正後輸出影像之實例圖。圖3和圖4分別繪示左、右影像。

如圖3、圖4所示，根據本發明實施例之前置處理裝置中，就算移除儲存權重資訊之非揮發記憶體，權重資訊可同樣地被提供，且與習知前置處理裝置相比，計算可被簡化。無論如何，由此可看出，藉由根據本發明實施例之前置處理裝置所得之修正後影像結果幾乎與藉由習知前置處理裝置所得之修正後影像結果相同。

雖然參考實施例之許多說明性實施例來描述實施例，但僅用以描述特定實施例而非限制本發明之範疇。熟悉此項技術者將可以理解，在本發明技術精神及所附申請專利範圍之範疇內，所主張之各種變化及修改為可能的。

10‧‧‧前置處理單元

11‧‧‧左位址產生器

12‧‧‧右位址產生器

13‧‧‧左影像存儲器

14‧‧‧右影像存儲器

15‧‧‧左插入器

16‧‧‧右插入器

20‧‧‧非揮發記憶體單元

21‧‧‧左列位置存儲器

22‧‧‧左行位置存儲器

23‧‧‧右列位置存儲器

24‧‧‧右行位置存儲器

100‧‧‧前置處理單元

110‧‧‧左位址產生器

120‧‧‧左權重產生器

130‧‧‧左影像非揮發記憶體

140‧‧‧左插入器

150‧‧‧右位址產生器

160‧‧‧右權重產生器

170‧‧‧右影像非揮發記憶體

180‧‧‧右插入器

200‧‧‧非揮發記憶體單元

210‧‧‧左列位置存儲器

220‧‧‧左行位置存儲器

230‧‧‧左列權重存儲器

240‧‧‧左行權重存儲器

250‧‧‧右列位置存儲器

260‧‧‧右行位置存儲器

270‧‧‧右列權重存儲器

280‧‧‧右行權重存儲器

圖1繪示習知立體匹配系統之前置處理裝置的配置圖。

圖2係根據本發明之實施例繪示立體匹配系統之前置裝置的配置圖。

圖3係藉由習知立體匹配系統之前置處理裝置之修正後輸出影像之實例圖。

圖4係根據本發明之實施例，係藉由立體匹配系統之前置裝置，繪示修正後輸出影像之實例圖。

10‧‧‧前置處理單元

11‧‧‧左位址產生器

12‧‧‧右位址產生器

13‧‧‧左影像存儲器

14‧‧‧右影像存儲器

15‧‧‧左插入器

16‧‧‧右插入器

20‧‧‧非揮發記憶體單元

21‧‧‧左列位置存儲器

22‧‧‧左行位置存儲器

23‧‧‧右列位置存儲器

24‧‧‧右行位置存儲器

Claims (16)

1. 一種前置處理裝置包含：一第一存儲器，儲存一立體攝影機之一座標資訊；以及一前置處理單元，利用該座標資訊來指定一像素之一新位址，並且利用該像素之該新位址來修正自該立體攝影機接收到的多個左、右影像。
2. 如申請專利範圍第1項所述之前置處理裝置，其中該第一存儲器包含：一第二存儲器，儲存在該座標資訊中之一左列位置；一第三存儲器，儲存在該座標資訊中之一左行位置；一第四存儲器，儲存在該座標資訊中之一右列位置；以及一第五存儲器，儲存在該座標資訊中之一右行位置。
3. 如申請專利範圍第2項所述之前置處理裝置，其中該第二存儲器至該第五存儲器包含非揮發記憶體。
4. 如申請專利範圍第1項所述之前置處理裝置，其中該前置處理單元包含：一位址產生器，利用該座標資訊來指定該影像之該像素之該新位址；以及 一插入器，利用該立體攝影機之一權重資訊和該像素之該新位址來插入該些左影像和該些右影像。
5. 如申請專利範圍第4項所述之前置處理裝置，其中該前置處理單元更包含一第六存儲器儲存自該立體攝影機接收到的該些左影像和該些右影像。
6. 如申請專利範圍第5項所述之前置處理裝置，其中該第六存儲器包含一揮發記憶體。
7. 如申請專利範圍第4項所述之前置處理裝置，其中該權重資訊被提供為對該插入器的一預設值。
8. 如申請專利範圍第7項所述之前置處理裝置，其中該該預設值約為0.25。
9. 如申請專利範圍第4項所述之前置處理裝置，其中該插入器應用該像素之該新位址的該權重資訊以得到該對應像素之一平均值。
10. 如申請專利範圍第2項所述之前置處理裝置，其中該前置處理單元包含：一左位址產生器，利用該左列位置和該左行位置來指定該左影像之該像素之一新位址；一右位址產生器，利用該右列位置和該右行位置來指定 該右影像之該像素之一新位址；一左插入器，利用該左影像之該像素之該新位址和該立體攝影機之一左權重資訊來插入該左影像；以及一右插入器，利用該右影像之該像素之該新位址和該立體攝影機之一右權重資訊來插入該右影像。
11. 如申請專利範圍第10項所述之前置處理裝置，其中該前置處理單元更包含：一第七存儲器儲存該左影像；以及一第八存儲器儲存該右影像。
12. 如申請專利範圍第11項所述之前置處理裝置，其中該第七和該第八存儲器包含揮發記憶體。
13. 如申請專利範圍第10項所述之前置處理裝置，其中該左權重資訊和該右權重資訊分別提供為對該左插入器和該右插入器的預設值。
14. 如申請專利範圍第13項所述之前置處理裝置，其中該預設值約為0.25。
15. 如申請專利範圍第10項所述之前置處理裝置，其中該左插入器應用至該左影像之該像素之該新位址的該左權重資訊得到該對應像素之一平均值。
16. 如申請專利範圍第10項所述之前置處理裝置，其中該右插入器應用至該右影像之該像素之該新位址的該右權重資訊得到該對應像素之一平均值。