TWI425445B

TWI425445B - 用於判斷一移動平台之自我運動量的方法以及偵測系統

Info

Publication number: TWI425445B
Application number: TW098132870A
Authority: TW
Inventors: Ming Hwei Perng; Chih Ting Chen
Original assignee: Nat Univ Tsing Hua
Priority date: 2009-09-29
Filing date: 2009-09-29
Publication date: 2014-02-01
Also published as: TW201112170A; US20110074927A1

Description

用於判斷一移動平台之自我運動量的方法以及偵測系統

本發明關於一種用於判斷一移動平台之自我運動量的方法以及偵測系統，並且特別地，本發明關於一種利用一組可移動且已校正之彩色數位雙相機為攝影裝置，並利用色彩資訊及特徵匹配等影像處理法，用於判斷一移動平台之自我運動量的方法以及偵測系統。

早期移動物體之偵測技術多用於監控系統，如大樓監控或是交通事故監控，係使用單相機放置在固定位置上，偵測是否有可疑的移動物體。

固定相機偵測移動物體常見有三種方法，分別是(1)背景消去法(Background subtraction)，(2)影像相減法(Frame Differencing Methods)，(3)光流法(Optical Flow Method)。

背景分離法修正：背景補償法近幾年為適應動態環境提出建立動態背景的方法，1997年Russel,S.等人提出利用高斯混合模型(Gaussian Mixture Model)，不斷地對背景更新。或可利用連續拍攝的影像算出相機的自我運動將背景更新，再和輸入影像相減得到移動物體。

影像相減法修正：計算出相機的自我運動之後直接對t_n-1 拍攝到的影像進行補償，因為背景沒有運動，所以在影像上的運動和相機的運動一致，經過補償後，t_n-1 和t_n 時間兩影像背景完全重疊，利用影像相減法可將背景完全減去；而移動物體的投影在影像上的運動和相機的運動並不一致，相減後會殘留下來，而找到移動物體。

光流法修正：類似影像相減法的修正，先估算出相機自我運動補償t_n-1 拍攝到的影像，再計算出影像中每一個像素的光流場，分析光流之後可得到移動物體。

然而，無論是哪一種偵測方法，如欲運用到移動平台上，都必須藉由相機自我運動的補償來達成。由於需將偵測系統架設於移動平台上，背景不再如同固定相機拍攝的連續影像幾乎是相同的，而是不斷地隨著時間變化，所以上述之偵測方法都需要作修正。

因此，本發明之一範疇在於提供一種用於判斷一移動平台之自我運動量的方法，用以解決上述的問題。

根據一具體實施例，本發明之方法包含下列步驟：首先，利用該第一相機分別於一第一時間以及一第二時間取得一第一左影像以及一第二左影像，並利用該第二相機分別於該第一時間以及該第二時間取得一第一右影像以及一第二右影像；接著，分別分割該第一左影像成為複數個第一左影像區域，分割該第一右影像成為複數個第一右影像區域，分割該第二左影像成為複數個第二左影像區域，並分割該第二右影像成為複數個第二右影像區域。

進一步，分別比對該等第一左影像區域和該等第一右影像，該等第二左影像區域和該等第二右影像區域，以及該等第一右影像區域和該等第二右影像區域，以找出對應該第一左影像、該第一右影像、該第二左影像以及該第二右影像之複數個共同區域；之後，於該共同區域內選擇N個特徵點，其中N係一正整數；接著，利用該N個特徵點計算該第一時間之一第一深度資訊以及該第二時間之一第二深度資訊；最後，根據該第一深度資訊以及該第二深度資訊判斷該移動平台於該第一時間與該第二時間之間的自我運動量。

本發明之另一範疇在於提供一種偵測系統，用以判斷一移動平台之自我運動量。

根據一具體實施例，本發明之偵測系統包含一移動平台、一第一相機、一第二相機以及一處理模組。該第一相機設置於該移動平台上，分別於一第一時間以及一第二時間取得一第一左影像以及一第二左影像；該第二相機設置於該移動平台上，分別於該第一時間以及該第二時間取得一第一右影像以及一第二右影像。

進一步，該處理模組分別連接該第一相機以及該第二相機，用以接收該第一左影像、該第二左影像、該第一右影像以及該第二右影像，該處理模組分別分割該第一左影像成為複數個第一左影像區域，分割該第一右影像成為複數個第一右影像區域，分割該第二左影像成為複數個第二左影像區域，並分割該第二右影像成為複數個第二右影像區域；分別比對該等第一左影像區域和該等第一右影像區域，該等第二左影像區域和該等第二右影像區域，以及該等第一右影像區域和該等第二右影像區域，以找出對應該第一左影像、該第一右影像、該第二左影像以及該第二右影像之複數個共同區域；於該共同區域內選擇N個特徵點，其中N係一正整數；利用該N個特徵點計算該第一時間之一第一深度資訊以及該第二時間之一第二深度資訊；根據該第一深度資訊以及該第二深度資訊判斷該移動平台於該第一時間與該第二時間之間的自我運動量。

相較於先前技術，本發明之判斷一移動平台之自我運動量的方法以及偵測系統，採用可獲得深度資訊的雙相機來計算相機的自我運動，目的是能在深度劇烈變化的場景中也可以作到正確的估測。然而，採用雙相機需要做雙影像的對應。為了使雙影像對應的速度加快，先作速度較快的區域對應，接著在對應區域當中搜尋對應點，並加入極線幾何大幅減少了搜尋範圍。

而針對場景中含有移動物體以及點對應的部份出現的錯誤，提出truncated method，經由有限次數的疊代排除移動物體，使得算出來的自我運動量更精確，並在自我運動估測的演算法相對於既有的方法做改進，於雙相機擷取特徵和配對提出適合的方法，來加快計算速度，增加本發明之演算法的實用價值。因此，本發明之判斷一移動平台之自我運動量的方法以及偵測系統，在監控系統市場中有很大的產業應用潛力。

關於本發明之優點與精神可以藉由以下的創作詳述及所附圖式得到進一步的瞭解。

請一併參見圖一、圖二以及圖三。圖一係繪示根據本發明之一具體實施例之用於判斷一移動平台之自我運動量的方法的流程圖；圖二係繪示根據本發明之一具體實施例之色彩分割的流程圖；而圖三則係繪示根據本發明之一具體實施例之比對影像的示意圖。

根據一具體實施例，該方法包含下列步驟：首先，執行步驟S10，利用一第一相機分別於一第一時間A以及一第二時間B取得一第一左影像10以及一第二左影像16，並利用一第二相機分別於該第一時間A以及該第二時間B取得一第一右影像12以及一第二右影像14。

進一步，執行步驟S11，分別分割該第一左影像10成為複數個第一左影像區域，分割該第一右影像12成為複數個第一右影像區域，分割該第二左影像16成為複數個第二左影像區域，並分割該第二右影像14成為複數個第二右影像區域。

於實際操作上，步驟S11係色彩分割該第一左影像10、該第一右影像12、該第二左影像16以及該第二右影像14。值得一提的，步驟S11並非要作精細正確無誤的分割，而是強調快速，並且避免分割不足(under segmentation)，但可接受過度分割(over segmentation)。

請進一步參閱圖二。如圖二所示，色彩分割的方法包含下列步驟：首先，執行步驟S20，輸入該些影像；接著，執行步驟S21，進行高斯濾波；執行步驟S22，轉換該些影像至HIS色度空間；接著，執行步驟S23，判斷像素飽和度是否大於門檻值t1，若是，則執行步驟S24，使用色度值作影像分割；若否，則執行步驟S24’，使用亮度值作影像分割。

進一步，執行步驟S25，計算每個分割區域的面積；接著，判斷每個分割區域是否介於門檻值t2以及t3之間，如步驟S26所示；分割區域之面積過大或過小皆不利於後續的之影像比對，因此，若步驟S26為是，則執行步驟S27，色彩分割該些區域；若否，則執行步驟S27’，刪除該些不適合作比對的區域。

接著，執行步驟S12，分別比對該等第一左影像區域和該等第一右影像區域，該等第二左影像區域和該等第二右影像區域，以及該等第一右影像區域和該等第二右影像區域，以找出對應該第一左影像10、該第一右影像12、該第二左影像16以及該第二右影像14之一共同區域。

進一步，如圖三所示，該第一左影像10以及該第一右影像12加入極線(epipolar line)，如此若要尋找該第一左影像10上之一特徵點102在該第一右影像12上的對應點，只需沿著極線120搜尋即可，大幅降低了搜尋範圍以及計算量。此係採用離散極線原理，可將尋找左右影像之對應點的範圍從二維簡化為一維的搜尋。離散極線原理係一習知技術，在此不再贅述。

此外，該第一左影像10以及該第一右影像12是在同一時間(第一時間A)拍攝的兩影像，因此可利用上述離散極線原理加速比對時間。然而，該第一右影像和該第二右影像具有一時間差，無法採用離散極線原理。因此，本發明利用一搜尋視窗(searching window)126，大幅降低了搜尋範圍以及計算量。

於本具體實施例中，步驟S12係比對該等第一左影像區域、第一右影像區域、第二左影像區域以及第二右影像區域之全域幾何限制、區域幾何特性以及色彩性質。其中，該全域幾何限制包含極線限制以及區域間相對位置限制；該區域幾何特性包含邊緣、面積、形心、寬度、高度、深寬比以及凸形外殼(convex hull)；該色彩性質包含區域邊緣之色彩梯度值以及區域內部之色彩統計值。

進一步，執行步驟S13，於該共同區域內選擇N個特徵點，其中N係一正整數。於本具體實施例中，步驟S12係採用一固定間隔選取該N個控制點，例如，以10pixels為一固定間隔選取該等控制點。然而，於實際應用上，該N個控制點可依據經驗累積、拍攝場景、影像像素、特殊需求等因素，採用非固定間隔選取控制點，並不以此實施例為限。

接著，執行步驟S14，利用該N個特徵點計算該第一時間A之一第一深度資訊以及該第二時間B之一第二深度資訊。其中該深度資訊係該N個控制點與該第一相機及該第二相機之間的距離。於實際應用上，若所選取的特徵點在場景中是固定不動的，得到此特徵點在前後時間相對於一座標系原點的改變量，就相當於該移動平台相對於此特徵點在三維空間中位置移動的向量，也就是該移動平台的自我運動。

最後，執行步驟S15，根據該第一深度資訊以及該第二深度資訊判斷該移動平台於該第一時間A與該第二時間B之間的自我運動量。

於本具體實施例中，該移動平台的自我運動參數包括旋轉矩陣R和移動矩陣T，利用最小平方誤差法計算出該移動平台的旋轉矩陣R和移動矩陣T，將結果比對特徵點位置的變化。去除差異過大的特徵點(如圖三的特徵點124，即為一移動物體5上之特徵點，應予以去除)，再重新使用最小平方誤差法計算一次，經過有限數次疊代算出旋轉矩陣R和移動矩陣T的最佳解。

請參見圖四，圖四係繪示根據本發明之一具體實施例之偵測系統3的示意圖。

根據一具體實施例，本發明之偵測系統3包含一移動平台30、一第一相機32、一第二相機34以及一處理模組36。

進一步，該第一相機32設置於該移動平台30上，該第一相機32分別於一第一時間以及一第二時間取得一第一左影像320以及一第二左影像320’；而該第二相機34設置於該移動平台30上，該第二相機34分別於該第一時間以及該第二時間取得一第一右影像340以及一第二右影像340’。

進一步，該處理模組36分別連接該第一相機32以及該第二相機34，用以接收該第一左影像320、該第二左影像320’、該第一右影像340以及該第二右影像340’。

該處理模組36分別分割該第一左影像320成為複數個第一左影像區域，分割該第一右影像340成為複數個第一右影像區域，分割該第二左影像320’成為複數個第二左影像區域，並分割該第二右影像340’成為複數個第二右影像區域；分別比對該等第一左影像區域和該等第一右影像，該等第二左影像區域和該等第二右影像區域，以及該等第一右影像區域和該等第二右影像區域，以找出對應該第一左影像320、該第一右影像340、該第二左影像320’以及該第二右影像340’之複數個共同區域；於該共同區域內選擇N個特徵點，其中N係一正整數；利用該N個特徵點計算該第一時間之一第一深度資訊以及該第二時間之一第二深度資訊；根據該第一深度資訊以及該第二深度資訊判斷該移動平台30於該第一時間與該第二時間之間的自我運動量。

綜合上述，本發明採用雙相機來估測移動平台之自我運動，主要的原因在於雙相機可以得到深度資訊，而深度資訊是本發明不可或缺的資訊。雙相機提供深度資訊，關鍵在於要先做正確的左右影像對應(stereo image correspondence)。使用雙相機時，採用離散極線(discrete epipolar)原理可將尋找左右影像對應點的範圍從二維簡化至一維的搜尋。

此外，考慮到即時運算的可能性，以及本申請案主要目的在於快速求出自我運動，因此，在雙相機對應的比對法必須善用計算量較少的局部比對法來提供深度資訊，進而利用此資訊計算較精確的自我運動，以及依深度所做的自我運動補償。

相較於先前技術，本發明之判斷一移動平台之自我運動量的方法以及偵測系統，採用可獲得深度資訊的雙相機來計算相機的自我運動，目的是能在深度劇烈變化的場景中也可以作到正確的估測。因此，本發明之判斷一移動平台之自我運動量的方法以及偵測系統，在監控系統市場中有很大的產業應用潛力。

藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。因此，本發明所申請之專利範圍的範疇應該根據上述的說明作最寬廣的解釋，以致使其涵蓋所有可能的改變以及具相等性的安排。

S10～S15、S20～S27．．．流程步驟

A．．．第一時間

B．．．第二時間

10、320．．．第一左影像

12、340．．．第一右影像

14、340’．．．第二右影像

16、320’．．．第二左影像

102、124．．．特徵點

120．．．極線

126．．．搜尋視窗

5．．．移動物體

3．．．偵測系統

30．．．移動平台

32．．．第一相機

34．．．第二相機

36．．．處理模組

圖一係繪示根據本發明之一具體實施例之用於判斷一移動平台之自我運動量的方法的流程圖。

圖二係繪示根據本發明之一具體實施例之色彩分割的流程圖。

圖三係繪示根據本發明之一具體實施例之比對影像的示意圖。

圖四係繪示根據本發明之一具體實施例之偵測系統的示意圖。

S10～S15．．．流程步驟

Claims

一種用於判斷一移動平台之自我運動量的方法，包含下列步驟：(a)利用一第一相機分別於一第一時間以及一第二時間取得一第一左影像以及一第二左影像，並利用一第二相機分別於該第一時間以及該第二時間取得一第一右影像以及一第二右影像；(b)分別分割該第一左影像成為複數個第一左影像區域，分割該第一右影像成為複數個第一右影像區域，分割該第二左影像成為複數個第二左影像區域，並分割該第二右影像成為複數個第二右影像區域；(c)分別比對該等第一左影像區域和該等第一右影像區域，該等第二左影像區域和該等第二右影像區域，以及該等第一右影像區域和該等第二右影像區域，以找出對應該第一左影像、該第一右影像、該第二左影像以及該第二右影像之複數個共同區域；(d)於該共同區域內選擇N個特徵點，其中N係一正整數；(e)利用該N個特徵點計算該第一時間之一第一深度資訊以及該第二時間之一第二深度資訊；以及(f)根據該第一深度資訊以及該第二深度資訊判斷該移動平台於該第一時間與該第二時間之間的自我運動量；該移動平台的自我運動參數包括旋轉矩陣R和移動矩陣T，利用最小平方誤差法計算出該移動平台的旋轉矩陣R和移動矩陣T，將結果比對特徵點位置的變化，去除差異過大的特徵點，再重新使用最小平方誤差法計算一次，經過有限數次疊代算出旋轉矩陣R和移動矩陣T的最佳解答。
如申請專利範圍第1項所述之方法，其中步驟(b)係色彩分割該第一左影像、該第一右影像、該第二左影像以及該第二右影像。
如申請專利範圍第1項所述之方法，其中步驟(c)係比對該等第一左影像區域、第一右影像區域、第二左影像區域以及第二右影像區域之全域幾何限制、區域幾何特性以及色彩性質。
如申請專利範圍第3項所述之方法，其中該全域幾何限制包含極線限制以及區域間相對位置限制。
如申請專利範圍第3項所述之方法，其中該區域幾何特性包含邊緣、面積、形心、寬度、高度、深寬比以及凸形外殼(convex hull)。
如申請專利範圍第3項所述之方法，其中該色彩性質包含區域邊緣之色彩梯度值以及區域內部之色彩統計值。
如申請專利範圍第1項所述之方法，其中步驟(d)係採用一固定間隔選取該N個控制點。
如申請專利範圍第1項所述之方法，其中該深度資訊係該N個控制點與該第一相機及該第二相機之間的距離。
一種偵測系統，包含：一移動平台；一第一相機，設置於該移動平台上，該第一相機分別於一第一時間以及一第二時間取得一第一左影像以及一第二左影像；一第二相機，設置於該移動平台上，該第二相機分別於該第一時間以及該第二時間取得一第一右影像以及一第二右影像；以及一處理模組，分別連接該第一相機以及該第二相機，用以接收該第一左影像、該第二左影像、該第一右影像以及該第二右影像，該處理模組分別分割該第一左影像成為複數個第一左影像區域，分割該第一右影像成為複數個第一右影像區域，分割該第二左影像成為複數個第二左影像區域，並分割該第二右影像成為複數個第二右影像區域；分別比對該等第一左影像區域和該等第一右影像，該等第二左影像區域和該等第二右影像區域，以及該等第一右影像區域和該等第二右影像區域，以找出對應該第一左影像、該第一右影像、該第二左影像以及該第二右影像之複數個共同區域；於該共同區域內選擇N個特徵點，其中N係一正整數；利用該N個特徵點計算該第一時間之一第一深度資訊以及該第二時間之一第二深度資訊；根據該第一深度資訊以及該第二深度資訊判斷該移動平台於該第一時間與該第二時間之間的自我運動量；該移動平台的自我運動參數包括旋轉矩陣R和移動矩陣T，利用最小平方誤差法計算出該移動平台的旋轉矩陣R和移動矩陣T，將結果比對特徵點位置的變化，去除差異過大的特徵點，再重新使用最小平方誤差法計算一次，經過有限數次疊代算出旋轉矩陣R和移動矩陣T的最佳解答。
如申請專利範圍第9項所述之偵測系統，其中該處理模組係色彩分割該第一左影像、該第一右影像、該第二左影像以及該第二右影像。
如申請專利範圍第9項所述之偵測系統，其中該處理模組係比對該等第一左影像區域、第一右影像區域、第二左影像區域以及第二右影像區域之全域幾何限制、區域幾何特性以及色彩性質。
如申請專利範圍第11項所述之偵測系統，其中該全域幾何限制包含極線限制以及區域間相對位置限制。
如申請專利範圍第11項所述之偵測系統，其中該區域幾何特性包含邊緣、面積、形心、寬度、高度、深寬比以及凸形外殼(convex hull)。
如申請專利範圍第11項所述之偵測系統，其中該色彩性質包含區域邊緣之色彩梯度值以及區域內部之色彩統計值。
如申請專利範圍第9項所述之偵測系統，其中該處理模組係採用一固定間隔選取該N個控制點。
如申請專利範圍第9項所述之偵測系統，其中該深度資訊係該N個控制點與該第一相機及該第二相機之間的距離。