TWI498526B - Environment depth measurement method and its image acquisition device - Google Patents

Description

環境深度量測方法及其影像擷取裝置

    本發明係有關於一種量測方法及其裝置，特別是指一種環境深度量測方法及其影像擷取裝置。

    近年來，三維量測被廣泛地運用在各個領域，因而發展出諸多量測方法，其大致可分成接觸式掃描、非接觸主動式掃描與非接觸被動式掃描等三大類。其中，接觸式掃描係利用一三維掃描儀經觸碰待測物之物體表面的掃描方式，以計算物體之表面輪廓深度，例如:座標測量機（CMM, Coordinate Measuring Machine）即為典型的接觸式三維掃描儀。一般而言，接觸式掃描所得到的量測結果相當精確，常被用於工程製造產業，然而，接觸式掃描在掃瞄過程中必須接觸物體表面，待測物有遭到接觸表面之探針破壞損毀之可能，因此不適用於高物價之物件例如:古文物、遺跡等的重建作業。再者，相較於其他方法，接觸式掃描需要較長的作業時間，且接觸式掃描無法量測軟性材質的表面。

    非接觸主動式掃描是指量測儀器需發射光束或電子束至物體表面，以進行三維量測，而獲得三維資訊，其中三維資訊之量測儀器可藉由物體表面所反射之光束或能量用以計算物體之三維空間資訊，一般量測儀器採用發射光束至物體表面，例如:可見光、紅外線、高能光束、超音波與 X 射線。但非接觸主動式掃描所投射之能量或光束往往受到物體表面之材質差異所衍生之多重反射或散射，而影響到量測儀器所接收之反射能量，因而造成量測資訊有誤，且投射能量常常有其物理上的限制，因而導致量測結果受到影響，例如:戶外環境中充斥各種物體及人體所散發之紅外線，因此一般採用紅外線感測器之量測儀器不在戶外環境中進行量測。

    採用非接觸被動式掃描之量測儀器本身並不發射任何能量或光束，而是接收由待測物之物體表面所反射之光線，例如:待測物周遭的光線，以進行三維資訊之量測而達到預期效果。由於一般環境中相當容易取得可見光並可供用於量測，因此，大部分非接觸被動式掃描之量測儀器皆以量測環境中的可見光為主。因為在大部分情況下，採用非接觸被動式掃描技術之量測儀器並不需要規格太特殊的硬體支援，所以這類被動式量測產品往往相當便宜，例如立體成像系統就是該類別的重要方法之一，也就是3D攝影等等諸如此類。

    傳統的立體成像系統使用兩架並列的攝影機，平行注視待重建的物體，以用於重建立體影像。此方法在概念上類似於人類藉由雙眼感知的影像內容匹配來推算影像之場景深度，若已知兩個攝影機之間的距離與其焦距長度，而擷取的左右兩張影像的內容又能成功匹配，影像之深度資訊則可由三角測量得知。如第一圖所示，以一個理想的雙目視覺系統(binocular vision system)為例，其左影像平面(π_l )、右影像平面(π_r )為共平面(coplanar)，其中O_l 、O_r 分別為左右相機的投影中心，p_l 、p_r 、q_l 、q_r 為三維空間中點P和Q分別投影至左右影像平面的投影點。若假設(p_l 、q_r )和(q_l 、p_r )是所求出的對應點對，則會得到在圖中的P’和Q’點，因而造成對應錯誤的情況發生。因此左右影像的對應點關係著結果的準確性，如果對應點產生錯誤，則所獲得的三維位置就會受到此一錯誤對應的影響。

    雖然非接觸被動式掃描之量測方式所需之設備成本，較低廉於上述的其他量測方式所需之設備成本，但非接觸被動式掃描之量測方式通常需要利用多台攝影機擷取影像，以用於環境深度之量測，並解決對應點發生錯誤而導致之三維資訊計算的誤差。

    有鑑於此，本發明提出一個基於單一攝影機的三維資訊量測系統。在此系統中，基於物體在世界空間不變的原理，藉由擷取多張不同視角的影像，再計算不同視角影像的特徵點，接著依據複數影像中的特徵點計算視差，得到視差後就可利用此視差資訊與影像擷取裝置之影像參數推導出深度資訊，以此達到以單一攝影機取代多台攝影機的效果並取得更為寬廣的環境深度資訊。

    本發明之主要目的，在於提供一種環境深度量測方法及其影像擷取裝置，其利用不同視角之影像所包含之特徵點求得視差，再藉此進一步求得深度資訊。

    本發明之次要目的，在於提供一種環境深度量測方法及其影像擷取裝置，其提供可旋轉之影像擷取裝置，以獲得不同視角之影像，此一利用旋轉之影像擷取裝置可提供比水平並列架設之影像擷取裝置更為便利的方式來進行環境深度資訊的取得。

    本發明係提供一種環境深度量測方法，其先依據一目標物件之不同視角擷取複數影像至一影像擷取裝置，然後擷取該些影像之複數特徵點，之後，依據該些特徵點運算該些影像之視差資訊，接續依據該些影像之視差資訊與該影像擷取單元之一影像參數與影像擷取之相對位置，以獲得複數景深資訊，最後依據該些景深資訊運算出一環境深度資訊。也就是說本發明不須同步使用多個影像擷取裝置，即可得到所需的深度資訊，且深度資訊的涵蓋範圍會比一般的影像擷取裝置所涵蓋的場景較為寬廣。

    本發明提供一種用於環境深度量測之影像擷取裝置，其包含一影像擷取單元、一基座與一旋轉構件，基座藉由一容置空間容置影像擷取單元，旋轉構件連接於基座上，該影像擷取裝置設置於該旋轉構件上，且依據該旋轉構件之一旋轉中心位於該旋轉構件之一側；影像擷取單元經由旋轉至不同影像擷取位置而擷取一目標物件之複數影像，該些影像對應於該目標物件之不同視角。藉此提供單一影像擷取裝置用以擷取不同視角之影像用以進行接續之運算。

10．．．深度資訊量測系統

12．．．影像擷取裝置

122．．．基座

124．．．旋轉構件

126．．．影像擷取單元

128．．．固定支架

130．．．旋轉樞軸

14．．．運算控制裝置

142．．．運算處理單元

144．．．記憶體單元

146．．．儲存單元

148．．．連接單元

B．．．基線

C．．．旋轉中心

f．．．焦距

E．．．水平視角

L．．．光軸

π_l ．．．左影像平面

π_r ．．．右影像平面

O_l ．．．投影中心

O_r ．．．投影中心

P．．．空間點

P’．．．對應點

p_l ．．．投影點

p_r ．．．投影點

P1．．．第一影像

P2．．．第二影像

Po1．．．影像擷取位置

Po2．．．影像擷取位置

Po3．．．影像擷取位置

Po4．．．影像擷取位置

Q．．．空間點

Q’．．．對應點

q_l ．．．投影點

q_r ．．．投影點

T．．．特徵點

第一圖為習知雙視覺系統之示意圖；
第二圖為本發明之一實施例之方塊圖；
第三圖為本發明之一實施例之部分結構示意圖；
第四圖為第三圖之側視圖；
第五圖為本發明之一實施例之流程圖；
第六圖為本發明之一實施例之擷取特徵點之示意圖；
第七圖為本發明之一實施例之匹配特徵點之示意圖；
第八圖為本發明之一實施例之三角定位之示意圖；以及
第九圖為本發明之一實施例之旋轉影像擷取位置之示意圖。

    為使　貴審查委員對本發明之特徵及所達成之功效有更進一步之瞭解與認識，謹佐以較佳之實施例及配合詳細之說明，說明如後：

    請參閱第二圖至第四圖，其為本發明之一實施例之的方塊圖與部分結構示意圖。如第二圖所示，本發明之深度資訊量測系統10係包含一影像擷取裝置12與一運算控制裝置14。影像擷取裝置12設有一基座122、一旋轉構件124與一影像擷取單元126。運算控制裝置14設有一運算處理單元142、一記憶體單元144、一儲存單元146與一連接單元148。此外，如第三圖及第四圖所示，旋轉構件124更設有一固定支架128，旋轉構件124與基座122之件更設有一旋轉樞軸130。

    旋轉構件124之旋轉中心C平行於影像擷取單元126所面向之一光軸L，旋轉構件124設置於基座122上，影像擷取單元126設置於旋轉構件124上，且影像擷取單元126電性連接運算控制裝置14之連接單元148，例如:通用序列匯流排連接埠(Universal Serial Bus port，USB port)、IEEE1394匯流排連接埠、高清晰多媒體介面連接埠(High Definition Multimedia Interface port，HDMI port)。運算處理單元142、記憶體單元144與儲存單元146以及連接單元148係相互電性連接，也就是說運算處理單元142經由連接單元148接收影像擷取單元126所擷取之影像並可儲存於儲存單元146中。

    本實施例係以運算控制裝置14控制旋轉構件124旋轉，因此，連接單元148更連接至旋轉構件124。運算控制裝置14經連接單元148接收影像擷取單元126所擷取之影像後，對所接收之影像進行匹配運算而獲得對應不同視角之影像的複數視差資訊，並藉由該些視差資訊獲得複數景深資訊，以進一步求得環境深度資訊。

    復參閱第四圖，基座122為一直角狀支架，藉由一旋轉樞軸130穿設於基座122之一側以及旋轉構件124之旋轉中心C，以讓旋轉構件124依據旋轉中心C旋轉，而讓影像擷取單元旋轉至不同影像擷取位置，因而擷取不同視角下的複數影像，其中影像擷取單元126所面向之光軸L基於不同影像擷取位置而隨之移動，因而造成不同視角的影像之間有些許偏移的位移差。

    請參閱第五圖，其為本發明之一較佳實施例之流程圖。如圖所示，本發明之環境深度量測方法之步驟包含如下:

    步驟S100:依據不同視角擷取影像至影像擷取單元；

    步驟S105:依影像擷取單元的位置調整影像；

    步驟S110:擷取影像之特徵點；

    步驟S120:依據特徵點運算影像之視差資訊；

    步驟S130:依據影像之視差資訊以及影像擷取單元之影像參數與影像擷取之相對應位置獲得景深資訊；以及

    步驟S140:依據景深資訊運算出環境深度資訊。

    於步驟S100中，影像擷取單元126擷取至少一目標物件於不同視角下的影像，本實施例係以影像擷取單元126依據旋轉構件124之旋轉中心C旋轉一周，而在不同影像擷取位置擷取目標物件之複數影像，以傳送至運算控制裝置14進行後續處理，其中旋轉中心C與光軸L之間具有不為0之間距，因此，影像擷取單元126並非放置在旋轉中心上旋轉，影像擷取單元126轉動時的各影像擷取位置之光軸L平行於旋轉中心C；於步驟S105中，運算控制裝置14依據影像擷取單元126所擷取之該些影像的影像擷取位置調整該些影像的水平視角至相對應之水平視角，以供該些影像可在相對應之水平視角進行運算，例如:依循其中二影像之光學投影中心相連接而構成一基線，以調整該二影像之水平視角至對應該基線的水平視角。

    於步驟S110中，如第六圖所示，本實施例以其中二不同視角之影像進行說明，運算控制裝置14之運算處理單元142係搭配記憶體單元144執行一特徵點運算程式，其採用至少一演算法對影像擷取單元126所擷取之第一影像P1與第二影像P2擷取所需之特徵點T，其中目標物件O1、O2、O3分別具至少一特徵點T，例如:採用尺度不變特徵轉換(Scale-invariant feature transform，SIFT)演算法、加速穩健特徵(Speeded Up Robost Features，SURF)演算法或方向梯度直方圖（Histogram of Oriented Gradient，HOG）描述子或上述之任意組合，對第一影像P1與第二影像P2擷取所需之特徵點T；於步驟S120中，如第七圖所示，運算控制裝置14依據步驟S110所得之特徵點T對該些影像以二張為一組分別交叉比對而獲得該些影像之視差資訊，本實施例係以其中第一影像P1與第二影像P2作為舉例說明，其中第一影像P1之該些特徵點T分別經由其影像特性，例如：梯度與鄰域像素的差異值等，而與第二影像P2之該些特徵點T相互匹配，因而運算出特徵點於不同視角下的位移偏移量，以獲得該些影像之視差資訊。

    承接上述，於步驟S130中，運算控制裝置14依據步驟S130所獲得之視差資訊搭配影像擷取單元126之影像參數進行運算，以求得該些影像所對應之複數景深資訊；於步驟S140中，運算控制裝置14依據步驟S130所得之該些景深資訊進行運算，進一步求得該些影像所對應之一環境深度資訊。

    本發明之環境深度量測無須架設多台影像擷取裝置，再者，本發明之運算控制單元14係藉由第一影像P1與第二影像P2的部分特徵點T求取第一影像P1與第二影像P2於相匹配的情況下，特徵點T的位移偏移量，以匹配出視差資訊進而獲得深度資訊。如第八圖所示，運算處理裝置14於一三維系統進行運算，並以P = (X, Y, Z)點的位置可藉由下式獲得：

                    (1)

    其中Z是指三維的深度，f為相機焦距長，b為兩相機的基線(baseline，即為左右相機兩投影中心的距離)，d等於(x_l -x_r )為視差(disparity)。當獲得Z方向的深度資訊後，我們可以由針孔相機的透視投影公式推導出三維點在X和Y方向的位置，其公式分別為：

                   (2)

                    (3)

    如第九圖所示，藉由旋轉構件124之旋轉使影像擷取單元126得到不同視角的複數影像。在轉動時，其影像擷取單元126之位置為固定在垂直於光軸的平面上，因此任意兩個位置之間可輕易取得視差資訊，也就是利用旋轉的角度資訊中計算兩兩相鄰影像間的基線b，並將相鄰影像旋轉為同一水平視角上，我們可從兩張同一水平視角的影像中計算其視差，得到視差後就可利用數學式(1)、(2)、(3)推導出深度資訊。影像擷取單元126在不同影像擷取位置(Po1、Po2、Po3、Po4)會呈現不同水平視角E，也就是英文字母E的轉動角度，虛線b為攝影機相鄰兩個位置間的基線(baseline)。影像擷取單元126擷取不同位置之影像後，運算控制裝置14利用同軸幾何(epipolar geometry)的概念，進一步地將影像與相對應影像調整(rectify)至同一水平視角上，也就是兩張影像的水平掃描線與基線平行，之後即可運用立體匹配演算法算出對應點與整張影像的視差資訊，其如第六圖與第七圖所示。

    例如：我們與圖六的P1得到一特徵點位置(60,10)並該特徵點對應於P2中的一特徵點(40,10)，因此我們可以得到該視差d為60-40=20，且我們在近一步地把已知的影像參數焦距:2000mm與影像擷取裝置之位置差b(Baseline):30cm帶入數學式(1)，即可得到該點的環境深度資訊Z為 。

    本實施例係以其中四個影像擷取位置作為舉例說明，但本發明不限於此，在旋轉時如果取樣（拍攝圖像）的頻率越高，相鄰兩張影像所涵蓋的共同場景區域則越廣，而所能計算深度資訊的範圍也就越大。由於此方法是藉由旋轉影像擷取單元126一圈來得到深度資訊，因此本發明之環境深度量測方法最後得到的深度資訊範圍會比一般的雙目視覺系統所涵蓋的場景還多。

    綜上所述，本發明為一種環境深度量測方法及其影像擷取裝置，其提供一影像擷取裝置針對一旋轉中心旋轉至不同影像擷取位置而擷取至少一目標物件於不同視角之複數影像，並藉由不同視角之該些影像獲得複數視差資訊，以進一步獲得景深資訊，進而依據景深資訊獲得環境深度資訊。

    雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10．．．深度資訊量測系統

12．．．影像擷取裝置

122．．．基座

124．．．旋轉構件

126．．．影像擷取單元

14．．．運算控制裝置

142．．．運算處理單元

144．．．記憶體單元

146．．．儲存單元

148．．．連接單元

Claims (9)

1. 一種環境深度量測方法，其步驟包含:
   旋轉一影像擷取單元，使該影像擷取單元轉動時的各影像擷取位置之光軸平行於一旋轉中心，以取得一目標物件之不同視角，並依據該目標物件之該不同視角擷取複數影像至該影像擷取單元；
   擷取該些影像之複數特徵點；
   依據該些特徵點運算該些影像之視差資訊；
   依據該些影像之視差資訊與該影像擷取單元之一影像參數獲得複數景深資訊；以及
   依據該些景深資訊運算出一環境深度資訊。
2. 如申請專利範圍第1項所述之環境深度量測方法，其中於依據一目標物件擷取複數影像至一影像擷取裝置之步驟中，該旋轉中心與該光軸平行且兩者之間具有不為零的間距，使該影像擷取單元依據該旋轉中心旋轉。
3. 如申請專利範圍第1項所述之環境深度量測方法，更包含:
   調整該些影像之相對水平視角。
4. 如申請專利範圍第3項所述之環境深度量測方法，其中該些影像於經調整相對水平視角後，該些特徵點於該些影像之間具有複數水平位移差異。
5. 如申請專利範圍第1項所述之環境深度量測方法，其中於擷取該些影像之複數特徵點之步驟中，其係採用尺度不變特徵轉換(Scale-invariant feature transform，SIFT)演算法、加速穩健特徵(Speeded Up Robost Features，SURF)演算法或方向梯度直方圖（Histogram of Oriented Gradient，HOG）描述子或角點偵測(Corner Detection)法，以獲得該些影像之該些特徵點。
6. 如申請專利範圍第1項所述之環境深度量測方法，其中於依據該些特徵點運算該些影像之視差資訊之步驟中，其係依據相鄰之二影像之特徵點相互比較，並運算該些特徵點之位移差距，以產生該些影像之視差資訊。
7. 如申請專利範圍第6項所述之環境深度量測方法，其中該些特徵點之位移差距係對應於該影像擷取單元於不同影像擷取位置之間距。
8. 一種用於環境深度量測之影像擷取裝置，其包含:
   一基座；以及
   一旋轉構件，其設置該基座上，該旋轉構件之旋轉中心平行於一光軸；以及
   一影像擷取單元，固設於該旋轉構件之一側，該影像擷取單元面向該光軸，該影像擷取單元依據該旋轉構件之旋轉中心旋轉至複數影像擷取位置，以依據該些影像擷取位置而擷取至少一目標物件於不同視角之複數影像。
9. 如申請專利範圍第8項所述之影像擷取裝置，其中該些影像分別具複數特徵點，該些特徵點於不同影像上之位移差距係對應於該影像擷取單元於不同影像擷取位置之間距。