TWI579776B

TWI579776B - 利用影像擷取裝置給定一全域場景影像之方法

Info

Publication number: TWI579776B
Application number: TW104135311A
Authority: TW
Inventors: 黃吉宏; 陳永祥; 王偉中
Original assignee: 財團法人國家實驗研究院
Priority date: 2015-10-27
Filing date: 2015-10-27
Publication date: 2017-04-21
Also published as: TW201715440A

Description

利用影像擷取裝置給定一全域場景影像之方法

本發明係一種擷取全域場景影像的方法。更特定言之，本發明係利用一共圓擬合計算而給定多影像裝置之位置與方向的利用影像擷取裝置給定一全域場景影像之方法，可應用於量測多視角、大範圍區域位移及應變等相關應用領域上，並可被應用於一全域安全監控系統上。

數位影像關係法早在1980 年代被開發展出來，其技術包含：對所取得之數位影像值做插值法、及對所選取之子影像大小對收殮時機和準確性的影響等。數位影像關係法陸續被應用於各種應用力學上，如表面輪廓等之量測上，並因此有搭配數位影像法建立之自動量測系統，亦有應用於量測大應變率表面的發展。

目前，以非接觸式影像技術量測一結構體之形變的技術相當普及，其可用以量測物體全域表面之形變，其一般具體方式為利用兩部攝影機構成一量測實體架構，再求得一對應的應力量測結果，即利用物體的表面特徵來做為表面位移判斷與比對的標的，其中結合攝影機影像補捉與影像關係法演算法，使得3D表面形變的量測能在最快的時間內完成，並得到最佳解析度。任何表面細微的位移均能在影像與其相關的數據上呈現出來。藉由進行一後處理，物體表面上單一點之位移與應變也可被了解。然而，上述相關之量測設備無法適用於岩石山脈走勢的觀測等戶外場景量測。

台灣專利 I428562｢編列數位影像關係裝置」，將多視角相機於半圓弧軌跡內移動至指定位置定位取像，藉由改變相機間之夾角大小，快速改變相機擷取影像之範圍。因編列式(Formation Type, FT)量測系統之相機採共圓弧配置，故調校各相機光軸中心以交於共圓弧圓心，可完成相機空間參數之定義。若同時擷取三部相機C ₁, C ₂及C ₃之多視角影像，可利用編列相機組C ₁-C ₂, C ₁-C ₃及C ₂-C ₃進行三維重建。本發明係台灣專利 I428562｢編列數位影像關係裝置」之延伸案，對於多部相機任意擺置之非編列式(Non Formation Type, NFT)架構，則可透過共圓擬合計算單一圓建立空間任三部相機之共圓弧幾何關係。

當取得之多視角影像在配拍攝物體有遮蔽效應之時，在利用一相機矩陣並透過一極線處理找出影像間互相匹配之共同物體特徵點後，共同物體特徵點的擷取不佳，會使得無法找到物體特徵點或影像匹配錯誤，而使得影像擷取裝置的姿態仍需要再調整才能正確。此外，由於多相機內部感光元件存在差異內部參數(如影像解析度及鏡頭焦距)及手動調整存在誤差等原因，會造成相鄰相機間影像存在垂直視差且水平視差不相等之情事，將嚴重影像系統後端合成之三維立體影像品質，因此仍需有一多視角影像之校正程序。

基於上述習知技術之仍有更便利拍攝之可能與多視角影像仍需再加校正之故，有提出相關改進技術的必要性。

鑑於習知技術之待改進處，本案提出一種利用影像擷取裝置給定一全域場景影像之方法，其包含下列步驟：(a)在該全域空間任意選擇一第一、一第二、及一第三影像擷取裝置； (b)以該第二影像擷取裝置為基準劃出第一、第二、及第三基線；(c)計算該第一、第二、及第三影像擷取裝置之座標值； (d)對該等座標值進行一共圓之擬合計算； (e)計算出該共圓之圓心、半徑及一第一夾角θ ₁與一第二夾角θ ₂； (f)當該複數部影像擷取裝置數量超過三時，以步驟(a)至步驟(h)再對該第一、第二、及第三影像擷取裝置之至少一者與其它之至少一之二影像擷取裝置構成為步驟(a)之第一、第二、及第三影像擷取裝置，並進行步驟(b)至步驟(e)；(g)計算出該共圓之一共圓平面，並依據該共圓平面佈局該第一、第二、及第三影像擷取裝置；(h)分析該第一、第二、及第三影像擷取裝置所拍攝得影像看是否有需要做影像校正的必要；(i)若經判為需要做影像校正，則對該所拍攝得影像加以一影像校正程序；及 (j)根據該共圓平面，完成一單一圓連結空間共圓平面相關度評估，藉以在分析該相關度評估報告後取得該全域場景之物理量分析結果；及 (k)根據該等物理分析結果，給定該全域場景影像。

在一實施例中，該物理量分析結果包含可依據一影像相關計算取得之移動場及應變場。

在一實施例中，步驟(i)更包含下列步驟： (i1)分析該第一、第二、及第三影像擷取裝置所拍攝得影像看是否有因來自不同影像擷取裝置中者存在有垂直視差與水平視差之故而有需要做影像校正的必要；且步驟(j)更完包含下列步驟：(j1)若經判為需要做影像校正，則對該所拍攝得影像加以該對應之視差消除處理。

本發明可以達成簡單之利用非接觸式數位影像關係法之多影像擷取裝置之佈局，使有效達成完好之全域場景之影像拍攝；又因視差消除影像校正程序之使用而可達成更理想之影像品質，進而有效克服技術之問題。

以下將配合圖式及實施例來詳細說明本發明之特徵與實施方式，內容足以使任何熟習相關技藝者能夠輕易地充分理解本發明解決技術問題所應用的技術手段並據以實施，藉此實現本發明可達成的功效。

以下，首先配合「第1圖」說明本發明所揭露一種利用影像擷取裝置給定一全域場景影像之方法，其包含之步驟將說明如后，其中「第1圖」為本發明之利用影像擷取裝置給定一全域場景影像之方法。

在一全域空間中，視目前有多少部的影像擷取裝置，由於本發明以習知之非編列式數位影像法為基礎運作，故需有至少三部影像擷取裝置來工作達成影像拍攝顯示之目的。只要具有三部以上之影像擷取裝置資源，本發明之方法皆能適用。

首先，在所有具備之影像擷取裝置中任意選擇一第一影像擷取裝置3、一第二影像擷取裝置4及一第三影像擷取裝置5(步驟101)，以準備進行其方向與位置之給定，藉以能夠完好地進行一全域場景影像之拍攝與顯示。

其次，以該第二影像擷取裝置4為基準劃出一第一基線6、第二基線7及第三基線8(步驟102)，如「第2圖」所示，其中「第2圖」為本發明之方法之步驟102的狀態說明圖。

接著，計算該第一影像擷取裝置3、第二影像擷取裝置4、及第三影像擷取裝置5之座標值(步驟103)，其座標值在圖中以(x1,y1,z1)、(x2,y2,z2)、及(x3,y3,z3)表示。

對該等座標值(x1,y1,z1)、(x2,y2,z2)、及(x3,y3,z3)進行一共圓之擬合計算(步驟104)，藉以求出之共圓之圓心1(x,y,z)及二夾角，分別為第一夾角θ1 9及第二夾角θ2 10(步驟105)，其計算方式說明如下。

首先，定義及分別為第一影像擷取裝置3至第二影像擷取裝置4及第三影像擷取裝置5之向量，而及分別為第二影像擷取裝置4到第一影像擷取裝置3及第三影像擷取裝置5的向量長度，即，， (1) , 。(2) 接著，讓第一影像擷取裝置3、第二影像擷取裝置4、及第三影像擷取裝置5三點共圓交會於一共圓之圓心1，如此稱為一共圓擬合計算。如此得到該共圓圓心1之座標值(x,y,z)及第一影像擷取裝置3與第二影像擷取裝置4的共圓半徑2、接著，再利用內積運算找出兩向量夾角：第一影像擷取裝置3與第二影像擷取裝置4之間的夾角為、及第三影像擷取裝置5與第二影像擷取裝置4之間的為夾角，0 ≤ ≤ π，及係經由向量內積運算得到分別為：

，。 (3)

繼之，當該複數部影像擷取裝置數量超過三時，以步驟101至步驟105再對該第一影像擷取裝置3、第二影像擷取裝置4、及第三影像擷取裝置5之至少一者與其它之至少一之二影像擷取裝置構成為步驟101之第一影像擷取裝置3、第二影像擷取裝置4、及第三影像擷取裝置5，並進行步驟102至步驟105(步驟106)。

當總影像擷取裝置為四部時，此時得以第一影像擷取裝置3、第二影像擷取裝置4、及第三影像擷取裝置5之任二者與第四部影像擷取裝置11如同上述方式構成一共圓(未顯示)，故構成二相接之圓(未顯示)，並讓第四部影像擷取裝置11構成一第二共圓之全域場景拍攝標的，並因此給定第四部影像擷取裝置11之方向。

若此時總影像擷取裝置為五部，則如「第3圖」所示般，其為本發明之五部影像擷取裝置之給定其各位置與方向之說明圖。此時，任取第一影像擷取裝置3、第二影像擷取裝置4、及第三影像擷取裝置5之一者與第四影像擷取裝置11與第五部影像擷取裝置12構成一第二共圓，故構成二相接之第一共圓與第二共圓，並讓第四影像擷取裝置11及第五影像擷取裝置12構成第二共圓之全域場景拍攝標的，並因此給定第四影像擷取裝置11與第五影像擷取裝置12之方向。如圖所示，假設第一影像擷取裝置3之座標為p1=[0,0.5,0.5]、第二影像擷取裝置4之座標為p2=[0.1,0.2,0.5]、且第三影像擷取裝置5之座標為p3=[0.1,-0.1,0.5]，則可得到第一共圓圓心為(-0.85, 0.05, 0.5)，半徑為0.9618，為18.9246，且為17.945。同理之，第四影像擷取裝置11之座標p4為[0.1,0.2,0.3]、第五影像擷取裝置12之座標為p5=[0,0.5,0]、與第三影像擷取裝置5之座標p3[0.1,-0.1,0.5]可得到第二共圓圓心為(0.9045, -0.4136, -0.2955)、且半徑為1.3192，且為19.0192、為15.7091，其中第三影像擷取裝置5為第一共圓與第二共圓之連結點。

對該共圓計算出一共圓平面，並依據該共圓平面佈局該第一影像擷取裝置3、第二影像擷取裝置4、及第三影像擷取裝置影像擷取裝置5(步驟107)，包括給定第一影像擷取裝置3、第二影像擷取裝置4、及第三影像擷取裝置5之方向。至於三部影像擷取裝置以上之例，其說明如后。

分析該第一影像擷取裝置3、第二影像擷取裝置4、及第三影像擷取裝置5所拍攝得影像看是否有需要做影像校正的必要(步驟108)，因為在所拍攝得影像中不同影像擷取裝置可能會有水平視差與垂直視差，此可由影像畫面而得知。

若經判為需要做影像校正，則對該所拍攝得影像加以一影像校正程序(步驟109)，此一影像校正程序在本發明中被稱作｢視差消除處理」。

根據該共圓平面，完成一單一圓連結空間共圓平面相關度評估，藉以在分析該相關度評估報告後取得該全域場景之物理量分析結果，如移動場及應變場(步驟110)，此為熟習該項技術者所熟知者，在本案習知技術介紹中即有說明。

最後，根據該等物理分析結果，給定該全域場景影像(步驟111)，所有影像擷取裝置所拍攝得之影像即可按需要與上述處理過後播放，達到更理想合於所需之影像品質。

以下對水平視差來做校正的說明，現以一對自獨立視角與觀察範圍所拍攝得之立體影像來做範例，請同時參閱「第4a圖」及「第4b圖」，其分別為本發明之視差消除校正處理之對一對不同影像裝置拍攝所得之影像做一扭正處理前後之說明圖。一影像扭正(Image Rectification)處理可將所拍攝得影像做轉換，使上述該對兩張影像轉換至一扭正影像平面(Rectification Image Plane)上，以進行一扭正處理，此糾正影像平面可以定義成令所拍攝得影像之U軸或V 軸平行左影像擷取裝置C1與右影像擷取裝置C3的基線B1所得之平面，視影像擷取裝置C1,C3的擺放方法定義。例如，若影像擷取裝置C1,C3為左右設置，則可定義成影像的U軸和相機的基線B1平行。其中，扭正處理後之左右影像的對應點m _l與m _r可在沿同一水平軸上搜尋得到，如「第4b圖」的x紅線水平軸。扭正處理的優勢是讓計算變得簡單而快速，因為上述搜索做左右對應點m _l與m _r的過程是沿著一水平極線進行(因該極線和基線B1平行，而基線B1已被糾正而平行於影像之U軸)，該扭正處理前後所得之影像可見於「第5a圖」與「第5b圖」。接著，可直接再對經扭正影像進行以一立體匹配處理，如此先進行之扭正處理的方式可讓立體匹配處理的準確度提高，也可減少拍攝作業時利用精密機械調整該兩部影像擷取裝置之水平角度所花費的時間。此外，上述極線與立體匹配皆為熟習該項技術者所熟知，在此簡單帶過。

綜而言之，本發明為一種利用影像擷取裝置給定一全域場景影像之方法，其具有兩大特徵，即非接觸式之編列數位影像法(利用共圓擬合計算給定各影像擷取裝置之位置與方向)與所拍攝得影像之視差消除處理，前者得簡單給定影像擷取裝置之位置與方向而達相協拍攝全域場景影像之目的，後者可有效提升影像畫面品質，成功有效解決習知技術之相關問題。

雖然本發明所揭露之實施方式如上，惟所述之內容並非用以直接限定本發明之專利保護範圍。任何本發明所屬技術領域中具有通常知識者，在不脫離本發明所揭露之精神和範圍的前提下，對本發明之實施的形式上及細節上作些許之更動潤飾，均屬於本發明之專利保護範圍。本發明之專利保護範圍，仍須以所附之申請專利範圍所界定者為準。

1‧‧‧圓心

2‧‧‧半徑

3‧‧‧第一影像擷取裝置

4‧‧‧第二影像擷取裝置

5‧‧‧第三影像擷取裝置

6‧‧‧第一基線

7‧‧‧第二基線

8‧‧‧第三基線

9‧‧‧第一夾角θ₁

10‧‧‧第二夾角θ₂

11‧‧‧第四影像擷取裝置

12‧‧‧第五影像擷取裝置

13‧‧‧第一共圓圓心

14‧‧‧第二共圓圓心

15‧‧‧第一共圓半徑

16‧‧‧第二共圓半徑

B1‧‧‧基線

C1‧‧‧左影像擷取裝置

C3‧‧‧右影像擷取裝置

M‧‧‧向量

ml‧‧‧對應點

mr‧‧‧對應點

步驟101‧‧‧在該全域空間任意選擇一第一、一第二、及一第三影像擷取裝置

步驟102‧‧‧以該第二影像擷取裝置為基準劃出第一、第二、及第三基線

步驟103‧‧‧計算該第一、第二、及第三影像擷取裝置之座標值

步驟104‧‧‧對該等座標值進行一共圓之擬合計算

步驟105‧‧‧計算出該共圓之圓心、半徑及一第一夾角θ₁與一第二夾角θ₂

步驟106‧‧‧當該複數部影像擷取裝置數量超過三時，以步驟(a)至步驟(h)再對該第一、第二、及第三影像擷取裝置之至少一者與其它之至少一之二影像擷取裝置構成為步驟(a)之第一、第二、及第三影像擷取裝置，並進行步驟(b)至步驟(e)

步驟107‧‧‧計算出該共圓之一共圓平面，並依據該共圓平面佈局該第一、第二、及第三影像擷取裝置

步驟108‧‧‧分析該第一、第二、及第三影像擷取裝置所拍攝得影像看是否有需要做影像校正的必要

步驟109‧‧‧若經判為需要做影像校正，則對該所拍攝得影像加以該對應之視差消除處理

步驟110‧‧‧根據該共圓平面，完成一單一圓連結空間共圓平面相關度評估，藉以在分析該相關度評估報告後取得該全域場景之物理量分析結果

驟111‧‧‧根據該等物理分析結果，給定該全域場景影像

第1圖為本發明之方法的流程圖。

第2圖為本發明之方法中步驟102的示意圖。

第3圖為本發明之五部影像擷取裝置之給定其各位置與方向之說明圖。

第4a圖及第4b圖分別為本發明之一視差消除校正處理之對一對不同影像裝置拍攝所得之影像做一扭正處理前後之說明圖。

第5a圖及第5b圖分別為本發明之扭正處理前後所得之影像的示意說明圖。

步驟104‧‧‧對該等座標值進行一共圓之擬合計算

步驟106‧‧‧當該複數部影像擷取裝置數量超過三時，以步驟101至步驟105再對該第一、第二、及第三影像擷取裝置之至少一者與其它之至少一之二影像擷取裝置構成為步驟101之第一、第二、及第三影像擷取裝置，並進行步驟102至步驟105

步驟111‧‧‧根據該等物理分析結果，給定該全域場景影像

Claims

一種利用影像擷取裝置給定一全域場景影像之方法，包含下列步驟：(a)在一全域空間任意選擇一第一、一第二、及一第三影像擷取裝置；(b)以該第二影像擷取裝置為基準劃出第一、第二、及第三基線；(c)計算該第一、第二、及第三影像擷取裝置之座標值；(d)對該等座標值進行一共圓之擬合計算；(e)計算出該共圓之圓心、半徑及一第一夾角θ₁與一第二夾角θ₂；(f)當該複數部影像擷取裝置數量超過三時，以步驟(a)至步驟(h)再對該第一、第二、及第三影像擷取裝置之至少一者與其它之至少一之二影像擷取裝置構成為步驟(a)之第一、第二、及第三影像擷取裝置，並進行步驟(b)至步驟(e)；(g)計算出該共圓之一共圓平面，並依據該共圓平面佈局該第一、第二、及第三影像擷取裝置；(h)分析該第一、第二、及第三影像擷取裝置所拍攝得影像看是否有需要做影像校正的必要；(i)根據該共圓平面，完成一單一圓連結空間共圓平面相關度評估，藉以在分析該相關度評估報告後取得該全域場景之物理量分析結果；及(j)根據該等物理分析結果，給定該全域場景影像。
如申請專利範圍第1項所述之利用影像擷取裝置給定一全域場景影像之方法，其中該物理量分析結果包含可依據一影像相關計算取得之移動場及應變場。
如申請專利範圍第1項所述之利用影像擷取裝置給定一全域場景影像之方法，其中：步驟(h)更包含下列步驟：(h1)分析該第一、第二、及第三影像擷取裝置所拍攝得影像看是否有因來自不同影像擷取裝置中者存在有垂直視差與水平視差之故而有需要做影像校正的必要；且步驟(i)更包含下列步驟：(i1)若經判為需要做影像校正，則對該所拍攝得影像加以該對應之視差消除處理。
如申請專利範圍第3項所述之利用影像擷取裝置給定一全域場景影像之方法，其中該視差消除處理包含一扭正處理與一特定搭配之立體匹配處理。
一種利用影像擷取裝置給定一全域場景影像之方法，包含下列步驟：(a)在一全域空間任意選擇一第一、一第二、及一第三影像擷取裝置；(b)以該第二影像擷取裝置為基準劃出第一、第二、及第三基線；(c)計算該第一、第二、及第三影像擷取裝置之座標值；(d)對該等座標值進行一共圓之擬合計算；(e)計算出該共圓之圓心、半徑及一第一夾角θ₁與一第二夾角θ₂；(f)當該複數部影像擷取裝置數量超過三時，以步驟(a)至步驟(h)再對該第一、第二、及第三影像擷取裝置之至少一者與其它之至少一之二影像擷取裝置構成為步驟(a)之第一、第二、及第三影像擷取裝置，並進行步驟(b)至步驟(e)；(g)計算出該共圓之一共圓平面，並依據該共圓平面佈局該第一、第二、及第三影像擷取裝置；(h)根據該共圓平面，完成一單一圓連結空間共圓平面相關度評估，藉以在分析該相關度評估報告後取得該全域場景之物理量分析結果；及(i)根據該等物理分析結果，給定該全域場景影像。
如申請專利範圍第5項所述之利用影像擷取裝置給定一全域場景影像之方法，其中該物理量分析結果包含可依據一影像相關計算取得之移動場及應變場。
如申請專利範圍第5項所述之利用影像擷取裝置給定一全域場景影像之方法，其中：步驟(g)更包含下列步驟：(g1)分析該第一、第二、及第三影像擷取裝置所拍攝得影像看是否有因來自不同影像擷取裝置中者存在有垂直視差與水平視差之故而有需要做影像校正的必要；及步驟(h)更包含下列步驟：(h1)若經判為需要做影像校正，則對該所拍攝得影像加以該對應之視差消除處理。
如申請專利範圍第7項所述之利用影像擷取裝置給定一全域場景影像方法，其中該視差消除處理包含一扭正處理與一特定搭配之立體匹配處理。