TW202011349A

TW202011349A - 全景圖形成方法及系統

Info

Publication number: TW202011349A
Application number: TW107131144A
Authority: TW
Inventors: 李鐘彬
Original assignee: 宅妝股份有限公司
Priority date: 2018-09-05
Filing date: 2018-09-05
Publication date: 2020-03-16
Also published as: TWI696147B

Abstract

揭露書關於一種全景圖形成方法以及系統，先通過拍攝裝置取得用以合成一場景影像的多張影像，並擷取多張影像的像素特徵，根據像素特徵判斷是否具有邊界影像特徵與角落影像特徵，能夠得出重疊區域，並先以多張影像初步合成，並轉換為一等距柱狀投影圖，之後，可以根據等距柱狀投影圖中物件特徵判斷出所述場景屬於室內或是室外，並根據其中像素特徵，或是重疊區域的邊界影像特徵或是角落影像特徵，包括可以類神經網路的學習模型優化影像，再合成全景圖。

Description

全景圖形成方法及系統

揭露書有關一種產生全景圖的方法，特別是一種可以針對室內與室外等不同特徵的場景形成全景圖的方法與系統。

一般照相機、手機等拍攝影像的工具根據鏡頭的設計，具有一定的視場(Field of View，FOV)，一次也僅能拍攝一定視場範圍內的影像，習知技術可利用電腦輔助工具拼接多張影像以得到一張廣角照片或是全景照片。

若以全景圖(panorama)為例，全景圖，或說環景圖，是一種影像涵蓋視野達到全景左右360度、上下180度的視野的廣角圖，一般形成的方式是先通過相機拍攝某個場景下特定視場的影像，若相機中設有陀螺儀可以得出拍攝方位的感測器，記錄連續拍攝多張影像的方位角，最後依照各張之間的方位角資訊將多張影像拼接起來，可得一全景圖。

習知技術中，為了拍攝全景圖，曾有人將多部相機設置在一個承載裝置上，並指向多個不同方向拍攝，之後通過拼接方式產生全景圖。亦有技術運用行動裝置中陀螺儀等感測器，通過運行於行動裝置中的軟體程序指引使用者手持裝置朝向某個方向進行拍攝，一次朝向一個方向拍攝一張，之後指示使用者移動拍攝角度到第二個方向拍攝一張，經多次拍攝後得到全景的影像，軟體程序再將這些影像結合成全景圖。

揭露書公開一種全景圖形成方法，可適用產生擴增實景或虛擬實境場景的全景圖，並可使用一般照相設備執行拍攝，所述全景圖形成方法的實施例包括先以拍攝裝置取得一場景的多張影像，鏡頭較佳採用魚眼鏡頭，多張影像為不同拍攝角度所拍攝的影像。

接著，由照相設備或是其他電腦裝置以影像處裡的技術擷取多張影像的像素特徵，並根據像素特徵，判斷其中邊界影像特徵與角落影像特徵，或其中之一，藉此得出多張影像的重疊區域。這時，先以多張影像初步合成，並轉換為一等距柱狀投影圖，經比對圖庫中影像，執行物件偵測，可以根據偵測到的物件得出等距柱狀投影圖的屬性，例如判斷出影像為室外影像或是室內影像。接著，能根據等距柱狀投影圖的屬性，判斷以多個重疊區域的像素特徵、邊界影像特徵與角落影像特徵，或者其中之一，合成一全景圖。

進一步地，在判斷影像中是否具有邊界影像特徵與角落影像特徵的步驟中，先自多張影像中擷取特徵，例如用邊界和角點偵測法判斷當中是否具有邊界影像特徵或角落影像特徵，再以隨機取樣一致演算法(RANSAC)過濾特徵，找出重疊區域。

再進一步地，判斷影像中物件的方式可以採用一深層迴積分式類神經網路(Convolutional Neural Network，CNN)，以辨識等距柱狀投影圖內物件，據以判斷場景的屬性，例如室內或室外的分類。

在一實施方式中，上述方法中，於取得場景的多張影像時，各張影像可以一高動態範圍(HDR)成像方式拍攝，得出對應各張影像的多張不同曝光值的子影像，並基於室內的深層迴積分式類神經網路(CNN)學習資料得到全景影像的曝光值和飽和度值，將高動態範圍成像(HDR)子影像根據數值進行影像合成。

揭露書更公開一形成全景圖的系統，系統主要元件為拍攝裝置，拍攝裝置可裝設於一可旋轉的承載裝置上，承載裝置依照拍攝裝置的鏡頭拍攝視場(FOV)決定拍攝每張影像的旋轉角度，以通過廣角或魚眼鏡頭在多個拍攝方向拍攝一場景的多張影像，其中包括一處理單元，以執行上述全景圖形成方法。

為了能更進一步瞭解本發明為達成既定目的所採取之技術、方法及功效，請參閱以下有關本發明之詳細說明、圖式，相信本發明之目的、特徵與特點，當可由此得以深入且具體之瞭解，然而所附圖式僅提供參考與說明用，並非用來對本發明加以限制者。

10‧‧‧網路

12‧‧‧伺服系統

14‧‧‧主機

11‧‧‧拍攝裝置

15‧‧‧鏡頭

13‧‧‧承載裝置

135‧‧‧旋轉機構

20‧‧‧承載裝置

201‧‧‧控制器

203‧‧‧旋轉驅動單元

205‧‧‧承載單元

22‧‧‧拍攝裝置

221‧‧‧處理單元

223‧‧‧記憶單元

225‧‧‧影像擷取單元

227‧‧‧鏡頭單元

229‧‧‧通信單元

301‧‧‧第一廣角影像

302‧‧‧第二廣角影像

303‧‧‧第三廣角影像

步驟S401~S407‧‧‧拍攝全景圖的預備流程

步驟S501~S515‧‧‧拍攝全景圖的方法流程

步驟S601~S611‧‧‧拍攝全景圖的方法流程

圖1顯示一種拍攝全景的相關系統實施例以及設備實施例示意圖；圖2顯示為拍攝裝置與其承載裝置的電路實施例示意圖；圖3顯示合成一等距柱狀投影圖的實施例示意圖；圖4顯示為描述拍攝全景圖的預備流程實施例；圖5顯示為形成全景圖的方法實施例流程圖之一；圖6顯示為形成全景圖的方法實施例流程圖之二。

說明書公開一種全景圖形成方法，所述全景圖(panorama)是一種影像涵蓋視野達到全景左右360度、上下180度的視野的廣角圖，其應用之一可用於擴增實境(AR)或是虛擬實境(VR)場景，讓使用者穿戴特定虛擬實境裝置時，可以自由地在左右360度與上下180度的視野中瀏覽場景。

在此實施例中，終端裝置包括一拍攝影像的拍攝裝置11，拍攝裝置11可以為照相機，較佳是配備有可以拍攝超廣角影像的魚眼鏡頭；可以為手機，其中照相機可能不具備魚眼鏡頭的能力，但可以通過外掛鏡頭15的方式達成。

若為了要拍攝整個場景的全景圖，需要涵蓋左右360度與上下180度的視野，此例中，即將拍攝裝置11安裝於一可帶動旋轉拍攝整個場景的承載裝置13，通過旋轉機構135承載拍攝裝置11，其中設有可以帶動拍攝裝置11旋轉的馬達，如步進馬達。

承載裝置13為可以程式化的裝置，可以依照拍攝裝置11的鏡頭15每次拍攝視場的涵蓋範圍決定拍攝每張影像的旋轉角度。例如，當鏡頭15為可以涵蓋上下左右180度視野的鏡頭，為了要拍攝涵蓋左右360度與上下180度視野的全景圖，至少需要在第一次拍攝後，旋轉180度後進行第二次拍攝，如此才能得到涵蓋左右360度與上下180度的全景圖。或者，可以根據鏡頭15涵蓋的視野，通過幾次旋轉後拍攝多次，每次拍攝的影像僅涵蓋特定角度的視野，多張影像之間將包括重疊的特徵，如邊界或角落等區域，作為拼接影像的依據。

經拍攝裝置11配合承載裝置13完成全景圖拍攝後，影像資料除了可以通過拍攝裝置11內處理能力與相關軟體程序達成拼接後形成全景圖，更可以通過網路10傳送到伺服系統12或主機14，由伺服系統12或主機14執行影像處理，完成拼接而形成全景圖。最後，可以將形成的全景圖通過伺服系統12儲存或是分享出去。伺服系統12可以實現提供虛擬實境或是擴增實境全景圖的服務，供使用者下載。

需要一提的是，圖1所記載的實施例僅為拍攝全景影像的實施例之一，並非用於限制揭露書所揭示的形成全景圖的方法實施範圍。

圖2接著顯示為拍攝裝置與其承載裝置的電路實施例圖，圖中描述承載裝置20與拍攝裝置22中的電路元件，承載裝置20主要目的是能夠根據拍攝裝置22拍攝場景全景能力而調整每次拍攝的旋轉角度，能通過旋轉拍攝的方式完成攝取全景影像。

承載裝置20設有管理其運作的控制器201，旋轉驅動單元203通過承載單元205帶動拍攝裝置22，承載裝置20將依照拍攝裝置22的鏡頭拍攝視場(Field of View，FOV)決定拍攝每張影像的旋轉角度。控制器201取得控制旋轉驅動單元203的指令，用以設定旋轉驅動單元203每次拍攝旋轉的角度。

拍攝裝置22如手機、平板電腦、照相機等電子裝置，通過一鏡頭在多個拍攝方向拍攝一場景的多張影像，其中設有處理影像訊號與指令的處理單元221、儲存影像訊號與其他訊息的記憶單元223、用以執行拍攝與影像處理的影像擷取單元225與鏡頭單元227，並包括對外傳遞訊息的通信單元229，通信單元229執行WiFi^TM、Bluetooth^TM等通訊協定。

在一實施例中，承載裝置20與拍攝裝置22可以進行通訊。舉例來說，當設定承載裝置20每次旋轉角度時，當從旋轉驅動單元203得到旋轉到設定的角度時，控制器201可以產生拍攝指令後，通過拍攝裝置22的通信單元229傳送到其中處理單元221，指示拍攝時機；並於完成拍攝後，處理單元221產生拍攝完畢的指令，經通信單元229傳送到承載裝置20的控制器201，由控制器201控制旋轉驅動單元203旋轉至下一個拍攝角度，或是於拍攝完成後停止轉動。當拍攝裝置22接收到拍攝指令後，經處理單元221處理，控制影像擷取單元225執行拍攝，將取得的影像訊號可先儲存至記憶單元223，並可通過通信單元229傳送出去。

通過以上拍攝的方式可得到多張廣角影像，若為魚眼鏡頭，所拍攝的影像一般為週邊變形的圓形影像，示意圖如圖3所示實施例示意圖，這些圓形影像可合成一等距柱狀投影圖(Equirectangular Projection)。

在此示意圖中，通過拍攝裝置拍攝某個場景的全景圖需要拼接多張廣角影像，例如圖示的第一廣角影像301、第二廣角影像302與第三廣角影像303，這三張廣角影像分別涵蓋某個場景的三個拍攝角度的影像，之後，通過影像處理技術執行拼接，包括校正，可形成適合人眼觀看的照片，如此例形成由第一廣角影像301、第二廣角影像302與第三廣角影像303經校正與拼接得到涵蓋左右360度與上下180度視野的等距柱狀投影圖。

根據揭露書提出的全景圖形成方法，在形成全景圖之前，可先執行圖4所示拍攝全景圖的預備流程實施例。

在此預備程序中，系統通過拍攝裝置內軟體程序，或是伺服器端的軟體程序，取得拍攝裝置的照相視場(FOV)(步驟S401)，取得全景拍攝範圍(步驟S403)，藉此決定每次拍攝的方向，若以上述實施例承載裝置帶動拍攝裝置拍攝時，視場決定了每次拍攝的旋轉角度(步驟S405)，之後依照系統決定每次拍攝的方向或是旋轉角度執行拍攝，並因系統已知每次拍攝的方向與鏡頭的視場，因此系統可以準確地得出每張影像重疊的資訊(步驟S407)。

在拍攝程序中，拍攝裝置除了單張拍攝外，可以高動態範圍成像(High Dynamic Range Imaging，HDRI或HDR)輔助得到高品質影像，高動態範圍成像在數位影像領域中是用來得到比一般單張拍攝的點陣圖像技術更大曝光動態範圍的技術，目的之一就是要正確地表示影像。在揭露書提出的全景圖形成方法中，高動態範圍成像所拍攝的多張影像可以個別處理，最終再結合為單一全景圖。

形成全景圖的方法實施例主要步驟可參考圖5所示流程。

在此全景圖形成方法中，一開始如步驟S501，通過拍攝裝置拍攝某場景，其中方法可以採用圖1所示裝置，或是通過裝置內軟體輔助指引使用者拍攝場景的全景影像。

在步驟S503中，由於系統已知拍攝裝置鏡頭取得影像的視場，也就是已知每張影像的拍攝範圍，根據全景圖的需求，系統中軟體程序(執行於伺服器端或是拍攝裝置中)可以取得相鄰影像之間的特定影像特徵判斷重疊區域。例如，初步如色階、紋理等特徵判斷其中物件。其中採用影像處理方法係針對各張影像，或是通過前述高動態範圍成像(HDR)得出的每張影像，例如得出某個拍攝方向影像-1、0、+1曝光值的多張影像，對各張影像進行分析、加工和處理，使其滿足全景圖在視覺上的需求，並暫存至系統的記憶體(如拍攝裝置內記憶體)。

接著，根據實施例，如步驟S505，經特徵擷取後，可以應用一種邊界和角點偵測法(edge and corner detection)判斷當中的邊界影像特徵(edge image feature)與角落影像特徵(corner image feature)，或其中之一，再如步驟S507，以特定演算法對各張影像隨機取樣。這些邊界與角落特徵主要是用以判斷出場景內(特別是室內)的牆與地板位置。另外的情況是，或是判斷影像中並沒有邊界影像特徵或角落影像特徵，這一般可判斷為室外場景。

值得一提的是，當得出影像中具有的邊界影像特徵與角落影像特徵時，所述隨機取樣為自多張影像中以一種隨機取樣一致演算法(random sample consensus，RANSAC)執行取樣，此種隨機取樣一致演算法主要是利用疊代法(iterative method)從一組包含離群值(outliers)等不適合模型化的數據中估算出數學模型的參數，並運算直到離群值不會影響估算值為止。所述離群值可指雜訊，因此隨機取樣一致演算法可得出不被雜訊干擾而能用以描述特定數學模型的參數。因此，在揭露書所提出的全景拍攝的方法中，隨機取樣步驟採用所述隨機取樣一致演算法，可以得到不被雜訊干擾而能用以描述全景圖的特徵。

根據實施例之一，根據影像特徵得出角落(corner)與邊界(edge)的方法如下。對於角落偵測的方法(corner detection)，可以採用幾種習知技術，例如，在一種Moravec角檢測演算法中，先定義影像中的「角」，就是影像中彼此相似程度低的點，可以通過檢查影像中所有的像素，比對每個像素與其周圍像素的相似度，相似度為兩個範圍的影像對應的像素的誤差平方和(sum of squared difference)，誤差平方和愈小，表示相似度愈高。如此，沒有角的某個範圍中的像素與其周圍像素的相似度高；反之，某個範圍中像素與其周圍像素的相似度低，表示範圍內像素不相似。當演算過整個影像，當中有部分為最不相似的區域，可視為是「角」。

另有找尋角落的演算法如一種Harris & Stephens方法，此方法包括先取得場景內的一張影像，尋求影像中沿著特定方向的像素梯度變化，套用一種視窗函數(window function)，如一種高斯視窗函數(Gaussian window function)，針對影像中心附近的梯度，並計算出每筆影像數據的誤差平方和，經計算兩個方向的梯度，若兩個值都足夠大，表示梯度們有兩個主要方向，就表示有兩條較直的邊緣，判斷有一個角。

對於邊界偵測方法(edge detection)，一般來說是要找到影像中灰階像素有劇烈變化的部分，以二維影像為例，計算影像的灰階變化梯度，當得出某處像素在某個方向有高梯度變化時(比對一門檻)，將判斷為邊界。常見的邊界偵測演算法有Sobel、Prewitt、Laplacian等。列舉一例，運算中可以先行經雜訊消除後(如採用Laplace Filter)，之後可利用索伯算子(Sobel operator)進行邊緣檢測，得出橫向及縱向的亮度差分近似值後，判斷橫向或縱向的邊界。

經偵測出邊界與角落特徵後，因為可以得出各張影像之間的重疊區域以及配合特徵擷取得到重疊影像的特徵，如步驟S509，執行初步合成，例如可由圖3所示的廣角影像轉換為等距柱狀投影圖(Equirectangular Projection)，若以高動態範圍成像拍攝，則須逐張轉換高動態範圍成像的影像(步驟S511)。這時，合成影像的視野已經涵蓋地平線+/-各180°，垂直+/-各90°的範圍。

舉例來說，若使用一種全周魚眼鏡頭(Circular Fisheye Lens)拍攝場景，先向前平視拍攝一次，可得出一張視場(FOV)達180度的單張影像，接著拍攝2到3張即可透過軟體程序合成為一張等距柱狀投影圖類型的全景影像，以多張影像拼接合成的方式可以避免拍攝裝置與鏡頭缺陷造成的週邊光影和影像融合缺陷問題，中間涉及光學鏡頭與影像處理能力的變數並不在此贅述。

在步驟S513中，將初步合成影像比對一圖庫中影像，為的是得出上述等距柱狀投影圖的屬性，這也是初步合成的目的之一。之後，根據等距柱狀投影圖的屬性，系統將可判斷以多個重疊區域的像素特徵、邊界影像特徵與角落影像特徵，或者其中之一，合成一全景圖，如步驟S515。

根據實施例之一，於比對圖庫中影像以得出等距柱狀投影圖屬性的步驟中，可以一深層迴積分式類神經網路(Convolutional Neural Network，CNN)辨識等距柱狀投影圖內物件，據以判斷等距柱狀投影圖的屬性，例如判斷出場景為一室內場景，或一室外場景，並包括修正影像。在此一提的是，所述深層迴積分式類神經網路(CNN)是一種影像深度學習技術，通過建構影像的深度學習模型，能用於影像辨識，因此在揭露書提出形成全景圖的方法中，深層迴積分式類神經網路可用於圖中優化角落與邊界影像，並能優化曝光值和飽和度值。

此時，實施例如圖6所示為形成全景圖的方法實施例流程，可以根據判斷出的場景屬性執行合成，如步驟S601，在此軟體程序中，取得等距柱狀投影圖，如步驟S603，比對圖庫後判斷等距柱狀投影圖為室內或是室外(步驟S605)。

若判斷等距柱狀投影圖為室內，通過上述偵測各廣角影像角落與邊界的判斷結果合成影像，如步驟S607，可以基於室內的深層迴積分式類神經網路(CNN)學習資料優化合成的影像；再於步驟S611，使用深層迴積分式類神經網路(CNN)學習資料得到全景影像的曝光值和飽和度值，修正高動態範圍成像(HDR)子影像合成的影像的曝光值與飽和度值。

反之，若判斷等距柱狀投影圖為室外，即執行步驟S609，根據多個重疊區域中的像素特徵(如判斷出的物件，以及影像中色階、紋理等特徵)合成全景圖像。

其中，值得一提的是，若各張影像以高動態範圍成像方式拍攝，得出對應各張影像的多張不同曝光值的子影像，在合成步驟中，皆對這些子影像分別擷取重疊區域的像素特徵、判斷邊界影像特徵或角落影像特徵、轉換為等距柱狀投影圖與判斷屬性，以及最後全景圖由多張不同曝光值的子影像合成。

綜上所述，揭露書所公開的全景圖形成方法係先取得某場景的多張影像，在拼接這些影像時，需要擷取多張影像之間多個重疊區域中的像素特徵，再根據像素特徵，判斷其中的邊界影像特徵與角落影像特徵，接著可判斷出場景的屬性，因此在合成過程中，更能針對其中色階、紋理等特徵得出較佳的合成影像。

惟以上所述僅為本發明之較佳可行實施例，非因此即侷限本發明之專利範圍，故舉凡運用本發明說明書及圖示內容所為之等效結構變化，均同理包含於本發明之範圍內，合予陳明。

S501‧‧‧拍攝某場景

S503‧‧‧擷取像素特徵

S505‧‧‧偵測角落及邊界

S507‧‧‧隨機取樣

S509‧‧‧初步合成

S511‧‧‧轉換為等距柱狀投影圖

S513‧‧‧判斷屬性

S515‧‧‧合成全景圖

Claims

一種全景圖形成方法，包括：取得一場景的多張影像；擷取該多張影像之間多個重疊區域中的像素特徵；根據像素特徵，判斷該多個重疊區域中的邊界影像特徵與角落影像特徵，或其中之一，或是判斷為沒有邊界影像特徵或角落影像特徵；以該多張影像初步合成，並轉換為一等距柱狀投影圖；比對一圖庫中影像，得出該等距柱狀投影圖的屬性；以及根據該等距柱狀投影圖的屬性，判斷以該多個重疊區域的像素特徵、邊界影像特徵與角落影像特徵，或者其中之一，合成一全景圖。
如請求項1所述的全景圖形成方法，其中以一照相裝置通過一鏡頭拍攝該場景得出該多張影像，該多張影像中相鄰兩張影像之間具有該重疊區域。
如請求項2所述的全景圖形成方法，其中，在判斷該多個重疊區域是否具有邊界影像特徵與角落影像特徵的步驟中，先自該多張影像中擷取特徵，判斷當中是否具有該邊界影像特徵或角落影像特徵。
如請求項3所述的全景圖形成方法，其中，再以一隨機取樣一致演算法執行取樣，以取得像素特徵重疊的特徵，以及取得不被雜訊干擾而能用以描述該全景圖的特徵。
如請求項1所述的全景圖形成方法，其中，於比對該圖庫中影像以得出該等距柱狀投影圖屬性的步驟中，以深層迴積分式類神經網路辨識該等距柱狀投影圖內物件，據以判斷該等距柱狀投影圖的屬性。
如請求項5所述的全景圖形成方法，其中，根據該等距柱狀投影圖的屬性，判斷該場景為一室內場景，或一室外場景。
如請求項6所述的全景圖形成方法，其中，若該場景為該室內場景，根據該多個重疊區域中的該邊界影像特徵以及該角落影像特徵，或是兩者之一，合成該全景圖；若該場景為該室外場景，根據該多個重疊區域中的像素特徵合成該全景圖。
如請求項1至7中之任一項所述的全景圖形成方法，其中於取得該場景的多張影像時，各張影像以一高動態範圍成像方式拍攝，得出對應各張影像的多張不同曝光值的子影像；以深層迴積分式類神經網路的學習資料優化該全景圖的曝光值與飽和度值，再將多張以該高動態範圍成像得到的子影像合成。
一種形成全景圖的系統，包括：一拍攝裝置，裝設於一可旋轉的承載裝置上，通過一鏡頭在多個拍攝方向拍攝一場景的多張影像，其中包括一處理單元，執行一全景圖形成方法，該方法包括：取得該場景的多張影像；擷取該多張影像之間多個重疊區域中的像素特徵；根據像素特徵，判斷該多個重疊區域中的邊界影像特徵與角落影像特徵，或其中之一，或是判斷為沒有邊界影像特徵或角落影像特徵；以該多張影像初步合成，並轉換為一等距柱狀投影圖；比對一圖庫中影像，得出該等距柱狀投影圖的屬性；以及根據該等距柱狀投影圖的屬性，判斷以該多個重疊區域的像素特徵、邊界影像特徵與角落影像特徵，或者其中之一，合成一全景圖。
如請求項9所述的形成全景圖的系統，其中該承載裝置依照該拍攝裝置的該鏡頭拍攝視場決定拍攝每張影像的旋轉角度。