TW201824178A

TW201824178A - 全景即時影像處理方法

Info

Publication number: TW201824178A
Application number: TW105141712A
Authority: TW
Inventors: 陳冠宇; 張新岳
Original assignee: 旺玖科技股份有限公司
Priority date: 2016-12-16
Filing date: 2016-12-16
Publication date: 2018-07-01
Also published as: TWI615808B

Abstract

本發明係提供一種全景即時影像處理方法。不同於習知技術無法即時性地生成360度全景影像，本發明之方法係利用完成鏡頭參數校正之二個魚眼攝影機擷取視頻資訊，並將所擷取的視頻資訊經過視頻編碼和串流化處理之後，透過有線傳輸或無線傳輸的方式傳送至一電子產品，以藉由安裝於該電子產品的一影像處理應用程式進行視頻解碼處理、全景座標轉換處理、影像縫接處理、以及邊緣平滑化處理，進而於該電子產品的顯示器上顯示一視球全景影像。此外，藉由可編程影像處理器或數位訊號處理器之協助，該影像處理應用程式亦可對該視球全景影像進行視野參數運算之後，透過平面全景顯示模式、魚眼視野顯示模式、或人眼視野顯示模式予以顯示。

Description

全景即時影像處理方法

本發明係關於影像處理之技術領域，尤指一種全景即時影像處理方法。

早期，膠捲攝影機或底片相機僅能夠拍攝的景象的角度範圍大約只有30度至50度，因此膠捲攝影機或底片相機無法將環景影像拍攝在同一張影像之中。近期，隨著數位相機的出現以及影像處理技術的進步，現有的攝影技術已經可以利用多個鏡頭對單一景象進行全方位角度的影像擷取，然後通過影像處理技術將多張影像拼接成一張360度全景影像。

請參閱圖1，係顯示一種習知的360度全景影像生成技術的方法流程圖。如圖1所示，習知的360度全景影像生成技術係包括以下方法步驟： (S1’)：使用複數個攝像元件進行影像擷取； (S2’)：將所擷取的複數幀影像的點座標轉換成落於一半球面之上的複數個球面座標； (S3’)：利用經緯映射法進一步地將該複數幀影像轉換成複數幀經緯圖像； (S4’)：將該複數幀經緯圖像進行光學剪裁之後，縫接生成一幀全景影像； (S5’)：將該全景影像進行邊緣平滑化處理； (S6’)：依據時間軸對每一幀全景圖像進行視頻編碼，進而生成一全景視頻並播放輸出。

雖然上述之360度全景影像生成技術目前已被廣泛地應用，然而，本案之發明人基於實務經驗發現，該360度全景影像生成技術仍顯示出以下缺陷： (1)使用該複數個攝像元件擷取該複數幀影像之時，除了基於同一光學中心(common optical center)以外，更必須確保該複數幀影像彼此之間具有一個部份重疊影像區域。顯然，該360度全景影像生成技術於實施上包含了許多限制條件； (2)於該360度全景影像生成技術的應用過程中，由於所述攝像元件為廣角鏡頭(例如魚眼鏡頭)，因此在縫接生成全景影像之前，係必須對所擷取的複數幀影像進行鏡頭扭曲校正處理。然而，如熟悉影像處理技術的工程人員所熟知的，影像處理需耗費大量運算資源及時間，人眼若想觀看順暢的視頻，則每秒鐘需處理24~30張影像資訊，超過一般硬體裝置可達到的限制；由此可知，習知的360度全景影像生成技術無法即時性地生成360度全景影像。

因此，有鑑於習知的全景影像生成技術仍具有技術應用上的缺陷與不足，本案之發明人係極力加以研究發明，而終於研發完成本發明之一種全景即時影像處理方法。

本發明之主要目的，在於提供一種全景即時影像處理方法。不同於習知技術無法即時性地生成360度全景影像，本發明之方法係利用完成鏡頭參數校正之二個魚眼攝影機擷取視頻資訊，並將所擷取的視頻資訊經過視頻編碼和串流化處理之後，透過有線傳輸或無線傳輸的方式傳送至一電子產品，以藉由安裝於該電子產品的一影像處理應用程式進行視頻解碼處理、全景座標轉換處理、影像縫接處理、以及邊緣平滑化處理，進而於該電子產品的顯示器上顯示一視球全景影像。此外，藉由可編程影像處理器或數位訊號處理器之協助，該影像處理應用程式亦可對該視球全景影像進行視野參數運算之後，將該二個魚眼攝影機所擷取的視頻資訊透過平面全景顯示模式、魚眼視野顯示模式、或人眼視野顯示模式予以顯示。

為了達成上述本發明之主要目的，本案之發明人係提供一種全景即時影像處理方法，係包括以下步驟： (1)對至少一影像擷取模組進行一參數校正處理； (2)使用該至少一影像擷取模組擷取至少兩幀影像； (3)對該至少兩幀影像進行一全景座標轉換處理，以獲得至少兩幀全景轉換影像； (4)對該至少兩幀全景轉換影像進行一影像接合處理，以獲得單一全景影像；以及 (5)對該單一幀全景影像進行一顯示模式處理，使得該單一幀全景影像以一特定顯示模式於一顯示裝置之上顯示。

為了能夠更清楚地描述本發明所提出之一種全景即時影像處理方法，以下將配合圖式，詳盡說明本發明之較佳實施例。

本發明之一種全景即時影像處理方法係可編撰成一影像處理軟體或一影像處理應用程式(APP)，供使用者下載並安裝於一電子產品之中；例如：數位相機、智慧型手機、數位攝影機、平板電腦、或筆記型電腦。如此，當使用者利用一影像擷取模組完成一影像擷取作業之後，便可進一步地將所擷取的影像進行影像(或視頻)編碼以及串流化處理，並將影像(或視頻)串流傳送至安裝有該應用程式的該電子產品之中，進而透過該影像處理應用程式將所擷取的影像轉換成全景即時影像。

必須特別說明的是，上述影像擷取模組可以是該電子產品所搭載的攝像模組，也可以是獨立的攝像模組，並透過有線傳輸或者無線傳輸的方式將其擷取的擷取該至少兩幀影像傳送至該電子產品。另外，於下述說明中所稱”一幀影像(one frame of image)”可以是一張影像照片，也可以是一視訊串流(video stream)所包含的複數幀影像之中的一幀影像。

請參閱圖2，係顯示本發明之一種全景即時影像處理方法的流程圖。如圖2所示，本發明之全景即時影像處理方法係包括以下步驟：

首先，該方法係執行步驟(S1)：對二影像擷取模組進行一參數校正處理。如圖3所顯示的使用一環景相機進行影像擷取作業之示意圖所示，市售的環景相機2係包括一個左魚眼攝像頭21與一個右魚眼攝像頭22，而本發明主要係使用該左魚眼攝像頭21與該右魚眼攝像頭22進行水平360^o 與垂直360^o 的影像擷取作業，因此，必須使用以下數學函式對每個魚眼攝像頭進行參數校正處理：。於前述的數學函式中，FOV表示為該影像擷取模組(亦即，魚眼攝像頭)的視場角(Field of View, FOV)，或稱視野範圍。另外，W表示為一影像寬度，且W_over 表示為該兩幀影像的一影像重疊寬度。

完成步驟(S1)之參數校正處理之後，繼續地，該方法係執行步驟(S2)與步驟(S3)：使用該二影像擷取模組分別擷取一幀影像(one frame of image)，並對該兩幀影像進行一全景座標轉換處理，以獲得兩幀全景轉換影像。於此，必須特別說明的是，雖然本發明的較佳實施例係使用二影像擷取模組(亦即，左魚眼攝像頭21與右魚眼攝像頭22)進行影像擷取作業，但並非以此限制本發明之實施方式。尤其，本發明也可以使用單一組影像擷取模組完成該兩幀影像之擷取。

請參閱圖4，係為該二影像擷取模組所擷取的兩幀影像的示意圖。如圖4所示，左魚眼攝像頭21與右魚眼攝像頭22分別擷取一左幀廣角影像(L-frame wide-angle image)I-L與一右幀廣角影像(R-frame wide-angle image) I-R之後，該環景相機2(如圖3所示)便會即時地進行影像(或視頻)編碼以及串流化處理，並透過有線傳輸或者無線傳輸的方式將影像(或視頻)串流傳送至安裝有本發明之影像處理應用程式的電子產品3之中。進一步地，於步驟(S3)之中，本發明之影像處理應用程式係首先使用以下式(1)與式(2)對該左幀廣角影像I-L與該右幀廣角影像I-R進行一經緯座標轉換處理，以獲得複數個經緯座標：

於式(1)與式(2)中，()表示為任一經緯座標，PI表示為圓周率，W表示為一影像寬度，且H表示為一影像高度。獲得對應於該兩幀影像的複數個經緯座標之後，所述之影像處理應用程式係接著使用以下式(3)、式(4)與式(5)對該複數個經緯座標進行一三維向量轉換處理，以獲得複數個3D向量：

於式(3)、式(4)與式(5)中，()表示為任一經緯座標，且()表示為任一三維向量座標。獲得對應於該兩幀影像的複數個3D向量之後，所述之影像處理應用程式係接著使用以下式(6)、式(7)與式(8)對該複數個經緯座標進行一投影轉換處理，以獲得複數個投影經緯座標：；；；

於式(6)、式(7)與式(8)中，()表示為任一投影經緯座標，()表示為任一三維向量座標，FOV表示為該影像擷取模組的視野範圍，且W表示為影像寬度。最後，所述之影像處理應用程式便可使用以下式(9)與式(10)，計算出對應於該兩幀影像的複數個原始影像座標：

於上述式(9)與式(10)之中，()表示為任一全景影像座標，()表示為完成該參數校正處理之後所獲得的該魚眼鏡頭之一鏡頭中心位置。如此，計算出對應於該兩幀影像的複數個原始影像座標之後，便能夠進一步獲得兩幀全景轉換影像，亦即左全景轉換影像與右全景轉換影像。

完成步驟(S3)之後，該方法係接著執行步驟(S4)：對該至少兩幀全景轉換影像進行一影像接合處理，以獲得單一全景影像。於步驟(S4)中，係首先地自左全景轉換影像與右全景轉換影像的一影像重疊區域之中(亦即，左全景轉換影像之右側的影像重疊區域)選出一第一子區域；接著，以固定間隔採樣法於該第一子區域之中找出複數個第一特徵點。繼續地，利用圖形識別法，於右全景轉換影像與左全景轉換影像的影像重疊區域之中(亦即，右全景轉換影像之左側的影像重疊區域)找出與該複數個第一特徵點相互匹配的複數個第一匹配特徵點。如此，便能夠根據該複數個第一特徵點與該複數個第一匹配特徵點於右全景轉換影像之左側的影像重疊區域之中找出與該第一子區域相互匹配的一第一匹配區域。

繼續地，自右全景轉換影像與左全景轉換影像的一影像重疊區域之中(亦即，右全景轉換影像之左側的影像重疊區域)選出一第二子區域；接著，以固定間隔採樣法於該第二子區域之中找出複數個第二特徵點。繼續地，利用圖形識別法，於左全景轉換影像與右全景轉換影像的影像重疊區域之中(亦即，左全景轉換影像之右側的影像重疊區域)找出與該複數個第二特徵點相互匹配的複數個第二匹配特徵點。如此，便能夠根據該複數個第二特徵點與該複數個第二匹配特徵點於左全景轉換影像之右側的影像重疊區域之中找出與該第二子區域相互匹配的一第二匹配區域。

獲得該複數個第一匹配特徵點與該複數個第二匹配特徵點之後，影像處理應用程式便能夠基於該複數個第一匹配特徵點與該複數個第二匹配特徵點完成該兩幀全景轉換影像之一影像接合處理，以獲得單一全景影像。如熟悉影像處理技術的工程人員所熟知的，由兩張全景轉換影像所縫接而成的單一全景影像，必須進行一邊緣平滑化處理以消除拼接縫。

於邊緣平滑化處理之時，係必須先於左全景轉換影像與右全景轉換影像兩者之間的影像重疊區域的中心點，接著便可使用使下式(11)完成第一次的影像調和處理(Image blending)：+

於上述式(11)之中，表示為接合的兩幀全景轉換影像之中的左側全景轉換影像的新像素，表示為該左側全景轉換影像的像素，表示為接合的兩幀全景轉換影像中的右側全景轉換影像的像素，表示為該影像重疊區域之一左側寬度，表示為該左側全景轉換影像的任一像素與該左側寬度的邊界的距離。完成第一次的影像調和處理之後，必須繼續地於右全景轉換影像與左全景轉換影像兩者之間的影像重疊區域的中心點，接著便可使用使下式(12)完成第二次的影像調和處理：+

於上述式(12)之中，表示為接合的兩幀全景轉換影像中的右側全景轉換影像的新像素，表示為該右側全景轉換影像的像素，表示為接合的兩幀全景轉換影像中的左側全景轉換影像的像素，表示為該影像重疊區域之右側寬度，表示為該右側全景轉換影像的任一像素與該右側寬度的邊界的距離。

完成影像接合處理以及拼接縫的邊緣平滑化處理之後，該方法便接著執行步驟(S5)：對該單一幀全景影像進行一顯示模式處理，使得該單一幀全景影像以一特定顯示模式於一顯示裝置之上顯示；例如：視球全景顯示模式(Sphere Panorama)、平面全景顯示模式(Plain Panorama)、魚眼視野顯示模式、人眼視野顯示模式、或投影顯示模式。並且，如熟悉影像處理技術的工程人員所熟知的，影像(或視頻)之顯示模式的變化係藉由內建於顯示卡之中的可編程影像處理函式(Programmable image processing library)予以完成，例如： OpenGL^® 1.5、DirectX^® 、或Shader Model 3.0。除此之外，所述顯示模式處理也可以藉由一數位訊號處理器(Digital Signal Processor, DSP) 予以完成。

繼續地參閱圖4，並請同時參閱圖5與圖6；其中，圖5係為視球全景顯示模式(Sphere Panorama Mode)之單一幀全景影像的示意性顯示圖，且圖6係為平面全景顯示模式(Plain Panorama Mode)之單一幀全景影像的示意性顯示圖。如圖4所示，透過所述影像處理應用程式，使用者可以令電子產品3直接顯示由左魚眼攝像頭21與右魚眼攝像頭22(如圖3所示)所擷取到的一左幀廣角影像I-L與一右幀廣角影像 I-R。此外，如圖5所示，透過操作該影像處理應用程式，使用者可以令電子產品3由該左幀廣角影像I-L與該右幀廣角影像 I-R轉換而成單一視球全景影像。另一方面，如圖6所示，透過操作該影像處理應用程式，使用者可以令電子產品3由該左幀廣角影像I-L與該右幀廣角影像 I-R轉換而成單一平面全景影像。

必須補充說明的是，上述係以單一幀影像(或單張照片)為範例對本發明之全景即時影像處理方法的處理流程進行範例式的說明與介紹；然而，本發明之方法亦可用於處理視頻影像。使用本發明之方法處理視頻影像之時，係必須依據時間軸以步驟(S1)至步驟(S5)對該視頻影像之中的每一幀影像進行影像處理，進而生成全景視頻影像並於該電子產品3的顯示器之上播出。

如此，上述係已完整且清楚地說明本發明之全景即時影像處理方法，經由上述，吾人可以得知本發明係具有下列之優點：

(1)不同於習知技術無法即時性地生成360度全景影像，本發明之方法係利用完成鏡頭參數校正之二個魚眼攝影機擷取視頻資訊，並將所擷取的視頻資訊經過視頻編碼和串流化處理之後，透過有線傳輸或無線傳輸的方式傳送至一電子產品，以藉由安裝於該電子產品的一影像處理應用程式進行視頻解碼處理、全景座標轉換處理、影像縫接處理、以及邊緣平滑化處理，進而於該電子產品的顯示器上顯示一視球全景影像。此外，藉由可編程影像處理器或數位訊號處理器之協助，該影像處理應用程式亦可對該視球全景影像進行視野參數運算之後，將該二個魚眼攝影機所擷取的視頻資訊透過平面全景顯示模式、魚眼視野顯示模式、或人眼視野顯示模式予以顯示。

必須加以強調的是，上述之詳細說明係針對本發明可行實施例之具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

＜本發明＞
S1~S5‧‧‧方法步驟
2‧‧‧環景相機
21‧‧‧左魚眼攝像頭
22‧‧‧右魚眼攝像頭
I-L‧‧‧左幀廣角影像
I-R‧‧‧右幀廣角影像
3‧‧‧電子產品

＜習知＞
S1’~S6’‧‧‧方法步驟

圖1係顯示一種習知的360度全景影像生成技術的方法流程圖；圖2係顯示本發明之一種全景即時影像處理方法的流程圖；圖3係為使用一環景相機進行影像擷取作業之示意圖；圖4係為二影像擷取模組所擷取的兩幀影像的示意圖；圖5係為視球全景顯示模式之單一幀全景影像的示意性顯示圖；圖6係為平面全景顯示模式之單一幀全景影像的示意性顯示圖。

Claims

一種全景即時影像處理方法，係應用於一電子產品之中，並包括以下步驟： (1)對至少一影像擷取模組進行一參數校正處理； (2)使用該至少一影像擷取模組擷取至少兩幀影像； (3)對該至少兩幀影像進行一全景座標轉換處理，以獲得至少兩幀全景轉換影像； (4)對該至少兩幀全景轉換影像進行一影像接合處理，以獲得單一全景影像；以及 (5)對該單一幀全景影像進行一顯示模式處理，使得該單一幀全景影像以一特定顯示模式於一顯示裝置之上顯示。
如申請專利範圍第1項所述之全景即時影像處理方法，其中，該特定顯示模式可為下列任一種：視球全景顯示模式(Sphere Panorama)、平面全景顯示模式(Plain Panorama)、魚眼視野顯示模式、人眼視野顯示模式、或投影顯示模式。
如申請專利範圍第1項所述之全景即時影像處理方法，其中，於該步驟(1)之中，係使用以下數學函式完成所述參數校正處理：；其中，FOV表示為該影像擷取模組的視野範圍，W表示為一影像寬度，且W_over 表示為該兩幀影像的一影像重疊寬度。
如申請專利範圍第1項所述之全景即時影像處理方法，其中，該步驟(3)係包括以下詳細步驟： (31)對該兩幀影像進行一經緯座標轉換處理，以獲得複數個經緯座標； (32)對該複數個經緯座標進行一三維向量轉換處理，以獲得複數個3D向量； (33)對該複數個3D向量一投影轉換處理，以獲得複數個投影經緯座標； (34)根據該複數個投影經緯座標，計算出對應於該兩幀影像的複數個原始影像座標，進而獲得該兩幀全景轉換影像。
如申請專利範圍第1項所述之全景即時影像處理方法，其中，該顯示模式處理係利用一可編程影像處理器(Programmable image processor)或一數位訊號處理器(Digital Signal Processor, DSP) 予以完成。
如申請專利範圍第1項所述之全景即時影像處理方法，其中，該電子產品可為下列任一者：數位相機、智慧型手機、數位攝影機、平板電腦、或筆記型電腦。
如申請專利範圍第1項所述之全景即時影像處理方法，其中，該影像擷取模組係藉由有線傳輸的方式或者無線傳輸的方式將其擷取的擷取該至少兩幀影像傳送至該電子產品。
如申請專利範圍第1項所述之全景即時影像處理方法，其中，該步驟(4)係包括以下詳細步驟： (41)自該兩幀全景轉換影像的一影像重疊區域之中選出一子區域； (42)以固定間隔採樣法，於該子區域之中找出複數個特徵點； (43)利用圖形識別法，於該兩幀全景轉換影像之其一中找出與該複數個特徵點相互匹配的複數個第一匹配特徵點； (44)重複步驟(42)與步驟(43)，並接著於另一全景轉換影像之中找出與該複數個特徵點相互匹配的複數個第二匹配特徵點； (45)基於該複數個第一匹配特徵點與該複數個第二匹配特徵點完成該兩幀全景轉換影像之該影像接合處理，以獲得所述單一全景影像； (46)對該單一全景影像進行一邊緣平滑化處理。
如申請專利範圍第4項所述之全景即時影像處理方法，其中，該影像擷取模組搭載有至少一魚眼鏡頭。
如申請專利範圍第7項所述之全景即時影像處理方法，其中，該步驟(31)之中的該經緯座標轉換處理係使用以下式(1)與式(2)予以完成：；；其中，()表示為任一經緯座標，PI表示為圓周率，W表示為一影像寬度，且H表示為一影像高度。
如申請專利範圍第7項所述之全景即時影像處理方法，其中，該步驟(32)之中的該三維向量轉換處理係使用以下式(3)、式(4)與式(5)予以完成：；；；其中，()表示為任一經緯座標，且()表示為任一三維向量座標。
如申請專利範圍第7項所述之全景即時影像處理方法，其中，該步驟(33)之中的該投影轉換處理係使用以下式(6)、式(7)與式(8)予以完成：；；；其中，()表示為任一投影經緯座標，()表示為任一三維向量座標，FOV表示為該影像擷取模組的視野範圍，且W表示為一影像寬度。
如申請專利範圍第10項所述之全景即時影像處理方法，其中，該步驟(34)之中的該複數個全景影像座標係使用以下式(9)與式(10)運算而得：;其中，(X*,Y*)表示為任一全景影像座標，(Cx,Cy)表示為完成該參數校正處理之後所獲得的該魚眼鏡頭之一鏡頭中心位置。
如申請專利範圍第7項所述之全景即時影像處理方法，其中，該步驟(46)係包括以下詳細步驟： (461)找出該影像重疊區域之一中心點； (462)對該兩幀全景轉換影像之其一進行一第一影像調和處理(Image blending)； (463)對另一全景轉換影像進行一第二影像調和處理(Image blending)。
如申請專利範圍第11項所述之全景即時影像處理方法，其中，該步驟(462)係使用以下數學函式完成所述該第一影像調和處理：+；其中，表示為接合的兩幀全景轉換影像中的一左側全景轉換影像的新像素，表示為該左側全景轉換影像的像素，表示為接合的兩幀全景轉換影像中的一右側全景轉換影像的像素，表示為該影像重疊區域之一左側寬度，表示為該左側全景轉換影像的任一像素與該左側寬度的邊界的距離。
如申請專利範圍第11項所述之全景即時影像處理方法，其中，該步驟(463)係使用以下數學函式完成所述該第二影像調和處理：+；其中，表示為接合的兩幀全景轉換影像中的一右側全景轉換影像的新像素，表示為該右側全景轉換影像的像素，表示為接合的兩幀全景轉換影像中的一左側全景轉換影像的像素，表示為該影像重疊區域之一右側寬度，表示為該右側全景轉換影像的任一像素與該右側寬度的邊界的距離。