TWI612805B - 影像處理方法及其系統 - Google Patents

Abstract

一種應用於影像處理系統的影像處理方法，影像處理系統產生第一影像畫面以及對應第一影像畫面的第一多軸感測值以及第一角速度感測值，影像處理方法的步驟包含：根據第一角速度感測值或第一多軸感測值產生第一多軸調整值；根據第二多軸調整值將第一多軸調整值調整為第一多軸變化值；根據第一多軸變化值對第一影像畫面進行影像還原；其中，第二多軸調整值對應於第二影像畫面。

Description

影像處理方法及其系統

本發明是有關於一種影像處理方法及對應之影像處理系統，尤其是有關於一種可保持影像畫面的水平度以及穩定度的影像處理方法及對應之影像處理系統。

廣角鏡頭由於具有廣視角的特性，因此相較於其他鏡頭可截取更寬廣的畫面，因此廣角鏡頭廣泛應用在不同的攝像領域。而由於手持電子裝置具有強大運算能力且操作便利的優勢，例如智慧型手機或手持相機等裝置，近年來藉由手持電子裝置來拍攝照片或影片的風潮更為主流，然藉由手持電子裝置配合上述之廣角鏡頭來拍攝的影像可能因為持有人的動作變化劇烈而導致影像的水平偏移，因此當拍攝的影像進行影像還原以得到全景影像時，觀賞者將會明顯感受到影像水平的偏移，導致觀賞者無法得到較佳的觀賞體驗。

為了使觀賞者在觀賞全景影像時可具有較佳的觀賞體驗，本發明提出了一種應用於影像處理系統的影像處理方法實施例，影像處理系統產生第一影像畫面以及對應第一影像畫面的第一多軸感測值以及第一角速度感測值，影像處理方法實施例之步驟包含：根據第一角速度感測值或第一多軸感測值產生第一多軸調整值；根據第二多軸調整值將第一多軸調整值調整為第一多軸變化值；根據第一多軸變化值對第一影像畫面進行影像還原；其中，第二多軸調整值對應於第二影像畫面。

本發明更提出一種影像處理系統實施例，其包括角速度感測單元、多軸感測單元、影像產生單元、影像處理單元以及一微處理器。角速度感測單元用以感測並產生第一角速度感測值，多軸感測單元用以感測並產生第一多軸感測值，影像產生單元用以感測並產生影像訊號，影像處理單元用以接收第一角速度感測值、第一多軸感測值以及影像訊號，並根據影像訊號產生對應第一角速度感測值以及第一多軸感測值的第一影像畫面，微處理器用以接收第一角速度感測值、第一多軸感測值以及第一影像畫面，微處理器用以根據第一角速度感測值或第一多軸感測值產生第一多軸調整值，微處理器並根據第二多軸調整值將第一多軸調整值調整為第一多軸變化值，微處理器根據第一多軸變化值對第一影像畫面進行影像還原，其中，第二多軸調整值對應於第二影像畫面。

綜以上所述，由於本案之影像處理系統可根據其他影像畫面調整當前影像畫面的多軸變化值，使鄰近的影像畫面在多軸上的變化量具有較少的差異，因此當觀賞者觀看影像畫面透過影像還原所得到的全景影像時，能具有更佳的觀賞體驗。

為讓本發明之上述和其他目的、特徵和優點能更明顯易懂，下文特舉較佳實施例並配合所附圖式做詳細說明如下。

請先參考圖1A，圖1A為影像處理系統實施例一示意圖，影像處理系統10可以為手持式電子裝置來實現，例如為智慧手機、手持相機等但不以此為限。影像處理系統10包括角速度感測單元11、多軸感測單元12、影像產生單元13、影像處理單元14以及微處理器15，影像處理單元14與角速度感測單元11、多軸感測單元12、影像產生單元13以及微處理器15電性耦接。角速度感測單元11是用以偵測不同軸向的角位移和速度，例如偵測個別於X軸、Y軸以及Z軸上的角位移和速度，角速度感測單元11並會根據感測結果輸出對應的角速度感測值，角速度感測單元11例如可以為陀螺儀。多軸感測單元12是用以偵測不同軸向上的加速度，例如偵測個別於X軸、Y軸以及Z軸上的加速度，多軸感測單元12並會根據感測結果輸出對應的多軸感測值，多軸感測單元12例如可以為三軸加速度計。影像產生單元13是用以擷取當前畫面並產生影像訊號，影像產生單元13更可包括一廣角鏡頭131以及一影像擷取單元132，廣角鏡頭131的視角可以等於或大於180度，廣角鏡頭131是用以接收光線並將光線傳送至影像擷取單元132，廣角鏡頭131並可根據需求同時設置一個或多個，不以此為限。影像擷取單元132用以感光並將感測結果轉為電訊號，即上述的影像訊號，影像擷取單元132例如可以為CMOS感測器或感光耦合元件(Charge-Coupled Device, CCD)。影像處理單元14則是用以接收上述之影像訊號，並根據連續多個影像訊號產生多個連續的影像畫面，多個連續影像畫面可組合成一影片，此外影像處理單元14並同時接收上述的角速度感測值以及多軸感測值，使每一影像畫面皆可對應到拍攝影像畫面當下所產生之角速度感測值以及多軸感測值，影像處理單元14並將多個影像畫面以及每一影像畫面所對應的角速度感測值以及多軸感測值傳送至微處理器15，其中，對應特定影像畫面的角速度感測值以及多軸感測值可個別紀錄於影像畫面本身的影像畫面資訊中，或者將角速度感測值以及多軸感測值另存於另外的檔案中，此檔案並紀錄每一個角速度感測值以及每一個多軸感測值與影像畫面的對應關係，例如：以查找表的方式紀錄每一影像畫面所對應的角速度感測值以及多軸感測值。微處理器15與影像處理單元電性耦接，是用以接收上述的角速度感測值、多軸感測值以及對應的影像畫面，在某些實施例中，微處理器15可將接收的角速度感測值、多軸感測值以及對應的影像畫面儲存至與微處理器15電性耦接的記憶單元16中，微處理器15並會判斷影像畫面所對應之角速度感測值是否大於一門檻值，當影像畫面所對應之角速度感測值大於一門檻值，也就是拍攝的當下手持式電子裝置被判斷為有位移，微處理器15可根據角速度感測值以及其他影像畫面所對應的多軸調整值產生對應的多軸調整值，例如，第N個影像畫面可根據第N-1個影像畫面的多軸調整值產生第N個影像畫面的多軸調整值。而當影像畫面所對應之角速度感測值小於上述的門檻值，也就是此時手持式電子裝置被判斷為靜止狀態，因此可以說當前的影像畫面所對應的多軸感測值為相對準確的感測值，則此影像畫面之多軸感測值可直接做為上述之多軸調整值。微處理器15並將多軸調整值根據其他影像畫面所對應的多軸調整值調整為當前影像畫面的多軸變化值，微處理器15更根據最後得到的多軸變化值對對應的影像畫面進行影像還原得到一顯示影像，所述的影像還原例如為扭曲影像還原技術(Dewarp)。

在其他實施例中，影像處理系統10更可包括一拍攝裝置20以及一影像處理裝置30，如圖1B所示。所述拍攝裝置20例如為手持相機或攝影機，影像處理裝置30例如為智慧型手機、平板電腦或筆記型電腦等具有強大運算能力之電子裝置。拍攝裝置20包括上述之角速度感測單元11、多軸感測單元12、影像產生單元13以及影像處理單元14，拍攝裝置20更包括一第一通訊單元21，第一通訊單元21與影像處理單元14電性耦接，第一通訊單元21是用以接收上述的角速度感測值、多軸感測值以及對應的影像畫面並傳送至影像處理裝置30。影像處理裝置30包括一第二通訊單元31以及上述之微處理器15，第二通訊單元31與微處理器15電性耦接，第二通訊單元31用以接收第一通訊單元21傳送的角速度感測值、多軸感測值以及對應的影像畫面並傳送至微處理器15，其中，第一通訊單元21以及第二通訊單元31彼此間可以有線或無線的方式通訊，此外，在圖1A與圖1B中，相同元件符號之元件為相同的元件。

接著將配合圖1A以及圖2說明本發明之影像處理方法實施例，其中，圖2為影像處理方法實施例之步驟流程示意圖，以下並以影片包含第一影像畫面以及第二影像畫面為例來進行說明，第二影像畫面並與第一影像畫面相鄰且第二影像畫面為影片中的第一張影像畫面，第一影像畫面對應第一角速度感測值以及第一多軸感測值，第二影像畫面對應第二角速度感測值以及第二多軸感測值，以下並以第一影像畫面進行影像處理為例來說明。首先，在步驟201，微處理器15取得第一影像畫面對應的第一角速度感測值以及第一多軸感測值，接著在步驟203，微處理器15判斷第一角速度感測值是否大於上述之門檻值，例如第一角速度感測值在每一軸的角速度變化量是否大於1 弧度／秒。當在步驟203判斷為是，執行步驟205，微處理器15根據第二影像畫面的第二多軸調整值以及第一影像畫面的第一角速度感測值產生對應第一影像畫面的第一多軸調整值，以第二多軸調整值為(30,40,20)以及第一角速度感測值為(0, 15, 10)為例，其中30為第二多軸調整值中X軸之加速度值，40為第二多軸調整值中Y軸之加速度值，20為第二多軸調整值中Z軸之加速度值，0為第一角速度感測值中X軸之角速度感測值，15為第一角速度感測值中Y軸之角速度感測值，10為第一角速度感測值中Z軸之角速度感測值，因此在步驟205中，微處理器15會根據第二多軸調整值以及第一角速度感測值得到對應第一影像畫面的第一多軸調整值，調整方法例如為(30+0, 40+15, 20+10)，因此得到第一多軸調整值(30,55,30)。而若在步驟203判斷為否，執行步驟207，當步驟203判斷為否，也就是第一影像畫面拍攝時角速度變化量小於門檻值，因此可判定為第一影像畫面拍攝時電子裝置為靜止狀態，即第一影像畫面所對應之第一多軸感測值準確的反應出拍攝時之位置，因此微處理器15可將第一多軸感測值的感測結果直接做為第一多軸調整值進行後續的影像處理。接著在步驟209，微處理器15根據對應第二影像畫面的第二多軸調整值以及第一多軸調整值來產生第一多軸變化值。在一實施例中，以給與不同權重的方式來產生第一多軸變化值，以第一多軸調整值為(30,55,30)、第二多軸調整值為(30,40,20)為例，假設第一多軸調整值的權重為

、第二多軸調整值的權重為

為例，第一多軸變化值將等於為(30,

,

)，以藉由權重的調整減少第一影像畫面與第二影像畫面之間的多軸加速度值變化量，達到平滑化的效果。在其他實施例中，權重需符合第一多軸變化值與第二多軸變化值每一軸彼此間的差值需小於一差值門檻值的條件，此差值門檻值例如為2度，假設第一多軸變化值在X軸上的值為30度，為了符合小於差值門檻值的條件，第二多軸變化值在X軸上的範圍需在28至32度之間。完成步驟209後，接著進行步驟211，微處理器15在得到上述之第一多軸變化值後，即可根據第一多軸變化值對第一影像畫面進行影像還原，其中，在此實施例中，由於第二影像畫面為第一張影像畫面，而根據使用者拍攝習慣，第一張影像畫面通常為穩定狀態下拍攝，因此在拍攝當下所感測到之三軸感測值無需進行調整即可用以影像還原，因此對應第二影像畫面之第二多軸變化值即為第二多軸感測值，也就是說第二影像畫面是以第二多軸感測值來進行步驟211。此外，當影像畫面在步驟203判斷為否，也就是此影像畫面在拍攝的當下手持式電子裝置是視為靜止，因此除了在步驟207外將其多軸感測值判定為多軸調整值外，更直接將其多軸感測值做為上述的多軸變化值，也就是以此影像畫面為基礎進行其他影像畫面的多軸感測值的調整。

以上所述僅是以一實施例來說明本發明之影像調整方法，而非用以限定本發明。在其他實施例中，微處理器15可在得到所有影像畫面所對應之多軸調整值後再進行步驟209。在另一實施例中，微處理器15可得到影片中的部分影像畫面之多軸調整值即進行上述的影像還原，例如微處理器15得到5個影像畫面以及其對應之多軸調整值後即進行步驟209，同時影像產生單元13仍持續產生影像畫面，以即時的方式進行影像還原。又在其他實施例中，可以多個連續的影像畫面對應一組角速度感測值以及一組多軸感測值，例如：第N個影像畫面至第N+10個影像畫面為一影像畫面群組，而此影像畫面群組對應到單筆角速度感測值以及單筆多軸感測值。在其他實施例中，例如或者同時間點由多個影像產生單元13產生之多個影像畫面對應一組角速度感測值以及一組多軸感測值。在其他實施例中，影像處理系統10包含多個影像產生單元13，例如2個影像產生單元13，則在同一時間點影像處理單元會接收到兩筆影像訊號，並根據此兩筆影像訊號產生兩個影像畫面，因此兩個影像畫面將對應到同一筆角速度感測值以及多軸感測值。此外，在某些實施例中，可以多個早於當前影像畫面或/及晚於當前影像畫面產生之其他影像畫面所對應的多軸調整值來得到當前影像畫面的多軸變化值，例如上述之第N個影像畫面所對應的多軸變化值，可根據第N-1個影像畫面的多軸調整值、第N-2個影像畫面的多軸調整值以及第N-3個影像畫面的多軸調整值來得到第N個影像畫面所對應的多軸變化值，又或者以第N-1個影像畫面的多軸調整值以及第N+1個影像畫面的多軸調整值來得到第N個影像畫面所對應的多軸變化值，但不以此為限。

接著請參考圖3A、圖3B以及圖3C，圖3A為上述之影像畫面，圖3B為未經本發明所提出的影像處理方法而直接進行影像還原之顯示影像，圖3C為經過本發明所提出的影像處理方法後進行影像還原之顯示影像，由圖3B以及圖3C可以明顯看出，圖3B由於未經過本發明之影像處理方法調整其位移，因此無法調整手持式裝置位移而造成的水平偏移(虛線處)，而經由本發明所提出的影像處理方法調整後，由於已根據拍攝時的位移調整其三軸加速度值，因此可有效調整影像畫面中整體水平，如圖3C所示，使觀賞者可具有較佳的視覺體驗。

綜以上所述，根據本案所提出的影像處理方法及影像處理系統，當影像畫面在拍攝當下的角速度感測值過大時，會先根據相鄰影像畫面以及感測的角速度感測值調整拍攝影像畫面當下所感測到的三軸感測值，以調整手持式電子裝置位移所造成的水平偏移，此外，藉由與其他至少一個影像畫面所對應的三軸調整值來進行平滑化，更可有效減少多個連續影像畫面彼此間的三軸加速度值的差異，有效增進觀賞影像畫面的舒適度。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何熟習此技術者，在不脫離本發明之精神和範圍內，當可做些許之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10‧‧‧影像處理系統

11‧‧‧角速度感測單元

12‧‧‧多軸感測單元

13‧‧‧影像產生單元

131‧‧‧廣角鏡頭

132‧‧‧影像擷取單元

14‧‧‧影像處理單元

15‧‧‧微處理器

16‧‧‧記憶單元

20‧‧‧拍攝裝置

21‧‧‧第一通訊單元

30‧‧‧影像處理裝置

31‧‧‧第二通訊單元

201、203、205、207、209、211‧‧‧步驟

圖1A為本發明之影像處理系統實施例一示意圖。 圖1B為本發明之影像處理系統實施例二示意圖。 圖2為本發明之影像處理方法流程實施例示意圖。 圖3A為影像畫面。 圖3B為影像還原後之影像畫面。 圖3C為應用本案之影像處理方法後進行影像還原之影像畫面。

201、203、205、207、209、211‧‧‧步驟

Claims (10)

1. 一種影像處理系統之影像處理方法，該影像處理系統包括一角速度感測單元以及一多軸感測單元，該影像處理系統產生一第一影像畫面，該多軸感測單元產生對應該第一影像畫面的一第一多軸感測值，該角速度感測單元產生對應該第一影像畫面的一第一角速度感測值，該影像處理方法之步驟包括：根據該第一角速度感測值或該第一多軸感測值產生一第一多軸調整值；根據一第二多軸調整值將該第一多軸調整值調整為一第一多軸變化值；根據該第一多軸變化值對該第一影像畫面進行影像還原；其中，該第二多軸調整值對應於一第二影像畫面。
2. 如請求項第1項所述之影像處理方法，其中，根據該第一角速度感測值或該第一多軸感測值產生該第一多軸調整值之步驟包括：判斷該第一角速度感測值是否大於一門檻值；當判斷為是，根據該第二多軸調整值以及該第一角速度感測值將該第一多軸感測值調整為該第一多軸調整值；以及當判斷為否，該第一多軸感測值為該第一多軸調整值。
3. 如請求項第1項所述之影像處理方法，其中，一第二多軸變化值與該第一多軸變化值之差值小於一差值門檻值。
4. 如請求項第2項所述之影像處理方法，其中，該第二影像畫面的產生時間早於該第一影像畫面的產生時間。
5. 如請求項第4項所述之影像處理方法，其中，該第二多軸調整值為一第二多軸感測值。
6. 一種影像處理系統，其包括：一角速度感測單元，用以感測並產生一第一角速度感測值；一多軸感測單元，用以感測並產生一第一多軸感測值；一影像產生單元，用以感測並產生一影像訊號；一影像處理單元，與該角速度感測單元、該多軸感測單元以及該影像產生單元電性耦接，該影像處理單元用以接收該第一角速度感測值、該第一多軸感測值以及該影像訊號，並根據該影像訊號產生對應該第一角速度感測值以及該第一多軸感測值的一第一影像畫面；以及一微處理器，與該影像處理單元電性耦接，該微處理器是用以接收該第一角速度感測值、該第一多軸感測值以及該第一影像畫面，該微處理器用以根據該第一角速度感測值或該第一多軸感測值產生一第一多軸調整值，該微處理器並根據一第二多軸調整值將該第一多軸調整值調整為一第一多軸變化值，該微處理器根據該第一多軸變化值對該第一影像畫面進行影像還原，其中，該第二多軸調整值對應於一第二影像畫面。
7. 如請求項第6項所述之影像處理系統，其中，該微處理器更用於判斷該第一角速度感測值是否大於一門檻值，當判斷為是，該微處理器根據該第二多軸調整值以及該第一角速度感測值將該第一多軸感測值調整為該第一多軸調整值，當判斷為否，該微處理器將該第一多軸感測值判定為該第一多軸調整值。
8. 如請求項第7項所述之影像處理系統，其中，該第二影像畫面的產生時間早於該第一影像畫面的產生時間。
9. 如請求項第7項所述之影像處理系統，其中，該第二多軸調整值為一第二多軸感測值。
10. 如請求項第7項所述之影像處理系統，其中，一第二多軸變化值與該第一多軸變化值之差值小於一差值門檻值。