TWI501600B - 視訊影像之處理方法及裝置 - Google Patents

Description

視訊影像之處理方法及裝置

本發明係關於一種視訊處理方法和裝置，旨在發生包括運動模糊的影像。本發明尤指關於動畫和視訊效果領域，可應用於合成影像，或由裝設數位快門的影像捕獲裝置發生之影像。

此項處理之目的，在使影像更自然，對肉眼更柔性。

運動模糊是可目視的模糊，出現在包括運動中物像的影片或動畫之影像或視訊序列上。此項模糊是由於在捕獲影像之際，物像快速移動，或影像捕獲裝置(攝影記錄器或固定照相機)曝光期間(擺姿勢時間)長所致。在相當於影像捕獲裝置快門速度所決定曝光期間之周期，所捕獲影像積合物像之全部位置。在此影像中，所捕獲場景之元素，係相對於捕獲裝置運動，再於運動方向模糊出現。當影像捕獲裝置固定時，此模糊元素可為場景運動中之物像，或當影像捕獲裝置與場景運動中之物像同一速度運動時，則為場景之背景。

以合成影像而言，各影像可與具有無限快門速度(曝光期間擬似零)的捕獲裝置所捕獲之影像同化。因此，即無運動模糊，而在影像中運動物像之移動出現不連續，對肉眼會晃動。

至於具有數位快門(非機械式)的捕獲裝置所發生之影像，運動物像在所捕獲影像上的表現，會含有時間假象，與肉眼不諧，由於典型上以開啟/停止模態操作的數位快門(意即快門只有二種狀態)，突然截斷光訊號之故。

為克服此問題，凡精於此道之士已知對此等影像施以處理，模擬機械式快門所致之過濾。對於具有數位快門的捕獲裝置所發生之影像，此項處理包含以數位快門的時間回應配合機械式快門。對於合成影像，此項處理包含以時間回應接近機械式快門的過濾器(稱為「運動過濾器」)過濾影像。

此項處理一般包含：在相對於待顯示影像的參照時間t為中心的時距，獲取複數視訊影像；對各該視訊影像加權；將加權視訊影像平均，實施顯示與參照時間t關聯之影像。欲加權之影像數，以及為此項處理所考慮的加權因數值，視對複製的時間回應而定。

對於欲顯示之各影像，此項處理需獲得並節省若干視訊影像。因此，其實施需要大記憶器空間，以儲存此等影像，即隱含記憶器存取時間較長，影響到處理時間。

本發明之目的，在於倡議一種影像處理方法，克服全部或部份上述缺點，尤指一種影像處理方法，使用減少記憶器空間，需要存取時間較少。

為此目的，本發明提議一種影像處理方法，包括下列步驟：在包括參照時間t的時距當中，獲取複數視訊影像；令加權因數與至少部份視訊影像關聯，至少二視訊影像有不同的加權因數；記憶視訊影像；把所記憶的各視訊影像，以關聯之加權因數加權；將加權的視訊影像平均，發生一影像，稱為參照影像，與參照時間t關聯；其特徵為，以與該視訊影像關聯的加權因數成比例之解像度，記憶各視訊影像，各視訊影像按照把視訊影像與參照時間t分離的時期遞降函數，與加權因數關聯。

因此，按照本發明，關聯加權因數低之影像，其解像度即低。此舉可減少此等影像所佔記憶器空間，並減少對此等影像之存取時間。

因此，時間上最遠離參照時間t的視訊影像，具有最低的加權因數。對最遠離參照時間的視訊影像，應用低加權因數，致能複製機械式快門之時間回應，因而在接續影像間可得柔順之過渡。

須知影像的解像度，係指在水平和直立方向二者所包括的點或圖元數。當影像的解像度減少，圖元數即減少。

按照特殊具體例，與各視訊影像關聯之加權因數，即與把該視訊影像從參照時間t分開的期限呈反比。

按照特殊具體例，時距中心在參照時間t。

按照特殊具體例，與各訊訊影像關聯之加權因數，即與把該視訊影像從參照時間t分開的期限之高架餘弦呈反比。

按照特殊具體例，該複數視訊影像之各影像，係多解像度影像，諸如按照標準JPEG 2000之影像。

本發明亦關係到視訊影像獲取和處理方法，包括：獲取機構，在包括參照時間t的時距當中，獲取複數視訊影像；記憶器，記憶所獲取視訊影像；處理電路，令加權因數與各視訊影像關聯，至少二視訊影像具有不同的加權因數，以便用關聯之加權因數，對所記憶各視訊影像加權，並利用加權視訊影像平均，發生一影像，稱為參照影像，與參照時間t關聯；控制機構，以控制在記憶器內記憶所需視訊影像；其特徵為，各獲取之視訊影像記憶在記憶器內，其解像度與關聯之加權因數成比例，加權因數按照把視訊影像從參照時間t分開的期限之遞減函數，與各視訊影像關聯。

按照特殊具體例，時距的中心在參照時間t。

處理電路宜使各視訊影像與加權因數關聯，即與把該視訊影像從參照時間t分開的期限呈板比，以複製由照相機的機械式快門進行之過濾。

處理電路最好使各視訊影像與加權因數關聯，即與把該視訊影像從參照時間t分開的期限之高架餘弦呈反比。

由參照附圖詳述中，即可更為明白本發明，及其他旨趣、細節、特徵和優點。

本發明係關於在合成影像或數位影像引進運動模糊，並藉降低加全因數低的影像解像度；使實施此項處理所需記憶空間最佳，致使其儲存所需大小降低。此外，決定對影像施以過濾，以複製由機械式快門進行之過濾。

因此，首先說明快門之任務和操作。

在數位和類比攝影記錄器內，攝影記錄器之透鏡是用來聚焦光線，引導朝向化學或半導體影像捕獲裝置。例如，在數位攝影記錄器中，影像捕獲裝置是CCD(電荷耦合裝置)捕獲器或CMOS(互補金屬氧化物半導體)捕獲器，以數千或數百萬小字體光敏性二極體(稱為光敏性電池)之矩陣，測量光線。

必須控制到達捕獲器的光量，以免曝光過度和曝光不足。此為快門之任務。可為機械式或數位式。

須知機械式快門係安裝於捕獲裝置之組件，致使影像捕獲裝置之曝光期間可以調節。此快門為例如光圈快門或簾幕快門。

反之，數位式快門不以硬體組件存在，而是代表光敏性電池在捕獲週期當中獲許接受光線之期限。

一般而言，快門可經由期時間回應而模式化，標誌為h(t)。利用光敏性電池整合光線的過程，即可以下式表示：

其中，x(t)表示入射光的訊號；x_shut (t)表示光敏性電池所捕獲光線訊號；T是電池曝露於入射光訊號之際的光敏性電池曝光期間，T亦相當於整合期間。

快門行為就像過濾器(或稱濾光器)，只是在相當於T的快門時間當中，令光線通過，在此時期的每一瞬間允許通過之光量，係以函數h(t)界定。

此過濾過程(此時把應用式1以分立形式容易複製成視訊影像集合之光加以整合)有助於待顯示影像之顯影。此項整合再產生視訊影像之加權合計，加權因數係由待複製的快門時間回應h(t)決定。有助於待顯示影像顯影的各視訊影像，係中心在事關待顯示影像之參照瞬間t的時距內，有關其本身專用之瞬間的視訊影像。此等視訊影像係以例如與待顯示影像關聯的顯示頻率倍數之獲取頻率所獲取影像。

為了清晰起見，以下使用副影像一辭，指稱有助於待顯示影像顯影之視訊影像。

第1和2圖分別表示機械式快門的時間回應和標準數位式快門的時間回應。各以增益函數的形式表示，當快門全開時，增益最大且等於1，快門關閉時，增益為零。

機械式快門逐漸啟閉。因此，其增益在全開位置的各側逐漸增減(見第1圖)。

標準數位式快門之行為，像二位置的開關：一為開啟位置，光敏性電池准許捕獲光，另一為關閉位置，光敏性電池不許捕獲光。此快門之時間回應即呈四方形(第2圖)。

此二種回應可利用分立上升的餘弦函數加以模式化，數位式快門之滾離因數接近0，而機械式快門是正數。

若光線為完整影像之整合過程，以分立形式加以模式化，可寫成下列方式：

其中，k為指定影像之指數；q指在影像k的Q副影像當中之副影像；I(x,y,q)表示副影像的座標(x,y)之圖元值；I_shut (x,y,k)表示處理後影像k的座標(x,y)之圖元值；h(q)為快門時間回應之分立形式。

按照經由機械式快門在影像內引進運動模糊，使用式2之分立時間回應h(t)，如第1圖所示。由此圖可見，有些副影像的增益比其他為低。此增益值代表此副影像在待顯示影像中之權值。應用於副影像的加權因數，即與增益成比例，如第1圖所示。

由此圖(第1圖)可見，在處理方法中，有些副影像的權值比其他為低。因此，不必提高解像度來儲存此等副影像。

又，按照本發明，副影像之解像度，可按照其權值(加權因數)適應。為處理而儲存的各副影像之解像度，按比例適應其權值(加權比例)。因此，待處理影像之副影像，會佔有明顯與其權值成比例之記憶器空間。只有因數等於最大加權因數的副影像，才會保全完全解像度。因此可釋出記憶器空間，減少對副影像之存取時間。

第3圖表示本發明方法之多解像度要旨。此圖呈現6個副影像，展示同樣場景，但有不同解像度。圖左上角的副影像表示高解像度副影像，而右下角表示低解像度副影像，其他副影像具有中間解像度。

按照本發明，具有最大加權因數的副影像，以高解像度儲存，而具有加權因數者，則以明顯與此加權因數呈比例之解像度儲存。

本發明方法有益於應用在按照標準JPEG 2000之影像，並以裝備數位式快門的專業數位照相機輸送。此影像型式事實上業已包括多解像度層系結構。利用照相機在高頻率，例如100 Hz或200 Hz進行獲取，對於待顯示之各影像，可獲取若干副影像。例如，以在25 Hz顯示而在200 Hz獲取之情況而言，照相機對待顯示之各影像，發生8個多解像度副影像。為處理起見，各副影像會儲存解像度，相當於與此副影像關聯之加權因數。

第4圖表示能夠實施本發明方法的裝置略圖。包括：副影像之獲取機構11，諸如CMOS捕獲裝置，其操作模態能夠獲得高捕獲頻率；記憶器12，供記憶所捕獲副影像；影像處理電路13，以便令加權因數與各視訊副影像關聯，以權衡由關聯加權因數所記憶之各副影像，並利用加權視訊影像之平均，發生影像，稱為參照影像，與參照時間t關聯；和控制機構14，供集合裝置之機構。

控制機構更特別控制記憶器，因獲取機構所發生之各副影像，以對關聯加權因數成比例之解像度，儲存在記憶器內。

為複製數位式快門引進之運動模糊，處理電路宜令各視訊影像與一加權因數關聯，係與把該視訊影像從參照時間t分開的期間成反比，意即從第1圖明白呈現，加權因數遵循把該視訊影像從參照時間t分開的期間之遞降函數。此加權因數最好與把該視訊影像從參照時間t分開的期間之上升餘弦成反比。

處理電路發生之參照影像，再傳輸至顯示裝置20。

此裝置例如為攝影記錄器，有很高的獲取頻率，例如100或200 Hz，而在25 Hz輸送參照影像。

雖然本發明已就特殊具體例加以說明，惟顯然不限於此，可包括上述機構之全部技術等效物，及其組合，只要在本發明範圍內。

按照變化例，加權因數係與某些副影像之各副影像關聯，意即只有某些視訊影像有助於待顯示影像之顯影。例如，有些接近參照時間t的副影像，應用係數等於1，意即無加權係數與其關聯。

按照另一變化例，副影像被捕獲當中的時距，中心不在t。按照此變化例，參照時間無分軒輊定位在時距之始或終。按照此變化例，在參照時間t之前捕獲之副影像數，不等於參照時間t之後捕獲之副影像數。在參照時間t之後捕獲的副影像數間造成不平衡，致使對時距內參照時間t之前運轉的期間(此情況相當於在t之前捕獲的副影像數，大於t之後捕獲的副影像數之情形，此相當於t在時間上位於時距中心以後之情形)更為重要，或對時距內參照時間t之後運轉的期間(此情況相當於在t之前捕獲的副影像數，小於t之後捕獲的副影像之情形，此相當於t在時間上位於時距中心以前之情形)更為重要。按照特別具體例，參照時間t置於時距之始(全部影像於時距當中t之後所捕獲)。按照另一具體例，參照時間t置於時距之終(全部影像於時距當中t之前捕獲)。

11．．．捕獲裝置

12．．．記憶器

13．．．處理電路

14．．．控制機構

20．．．顯示裝置

第1圖表示標準機械式快門的光線整合函數圖；

第2圖表示數位式快門的光線整合函數圖；

第3圖表示具有若干可能解像度得同一影像簡圖；

第4圖表示實施本發明方法所用裝置簡圖。

11．．．捕獲裝置

12．．．記憶器

13．．．處理電路

14．．．控制機構

20．．．顯示裝置

Claims (9)

1. 一種視訊影像之處理方法，包括如下步驟：在包括參照時間t的時距當中，獲取複數視訊影像；令加權因數與各視訊影像關聯，至少二視訊影像具有不同的加權因數；記憶在記憶器(12)中所獲取之視訊影像；把所記憶的各視訊影像，以關聯之加權因數加權；將加權的視訊影像平均，發生一影像，稱為參照影像，與參照時間t關聯；其特徵為，各視訊影像係以對該視訊影像關聯的加權因數成比例之解像度記憶，加權因數係按照把該視訊影像從參照時間t分開的期限之遞降函數，與各視訊影像關聯者。
2. 如申請專利範圍第1項之方法，其中與各視訊影像關聯之加權因數，係與把該視訊影像從參照時間t分開的期限成反比者。
3. 如申請專利範圍第1或2項之方法，其中時距中心在參照時間t者。
4. 如申請專利範圍第1項之方法，其中與各視訊影像關聯之加權因數，係與把該視訊影像從參照時間t分開的期限之上升餘弦成反比者。
5. 一種視訊影像之獲取和處理裝置，包括：獲取機構(11)，在包括參照時間t的時距當中，獲取複數視訊影像；記憶器(12)，以記憶所獲取視訊影像；處理電路(13)，令加權因數與至少若干視訊影像關聯，至少二視訊影像具有不同加權因數，以便藉關聯加權因數加權所記憶之各視訊影像，將加權的視訊平均，並發生一影像，稱為參照影像，與參照時間t關聯；控制機構(14)，以控制所獲取視訊影像在記憶器內之記憶； 其特徵為，所獲取之各視訊影像，以與關聯加權因數成比例之解像度，記憶在記憶器內，加權因數係按照把該視訊影像從參照時間t分開的期限之遞降函數，與各視訊影像關聯者。
6. 如申請專利範圍第5項之裝置，其中處理電路令各視訊影像與一加權因數關聯，加權因數係與把該視訊影像從參照時間t分開的期限成反比者。
7. 如申請專利範圍第5或6項之裝置，其中時距中心在參照時間t者。
8. 如申請專利範圍第5項之裝置，其中處理電路令各視訊影像與一加權因數關聯，加權因數係按照把該視訊影像從參照時間t分開的期限之上升餘弦成反比者。
9. 一種攝影記錄器，其特徵為，包括申請專利範圍第5項之裝置者。