TW201503664A - 行動裝置及影像幀率提昇方法 - Google Patents

Abstract

本發明係提供一種影像幀率提昇方法，用於一行動裝置，包括：對一視訊檔案進行解碼以得到複數張第一影像；利用移動偵測單元偵測該行動裝置之一第一移動向量；計算取像單元所擷取之複數張第二影像中之一物件的第二移動向量；依據第一移動向量及第二移動向量以取得一第三移動向量；對第一影像進行移動估計以決定第四移動向量；當第三移動向量或第四移動向量大於一預定閥值時，依據第三移動向量及第四移動向量決定補償向量；依據補償向量對第一影像進行移動補償及幀率提昇處理，以產生複數張第三影像；以及於一顯示單元播放第三影像。

Description

行動裝置及影像幀率提昇方法

本發明係有關於視訊處理，特別是可依據行動裝置及使用者之移動程度以移動估計及移動補償來提高畫面幀率之行動裝置及影像幀率提昇方法。

目前市面上的行動裝置(例如智慧型手機、平板電腦等等)均會內建有移動偵測器(motion sensor)進行體感偵測，可用於體感遊戲或是定位應用。一般來說，移動偵測器可分為加速度計(accelerometer)及陀螺儀(gyroscope)，可分別偵測行動裝置之加速度及角速度(或轉動方向)。因此，由行動裝置之加速度及角速度即可計算出行動裝置之移動位置及移動向量。然而，當使用者在行走或在交通工具上觀看行動裝置之畫面，往往會因為使用者本身或交通工具之晃動，進而造成行動裝置亦隨著晃動。換言之，行動裝置與使用者之間的相對位置亦常會隨著晃動而改變，這也會造成使用者在觀賞畫面時的感受不佳。更進一步而言，傳統行動裝置並無法有效地利用移動偵測器之移動資訊(motion information)及利用行動裝置所配備的鏡頭所拍攝的影像來減低畫面晃動之程度。

本發明係提供一種影像幀率提昇方法，用於一行動裝置，該方法包括：對一視訊檔案進行解碼以得到複數張第一影像；利用該行動裝置之一移動偵測單元偵測該行動裝置之一第一移動向量；計算該行動裝置之一取像單元所擷取之複數張第二影像中之一物件的一第二移動向量；依據該第一移動向量及該第二移動向量以取得一第三移動向量；對該等第一影像進行移動估計以決定一第四移動向量；判斷該第三移動向量或該第四移動向量是否大於一預定閥值；當該第三移動向量或該第四移動向量大於一預定閥值時，依據該第三移動向量及該第四移動向量決定一補償向量；依據該補償向量對該等第一影像進行移動補償及一幀率提昇處理，以產生複數張第三影像；以及於該行動裝置之一顯示單元播放該等第三影像。

本發明更提供一種行動裝置，包括：一移動偵測單元，用以偵測該行動裝置之一第一移動向量；一視訊處理單元，用以對一視訊檔案進行解碼以得到複數張第一影像；一取像單元，用以擷取之複數張第二影像，其中該視訊處理單元更計算該等第二影像中之一物件的第二移動向量；一移動估計及移動偵測(MEMC)單元，對該等第一影像進行移動估計以決定一第四移動向量；一顯示單元；以及一處理單元，依據該第一移動向量及該第二移動向量以取得一第三移動向量；其中，當該第三移動向量或該第四 移動向量大於一預定閥值時，該MEMC單元更依據該第三移動向量及該第四移動向量決定一補償向量，並依據該補償向量對該等第一影像進行移動補償及一幀率提昇處理，以產生複數張第三影像，以及在該顯示單元上播放該等第三影像。

100‧‧‧行動裝置

160‧‧‧移動偵測裝置

110‧‧‧處理單元

161‧‧‧加速度計

120‧‧‧儲存單元

162‧‧‧陀螺儀

121‧‧‧第一儲存空間

163‧‧‧定位裝置

122‧‧‧第二儲存空間

170‧‧‧通訊單元

130‧‧‧視訊處理單元

180‧‧‧顯示單元

140‧‧‧MEMC單元

190‧‧‧取像單元

150‧‧‧記憶單元

A1-A3、B1-B9、C1-C3、F1、G1、H1‧‧‧影像

F11、G11、H11‧‧‧上影像場

F12、G12、H12‧‧‧下影像場

第1圖係顯示依據本發明一實施例之行動裝置100的功能方塊圖。

第2A~2D圖係顯示依據本發明一實施例之循序掃瞄影片進行3：2下拉變換的示意圖。

第3A~3B圖係顯示依據本發明另一實施例之循序掃瞄影片進行3：2下拉變換的示意圖。

第4圖係顯示依據本發明一實施例之影像幀率提昇方法的流程圖。

為使本發明之上述目的、特徵和優點能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式，作詳細說明如下。

第1圖係顯示依據本發明一實施例之行動裝置100的功能方塊圖。在一實施例中，行動裝置100係包括一處理單元110、一儲存單元120、一視訊處理單元130、一移動估計及移動補償(MEMC)單元140、一記憶單元150、一移 動偵測裝置160、一通訊單元170、一顯示單元180及一取像單元190。儲存單元120係包括一第一儲存空間121及一第二儲存空間122，其中第一儲存空間121係用以儲存一作業系統(例如Windows、iOS或Android等作業系統)，第二儲存空間122係用以儲存各種應用程式及檔案資料，例如視訊解碼程式、視訊檔案、音訊檔案、或資料檔案等等，但本發明並不限於此。視訊處理單元130係用以進行各種視訊解碼運算，例如DCT變換/反變換、熵編碼/解碼、環路濾波、Zig-Zag掃描及用於視訊解碼的移動估計及移動補償等運算。除此之外，視訊處理單元130更可由取像單元190(例如智慧型手機或平板電腦之前鏡頭)所拍攝之影像(例如儲存於記憶單元150中)，計算影像中之物件(例如人臉)的移動向量。MEMC單元140係用以執行一幀率提昇處理(frame rate up conversion)，對於以3：2下拉變換(pulldown)處理(亦可稱為2：3下拉變換或電視電影(Telecine))之影片進行移動估計及移動補償，並計算出影像中之物件的移動向量。記憶單元150係用以儲存視訊處理單元130及MEMC單元140在運算時所產生的各種中間數值及影像資料。

移動偵測裝置160係包括一加速度計(Accelerometer)161及一陀螺蟻(Gyroscope)162，用以分別偵測該行動裝置100之加速度及角速度，且處理單元110係可接受所偵測的加速度及角速度，並據以計算行動裝置100之位移及移動向量。在一些實施例中，移動偵測裝置160更包括一定位裝置163，例如全球衛星定位系統(Global Positioning System,GPS)、輔助全球衛星定位系統(Assisted Global Positioning System,A-GPS)、無線訊號三角定位(RF Triangulation)裝置、電子羅盤(electronic compass)或慣性測量單元(Inertial measurement unit,IMU)等裝置，用以偵測行動裝置100之地理位置，且處理單元110亦可計算行動裝置100之地理位置變化量來取得行動裝置100的移動向量。通訊單元170係用以將行動裝置100連接至一電信網路(例如2G、3G、4G、CDMA、HSPDA、Wimax等網路)及/或IP網路(例如網際網路或區域網路)。

在一實施例中，且處理單元110係可接受移動偵測裝置160所偵測的加速度及角速度，並據以計算行動裝置100之位移及移動向量。然而，若使用者在同一時間觀看行動裝置100之顯示單元180可能會有些微移動，此時，MEMC單元140係可由取像單元190所拍攝之影像(例如儲存於記憶單元150中)，計算影像中之物件(例如人臉)的移動向量。接著，處理單元110係可採用偵測器融合(sensor fusion)之技術將來自不同來源的移動向量(例如移動向量及移動向量)進行融合，進而計算出行動裝置100相對於使用者之人臉的移動向量，其中移動向量係可用下式表示：

更進一步而言，舉例來說，使用者係在車上使用行動裝置100(例如一智慧型手機或平板電腦)閱讀文件或瀏覽網頁。當行動裝置100向右移動時，處理單元110係 可使用偵測器融合之技術計算目前時間點的相對移動向量，其中當移動向量之數值需大於一預定閥值Vth，意即，MEMC單元140在計算時才會考慮移動向量。再者，因為使用者所觀看的是靜態畫面，MEMC單元140可計算得到。接著，MEMC單元140可由處理單元110中得到移動向量，因為，所以MEMC單元140可直接依據移動向量計算移動估計及移動補償之一補償向量，用以作為畫面內插的依據。在此實施例中，補償向量係可用下式表示：

在又一實施例中，舉例來說，使用者係在車上使用行動裝置100(例如一智慧型手機或平板電腦)觀賞動態影片或電影。舉例來說，動態影片及電影係以每秒24張畫面錄製。當行動裝置100向右移動時，處理單元110係可使用偵測器融合之技術計算目前時間點的相對移動向量。再者，因為使用者所觀看的是動態畫面，MEMC單元140可計算得到畫面中之物件的移動向量。接著，MEMC單元140再判斷移動向量及之數值是否大於該預定閥值Vth，若移動向量及之其中一者大於該預定閥值Vth，則MEMC單元140則依據移動向量及計算出補償向量，用以做為書面內插之依據。在此實施例中，補償向量係可用下式表示： (3)

需注意的是，式(3)係為一通用公式，無論是靜態畫面或動態畫面均可適用。而式(2)僅應用於靜態畫面之情況，意即式(2)僅為移動向量之一特例。

第2A~2D圖係顯示依據本發明一實施例之循序掃瞄影片進行3：2下拉變換的示意圖。一般的影片(film)均是採用每秒24張影像的幀率(frame rate)拍攝，若視訊壓縮檔是以每秒24張影像的幀率進行編碼，則在視訊處理單元130解碼後影片幀率仍然會產生每秒24張影像。第2A圖中之影像A1、B1及E1係為連續的影像幀(image frame)，且其影像順序為影像A1最早、影像B1次之、影像E1最晚。然而，顯示單元180影像更新頻率係為循序掃瞄(progressive scan)的60Hz、120Hz或240Hz。在一實施例中，以60Hz之影像更新頻率為例，視訊處理單元130僅需將影像A1重複1次，並將影像B1重複2次(註：視訊處理單元130亦可將影像A1重複2次，影像B1重複1次)，此即為循序掃瞄影像進行3：2下拉變換的其中一種過程。如第2B圖所示，其中影像A2與影像A1完全相同，影像B2及B3與影像B1完全相同。除此之外，在另一些實施例中，本發明更可採用MEMC之方式進行3：2 pulldown。如第2B圖所示，其中影像A2係依據影像A1及B2採用MEMC技術計算而得，影像B2及B3係依據影像B1及E1採用MEMC技術計算而得。

因此，每秒所能播放的影像張數則由24張提昇為60張。接著，若欲以120Hz之影像更新頻率在顯示單元上 進行播放時，則每秒所需要的影像張數則為120張。如第2C圖所示，視訊處理單元130係可將第2B圖中每兩張影像中均插補一張新影像，意即影像A1’、A2’、B1’、B2’及B3’均為插補影像。在一實施例中，影像A1’係可採用與影像A1完全相同之影像，且影像B2’、B3’係可採用完全與影像B1相同之影像。然而，需注意的是，因在同一影片中的各影像A1、B1、E1是在不同時間點拍攝的，若影像A2’僅單純使用影像A1或影像B1，在影片播放時會造成動作顫動(motion judder)的問題。因此，本發明之MEMC單元140係採用移動估計及移動補償之技術，計算出在影像A1及B1中之各物件的移動向量，再進而插補出時間點在影像A2及影像B1中間的影像A2’。需注意的是，在第1圖之實施例中，MEMC單元140係接收來自處理單元110的移動向量及，並計算出補償向量。因此，當MEMC單元140使用移動估計及移動補償技術插補出額外的影像時，均需考慮補償向量。換言之，當行動裝置相對於使用者之人臉具有一補償向量，則在進行移動補償時，各宏塊均加上該補償向量，則使用者可感受到畫面的晃動感明顯降低，可擁有較佳的觀賞感受。上述移動估計及移動補償之運算過程係可參考習知技術，其細節於此不再詳述。

同樣地，若欲以240Hz之更新頻率播放影片，則表示在第2B圖中的每兩張影像中間均需要再插補三張影像，例如第2D圖中的影像A3~A5、C1~C3、B4~B6及B7~B9，這些影像均是MEMC單元140使用移動估計及移動補 償計算出在第2B圖中每相鄰兩張影像(例如影像A1及A2、影像A2及B1)中的中間影像。因此每秒可播放的影像數量則由60張影像提昇為240張影像，進而達成可在顯示單元180上採用240Hz之更新頻率播放影片。因為MEMC單元140係接收來自處理單元110的移動向量及，並計算出補償向量，當MEMC單元140使用移動估計及移動補償技術插補出額外的影像時，均需考慮補償向量。

第3A~3B圖係顯示依據本發明另一實施例之循序掃瞄影片進行3：2下拉變換的示意圖。在另一實施例中，若視訊檔案是以每秒60張影像場(image field)進行視訊編碼，則表示原本以24Hz所錄製的影片已經過3：2下拉變換。舉例來說，如第3A圖所示，影像F1、G1及H1係為連續的影像幀(image frame)，且其影像順序為影像F1最早、影像G1次之、影像H1最晚。而第3A圖中的每張影像均可分為上影像場(top field，例如F11、G11及H11)及下影像場(bottom field，例如F12、G12及H12)，當影像F1、G1及H1經過3：2下拉變換後，可得到如第3B圖所示之影像場序列：F11、F12、F11、G12、G11、H12、H11、H12，此即為視訊處理單元130對以每秒60張影像場進行編碼之視訊檔案進行解碼所得的影像場序列。接著，視訊處理單元130係偵測第3B圖中之影像場序列，找出3：2下拉變換之樣式(pattern)，並執行反3：2下拉變換(inverse3：2 pulldown或稱為反電視電影(inverse telecine))之處理即可得到如第3A圖所顯示之影像幀序列。請同時參考第2A~2D圖及第3A圖， 當得到如第3A圖所顯示之影像幀序列後，即回到幀率提昇轉換之流程中的開頭，意即如第2A圖所示。後續之影像插補動作，例如第2B~2D圖所示，可參考第2A~2D圖之實施例，其細節於此不再贅述。

需注意的是在本案第2A~2D圖及第3A~3D圖之實施例中僅說明本發明如何使用MEMC技術分別達成以60Hz、120Hz或240Hz播放影片。一般來說，在人眼可接受的範圍內，畫面更新頻率愈高，使用者所感受的畫面流暢度也愈高。

第4圖係顯示依據本發明一實施例之影像幀率 提昇方法的流程圖。在步驟S400，視訊處理單元130對一視訊檔案進行解碼以得到複數張第一影像。在步驟S410，移動偵測單元160係偵測行動裝置100之一第一移動向量(例如)。在步驟S420，MEMC單元140係計算該行動裝置之一取像單元所擷取之複數張第二影像中之一物件的一第二移動向量(例如)。在步驟S430，視訊處理單元130係依據該第一移動向量及該第二移動向量以取得一第三移動向量(例如)。在步驟S440，MEMC單元140係對該等第一影像進行移動估計以決定一第四移動向量(例如)。在步驟S450判斷該第三移動向量或該第四移動向量是否大於一預定閥值，若是，則執行步驟S460，若否，則執行步驟S490。在步驟S460，當該第三移動向量或該第四移動向量大於一預定閥值時，MEMC單元140係依據該第三移動向量及該第四移動向量決定一補償向量(例如)。換言之，本發明僅在行 動裝置100相對於使用者的晃動程度較大時，才進行畫面的移動補償，來維持畫面的流暢度。

在步驟S470，MEMC單元140依據該補償向量對該等第一影像進行移動補償及一幀率提昇處理，以產生複數張第三影像。在步驟S480，MEMC單元140更於行動裝置100之顯示單元180播放該等第三影像。移動向量。在步驟S490，處理單元110係直接在顯示單元180上播放該等第一影像，意即行動裝置100及使用者均無移動，可不必增加幀率來提高畫面流暢度。

本發明之方法，或特定型態或其部份，可以以程式碼的型態包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置或系統。本發明之方法、系統與裝置也可以以程式碼型態透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明之裝置或系統。當在一般用途處理單元實作時，程式碼結合處理單元提供一操作類似於應用特定邏輯電路之獨特裝置。

本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍 所界定者為準。

S400-S490‧‧‧步驟

Claims (14)

1. 一種影像幀率提昇方法，用於一行動裝置，該方法包括：對一視訊檔案進行解碼以得到複數張第一影像；利用該行動裝置之一移動偵測單元偵測該行動裝置之一第一移動向量；計算該行動裝置之一取像單元所擷取之複數張第二影像中之一物件的一第二移動向量；依據該第一移動向量及該第二移動向量以取得一第三移動向量；對該等第一影像進行移動估計以決定一第四移動向量；判斷該第三移動向量或該第四移動向量是否大於一預定閥值；當該第三移動向量或該第四移動向量大於一預定閥值時，依據該第三移動向量及該第四移動向量決定一補償向量；依據該補償向量對該等第一影像進行移動補償及一幀率提昇處理，以產生複數張第三影像；以及於該行動裝置之一顯示單元播放該等第三影像。
2. 如申請專利範圍第1項之影像幀率提昇方法，其中依據該第一移動向量及該第二移動向量以取得該第三移動向量之步驟係指以一偵測器融合方法融合該第一移動向量及該第二移動向量以取得該第三移動向量。
3. 如申請專利範圍第1項之影像幀率提昇方法，其中該移動偵測單元包括一加速度計及一陀螺儀。
4. 如申請專利範圍第1項之影像幀率提昇方法，其中該等第二影像中之該物件為一人臉。
5. 如申請專利範圍第1項之影像幀率提昇方法，更包括：當該第三移動向量或該第四移動向量均小於該預定閥 值時，於該顯示單元播放該等第一影像。
6. 如申請專利範圍第1項之影像幀率提昇方法，其中該幀率提昇處理係指對該等第一影像進行3：2下拉變換，以產生複數第五影像，以及在每連續兩張該等第五影像之間以移動估計及移動補償內插出至少一第六影像，且該等第三影像包括該等第五影像及該等第六影像。
7. 如申請專利範圍第6項之影像幀率提昇方法，其中該顯示單元係以120Hz或240Hz之一畫面更新幀率播放該等第三影像。
8. 一種行動裝置，包括：一移動偵測單元，用以偵測該行動裝置之一第一移動向量；一視訊處理單元，用以對一視訊檔案進行解碼以得到複數張第一影像；一取像單元，用以擷取之複數張第二影像，其中該視訊處理單元更計算該等第二影像中之一物件的第二移動向量；一移動估計及移動偵測(MEMC)單元，對該等第一影像進行移動估計以決定一第四移動向量；一顯示單元；以及一處理單元，依據該第一移動向量及該第二移動向量以取得一第三移動向量；其中，當該第三移動向量或該第四移動向量大於一預定閥值時，該MEMC單元更依據該第三移動向量及該第四移動向量決定一補償向量，並依據該補償向量對該等第一影像進行移動補償及一幀率提昇處理，以產生複數張第三影像，以及在該顯示單元上播放該等第三影像。
9. 如申請專利範圍第8項所述之行動裝置，其中該處理 單元以一偵測器融合方法融合該第一移動向量及該第二移動向量以取得該第三移動向量。
10. 如申請專利範圍第8項所述之行動裝置，其中該移動偵測單元包括一加速度計及一陀螺儀。
11. 如申請專利範圍第8項所述之行動裝置，其中該等第二影像中之該物件為一人臉。
12. 如申請專利範圍第8項所述之行動裝置，其中當該第三移動向量或該第四移動向量均小於該預定閥值時，該視訊處理單元更於該顯示單元播放該等第一影像。
13. 如申請專利範圍第8項所述之行動裝置，其中該幀率提昇處理係指該MEMC單元對該等第一影像進行3：2下拉變換，以產生複數第五影像，以及在每連續兩張該等第五影像之間以移動估計及移動補償內插出至少一第六影像，且該等第三影像包括該等第五影像及該等第六影像。
14. 如申請專利範圍第13項所述之行動裝置，其中該顯示單元係以120Hz或240Hz之一畫面更新幀率播放該等第三影像。