TWI423682B - 影像處理方法 - Google Patents

Description

影像處理方法

本發明關於一種影像處理方法，尤指一種可在影像處理程序中斷後，實現位元流接合(bitstream stitching)技術之影像處理方法。

由於有些數位相機畫素並不高，例如300萬畫素或500萬畫素，故處理時間不長，處理時間可為使用者所接受。以影像編解碼為例，對於高畫素的數位相機而言，光是編碼一整張影像就需花不少的時間，故若是對整張影像編碼完後再播放，使用者會因編碼時間太長而覺得產品不好用。因此，現行的做法是先產生另外一張小圖做播放，然後於背景再慢慢編碼整張影像。

然而，若是使用者欲馬上將剛擷取的影像和之前截取的影像做比較，解決方法還是只能等整張影像編碼完後，才能解碼之前截取的影像來做顯示，故仍無法完全解決處理延遲的問題。

目前係利用下列兩個方法來克服上述問題。第一個方法是直接對尚未完成編碼的部分丟掉並且先進行解碼，讓使用者不會有延遲播放的感覺，此方法的缺點是需回到記憶卡，把之前存在記憶卡中的已編碼部分全刪除，等到解碼完畢後再回來背景繼續做編碼處理。如果使用者想繼續看別張影像的話，則該影像的編碼就一直無法完成，而且要把之前編碼的部分全部刪除不僅控制不易，也會浪費電源及運算資源。另外一個方法就是要等現在的編碼程序完成後，才去處理使用者需要的解碼程序。故若編碼時間太長，使用者就必須等很久。此外，上述兩個方法在影像尺寸越來越大的情況下，所造成的影響也會越來越嚴重。

本發明的目的之一在於提供一種影像處理方法，可在影像處理程序中斷後，利用位元流接合(bitstream stitching)技術來接續先前的處理，並繼續完成影像待處理部分，以解決上述問題。

根據一實施例，本發明之影像處理方法，用以對一影像進行處理，其中該影像由N個片段組成，且N為一大於1之正整數。該影像處理方法包含下列步驟：對該N個片段中的第i個片段進行處理，以產生複數個第一處理資料，其中i為一小於N之正整數；將該等第一處理資料儲存於一記憶單元；判斷該第i個片段是否已完成處理；若該第i個片段已完成處理，判斷是否有一中斷要求產生；若有該中斷要求產生，紀錄關於該等第一處理資料中的最後一個第一處理資料之一接合資訊；根據該中斷要求中斷對該影像進行處理；在該中斷要求結束後，準備對該N個片段中的第i+1個片段進行處理，以產生複數個第二處理資料；以及根據該接合資訊，將該等第二處理資料接在該最後一個第一處理資料後儲存於該記憶單元。

關於本發明之優點與精神可以藉由以下的發明詳述及所附圖式得到進一步的瞭解。

請參閱第1圖，第1圖為根據本發明一實施例之影像處理裝置1的功能方塊圖。影像處理裝置1可用以對一影像Img進行處理，例如編碼處理或影像處理等，其中影像Img由N個片段組成，且N為一大於1之正整數。需說明的是，本發明可根據實際應用來決定將影像Img分成幾個片段，即可以一個或多個片段(Slice)作為影像處理的基本單位。

如第1圖所示，影像處理裝置1包含一處理單元10、一記憶單元11、一控制單元14以及一接合資訊紀錄單元17，且記憶單元11包含一儲存單元12以及一暫存單元16。影像處理裝置1可電性連接一外部儲存單元18，以進行資料交換，例如影像處理裝置1可將資料上傳至外部儲存單元18，或從外部儲存單元18下載資料。影像處理裝置1可應用於電子裝置，如數位相機、數位攝影機、具有數位攝像功能的行動電話或其他具有數位攝像功能的電子裝置等。

於此實施例中，處理單元10可為一具有影像編碼(encoding)或影像處理(image processing)功能的模組。儲存單元12可為一動態隨機存取記憶體(dynamic random access memory,DRAM)，暫存單元16可為一緩衝記憶體(buffer)或靜態隨機存取記憶體(static random access memory,SRAM)，接合資訊紀錄單元17可為一暫存器(register)，且控制單元14可為一具有資料處理/運算功能之控制器或處理器。於實際應用中，影像Img係藉由電子裝置中的影像感測器(未顯示於圖中)所擷取，其中影像感測器可為電荷耦合元件(charge coupled device,CCD)影像感測器或互補式金氧半導體(complementary metal oxide semiconductor,CMOS)影像感測器，外部儲存單元18可為一記憶卡(memory card)。

底下將進一步揭示在影像處理程序中斷後，利用位元流接合技術來接續先前的處理，並繼續完成影像待處理部分。為便於說明，底下以處理單元10具影像編碼功能的模組為實施例，說明影像處理裝置1收到一中斷要求而發生影像編碼程序中斷，之後如何利用位元流接合技術接續先前的編碼。同理，若處理單元10係具影像處理功能的模組，例如原本在處理編碼或是影像前處理(pre-processing)程序，而影像處理裝置1收到一影像後處理(post-processing)程序中斷要求而停止目前的程序，先執行影像後處理程序，執行影像後處理程序完畢後要接續先前影像前處理程序的方式係類似的，遂不再贅述。

於此實施例中，處理單元10受控制單元14控制，以對影像Img進行編碼處理，進而產生複數個處理資料，例如編碼資料。接著，控制單元14先將處理資料儲存於暫存單元16，在暫存單元16存滿處理資料後，再將處理資料從暫存單元16轉移至儲存單元12，最後依儲存單元12的大小依序將處理資料移至外部儲存單元18。

請參閱第2A圖、第2B圖以及第3圖，第2A圖與第2B圖為根據本發明第一實施例之影像處理方法的流程圖，其適用於硬體架構或處理單元10之位元流輸出量為雙字組(double word)的限制；第3圖為處理資料儲存於暫存單元16的示意圖。請一併參閱第1圖。舉例而言，當處理單元10正在對影像Img之N個片段中的第i個片段進行編碼處理，以產生複數個第一處理資料時(步驟S100)，此時，處理單元10會先完成對第i個片段進行編碼處理，並且控制單元14會將所產生的第一處理資料儲存於暫存單元16(步驟S102)，其中i為一小於N之正整數。控制單元14會先判斷第i個片段是否已完成編碼處理(步驟S104)。若第i個片段尚未完成編碼處理，則進行步驟S108。若第i個片段已完成編碼處理，則進行步驟S106。於步驟S108中，控制單元14判斷暫存單元16是否已存滿第一處理資料。若暫存單元16尚未存滿第一處理資料，則回到步驟S102。在暫存單元16存滿第一處理資料後，控制單元14再將第一處理資料一次從暫存單元16轉移至儲存單元12(步驟S110)。相同的，控制單元14判斷儲存單元12是否已存滿第一處理資料(步驟S112)。若儲存單元12尚未存滿第一處理資料，則回到步驟S102。在儲存單元12存滿第一處理資料後，控制單元14再將第一處理資料一次從儲存單元12轉移至外部儲存單元18(步驟S114)。

於此實施例中，硬體架構或處理單元10具有輸出位元流大小為雙字組的限制，且暫存單元16和儲存單元12的記憶體位址最小單位為雙字組，第一處理資料係有雙字組對齊格式(double-word alignment)限制。每一片段完成編碼處理過程中若控制單元14收到一中斷要求，例如瀏覽要求(瀏覽已完成編碼處理的影像)或其它操作要求，控制單元14會先判斷第i個片段是否已完成編碼(步驟S104)。若第i個片段尚未完成編碼處理，則進行步驟S108。若第i個片段已完成編碼處理，則進行步驟S106。需說明的是，因控制單元14需處理其他程序而收到中斷要求，就會中斷編碼處理程序，故暫存單元16所儲存的第一處理資料未必符合雙字組對齊格式。如第3圖所示，DW_0至DW_n分別代表雙字組的記憶體位址，以影像Img之第1片段為例，由於編碼處理完成的第1片段，其最後一個第一處理資料不符合雙字組對齊格式，因此無法填滿雙字組的記憶體位址DW_6。

控制單元14判斷是否有中斷要求產生(步驟S106)。如前所述，當處理單元10正在對第i個片段進行編碼處理時，控制單元14若收到一中斷要求，在第i個片段編碼處理完畢後，控制單元14計算最後一個第一處理資料在暫存單元16中的有效位元組(byte)數(步驟S116)。接著，控制單元14將關於最後一個第一處理資料之接合資訊紀錄於接合資訊記錄單元17(步驟S118)，其中接合資訊包含儲存單元12中之一雙字組位址(double-word address)以及最後一個第一處理資料中的有效位元組數及雙字組資料。然後，將第一處理資料從暫存單元16中轉移至儲存單元12(步驟S120)，再將第一處理資料從儲存單元12中轉移至外部儲存單元18(步驟S122)。接著，控制單元14根據中斷要求控制處理單元10中斷對影像Img進行編碼處理(步驟S124)，並且根據中斷要求去執行所需任務(步驟S126)。在根據中斷要求去執行所需任務結束後，控制單元14控制處理單元10準備對影像Img之N個片段中的第i+1個片段進行編碼處理，以產生複數個第二處理資料(步驟S128)，其中第二處理資料由於硬體架構或處理單元限制亦有雙字組對齊格式限制。接著，控制單元14根據上述之接合資訊，去讀取最後一個第一處理資料之接合資訊紀錄確認上一次的有效資料後，將第二處理資料接在最後一個第一處理資料中的有效位元組數後，儲存於暫存單元16(步驟S130)。

若控制單元14沒收到一中斷要求(步驟S106)，控制單元14控制處理單元10準備對影像Img之N個片段中的第i+1個片段進行編碼處理，以產生複數個第二處理資料(步驟S128)，也就是說繼續對影像Img之N個片段中的第i+1個片段進行編碼處理。最後，控制單元14判斷影像Img之N個片段中的最後一個片段是否已完成編碼處理(步驟S132)，若否，則回到步驟S100，繼續對影像Img進行編碼處理直到完成編碼處理動作，若是，則結束編碼處理程序。

此外，第2A圖與第2B圖的影像處理方法亦適用於硬體架構或處理單元之位元流輸出量為雙字組(double word)的限制，且記憶體位址的最小單位係一個位元組(byte)。更詳細的說，當暫存單元16係以一個位元組為單元，是不需儲存有效的位元組數，故能直接透過追溯最後一筆處理資料的有效位元組位址，而接續處理。因此若記憶體位址最小單位為一個位元組，則可用有效位元組位址來紀錄下一次處理流程從哪裡開始。

請參閱第4A圖以及第4B圖，第4A圖與第4B圖為根據本發明第二實施例之影像處理方法的流程圖，其適用於硬體架構或處理單元10之位元流輸出量為位元(bit)的限制，且記憶體位址最小單位為位元組。第二實施例與前述之第一實施例的主要不同之處在於，若硬體架構或處理單元10具有輸出位元流大小為位元的限制，且第一處理資料係有位元組對齊格式(byte alignment)限制，則步驟S218所紀錄的接合資訊包含儲存單元12中之一位元組位址(byte address)以及最後一個第一處理資料中的有效位元數及位元組資料。因此，在根據中斷要求去執行所需任務結束後，控制單元14控制處理單元10準備對影像Img之N個片段中的第i+1個片段進行編碼處理，以產生複數個第二處理資料(步驟S228)，其中第二處理資料亦有位元組對齊格式限制。接著，控制單元14根據上述之接合資訊，去讀取最後一個第一處理資料之接合資訊紀錄確認上一次的有效資料後，將第二處理資料接在最後一個第一處理資料中的有效位元數後，儲存於暫存單元16(步驟S230)。

需說明的是，第4A、4B圖中的步驟S200-S216、S220-S226、S232係與第2A、2B圖中的步驟S100-S116、S120-S126、S132大致相同，在此不再贅述。

需說明的是，對於前述第一、第二實施例，第1圖中的影像處理裝置1之記憶單元11亦可不包含暫存單元16。此時，控制單元14係將資料直接儲存於儲存單元12。

請參閱第5A圖以及第5B圖，第5A圖與第5B圖為根據本發明第三實施例之影像處理方法的流程圖，適用於硬體架構或處理單元10之位元流輸出量與記憶體位址的最小單位相同的情況，如硬體架構或處理單元10之位元流輸出量與記憶體位址的最小單位均為位元，或均為位元組。第三實施例與前述之第二實施例的主要不同之處在於，若硬體架構或處理單元10具有輸出位元流大小為位元的限制，且第一處理資料係位元對齊格式(bit alignment)限制。

再者，實施第三實施例的影像處理裝置可包含暫存單元16，亦可不包含暫存單元16，底下係以影像處理裝置不包含暫存單元16來說明，至於影像處理裝置包含暫存單元的情況可參考前述第一或第二實施例，遂不再贅述。

控制單元14係直接將所產生的第一處理資料儲存於儲存單元12(步驟S302)，且步驟S312所紀錄的接合資訊包含儲存單元12中之一位元位址(bit address)及/或最後一個第一處理資料中的有效位元數及位元組資料(亦即，接合資訊也可以只包含位元位址)。因此，在根據中斷要求去執行所需任務結束後，控制單元14控制處理單元10準備對影像Img之N個片段中的第i+1個片段進行編碼處理，以產生複數個第二處理資料(步驟S320)，其中第二處理資料亦有位元對齊格式限制。接著，控制單元14根據上述之接合資訊，去讀取最後一個第一處理資料之接合資訊紀錄確認上一次的有效資料後，將第二處理資料接在最後一個第一處理資料後儲存於儲存單元12(步驟S322)。

需說明的是，第5A、5B圖中的步驟S300、S304-S310、S314-S318、S324係與第2A、2B圖中的步驟S100、S104-S106、S112-S114、S122-S126、S132大致相同，在此不再贅述。

此外，前述第一、第二實施例透過不包含暫存單元16的影像處理裝置實施，作法類似於第5A與第5B圖，遂不再贅述。

綜上所述，本發明之影像處理方法可以位元、位元組或大於1位元組(例如雙字組)為單位，來實現位元流接合(bitstream stitching)技術。如果在對影像進行處理的過程中有中斷要求(例如瀏覽要求或其它操作要求)產生，本發明會在處理完該影像的目前片段後，紀錄關於已完成處理的最後一個處理資料的接合資訊，並且中斷影像處理去執行中斷要求。在中斷要求結束後，再根據此接合資訊，從已完成處理的最後一個處理資料開始，繼續對該影像未完成處理的片段進行處理。藉此，不僅可在對影像進行處理的過程中即時執行使用者所欲輸入的功能(例如瀏覽前一張影像)，亦可使硬體有效地減少重新處理的時間。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

1．．．影像處理裝置

10．．．處理單元

11．．．記憶單元

12．．．儲存單元

14．．．控制單元

16．．．暫存單元

17．．．接合資訊紀錄單元

18．．．外部儲存單元

Img．．．影像

DW_0-DW_n．．．雙字組的記憶體位址

S100-S132．．．步驟

S200-S232．．．步驟

S300-S324．．．步驟

第1圖為根據本發明一實施例之影像處理裝置的功能方塊圖。

第2A圖與第2B圖為根據本發明第一實施例之影像處理方法的流程圖。

第3圖為處理資料儲存於暫存單元的示意圖。

第4A圖與第4B圖為根據本發明第二實施例之影像處理方法的流程圖。

第5A圖與第5B圖為根據本發明第三實施例之影像處理方法的流程圖。

1．．．影像處理裝置

10．．．處理單元

11．．．記憶單元

12．．．儲存單元

14．．．控制單元

16．．．暫存單元

17．．．接合資訊紀錄單元

18．．．外部儲存單元

Img．．．影像

Claims (8)

1. 一種影像處理方法，用以對一影像進行處理，該影像由N個片段組成，N為一大於1之正整數，該影像處理方法包含下列步驟：對該N個片段中的第i個片段進行處理，以產生複數個第一處理資料，i為一小於N之正整數；將該等第一處理資料儲存於一記憶單元；判斷該第i個片段是否已完成處理；若該第i個片段已完成處理，判斷是否有一中斷要求產生；若有該中斷要求產生，紀錄關於該等第一處理資料中的最後一個第一處理資料之一接合資訊；根據該中斷要求中斷對該影像進行處理；在該中斷要求結束後，準備對該N個片段中的第i+1個片段進行處理，以產生複數個第二處理資料；以及根據該接合資訊，將該等第二處理資料接在該最後一個第一處理資料後儲存於該記憶單元。
2. 如請求項1所述之影像處理方法，其中該等第一處理資料以及該等第二處理資料有雙字組對齊格式限制，且該接合資訊包含一雙字組位址以及該最後一個第一處理資料中的有效位元組數及雙字組資料。
3. 如請求項2所述之影像處理方法，更包含下列步驟：根據該接合資訊，將該等第二處理資料接在該最後一個第一處理資料中的有效位元組數後儲存於該記憶單元。
4. 如請求項1所述之影像處理方法，其中該等第一處理資料以及該等第二處理資料有位元組對齊格式限制，且該接合資訊包含一位元組位址以及該最後一個第一處理資料中的有效位元數及位元組資料。
5. 如請求項4所述之影像處理方法，更包含下列步驟：根據該接合資訊，將該等第二處理資料接在該最後一個第一處理資料中的有效位元數後，儲存於該記憶單元。
6. 如請求項1所述之影像處理方法，其中該等第一處理資料以及該等第二處理資料有位元對齊格式限制，且該接合資訊包含一位元位址及/或該最後一個第一處理資料中的有效位元數及位元組資料。
7. 如請求項1所述之影像處理方法，更包含下列步驟：若有該中斷要求產生，在該第i個片段處理完畢後，計算該最後一個第一處理資料在該記憶單元中的有效位元組數或有效位元數。
8. 如請求項1所述之影像處理方法，其中該記憶單元包含一儲存單元及/或一暫存單元。