TWI783390B

TWI783390B - 影像處理系統及產生動態影像分割畫面的方法

Info

Publication number: TWI783390B
Application number: TW110106945A
Authority: TW
Inventors: 葉仁宏; 黃國豪; 林世豐; 陳坤洲
Original assignee: 圓展科技股份有限公司
Priority date: 2021-02-26
Filing date: 2021-02-26
Publication date: 2022-11-11
Also published as: TW202234345A

Abstract

一種產生動態影像分割畫面的方法，係由包括一影像擷取裝置、一儲存模組以及一運算處理模組的影像處理系統配合應用。產生分割畫面的方法包括一擷取程序、一判斷程序、一儲存程序以及一影像分割程序。擷取程序係擷取一即時影像資訊以及一即時物距資訊。判斷程序根據即時影像資訊、即時物距資訊以及儲存於儲存模組之一既存影像資訊及一既存物距資訊，而進行一移位動作判斷。儲存程序係將即時影像資訊及即時物距資訊儲存於儲存模組中。影像分割程序係由運算處理模組依據即時影像資訊以及儲存於儲存模組中之一既存影像資訊而產生一分割影像。

Description

影像處理系統及產生動態影像分割畫面的方法

本發明係關於一種影像處理系統及影像處理方法，特別關於一種影像處理系統及產生動態影像分割畫面的方法。

動態影像是近年來廣受各界使用的元素之一，不論在日常生活、工作報告或教學使用上，隨處可見利用動態影像所製成的多媒體內容。隨著動態影像的應用普及化之後，也隨之發展出許多影像處理技術，例如影像分割即為其中之一。

所謂的影像分割，以早期靜態圖片為例，即類似於影像去背(image matting)技術，其係藉由計算前景的顏色和透明度，將前景由影像中單獨擷取出來的技術，可作為影像合成及視覺特效等應用。

然而，若利用前述的技巧而對動態影像進行影像分割，將會需要對動態影像的每一幀(frame)圖像分別執行影像去背，如此一來將會導致操作非常耗時，並且耗費硬體或軟體資源。

近來，由於攝像鏡頭的技術也越發的成熟，也有業者提出利用雙鏡頭的動態影像分割方法，其係將二個攝像鏡頭間隔設置並且分別擷取影像，利用左右鏡頭的視差(parallax)而產生一景深圖，並藉以達到前後景的影像分割的效果。然而，使用雙攝像鏡頭，也即代表成本將隨之提高。

因此，如何提供一種能夠使用較為低廉的成本，而能夠達成影像分割的影像處理系統及動態影像分割方法，實屬當前重要課題之一。

有鑑於上述課題，本發明之一目的是提供一種影像處理系統及動態影像分割方法，可替代習知利用高成本的雙鏡頭即能夠達成影像分割。

為達上述目的，本發明提供一種產生動態影像分割畫面的方法，係由一影像擷取裝置、一儲存模組以及一運算處理模組配合應用。產生動態影像分割畫面的方法包括一擷取程序、一判斷程序、一儲存程序以及一影像分割程序。擷取程序係擷取一即時影像資訊以及一即時物距資訊。判斷程序根據即時影像資訊、即時物距資訊以及儲存於儲存模組之一既存影像資訊及一既存物距資訊，而進行一移位動作判斷。儲存程序係將即時影像資訊及即時物距資訊儲存於儲存模組中。影像分割程序係由運算處理模組依據即時影像資訊以及儲存於儲存模組中之一既存影像資訊，而產生一分割影像。

於一實施例中，其中即時影像資訊係由一攝像鏡頭所擷取，而即時物距資訊係由一飛時測距感測器所擷取。

於一實施例中，其中儲存程序係以即時影像資訊複寫儲存於儲存模組中之既存影像資訊。

於一實施例中，其中儲存程序係以即時物距資訊複寫儲存於儲存模組中之一既存物距資訊。

於一實施例中，其中判斷程序包括下列步驟：根據即時影像資訊以及既存影像資訊判斷是否存在移位動作，以及判斷即時物距資訊是否不等於儲存於儲存模組中之既存物距資訊。當上述判斷結果皆為「否」，則以即時影像資訊複寫儲存於儲存模組中之既存影像資訊，並且以即時物距資訊複寫儲存於儲存模組中之一既存物距資訊。當上述判斷結果包含「是」，則執行影像分割程序，並且暫停以即時影像資訊複寫儲存於儲存模組中之既存影像資訊。

於一實施例中，其中當上述判斷結果包含「是」，則更包括下列步驟：持續判斷擷取之即時物距資訊是否不等於儲存於儲存模組中之既存物距資訊；以及當即時物距資訊等於既存物距資訊，則以即時物距資訊複寫儲存於儲存模組中之既存物距資訊。

另外，為達上述目的，本發明還提供一種影像處理系統，其包括一影像擷取裝置、一儲存模組以及一運算處理模組。影像擷取裝置係擷取一即時影像資訊以及一即時物距資訊。儲存模組係將即時影像資訊以及即時物距資訊分別儲存為一既存影像資訊及一既存物距資訊。運算處理模組係分別與影像擷取裝置及儲存模組耦接。運算處理模組係根據即時影像資訊、即時物距資訊、既存影像資訊及既存物距資訊判斷是否存在一移位動作及物距是否改變，並依據即時影像資訊以及儲存於儲存模組中之既存影像資訊，而產生一分割影像。

於一實施例中，其中影像擷取裝置包含一攝像鏡頭及一飛時測距感測器。攝像鏡頭係擷取即時影像資訊，而飛時測距感測器係擷取即時物距資訊。

於一實施例中，其中運算處理模組係以即時影像資訊複寫儲存於儲存模組中之既存影像資訊，並且以即時物距資訊複寫儲存於儲存模組中之既存物距資訊。

承上所述，本發明之一種影像處理系統及產生動態影像分割畫面的方法是利用影像資訊以及物距資訊，而可以在判斷有新增物件的情況發生時，自動產生新增物件的分割影像。該分割影像可以提供系統儲存或作為其他影像處理之用。由於本發明係利用攝像鏡頭搭配飛時測距感測器，藉以分別擷取影像資訊以及物距資訊作為判斷的基礎，因此相較於習知技藝必須使用高成本的雙鏡頭來產生景深圖，再利用軟體分析該景深圖而將前後景分離的作法，本發明具有更為簡單的影像分割方法，且更具成本優勢。

10:影像處理系統

11:影像擷取裝置

111:攝像鏡頭

112:飛時測距感測器

12:儲存模組

13:運算處理模組

I01:即時影像資訊

I02:即時物距資訊

I11:既存影像資訊

I12:既存物距資訊

V01:分割影像

P01~P04:程序

S01~S05:步驟

〔圖1〕係顯示本發明較佳實施例之一種影像處理系統的方塊示意圖。

〔圖2〕係顯示本發明較佳實施例之一種產生動態影像分割畫面的方法的流程圖。

〔圖3〕係顯示本發明較佳實施例之產生動態影像分割畫面的方法的執行步驟流程圖。

〔圖4A〕係顯示被攝範圍內具有第一物件的影像示意圖。

〔圖4B〕係顯示第一物件與第二物件同時存在於被攝範圍的影像示意圖。

為了使所屬技術領域中具有通常知識者能瞭解本發明的內容，並可據以實現本發明的內容，茲配合適當實施例及圖式說明如下，其中相同的元件將以相同的元件符號加以說明。

請參照圖1所示，本發明之一種影像處理系統10包括一影像擷取裝置11、一儲存模組12以及一運算處理模組13。

影像擷取裝置11包括一攝像鏡頭111以及一飛時測距感測器(Time of Flight sensor,TOF sensor)112。攝影鏡頭111可以是具有CMOS影像感測器或是CCD影像感測器等能夠擷取影像的電子元件以及光學鏡片的組合。飛時測距感測器112與飛時測距相機(TOF camera)不同，其僅為低解析度的感測元件，甚至可僅為單一像素的感測器，因此具有成本極低的優勢。

於此，影像擷取裝置11係針對一被攝範圍內擷取對應的資訊。攝像鏡頭111係不斷地擷取一即時影像資訊I01，而飛時測距感測器112則係不斷地擷取一即時物距資訊I02。其中，物距資訊係代表飛時測距感測器112與被攝範圍內之一物件的距離。

儲存模組12可以是硬碟(hard disk)、記憶體(memory)或暫存器(Register)等可以儲存數位資訊的儲存媒體。前述的即時影像資訊I01以及即時物距資訊I02被儲存於儲存模組12之後，則分別成為既存影像資訊I11以及既存物距資訊I12。

運算處理模組13係分別與影像擷取裝置11及儲存模組12耦接。在本實施例中，耦接一詞除了透過實體線路的電性連接之外，也可透過無線傳輸的方式而以通信連接的方式完成。運算處理模組13係可進行一移位動作判斷，並依據即時影像資訊I01 以及儲存於儲存模組12中之既存影像資訊I11，而產生一分割影像V01。

為了進一步說明本發明較佳實施例之一種產生動態影像分割畫面的方法，請一併配合前述的影像處理系統10以及圖2之流程圖以為說明。

如圖2所示，產生動態影像分割畫面的方法包括一擷取程序P01、一判斷程序P02、一儲存程序P03以及一影像分割程序P04。

擷取程序P01係由影像擷取裝置11擷取即時影像資訊I01，並由飛時測距感測器112擷取即時物距資訊I02。

判斷程序P02係根據即時影像資訊I01、即時物距資訊I02以及儲存於儲存模組12之既存影像資訊I11及既存物距資訊I12，而進行一移位動作判斷。

儲存程序P03係將即時影像資訊I01及即時物距資訊I02儲存至儲存模組12中。本實施例中，即時影像資訊I01係用以複寫儲存模組12中之既存影像資訊I11，而即時物距資訊I02則係用以複寫儲存模組12中之既存物距資訊I12。換言之，在不同的時間，儲存模組12中可以僅儲存有一筆既存影像資訊I11以及一筆既存物距資訊I12，以節省儲存空間。當然在其他實施例中，也可以儲存多筆的既存影像資訊以及既存物距資訊，於此並未加以限制。

影像分割程序P04係由運算處理模組13依據即時影像資訊I01以及儲存於儲存模組12中之既存影像資訊I11，而產生分割影像V01。當判斷程序P02的移位動作判斷的結果為「是」，代表被攝範圍內有另一物件進入被攝範圍，則會執行影像分割程序P04而產生分割影像V01，以單獨產生另一物件的影像。

以下請再搭配圖1、圖3、圖4A以及圖4B，以一實例進一步說明產生動態影像分割畫面的方法。其中圖3係為產生動態影像分割畫面的方法之一步驟流程，圖4A為被攝範圍內具有一第一物件21的影像示意圖，而圖4B則係顯示有一第二物件22進入被攝範圍的影像示意圖。在本實施例中，第一物件21例如係含有相片與文字的簡報，而第二物件22例如係玩具車。

在本實施例中，第一物件21係擺放於一被攝範圍內，而影像擷取裝置11則係擷取被攝範圍內的影像資訊及物距資訊。儲存模組12係已儲存有圖4A所示之既存影像資訊I11，以及既存物距資訊I12，例如為50公分。其中，既存影像資訊I11即為第一物件21之影像，而既存物距資訊I12即為影像擷取裝置11與第一物件21之距離。

步驟S01係由攝像鏡頭111持續對被攝範圍內持續擷取即時影像資訊I01，並由飛時測距感測器112持續對被攝範圍內擷取即時物距資訊I02。於此，被攝範圍內仍僅有第一物件21且未有任何移動，因此即時影像資訊I01仍為第一物件21之影像，而即時物距資訊I02仍為50公分。

步驟S02係判斷是否存在移位動作，以及判斷即時物距資訊I02是否不等於儲存於儲存模組12中之既存物距資訊I12。當判斷結果為「否」係執行步驟S03，而當判斷結果為「是」係執行步驟S04。於此，由於被攝範圍內不存在移動，且物距也未改變，因此判斷結果為「否」。

步驟S03係以即時影像資訊I01複寫儲存於儲存模組12中之既存影像資訊I11，並且以即時物距資訊I02複寫儲存於儲存模組12中之既存物距資訊I12。換言之，在本步驟中即係以即時資訊複寫更新儲存模組12中之既存資訊，而後則繼續執行步驟S01。

如圖4B所示，此時第二物件22進人被攝範圍內，因此步驟S01中，攝像鏡頭111所擷取的即時影像資訊I01同時包括第一物件21以及第二物件22的影像，而飛時測距感測器112所擷取的即時物距資訊係飛時測距感測器112與第二物件22之間的距離，例如係為40公分。

接著，由於影像存在移位動作，並且物距也有變化，因此，經過步驟S02所得的判斷結果為「是」，則接著執行步驟S04。

步驟S04係停止更新儲存模組12中的既存影像資訊I11以及既存物距資訊I12，同時執行影像分割演算法。於此，影像分割演算法係先獲得即時影像資訊I02與儲存模組12中之既存影像資訊I12，並據以執行減法運算後，而得到單獨的第二物件22之影像，據以得到動態影像前景與後景的分割畫面。其中，後景分割畫面例如是第一物件21的影像，而前景分割畫面例如是第二物件22的影像。

步驟S05係判斷即時物距資訊I02是否不等於儲存於儲存模組12中的既存物距資訊I12。當判斷結果為「是」，則重新執行步驟S04，而當判斷結果為「否」，則執行步驟S03。

上述通過的影像分割演算法所得到的分割畫面V01，可被儲存於儲存模組12中，或提供給例如但不限於後端的辨識系統、人工智慧(AI)演算法等應用系統使用。

綜上所述，本發明之一種影像處理系統及產生動態影像分割畫面的方法是利用影像資訊以及物距資訊，而可以在判斷有新增物件進入被攝範圍內的情況發生時，自動產生新增物件的分割影像。由於本發明係利用攝像鏡頭搭配低解析度低成本的飛時測距感測器，藉以分別擷取影像資訊以及物距資訊作為判斷的基礎。因此相較於習知技藝必須使用高成本的雙鏡頭來產生景深圖，再利用軟體分析該景深圖而將前後景分離的作法，本發明具有更為簡單的影像分割方法之功效，且更具成本優勢。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

S01~S05:步驟

Claims

一種產生動態影像分割畫面的方法，係由一影像擷取裝置、一儲存模組以及一運算處理模組配合應用，包含：一擷取程序，係擷取一即時影像資訊以及一即時物距資訊，其中該即時影像資訊係由一攝像鏡頭所擷取，而該即時物距資訊係由一飛時測距感測器所擷取；一判斷程序，根據該即時影像資訊、該即時物距資訊以及儲存於該儲存模組之一既存影像資訊及一既存物距資訊，而進行一移位動作判斷；一儲存程序，係將該即時影像資訊及該即時物距資訊儲存於該儲存模組中；以及一影像分割程序，係由該運算處理模組依據該即時影像資訊以及儲存於該儲存模組中之該既存影像資訊，而產生一分割影像，其中該分割影像包含一前景分割影像；其中該判斷程序包含：根據該即時影像資訊以及該既存影像資訊判斷是否存在該移位動作；判斷該即時物距資訊是否不等於儲存於該儲存模組中之該既存物距資訊；當上述判斷結果包含「是」，則執行該影像分割程序。
如請求項1所述之產生動態影像分割畫面的方法，其中該分割影像更包含一後景分割影像。
如請求項1所述之產生動態影像分割畫面的方法，其中該儲存程序係以該即時影像資訊複寫儲存於該儲存模組中之該既存影像資訊，及以該即時物距資訊複寫儲存於該儲存模組中之該既存物距資訊。
如請求項1所述之產生動態影像分割畫面的方法，其中當上述判斷結果皆為「否」，則以該即時影像資訊複寫儲存於該儲存模組中之該既存影像資訊，並且以該即時物距資訊複寫儲存於該儲存模組中之該既存物距資訊。
如請求項1所述之產生動態影像分割畫面的方法，其中當該判斷程序之判斷結果包含「是」，更包含：暫停以該即時影像資訊複寫儲存於該儲存模組中之該既存影像資訊。
如請求項5所述之產生動態影像分割畫面的方法，其中當判斷結果包含「是」，更包含：持續判斷擷取之該即時物距資訊是否不等於儲存於該儲存模組中之該既存物距資訊；以及當該即時物距資訊等於該既存物距資訊，則以該即時物距資訊複寫儲存於該儲存模組中之該既存物距資訊。
一種影像處理系統，包含：一影像擷取裝置，係擷取一即時影像資訊以及一即時物距資訊；一儲存模組，係將該即時影像資訊以及該即時物距資訊分別儲存為一既存影像資訊及一既存物距資訊；以及一運算處理模組，係分別與該影像擷取裝置及該儲存模組耦接，該運算處理模組係根據該即時影像資訊、該即時物距資訊、該既存影像資訊及該既存物距資訊判斷是否存在一移位動作與物距是否改變，當存在該移位動作且物距改變，則依據該即時影像資訊以及儲存於該儲存模組中之該既存影像資訊，而產生一分割影像，其中該分割影像包含一前景分割影像。
如請求項7所述之影像處理系統，其中該影像擷取裝置包含一攝像鏡頭及一飛時測距感測器，該攝像鏡頭係擷取該即時影像資訊，而該飛時測距感測器係擷取該即時物距資訊。
如請求項7所述之影像處理系統，其中當不存在該移位動作且物距未改變，該運算處理模組係以該即時影像資訊複寫儲存於該儲存模組中之該既存影像資訊，並且以該即時物距資訊複寫儲存於該儲存模組中之該既存物距資訊。
如請求項7所述之影像處理系統，其中該分割影像更包含一後景分割影像。