TWI576786B - 影像處理裝置 - Google Patents

Description

影像處理裝置

本發明是有關於一種影像處理裝置，尤指一種根據第一影像的深度圖資訊，嵌入第一影像的部分進入第二影像的影像處理裝置。

現今雙照相機模組廣泛應用在許多終端裝置中用以執行影像處理，像是雙照相機模組可應用在筆記型電腦或是智慧型手機上執行影像處理。例如，新的HTC M8智慧型手機可在影像擷取前或影像擷取後利用嵌入式雙照相機模組把模糊的物件聚焦。因此，如何為這些具有雙照相機模組的終端裝置創造新的應用是一項具有吸引力的主題。

本發明的目的在於混和立體照相機擷取的一原始影像(或視訊)與一輸入影像(或視訊)。本發明的其他目的在於根據該原始影像的深度圖資訊，嵌入該原始影像的部分至該輸入影像。

本發明的一實施例提供一種影像處理裝置。該影像處理裝置包含一影像擷取器、一濾波器以及一混合器。該影像擷取器擷取一原始影像以及產生對應該原始影像的深度圖，其中該原始影像包含在該深度圖的第一深度範圍內的至少一第一物件以及在該深度圖的第一深度範圍外的其他物件。該濾波器從該原始影像中移除該其他物件以及產生包含該原始影像內的至少一第一物件的暫時影像。該混合器結合該暫時影像與一輸入影像，以及產生一 混合影像，其中該混合影像被輸出至一外部顯示器或一監視器。

本發明的另一實施例提供一種影像處理裝置。該影像處理裝置包 含一影像擷取器、一濾波器、一影像強化器和一混合器。該影像擷取器擷取一原始影像以及產生對應該原始影像的深度圖，其中該原始影像包含在該深度圖的第一深度範圍內的至少一第一物件以及在該深度圖的第一深度範圍外的其他物件。該濾波器從該原始影像中移除該其他物件以及產生包含該原始影像內的至少一第一物件的暫時影像。該影像強化器比對該暫時影像內的至少一第一物件與該原始影像內的至少一第一物件，以強化該暫時影像內的至少一第一物件，並輸出該強化後的暫時影像。該混合器結合該強化後的暫時影像與一輸入影像，以及產生包含該輸入影像和該強化後的暫時影像內的至少一第一物件的混合影像。

本發明的另一實施例提供一種影像處理裝置。該影像處理裝置包 含一影像擷取器、一濾波器、一影像強化器和一混合器。該影像擷取器擷取一原始影像以及產生對應該原始影像的深度圖，其中該原始影像包含在該深度圖的第一深度範圍內的至少一第一物件。該濾波器從該原始影像中選擇該原始影像內的至少一第一物件以及產生包含該原始影像內的至少一第一物件的暫時影像。該影像強化器比對該暫時影像內的至少一第一物件與該原始影像內的至少一第一物件，以強化該暫時影像內的至少一第一物件，並輸出該強化後的暫時影像。該混合器結合該強化後的暫時影像與一輸入影像，以及產生包含該輸入影像和該強化後的暫時影像內的至少一第一物件的混合影像。

本發明的另一實施例提供一種影像處理裝置。該影像處理裝置包 含一影像擷取器、一濾波器、一接收器、一輸入介面、一混合器和一輸出介 面。該影像擷取器擷取一原始影像以及產生對應該原始影像的深度圖，其中該原始影像包含在該深度圖的第一深度範圍內的至少一第一物件以及在該深度圖的第一深度範圍外的其他物件。該接收器儲存該第一深度範圍的值以及該輸入介面接收一輸入影像。該濾波器從該原始影像中移除該其他物件以及根據該深度圖和儲存在該接收器的第一深度範圍的值，產生包含該原始影像內的至少一第一物件的暫時影像。該混合器結合該暫時影像與從該輸入介面輸入的輸入影像，以及產生一混合影像，其中該混合影像被該輸出介面輸出。

根據本發明的另一實施例，該影像處理裝置的接收器包含一設定 單元，其中該設定單元是用以改變該第一深度範圍的值，是可調整該第一深度範圍的值的按鈕，或可從一遙控器接收該第一深度範圍的值的無線介面。

根據本發明的另一實施例，該影像處理裝置的濾波器另包含一辨 識單元，其中該辨識單元是用以辨識在該第一深度範圍內正在移動的該至少一第一物件，以及產生僅包含在該第一深度範圍內移動的該至少一第一物件的暫時影像。

根據本發明的另一實施例，該影像處理裝置的混合器另包含一轉 換單元，其中該轉換單元用以變形該至少一第一物件，以及該混合影像包含該至少一變形的第一物件。

根據本發明的另一實施例，該影像處理裝置另包含一外殼，其中 該外殼包覆該影像處理裝置。

根據本發明的另一實施例，該影像處理裝置的影像強化器另包含 一緩衝器，其中該緩衝器是用以儲存該原始影像與該暫時影像。

本發明提供一種影像處理裝置。該影像處理裝置是利用一影像擷 取器擷取一原始影像以及產生對應該原始影像的深度圖，利用一濾波器產生包含至少一第一物件的暫時影像，以及利用一混合器產生包含一輸入影像和該至少一第一物件的混合影像。因此，相較於現有技術，因為本發明可產生包含該輸入影像和該至少一第一物件的混合影像，所以本發明可擴大該影像處理裝置的應用領域，進而增添該影像處理裝置的使用者的生活樂趣。

10、600‧‧‧影像處理裝置

20‧‧‧影像擷取器

30‧‧‧濾波器

31‧‧‧男人

32‧‧‧女人

33‧‧‧落地燈

35‧‧‧影像強化器

40‧‧‧混合器

50‧‧‧輸入介面

60‧‧‧輸出介面

70‧‧‧接收器

80‧‧‧盒子

90‧‧‧外殼

100‧‧‧顯示幕

Z1、Z2‧‧‧距離

第1圖是本發明的一第一實施例說明影像處理裝置的示意圖。

第2圖是說明影像處理裝置使用在具有外部顯示器的環境的示意圖。

第3圖是說明輸入影像的示意圖。

第4圖是說明混合影像的示意圖。

第5圖是說明另一混合影像的示意圖。

第6圖是本發明的一第二實施例說明影像處理裝置的示意圖。

第7圖是說明影像處理裝置的外觀的示意圖。

第8圖是說明影像處理裝置的外殼的示意圖。

請參照第1圖。第1圖是本發明的一第一實施例說明一影像處理 裝置10的示意圖。如第1圖所示，影像處理裝置10包含一影像擷取器20，一濾波器30，一混合器40，一輸入介面50，一輸出介面60，以及一接收器70。影像擷取器20是用以擷取一原始影像以及產生對應該原始影像的一深度圖。在本發明的一實施例中，影像擷取器20包含一具有二個影像感測器的立體照相機，其中該立體照相機的二個影像感測器是用以分別擷取對應於該原始影像的一第一影像和一第二影像。但本發明並不受限於該立體照相機包含 二個影像感測器，亦即該立體照相機可包含二個以上影像感測器。影像擷取器20根據由該立體照相機所產生的第一影像和第二影像，產生該深度圖，其中為了產生該深度圖，影像擷取器20可對該第一影像和該第二影像中的每一畫面的每一掃描線嵌入一同步信號。例如，該第一影像包含一第一畫面以及該第二影像包含一第二畫面，以及影像擷取器20可對該第一畫面和該第二畫面的每一掃描線嵌入一同步信號。

在本發明的一實施例中，該第一畫面和該第二畫面中的每一畫面 包含720條掃描線，其中該第一畫面的第一掃描線對應於該第二畫面的第一掃描線，以及影像擷取器20可嵌入同一同步信號至該第一畫面的第一掃描線和該第二畫面的第一掃描線。如此，影像擷取器20可根據該第一畫面的第一掃描線和該第二畫面的第一掃描線，計算出關於該第一畫面的第一掃描線和該第二畫面的第一掃描線的深度圖資訊。另外，該同步信號的頻率是根據該第一畫面和該第二畫面的掃描線數目(或該第一畫面和該第二畫面的解析度)而變。

另外，在本發明的另一實施例中，該原始影像可包含一組原始畫 面的視訊資料流，以及該深度圖包含複數個對應該組原始畫面的深度圖資訊。例如，該組原始畫面包含對應該第一影像的第一組畫面和對應該第二影像的第二組畫面，以及該深度圖包含複數個深度圖資訊，其中該複數個深度圖資訊是由影像擷取器20根據該第一組畫面和該第二組畫面所產生，且該複數個深度圖資訊對應於該組原始畫面。

該原始影像包含在該深度圖的第一深度範圍內的至少一第一物件 以及在該深度圖的第一深度範圍外的至少一第二物件。例如，如第2圖所示，在一顯示幕100前方的第一深度範圍(介於一距離Z1和一距離Z2之間)內的 至少一第一物件包含一男人31和一女人32，以及在顯示幕100前方的第一深度範圍外的至少一第二物件包含一落地燈33。

接收器70可用以儲存預定的第一深度範圍的值。另外，接收器 70包含一設定單元，其中該設定單元是用以改變儲存在接收器70內的第一深度範圍的值。例如，該設定單元可以是影像處理裝置10上的按鈕，以及一使用者可利用影像處理裝置10上的按鈕調整該第一深度範圍的值。在本發明的另一實施例中，該設定單元可以是一無線介面，用以從一遙控器接收該第一深度範圍的值。

濾波器30可根據該深度圖和儲存在接收器70內的第一深度範圍 的值，從該原始影像中移除該至少一第二物件(例如第2圖所示的落地燈33)以及產生包含該至少一第一物件(例如第2圖所示的男人31和女人32)的暫時影像。因此，在本發明的實施例中，濾波器30將從該原始影像中移除在該深度圖的第一深度範圍外的所有物件，以及該暫時影像將只包含在該深度圖的第一深度範圍內的所有物件。然而，在本發明的另一實施例中，濾波器30可從該原始影像中選擇部分第一物件，以及產生包含該部分第一物件的暫時影像。

在本發明的另一實施例中，濾波器30另包含一辨識單元，其中該 辨識單元是用以辨識在該第一深度範圍內正在移動的至少一第一物件，以及產生僅包含在該第一深度範圍內移動的至少一第一物件的暫時影像。

如第1圖所示，輸入介面50是用以接收一輸入影像，其中輸入介 面50可以是一高解析多媒體介面(High-Definition Multimedia Interface,HDMI)、一通用序列匯流排(Universal Serial Bus,USB)介面、一雷電 (thunderbolt)介面或其他用以接收該輸入影像的介面。如第1圖所示，混合器40可用以結合該暫時影像與該輸入影像，以及產生一混合影像。例如，該輸入影像是如第3圖所示的山巒影像。但在本發明的另一實施例中，該輸入影像可以是一視訊資料流或一具有一組畫面的電影。

混合器40可根據該暫時影像和第3圖所示的輸入影像，產生如第 4圖所示的混合影像。也就是說如第4圖所示的混合影像包含該輸入影像和該至少一第一物件(例如第2圖所示的男人31和女人32)。在本發明的另一實施例中，混合器40另包含一轉換單元，其中該轉換單元是用以變形該至少一第一物件，以及該混合影像包含至少一變形的第一物件。例如，男人31被該轉換單元所變形，所以在第5圖中，男人31看起來變高了。

如第1圖所示，輸出介面60是用以從混合器40接收該混合影像， 以及輸出該混合影像至一外部顯示器(例如第2圖所示的顯示幕100)。輸出介面60可以是一通用序列匯流排介面或其他可用以輸出影像的介面。例如，輸出介面60是一高解析多媒體介面，用以輸出該混合影像至外部顯示器(例如第2圖所示的顯示幕100)。

另外，請參照第6圖。第6圖是本發明的一第二實施例說明一影 像處理裝置600的示意圖。如第6圖所示，影像處理裝置600和影像處理裝置10之間的差別在於影像處理裝置600另包含一影像強化器35。如第6圖所示，影像強化器35是耦接於濾波器30與混合器40之間，且影像強化器35是用以比對一暫時影像內的至少一第一物件與一原始影像內的至少一第一物件，以強化該暫時影像內的至少一第一物件，並輸出該強化後的暫時影像至混合器40，其中該強化後的暫時影像內的至少一第一物件較該暫時影像內的至少一第一物件清晰。在混合器40接收該強化後的暫時影像與一輸入影像 後，混合器40可結合該強化後的暫時影像與輸入影像以產生包含該輸入影像和該強化後的暫時影像內的至少一第一物件的混合影像。另外，影像強化器35內包含一緩衝器，該緩衝器是用以儲存該原始影像與該暫時影像。另外，影像處理裝置600的其餘操作原理都和影像處理裝置10相同，在此不再贅述。

請參照第7圖，第7圖是說明包含一盒子80的影像處理裝置的外 觀的示意圖。如第7圖所示，輸入介面50和輸出介面60分別被設置在盒子80內的兩邊以接收該輸入影像和輸出該混合影像；接收器70亦設置在盒子80內以儲存該使用者所決定的第一深度範圍的值；影像擷取器20是設置在盒子80上，以及影像擷取器20的視角是可被自動地或手動地調整以擷取該至少一第一物件。例如，影像擷取器20可被手動地旋轉以擷取在該第一深度範圍內的至少一第一物件。另外，影像處理裝置10可另包含一外殼90(如第8圖所示)，外殼90是用以包覆影像擷取器20與盒子80，亦即外殼90是用以包覆如第1圖所示的影像處理裝置10的影像擷取器20、濾波器30、混合器40、輸入介面50、輸出介面60及接收器70。

綜上所述，本發明所提供的影像處理裝置是利用影像擷取器擷取 一原始影像以及產生對應原始影像的深度圖，利用濾波器產生包含至少一第一物件的暫時影像，以及利用混合器產生包含一輸入影像和至少一第一物件的混合影像。因此，相較於現有技術，因為本發明可產生包含輸入影像和至少一第一物件的混合影像，所以本發明可擴大影像處理裝置的應用領域，進而增添影像處理裝置的使用者的生活樂趣。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所 做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

10‧‧‧影像處理裝置

20‧‧‧影像擷取器

30‧‧‧濾波器

40‧‧‧混合器

50‧‧‧輸入介面

60‧‧‧輸出介面

70‧‧‧接收器

Claims (24)

1. 一種影像處理裝置，包含：一影像擷取器，用以擷取一原始影像以及產生對應該原始影像的深度圖，其中該原始影像包含在該深度圖的第一深度範圍內的至少一第一物件以及在該深度圖的第一深度範圍外的其他物件，其中該第一深度範圍是可調整的；一濾波器，用以根據該第一深度範圍，從該原始影像中移除該其他物件以及產生包含該原始影像內的至少一第一物件的暫時影像；及一混合器，用以結合該暫時影像與一輸入影像，以及產生包含該輸入影像和該至少一第一物件的混合影像。
2. 如請求項1所述的影像處理裝置，另包含：一接收器，用以儲存該第一深度範圍的值。
3. 如請求項2所述的影像處理裝置，其中該接收器包含一設定單元，其中該設定單元是用以改變該第一深度範圍的值。
4. 如請求項3所述的影像處理裝置，其中該設定單元是一按鈕，用以調整該第一深度範圍的值。
5. 如請求項3所述的影像處理裝置，其中該設定單元是一無線介面，用以從一遙控器接收該第一深度範圍的值。
6. 如請求項1所述的影像處理裝置，另包含：一輸入介面，用以接收該輸入影像。
7. 如請求項6所述的影像處理裝置，其中該輸入介面是一高解析多媒體介面(High-Definition Multimedia Interface,HDMI)、一通用序列匯流排(Universal Serial Bus,USB)介面或一雷電(thunderbolt)介面。
8. 如請求項1所述的影像處理裝置，另包含：一輸出介面，用以從該混合器接收該混合影像，以及輸出該混合影像至一外部顯示器。
9. 如請求項8所述的影像處理裝置，其中該輸出介面是一高解析多媒體介面、一通用序列匯流排介面或一雷電介面。
10. 如請求項1所述的影像處理裝置，其中該濾波器另包含一辨識單元，其中該辨識單元是用以辨識在該第一深度範圍內正在移動的該至少一第一物件，以及產生僅包含在該第一深度範圍內移動的該至少一第一物件的該暫時影像。
11. 如請求項1所述的影像處理裝置，其中該混合器另包含一轉換單元，其中該轉換單元用以變形該至少一第一物件，以及該混合影像包含該至少一變形的第一物件。
12. 如請求項1所述的影像處理裝置，其中該影像擷取器包含具有二影像感測器的立體照相機，以及該二影像感測器是用以分別擷取該原始影像的一第一影像和一第二影像。
13. 如請求項12所述的影像處理裝置，其中該影像擷取器是根據由該立體照相機所產生的該第一影像和該第二影像，產生該深度圖。
14. 如請求項13所述的影像處理裝置，其中該第一影像包含一第一畫面和該第二影像包含一第二畫面，以及該影像擷取器對該第一畫面和該第二畫面嵌入一同步信號。
15. 如請求項14所述的影像處理裝置，其中該同步信號的頻率是根據該第一畫面和該第二畫面的掃描線的數目而變。
16. 如請求項13所述的影像處理裝置，其中該原始影像包含一組原始畫面，該組原始畫面包含對應該第一影像的第一組畫面，以及對應該第二影像的第二組畫面，其中該深度圖包含複數個深度圖資訊，且該複數個深度圖資訊是由該影像擷取器根據該第一組畫面和該第二組畫面所產生。
17. 如請求項16所述的影像處理裝置，其中該複數個深度圖資訊是對應該組原始畫面。
18. 如請求項1所述的影像處理裝置，另包含：一外殼，用以包覆該影像處理裝置。
19. 一種影像處理裝置，包含：一影像擷取器，用以擷取一原始影像以及產生對應該原始影像的深度圖，其中該原始影像包含在該深度圖的第一深度範圍內的至少一第一物件以及在該深度圖的第一深度範圍外的其他物件，其中該第一深度範圍是可調整的；一濾波器，用以根據該第一深度範圍，從該原始影像中移除該其他物件以及產生包含該原始影像內的至少一第一物件的暫時影像；一影像強化器，用以比對該暫時影像內的至少一第一物件與該原始影像 內的至少一第一物件，以強化該暫時影像內的至少一第一物件，並輸出該強化後的暫時影像；及一混合器，用以結合該強化後的暫時影像與一輸入影像，以及產生包含該輸入影像和該強化後的暫時影像內的至少一第一物件的混合影像。
20. 如請求項19所述的影像處理裝置，其中該影像強化器包含一緩衝器，且該緩衝器是用以儲存該原始影像與該暫時影像。
21. 一影像處理裝置，包含：一影像擷取器，用以擷取一原始影像以及產生對應該原始影像的深度圖，其中該原始影像包含在該深度圖的第一深度範圍內的至少一第一物件，其中該第一深度範圍是可調整的；一濾波器，用以根據該第一深度範圍，從該原始影像中選擇該原始影像內的至少一第一物件以及產生包含該原始影像內的至少一第一物件的暫時影像；及一混合器，用以結合該暫時影像與一輸入影像，以及產生包含該輸入影像和該至少一第一物件的混合影像。
22. 如請求項21所述的影像處理裝置，其中該濾波器另包含一辨識單元，其中該辨識單元用以辨識在該第一深度範圍內正在移動的該至少一第一物件，以及產生僅包含在該第一深度範圍內移動的該第一物件的該暫時影像。
23. 如請求項21所述的影像處理裝置，其中該影像擷取器的視角是可被自動地或手動地調整。
24. 一種影像處理裝置，包含：一影像擷取器，用以擷取一原始影像以及產生對應該原始影像的深度圖，其中該原始影像包含在該深度圖的第一深度範圍內的至少一第一物件，其中該第一深度範圍是可調整的；一濾波器，用以根據該第一深度範圍，從該原始影像中選擇該原始影像內的至少一第一物件以及產生包含該原始影像內的至少一第一物件的暫時影像；一影像強化器，用以比對該暫時影像內的至少一第一物件與該原始影像內的至少一第一物件，以強化該暫時影像內的至少一第一物件，並輸出該強化後的暫時影像；及一混合器，用以結合該強化後的暫時影像與一輸入影像，以及產生包含該輸入影像和該強化後的暫時影像內的至少一第一物件的混合影像。