TWI481262B - 影像編碼系統及影像編碼方法 - Google Patents

Description

影像編碼系統及影像編碼方法

本發明是有關於一種影像編碼系統及影像編碼方法。

以視覺為基礎的人機介面系統，主要利用攝影機擷取影像，偵測辨識使用者動作或手勢，進一步與數位內容互動。以往使用單一攝影機的互動系統，容易因為色彩相近或背景影響，造成辨識率不足。使用雙攝影機的人機介面系統，利用計算左右視差建立深度影像，能有效擷取出靠近攝影機的物體，避免受背影干擾。但以左右視差建立深度影像的方式其深度影像會因原始影像在無紋理區域的資訊較弱的緣故，造成無紋理區域深度無法判定的情況發生。以往解決無紋理區域的方法在全域方法(global method)上多以物件分割(segmentation)方式對相似區域標記並做深度運算，而區域方法(local method)上多以cost aggregation做更細部的資訊處理來解決無紋理區域的資訊不足，而這些方式皆需大量的運算量。

本發明係有關於一種影像編碼系統及影像編碼方法。

根據本發明，提出一種影像編碼系統。影像編碼系統包括關係運算單元及內嵌單元。關係運算單元接收由影像擷取裝置所擷取之數個視角影像，各視角影像包括數個像素，並根據像素之顏色與位置計算像素之間的像素相對關係以產生編碼影像。內嵌單元將編碼影像分別內嵌至視角影像以產生內嵌影像。

根據本發明，提出一種影像編碼系統。影像編碼系統包括關係運算單元、內嵌單元及深度運算單元。關係運算單元接收由影像擷取裝置所擷取之數個視角影像，各視角影像包括數個像素，並根據像素之顏色與位置計算像素之間的像素相對關係以產生編碼影像。內嵌單元將編碼影像分別內嵌至視角影像以產生編碼影像。深度運算單元根據內嵌影像輸出深度影像。

根據本發明，提出一種影像編碼方法。影像編碼方法包括：接收數個視角影像，各視角影像包括數個像素；根據像素之顏色與位置計算像素之間的像素相對關係以產生編碼影像；將編碼影像分別內嵌至視角影像以產生內嵌影像。

根據本發明，提出一種影像編碼方法。影像編碼方法包括：接收數個視角影像，各視角影像包括數個像素，並根據像素之顏色與位置計算像素之間的像素相對關係以產生編碼影像；以及將編碼影像分別內嵌至視角影像以產生內嵌影像；以及根據內嵌影像輸出深度影像。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式，作詳細說明如下：

第一實施例

請參照第1圖及第2圖，第1圖繪示係為依照第一實施例之一種影像編碼系統，第2圖繪示係為依照第一實施例之一種影像編碼方法。影像編碼系統1包括關係運算單元12、儲存單元13、內嵌單元14及深度運算單元15，而影像編碼方法包括步驟21至24。如步驟21所示，關係運算單元12接收複數個視角影像，例如是影像擷取裝置11所擷取之左視角影像及右視角影像，各該些視角影像包括複數個像素，並根據像素之顏色與位置計算像素之間的像素相對關係以產生編碼影像。影像擷取裝置11例如為雙攝影機，而左視角影像與右視角影像分別包括數個像素。在一實施例中，如步驟22所示，更包括儲存單元13儲存像素相對關係之步驟。

如步驟23所示，內嵌單元14將編碼影像內嵌至左視角影像及右視角影像以產生左內嵌影像及右內嵌影像。由於編碼影像內嵌至左視角影像及右視角影像，因此左內嵌影像及右內嵌影像在無紋理區域即能有明顯的特徵出現。將編碼影像內嵌至左視角影像及右視角影像可以有不同的實施方式。舉例來說，左視角影像及右視角影像各包括紅色通道、綠色通道及藍色通道。內嵌單元14將編碼影像內嵌至左視角影像及右視角影像之紅色通道、綠色通道及藍色通道其中之一。此外，左視角影像及右視角影像亦可各包括紅色通道、綠色通道、藍色通道及編碼影像通道。內嵌單元14將編碼影像內嵌於編碼影像通道。再者，左視角影像及右視角影像亦可各包括灰階通道及編碼影像通道，左視角影像及右視角影像能分別先由彩色影像轉換為灰階影像，內嵌單元14再將灰階影像及編碼影像分別內嵌至灰階通道及編碼影像通道以產生左內嵌影像及右內嵌影像。在一實施例中，如步驟24所示，更包括深度運算單元15根據左內嵌影像及右內嵌影像輸出深度影像之步驟。

請同時參照附件1、第3A圖及第3B圖，第3A圖繪示係為依照第一實施例之左視角影像之像素相對關係之部份示意圖，第3B圖繪示係為依照第一實施例之右視角影像之像素相對關係之部份示意圖。附件1分別繪示根據左視角影像及右視角影像找出顏色相近之相鄰像素個數，而編碼影像係對應顏色相近之相鄰像素個數所產生。前述相素相對關係可以許多不同計算方式。舉例來說，前述關係運算單元12根據左視角影像及右視角影像中各像素(x,y)與其顏色相近之相鄰像素個數Nx ⁺ _{x , y} 以計算像素相對關係N _{x , y} 。於第一實施例中，關係運算單元12係沿一正x軸方向計算左視角影像及右視角影像中各像素(x,y)與其顏色相近之相鄰像素個數Nx ⁺ _{x , y} ，且以像素相對關係N _{x , y} 等於相鄰像素個數Nx ⁺ _{x , y} 為例說明。

相鄰像素個數且|C (x ,y )-C (x -1,y )|=|R _{x , y} -R _{x - 1, y} |+|G _{x , y} -G _{x - 1, y} |+|B _{x , y} -B _{x- 1, y} |為計算相鄰像素顏色是否相近之公式。其中，R_x,y 、G_x,y 及B_x,y 分別係為像素(x,y)之紅色像素值、綠色像素值及藍色像素值，而R_x-1,y 、G_x-1,y 及B_x-1,y 分別係為像素(x-1,y)之紅色像素值、綠色像素值及藍色像素值。若將左視角影像中的各像素(x,y)以像素相對關係N _{x , y} 取代，則可獲得左視角像素相對關係圖。相似地，若將右視角影像中的各像素(x,y)以像素相對關係N _{x , y} 取代，則可獲得右視角像素相對關係圖。在一實施例中，像素相對關係圖即為編碼影像。

以第3A圖來說，由於無紋理區域31中的所有像素之顏色相近，因此關係運算單元12沿正x軸方向所計算的左視角影像之像素相對關係N _{x , y} 依序等於0、0、0、1、2、3、4、5、6、7、8、0及0。相似地，由於無紋理區域32中的所有像素之顏色相近，因此關係運算單元12沿正x軸方向所計算的右視角影像之像素相對關係N _{x , y} 依序等於0、0、0、1、2、3、4、5、6、7、8、0及0。

第二實施例

請同時參照附件1、第4A圖及第4B圖，第4A圖繪示係為依照第二實施例之左視角影像之像素相對關係之部份示意圖，第4B圖繪示係為依照第二實施例之右視角影像之像素相對關係之部份示意圖。前述相素相對關係可以許多不同計算方式。舉例來說，前述關係運算單元12沿正x軸方向計算各像素(x,y)與其顏色相近之相鄰像素個數Nx ⁺ _{x , y} ，並沿負x軸方向計算各像素(x,y)與其顏色相近之相鄰像素個數Nx ^- _{x , y} ，正x軸方向係與負x軸方向相反，關係運算單元12根據相鄰像素個數Nx ⁺ _{x , y} 之平方與相鄰像素個數Nx ^- _{x , y} 之平方計算像素相對關係N _{x , y} 。於第二實施例中，係以像素相對關係N _{x , y} =(Nx ⁺ _{x , y} )² +(Nx ^- _{x , y} )² 為例說明。

相鄰像素個數且|C (x ,y )-C (x -1,y )|=|R _{x , y} -R _{x -1, y} |+|G _{x , y} -G _{x -1, y} |+|B _{x , y} -B _{x - 1, y} |為計算相鄰像素顏色是否相近之公式。其中，R_x,y 、G_x,y 及B_x,y 分別係為像素(x,y)之紅色像素值、綠色像素值及藍色像素值，而R_x-1,y 、G_x-1,y 及B_x-1,y 分別係為像素(x-1,y)之紅色像素值、綠色像素值及藍色像素值。

相鄰像素個數且|C (x ,y )-C (x -1,y )|=|R _{x , y} -R _{x- 1, y} |+|G _{x , y} -G _{x -1, y} |+|B _{x , y} -B _{x - 1, y} |為計算相鄰像素顏色是否相近之公式。其中，R_x,y 、G_x,y 及B_x,y 分別係為像素(x,y)之紅色像素值、綠色像素值及藍色像素值，而R_x-1,y 、G_x-1,y 及B_x-1,y 分別係為像素(x-1,y)之紅色像素值、綠色像素值及藍色像素值。若將左視角影像中的各像素(x,y)以像素相對關係N _{x , y} 取代，則可獲得左視角像素相對關係圖。相似地，若將右視角影像中的各像素(x,y)以像素相對關係N _{x , y} 取代，則可獲得右視角像素相對關係圖。

以第4A圖來說，由於無紋理區域31中的所有像素之顏色相近，因此關係運算單元12沿正x軸方向所計算的左視角影像之相鄰像素個數Nx ⁺ _{x , y} 依序等於0、0、0、1、2、3、4、5、6、7、8、0及0，而關係運算單元12沿負x軸方向所計算的左視角影像之相鄰像素個數Nx ^- _{x , y} 依序等於0、0、0、1、2、3、4、5、6、7、8、0及0。於第二實施例中，像素相對關係N _{x , y} =(Nx ⁺ _{x , y} )² +(Nx ^- _{x , y} )² ，所以，沿正x軸方向之像素相對關係N _{x , y} 依序等於0、0、64、50、40、34、32、34、40、50、64、0及0。

以第4B圖來說，由於無紋理區域32中的所有像素之顏色相近，因此關係運算單元12沿正x軸方向所計算的右視角影像之相鄰像素個數Nx ⁺ _{x , y} 依序等於0、0、0、1、2、3、4、5、6、7、8、0及0，而關係運算單元12沿負x軸方向所計算的右視角影像之相鄰像素個數Nx ^- _{x , y} 依序等於0、0、0、1、2、3、4、5、6、7、8、0及0。於第二實施例中，像素相對關係N _{x , y} =(Nx ⁺ _{x , y} )² +(Nx ^- _{x , y} )² ，所以，沿正x軸方向之像素相對關係N _{x , y} 依序等於0、0、64、50、40、34、32、34、40、50、64、0及0。

當像素相對關係N _{x , y} 大於一灰階上限值時，則關係運算單元12能進一步將像素相對關係N _{x , y} 進行正規化，以獲得正規化後的像素相對關係圖。舉例來說，灰階上限值係為255，而正規化後的像素相對關係N _{x , y} =((Nx ⁺ _{x , y} )² +(Nx ^- _{x , y} )² )*255/N _max 。其中，N _max =2×W ² ，而W 為影像寬度。在一實施例中，正規化後的像素相對關係圖即為編碼影像。

第三實施例

請同時參照附件1、第5A圖及第5B圖，第5A圖繪示係為依照第三實施例之左視角影像之像素相對關係之部份示意圖，第5B圖繪示係為依照第三實施例之右視角影像之像素相對關係之部份示意圖。前述相素相對關係可以許多不同計算方式。舉例來說，前述關係運算單元12沿正x軸方向計算各像素(x,y)與其顏色相近之相鄰像素個數Nx ⁺ _{x , y} ，並沿負x軸方向計算各像素(x,y)與其顏色相近之相鄰像素個數Nx ^- _{x , y} ，正x軸方向係與負x軸方向相反，關係運算單元12根據相鄰像素個數Nx ⁺ _{x , y} 與相鄰像素個數Nx ^- _{x , y} 其中之最小者計算像素相對關係N _{x , y} 。於第三實施例中，係以像素相對關係N _{x , y} =Min (Nx ⁺ _{x , y} ,Nx ^- _{x , y} )為例說明。

相鄰像素個數且|C (x ,y )-C (x -1,y )|=|R _{x , y} -R _{x -1, y} |+|G _{x , y} -G _{x - 1, y} |+|B _{x , y} -B _{x- 1, y} |為計算相鄰像素顏色是否相近之公式。其中，R_x,y 、G_x,y 及B_x,y 分別係為像素(x,y)之紅色像素值、綠色像素值及藍色像素值，而R_x-1,y 、G_x-1,y 及B_x-1,y 分別係為像素(x-1,y)之紅色像素值、綠色像素值及藍色像素值。

相鄰像素個數且|C (x ,y )-C (x -1,y )|=|R _{x , y} -R _{x -1, y} |+|G _{x , y} -G _{x -1, y} |+|B _{x , y} -B _{x -1, y} |為計算相鄰像素顏色是否相近之公式。其中，R_x,y 、G_x,y 及B_x,y 分別係為像素(x,y)之紅色像素值、綠色像素值及藍色像素值，而R_x-1,y 、G_x-1,y 及B_x-1,y 分別係為像素(x-1,y)之紅色像素值、綠色像素值及藍色像素值。若將左視角影像中的各像素(x,y)以像素相對關係N _{x , y} 取代，則可獲得左視角像素相對關係圖。相似地，若將右視角影像中的各像素(x,y)以像素相對關係N _{x , y} 取代，則可獲得右視角像素相對關係圖。

以第5A圖來說，由於無紋理區域31中的所有像素之顏色相近，因此關係運算單元12沿正x軸方向所計算的左視角影像之相鄰像素個數Nx ⁺ _{x , y} 依序等於0、0、0、1、2、3、4、5、6、7、8、0及0，而關係運算單元12沿負x軸方向所計算的左視角影像之相鄰像素個數Nx ^- _{x , y} 依序等於0、0、0、1、2、3、4、5、6、7、8、0及0。於第二實施例中，像素相對關係N _{x , y} =Min (Nx ⁺ _{x , y} ,Nx ^- _{x , y} )，所以，沿正x軸方向之像素相對關係N _{x , y} 依序等於0、0、0、1、2、3、4、3、2、1、0、0及0。

以第5B圖來說，由於無紋理區域32中的所有像素之顏色相近，因此關係運算單元12沿正x軸方向所計算的右視角影像之相鄰像素個數Nx ⁺ _{x , y} 依序等於0、0、0、1、2、3、4、5、6、7、8、0及0，而關係運算單元12沿負x軸方向所計算的右視角影像之相鄰像素個數Nx ^- _{x , y} 依序等於0、0、0、1、2、3、4、5、6、7、8、0及0。於第三實施例中，像素相對關係N _{x , y} =Min (Nx ⁺ _{x , y} ,Nx ^- _{x , y} )，所以，沿正x軸方向之像素相對關係N _{x , y} 依序等於0、0、0、1、2、3、4、3、2、1、0、0及0。

當像素相對關係N _{x , y} 大於一灰階上限值時，則關係運算單元12能進一步將像素相對關係N _{x , y} 進行正規化，以獲得正規化後的像素相對關係圖。舉例來說，灰階上限值係為255，而正規化後的像素相對關係N _{x , y} =Min (Nx ⁺ _{x , y} ,Nx ^- _{x , y} )*255/N _max 。其中，N _max =W /2，而W 為影像寬度。在一實施例中，正規化後的像素相對關係圖即為編碼影像。

綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

1‧‧‧影像編碼系統

11‧‧‧影像擷取裝置

12‧‧‧關係運算單元

13‧‧‧儲存單元

14‧‧‧內嵌單元

15‧‧‧深度運算單元

21~24‧‧‧步驟

31、32‧‧‧無紋理區域

第1圖繪示係為依照第一實施例之一種影像編碼系統。

第2圖繪示係為依照第一實施例之一種影像編碼方法。

第3A圖繪示係為依照第一實施例之左視角影像之像素相對關係之部份示意圖。

第3B圖繪示係為依照第一實施例之右視角影像之像素相對關係之部份示意圖。

第4A圖繪示係為依照第二實施例之左視角影像之像素相對關係之部份示意圖。

第4B圖繪示係為依照第二實施例之右視角影像之像素相對關係之部份示意圖。

第5A圖繪示係為依照第三實施例之左視角影像之像素相對關係之部份示意圖。

第5B圖繪示係為依照第三實施例之右視角影像之像素相對關係之部份示意圖。

21～24．．．步驟

Claims (21)

1. 一種影像編碼系統，包括：一關係運算單元，係接收複數個視角影像，各該些視角影像包括複數個像素，並根據該些像素之顏色與位置計算該些像素之間的一像素相對關係以產生複數個編碼影像；以及一內嵌單元，係將該些編碼影像分別內嵌至該些視角影像以產生複數個內嵌影像；其中該關係運算單元根據各該些像素與其顏色相近之相鄰像素個數計算該像素相對關係。
2. 如申請專利範圍第1項所述之影像編碼系統，其中該關係運算單元沿一第一方向計算各該些像素與其顏色相近之一第一相鄰像素個數，並沿一第二方向計算各該些像素與其顏色相近之一第二相鄰像素個數，該第一方向係與該第二方向相反，該關係運算單元根據該第一相鄰像素個數之平方與該第二相鄰像素個數之平方計算該像素相對關係。
3. 如申請專利範圍第2項所述之影像編碼系統，其中當該第一相鄰像素個數之平方與該第二相鄰像素個數之平方之一總和大於一灰階上限值時，則該關係運算單元將該總和進行正規化。
4. 如申請專利範圍第1項所述之影像編碼系統，其中該關係運算單元沿一第一方向計算各該些像素與其顏色相近之一第一相鄰像素個數，並沿一第二方向計算各該些像素與其顏色相近之一第二相鄰像素個數，該第一方向 係與該第二方向相反，該關係運算單元根據該第一相鄰像素個數與該第二相鄰像素個數之一最小者計算該像素相對關係。
5. 如申請專利範圍第4項所述之影像編碼系統，其中當該最小者大於一灰階上限值時，則該關係運算單元將該最小者進行正規化。
6. 如申請專利範圍第1項所述之影像編碼系統，其中各該些視角影像包括一第一顏色通道、一第二顏色通道及一第三顏色通道，該內嵌單元內嵌該些編碼影像於該第一顏色通道、該第二顏色通道及該第三顏色通道其中之一。
7. 如申請專利範圍第1項所述之影像編碼系統，其中各該些視角影像包括一第一顏色通道、一第二顏色通道、一第三顏色通道及一編碼影像通道，該內嵌單元內嵌該些編碼影像於該編碼影像通道。
8. 如申請專利範圍第1項所述之影像編碼系統，其中各該些視角影像係為灰階影像，各該些視角影像包括一灰階通道及一相對關係通道，該內嵌單元分別內嵌該灰階影像及該些編碼影像至該灰階通道及該相對關係通道。
9. 如申請專利範圍第1項所述之影像編碼系統，更包括：一影像擷取裝置，係擷取該些視角影像；以及一儲存單元，係儲存該像素相對關係。
10. 如申請專利範圍第1項所述之影像編碼系統，更包括： 一深度運算單元，係根據該些內嵌影像輸出一深度影像。
11. 一種影像編碼方法，包括：接收複數個視角影像，各該些視角影像包括複數個像素；根據該些像素之顏色與位置計算該些像素之間的一像素相對關係以產生複數個編碼影像；以及將該些編碼影像分別內嵌至該些視角影像以產生複數個內嵌影像；其中該計算步驟係根據各該些像素與其顏色相近之相鄰像素個數計算該像素相對關係。
12. 如申請專利範圍第11項所述之影像編碼方法，其中該計算步驟包括：沿一第一方向計算各該些像素與其顏色相近之一第一相鄰像素個數；沿一第二方向計算各該些像素與其顏色相近之一第二相鄰像素個數，該第一方向係與該第二方向相反；以及根據該第一相鄰像素個數之平方與該第二相鄰像素個數之平方計算該像素相對關係。
13. 如申請專利範圍第12項所述之影像編碼方法，其中當該第一相鄰像素個數之平方與該第二相鄰像素個數之平方之一總和大於一灰階上限值時，則將該總和進行正規化。
14. 如申請專利範圍第13項所述之影像編碼方法，其中該計算步驟包括： 沿一第一方向計算各該些像素與其顏色相近之一第一相鄰像素個數；沿一第二方向計算各該些像素與其顏色相近之一第二相鄰像素個數，該第一方向係與該第二方向相反；以及根據該第一相鄰像素個數與該第二相鄰像素個數之一最小者計算該像素相對關係。
15. 如申請專利範圍第14項所述之影像編碼方法，其中當該最小者大於一灰階上限值時，則將該最小者進行正規化。
16. 如申請專利範圍第11項所述之影像編碼方法，其中各該些視角影像包括一第一顏色通道、一第二顏色通道及一第三顏色通道，該內嵌步驟係內嵌該些編碼影像於該第一顏色通道、該第二顏色通道及該第三顏色通道其中之一。
17. 如申請專利範圍第11項所述之影像編碼方法，其中各該些視角影像包括一第一顏色通道、一第二顏色通道、一第三顏色通道及一編碼影像通道，該內嵌步驟係內嵌該些編碼影像於該編碼影像通道。
18. 如申請專利範圍第11項所述之影像編碼方法，其中各該些視角影像係為灰階影像，各該些視角影像包括一灰階通道及一編碼影像通道，該內嵌步驟係分別內嵌該灰階影像及該些編碼影像至該灰階通道及該編碼影像通道。
19. 如申請專利範圍第11項所述之影像編碼方法，更包括： 擷取該些視角影像。
20. 如申請專利範圍第11項所述之影像編碼方法，更包括：儲存該像素相對關係。
21. 如申請專利範圍第11項所述之影像編碼方法，更包括：根據該些內嵌影像輸出一深度影像。