TWI798663B - 深度影像補償方法及其系統 - Google Patents

Abstract

一種深度影像補償方法及其系統，能夠於一或多個平面圖片中，辨識出一平面標的物與一平面待測物的相對比例數據，並再於一或多個深度影像中，辨識出至少一個深度標的物，並取得該深度標的物的實際距離數據，並再透過該相對比例數據與該深度標的物的實際距離數據，進行判斷出該平面待測物的深度影像數據。

Description

深度影像補償方法及其系統

本發明是有關一種深度影像補償方法及其系統，特別是一種能夠透過平面相機與深度相機、以進行影像補償出深度相機因遠距離看不到的深度影像目標的深度影像補償方法及其系統。

目前常見的影像辨識，大多是針對某一特定區域進行辨識（例如面部辨識），但針對某些特殊需求，則需要對畫面上的人與物來進行辨識，然而大多辨識方式僅是將目標物進行標註與框選，但若是進一步更細微辨識人體上的特徵物與所在位置來講，是非常困難的。

一般的平面相機往往只能取得平面的影像數據，而為了更明確的影像辨識與偵測，故有了深度相機的開發與使用，而深度相機多增加了z軸的要素，故能夠對於物體的距離有明確的判斷與確認。

然而由於深度相機的本身技術，若是被拍攝物體距離越遠，其深度影像的拍攝則更為困難，甚至於有些深度相機於超過一定距離之後，所拍攝之深度影像根本無法識別其拍攝之物體。

而有些較為昂貴之深度相機設備，確實也能夠解決上述問題，但其拍攝的每一個點都需要花費昂貴的成本，而這一類設備又大多使用雷達光或脈衝雷射，但明顯這一類的光束非常不適合應用於拍攝人類或是活體生物，其雷達光或脈衝雷射於一定時間的照射下，將會對眼睛造成一定程度的傷害，故也是僅能夠使用於某種狀況下使用的。

因此，若能夠透過平面相機進行連續拍攝以取得一相對距離，並再透過深度相機的深度影像中的實際距離，以還原出深度相機因遠距離看不到的深度影像目標，將不需要使用昂貴的設備，也能夠避免雷達光或脈衝雷射對於眼睛的傷害，因此本發明應為一最佳解決方案。

本發明深度影像補償方法，其步驟為： (1)     於一或多個平面圖片中，辨識出至少一個平面標的物與至少一個平面待測物，並取得該平面標的物與該平面待測物的相對比例數據； (2)     於一或多個深度影像中，辨識出至少一個深度標的物，並取得該深度標的物的實際距離數據；以及 (3)     透過該相對比例數據與該深度標的物的實際距離數據，進行判斷出該平面待測物的深度影像數據。

更具體的說，所述平面待測物的深度影像數據係於該深度影像中還原出來該平面待測物的深度影像，而該深度影像數據係至少包含該平面待測物的深度影像之實際距離數據。

更具體的說，所述相對比例數據係為平面標的物與該平面待測物的相對距離數據。

更具體的說，所述平面圖片與該深度影像係具有相同的拍攝視角，而該深度標的物係為該平面標的物的深度影像。

一種深度影像補償系統，係設置於一電子設備上，而該電子設備有至少一個處理器及至少一個電腦可讀取記錄媒體，該等電腦可讀取記錄媒體儲存有一或多個平面圖片與深度影像，其中該電腦可讀取記錄媒體更進一步儲存有至少一個影像補償應用單元，當由該等處理器執行該等影像補償應用單元時，導致該電子裝置進行下列程序：於啟動之影像補償應用單元中，能夠於一或多個平面圖片中，辨識出至少一個平面標的物與至少一個平面待測物，並取得該平面標的物與該平面待測物的相對比例數據，並於一或多個深度影像中，辨識出至少一個深度標的物及取得該深度標的物的實際距離數據，之後，透過該相對比例數據與該深度標的物的實際距離數據，進行判斷出該平面待測物的深度影像數據。

更具體的說，所述影像補償應用單元係包含：一輸入模組，用以輸入一個或一個以上的平面圖片與深度影像；一平面數據判斷模組，係與該輸入模組相連接，用以於一或多個平面圖片中，辨識出至少一個平面標的物與至少一個平面待測物，並取得該平面標的物與該平面待測物的相對比例數據；一深度數據判斷模組，係與該輸入模組相連接，用以於一或多個深度影像中，辨識出至少一個深度標的物，並取得該深度標的物的實際距離數據；以及一深度影像還原模組，係與該平面數據判斷模組及該深度數據判斷模組相連接，用以透過該相對比例數據與該深度標的物的實際距離數據，進行判斷出該平面待測物的深度影像數據。

更具體的說，所述平面圖片係透過一平面相機對該平面標的物及該平面待測物進行拍攝平面影像，而該深度影像係透過一深度相機對該平面標的物及該平面待測物進行拍攝深度影像，其中該平面相機與該深度相機係具有相同的拍攝視角。

更具體的說，所述能夠將該平面相機和該深度相機進行校準，使其邏輯上擷取相同長寬的畫面且每一X軸與Y軸之座標點是對齊的。

更具體的說，所述平面待測物的深度影像數據係於該深度影像中還原出來該平面待測物的深度影像，而該深度影像數據係至少包含該平面待測物的深度影像之實際距離數據。

更具體的說，所述相對比例數據係為平面標的物與該平面待測物的相對距離數據。

有關於本發明其他技術內容、特點與功效，在以下配合參考圖式之較佳實施例的詳細說明中，將可清楚的呈現。

請參閱第1圖，為本發明深度影像補償方法及其系統之流程示意圖，由圖中可知，其步驟為： (1)     於一或多個平面圖片中，辨識出至少一個平面標的物與至少一個平面待測物，並取得該平面標的物與該平面待測物的相對比例數據101； (2)     於一或多個深度影像中，辨識出至少一個深度標的物，並取得該深度標的物的實際距離數據102；以及 (3)     透過該相對比例數據與該深度標的物的實際距離數據，進行判斷出該平面待測物的深度影像數據103。

於前述取得一或多個平面圖片及一或多個深度影像前，必須先將平面相機和深度相機進行校準，使其邏輯上擷取相同長寬的畫面且每一(x,y)座標點是對齊的，之後才於一或多個平面圖片及一或多個深度影像中進行辨識（步驟101及102）。

請參閱第2A、2B及2C圖，為本發明深度影像補償方法及其系統之系統架構示意圖、電子設備架構示意圖及影像補償應用單元架構示意圖，由圖中可知，該系統係設置於一電子設備1（電子設備係能夠為伺服器設備或是電腦設備或是整合式電腦設備）內，而該電子設備1係具有至少一個處理器11及至少一個電腦可讀取記錄媒體12，其中該等電腦可讀取記錄媒體12內係具有一媒體檔儲存區121及一影像補償應用單元122，該媒體檔儲存區121係具有一或多個影像檔（平面圖片與深度影像，其中平面圖片也能夠由影片中的單幀影像中取得）；

該平面圖片係透過一平面相機對該平面標的物及該平面待測物進行拍攝平面影像，而該深度影像係透過一深度相機對該平面標的物及該平面待測物進行拍攝深度影像，其中該平面相機與該深度相機係具有相同的拍攝視角或擺置相同位置進行拍攝（若要移動則須一起移動）。

當由該等處理器11執行該影像補償應用單元122時，導致該電子裝置1進行下列程序：於啟動之影像補償應用單元122中，能夠於一或多個平面圖片中，辨識出至少一個平面標的物與至少一個平面待測物，並取得該平面標的物與該平面待測物的相對比例數據，並於一或多個深度影像中，辨識出至少一個深度標的物及取得該深度標的物的實際距離數據，之後，透過該相對比例數據與該深度標的物的實際距離數據，進行判斷出該平面待測物的深度影像數據。

而該影像補償應用單元122係包含： (1)     一輸入模組1221，用以輸入一個或一個以上的平面圖片與深度影像； (2)      一平面數據判斷模組1222，係與該輸入模組1221相連接，用以於一或多個平面圖片中，辨識出至少一個平面標的物與至少一個平面待測物，並取得該平面標的物與該平面待測物的相對比例數據，其中該相對比例數據係為平面標的物與該平面待測物的相對距離數據； (3)     一深度數據判斷模組1223，係與該輸入模組1221相連接，用以於一或多個深度影像中，辨識出至少一個深度標的物（該深度標的物係為該平面標的物的深度影像），並取得該深度標的物的實際距離數據；以及 (4)     一深度影像還原模組1224，係與該平面數據判斷模組1222及該深度數據判斷模組1223相連接，用以透過該相對比例數據與該深度標的物的實際距離數據，進行判斷出該平面待測物的深度影像數據，該平面待測物的深度影像數據係於該深度影像中還原出來該平面待測物的深度影像，且該深度影像數據係至少包含該平面待測物的深度影像之實際距離數據。

針對本案之特徵，提出以下舉例： (1)     設置一平面相機及一深度相機，同時對兩人（A人及B物體）進行拍攝，其中A人與B物體之間相隔10m，而A人與平面相機及深度相機之間相隔2m； (2)     其中平面相機能夠進行連續拍攝多張相片，並能夠透過調整光圈大小，以拍攝出不同景深的相片，之後透過相片疊合為一影像，並再進行辨識出A人及B物體後，則能夠透過像素的比例，進行判斷出A人及B物體的相對比例數據； (3)     而同時深度相機也能夠進行拍攝，對於A人，由於與深度相機僅間隔2m，故能夠清晰取得A人的深度影像，也能夠透過深度影像得知A人與深度相機的實際距離數據，但由於B物體與深度相機之距離為12m，故拍攝出來對於B物體那一部分的深度影像是非常模糊的，因此也無法得知B物體與深度相機的實際距離數據； (4)     之後，透過A人及B物體的相對比例數據及A人與深度相機的實際距離數據，進行運算則能夠換算出B物體與深度相機的實際距離數據； (5)     並再依據該B物體與深度相機的實際距離數據（可用以做為z軸數據）及該B物體的平面影像數據（可用以做為xy軸數據），則能夠將原本非常模糊的影像還原回來。

本發明所提供之深度影像補償方法及其系統，與其他習用技術相互比較時，其優點如下： (1)     本發明能夠透過平面相機與深度相機、以進行影像補償出深度相機因遠距離看不到的深度影像目標。 (2)     本發明能夠透過平面相機進行連續拍攝以取得一相對距離，並再透過深度相機的深度影像中的實際距離，以還原出深度相機因遠距離看不到的深度影像目標，將不需要使用昂貴的設備，也能夠避免雷達光或脈衝雷射對於眼睛的傷害。

本發明已透過上述之實施例揭露如上，然其並非用以限定本發明，任何熟悉此一技術領域具有通常知識者，在瞭解本發明前述的技術特徵及實施例，並在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之請求項所界定者為準。

1:電子設備 11:處理器 12:電腦可讀取記錄媒體 121:媒體檔儲存區 122:影像補償應用單元 1221:輸入模組 1222:平面數據判斷模組 1223:深度數據判斷模組 1224:深度影像還原模組

[第1圖]係本發明深度影像補償方法及其系統之流程示意圖。 [第2A圖]係本發明深度影像補償方法及其系統之系統架構示意圖。 [第2B圖]係本發明深度影像補償方法及其系統之電子設備架構示意圖。 [第2C圖]係本發明深度影像補償方法及其系統之影像補償應用單元架構示意圖。

Claims (8)

1. 一種深度影像補償方法，其步驟為：於一或多個平面圖片中，透過一影像補償應用單元辨識出至少一個平面標的物與至少一個平面待測物，並由該影像補償應用單元取得該平面標的物與該平面待測物的相對比例數據；於一或多個深度影像中，透過該影像補償應用單元辨識出至少一個深度標的物，並由該影像補償應用單元取得該深度標的物的實際距離數據；以及透過該相對比例數據與該深度標的物的實際距離數據，該影像補償應用單元進行判斷出該平面待測物的深度影像數據，其中該平面待測物的深度影像數據係為該平面待測物的深度影像，而該深度影像數據係至少包含該平面待測物的深度影像之實際距離數據。
2. 如請求項1所述之深度影像補償方法，其中該相對比例數據係為平面標的物與該平面待測物的相對距離數據。
3. 如請求項1所述之深度影像補償方法，其中平面圖片與該深度影像係具有相同的拍攝視角，而該深度標的物係為該平面標的物的深度影像。
4. 一種深度影像補償系統，係設置於一電子設備上，而該電子設備有至少一個處理器及至少一個電腦可讀取記錄媒體，該等電腦可讀取記錄媒體儲存有一或多個平面圖片與深度影像，其中該電腦可讀取記錄媒體更進一步儲存有至少一個影像補償應用單元，當由該等處理器執行該等影像補償應用單元時，導致該電子裝置進行下列程序：於啟動之影像補償應用單元中，能夠於一或多個平面圖片中，透過該影像補償應用單元辨識出至少一個平面標的物與至少一個平面待測物，並由該影像補償應用單元取得該平面標的物與該平面待測 物的相對比例數據，並於一或多個深度影像中，透過該影像補償應用單元辨識出至少一個深度標的物及由該影像補償應用單元取得該深度標的物的實際距離數據，之後，透過該相對比例數據與該深度標的物的實際距離數據，該影像補償應用單元進行判斷出該平面待測物的深度影像數據，其中該平面待測物的深度影像數據係為該平面待測物的深度影像，而該深度影像數據係至少包含該平面待測物的深度影像之實際距離數據。
5. 如請求項4所述之深度影像補償系統，其中該影像補償應用單元係包含：一輸入模組，用以輸入一個或一個以上的平面圖片與深度影像；一平面數據判斷模組，係與該輸入模組相連接，用以於一或多個平面圖片中，辨識出至少一個平面標的物與至少一個平面待測物，並取得該平面標的物與該平面待測物的相對比例數據；一深度數據判斷模組，係與該輸入模組相連接，用以於一或多個深度影像中，辨識出至少一個深度標的物，並取得該深度標的物的實際距離數據；以及一深度影像還原模組，係與該平面數據判斷模組及該深度數據判斷模組相連接，用以透過該相對比例數據與該深度標的物的實際距離數據，進行判斷出該平面待測物的深度影像數據。
6. 如請求項4所述之深度影像補償系統，其中該平面圖片係透過一平面相機對該平面標的物及該平面待測物進行拍攝平面影像，而該深度影像係透過一深度相機對該平面標的物及該平面待測物進行拍攝深度影像，其中該平面相機與該深度相機係具有相同的拍攝視角。
7. 如請求項6所述之深度影像補償系統，其中能夠將該平面相機和 該深度相機進行校準，使其邏輯上擷取相同長寬的畫面且每一X軸與Y軸之座標點是對齊的。
8. 如請求項4所述之深度影像補償系統，其中該相對比例數據係為平面標的物與該平面待測物的相對距離數據。

Images