TWI469088B - 前景深度地圖產生模組及其方法 - Google Patents

前景深度地圖產生模組及其方法 Download PDF

Info

Publication number
TWI469088B
TWI469088B TW100124396A TW100124396A TWI469088B TW I469088 B TWI469088 B TW I469088B TW 100124396 A TW100124396 A TW 100124396A TW 100124396 A TW100124396 A TW 100124396A TW I469088 B TWI469088 B TW I469088B
Authority
TW
Taiwan
Prior art keywords
image frame
key image
shape
segment
key
Prior art date
Application number
TW100124396A
Other languages
English (en)
Other versions
TW201227614A (en
Inventor
Kai Che Liu
wei jia Huang
Chun Te Wu
Chin Yuan Wang
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW100124396A priority Critical patent/TWI469088B/zh
Priority to US13/286,501 priority patent/US8478024B2/en
Publication of TW201227614A publication Critical patent/TW201227614A/zh
Application granted granted Critical
Publication of TWI469088B publication Critical patent/TWI469088B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Description

前景深度地圖產生模組及其方法
本發明係關於一種用於二維影像序列資料的深度地圖(depth map)產生模組及其方法，藉以提供三維影像資訊。
近年來，隨著生活品質的提升，顯示技術不斷地向前邁進。為了滿足對更真實影像的需求，顯示技術已從二維發展至三維。除了一般的影像與色彩外，三維影像內容更能提供立體空間的視覺感受。
目前三維影像產生的其中一種方法通過增加一深度資訊而實現。亦即，在原有的二維影像上加上一與二維影像相對應的深度地圖，就可以通過模擬方式，來得到針對左眼及右眼的至少兩個不同視角的立體影像，或是藉由支援多視角的立體影像顯示器播放以獲得立體效果。
目前市面上，具有三維立體視覺效果的立體影像顯示器，已逐漸商品化。然而，因缺乏可供立體影像顯示器使用的三維影像資訊，故立體影像顯示器的應用領域及推廣受到限制。由於目前的資訊環境下的影像內容大部分以二維影像為主。因此，有必要提出一種用於二維影像序列資料的深度地圖產生模組及其方法，以提供三維影像資訊。
本發明之前景深度地圖產生模組的一實施範例，包含一微處理器和一儲存單元。該儲存單元耦接於該微處理器，用以儲存該微處理器運算的資料。該微處理器包含一排 序單元、一資料提供單元、一形狀產生單元、一分割移動向量產生單元和一深度移動單元。該排序單元用以接收該影像序列資料，並根據該前景深度地圖產生模組的運作模式選擇性地調整該影像序列資料的順序以產生一轉換的影像序列資料，其中該轉換的影像序列資料包含至少一個關鍵影像畫面和一第一非關鍵影像畫面。該資料提供單元用以提供該至少一個關鍵影像畫面的一第一分割件的至少一個第一深度指示資料和一形狀。該分割移動向量產生單元用以根據該關鍵影像畫面的顏色資訊、該第一非關鍵影像畫面的顏色資訊和該關鍵影像畫面的該第一分割件的一形狀以產生一分割移動向量、一變形的該關鍵影像畫面和一變形的該第一分割件的該形狀。該形狀產生單元用以根據該分割移動向量、該第一分割件的該形狀、該變形的該關鍵影像畫面的顏色資訊、該變形的該第一分割件的該形狀、該關鍵影像畫面的顏色資訊和該第一非關鍵影像畫面的顏色資訊，以產生該第一非關鍵影像畫面中的一第二分割件的一形狀，其中該第一和第二分割件對應於該關鍵影像畫面的一相同物件。該深度移動單元用以根據該分割移動向量轉移該至少一個關鍵影像畫面的至少一個第一深度指示資料至該第一非關鍵影像畫面，藉以產生該第一非關鍵影像畫面的至少一個第二深度指示資料。
本發明之在一影像序列資料中產生前景深度地圖的方法之一實施範例，包含以下步驟：接收該影像序列資料，該影像序列資料包含複數個影像畫面，且每一影像畫面包 含至少一物件；從該影像序列資料中選擇至少一個關鍵影像畫面；提供該至少一個關鍵影像畫面的一第一分割件的至少一個第一深度指示資料和一形狀；以及藉由一微處理器執行以下步驟：根據該關鍵影像畫面的顏色資訊、該第一非關鍵影像畫面的顏色資訊和該關鍵影像畫面的該第一分割件的一形狀以產生一分割移動向量、一變形的該關鍵影像畫面和一變形的該第一分割件的該形狀；根據該分割移動向量、該第一分割件的該形狀、該變形的該關鍵影像畫面的顏色資訊、該變形的該第一分割件的該形狀、該關鍵影像畫面的顏色資訊和該第一非關鍵影像畫面的顏色資訊，以產生該第一非關鍵影像畫面中的一第二分割件的一形狀，其中該第一和第二分割件對應於該關鍵影像畫面的一相同物件；以及根據該分割移動向量轉移該至少一個關鍵影像畫面的至少一個第一深度指示資料至該第一非關鍵影像畫面，藉以產生該第一非關鍵影像畫面的至少一個第二深度指示資料。
本發明的實施例將配合圖式詳細描述如下，其中相同或近似的元件以類似的參考數位顯示之。
為更流暢地闡釋本發明的深度地圖產生方法，以下將先描述執行本發明的方法的前景深度地圖產生模組。圖1顯示本發明一實施例的前景深度地圖產生模組10的方塊示意圖。該前景深度地圖產生模組10用以接收一二維影像序列資料IMG_SEQ，其由複數個影像畫面所構成。參考圖1 ，該前景深度地圖產生模組10包含一微處理器100和一儲存單元11。該儲存單元11耦接於該微處理器100，用以儲存該微處理器100運算的資料。該微處理器100包含一排序單元12、一資料提供單元14、一形狀產生單元16、一分割移動向量產生單元18、一深度移動單元20和一深度修補單元22。該前景深度地圖產生模組10可選擇性地運作於三種運作模式：正向運作模式、反向運作模式和雙向運作模式。根據不同的運作模式，該前景深度地圖產生模組10可自動地產生該影像序列資料IMG_SEQ的深度地圖，使得該二維的影像序列資料IMG_SEQ可以通過一3D顯示的影像裝置讓觀視者以三維影像的方式觀賞之。
圖2是本發明一實施例的一對應相同場景的影像序列資料中產生前景深度地圖產生方法的流程圖，其包含：接收該影像序列資料(步驟S10)，其中，該影像序列資料包含複數個影像畫面，且每一影像畫面包含至少一物件；從該影像序列資料中選擇至少一個關鍵影像畫面(步驟S20)；提供該至少一個關鍵影像畫面的一第一分割件的至少一個第一深度指示資料和一形狀(步驟S30)；根據該關鍵影像畫面的顏色資訊、該第一非關鍵影像畫面的顏色資訊和該關鍵影像畫面的該第一分割件的一形狀以產生一分割移動向量、一變形的該關鍵影像畫面和一變形的該第一分割件的該形狀(步驟S40)；根據該分割移動向量、該第一分割件的該形狀、該變形的該關鍵影像畫面的顏色資訊、該變形的該第一分割件的該形狀、該關鍵影像畫面的顏色資訊和該第 一非關鍵影像畫面的顏色資訊，以產生該第一非關鍵影像畫面中的一第二分割件的一形狀(步驟S50)，其中該第一和第二分割件對應於該關鍵影像畫面的一相同物件；根據該分割移動向量轉移該至少一個關鍵影像畫面的至少一個第一深度指示資料至該第一非關鍵影像畫面，藉以產生該第一非關鍵影像畫面的至少一個第二深度指示資料(步驟S60)；及根據該第二分割件的該形狀、該關鍵影像畫面的顏色資訊和該第一非關鍵影像畫面的顏色資訊以補償該第一非關鍵影像畫面中的這些第二深度指示資料，藉以產生該第一非關鍵影像畫面中的該第二分割件的至少一個第三深度指示資料(步驟S70)。其中，步驟S40至S70通過一微處理器而執行之。以下配合圖1描述本發明的深度地圖產生方法的細節。
參考圖2，在步驟S10中該排序單元12接收一影像序列資料IMG_SEQ。此影像序列資料IMG_SEQ為相同場景下的一段影像序列。為了簡潔起見，在本實施例中，該影像序列資料IMG_SEQ由五個序列排列的影像畫面IMG_1、IMG_2、IMG_3、IMG_4和IMG_5所構成。該排序單元12根據該前景深度地圖產生模組10的運作模式選擇性地調整該影像序列資料IMG_SEQ的輸出順序以產生一轉換的影像序列資料，其中該轉換的影像序列資料包含一關鍵影像畫面和一非關鍵影像畫面。根據本發明一實施範例，當該前景深度地圖產生模組10運作于一正向模式時，該關鍵影像畫面為該影像序列資料IMG_SEQ中的第一張影像畫面IMG_1 ，而該非關鍵影像畫面為該影像序列資料IMG_SEQ中的第二張影像畫面IMG_2。根據本發明另一實施範例，當該前景深度地圖產生模組10運作於一反向模式時，該關鍵影像畫面為該影像序列資料IMG_SEQ中的最後一張影像畫面IMG_5，而該非關鍵影像畫面為該影像序列資料IMG_SEQ中的倒數第二張影像畫面IMG_4。
在一實施例中，當該前景深度地圖產生模組10運作于一正向模式時，該排序單元12輸出一轉換的影像序列資料，包含一關鍵影像畫面IMG_1，至該資料提供單元14。該資料提供單元14用以提供該關鍵影像畫面IMG_1中的一第一分割件110(segment)的至少一個第一深度指示資料和一形狀資訊。參照圖3，該關鍵影像畫面IMG_1包含一前景物件(foreground object)和另一前景物件112，而該第一分割件110為該關鍵影像畫面IMG_1中的該前景物件。該第一分割件110具有至少一個深度指示資料DEP_1，例如，該第一分割件110的左手臂的深度指示資料或該第一分割件110的右手臂的深度指示資料。為了自動產生該非關鍵影像畫面IMG_2的一第二分割件120的一形狀，其中該第二分割件120對應到該關鍵影像畫面IMG_1中的該第一分割件110，使用者在該資料提供單元14中首先須手動產生該第一分割件110的一形狀114，如圖3所示。
在產生該第一分割件110的該形狀114後，該資料提供單元14輸出一第一分割件的該形狀CON_1至該分割移動向量產生單元18。該分割移動向量產生單元18根據該關鍵影 像畫面IMG_1的顏色資訊、該非關鍵影像畫面IMG_2的顏色資訊和該關鍵影像畫面IMG_1中的該第一分割件的該形狀CON_1以產生一分割移動向量VEC_2、該變形的該關鍵影像畫面IMG_1’和該變形的該第一分割件的該形狀CON_1’。
圖4顯示本發明一實施例的該分割移動向量產生單元18的方塊示意圖，其中，該分割移動向量產生單元18包含一搜尋單元182、一仿射轉換單元184、一第一向量計算單元186和一第二向量計算單元188。該搜尋單元182用以搜尋該關鍵影像畫面IMG_1和該第一非關鍵影像畫面IMG_2中的共同的特徵點的座標位置，特別是關於該關鍵影像畫面IMG_1中的該第一分割件的該形狀CON_1內部的特徵點的座標位置。該仿射轉換單元184根據這些特徵點的座標位置的差異，執行一仿射轉換，例如旋轉、平移、或縮放該關鍵影像畫面IMG_1及該第一分割件110的該形狀114，藉以產生變形的該關鍵影像畫面IMG_1’、變形的該第一分割件110的該形狀CON_1’和一移動向量VEC_1。接著，該第一向量計算單元186以光學流(optical flow)計算變形的該關鍵影像畫面IMG_1’及該非關鍵影像畫面IMG_2以獲取該關鍵影像畫面IMG_1’相對於該非關鍵影像畫面IMG_2的相對移動向量VEC_1'。接著，該第二向量計算單元188接收變形的該第一分割件110的該形狀CON_1’及整張影像的相對移動向量VEC_1'後，將變形的該第一分割件110的該形狀CON_1’內的每一像素點的移動向量VEC_1及相對移動向 量VEC_1’相加，藉以獲得最後該變形的該第一分割件110的該形狀CON_1’內的每一個像素點的一分割移動向量VEC_2。
圖5A~圖5C簡單繪示應用該分割移動向量產生單元18處理影像的步驟。圖5A表示第一分割件110的深度指示資料DEP_1。在經過分割移動向量VEC_2轉換後，該第二分割件120的深度指示數據DEP_2仍有殘缺的部份，如圖5B所示。
在獲得該第二分割件120的一第二分割件的一形狀CON_2及該第二分割件120的深度指示資料DEP_2之後，該深度修補單元22根據該第二分割件120的一第二分割件的一形狀CON_2、該關鍵影像畫面IMG_1和該第一非關鍵影像畫面IMG_2的顏色資訊，修補該非關鍵影像畫面IMG_2中的該第二分割件120的這些深度指示資料DEP_2，藉以產生該非關鍵影像畫面IMG_2中的該第二分割件120的這些深度指示資料DEP_3，如圖5C所示。
現參照圖1，在產生該分割移動向量VEC_2後，該形狀產生單元16根據該關鍵影像畫面IMG_1的顏色資訊、該非關鍵影像畫面IMG_2的顏色資訊、該分割移動向量VEC_2、該一第一分割件的該形狀CON_1、變形的該關鍵影像畫面IMG_1’的顏色資訊及變形的該第一分割件的該形狀CON_1’自動產生該第二分割件120的一形狀資訊CON_2。該形狀產生單元16的方塊示意圖，如圖6所示，包含一加窗及第一採樣單元168、一視窗移動單元170、一第二採樣單元172和一輪廓產生單元174。
圖7顯示本發明一實施例的該形狀產生單元16的運作方式。參照圖7，該加窗及第一採樣單元168沿著該關鍵影像畫面IMG_1中的該第一分割件110的該形狀114建立複數個視窗92。這些視窗92為一矩形視窗，且這些視窗92可以是相同尺寸或不同尺寸的矩形，且彼此間互相重疊。接著，該加窗及第一採樣單元168在這些視窗92內，根據該第一分割件110的該形狀114採樣一組形狀和顏色資訊。採樣的顏色資訊可根據這些視窗92落在該形狀114的內部或外部，而區分成前景顏色資訊或背景顏色資訊。另一方面，採樣的形狀資訊可根據這些視窗92落在該形狀114的內部或外部，而定義出每個視窗中前景的形狀資訊。
接著，通過該分割移動向量產生單元18所產生的分割移動向量，該視窗移動單元170根據每個視窗中前景的分割移動向量資訊，移動這些視窗92至該非關鍵影像畫面IMG_2以建立複數個視窗94。接著，該第二採樣單元172根據變形的該第一分割件的該形狀CON_1’在這些視窗94內採樣前景及背景的顏色資訊，並參考該加窗及第一採樣單元168所採樣的前景及背景的顏色資訊，藉以形成一組前景及背景的顏色資訊。該第二採樣單元172在這些視窗94內所採樣的顏色資訊可以區分為前景顏色資訊或背景顏色資訊。該第二採樣單元172在這些視窗94內所採樣的形狀資訊將根據這些視窗94落於該變形的該第一分割件的該形狀CON_1’的內部或外部，而定義出每個視窗中前景的形狀資訊。因此，該輪廓產生單元174會將形狀和顏色資訊進行一 加權運算。
在進行加權運算時，可根據前景與背景的顏色資訊是否能清楚區分來決定前景的形狀在該第二分割件的該形狀的比例或顏色的比例。如果前景與背景顏色可以清楚區分，則減少前景的形狀資訊所占的比例。如果前景與背景顏色較無法清楚區分，則增加前景的形狀所占的比例。另外，決定視窗內的顏色與形狀比例時，同時也會參考移動向量資訊，在本發明一實施例中，當移動向量較大時，可減少前景的形狀資訊所占的比例。
接著，重複上述步驟後，可獲得該第一非關鍵影像畫面的一第二分割件120的一形狀。然而，該第二分割件120的一形狀的產生方式不應局限於上述實施例，其他影像處理方式亦可用以產生該第二分割件120的一形狀。
另一方面，在產生該分割移動向量VEC_2後，該深度移動單元20根據該分割移動向量VEC轉移該關鍵影像畫面IMG_1中的該第一分割件110的至少一個深度指示資料DEP_1至該非關鍵影像畫面IMG_2，藉以產生該非關鍵影像畫面IMG_2的至少一個深度指示資料DEP_2。這些深度指示資料DEP_1由該資料提供單元14所提供。在上述步驟中，由於分割移動向量VEC_2的產生，容易受到影像的顏色資訊所影響，而不十分準確，因此當該第一分割件110的該深度指示資料DEP_1轉移至該非關鍵影像畫面IMG_2時，該第二分割件120的的深度指示資料DEP_2有可能落在一第二分割件的一形狀CON_2外。
此外，其他非關鍵影像畫面中的分割件的深度指示資料可以根據前一影像畫面的分割件的準確形狀、前一影像畫面及目前的非關鍵影像畫面而產生。例如，該非關鍵影像畫面IMG_3的分割件的深度指示資料可以根據前一影像畫面IMG_2的顏色資訊、該非關鍵影像畫面IMG_2的第二分割件120的該準確形狀及目前的非關鍵影像畫面IMG_3的顏色資訊而產生。
根據本發明又一實施範例，該前景深度地圖產生模組10除了可運作于正向和反向模式外，亦可運作於一雙向模式。圖8顯示運作於該雙向模式下的該前景深度地圖產生模組10'的微處理器100'的方塊示意圖。在此模式下，該排序單元12’輸出一轉換的影像序列資料，包含一關鍵影像畫面IMG_1和另一關鍵影像畫面IMG_5，至該資料提供單元14’。因此，該資料提供單元14’產生該關鍵影像畫面IMG_1的該第一分割件的這些第一深度指示資料DEP_1、該關鍵影像畫面的一該第一分割件的該形狀CON_1、該另一關鍵影像畫面IMG_5的一分割件(其對應於該關鍵影像畫面IMG_1中的該前景物件110)的至少一個第二深度指示資料DEP_5和該另一關鍵影像畫面IMG_5中的分割件的該形狀CON_5。該深度修補單元22’接收該關鍵影像畫面IMG_1的顏色資訊、該第一非關鍵影像畫面IMG_2的顏色資訊、該第一分割件的這些第一深度指示資料DEP_2和該第一分割件的該形狀CON_2後，產生該非關鍵影像畫面IMG_2中的該第二分割件120的這些深度指示資料DEP_3。另一方面，該深度 修補單元22’接收該另一關鍵影像畫面IMG_5的顏色資訊、該第一非關鍵影像畫面IMG_2的顏色資訊、分割件的第二深度指示資料DEP_6和該關鍵影像畫面IMG_5中的一分割件的一形狀資訊CON_6後，產生該非關鍵影像畫面IMG_2中的該第二分割件120的這些深度指示資料DEP_7。
參照圖8，該前景深度地圖產生模組10'另包含一深度內插單元24。該深度內插單元24通過公式(1)產生至少一個第三深度指示資料DEP_8。
DEP _8=α ×DEP _3+(1-α )×DEP _7 (1)
其中α=(M-N)/M。在本實施例中，M=5,N=1。
因此，在雙向模式下，該非關鍵影像畫面IMG_2可根據該關鍵影像畫面IMG_1的這些第一深度指示資料DEP_1和該另一關鍵影像畫面IMG_5的這些深度指示資料DEP_5的資訊產生一新的深度指示資料DEP_8。依照類似的步驟，可依序獲得其他非關鍵影像畫面IMG_3和IMG_4的深度指示資料。
如上所述，該前景深度地圖產生模組10可產生非關鍵影像畫面中的前景物件的深度指示資料。在獲得前景物件的深度指示資料後，如果整合背景物件的深度指示資料，將可獲得非關鍵影像畫面的深度地圖。圖9顯示本發明一實施例的深度地圖產生模組90的方塊示意圖。參照圖9，該深度地圖產生模組90包含一前景深度地圖產生模組10'或一前景深度地圖產生模組10(見圖一)、一背景深度地圖產生模組96和一深度整合單元98。該前景深度地圖產生模組10接 收該影像序列資料IMG_SEQ後，產生前景物件的深度指示資料DEP_FG。該背景深度地圖產生模組96接收該影像序列資料IMG_SEQ後，產生背景物件的深度指示資料DEP_BG。該深度整合單元98整合該前景物件的深度指示資料DEP_FG和背景物件的深度指示資料DEP_BG後，可產生該影像序列資料IMG_SEQ的深度地圖DEP_FL。
此外，為了凸顯前景物件的深度指示資料，該前景深度地圖產生模組10亦可配合一影像深度產生單元以產生影像序列資料的深度地圖。圖10顯示本發明一實施例的深度地圖產生模組200的方塊示意圖。參照圖10，該深度地圖產生模組200包含一前景深度地圖產生模組10'或一前景深度地圖產生模組10(見圖一)、一影像深度地圖產生模組102和一深度整合單元98。該前景深度地圖產生模組10接收該影像序列資料IMG_SEQ後，產生前景物件的深度指示資料DEP_FG。該影像深度地圖產生模組102接收該影像序列資料IMG_SEQ後，產生該影像序列資料IMG_SEQ的深度指示資料DEP_IMG。該深度整合單元98整合該前景物件的深度指示資料DEP_FG和深度指示資料DEP_IMG後，可產生該影像序列資料IMG_SEQ的深度地圖DEP_FL。
影像深度地圖產生模組102的一實施例可參考先申請案「Method for generating depth maps from monocular images and systems using the same」(PCT/CN2009/075007，申請日2009年11月18日)所提出的方法產生影像深度資訊，現簡單描述如下。該影像深度地圖產生模組102首先選擇 一初始深度背景圖。該初始深度背景圖的產生方式有多種選擇，並可依來源內容不同來做調整。
接著，使用一雙邊濾波器(Bilateral Filter)來刻畫深度細節。需注意的是，要將影像來源的物件細節刻畫到初始深度背景圖中，遮罩範圍必需非常大。遮罩範圍通常需涵蓋影像的1/36至1/4的大小，否則得到的僅為一般能保留邊緣的模糊效果。接著，可加入動態視差的深度線索來得到更精確的深度地圖。該加入步驟包涵以下三步驟：
步驟(1)：使用光流法尋找移動向量。光流法(optical flow)是一種計算前後兩張影格內每個像素移動向量的方法。僅使用光流法找出的移動向量具有很大的雜訊，因此可配合步驟(2)和(3)以有效移除雜訊並得到穩定的效果。
步驟(2)：使用影像切割技術以產生移動向量。使用影像切割技術會參考前後影格間的關係，因此可知道兩影格間哪些影像分割(segment)是屬於同一個物件。
步驟(3)：以移動向量修正深度背景圖。
需注意的是，該影像深度地圖產生模組102產生整張影像的深度資訊的方式，不應局限於上述實施例，其他影像處理方式亦可產生背景的深度資訊或整張影像的深度資訊。
該深度整合單元98依據影像深度地圖產生模組102的輸出資訊和該背景深度地圖產生模組96的輸出資訊，整合本發明的前景深度地圖產生模組10的輸出資訊或前景深度地圖產生模組10'的輸出資訊後，可產生該影像序列資料 IMG_SEQ的深度地圖DEP_FL。
由一張原始二維影像搭配一張相對應的深度地圖，通過多視角影像合成技術搭配不同的立體顯示器的顯示格式，產生不同視角的影像，此方法通常被稱為Depth Image Based Rendering(DIBR)。最後所交插(interlace)出的影像，即可於顯示器上產生立體效果。
本發明的技術內容及技術特點已揭示如上，然而熟悉本項技術的人士仍可能基於本發明的教示及揭示而作種種不背離本發明精神的替換及修飾。因此，本發明的保護範圍應不限於實施範例所揭示者，而應包括各種不背離本發明的替換及修飾，並為以下的申請專利範圍所涵蓋。
10,10'‧‧‧前景深度地圖產生模組
11‧‧‧儲存單元
100,100'‧‧‧微處理器
102‧‧‧影像深度地圖產生模組
110‧‧‧第一分割件
112‧‧‧前景物件
114‧‧‧形狀
120‧‧‧第二分割件
12,12'‧‧‧排序單元
14,14'‧‧‧資料提供單元
16,16'‧‧‧形狀產生單元
168‧‧‧加窗及第一採樣單元
170‧‧‧視窗移動單元
172‧‧‧第二採樣單元
174‧‧‧輪廓產生單元
18,18'‧‧‧分割移動向量產生單元
182‧‧‧搜尋單元
184‧‧‧仿射轉換單元
186‧‧‧第一向量計算單元
188‧‧‧第二向量計算單元
20,20'‧‧‧深度移動單元
22,22'‧‧‧深度修補單元
24‧‧‧深度內插單元
92-94‧‧‧視窗
96‧‧‧背景深度地圖產生模組
98‧‧‧深度整合單元
90,200‧‧‧深度地圖產生模組
S10~S70‧‧‧步驟
圖1顯示本發明一實施例之前景深度地圖產生模組的方塊示意圖；圖2係本發明一實施例之前景深度地圖產生方法之流程圖；圖3顯示一關鍵影像畫面和一非關鍵影像畫面；圖4顯示本發明一實施例之該分割移動向量產生單元的方塊示意圖；圖5A~圖5C簡單繪示應用該分割移動向量產生單元處理影像的步驟；圖6顯示本發明一實施例之該形狀產生單元的方塊示意圖；圖7顯示本發明一實施例之該形狀產生單元的運作方 式；圖8顯示運作於該雙向模式下的該前景深度地圖產生模組的方塊示意圖；圖9顯示本發明一實施例之深度地圖產生模組的方塊示意圖；及圖10顯示本發明一實施例之深度地圖產生模組的方塊示意圖。
S10~S70‧‧‧步驟

Claims (24)

  1. 一種前景深度地圖產生模組，用以接收一對應相同場景的影像序列資料，藉以產生該影像序列資料中的複數個影像畫面之深度指示資料，該前景深度地圖產生模組包含：一微處理器，其包含：一排序單元，用以接收該影像序列資料，並根據該前景深度地圖產生模組的運作模式選擇性地調整該影像序列資料的順序以產生一轉換的影像序列資料，其中該轉換的影像序列資料包含至少一個關鍵影像畫面和一第一非關鍵影像畫面；一資料提供單元，用以提供該至少一個關鍵影像畫面的一第一分割件的至少一個第一深度指示資料和一形狀；一分割移動向量產生單元，用以根據該關鍵影像畫面的顏色資訊、該第一非關鍵影像畫面的顏色資訊和該關鍵影像畫面的該第一分割件的一形狀以產生一分割移動向量、一變形的該關鍵影像畫面和一變形的該第一分割件的該形狀；一形狀產生單元，用以根據該分割移動向量、該第一分割件的該形狀、該變形的該關鍵影像畫面的顏色資訊、該變形的該第一分割件的該形狀、該關鍵影像畫面的顏色資訊和該第一非關鍵影像畫面的顏色資訊，以產生該第一非關鍵影像畫面中的一第二分割 件的一形狀，其中該第一和第二分割件對應於該關鍵影像畫面的一相同物件；及一深度移動單元，用以根據該分割移動向量轉移該至少一個關鍵影像畫面的至少一個第一深度指示資料至該第一非關鍵影像畫面，藉以產生該第一非關鍵影像畫面的至少一個第二深度指示資料；以及一儲存單元，耦接於該微處理器，用以儲存該微處理器運算之資料。
  2. 根據請求項1之前景深度地圖產生模組，其中該微處理器還包含一深度修補單元，用以根據該第二分割件的該形狀、該關鍵影像畫面的顏色資訊和該第一非關鍵影像畫面的顏色資訊以補償該第一非關鍵影像畫面中的所述第二深度指示資料，藉以產生該第一非關鍵影像畫面中的該第二分割件的至少一個第三深度指示資料。
  3. 根據請求項1之前景深度地圖產生模組，其中當該前景深度地圖產生模組運作于一正向模式時，該關鍵影像畫面為該影像序列資料中的第一張影像畫面，而該第一非關鍵影像畫面為該影像序列資料中的第二張影像畫面。
  4. 根據請求項1之前景深度地圖產生模組，其中當該前景深度地圖產生模組運作於一反向模式時，該關鍵影像畫面為該影像序列資料中的最後一張影像畫面，而該第一非關鍵影像畫面為該影像序列資料中的倒數第二張影像畫面。
  5. 根據請求項1之前景深度地圖產生模組，其中該形狀產生 單元包含：一加窗及第一採樣單元，用以沿著該關鍵影像畫面中的該第一分割件之該形狀建立複數個第一視窗，並在所述第一視窗內採樣形狀和顏色資訊；一視窗移動單元，用以根據所述第一視窗中該關鍵影像畫面中的該第一分割件的分割移動向量資訊，移動所述第一視窗至該第一非關鍵影像畫面以建立複數個第二視窗；一第二採樣單元，用以根據變形的該第一分割件的該形狀在所述第二視窗內採樣形狀資訊，藉以形成一組前景的形狀資訊，根據變形的該第一分割件的該形狀在所述第二視窗內採樣前景及背景的顏色資訊，並參考所述第一視窗內所採樣的前景及背景的顏色資訊，藉以形成一組前景及背景的顏色資訊；以及一輪廓產生單元，用以對所述第二視窗內所採樣的形狀和顏色資訊進行一加權運算以產生該第二分割件的該形狀。
  6. 根據請求項5之前景深度地圖產生模組，其中該該輪廓產生單元在進行加權運算時，根據該前景的顏色資訊和背景的顏色資訊來決定前景的形狀在該第二分割件的該形狀的比例。
  7. 根據請求項5之前景深度地圖產生模組，其中該輪廓產生單元在進行加權運算時，根據該分割移動向量資訊來決定前景的形狀在該第二分割件的該形狀或顏色的比例。
  8. 根據請求項1之前景深度地圖產生模組，其中該分割移動向量產生單元包含：一搜尋單元，用以搜尋該關鍵影像畫面和該第一非關鍵影像畫面的第一分割件的該形狀內部的共同特徵點的座標位置；一仿射轉換單元，用以根據所述特徵點的座標差異，執行一仿射轉換，藉以產生變形的該關鍵影像畫面、變形的該第一分割件的該形狀和一移動向量；一第一向量計算單元，用以計算變形的該關鍵影像畫面及該非關鍵影像畫面以獲得該變形的該關鍵影像畫面相對於該非關鍵影像畫面的一相對移動向量；以及一第二向量計算單元，用以接收該變形的該第一分割件的該形狀和該相對移動向量，並將該變形的該第一分割件的該形狀內的每一像素點的該移動向量和該相對移動向量相加，藉以產生該變形的該第一分割件的該形狀內的每一像素的分割移動向量；其中，該分割移動向量界定該第一分割件至該第二分割件的移動。
  9. 根據請求項1之前景深度地圖產生模組，其中鄰近該第一非關鍵影像畫面的一第二非關鍵影像畫面中的一第三分割件的至少一個深度指示資料根據該第二分割件的該形狀、該第一非關鍵影像畫面及該第二非關鍵影像畫面而產生，且該第三和第二分割件對應於該關鍵影像畫面的一相同物件。
  10. 根據請求項1之前景深度地圖產生模組，其中當該前景深度地圖產生模組運作於一雙向模式時，該轉換的影像序列資料包含一第一關鍵影像畫面和一第二關鍵影像畫面，該第一關鍵影像畫面為該影像序列資料中的第一張影像畫面，該第二關鍵影像畫面為該影像序列資料中的最後一張影像畫面，而該第一非關鍵影像畫面為該影像序列資料中的第二張影像畫面。
  11. 根據請求項10之前景深度地圖產生模組，更還包含一深度內插單元，其中當該前景深度地圖產生模組運作於該雙向模式時，該資料提供單元提供該第一關鍵影像畫面的該第一分割件的至少一個深度指示資料和該第二關鍵影像畫面的一第四分割件的至少一個深度指示資料，該第四和第一分割件對應於該關鍵影像畫面的一相同物件，該深度內插單元通過線性內插法以根據該第一分割件的深度指示資料所計算的資訊和該第四分割件的深度指示資料所計算的資訊而產生至少一第四深度指示資料。
  12. 一種在一對應相同場景的影像序列資料中產生前景深度地圖的方法，其包含：接收該影像序列資料，該影像序列資料包含複數個影像畫面，且每一影像畫面包含至少一物件；根據一前景深度地圖產生模組的一運作模式，從該影像序列資料中選擇至少一個關鍵影像畫面和一第一非關鍵影像畫面，以產生一轉換的影像序列資料； 提供該至少一個關鍵影像畫面的一第一分割件之至少一個第一深度指示資料和一形狀；以及藉由一微處理器執行以下步驟：根據該關鍵影像畫面的顏色資訊、該第一非關鍵影像畫面的顏色資訊和該關鍵影像畫面的該第一分割件的一形狀以產生一分割移動向量、一變形的該關鍵影像畫面和一變形的該第一分割件的該形狀；根據該分割移動向量、該第一分割件的該形狀、該變形的該關鍵影像畫面的顏色資訊、該變形的該第一分割件的該形狀、該關鍵影像畫面的顏色資訊和該第一非關鍵影像畫面的顏色資訊，以產生該第一非關鍵影像畫面中的一第二分割件的一形狀，其中該第一和第二分割件對應於該關鍵影像畫面的一相同物件；及根據該分割移動向量轉移該至少一個關鍵影像畫面的至少一個第一深度指示資料至該第一非關鍵影像畫面，藉以產生該第一非關鍵影像畫面的至少一個第二深度指示資料。
  13. 根據請求項12之方法，其中該微處理器所執行之步驟更包含：根據該第二分割件的該形狀、該關鍵影像畫面的顏色資訊和該第一非關鍵影像畫面的顏色資訊以補償該第一非關鍵影像畫面中的所述第二深度指示資料，藉以產生該第一非關鍵影像畫面中的該第二分割件的至少一個第三 深度指示資料。
  14. 根據請求項12之方法，其中當運作于一正向模式時，該關鍵影像畫面為該影像序列資料中的第一張影像畫面，而該第一非關鍵影像畫面為該影像序列資料中的第二張影像畫面。
  15. 根據請求項12之方法，其中當運作於一反向模式時，該關鍵影像畫面為該影像序列資料中的最後一張影像畫面，而該第一非關鍵影像畫面為該影像序列資料中的倒數第二張影像畫面。
  16. 根據請求項12之方法，其中該產生該分割移動向量之步驟包含：搜尋該關鍵影像畫面和該第一非關鍵影像畫面的第一分割件的該形狀內部的共同特徵點的座標位置；根據所述特徵點的座標差異，執行一仿射轉換，藉以產生變形的該關鍵影像畫面、變形的該第一分割件的該形狀和一移動向量；計算變形的該關鍵影像畫面及該非關鍵影像畫面以獲得該變形的該關鍵影像畫面相對於該非關鍵影像畫面的一相對移動向量；以及接收該變形的該第一分割件的該形狀和該相對移動向量，並將該變形的該第一分割件的該形狀內的每一像素點的該移動向量和該相對移動向量相加，藉以產生該變形的該第一分割件的該形狀內的每一像素的分割移動向量；其中，該分割移動向量界定該第一分割件至該第二分 割件的移動。
  17. 根據請求項12之方法，其中該產生該第一非關鍵影像畫面中的該第二分割件之該形狀之步驟包含：沿著該關鍵影像畫面中的該第一分割件的該形狀建立複數個第一視窗；在所述第一視窗內採樣形狀和顏色資訊；根據所述第一視窗中該關鍵影像畫面中的該第一分割件的分割移動向量資訊，移動所述第一視窗至該第一非關鍵影像畫面以建立複數個第二視窗；根據變形的該第一分割件的該形狀在所述第二視窗內採樣形狀和顏色資訊，並參考所述第一視窗內採樣的前景及背景的顏色資訊，藉以形成一組前景的形狀和顏色資訊及背景的顏色資訊；以及對所述第二視窗內所採樣的形狀和顏色資訊進行一加權運算以產生該第二分割件的該形狀。
  18. 根據請求項17之方法，其中該進行加權運算之步驟更包含：根據前景的顏色資訊和背景的顏色資訊決定前景的形狀在該第二分割件的該形狀或顏色的比例。
  19. 根據請求項17之方法，其中該進行加權運算之步驟更包含：根據該分割移動向量資訊決定前景的形狀在該第二分割件的該形狀或顏色的比例。
  20. 根據請求項12之方法，其中鄰近該第一非關鍵影像畫面 的一第二非關鍵影像畫面中的一第三分割件的至少一個深度指示資料根據該第二分割件的該形狀、該第一非關鍵影像畫面及第二非關鍵影像畫面而產生，且該第三和第二分割件對應於該關鍵影像畫面的一相同物件。
  21. 根據請求項12之方法，其中當該前景深度地圖產生模組運作於一雙向模式時，該轉換的影像序列資料還包含另一關鍵影像畫面，該關鍵影像畫面為該影像序列資料中的第一張影像畫面，該另一關鍵影像畫面為該影像序列資料中的最後一張影像畫面，而該第一非關鍵影像畫面為該影像序列資料中的第二張影像畫面。
  22. 根據請求項21之方法，其中該微處理器所執行之步驟更包含：提供該關鍵影像畫面中的該第一分割件的至少一個深度指示資料；提供該另一關鍵影像畫面中的一第四分割件的至少一個深度指示資料，該第四分割件和該第一分割件對應於該關鍵影像畫面的一相同物件；以及通過線性內插法以根據該第一分割件的深度指示資料所計算的資訊和該第四分割件的深度指示資料所計算的資訊而產生至少一第四深度指示資料。
  23. 根據請求項12之方法，其中該微處理器所執行之步驟更包含：接收該影像序列資料以產生背景物件的深度指示資料；以及 整合該至少一個第二深度指示資料和該背景物件的深度指示資料，以產生該影像序列資料的深度地圖。
  24. 根據請求項12之方法，其中該微處理器所執行之步驟更包含：接收該影像序列資料以產生該影像序列資料的深度指示資料；以及整合該至少一個第二深度指示資料和該影像序列資料的深度指示資料，以產生該影像序列資料的深度地圖。
TW100124396A 2010-12-31 2011-07-11 前景深度地圖產生模組及其方法 TWI469088B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100124396A TWI469088B (zh) 2010-12-31 2011-07-11 前景深度地圖產生模組及其方法
US13/286,501 US8478024B2 (en) 2010-12-31 2011-11-01 Depth map generation module for foreground object and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW99147152 2010-12-31
TW100124396A TWI469088B (zh) 2010-12-31 2011-07-11 前景深度地圖產生模組及其方法

Publications (2)

Publication Number Publication Date
TW201227614A TW201227614A (en) 2012-07-01
TWI469088B true TWI469088B (zh) 2015-01-11

Family

ID=46380826

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100124396A TWI469088B (zh) 2010-12-31 2011-07-11 前景深度地圖產生模組及其方法

Country Status (2)

Country Link
US (1) US8478024B2 (zh)
TW (1) TWI469088B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102844794B (zh) * 2010-04-16 2016-07-06 皇家飞利浦电子股份有限公司 图像数据重定格式
WO2012174090A2 (en) * 2011-06-13 2012-12-20 University Of Florida Research Foundation, Inc. Systems and methods for estimating the structure and motion of an object
KR20140029689A (ko) * 2012-08-29 2014-03-11 삼성전자주식회사 영상 처리 시스템에서 움직임 추정 장치 및 방법
US10050784B2 (en) * 2014-11-13 2018-08-14 Secure Channels Inc. System and method for generating a cryptographic key
CN105590294B (zh) * 2014-11-18 2019-02-05 联想(北京)有限公司 一种图像处理方法和电子设备
US10104345B2 (en) * 2014-12-16 2018-10-16 Sighthound, Inc. Data-enhanced video viewing system and methods for computer vision processing
US10002313B2 (en) 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
TWI596360B (zh) * 2016-08-19 2017-08-21 光寶電子（廣州）有限公司 攝像設備以及攝像方法
CN107392953B (zh) * 2017-09-20 2020-11-10 四川长虹电器股份有限公司 基于等高线的深度图像识别方法
CN111238465B (zh) * 2018-11-28 2022-02-18 台达电子工业股份有限公司 地图建置设备及其地图建置方法
DE102021129573A1 (de) 2021-11-12 2023-05-17 Sumolight Gmbh Verfahren und System zur Verarbeitung von Videodaten

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1274043A2 (en) * 2001-07-04 2003-01-08 Matsushita Electric Industrial Co., Ltd. Image signal coding method and apparatus
US7359440B2 (en) * 2003-01-15 2008-04-15 Microsoft Corporation Method and system for extracting key frames from video using a triangle model of motion based on perceived motion energy
CN101593349A (zh) * 2009-06-26 2009-12-02 福州华映视讯有限公司 将二维影像转换为三维影像的方法
US20100046837A1 (en) * 2006-11-21 2010-02-25 Koninklijke Philips Electronics N.V. Generation of depth map for an image
WO2010064774A1 (ko) * 2008-12-02 2010-06-10 (주)엘지전자 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법
TW201030672A (en) * 2008-12-02 2010-08-16 Koninkl Philips Electronics Nv Generation of a depth map
CN101873506A (zh) * 2009-04-21 2010-10-27 财团法人工业技术研究院 提供深度信息的影像处理方法及其影像处理系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3054681B2 (ja) 1995-07-19 2000-06-19 工業技術院長 画像処理方法
US6873654B1 (en) * 2000-05-16 2005-03-29 Redrock Semiconductor, Inc Method and system for predictive control for live streaming video/audio media
US7120277B2 (en) 2001-05-17 2006-10-10 Koninklijke Philips Electronics N.V. Segmentation unit for and method of determining a second segment and image processing apparatus
US7119837B2 (en) 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
CN101061489B (zh) * 2004-09-21 2011-09-07 欧几里得发现有限责任公司 用来处理视频数据的装置和方法
US7715589B2 (en) 2005-03-07 2010-05-11 Massachusetts Institute Of Technology Occluding contour detection and storage for digital photography
CA2884702C (en) 2006-06-23 2018-06-05 Samuel Zhou Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
WO2008075276A1 (en) 2006-12-19 2008-06-26 Koninklijke Philips Electronics N.V. Method and system to convert 2d video into 3d video
JP5147278B2 (ja) * 2007-04-09 2013-02-20 株式会社日立製作所 映像配信装置およびキーフレーム配信方法
US8345956B2 (en) 2008-11-03 2013-01-01 Microsoft Corporation Converting 2D video into stereo video

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1274043A2 (en) * 2001-07-04 2003-01-08 Matsushita Electric Industrial Co., Ltd. Image signal coding method and apparatus
US7359440B2 (en) * 2003-01-15 2008-04-15 Microsoft Corporation Method and system for extracting key frames from video using a triangle model of motion based on perceived motion energy
US20100046837A1 (en) * 2006-11-21 2010-02-25 Koninklijke Philips Electronics N.V. Generation of depth map for an image
WO2010064774A1 (ko) * 2008-12-02 2010-06-10 (주)엘지전자 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법
TW201030672A (en) * 2008-12-02 2010-08-16 Koninkl Philips Electronics Nv Generation of a depth map
CN101873506A (zh) * 2009-04-21 2010-10-27 财团法人工业技术研究院 提供深度信息的影像处理方法及其影像处理系统
CN101593349A (zh) * 2009-06-26 2009-12-02 福州华映视讯有限公司 将二维影像转换为三维影像的方法

Also Published As

Publication number Publication date
US8478024B2 (en) 2013-07-02
TW201227614A (en) 2012-07-01
US20120170832A1 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
TWI469088B (zh) 前景深度地圖產生模組及其方法
US10122992B2 (en) Parallax based monoscopic rendering
CN102254348B (zh) 一种基于自适应视差估计的虚拟视点绘制方法
US10497140B2 (en) Hybrid depth sensing pipeline
CN103024421B (zh) 自由视点电视中的虚拟视点合成方法
US8441521B2 (en) Method and apparatus for determining view of stereoscopic image for stereo synchronization
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
US8094148B2 (en) Texture processing apparatus, method and program
US20150022631A1 (en) Content-aware display adaptation methods and editing interfaces and methods for stereoscopic images
CN102075694A (zh) 用于视频制作、后期制作和显示适应的立体编辑
JP2005235211A (ja) 中間時点の画像合成方法及びそれを適用した３ｄディスプレイ装置
CN101287142A (zh) 基于双向跟踪和特征点修正的平面视频转立体视频的方法
JP5755571B2 (ja) 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置
JP5852093B2 (ja) 映像処理装置、映像処理方法、プログラム
JP3988879B2 (ja) 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体
CN102750694B (zh) 基于局部最优置信传播算法的双目视频深度图求取方法
CN103731657B (zh) 一种对dibr算法处理后的含有空洞影像的空洞填充处理方法
Knorr et al. An image-based rendering (ibr) approach for realistic stereo view synthesis of tv broadcast based on structure from motion
JP5464129B2 (ja) 画像処理装置および視差情報生成装置
CN105282534B (zh) 用于嵌入立体图像的系统及方法
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
JP2014071870A (ja) 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム
Knorr et al. From 2D-to stereo-to multi-view video
CN107610070A (zh) 基于三摄像采集的自由立体匹配方法
TWM529333U (zh) 立體嵌入式影像系統