TWI550559B - 影像分割裝置與影像處理方法 - Google Patents

影像分割裝置與影像處理方法 Download PDF

Info

Publication number
TWI550559B
TWI550559B TW104101199A TW104101199A TWI550559B TW I550559 B TWI550559 B TW I550559B TW 104101199 A TW104101199 A TW 104101199A TW 104101199 A TW104101199 A TW 104101199A TW I550559 B TWI550559 B TW I550559B
Authority
TW
Taiwan
Prior art keywords
pixels
designated area
image
super
target image
Prior art date
Application number
TW104101199A
Other languages
English (en)
Other versions
TW201546758A (zh
Inventor
羅聖傑
黃亮綱
郭子豪
李佑庭
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201546758A publication Critical patent/TW201546758A/zh
Application granted granted Critical
Publication of TWI550559B publication Critical patent/TWI550559B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20156—Automatic seed setting

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

影像分割裝置與影像處理方法
本案涉及一種電子裝置與一種數位處理方法。具體而言，本案涉及一種影像分割裝置與一種影像處理方法。
隨著影像處理技術的發展，影像分割方法已廣泛地應用在人們的生活當中。
典型的影像分割方法可用以將影像分割為不同部份。舉例而言，在數位攝影中，影像分割方法可用以分割一背景與一主要物件(即前景)。藉此，此一主要物件與背景即可分別進行進一步的影像處理。
本案的一實施態樣涉及一種影像處理方法。根據本案一實施例，該方法包括：透過一處理元件，根據一目標影像的複數個像素之顏色，將該些像素區分為複數個超像 素；透過該處理元件，平均化該些超像素中的每一者中的該些像素所對應之深度值，以產生對應於該些超像素的複數筆平均深度值；以及透過該處理元件，根據該些平均深度值產生對應於該目標影像的該些超像素的一調校深度圖。
根據本案一實施例，其中在該些超像素中的一者中的該些像素之顏色彼此大致相同。
根據本案一實施例，其中在該些超像素中的一者中的該些像素彼此相鄰。
根據本案一實施例，其中產生該調校深度圖的步驟包括：以對應於該些超像素中的一者的平均深度值，作為在該些超像素中的該者中的該些像素的複數筆調校深度值。
根據本案一實施例，該影像處理方法更包括：透過一顯示元件，顯示該目標影像；透過一使用者輸入元件，接收一使用者指令，其中該使用者指令相應於該目標影像的一原始指定區域；根據該些平均深度值，縮減該原始指定區域，以產生一縮減的指定區域；根據該縮減的指定區域及該使用者指令，產生複數筆種子；以及根據該些種子分割該目標影像，以獲得至少一分割後的影像。
根據本案一實施例，其中縮減該原始指定區域的步驟包括：根據該些平均深度值，將該原始指定區域中的該些超像素分群為兩組；以及根據該兩組分群後的超像素，決定該縮減的指定區域。
根據本案一實施例，其中將該原始指定區域中的該些超像素分群為兩組的步驟包括：根據該原始指定區域中的該些超像素與該原始指定區域的一中心之間的距離，決定該原始指定區域中的該些超像素的複數筆權重；藉由加總該些超像素中具有相同平均深度值者的權重，以計算出複數筆權重總和；以及根據該些權重總和，以將該原始指定區域中的該些超像素分群為兩組。
根據本案一實施例，其中根據該兩組分群後的超像素，決定該縮減的指定區域的步驟包括：選擇對應於該兩組分群後的超像素中的一組的一選定區域；以及從該選定區域的邊緣縮減(erode)該選定區域，以產生該縮減的指定區域。
根據本案一實施例，根據該些種子分割該目標影像，以獲得至少一分割後的影像的步驟包括：以該些像素中位於該原始指定區域的邊緣的一第一部份像素，作為該些種子中的複數個背景種子；以及以該些像素中位於該縮減的指定區域中的一第二部份像素，作為該些種子中的複數個前景種子。
本案的一實施態樣涉及一種影像分割裝置。根據本案一實施例，該影像分割裝置包括一顯示元件、一使用者輸入元件、以及一處理元件。該顯示元件用以顯示一目標影像。該使用者輸入元件用以接收一使用者指令，其中該使用者指令相應於該目標影像的一原始指定區域。該處理元件用以根據相應於該目標影像的一第一深度資訊，縮減該原始指 定區域，以產生一縮減的指定區域；根據該縮減的指定區域及該使用者指令，產生複數筆種子；以及根據該些種子分割該目標影像，以獲得至少一分割後的影像。
透過應用上述一實施例，即可根據相應於目標影像的第一深度資訊分割目標影像，以令影像分割更為精準。
100‧‧‧影像分割裝置
110‧‧‧處理元件
120‧‧‧顯示元件
130‧‧‧使用者輸入介面
200‧‧‧影像分割方法
S1-S8‧‧‧步驟
IMG‧‧‧影像
IMG1‧‧‧影像
PXL‧‧‧像素
CNT‧‧‧像素
SPL1-SPL6‧‧‧超像素
ODR‧‧‧區域
ODR1‧‧‧區域
ODR2‧‧‧區域
LRN‧‧‧區域
SDR‧‧‧區域
DR1-DR3‧‧‧區域
BKG‧‧‧背景
FRG‧‧‧前景
TRC‧‧‧軌跡
第1圖為根據本案一實施例所繪示的影像分割裝置的示意圖；第2圖為根據本發明一實施例的影像處理方法的流程圖；第3A、3B圖為根據本發明一操作例所繪示的產生調校深度圖的示意圖；第4A-4C圖為根據本發明一操作例所繪示的影像分割方法的示意圖；第5A、5B圖為根據本發明一操作例所繪示的對原始指定區域進行分組的示意圖；以及第6A、6B圖為根據本發明另一操作例所繪示的對原始指定區域進行分組的示意圖。
以下將以圖式及詳細敘述清楚說明本揭示內容之精神，任何所屬技術領域中具有通常知識者在瞭解本揭示內容 之實施例後，當可由本揭示內容所教示之技術，加以改變及修飾，其並不脫離本揭示內容之精神與範圍。
關於本文中所使用之『電性連接』，可指二或多個元件相互直接作實體或電性接觸，或是相互間接作實體或電性接觸，而『電性連接』還可指二或多個元件元件相互操作或動作。
關於本文中所使用之『第一』、『第二』、...等，並非特別指稱次序或順位的意思，亦非用以限定本發明，其僅為了區別以相同技術用語描述的元件或操作。
關於本文中所使用之『包含』、『包括』、『具有』、『含有』等等，均為開放性的用語，即意指包含但不限於。
關於本文中所使用之『及/或』，係包括所述事物的任一或全部組合。
關於本文中所使用之方向用語，例如：上、下、左、右、前或後等，僅是參考附加圖式的方向。因此，使用的方向用語是用來說明並非用來限制本案。
關於本文中所使用之用詞(terms)，除有特別註明外，通常具有每個用詞使用在此領域中、在此揭露之內容中與特殊內容中的平常意義。某些用以描述本揭露之用詞將於下或在此說明書的別處討論，以提供本領域技術人員在有關本揭露之描述上額外的引導。
本發明的一實施態樣涉及一種影像分割裝置。在以下段落中，將以一智慧型電話或一平板電腦為例對影像分割裝置的細節進行描述，然而本案不以此為限。
第1圖為根據本案一實施例所繪示的影像分割裝置100的示意圖。在本實施例中，影像分割裝置100包括處理元件110、顯示元件120以及使用者輸入介面130。在一實施例中，處理元件110電性連接顯示元件120以及使用者輸入介面130。
在一實施例中，處理元件110例如可用中央處理器、微處理器、或數位訊號處理器(digital signal processor，DSP)等處理器實現，但不以此為限。顯示元件120例如可用液晶顯示器、主動矩陣有機發光二極體顯示器、或電子紙顯示器等顯示器實現，但不以此為限。使用者輸入介面130例如可用觸控模組、鍵盤、或滑鼠等裝置實現，但不以此為限。在一實施例中，顯示元件120以及使用者輸入介面130可整合為觸控顯示元件，然本案不以此為限。
在一實施例中，顯示元件120用以顯示影像。使用者輸入介面130用以接收來自使用者的使用者指令。處理元件110用以根據影像本身、使用者指令、以及影像的深度資訊，以分割影像。
以下將藉由第2圖中的影像處理方法以提供本案更具體細節，然本案不以下述實施例為限。
應注意到，此一影像處理方法可應用於相同或相似於第1圖中所示結構之影像分割裝置。而為使敘述簡單，以 下將根據本發明一實施例，以第1圖中的影像分割裝置100為例進行對操作方法敘述，然本發明不以此應用為限。
另外，應瞭解到，在本實施方式中所提及的影像處理方法的步驟，除特別敘明其順序者外，均可依實際需要調整其前後順序，甚至可同時或部分同時執行。
再者，在不同實施例中，此些步驟亦可適應性地增加、置換、及/或省略。
參照第2圖，影像處理方法200包括以下步驟。
在步驟S1中，處理元件110取得具有複數像素的目標影像(此一影像例如是透過一攝影機取得，或儲存於一儲存媒介中)，並根據此些像素之顏色，將此些像素區分為複數個超像素(每一超像素例如是一組複數個相鄰的像素)。
在一實施例中，處理元件110可對目標影像執行過度切割演算法(over-segmentation algorithm)，以將前述像素區分為複數個超像素。在一實施例中，每一超像素具有超過一個像素。在一實施例中，在同一超像素中的像素具有大致相同的顏色。在一實施例中，在同一超像素中的像素彼此相鄰。
在步驟S2中，處理元件110取得對應於目標影像的深度圖(depth map)(此一深度圖例如是透過感測器取得，或儲存於一儲存媒介中)，其中此一深度圖包括多筆各別對應於目標影像的像素的深度值。接著，處理元件110平均化前述超像素中的每一者中的像素所對應之深度值，以產生對應於此些超像素的複數筆平均深度值。
在步驟S3中，處理元件110根據前述平均深度值，產生對應於目標影像的超像素的一調校深度圖。在一實施例中，處理元件110可用前述平均深度值，作為在超像素中的像素的調校深度值(亦即，對應於在同一超像素中的像素的調校深度值彼此相同)。舉例而言，處理元件110可用對應於第一超像素的第一平均深度值作為在第一超像素中的像素的調校深度值。
藉此，調校深度圖中相異的調校深度值的邊緣即可對齊超像素的邊緣。
為使敘述清楚，以下將搭配第3A、3B圖提供一操作例，然而本案不以下述操作例為限。
在本操作例中，影像IMG1具有複數個像素PXL(例如25個像素)，且此些像素PXL可區分為複數個超像素(例如超像素SPL1-SPL6)。如第3A圖所示，超像素SPL1中的像素的深度值為10、11、11、12、11，且超像素SPL1的平均深度值為11。超像素SPL2中的像素的深度值為7、1、7、7、7、7，且超像素SPL2的平均深度值為6。超像素SPL3中的像素的深度值為1、1、1，且超像素SPL3的平均深度值為1。超像素SPL4中的像素的深度值為3、2、4、3，且超像素SPL4的平均深度值為3。超像素SPL5中的像素的深度值為15、13、15、13，且超像素SPL5的平均深度值為14。超像素SPL6中的像素的深度值為6、7、8，且超像素SPL6的平均深度值為7。處理元件110可用超像素SPL1的平均深度值(即11)作為在超像素SPL1中的像素的調校深度值，用超像素SPL2的平均深度 值(即6)作為在超像素SPL2中的像素的調校深度值，用超像素SPL3的平均深度值(即1)作為在超像素SPL3中的像素的調校深度值，用超像素SPL4的平均深度值(即3)作為在超像素SPL4中的像素的調校深度值，用超像素SPL5的平均深度值(即14)作為在超像素SPL5中的像素的調校深度值，用超像素SPL6的平均深度值(即7)作為在超像素SPL6中的像素的調校深度值，以產生調校深度圖(如第3B圖所示)。
藉由上述利用超像素及調校深度圖切割影像的做法，即可簡化後續的計算過程。此外，由於平均化像素的深度值可減少深度感測上的失準(通常發生在影像的前景邊緣)造成的負面影響，故藉由應用上述平均深度值，即可增加影像分割的準確度。然而，應注意到，在一些實施例中，處理元件110仍可利用原始的像素及深度值進行影像分割(在此類情況下，步驟S1-S3可省略)，故本案不以上述實施例為限。
在步驟S4中，處理元件110利用顯示元件120顯示目標影像。
在步驟S5中，處理元件110利用使用者輸入介面120接收來自使用者的使用者指令。在一實施例中，此一使用者指令對應於目標影像的一原始指定區域。在一實施例中，可藉由手指、觸控筆、滑鼠或鍵盤提供此一使用者指令，然而本案不以此為限。在一實施例中，此一使用者指令可包括對應於目標影像的一封閉的軌跡(closed trace)，且此一封閉的軌跡所框出的區域可作為原始指定區域(亦即，被此一封閉的軌跡所框出及覆蓋的超像素或像素可作為原始指 定區域)。在一實施例中，此一使用者指令可包括對應於目標影像的一未封閉的軌跡(unclosed trace)，而處理元件110可(自動地)封閉此一軌跡，以取得原始指定區域。在一實施例中，此一原始指定區域可涵蓋在目標影像中欲分割出的物件。
在步驟S6中，處理元件110根據對應於目標影像的第一深度資訊縮減前述原始指定區域，以產生對應於目標影像的一縮減的指定區域。在一實施例中，第一深度資訊可包括前述相應於像素的深度值及/或相應於超像素的平均深度值。在一實施例中，此一縮減的指定區域係大致相同於或小於目標影像中欲分割出的物件。
根據一實施例，在步驟S6中，處理元件110可根據前述第一深度資訊，將位於前述原始指定區域中的超像素或像素(後稱為影像單元)分組為一前景群組以及一背景群組。
接著，處理元件110選取一區域，此一區域相應於前述前景群組的影像單元。此時，雖仍存在有些許誤差，但相應於被選取的影像單元之被選取的區域係大致等同於目標影像中欲分割出的物件(因為欲分割出的物件通常是目標影像中的前景)。
而後，處理元件110從邊緣縮減被選取的區域(亦即，沿著被選取的區域的邊緣移除被選取的區域的外圍部份)，以產生前述縮減的指定區域。此時，縮減的指定區域係位於目標影像中欲分割出的物件之上。在一實施例中，處 理元件110係從邊緣縮減被選取的區域些許像素或超像素(例如縮減10個像素或超像素)。
應注意到，在不同實施例中，此一縮減操作可被省略，且在如此的實施例中，可直接用前述對應於被選取的群組的被選取的區域作為前述縮減的指定區域。
在步驟S7中，處理元件110根據前述縮減的指定區域及前述使用者指令，產生複數筆種子。在一實施例中，此些種子包括前景種子及背景種子。在一實施例中，處理元件110可用位於前述原始指定區域的邊緣的第一部份像素，作為背景種子，並以位於前述縮減的指定區域中的第二部份像素，作為前景種子。在一實施例中，可用重疊於前述軌跡及/或位於前述軌跡周圍的像素做為背景種子。在一實施例中，可用重疊於前述軌跡的超像素中的像素做為背景種子。
在步驟S8中，處理元件110根據前述種子分割目標影像，以獲得至少一分割後的影像。在一實施例中，處理元件110可根據目標影像(例如目標影像的顏色)、前述種子及第二深度資訊，執行一影像分割演算法，以分割目標影像。在一實施例中，第二深度資訊可包括相應於超像素的平均深度值。由於平均化像素的深度值可減少深度感測上的失準(通常發生在影像的前景邊緣)造成的負面影響，故藉由應用平均深度值，可增加影像分割的準確度。然而，在其它實施例中，仍可根據對應於像素的原始深度值進行影像分割(亦即，第二深度資訊僅包括對應於像素的原始深度值)，故本案不以上述實施例為限。
在一實施例中，前述影像分割演算法可為修改後的graph cut演算法(modified graph cut algorithm)，然本案不以此為限。應注意到，一般graph cut演算法是用以接收使用者提供的前景種子與背景種子，以根據影像的顏色、前景種子與背景種子，分割影像的前景與背景。在一實施例中，可進一步將graph cut演算法修改為根據影像的顏色、前景種子、背景種子以及第二深度資料，分割影像的前景與背景，以增加影像分割的準確度。
藉由上述的操作，即可根據目標影像的深度資料分割目標影像。如此一來，即可使影像分割更為精準。
為使敘述清楚，以下將搭配第4A-4C圖提供一操作例，然而本案不以下述操作例為限。
參照第4A圖，目標影像IMG顯示於顯示元件120上。目標影像IMG具有前景FRG(例如是一名人物與多個矮柱)以及背景BKG。使用者可在欲分割出的物件(例如是該名人物)周圍畫出一條軌跡TRC，以圈出(encircle)目標影像的原始指定區域。
參照第4B圖，處理元件110根據前述第一深度資訊，將位於目標影像IMG的原始指定區域ODR中的影像單元(即超像素或像素)分組為一前景群組以及一背景群組。接著，處理元件110選取相應於此些影像單元中的前景群組的區域LRN，以進行後續操作。換言之，處理元件110係從原始指定區域ODR的影像單元中移除後景群組的影像單元。
接著，如第4C圖所示，處理元件110從區域LRN的邊緣縮減選取的區域LRN，以產生縮減的指定區域SDR。而後，處理元件110用位於原始指定區域ODR的邊緣的像素作為背景種子，並用位於縮減的指定區域SDR中的像素作為前景種子，並據以分割目標影像IMG。
透過上述的操作，即可根據深度資訊準確地產生前景種子及背景種子，以令影像分割更為精準。
在一實施例中，在決定原始指定區域後，處理元件110決定每一影像單元一權重，並根據此些權重對原始指定區域中的影像單元進行分組。在一實施例中，原始指定區域中的此些影像單元的權重相應於此些影像單元與原始指定區域的中心之間的距離。當距離越小時，權重越高。在一實施例中，可根據原始指定區域的邊緣計算原始指定區域的中心，然而本案不以此為限。
在決定前述權重後，處理元件110藉由加總前述影像單元中被定為具有相同深度者之權重，以計算出複數筆權重總和。舉例而言，當兩個像素具有相同的深度值時，此兩個像素被定為具有相同深度，故處理元件110可加總此兩個影像單元之權重，以產生對應於此一深度值的權重總和。再舉例而言，當兩個超像素具有相同的平均深度值時，此兩個超像素被定為具有相同深度，故處理元件110可加總此兩個影像單元之權重，以產生對應於此一平均深度值的權重總和。
而後，處理元件110可根據對應於不同深度的權重總和，對影像單元進行分組。
為使敘述清楚，以下將搭配第5A-6B圖提供兩個操作例，然而本案不以下述操作例為限。
參照第5A、5B圖，在一操作例中，在原始指定區域ODR1中的像素PXL未被區分為超像素的情況下，處理元件110可決定區域DR1內的中心像素CNT之權重w1(例如為5)，決定區域DR2內的像素(例如為具有深度值11、1、15、1、2、3、7、1的像素)之權重w2(例如為3)，並決定區域DR3內的像素(例如為具有深度值10、11、11、15、13、13、6、7、8、3、4、7、7、7、7、12的像素)之權重w3(例如為1)。由於在區域DR1內有1個像素的深度值為1，在區域DR2內有3個像素的深度值為1，且在區域DR3內沒有像素的深度值為1，故對應於深度值為1的權重總和可為5*1+3*3=14。此外，由於在區域DR2有1個像素的深度值為2，且在區域DR1、DR3內沒有像素的深度值為2，故對應於深度值為2的權重總和可為3*1=3。對應其它深度值的權重總和可以此類推。透過上述的計算，即可得到對應不同深度值的權重總和之柱狀圖(如第5B圖)。
而後，處理元件110可根據此些權重總和執行一均值偏移演算法(mean shift algorithm)，以對像素進行分組。在此一實施例中，具有深度值1-4的像素可分為群組G1，具有深度值5-15的像素可分為另一群組G2。具有較高 的權重總和之群組(如群組G1)可為定為前景群組，且具有較低的權重總和之群組(如群組G2)可為定為背景群組。
參照第6A、6B圖，在另一操作例中，原始指定區域ODR2中的像素PXL被區分為多個超像素SPL1-SPL6，且在每一超像素SPL1-SPL6中的像素的深度值各自彼此相同。處理元件110可決定中心超像素SPL3之權重w1(例如為5)，並決定鄰近超像素SPL3的超像素SPL1-2、SPL4-6之權重w2(例如為1)。由於只有中心超像素SPL3的平均深度值為1，故對應於深度值為1的權重總和可為5*1=5。由於只有一個超像素的平均深度值為3，故對應於深度值為3的權重總和可為1*1=1。由於有2個超像素的平均深度值為6，故對應於深度值為6的權重總和可為2*1=2。對應其它平均深度值的權重總和可以此類推。透過上述的計算，即可得到對應不同平均深度值的權重總和之柱狀圖(如第6B圖)。
而後，處理元件110可根據此些權重總和執行一均值偏移演算法(mean shift algorithm)，以對超像素進行分組。在此一實施例中，超像素SPL3、SPL4可分為群組G1，且超像素SPL1、SPL2、SPL5、SPL6可分為另一群組G4。具有較高的權重總和之群組(如群組G3)可為定為前景群組，且具有較低的權重總和之群組(如群組G4)可為定為背景群組。
透過上述的操作，即可根據深度資訊將原始指定區域中的影像單元分組為兩個不同的群組。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧影像分割裝置
110‧‧‧處理元件
120‧‧‧顯示元件
130‧‧‧使用者輸入介面

Claims (9)

  1. 一種影像處理方法，包括：透過一處理元件，根據一目標影像的複數個像素之顏色，將該些像素區分為複數個超像素；透過該處理元件，平均化該些超像素中的每一者中的該些像素所對應之深度值，以產生對應於該些超像素的複數筆平均深度值；透過一顯示元件，顯示該目標影像；透過一使用者輸入元件，接收一使用者指令，其中該使用者指令相應於該目標影像的一原始指定區域；根據該些平均深度值，縮減該原始指定區域，以產生一縮減的指定區域；根據該縮減的指定區域及該使用者指令，產生複數筆種子；以及根據該些種子分割該目標影像，以獲得至少一分割後的影像。
  2. 如請求項1所述之影像處理方法，其中在該些超像素中的一者中的該些像素之顏色彼此大致相同。
  3. 如請求項1所述之影像處理方法，其中在該些超像素中的一者中的該些像素彼此相鄰。
  4. 如請求項1所述之影像處理方法，其中產生該調校深度圖的步驟包括：以對應於該些超像素中的一者的平均深度值，作為在該些超像素中的該者中的該些像素的複數筆調校深度值。
  5. 如請求項1所述之影像處理方法，其中縮減該原始指定區域的步驟包括：根據該些平均深度值，將該原始指定區域中的該些超像素分群為兩組；以及根據該兩組分群後的超像素，決定該縮減的指定區域。
  6. 如請求項5所述之影像處理方法，其中將該原始指定區域中的該些超像素分群為兩組的步驟包括：根據該原始指定區域中的該些超像素與該原始指定區域的一中心之間的距離，決定該原始指定區域中的該些超像素的複數筆權重；藉由加總該些超像素中具有相同平均深度值者的權重，以計算出複數筆權重總和；以及根據該些權重總和，以將該原始指定區域中的該些超像素分群為兩組。
  7. 如請求項5所述之影像處理方法，其中根據該兩組分群後的超像素，決定該縮減的指定區域的步驟包括： 選擇對應於該兩組分群後的超像素中的一組的一選定區域；以及從該選定區域的邊緣縮減(erode)該選定區域，以產生該縮減的指定區域。
  8. 如請求項1所述之影像處理方法，根據該些種子分割該目標影像，以獲得至少一分割後的影像的步驟包括：以該些像素中位於該原始指定區域的邊緣的一第一部份像素，作為該些種子中的複數個背景種子；以及以該些像素中位於該縮減的指定區域中的一第二部份像素，作為該些種子中的複數個前景種子。
  9. 一種影像分割裝置，包括：一顯示元件，用以顯示一目標影像；一使用者輸入元件，用以接收一使用者指令，其中該使用者指令相應於該目標影像的一原始指定區域；以及一處理元件，用以：根據該目標影像的複數個像素之顏色，將該些像素區分為複數個超像素；透過該處理元件，平均化該些超像素中的每一者中的該些像素所對應之深度值，以產生對應於該些超像素的複數筆平均深度值； 根據該些平均深度值，縮減該原始指定區域，以產生一縮減的指定區域；根據該縮減的指定區域及該使用者指令，產生複數筆種子；以及根據該些種子分割該目標影像，以獲得至少一分割後的影像。
TW104101199A 2014-01-17 2015-01-14 影像分割裝置與影像處理方法 TWI550559B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461928421P 2014-01-17 2014-01-17
US14/578,477 US9466118B2 (en) 2014-01-17 2014-12-21 Image segmentation device, image segmentation method, and depth map generating method

Publications (2)

Publication Number Publication Date
TW201546758A TW201546758A (zh) 2015-12-16
TWI550559B true TWI550559B (zh) 2016-09-21

Family

ID=52394114

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104101199A TWI550559B (zh) 2014-01-17 2015-01-14 影像分割裝置與影像處理方法

Country Status (4)

Country Link
US (2) US9466118B2 (zh)
EP (1) EP2908287B1 (zh)
CN (1) CN104796622B (zh)
TW (1) TWI550559B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10003787B1 (en) * 2016-12-21 2018-06-19 Canon Kabushiki Kaisha Method, system and apparatus for refining a depth map
US10445861B2 (en) * 2017-02-14 2019-10-15 Qualcomm Incorporated Refinement of structured light depth maps using RGB color data
CN106952269B (zh) * 2017-02-24 2019-09-20 北京航空航天大学 近邻可逆的视频前景物体序列检测分割方法及系统
US10096122B1 (en) 2017-03-28 2018-10-09 Amazon Technologies, Inc. Segmentation of object image data from background image data
US9965865B1 (en) * 2017-03-29 2018-05-08 Amazon Technologies, Inc. Image data segmentation using depth data
US10217195B1 (en) 2017-04-17 2019-02-26 Amazon Technologies, Inc. Generation of semantic depth of field effect
US10776992B2 (en) * 2017-07-05 2020-09-15 Qualcomm Incorporated Asynchronous time warp with depth data
CN107424159B (zh) * 2017-07-28 2020-02-07 西安电子科技大学 基于超像素边缘和全卷积网络的图像语义分割方法
CN109166145B (zh) * 2018-08-10 2020-12-11 中国农业大学 一种基于聚类分割的果树叶片生长参数提取方法及系统
WO2020085881A1 (en) * 2018-10-26 2020-04-30 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation using an event sensor
US11164319B2 (en) 2018-12-20 2021-11-02 Smith & Nephew, Inc. Machine learning feature vector generator using depth image foreground attributes
CN110363700A (zh) * 2019-07-12 2019-10-22 辽宁工程技术大学 一种基于深度图分割的自定义指令并行枚举方法
CN113538467A (zh) * 2021-08-09 2021-10-22 北京达佳互联信息技术有限公司 图像分割方法和装置及图像分割模型的训练方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW451585B (en) * 1998-09-22 2001-08-21 Xiao D Yang Process-scalable high spatial resolution and low bit resolution CMOS area image sensor
US20120275703A1 (en) * 2011-04-27 2012-11-01 Xutao Lv Superpixel segmentation methods and systems
CN103177450A (zh) * 2013-04-11 2013-06-26 北京航空航天大学 一种基于构件集采样的图像场景分割与分层联合求解方法
TW201421145A (zh) * 2012-11-21 2014-06-01 Omnivision Tech Inc 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法
CN104050682A (zh) * 2014-07-09 2014-09-17 武汉科技大学 一种融合颜色和深度信息的图像分割方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7773807B2 (en) * 2006-08-29 2010-08-10 Siemens Medical Solutions Usa, Inc. Seed segmentation using l∞ minimization
US8472699B2 (en) * 2006-11-22 2013-06-25 Board Of Trustees Of The Leland Stanford Junior University Arrangement and method for three-dimensional depth image construction
US8155405B2 (en) * 2007-04-20 2012-04-10 Siemens Aktiengsellschaft System and method for lesion segmentation in whole body magnetic resonance images
US8798965B2 (en) * 2009-02-06 2014-08-05 The Hong Kong University Of Science And Technology Generating three-dimensional models from images
US9521994B2 (en) * 2009-05-11 2016-12-20 Siemens Healthcare Gmbh System and method for image guided prostate cancer needle biopsy
US8432434B2 (en) * 2011-07-08 2013-04-30 Mitsubishi Electric Research Laboratories, Inc. Camera and method for focus based depth reconstruction of dynamic scenes
CN103493093B (zh) * 2011-11-17 2017-07-18 松下知识产权经营株式会社 图像处理装置、摄像装置及图像处理方法
JP5932476B2 (ja) * 2012-05-17 2016-06-08 キヤノン株式会社 画像処理装置、撮像装置、距離計測方法および距離計測プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW451585B (en) * 1998-09-22 2001-08-21 Xiao D Yang Process-scalable high spatial resolution and low bit resolution CMOS area image sensor
US20120275703A1 (en) * 2011-04-27 2012-11-01 Xutao Lv Superpixel segmentation methods and systems
TW201421145A (zh) * 2012-11-21 2014-06-01 Omnivision Tech Inc 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法
CN103177450A (zh) * 2013-04-11 2013-06-26 北京航空航天大学 一种基于构件集采样的图像场景分割与分层联合求解方法
CN104050682A (zh) * 2014-07-09 2014-09-17 武汉科技大学 一种融合颜色和深度信息的图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fabian Prada,Leandro Cruz and Luiz Velho. "Improving object extraction with depth-based methods", in Computing Conference (CLEI), 2013 XXXIX Latin American, pages 1-9. 2013/10/7 *
Michael Van den bergh,Danel Carton and Luc Vn Gool. "Depth SEEDS: Recovering incomplete depth data using superpixels", in Applications of Computer Vision (WACV), 2013, pages 363-368. 2013/01/15 *

Also Published As

Publication number Publication date
US9704258B2 (en) 2017-07-11
US20150206312A1 (en) 2015-07-23
US20160358339A1 (en) 2016-12-08
US9466118B2 (en) 2016-10-11
TW201546758A (zh) 2015-12-16
CN104796622B (zh) 2018-08-31
EP2908287B1 (en) 2019-07-10
EP2908287A1 (en) 2015-08-19
CN104796622A (zh) 2015-07-22

Similar Documents

Publication Publication Date Title
TWI550559B (zh) 影像分割裝置與影像處理方法
US11830153B2 (en) Generating an augmented reality image using a blending factor
US11050994B2 (en) Virtual reality parallax correction
TWI556195B (zh) 影像分割裝置與影像分割方法
US10636125B2 (en) Image processing apparatus and method
US20210207952A1 (en) Measurement device and measurement method
KR102606209B1 (ko) 듀얼-픽셀 이미지 데이터를 사용한 디포커스 블러 제거 및 깊이 추정
US9679398B2 (en) Rendering images using color contribution values of render elements
KR20170027105A (ko) 사용자의 인터랙션에 기초하여 3차원 오브젝트를 처리하는 방법 및 장치
CN102307308B (zh) 一种在触摸屏上生成立体图像的方法和设备
US20180134127A1 (en) Adaptive glare removal and/or color correction
WO2023070421A1 (en) Methods and apparatus to perform mask-based depth enhancement for multi-view systems
US20140348416A1 (en) Stereo image rectification apparatus and method
CN104867109A (zh) 一种显示方法及电子设备
US20170099715A1 (en) Method and device for displaying illumination
TWI678927B (zh) 動態調整影像清晰度的方法及其影像處理裝置
US10650563B2 (en) Tongue position tracking for facial animation
TWI736335B (zh) 基於深度影像生成方法、電子裝置與電腦程式產品
TWI520097B (zh) 依據深度資訊處理影像的方法、裝置及電腦程式產品
WO2023037447A1 (ja) 画像処理装置、方法およびプログラム
CN108537242A (zh) 一种新的显著性目标检测方法
JP2023031373A (ja) 画像処理装置、画像処理システムおよびプログラム