TW201610916A - 根據依時一致性超像素為圖框序列產生分段遮罩之方法和裝置，以及電腦可讀式儲存媒體 - Google Patents

根據依時一致性超像素為圖框序列產生分段遮罩之方法和裝置，以及電腦可讀式儲存媒體 Download PDF

Info

Publication number
TW201610916A
TW201610916A TW104123963A TW104123963A TW201610916A TW 201610916 A TW201610916 A TW 201610916A TW 104123963 A TW104123963 A TW 104123963A TW 104123963 A TW104123963 A TW 104123963A TW 201610916 A TW201610916 A TW 201610916A
Authority
TW
Taiwan
Prior art keywords
superpixels
frame
superpixel
sequence
frames
Prior art date
Application number
TW104123963A
Other languages
English (en)
Inventor
約恩 賈哈斯基
安德烈 史卻索
Original Assignee
湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯姆生特許公司 filed Critical 湯姆生特許公司
Publication of TW201610916A publication Critical patent/TW201610916A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一種根據依時一致性超像素為圖框序列產生分段遮罩之方法和裝置。圖框序列係經由輸入(21)檢索(10)。超像素單位(22)為圖框序列獲得(11)依時一致性超像素。經由顯示單位(23)對用戶顯示(12)從圖框序列所選擇圖框之依時一致性超像素，以及與所顯示超像素有關之進一步資訊。用戶介面(24)捕獲(13)用戶輸入，選擇一個或多個顯示超像素，或修飾與顯示超像素有關的進一步資訊至少一部份。使用選擇之一個或多個超像素，分段遮罩產生器(25)即為圖框序列產生(14)分段遮罩。

Description

根據依時一致性超像素為圖框序列產生分段遮罩之方法和裝置，以及電腦可讀式儲存媒體
本發明係關於互動式視訊分段之方法和裝置。尤其說明一種方法和裝置，根據依時一致性超像素，為圖框序列產生分段遮罩。
視訊分段複雜，經過費時且費記憶器，尤其是對高解析度影像。超像素演算法代表視訊分段很有用且逐漸普及之預處理步驟，但亦可為廣範圍之其他電腦視覺應用，諸多追蹤、多視圖物體分段、場景流動、室內場景之3D布置估計、互動場景模型化、影像剖析，和語意分段。把類似像素群組成所謂超像素，導致影像基元大減。造成隨後處理步驟之計算效率增加，對更複雜演算法，在像素位準上有計算可行性，並產生空間支援以區域為基礎之特點。如文獻[1]所載依時一致性超像素，有助於減少複雜性。
本發明之目的，在於提供有效工具，根據依時一致性超像素，供互動視訊分段之用。
按照一具體例，根據依時一致性超像素為圖框序列產生分段遮罩之方法包括：•檢索圖框序列；•為圖框序列獲得依時一致性超像素；•對用戶顯示從圖框序列所選擇圖框之依時一致性超像素，以及與所顯示超像素有關之進一步資訊；•捕獲用戶輸入，選擇一個或多個所顯示超像素，或修飾與所選擇超像素有關的進一步資訊之至少一部份；•使用所選擇一個或多個超像素，以及與所選擇超像素有關之進一 步資訊，為圖框序列產生分段遮罩。
因此，電腦可讀式儲存媒體已在內部儲存指令，利用電腦執行時，致能根據依時一致性超像素，為圖框序列產生分段遮罩，造成電腦：•檢索圖框序列；•為圖框序列獲得依時一致性超像素；•對用戶顯示從圖框序列所選擇圖框之依時一致性超像素，以及與所顯示超像素有關之進一步資訊；•捕獲用戶輸入，選擇一個或多個所顯示超像素，或修飾與所選擇超像素有關的進一步資訊之至少一部份；•使用所選擇一個或多個超像素，以及與所選擇超像素有關之進一步資訊，為圖框序列產生分段遮罩。
又，在一具體例中，裝置構成根據依時一致性超像素，為圖框序列產生分段遮罩，包括：•輸入，構成檢索圖框序列；•超像素單位，構成為圖框序列獲得依時一致性超像素；•顯示單位，構成為對用戶顯示從圖框序列所選擇圖框之依時一致性超像素，以及與所顯示超像素有關之進一步資訊；•用戶介面，構成捕獲用戶輸入，選擇一個或多個所顯示超像素，或修飾與所選擇超像素有關的進一步資訊之至少一部份；•分段遮罩產生器，構成使用所選擇一個或多個超像素，以及與所選擇超像素有關之進一步資訊，為圖框序列產生分段遮罩。
在另一具體例中，構成根據依時一致性超像素，為圖框序列產生分段遮罩之裝置，包括處理裝置，和記憶裝置，內儲存指令，當利用處理裝置執行時，促使裝置：•檢索圖框序列；•為圖框序列獲得依時一致性超像素；•對用戶顯示從圖框序列所選擇圖框之依時一致性超像素，以及與所顯示超像素有關之進一步資訊；•捕獲用戶輸入，選擇一個或多個所顯示超像素，或修飾與所選擇超像素有關的進一步資訊之至少一部份； •使用所選擇一個或多個超像素，以及與所選擇超像素有關之進一步資訊，為圖框序列產生分段遮罩。
所選擇超像素之資訊，最好在超像素表內提供。此表對用戶賦予對所選擇超像素容易存取之全覽。
擬議之解決方案引進快速方式，藉互動劃分視訊序列，產生分段遮罩。選擇和追蹤圖框序列內之區域，是根據依時一致性超像素，係例如藉對圖框序列應用超像素演算法，或檢索為圖框序列所提供現有依時一致性超像素而得。使用所顯示超像素之區域選擇，很直覺，用戶容易處置。視訊分段法可分成二步驟，即為超像素產生之自動離線處理(分批處理)，和使用此等超像素之即時互動式視訊分段。
圖框序列所選擇圖框以外的圖框之分段遮罩，係使用所選擇超像素之標號識別符產生。以此方式，超像素之依時一致性，即用來傳播所選擇區域，跨越序列之隨後圖框。
在一具體例中，圖框序列之一個或多個開始圖框和結束圖框，為超像素設定，以限制所選擇圖框範圍之追蹤。此舉容許用戶限制追蹤圖框序列之次序列。以此方式，用戶可確實特定在哪一時點要考慮哪一超像素，以產生分段遮罩。
在一具體例中，捕獲用戶輸入，為圖框序列在所選擇圖框以外之圖框選擇進一步超像素，或取消所選擇超像素。各進一步所選擇超像素，加到超像素表，以開始圖框設定於現時圖框。因而，解決方案容許用戶以互動方式，改善圖框位準之所追蹤/傳播區域。取消超像素會完全取消追蹤中的超像素。
在一具體例中，捕獲用戶輸入，把二個或多個所選擇超像素群組。利用所選擇超像素之群組，變成在產生分段遮罩之際，可分辨不同區域。
所選擇超像素之資訊，宜儲存於檔案內。此資訊可用做隨後處理步驟之輸入，稍後容許回覆超像素選擇。另外或此外，經由輸出或儲存(例如做為影像檔案)，可得所產生分段遮罩。此等分段遮罩，可用做隨後處理步驟之輸入。
為更佳瞭解本解決方案起見，茲參照附圖詳述如下。須知此 解決方案不限於所舉具體例，而特定特點亦可權宜組合和/或修飾，不違本解決方案在所附申請專利範圍內界定之範圍。
1‧‧‧導航按鈕
2‧‧‧圖框面積
3‧‧‧按鈕面積
4‧‧‧超像素表
5‧‧‧按鈕
6‧‧‧浮動塊
7‧‧‧變焦按鈕
10‧‧‧檢索圖框序列
11‧‧‧獲得依時一致性超像素
12‧‧‧顯示超像素和所選擇圖框之進一步資訊
13‧‧‧捕獲用戶輸入選擇所顯示超像素或修飾進一步資訊
14‧‧‧根據所選擇超像素和進一步資訊產生分段遮罩
20‧‧‧裝置
21‧‧‧輸入
22‧‧‧超像素單位
23‧‧‧顯示單位
24‧‧‧用戶介面
25‧‧‧分段遮罩產生器
26‧‧‧局部儲存器
27‧‧‧輸出
30‧‧‧裝置
31‧‧‧處理裝置
32‧‧‧記憶裝置
第1圖表示圖框之實施例；第2圖繪示相當於第1圖所示圖框之超像素標號映圖；第3圖繪示視訊分段工具的圖形用戶介面之主要元件；第4圖繪示GUI表示序列之第一圖框，具有重疊之超像素邊界；第5圖繪示第4圖之GUI，對原視圖雙態觸變；第6圖表示GUI之導航和變焦按鈕；第7圖表示超像素表，具有舉例之超像素；第8圖繪示強調在結束圖框號碼與現時圖框號碼一致的圖框內所選擇之超像素；第9圖繪示超像素之群組；第10圖表示在超像素表內之群組超像素；第11圖繪示二個所選擇超像素群組所得分段遮罩；第12至16圖繪示圖框內物體之選擇；第17圖表示設定結束圖框後所選擇區域；第18圖繪示第17圖所選擇區域超像素群組所得群組；第19圖表示為第18圖群組所得舉例之分段遮罩；第20圖簡略繪示視訊分段方法之一具體例；第21圖表示構成實施第20圖方法之裝置第一具體例；第22圖舉例繪示構成實施第20圖方法之裝置第二具體例。
以下說明所擬解決方案之舉例實施方式。此實施方式是互動式視訊分段工具，以具有Qt圖形用戶介面(GUI)的蟒蛇(Python)語言程式規劃。此工具兼適於有滑鼠和鍵盤之電腦，以及有觸摸顯示幕之平板電腦，使用觸摸姿勢代替滑鼠點擊。
所實施解決方案需要輸入圖框序列，以及相對應超像素標號映圖序列。此等超像素標號映圖，可使用例如文獻[1]所載演算法產生，不 是在獨立超像素產生步驟之前，便是在利用互動式視訊分段工具接收圖框序列之時。第1圖表示圖框之例，而第2圖繪示相對應超像素標號映圖。超像素標號係利用灰值編碼。
第3圖繪示工具的GUI 1之主要元件。GUI 1最大部分被圖框面積2所佔，在圖框面積2上方是按鈕面積3，包括各種按鈕。在圖框面積2右側，有超像素表4，顯示關於所選擇超像素之資訊。
把圖框序列和相對應超像素映圖載錄於工具內後，圖框面積2顯示序列之首先圖框，具有重疊之超像素邊界。如第4圖所示。可藉壓按鍵盤上之特別鍵或點擊GUI 1內之按鈕，在重疊視圖和原視圖間雙態觸變，見第5圖。
由第6圖可見，工具可利用點擊適當按鈕5或使用鍵盤捷徑，逐步透過序列回放、暫停或前進。為導航通過序列，亦可使用浮動塊6，在導航按鈕1下方。再者，以變焦按鈕7可放大縮小，把視圖再帶到圖框原尺寸，或配合現時視窗尺寸。
依序導航至正確圖框後，用戶可開始互動式視訊分段。為劃分物體，用戶只需選擇物體區域即可。
圖框區域的選擇係根據超像素的選擇。選擇超像素有二種方式。第一種方式是對超像素按左鍵(點擊滑鼠左方按鈕)。所選擇之超像素以白色強調，加到工具右側的超像素表。第二種方式有助於連續選擇。以左方滑鼠按鈕對超像素牽曳滑鼠，可連續加以選擇。所選擇超像素會用白色強調，於放開滑鼠按鈕後，加到超像素表4右側。
若選錯超像素，不再能棄選。棄選超像素的作業方式，和選擇方式相似。唯一不同是另外必須壓按移位鍵，再於超像素按左鍵，取消選擇。若移位鍵保持壓按，牽曳滑鼠保持滑鼠左按鈕壓住應棄選的超像素，亦可作業連續棄選超像素。棄選超像素亦可從超像素表4右側取消。
為準確選擇起見，用戶變焦進入圖框，或在原視圖和重疊視圖間雙態觸變。在超像素表4上列有對各所選擇超像素之群組識別符、標號識別符，以及開始圖框和結束圖框。
第7圖表示超像素4，詳示舉例之超像素。含有關於所選擇超像素之下列資訊： •群組號碼；•超像素之標號識別符；•開始和結束圖框號碼。
超像素標號係依時一致性超像素之識別符。例如在超像素標號映圖內，使用超像素之獨特RGB顏色計算。
超像素之開始和結束號碼，指示圖框之(次)序列，即應追蹤超像素之時槽。在選擇超像素時，會自動加到超像素表4，而其開始和結束圖框號碼設定方式如下：•開始圖框號碼，設定於現時圖框號碼；•結束圖框號碼，設定於序列中最後圖框之圖框號碼。
要改變所選擇超像素之開始圖框號碼時，用戶只要導航序列內之不同圖框，對超像素按左鍵。即可設定新的開始圖框號碼。用戶藉保持滑鼠左按鈕壓下，並牽曳滑鼠於所選擇超像素上，即可立刻改變複數超像素之開始圖框號碼。
改變結束圖框號碼的作業方式，和改變開始圖框號碼相同，唯一差別是，用戶必須對超像素按右鍵。
同理可直接在超像素表上編輯開始和結束圖框號碼。
做為用戶的支援，圖框內所選擇超像素。其結束圖框號碼與現時圖框號碼一致，使用超像素的獨特標號灰值強調。其例見第8圖所繪，其中所強調之超像素係人體模型的帽子，在白色長方形所識別面積內可目視。
超像素之標號識別符，用來傳播所選擇區域跨越圖框序列之後續圖框。因此，在後續圖框中，亦選擇具有同樣識別符之超像素。向前步進，使用播放器或浮動塊導航至次一圖框，表示所選擇區域之傳播。開始和結束圖框可用來改善後續圖框之選擇。設定超像素結束圖框於圖框號碼k，即排除追蹤圖框號碼k+1和更高之圖框。此外，亦可在隨後圖框內加新的超像素。按初次選擇之同樣方式進行。以此二方法，用戶可完全控制以改善所傳播區域。超像素具有複數時槽，各時槽有其本身之開始和結束圖框號碼。因此，不但可排除超像素於圖框j+1追蹤之外。亦可再包含於圖框j+1+l(l>0)之追蹤內。此例如對錯誤發生從一物體變換至另一 物體並回來之超像素，特別有益。使用複數時槽，即可處置此等追蹤錯誤。
視訊分段工具不限於僅處置一區域。不同區域可使用群組號碼識別。群組號碼最好是1和255間之整數值。例如在產生分段遮罩之際，用來分辨不同區域。群組號碼可內定為1。若用戶不改變群組號碼，全部所選擇超像素在產生之分段遮罩內，都具有灰值1。如果用戶想要產生具有複數分開區域之分段遮罩，應該使用工具之群組特點。第9至11圖表示一實施例，其中追蹤右邊二個人體模型之帽子，各區域有其本身群組號碼。第9和10圖表示對中間人體模型帽子之群組識別符設定過程。為產生群組，用戶在超像素表4內選擇適當超像素，點擊超像素表4下方之「群組」按鈕。做為視覺協助，在表內所選擇超像素，在視圖內以淡灰色強調，見白色長方形內識別之面積。在群組類比中出現選擇「群組」按鈕時，用戶即輸入1和255間之整數值。此群組識別符可例如用做分段遮罩內之灰值。由第10圖可見，群組之超像素隨後以超像素表4內關聯之群組號碼識別。第11圖繪示二個所選擇群組結束所顯示圖框之分段遮罩。
為從超像素表4消除先前所選擇超像素，用戶有可能性去點擊在超像素表4下方之「重設」按鈕。
分段工具提供功能性，以評鑑所選擇區域之傳播。因而，導航特點(播放、暫停、步進和浮動塊)扮演中心任務。用戶可(再)播放完整序列，暫停在需進一步檢查所追蹤區域之圖框，或單純步進直接通過完整序列。為供檢驗，變焦特點以及視圖更換有助益。
於查核和潛在改善所追蹤區域後，用戶可輸出本文檔案或分段遮罩，係產生成為灰調影像。所產生本文檔案含有關於所選擇超像素之資訊。例如，對於各選擇超像素，可加具有群組號碼之新行、標號識別符，以及各時槽之開始和結束圖框號碼。在二個時槽內具有一個所選擇超像素之本文檔案，因此看來如下：
以本文檔案輸出的區域，可再度載錄於工具內。若用戶想要在稍後時間點回復分段作業、與他人分享作業，或創造複數不同版型，此舉特別有用。
為輸出所選擇區域，即所選擇超像素，做為分段遮罩之序列，用戶必須點擊超像素表4下方之「影像」按鈕。在公開對話中，用戶則選擇輸出目錄，灰度影像之位元深度(8位元或24位元)，然後點擊「開始」。成功完成處理後，在輸出目錄即可得所產生影像。
以下說明簡單作業流程實施例。使用短序列，有20個原有圖框和相對應超像素標號映圖。在此實施例中，區域的選擇應在第三圖框開始，而追蹤應在圖框17停止。載錄後，第4圖所繪示視圖出現。用戶使用導航按鈕(或浮動塊)，導航至第三圖框。然後，用戶選擇涵蓋中間人體模型衣服之超像素。選擇過程繪示於第12至16圖。所選擇超像素自動加到超像素表。由於內部圖框號碼以0開始，其開始圖框號碼自動設定於2，而其結束圖框號碼設定於序列結束，在此實施例中為19。
根據超像素標號，此項選擇此時即傳播跨越後續圖框，直到序列結束。為控制選擇是否正確傳播，即如果在後續圖框內也選擇正確超像素，用戶即可導航通過序列。於是，可改善選擇，如上進一步所述。
經檢查後，結束圖框號碼，應按所欲設定，以停止圖框17內所選擇超像素之追蹤。結束圖框號碼不是對圖框17內超像素按右鍵設定，便是直接在超像素表內編輯其結束圖框號碼。為求視覺幫助，其結束圖框號碼等於所顯示圖框的圖框號碼之超像素，使用獨特標號灰值強調。把結束圖框設定於圖框17後，所選擇區域看來如第17圖所示。
一旦所選擇區域在圖框上全面正確，即創造群組，並為不同的選擇區域設定獨特號碼。然而，在本實施例中，只有一個區域而已。用戶選擇具有屬於超像素表4內一區域的超像素行，點擊「群組」按鈕。在此情況時，這是表上全部行數。用戶即輸入群組號碼，點擊OK。所得群組繪示於第18圖。
當各區域具有獨特群組號碼，分段遮罩即可按上述輸出。在本情況下，所產生分段遮罩看似第19圖所繪示。在此圖示，並未顯示全部分段遮罩。
第20圖簡略表示根據依時一致性超像素為序列產生分段遮罩之方法。在第一步驟中，例如從網路或從局部儲存器，檢索10圖框序列。然後，例如對圖框序列應用超像素演算法，或檢索為圖框序列提供之現有 依時一致性超像素，獲得11依時一致性超像素。一旦可得圖框序列之依時一致性超像素，即對用戶顯示12所選擇圖框之超像素，以及與所顯示超像素有關之進一步資訊。方法繼續進行捕獲13用戶輸入，選擇一個或多個所顯示超像素，或修飾與所選擇超像素有關的進一步資訊至少一部份。最後，使用所選擇一個或多個超像素，以及與所選擇超像素有關的進一步資訊，為圖框序列產生14分段遮罩。
第21圖簡略繪示根據依時一致性超像素，為圖框序列產生分段遮罩之裝置20一具體例。裝置20包括輸入21，供例如從網路或從局部儲存器檢索10圖框序列。超像素單位22利用例如對圖框序列應用超像素演算法，或檢索為圖框序列所提供現有依時一致性超像素，獲得11圖框序列之依時一致性超像素。經由顯示單位23，例如顯示裝置，或連接於顯示裝置之輸出，對用戶顯示12依時一致性超像素，以及由圖框序列所選擇圖框所顯示超像素有關之進一步資訊。裝置又包括用戶介面24，以捕獲13用戶輸入，選擇一個或多個所顯示超像素，或修飾與所選擇超像素有關的進一步資訊至少一部份。分段遮罩產生器25使用所選擇一個或多個超像素，以及與所選擇超像素有關之進一步資訊，為圖框序列產生14分段遮罩。所得分段遮罩最好儲存於局部儲存器26，或可在輸出27取得。超像素單位22，分段遮罩產生器25，和用戶介面24，同樣可完全或部份組合於單一單位，或實施為在處理器上運作之軟體。此外，用戶介面24可為顯示單位23之組件，例如呈觸控幕之形式。輸入21和輸出27亦可同樣形成單一之雙向介面。
裝置30之另一具體例，構成根據依時一致性超像素，為圖框序列進行產生分段遮罩之方法，簡略如第22圖所示。裝置30包括處理裝置31，和記憶裝置32，儲存指令，在執行時，促使裝置進行上述方法之一的步驟。
處理裝置31可例如為處理器，適於進行上述方法之一的步驟。在一具體例中，該項適於包括處理器，構成例如經程式規劃，以進行上述方法之一的步驟。
於此所稱處理器可包含一個或多個處理單位，諸如微處理器、數位訊號處理器，或其組合式。
局部儲存器和記憶裝置32可包含易失性和/或不變性記憶區域，和儲存裝置，諸如硬磁碟驅動機和DVD驅動機。記憶器之一部份為非暫態程式儲存裝置，為處理裝置31可讀式，可把處理裝置31能執行之指令程式有形具體化，以進行在此按照本原理所述之程式步驟。
參考文獻
[1] M. Reso et al.: “Temporally Consistent Superpixels”, International Conference on Computer Vision (ICCV), 2013, pp. 385-392.
10‧‧‧檢索圖框序列
11‧‧‧獲得依時一致性超像素
12‧‧‧顯示超像素和所選擇圖框之進一步資訊
13‧‧‧捕獲用戶輸入選擇所顯示超像素或修飾進一步資訊
14‧‧‧根據所選擇超像素和進一步資訊產生分段遮罩

Claims (11)

  1. 一種根據依時一致性超像素為圖框序列產生分段遮罩之方法，包括：•檢索(10)圖框序列；•為圖框序列獲得(11)依時一致性超像素；•對用戶顯示(12)從圖框序列所選擇圖框之依時一致性超像素，以及與所顯示超像素有關之進一步資訊；•捕獲(13)用戶輸入，選擇一個或多個所顯示超像素，或修飾與所選擇超像素有關的進一步資訊之至少一部份；•使用所選擇一個或多個超像素，以及與所選擇超像素有關之進一步資訊，為圖框序列產生(14)分段遮罩者。
  2. 如申請專利範圍第1項之方法，又包括對超像素表(4)內所選擇圖框，提供資訊者。
  3. 如申請專利範圍第1或2項之方法，其中使用所選擇超像素之標號識別符，圖框序列為所選擇圖框以外的圖框，產生分段遮罩者。
  4. 如申請專利範圍第1至3項之一種方法，又包括在為超像素的圖框序列內，設定一個或多個開始圖框和結束圖框，以限制對所選擇圖框範圍之超像素追蹤者。
  5. 如前述申請專利範圍之一項方法，又包括捕獲用戶輸入，為圖框序列所選擇圖框以外之圖框，選擇進一步超像素，或取消所選擇超像素者。
  6. 如前述申請專利範圍之一項方法，其中為圖框序列之依時一致性超像素，係藉對圖框序列應用超像素演算法，或檢索為圖框序列所提供現有依時一致性超像素，加以檢索(11)者。
  7. 如前述申請專利範圍之一項方法，又包括捕獲用戶輸入，把二個或更多個所選擇超像素加以群組者。
  8. 如前述申請專利範圍之一項方法，又包括把對所選擇超像素之資訊儲存於檔案和/或儲存所產生分段遮罩，做為影像檔案者。
  9. 一種電腦可讀式儲存媒體，已在內部儲存指令，利用電腦執行時，致能根據依時一致性超像素，為圖框序列產生分段遮罩，造成電腦：•檢索(10)圖框序列；•為圖框序列獲得(11)依時一致性超像素； •對用戶顯示(12)從圖框序列所選擇圖框之依時一致性超像素，以及與所顯示超像素有關之進一步資訊；•捕獲(13)用戶輸入，選擇一個或多個所顯示超像素，或修飾與所選擇超像素有關的進一步資訊之至少一部份；•使用所選擇一個或多個超像素，以及與所選擇超像素有關之進一步資訊，為圖框序列產生(14)分段遮罩者。
  10. 一種裝置(20)，構成根據依時一致性超像素，為圖框序列產生分段遮罩，其中裝置(20)包括：•輸入(21)，構成檢索(10)圖框序列；•超像素單位(22)，構成為圖框序列獲得(11)依時一致性超像素；•顯示單位(23)，構成為對用戶顯示(12)從圖框序列所選擇圖框之依時一致性超像素，以及與所顯示超像素有關之進一步資訊；•用戶介面(24)，構成捕獲(13)用戶輸入，選擇一個或多個所顯示超像素，或修飾與所選擇超像素有關的進一步資訊之至少一部份；•分段遮罩產生器(25)，構成使用所選擇一個或多個超像素，以及與所選擇超像素有關之進一步資訊，為圖框序列產生(14)分段遮罩者。
  11. 一種裝置(30)，構成根據依時一致性超像素，為圖框序列產生分段遮罩，裝置(30)包括處理裝置(31)，和記憶裝置(32)，內儲存指令，當利用處理裝置(31)執行時，促使裝置(30)：•檢索(10)圖框序列；•為圖框序列獲得(11)依時一致性超像素；•對用戶顯示(12)從圖框序列所選擇圖框之依時一致性超像素，以及與所顯示超像素有關之進一步資訊；•捕獲(13)用戶輸入，選擇一個或多個所顯示超像素，或修飾與所選擇超像素有關的進一步資訊之至少一部份；•使用所選擇一個或多個超像素，以及與所選擇超像素有關之進一步資訊，為圖框序列產生(14)分段遮罩者。
TW104123963A 2014-07-31 2015-07-24 根據依時一致性超像素為圖框序列產生分段遮罩之方法和裝置，以及電腦可讀式儲存媒體 TW201610916A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP14306224 2014-07-31

Publications (1)

Publication Number Publication Date
TW201610916A true TW201610916A (zh) 2016-03-16

Family

ID=51301230

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104123963A TW201610916A (zh) 2014-07-31 2015-07-24 根據依時一致性超像素為圖框序列產生分段遮罩之方法和裝置，以及電腦可讀式儲存媒體

Country Status (2)

Country Link
TW (1) TW201610916A (zh)
WO (1) WO2016016033A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063723A (zh) * 2018-06-11 2018-12-21 清华大学 基于迭代挖掘物体共同特征的弱监督图像语义分割方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033944B (zh) * 2018-06-07 2021-09-24 西安电子科技大学 一种全天空极光图像分类与关键局部结构定位方法及系统
CN111199547B (zh) * 2018-11-20 2024-01-23 Tcl科技集团股份有限公司 图像分割的方法、装置和终端设备
CN109919159A (zh) * 2019-01-22 2019-06-21 西安电子科技大学 一种针对边缘图像的语义分割优化方法及装置
CN110096961B (zh) * 2019-04-04 2021-03-02 北京工业大学 一种超像素级别的室内场景语义标注方法
CN112801068B (zh) * 2021-04-14 2021-07-16 广东众聚人工智能科技有限公司 一种视频多目标跟踪与分割系统和方法
CN115439334A (zh) * 2021-06-02 2022-12-06 中国科学院分子植物科学卓越创新中心 整穗图像处理方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063723A (zh) * 2018-06-11 2018-12-21 清华大学 基于迭代挖掘物体共同特征的弱监督图像语义分割方法

Also Published As

Publication number Publication date
WO2016016033A1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
TW201610916A (zh) 根據依時一致性超像素為圖框序列產生分段遮罩之方法和裝置，以及電腦可讀式儲存媒體
KR102187974B1 (ko) 가상 시점 화상의 생성에 관한 정보 처리 장치, 방법 및 프로그램
US11184558B1 (en) System for automatic video reframing
WO2020107297A1 (zh) 视频剪辑控制方法、终端设备和系统
US11317028B2 (en) Capture and display device
US9584723B2 (en) Apparatus and method for creating panorama
US9639330B2 (en) Programming interface
CN103440033B (zh) 一种基于徒手和单目摄像头实现人机交互的方法和装置
KR20180018561A (ko) 이미지 영역을 선택 및 추적함으로써 비디오를 확대축소하기 위한 장치 및 방법
US20140210944A1 (en) Method and apparatus for converting 2d video to 3d video
WO2021254223A1 (zh) 视频处理方法、装置、设备和存储介质
US20190155465A1 (en) Augmented media
JP2003303333A (ja) 画像表示制御装置
JP5838791B2 (ja) プログラム、画像処理装置及び画像処理方法
JP2013149219A (ja) 映像処理装置及びその制御方法
JP4458886B2 (ja) 複合現実感画像の記録装置及び記録方法
US10438632B2 (en) Direct user manipulation of video to generate scrubbing videos
JP2013066058A (ja) 画像処理装置、画像処理方法及びプログラム
JP2013200867A (ja) アニメーション作成装置、カメラ
US11042274B2 (en) Extracting demonstrations from in-situ video content
JP6182930B2 (ja) 奥行き制作支援装置、奥行き制作方法、及びプログラム
KR101399234B1 (ko) 터치스크린을 갖는 모바일 디바이스에서 실행되는 동영상 편집 사용자 인터페이스 처리방법, 모바일 디바이스 및 기록매체
JP5994320B2 (ja) 奥行き制作支援装置、奥行き制作支援方法、及びプログラム
KR102016224B1 (ko) 플러그인 프로그램을 사용한 텍스쳐 경로 검색 방법
JP2020057038A (ja) 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム