TW201335855A

TW201335855A - 於一影像中之物件選擇技術

Info

Publication number: TW201335855A
Application number: TW102101126A
Authority: TW
Inventors: Dmitry Ragozin; Iliya Mironov
Original assignee: Intel Corp
Priority date: 2012-01-25
Filing date: 2013-01-11
Publication date: 2013-09-01
Also published as: WO2013112065A1; US20140036110A1; BR112014018274A8; CN104067308B; BR112014018274A2; TWI546743B; US9232154B2; CN104067308A

Abstract

揭露允許在一影像中選擇物件的方法、機器可讀媒體和計算裝置的說明性實施例。在一些實施例中，一方法可包括偵測在一機器可讀影像檔案中之物件的一或多個特徵，藉由對每一或多個偵測之特徵指定一虛擬點電荷來模擬一靜電荷分布，確定由模擬靜電荷分布產生的虛擬電位場，以及選擇機器可讀影像檔案中之該物件的以虛擬電位場中之一等位線為界的一部分。

Description

於一影像中之物件選擇技術

本發明係有關於一影像中之物件選擇的技術。

發明背景

辨識與選擇影像中的物件在運算攝影領域呈現挑戰性的問題。配置成基於關注的物體特徵於一影像中選擇一物件的系統和方法可顯著地改善編輯影像軟體的效力，以及它的使用者經體驗。舉例而言，選擇一包含關注之物件特徵的影像區--同時避免選擇包含無用偽影之一不必要的大區域--可容許物件以無縫方式複製且黏貼至另一影像中。尤其，配置成基於關注之物件特徵在一影像中選擇物件的系統及方法可以讓一行動計算裝置的使用者完成由行動計算裝置的攝影機擷取之影像的即時編輯。

現時的影像編輯系統典型地使用一「影像分割」方法在一影像中選擇一物件。圖表分割法通常試圖在一影像中藉由確定每一像素與其相鄰像素之的相似性(或相異性)且選擇以畫在最相異像素之間的一條線為界的影像區來從影像的背景分割出一關注的物件。當在影像(例如，一人臉)中選擇某些類型的物件時，此種圖形分割法往往選擇一包含無用影像偽影(例如，背景像素、幾何偽影，以及其他，等等)之不必要的大影像區。

依據本發明之一實施例，係特地提出一種一種計算裝置，包含：一攝影機；以及一影像共處理器，配置成(i)偵測由該攝影機擷取之影像中的一物件的一或多個特徵，(ii)藉由向每一該一或多個偵測到的特徵指定一虛擬點電荷來模擬一靜電荷分布，(iii)確定一由該模擬靜電荷分布產生的虛擬電位場，以及(iv)選擇在擷取影像中以虛擬電位場中之一等位線為界的物件的一部分。

100‧‧‧計算裝置

102‧‧‧處理器

104‧‧‧輸入/輸出次系統

106‧‧‧記憶體

108‧‧‧影像共處理器

110‧‧‧攝影機

112‧‧‧通信電路

114‧‧‧週邊裝置

116‧‧‧資料儲存裝置

200‧‧‧方法

202-214‧‧‧區塊

300‧‧‧影像

302‧‧‧人臉

304‧‧‧眼睛的中心

306‧‧‧嘴角

308‧‧‧鼻子

400‧‧‧虛擬點電荷

500A-H‧‧‧等位線

600‧‧‧α遮罩

在此被描述之發明藉由示例方式在附圖中繪示且不作為限制。為了簡單與清楚起見，在圖式中繪示之元件不一定按比例繪製。舉例而言，為了清楚起見某些元件的大小可能相對其他元件是誇大的。此外，在認為適當的情況下，參考標示在圖中重覆表示對應或類似的元件。

圖1是包括一攝影機和一配置為在一由攝影機擷取的影像中選擇一物件的影像共處理器之計算裝置的至少一實施例的簡化方塊圖；圖2是在一機器可讀影像檔案中選擇一物件的方法的至少一實施例之簡化流程圖；圖3繪示一包括包含多數特徵之一人臉的影像的至少一實施例；圖4繪示圖3之影像的至少一實施例，更進一步包含一包括被指定給多數個特徵的虛擬點電荷之模擬靜電荷分布；圖5繪示圖3之影像的至少一實施例，更進一步包由圖4之模擬的靜電荷分布產生的一虛擬電位場；以及圖6繪示圖3之人臉隨同一α遮罩的一選擇部分的至少一實施例，該人臉的選擇部分係以圖5之虛擬電位場的一等位線為界的人臉選擇部分。

較佳實施例之詳細說明

雖然本揭露的概念能有各種不同的修改和替代選擇方式，其特定的示範性實施例已用示例方式繪示在圖式中且將在本文中詳細描述。然而應瞭解的是在並無限制本揭露之概念的意圖，相反地，本發明意欲涵蓋所有的修改、同等物以及與本揭露和所附申請專利範圍一致的替代選擇。

在以下的描述中，許多特定細節諸如邏輯實施、運算碼、指定運算元的手段、資源分配/共享/重複實施，系統組件的型態和相互關係，以及邏輯劃分/積體選擇被闡述以便提供對本揭露的更徹底理解。然而，本領域之技術人員將瞭解本揭露的實施例可在毋需此種細節下實施。在其他的例子中，控制結構、閘級電路，及完全的軟體指令序列並沒有詳細說明俾不致於模糊發明。熟習此技藝者將在附帶的說明下毋需過度實驗即能夠實施適當的功能性。

在說明書中提及「一實施例」，「實施例」，「示範實施例」，以及其它，等等，表示所描述的實施例可包括一特定的特徵、結構或特性，但是每一實例可能不一定包含該特徵、結構或特性。此外，此種片語不一定指同一實施例。更進一步，當一特定的特徵、結構或特性就一實施例被描述時，是認為與其他無論是否明確描述的實施例結合來實現此種特徵、結構或特性是在本領域之技術人員知識範圍內的。

本發明的實施例可能在硬體、韌體、軟體或其任何組合中被實施。在一計算裝置中被實施的本發明實施例可包括一或多個在組件之間以匯流排為基礎的、或以鏈接為基礎的互連，及/或在組件之間的一或多個點對點互連。本發明的實施例也可能被實施成由一或多個機器可讀媒體承載或儲存的指令，該等指令可由一或多個處理器讀取及執行。一機器可讀媒體可被實施成任何裝置、機構，或用於儲存或以一可被機器(例如，一計算裝置)讀取之形式傳輸資訊的任何實體結構。舉例而言，一機器可讀媒體可實施成唯讀記憶體(ROM)；隨機存取記憶體(RAM)；磁碟儲存媒體；光學儲存媒體；快閃記憶體裝置；minor micro-SD卡、記憶條、電子信號和其他。

在圖中，可能為了易於描述而繪出諸如代表裝置、模組、指令區塊和資料元件的示意圖元件之特定安排或排序。然而，本領域的技術人員應瞭解圖式中的示意圖元件特定排序或安排並不意謂暗示要求一特定的處理、或程序之間隔的次序或順序。此外，在一圖式中包含一示意圖元件並不意謂暗示此一元件在所有實施例中是必要的、或由此一元件所代表的特徵可能不被包含在某些實施例中或與某些實施例中的其他元件結合。

一般而言，使用來代表指令區塊的示意圖元件可使用任何適當形式的機器可讀指令，諸如軟體或者韌體應用程式、程式、函式、模組、常式、過程、程序、外掛程式、小型應用程式、界面工具集、小裝置，程式碼片段，及/或其他方式來實施，且每一個如此的指令可使用任何適當的程式語言、程式館，應用程式設計介面(API)及/或其他的軟體開發工具來實施。舉例而言，某些實施例可使用Java程式語言，C++，及/或其他的程式語言實施。同樣地，用來代表資料或資訊的示意圖元件可使用任何適當的電子配置或結構，諸如一暫存器、資料儲存、表格、記錄、陣列、索引、散列、映射、樹、列表、圖形、檔案(任何檔案型態)、資料夾、目錄、資料庫及/或其他。

更進一步，在圖式中，在連接元件(例如，實線或虛線或箭頭)被用來繪示兩個或兩個以上示意圖元件之間的連結、關係，或關聯，缺少任何此種連接元件並不意謂暗示沒有連接、關係或關聯可能存在。換言之，元件之間的一些連結、關係或關聯可能不在圖式中繪示以免模糊揭露內容。除此之外，為了容易說明，一單一連接元件可被用來代表元件之間的多個連結、關係，或關聯。舉例而言，在一連接元件代表信號、資料或指令之間的通信之處，本領域之技術人員應瞭解此種元件依需要可代表一或多個信號路徑(例如，一匯流排)以實現通信。

本揭露一般而言是有關用以在一機器可讀影像檔案中基於關注的物件特徵選擇一物件的系統和方法。「影像」一詞在本揭露中指靜止影像與視頻(將可理解其包含一系列可用一相似方式處理的靜止影像)兩者，且預期是二維(2D)和三維(3D)的影像和視頻。本發明所揭露的系統與方式可使用在一計算裝置中，諸如以示例方式繪示在在圖1中的移動計算裝置100子。如同在下文中(參照圖2中所示的簡化流程圖)更詳細地說明，本發明所揭露的系統和方法包括偵測一機器可讀影像檔案中之一物件的一或多個特徵且藉由對每一或多個偵測特徵指定一虛擬點電荷來模擬一靜電荷分布。由模擬的靜電荷分布所產生的虛擬電位場接著可被確定(例如使用一帕松解算器)。在確定虛擬電位場之後，在機器可讀影像檔案中之物件的一部分可使用虛擬電位場中的一等位線被選擇。本發明揭露的系統和方法將進一步參照數個包含人臉的影像的說明性實施例來描述，如圖3-6所示。

現在參照圖1，可在一機器可讀影像檔案中選擇一物件的計算裝置100的一說明性實施例繪示成一簡化的方塊圖。計算裝置100可實施成任何能執行本文描述之功能的電子裝置。舉例而言，計算裝置100可能實施成個人電腦、工作站、膝上型電腦、掌上型電腦、行動上網裝置、蜂巢式行動電話、個人數位助理、電話裝置，一網路裝置、虛擬化裝置、儲存控制器或其他的以電腦為基礎的裝置。在圖1繪示的說明性實施例中，計算裝置100被實施為一包括處理器102、輸入/輸出次系統104、系統記憶體106、影像共處理器108、攝影機110，以及通信電路112的行動計算裝置(例如，行動上網裝置)。計算裝置100也可能選擇性地包括一或多個周邊裝置114和一或多個資料儲存裝置116。此外，應瞭解計算裝置100可能包括通常在一電腦及/或計算裝置中存在的其他組件、次組件及裝置，為了描述上清楚而未繪示在圖1中。

計算裝置100的處理器102可以是能夠執行軟體/韌體的處理器，諸如微處理機、數位信號處理器、微控制器或同類的任何類型的處理器。設想到的是處理器102可被實施成單核處理器或多核處理器。處理器102作用為計算裝置100的一主處理器(或中央處理單元)且通常負責執行一軟體堆層，其可包括一作業系統和駐存在計算裝置100上的各種不同應用程式、程式、程式館和驅動程式。

處理器102經由一些信號路徑通信耦合到輸入/輸出次系統104。這些信號路徑(以及圖1中繪的其他信號路徑)可被實施為能夠促成計算裝置100的元件間之通信的任何類型的信號路徑。舉例而言，信號路徑可被實施為任何數目的導線、纜線、光導、印刷電路板佈線、通路、匯流排、介入裝置，及/或同類者。計算裝置100的輸入/輸出次系統104可實施為促成關於處理器102及/或計算裝置100的其他組件之輸入/輸出操作的電路及/或組件。在一些實施例中，輸入/輸出次系統104可實施為記憶體控制器集線器(MCH或「北橋」)，一輸入/輸出控制器集線器(ICH或「南橋」)和一韌體裝置。在其他的實施例中，具有其他配置的輸入/輸出次系統可被使用。舉例而言，在一些實施例中，輸入/輸出次系統104可被實施成一平台控制器集線器(PCH)。在如此的實施例中，記憶體控制器集線器(MCH)可被結合在處理器102中或以其他方式與處理器102合併，且處理器102可直接與系統記憶體106通信(如在圖1中以點線繪示)。在另一些實施例中，輸入/輸出次系統104可形成系統單晶片(SoC)的一部分且可連同處理器102和計算裝置100的其他組件一同被結合在一積體電路單晶片上。

計算裝置100的系統記憶體106也經由一些信號路徑通信耦合到輸入/輸出次系統104。系統記憶體106可被實施成一或多個記憶體裝置或資料儲存位置，舉例而言包括動態隨機存取記憶體裝置(DRAM)、同步動態隨機存取記憶體裝置(SDRAM)、雙倍資料速率同步動態隨機存取記憶體裝置(DDR SDRAM)、快閃記憶體裝置、及/或其他的揮發性記憶裝置。另外，雖然只有單一個系統記憶裝置繪示在圖1中，在其他的實施例中，計算裝置100可能包含附加的系統記憶體裝置。在一些實施例中，系統記憶體106可被利用為一共享記憶體，可由計算裝置100的附加處理器，諸如影像共處理器108存取。

計算裝置100也包括一服務於主處理器102之卸載影像處理功能的影像共處理器108。影像共處理器108可以是能執行軟體/韌體的任何類型的處理器，諸如微處理機、數位信號處理器，微控制器，等等。影像共處理器108經由一些信號路徑被通信耦合到計算裝置100的一攝影機 110且接收由攝影機110擷取的機器可讀影像檔案(包括靜止影像及/或視頻)。如圖1所繪示，影像共處理器108也可經由一些信號路徑被通信耦合到輸入/輸出次系統104。在一些實施例中，影像共處理器108、主處理器102以及輸入/輸出次系統104可能全部是SoC的一部分且被結合在一積體電路單晶片上。

計算裝置100的通信電路112可被實施成可使得在計算裝置100和一或多個網路(未示於圖中)之間通信的任何數目裝置和電路，包括，但是不限於區域網路、廣域網路、公開使用的全球網路(例如，網際網路)及/或其他的網路。通信電路112可包括一或多個有線及/或無線網路介面以促成透過這些網路的有線及/或無線部分通信。通信電路112也經由一些信號路徑被通信耦合到輸入/輸出次系統104。

計算裝置100也可能選擇性地包括一或多個周邊裝置114和一或多個資料儲存裝置116。舉一說明性的實例，(多個)周邊裝置114可包括顯示器、觸控板、觸控式螢幕、鍵盤、麥克風及/或一或多個外部揚聲器。被包含在計算裝置100之中的(多個)特定周邊裝置114舉例而言可取決於計算裝置100的預定使用。(多個)資料儲存設備116可作為說明地實施成任何類型的裝置，其配置用於短期或長期的資料儲存，舉例而言，諸如記憶裝置和電路、記憶卡、固態硬碟、硬磁碟驅動機或其他的資料儲存裝置。當存在時，(多個)週邊裝置114和(多個)資料儲存裝置116是經由一些信號路徑各自被通信耦合到輸入/輸出次系統104，讓輸入/輸出次系統104接收(多個)週邊裝置114及/或資(多個)料儲存裝置116的輸入且將輸出發送至(多個)週邊裝置114及/或(多個)資料儲存裝置116。

現在參照圖2，用於在一機器可讀影像檔案中選擇一物件之方法200的一說明性實施例繪示成一簡化的流程圖。方法200可被用來從一影像中選擇任何所需型式的物件。舉例而言，方法200可使用來選擇一輛汽車、一棟房子、一隻動物或任何其他的存在於一影像的物件。方法200特別是非常適合選擇一影像中的人臉，且方法200的說明性實施例200將在下文中用選擇一人臉作為例子(參見圖3-6)。在說明性實施例中，方法200可藉由影像共處理器108執行以在由攝影機110擷取一影像中選擇一物件(及/或從系統記憶體106檢索之一機器可讀影像檔案中)。也考慮到的是，在其他的實施例中，方法200可由一多目的處理器執行，諸如，舉例而言，處理器102。方法200在圖2被繪示成一些區塊202-214。區塊206和214可以選擇性地應用在方法200的一些實施例中，且因而在圖2中以假想表示。

方法200由區塊202開始，影像共處理器108偵測一機器可讀影像檔案中之物件的一或多個特徵。由影像共處理器108在區塊202中偵測的一或多個特徵可以是與欲被選擇之特定物件有關的任何關注特徵。舉例而言，在欲由方法200選擇的物件是一人臉之處，影像共處理器108可偵測一或多個臉部特徵。包括一人臉302的影像300的一說明性實施例繪示在圖3中。在此一說明性的實施例中，人臉302包括數個可被影像共處理器108偵測的特徵：眼睛的中心304、嘴角306、鼻子308，以及其他。設想到人臉302另外的特徵(例如，眼角、唇，以及其它，等等)也可由影像共處理器108偵測及/或被使用在方法200中。

在區塊202期間，影像共處理器108可使用任何適當的方法偵測物件的一或多個特徵以辨識一機器可讀影像檔案中的物件。在一些實施例中，影像共處理器108可藉由對機器可讀影像檔案應用基於哈爾特徵的級聯分類器來偵測物件的一或多個特徵。舉例而言，影像共處理器108可應用眾所週知的維奧拉-瓊斯演算法(Viola-Jones algorithm)，或其一變式。在影像的大小與欲被選擇之物件相較時較大的情況下，影像共處理器108可重複使用多個分類器執行區塊202。首先，影像共處理器108可在整個影像上使用一適當的分類器偵測物件。其次，影像共處理器108可只在偵測關注之一或多個特徵的物件區域上使用一或多個適當的分類器。舉例而言，維奧拉-瓊斯演算法可被應用至一相對較大的影像偵測人臉302，產生圖3所示的較小影像300。更進一步的分類器接著可被應用至影像300偵測眼睛的中心304，嘴角306和鼻子308。

在區塊202之後，方法200進行到區塊204，影像共處理器108藉由對在區塊202中被偵測的物件的每一或多個特徵指定一虛擬點電荷400模擬一靜電荷分布。在一些實施例中，影像共處理器108可將虛擬點電荷400應用至多數個物件特徵，但不需要將一虛擬點電荷400應用到每一可偵測的特徵。如圖4所示，舉例而言，影像共處理器108可應用虛擬點電荷400到區塊202中被偵測的眼睛中心304及嘴角306(但未應用至鼻子308或其他的特徵)。因此在模擬的靜電荷分布中虛擬點電荷400之間距由影像300中的有關特徵304，306之相對位置決定。雖然圖4中所示之所有的虛擬點電荷400是繪示成具有一正電荷，但也設想到模擬的靜電荷分布可以另外或選擇替代地包含帶有負電荷的虛擬點電荷400。

在方法200的一些實施例中，區塊204可能選擇性地包括區塊206，影像共處理器108在此響應於每一虛擬點電荷400附近的像素顏色加權被指定給每一或多個偵測之特徵的虛擬點電荷400。換言之，影像共處理器108可能指定一些虛擬點電荷400比其他虛擬點電荷400的電荷值更大或更小(例如+1庫侖、+2庫侖、+3庫侖，以及其它，等等)。具有較大電荷值的虛擬點電荷400相較於具有較小電荷值的虛擬點電荷對產生的電位場將有較大的影響。在不包含區塊206的方法200的實施例中，每一虛擬點電荷400可能有相同的電荷值(例如，+1庫侖)。

在區塊204(以及選擇性地，區塊206)之後，方法200進行至區塊208，影像共處理器108在此區塊中確定一由模擬靜電荷分布所產生的虛擬電位場。影像共處理器108可使用任何適當方法來計算由一特定之靜電荷分布(亦即，在區塊204中指定之虛擬點電荷400的排列)所建立的電位場。在區塊208的一些實施例中，影像共處理器108可計算在影像300範圍內之每一像素的虛擬電位或電壓。如圖5所示，虛擬電位場可用一些等位線500A-H代表。每一等位線500A-H代表影像300中具有一特定電位(亦即，一彼此相等的電壓)的所有像素。將可理解的是影像300的虛擬電位場可包含比圖5中所示更多或更少的等位線。

在說明性的實施例中，影像共處理器108可在區塊208中藉由應用一帕松解算器計算虛擬電位場來確定由模擬之靜電荷分布所產生的虛擬電位場。本領域之技術人員將可瞭解，由一特定靜電荷分布(ρ)產生的電位場(φ)將滿足帕松方程式：

其中ε是媒體的電容率且▽²是拉普拉斯運算子。已經被發展出許多帕松解算器用來數值求解此一橢圓形偏微分方程式，該解算器的任何一種可在區塊208中被影像共處理器108使。舉例而言，影像共處理器108可應用一使用快速傅立葉轉換(FFT)計算離散帕松方程式之解的帕松解算器。在其他的實施例中，影像共處理器108可應用一疊代帕松解算器(例如，使用一逐次超鬆弛法(SOR)運算法)。

在區塊208之後，方法200進行至區塊210，影像共處理器108在此確定區塊208中所確定的虛擬電位場是否達到一需要的解之品質。在上述的說明性實施例中，應用在區塊208中的帕松解算器能夠計算由不同粒度層次(以增加計算時間為代價得到增加的解之品質)的模擬靜電荷分布所產生的虛擬電位場。舉例而言，在應用一疊代帕松解算器的實施例中，解之品質可隨每一逐次疊代而增加。因此，在區塊210中，影像共處理器108檢查在區塊208中被計算的虛擬電位場以確定是否可在影像300中發現適當的等位線。如果影像共處理器108確定虛擬電位場需要要的解之品質還沒有被達成，方法200返回區塊208，如圖2所示。

若反之影像共處理器108在區塊210中確定虛擬電位場需要的解之品質已經被達成，則方法200進行至區塊212，影像共處理器108選擇機器可讀影像檔案中之物件以虛擬電位場中之等位線500A-H中的一等位線為界的一部分。在一些實施例中，影像共處理器108可自動地選擇等位線500A-H中的一者作為物件之選擇部分的邊界。舉例而言，影像共處理器108可自動地選擇具有最小的內部面積同時包含所有虛擬點電荷400的等位線500D。作為另一實例，影像共處理器108可自動地選擇具有最大內部面積同時不包含任何背景像素的等位線500F。在其他的實施例中，影像共處理器108可讓一使用者選擇哪一條等位線500A-H將用作物件之選擇部分的邊界。在圖6的說明性實施例中，等位線500E已經被選擇為人臉302之選擇部分的邊界。

在區塊212之後，方法200可選擇性地進行至區塊214，影像共處理器108在此應用一α遮罩600到物件的選擇部分。影像共處理器108可應用α遮罩600以允許物件的選擇部分無縫地複製且黏貼到另一機器可讀影像檔案(或到同一機器可讀影像檔案的另一位置)。α遮罩600可用於使圍繞物件之選擇部分的區域變成透明的。在圖6的說明性實施例中，α遮罩600(以暗色區域代表)圍繞人臉302的選擇部分(亦即，α遮罩600佔據等位線500E之外的區域)。因此，使用方法200，影像共處理器108可容許行動計算裝置100的一使用者對攝影機110擷取的影像執行即時編輯.

雖然本揭露已經在圖式和前面的描述中繪示及詳細地說明，可理解僅有說明性的實施例已被繪示與說明且所有與揭露內容和列出的申請專利範圍一致的變化與修改皆欲被保護。