TWI239209B - A specific image extraction method, storage medium and image pickup device using the same - Google Patents

A specific image extraction method, storage medium and image pickup device using the same Download PDF

Info

Publication number
TWI239209B
TWI239209B TW093109716A TW93109716A TWI239209B TW I239209 B TWI239209 B TW I239209B TW 093109716 A TW093109716 A TW 093109716A TW 93109716 A TW93109716 A TW 93109716A TW I239209 B TWI239209 B TW I239209B
Authority
TW
Taiwan
Prior art keywords
image
edge
contour
subject
mentioned
Prior art date
Application number
TW093109716A
Other languages
English (en)
Other versions
TW200534705A (en
Inventor
Jing-Shun Lin
Chao-Lien Tsai
Original Assignee
Benq Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Benq Corp filed Critical Benq Corp
Priority to TW093109716A priority Critical patent/TWI239209B/zh
Priority to US11/077,844 priority patent/US20050225648A1/en
Application granted granted Critical
Publication of TWI239209B publication Critical patent/TWI239209B/zh
Publication of TW200534705A publication Critical patent/TW200534705A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469Contour-based spatial representations, e.g. vector-coding
    • G06V10/473Contour-based spatial representations, e.g. vector-coding using gradient analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

1239209 玖、發明說明: 【發明所屬之技術領域】 本發明係有關於影像處理方法,且特別有關於特定影像擷取 方法及可以執行該方法之影像擷取裝置。 【先前技術】 數位相機(digital still camera)為目前市面上越來越普遍之熱 門電子產品。數位相機通常會配備顯示器以展示拍攝結果。數位 相機除了提供攝影之用途外,也可以利用顯示器提供如遊戲的其 它各種娛樂功能。 數位相機的攝影功能如果結合娛樂功能則能提供更多元之娛 樂效果,並能提升數位相機之附加價值。而目前只有部分位相機 結合攝影與娛樂功能,而且相關功能不夠完備。因此,目前之相 關產品即使結合攝影與娛樂功能,其所提供之新穎功能或產生的 效果有限。 舉例來說,照相的主要對象實體稱為主體,例如人物、動物、 植物、或靜物。主體所在的環境稱為背景。不同的攝影主體具有 不同的形狀與輪廓。由於數位相機以固定之形狀(例如通常為矩形) 擷取影像,所以數位相機所擷取之影像會包含主體與背景。 如果以遊戲為例,將包含主體與背景之圖片應用在遊戲上較 缺乏彈性。舉例來說,在赛車遊戲的例子中,如果遊戲之玩家以 數位相機拍攝一輛跑車,並想要以所拍攝之跑車取代遊戲中的赛 車,則所拍攝之跑車連同該跑車所在之背景都會匯入赛車遊戲而 取代遊戲中的赛車。然而典型赛車遊戲中都有動態背景。如果所 拍攝之跑車圖片是矩形圖片,此包含上述實體跑車背景之圖片的 矩形範圍將遮蓋赛車遊戲中的動態背景。因此匯入之跑車圖片會 1239209 影響遊戲畫面使它看起來不自然。赛車遊戲通常以模擬實際赛車 畫面為晝面設計的主要訴求。而匯入矩形之擷取影像將會得到相 反效果。 另外,如果使用者想要將拍攝之主體影像圖片取代數位相機 之圖形化使用者介面的某一元件的圖示(icon)也不方便。例如使用 者拍攝自己的手,並以拍攝之手的圖片取代游標之箭頭圖示。連 同手及手的背景之矩形圖示成為游標圖示。而矩形游標圖示不但 非常不美觀,而且也不利於使用。 因此,需要一種特定影像擷取方法,適用於數位相機或具有 影像擷取功能之裝置,用以解決將應用拍攝圖片時缺乏彈性與實 用性的問題。 【發明内容】 有鑑於此,本發明之目的在提供一種特定影像擷取方法,適 用於數位相機或具有影像擷取功能之裝置,用以解決將拍攝圖片 應用時缺乏彈性與實用性的問題。 基於上述目的,本發明提供一種特定影像擷取方法,執行於 一影像擷取裝置。首先,取得一第一影像及一第二影像,其中只 有上述第一影像包含關於一主體之一主體影像。接著,將上述第 一影像及第二影像作相減處理成為第三影像。將上述第三影像作 邊緣強化處理成為第四影像。從上述第四影像擷取一輪廓。調整 上述輪廓。根據上述調整輪廓取得上述主體影像。經由一應用單 元顯示上述主體影像,上述應用單元執行於上述影像擷取裝置。 另外,本發明提供一種特定影像擷取方法,執行於一影像擷 取裝置,上述影像擷取裝置具有一觸控面板及一應用單元。擷取 一第一影像,上述第一影像包^ —主體影像。經由上述觸控面板 1239209 取得一輪靡。_上述輪廓取得上述主體㈣。經 元顯示上述主體影像。 用早 其中’本發明之特定影像擷取方法可以利用—程 錄於例如記憶體或記憶裝置之儲存媒體上,纽程式载人至見一= 像擷取裝置中,則可執行如上所述之方法。 〜 另外,本發明提供-種影像操取裝置,包括 處理單元及顯示單元。上述 ί操取早70' 早几,用以取得第—影像及 像。:述户理一2述第一影像包含關於拍攝主體之主體影 /早7C’純於上述影㈣取單元,用 、,水強化處理成為第四影像,從上 述輪廓,根據上述調整幹廓^ μ〜像娜—輪廊,調整上 元,_上述影=:體影像;以及上述顯示單 程式顯示上述主體影像,上述"上4處理早70 ’用以經由一應用 另外,本㈣糾-裝置。 觸控面板 '處理單元、及 夏已括衫像擷取早兀、 取第一影像,上述第人70。上述影像掏取單元,用以擷 提供使用者選取上述主:影;影:述=控面板’用以 觸控面板取得上述輪廊, <處理早兀,經由上述 顯示單元,耦接於上述影像掏取單元"二述主體影像。上述 用以根據-應用程式顯示上述觸控面板、及處理單元, 述影像擷取裝置。 〜冢’上述應用程式執行於上 【實施方式】 本發明之目的在蔣也 機或具有影像類取定影像操取方法,適用於數㈣ 之裝置,能夠從現存的影像或剛拍攝下* 1239209 -V :r _ ^ Μ· 6. 影像中分離出所需要之主體影像,自由地運用於其他應用上,藉 此解決應用拍攝圖片時缺乏彈性與實用性的問題。 本發明之特定影像擷取方法也可以運用在各種影像擷取裝 置,例如具有照相機之行動通訊裝置、攝影機(video camera)或其 它電子式影像掘取裝置(electronic image pickup device)。在較佳情 況中,本發明之特定影像擷取方法執行於行動裝置中,例如具有 照相機之行動通訊裝置、或可攜式數位相機。本發明較佳實施例 以數位相機為例,然而並非用以限定本發明。 第1圖顯示本發明較佳實施例之數位相機結構方塊圖。數位 相機10包含處理器1、影像擷取單元2、閃光單元3、記憶體4 及顯示器5。處理器1耦接於影像擷取單元2、閃光單元3、記憶 體4及顯示器5。影像擷取單元2用以擷取影像。閃光單元3用以 發出閃光以協助攝影。記憶體4可以用以儲存各種應用程式程式 碼及影像數據資料。顯示器5用以顯示儲存於記憶體4之影像圖 片,以及應用程式或數位相機作業系統之圖形化使用者操作介面。 本發明較佳實施例中,數位相機10可以透過以下兩種特定影 像擷取方法,亦即以人工方式或自動擷取方式,從一影像中分離 出主體影像。以下分別依據人工方式擷取主體影像以及自動擷取 主體影像兩種型態,詳細說明本發明實施例。 第一實施例:以人工方式選取主體影像 在本實施例中,提供以人工方式擷取主體影像的數位相機必 須具有觸控裝置,例如觸控顯示器,或觸控面板。在此實施例中, 係以第1圖所示之顯示器5為包含觸控面板的顯示器為例進行說 明,但是並非用以限定本發明。 請參照第2圖,第2圖顯示本發明較佳實施例之特定影像擷 0535-A20129TWF1(N1);A03401;JOSEPH 8 1239209 請同時參照第2、4及5圖說明本實施例。本實施例基本操作 流程與第一實施例大致相同,如第2圖所示,但是兩者在拍攝影 像步驟S1、擷取主體影像S2上則有差異。其中,第4圖顯示本 實施例之自動擷取程序中拍攝影像步驟S1之詳細流程圖,第5圖 顯示本實施例之自動擷取程序中擷取主體影像S2之詳細流程圖。 在拍攝影像步驟S1中,如第4圖所示,數位相機10中的處 理器1經由影像擷取單元2擷取關於一相同背景之至少兩張影 像。在本實施例中,數位相機10被設置於一固定位置,例如被固 定於腳架上或一張桌子上。當拍攝主體進入數位相機10的拍攝範 圍並依使用者想要的位置、角度、及姿勢調整完畢時,數位相機 10中的處理器1經由閃光單元3發出閃光,並且透過影像擷取單 元2拍攝第一影像(步驟S10),此第一影像包含欲拍攝之主體影像 以及背景影像。接著數位相機10等待數秒的時間間隔,例如10 秒。此等待時間中讓上述主體離開數位相機10的拍攝範圍(步驟 S11)。在數位相機10未移動的條件下,接著,處理器1經由閃光 單元3發出閃光,並對同一背景拍攝第二影像(步驟S12),此第二 影像無上述欲拍攝的主體影像。 在本實施例中,數位相機10固定在同一位置拍攝同一背景、 包含主體影像的第一影像及不包含主體影像的第二影像,其目的 是為了使相同背景之影像可以利用簡單的處理,例如相減處理, 便可以去除。同時這樣安排的目的在於即使在複雜之靜態背景 中,也可以讓本發明較佳實施例之主體影像擷取方法能夠運作。 然而第4圖所示之方法並非用以限定本發明。例如,數位相機10 也可能不在相同位置拍攝第一影像及第二影像,例如在背景單純 的背景環境,像是乾淨的牆面、布幕等,即使位置不同仍然可以 利用簡單處理來取得主體影像。另外,拍攝順序也可以改變,例 1239209 如可以先取得不含主體影像之与 第一影像。在本實施例中,〜$,再取得包含主體影像之 雜訊,並且讓背景顏色均勻。然了t出閃光之目的是為了要抑制 以下配合第5圖,.“二不用閃光直接拍攝。 之詳細流程。 Λ化例之操取主體影像步驟S2 首先,處理器丨會先將拍 像與第二影像,作相減處理 體“象步驟以所得到的第-影 理過程中,處理器1係對第一 相減影像(步驟S21)。相減處 綠三原色)資料減去第二ϋ象每—像素的三原色(亦即紅、藍、 減結果的絕對值小於-臨界象H置像素的三原色資料。如果相 置像素之三原色值為零;如果相理器1設定相減影像相同位 臨界值,職理H !設定相果的絕對值大於或等於上述 ,^ & 相减衫像相同位置像素之三原色值為上 述相,果=對值。上述臨界值係決定於背景雜訊的強弱用 以過;你掉在月尽同位置’受到雜訊影響而在相減過程中未完全 消去、可能誤判為主體影像的情況。 以實際範例來說明上述相減處理。假設三原色臨界值都設為 30,當第-影像之某個像素之三原色值(r、g、b)為(13〇、6〇、9〇), 並且第一影像相同像素位置之三原色值為⑴〇、5〇、8〇),兩者相 減後的二原色絕對值則為(20、1〇、1〇)。由於其相減絕對值均低於 臨界值,因此在本實施例中會將相減影像之相同像素位置之三原 色值設定為(0、〇、〇),代表背景部分。另外,如果第—影像^個 像素之三原色值為(130、60、90),而第二影像相同像素位置之三 原色值為(10、15、20),由於兩者相減絕對值(12〇、45、川)均大 於臨界值,因此會以兩者相減的結果作為相減影像對應像素之二 原色值。 在相減處理之前,如果第一影像及第二影像的拍攝位置有差 1239209 異,處理器1也可以先將第一影像及第二影像平 同實物之影像位置重疊後再H 疋轉,讓相 透過相減處理所取得的相減影像,則需要進一井_、秀、 處理步驟取出適當之主體影像。在本實施例中,後=影像 ==像進行邊緣強化(步驟S22)、收集邊緣取樣點(步驟=對 、集到的邊緣取樣點連成封閉曲線(步驟S24)、取得概)、 驟S25)、調整輪廊(步驟S26)後,最後再根據輪 :邪(步 (步驟吻。以下配合適當圖式,詳細說明本實施例之出各=影像 邊緣強化處理(步驟S22) ^
在本實施例中,分別以拉普拉斯(Laplacian)及索貝 演算子分別對相減影像進行邊緣強化,並得到邊緣強化影像0。叫 於拉曰杈斯運算子可以針對中^像素點進行強化,索貝爾演算= 則可以針對垂直或水平的邊緣進行強化,因此本實施财係將兩 者一併應用於相減影像上,以獲致較佳的邊緣強化效果。… 拉普拉斯運算為一二階導數,可以透過多種數位型式來實 現,在本實施例中,拉普拉斯運算子則是以應用於3x3區域之空 間遮罩 0 -1 一 1 4 0 一 1 0 -1來實現,藉此對於相減影像中的每一個像素點的
冗度值進行邊緣強化,取得第一強化邊緣影像。然而,上述空間 遮罩並非用以限定本發明。基本上,只要拉普拉斯運算子之空間 遮罩中,與中心像素對應的遮幕係數為正(如本實施例之係數 ”4”),與外圍像素對應之遮幕係數為負或零(如本實施例之係數 ”_1"、”〇"),都可以達到強化邊緣像素點的效果。 舉例來說,假没處理器1對相減影像上一像素點ρ(χ,y)作拉 12 1239209 普拉斯運算,則像素點P(x,y)及其周圍的八個像素點的亮度值會與 上述空間遮罩進行矩陣乘法運算。第6圖表示此範例中之像素點 配置圖,各亮度值Zi(i=l〜9)係決定如下:
Zi= 0.2990 xRi +0.5870 X Gi + 0.1140 X Bi (1) 其中,Ri為像素點之紅色值,Gi為像素點之綠色值,Bi為像 素點之藍色值。 根據亮度值,像素點P(x,y)在經過拉普拉斯運算後可以得到: fLAP(P)=4z5-(z2+z4+z6+z8) (2) 其中z5表示像素點P(x,y)的亮度值,z2、z4、z6、z8分別為像 素點(x,y-l)、(x-l,y)、(x+l,y)、(x,y+l)的亮度值。處理器1對相減 影像上每一像素作拉普拉斯運算。當相減影像中的每一像素點都 經過上述拉普拉斯運算得到上述亮度轉換值後,便取得第一強化 邊緣影像。 另一方面,影像梯度向量表示影像變化的方向和強度,其中 強度大小一般是近似為絕對值的和,亦即: ^P(x,y)-\Gx\ + \Gy\ (3) _-1 - 2 -Γ 在本實施例中,係以索貝爾演算子之3x3空間遮罩0 0 0 1 2 1 "-1 0 Γ 及-2 0 2來實現,對上述相減影像進行邊緣強化,以取得第二 -1 0 1_ 強化邊緣影像。 假設處理器1對相減影像上像素點P(x,y)作索貝爾運算,則 像素點P(x,y)在經過索貝爾運算子轉換後可以得到: 13 1239209 fs〇bel(P) =|^χ| + |^| = \(z7 +2z8 +z9)-(Zi +2z2 +z3)| + |(Z3 -f 2z6 +z9)^(Zi +2z4 M 其:r2、Z3、Z4、Z6、Z7、Z8、Z9W,6”: (x-i5y-i)^(x,y-i)>(x+i,y-i).(x.l5yh(x+l5yh(x_ ㈣,陳亮度值。處理器i對相減影 :目州)、 算。在每-像素都經過索貝爾運算後,便可以“2=爾運 緣影像。根據索貝爾演算子的型態可知 一強化邊 強化與X軸垂直以及與w垂直的邊緣。㈣和叫可以用來特別 接著,處理n 1則合併第i化邊緣影像及第 像,在本實施财則是將兩者分別乘H加權值及 權值後再相加,藉轉得-邊緣強化影像。上述第_加權值^ 二加權值係錄普拉斯運算子和索朗運算子的重要性而調整。 雖然在本實施财,以上述方式強化相減影像邊緣,但 料以限定本發明。邊緣強化方式可以採用拉普拉斯或索貝爾二 演算法中之一者,或此二種演算法之外的其它演算法。 收集邊緣取樣點(步驟S23) 在上述邊緣強化處理中,除了會對主體影像的邊緣進行強 化,同時也會對主體影像的内部特徵點一併強化Η列如人臉中的 眼、口等五官部分。因此在此步驟中,即是要取出邊緣強化影像 中’實際為主體影像邊緣的取樣點。首先,處理器i先決定該邊 緣強化影像的中心位置,此中心位置座標的取得主要是根據所拍 攝影像之解析度而來的。例如,若影像之解析度為2〇48 χ 1536, 其中〜位置座標則定為(1〇24, 768)。接著,從距離邊緣強化影像中 心位置杈遠之外圍,以即定方向往中心位置收集,藉此決定靠近 主體影像輪廓部分之邊緣取樣點。 1239209 第7圖表示用以說明收集主體影像邊緣取樣點的示意圖。其 中,邊緣強化影像100所包含的主體影像是由圓形部分101和三 角形部分102所構成,另外,邊緣強化影像100中每個像素點則 ’ 是以亮度值來代表,如前所述,在上述相減處理中已將非主體影 像部分的亮度值設為零。 : 處理器1對於邊緣強化影像100,在X座標最小值到X座標最 大值的每一行像素陣列中,係分別由上到下(符號110)以及由下向 上(符號120)對中心位置方向進行收集。當取得第一個亮度值大於 一門檻值之像素點(即輪廓上緣或下緣),即將此像素點做為邊緣取 樣點。同樣地,在y座標最小值到y座標最大值的每一列像素陣® 列中,分別由左到右(符號130)以及由右到左(符號140)對中心位 置方向進行收集。當取得第一個亮度值大於門檻值的像點(即輪廓 左緣或右緣),即將此像素點做為邊緣取樣點。門檻值是根據影像 之特性,由經驗法則所得到的。在本實施例中,上述門檻值係依 據經驗法則所決定,基本上是用以區分主體影像以及已設為零之 背景區域,以亮度值為0〜256之範圍為例,此門檻值可以設為70。 以第7圖之範例來說,最後收集到的複數個邊緣取樣點包含圓形 部分101和三角形部分102之外圍,但是不包括兩者重疊部分以 $ 及圓形部分101内部之其他特徵部位。 本實施例中雖然以上述方式收集取樣點,其目的在收集靠近 主體影像輪廓之邊緣取樣點,並排除主體輪廓以内被強化之邊 緣。然而上述收集取樣點方法並非用以限定本發明,利用其它方 式同樣可以達到上述目的。 連成封閉曲線(步驟S24) 在前一步驟所取得的複數個邊緣取樣點,則必須予以連成封 15 1239209 Ϊ曲:本1將所收集之邊緣取樣點作雲線(spHne)處 在本貝中,以内插法(interpolation)將所收 點連成封_連續曲線。在本發明較佳實施,對:邊 緣取樣…一曲線,是由上述兩 兩個邊緣取樣,Pl-3、P,之座標所決定的曲線 =:分離的邊緣取樣-I為、W 其曲線函數Qi[t]可以表示為: (5)
Qi[t]=TMGi 其中
(6) ⑺ T=[t3 t2t! l]5 3 ~3 1 M=I 2-5 4-1 2 "Ί 〇 1 0 _° 2 〇 〇
Gi=[Pi-3 Pi.2 PM Pi]T (8) 其中t表示一參數值,範圍在oq,當t=〇時Qi⑴為,當 t=i 時 Qi[t]為 ρΜ。 根據公式(6)、(7)、(8),曲線函數QJt]可以簡化為一個三次多 項式:
Qi[t]=i[(-^3 ^2t2 ^()ρ..3+{3ί3-5t2+4t2 +(/3 ^t2]p] (9) 在實際應用時,本實施例中係將At設為0.01,亦即處理器i 從t=0開始(即Pi·2開始),每次將t增加0·01以代入此三次多項式 (9) ’ 一直到t=l,以獲得曲線PwPw上之所有座標點。 以實際範例來說明上述處理。假設四個邊緣取樣點的座標分 16 1239209 別為(100, 100),(500, 1000),(900, 300),(1200, 1200),假設 t 等 於0.5 ,帶入上述方程式(9),得到如下之座標。 x= 1/2 ((-0·5χ〇·5χ〇·5 + 2χ〇·5χ〇·5 · 0·5)χ100 + (3χ〇·5χ〇·5χ〇·5 -5χ〇,5χ〇.5 + 2)χ500 + (-3χ〇·5χ〇·5χ〇·5 + 4χ〇·5χ〇·5 + 0·5)χ900 + (〇.5χ〇.5x0.5 - 0.5χ0.5)χ1200) =1/2 (-0.125x100 + 1.125x500 + 1.125x900 -0.125x1200) =706 y=l/2 ((-〇·5χ〇·5χ〇·5 + 2χ〇·5χ〇·5 - 〇·5)χ1〇〇 + (3χ〇·5χ〇·5χ〇·5 -5χ〇,5χ〇·5 + 2)χ1000 + (-3χ〇·5χ〇·5χ〇·5 + 4χ〇·5χ〇·5 + 0·5)χ300 + (0.5χ〇.5χ〇.5 - 0.5χ〇.5)χ1200) 一 1/2 (-0.125x100 + 1.125x1000 + 1 125x300 -0.125x1200) =650 知到一組座標點(706,650),此座標即為邊緣取樣點(5〇〇, 1000),(900, 300)之間曲線上的一點。 因此,利用相同方式處理各相鄰邊緣取樣點,即可獲得一完 整的曲線函數,並且將其設為主體影像的概略輪廓(步驟奶)。 調整輪廓(步驟S26) 取得概略㈣之後,最後處理器丨會利用能量函數㈣w m λ理111龍略糾^每-隸㈣行再取樣 (resample)。本發明較佳實施例中 -搜尋範圍,包括以該座標點為中心點之座‘點疋義 形上邊及下邊中點沿法向量(即垂直方向)上下:^ 圖顯示本實施例中該搜尋範圍 圖: a表不位於概略輪㈣2上之-點,相料娜Q、2=箱 17 1239209 圍即如第9圖所示之15個座標點。假設座標點Q2為上述範例中 : 所得到之(7〇6, 650),則其他14個座標點則分別為(706, 646)、(706, 647)、(706, 648)、(706, 649)、(706, 651)、(706, 652)、(706, 653)、 ’ (706, 654)、(705, 649)、(705, 650)、(705, 651)、(707, 649)、(707, 650)、(707, 651)。接著,處理器1根據一能量函數,分別計算上 : 述搜尋範圍内15個座標點的能量值,如果其中具有最小能量值 者並非中心點Q2時,則將原本概略輪廓上之座標點改成此具有 最小能量值的座標點,藉此來調整輪廓。 在本實施例中,上述能量函數係採用四種不同的能量函數合 併產生’分別是拉普拉斯運算、索貝爾運算、曲率(curveture)以及鲁 連續性函數(continuity),並給予不同加權值。因此能量函數係表 示為: FEnergry (P) = XfulP) + X f Sotel (P) + X f Cur (^) + X fc〇n (P) (10) 其中P為在上述搜哥範圍内之一^座標點,W!、W2、W3、w4為 不同之加權值,fLAP(P)為對座標點P的拉普拉斯運算,fSQbel(p)為 對座標點P的索貝爾運算,fCur(P)為座標點P點與相鄰的邊緣取樣 點所決定之曲率函數,fc〇n(p)為座標點p與相鄰的邊緣取樣點所決 鲁 定之連續性函數。 對於座標點P的拉普拉斯運算fLAP(P)以及索貝爾運算 fsobel(P) ’此處與前述處理方式相同,亦即利用公式(2)和公式(4) 來計算,因此不再贅述。 曲率函數用以表示在座標點處之曲率大小,只要曲率函數愈 小,代表所處理之邊緣愈平滑。在本實施例中,是由待處理之座 標點與其相鄰的兩個邊緣取樣點所決定,座標點p(x,y)之曲率函數 18 (11) 1239209 fcur(P)可以表示為:
fcur(P) = λ/(χ3 ~χ)2 +(^3 ~y)2 (χ-χ,,γ-γ,) λ](χ-χχ)2 +(y-yx)2 其中座標點P(x,y)相鄰的兩個邊緣取樣點之座標分別為(xi,yi) 以及(x3,y3)。 連續性函數則是根據待處理座標點與其前一個邊緣取樣點所 決定之連續性特性,在本實施例中,座標點P(x,y)之連續性函數 fcon(P)可以表不為· fc〇n(P )= (χ-^\)2 +(y-y\)2 (12) 其中座標點P(x,y)之前一個邊緣取樣點之座標為(xi,yi)。 以上述範例來說明,對於以座標點Q2(706, 650)為中心點之搜 尋範圍内15個座標,可以根據公式(2)、(4)計算拉普拉斯運算fLAP(P) 以及索貝爾運算fsobel(P);並且將其相鄰之邊緣取樣點(500, 1000), (900, 300)代入前述公式(11)、(12),計算曲率函數fCur(P)和連續 性函數fC()n(P)。依據公式(10),計算出各座標點之能量值。最後依 據各能量值間的比較,即可以決定是否調整原來概略輪廓上之座 標點Q2為搜尋範圍内之其他座標點。 ® 處理器1以上述方式對於概略輪廓上的每一個座標點進行再 取樣處理。直到概略輪廓上每一座標點都已完成處理,處理器1 即可獲得調整後之輪廓線。另外,本實施例中雖然以四種不同函 數合併作為能量函數,但是並非用以限定本發明。 最後,根據所取得之調整輪廓線,擷取上述第一影像中的主 體影像(步驟S27)。也就是說,處理器1根據上述調整後的輪廓線 作為範圍,只取第一影像在範圍以内之影像(像素)作為主體影像。 19 1239209 第一影像中在範圍以外之影像(像素)被當作背景去除。 藉此,即完成擷取主體影像的處理。 接著處理器1儲存主體影像於記憶體4(步驟S3)。 接著,經由應用單元顯示上述擷取之主體影像(步驟S4)。舉 例來說,記憶體4儲存一個應用程式,例如遊戲程式。當處理器1 執行上述應用程式時,處理器1並經由上述應用程式顯示上述主 體影像於顯示器5。 當處理器1擷取、儲存並輸入不同的主體影像至上述遊戲程 式時,上述遊戲程式即可以顯示不同之主體影像。 由於主體影像已去除原背景,所以可以很方便地應用在遊戲 中的動態元件,作為動態元件的圖示。上述動態元件亦即會在晝 面中與遊戲背景作相對移動、轉動或會改變顯示方式的元件,例 如淡入淡出。去除背景的主體影像也可以很方便地應用於其它應 用程式或介面。舉例來說,主體影像可以應用於取代游標或任何 按鈕等任何圖形化使用者介面的圖示。如果就單一實體擷取不同 影像,也可以作成去除背景之連續動畫。 範例: 以下範例用以說明第二實施例中擷取主體影像步驟。在此範 例中,係以一蘋果當作主體影像進行說明。 第10圖表示數位相機10利用閃光燈拍攝的第一影像,其中 包含拍攝主體及背景的影像。拍攝主體之主體影像11在第一影像 中為一個被咬過的蘋果。其中一個背景實物桌子在第一影像中對 應的影像為桌子影像151。上述被咬過的蘋果被移開後,數位相機 10利用閃光燈再對同一背景拍攝一張第二影像,如第11圖所示。 第二影像包含上述桌子對應的桌子影像152。如果數位相機10在 拍攝第一影像及第二影像時沒有被移動或調整的情況下,不需要 20 1239209 調整第一影像及第二影像之相對位置就可以直接對這二張影像作 . 相減處理並產生相減影像,如第12圖所示。 第12圖表示一相減影像,桌子影像151及桌子影像152幾乎 ^ 在相減處理中被移除,除了一些小部分的雜點153-155。主體影像 11和背景顏色相近的部分在相減處理中被清除造成如區域111之 · 空洞。接下來對相減影像作邊緣強化而得到邊緣強化影像,如第 13圖所示。 第13圖顯示一邊緣強化影像,包含邊緣121-127。接著,收 集靠近主體影像11輪廓之邊緣取樣點。主體輪廓以内被強化之邊 緣,例如邊緣122、123及127被排除於邊緣取樣點之外。所收之 鲁 取樣點的集合如第14所示。 第14圖顯示所收集之邊緣取樣點。接著,對所收集之邊緣取 樣點作雲線處理。邊緣取樣點其中有四個相鄰之分離邊緣點Pi、 P2、P3、P4。此四個點為上述Pi-3、Pi-2、Pi-i、Pi點,以内插法以 將此四點連成連續曲線。直到所有邊緣取樣點。都連成連續曲線 時,產生概略輪廓13,如第15圖所示。 第15圖顯示一概略輪廓,概略輪廓13包含尖角131-133。接 著,調整概略輪廓。對概略輪廓上之每一點依據上述能量函數再 φ 取樣,以此產生調整略輪廓。依據上述方式來調整概略輪廓使得 調整輪廓更適合主體影像11,因此,平滑上述尖角131-133,如第 16圖所示。 第16圖顯示一調整後輪廓線,可用來擷取主體影像11。在本 實施例中,調整輪廓不需位移調整。根據調整輪廓從第一影像取 得調整輪廓之範圍以内之像素作為擷取影像16,如第17圖所示。 擷取影像16近似於主體影像11。處理器1將儲存擷取影像16於 記憶體4作為主體影像。 21 1239209 上述關於主體影像的應用是為了舉例說明,並非用以限定本 . 發明,上述應用單元也可以是其它程式,或電路。 另外,本發明提出一種電腦可讀取儲存媒體,用以儲存一電 腦程式,上述電腦程式用以實現特定影像擷取方法,此方法會執 行如上所述之步驟。 - 第18圖表示依據本發明實施例之特定影像擷取方法之電腦可 讀取儲存媒體示意圖。此儲存媒體60,用以儲存一電腦程式620, 用以實現特定影像擷取方法。其電腦程式包含五個邏輯,分別為 影像擷取邏輯621、相減處理邏輯622、邊緣強化邏輯623、邊緣 收集邏輯624、雲線邏輯625、輪廓調整邏輯626、主體影像擷取 ® 邏輯627、與應用邏輯628。 影像擷取邏輯621用以擷取影像。相減處理邏輯622用以對 第一影像與第二影像作相減處理,其中第一影像包含主體影像。 邊緣強化邏輯623用以對相減影像作邊緣強化。邊緣收集邏輯624 用以收集主體影像邊緣取樣點。雲線(Spline)邏輯625用以將收集 邊緣取樣點連成連續曲線作為概略輪廓。輪廓調整邏輯626用以 調整概略輪廓成為調整輪廓。主體影像擷取邏輯627用以根據調 整輪廓擷取主體影像。與應用邏輯628用以應用並以特定方式顯 φ 示主體影像。 因此,本發明之特定影像擷取方法,可以解決於數位相機或 具有影像擷取功能之裝置中將拍攝圖片應用時缺乏彈性與相關功 能不完備的問題。 雖然本發明已以較佳實施例揭露如上,然其並非用以限定本 發明,任何熟習此技藝者,在不脫離本發明之精神和範圍内,當 可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請 專利範圍所界定者為準。 22 1239209 【圖式簡單說明】 第1圖顯示本發明較佳實施例之數位相機結構方塊圖; 第2圖顯示本發明較佳實施例之特定影像擷取方法流程圖; 第3圖顯示本發明第一實施例之以人工方式擷取主體影像步 驟之流程圖; 第4圖顯示本發明第二實施例自動擷取程序中拍攝第一影像 步驟之流程圖; 第5圖顯示本發明較第二施例之自動擷取程序中擷取主體影 像步驟之流程圖; 第6圖表示本發明第二實施例之一範例中的像素點配置圖; 第7圖表示本發明第二實施例收集主體影像邊緣取樣點的示 意圖; 第8圖顯示本發明第二實施例中任意相鄰四個分離的邊緣取 樣點 P“3、Pi-2、Pi-1、Pi ; 第9圖顯示本發明第二實施例中再取樣處理之搜尋範圍的示 意圖; 第10圖顯示本發明第二實施例中第一影像之範例的示意圖; 第11圖顯示本發明第二實施例中第二影像之範例的示意圖; 第12圖顯不相減影像的不意圖, 第13圖顯示邊緣強化影像示意圖; 第14圖顯示邊緣取樣點之示意圖; 第15圖顯示概略輪廓之示意圖; 第16圖顯示調整輪廓之示意圖; 第17圖顯示已擷取主體影像之示意圖; 第18圖顯示依據本發明實施例之特定影像擷取方法之電腦可 讀取儲存媒體示意圖。 23 1239209 【符號說明】 1〜處理器; 2〜影像擷取單元; 3〜閃光单元; 4〜記憶體, 5〜顯示器; 10〜數位相機; 11〜主體影像; 13〜概略輪廓; 16〜擷取影像; 100〜邊緣強化影像; 101〜圓形部分; 102〜三角形部分; 111〜空洞區域; 110,120,130,140〜方向符號; 121、122、123、124、125、126、127〜邊緣; 131、132、133、〜尖角; 142〜概略輪廓; 151、152〜桌子的影像; 153-155〜雜點; 621〜影像擷取邏輯; 622〜相減處理邏輯; 623〜邊緣強化邏輯; 624〜邊緣收集邏輯; 625〜雲線邏輯; 24 1239209 626〜輪摩調整邏輯; 627〜主體影像擷取邏輯; 628〜應用邏輯;
Pi、P2、P3、P4〜邊緣取樣點;
Pi-3、Pi-2、Pi-i、Pi〜邊緣取樣點; Q2〜輪廓上的一點。
25

Claims (1)

1239209 \ 94 6· -1 * .1 第93109716號 修正日期:94.6.1 修正本 ·- 拾、申請專利範圍: 1. 一種特定影像擷取方法,執行於一影像擷取裝置,包括 下列步驟: 取得一第一影像及一第二影像,其中只有上述第一影像包含 關於一主體之一主體影像; I 將上述第一影像及第二影像作相減處理,以產生第三影像; 將上述第三影像作邊緣強化,產生一第四影像; 從上述第四影像擷取一輪廓; 調整上述輪廓; 根據上述調整輪廓取得上述主體影像;以及 經由一應用單元顯示上述主體影像,上述應用單元執行於上 述影像擷取裝置。 2. 如申請專利範圍第1項所述的特定影像擷取方法,其 中,在取得上述第一影像及第二影像之前,更分別執行閃光。 3. 如申請專利範圍第1項所述的特定影像擷取方法,其 中,在邊緣強化步驟更包括:分別以拉普拉斯(Laplacian)及索貝爾 (Sobel)演算法,對上述第三影像邊緣強化,產生第一強化邊緣影 像及第二邊緣強化影像;以及 . 分別將第一強化邊緣影像及第二強化邊緣影像乘以一第一 _ 加權值及一第二加權值後,相加成為上述第四影像。 4. 如申請專利範圍第3項所述的特定影像擷取方法,其 053 5-A20129TWF1 (N1); A03401; JOSEPH 26 1239209
中,上述拉普拉斯演算之運算子為 5.如申請專利範圍第3 中,上述索貝爾演算之運算子為 0 -1 〇 -1 4 0 -1 〇 項所述的特定影像擷取 方法, •-1 - 2 〜ι_ 0 〇 0 1 2 1 其 及 影像掏取方法,其 中心位置收集邊緣 6·如申請專利範圍第1項所述的特定 中,輪廓擷取步驟更包含下列步驟: 在即定方向上,由上述第四影像之周圍往 取樣點;以及 廓 將上述邊緣取樣點連成封閉曲線成為上述輪 如申請專利範圍第6項所述的特 L 付疋影像擷取方、、也 ^ 成封閉曲綠舟聰φ办人· ’套’其 中’上述連成封閉曲線步驟更包含: 根據每四個邊緣取樣點、Pi.2、Pm、 TMGi ;其中上述丁=[t3 t2 tl M= 一1 3 〜3 2 -5 4 -1 0 ! 〇 2 決定一曲線函數Qi[t> 1 G^p^3P,2Pr Pi],t為在〇〜1之間的實數;以及 根據上述曲線函數,產生上述邊緣取 一段連續曲線。 Μ “2、pi-i之間的 8·如申請專利範圍第丨項所述的特 中,調整上述輪廓步驟更包含下列步驟: 〜擷取方法,其 0535-A20129TWF1(N1);A03401;J〇SEPH 27 I::::: 1239209 取得上述輪廓之一座標點; 根據-能量函數計算上述 之能量函數值,μ、+、处旦 技+靶圍内相鄰各點 中上述此$函數包括所計曾 緣取樣點的拉普拉斯逯管,θ t之"、、1、其郇近之邊 數;以及日拉4運异、㈣《算、㈣函數、及連續性函 取樣點 、月b里四數值最小之點取代上述座標點為調整後之 輪廓再 中,上9二申物]範㈣8項所述的特定影像擷取方法,t 以上述座標點為巾心乂 3x3區域加上 間位置的法線向量上下各加三點。 上化考中 中,二申二專利侧8項所述的特定影像擷取方法,並 :連續:函 中,上糊料糊取方法,其 12. -種儲存媒體’用以儲存-電腦程式,上述 =至—影像難裝置中錄行如中料利範圍 中任一項所述之特定影像擷取方法。 員 13’種特定影像擷取方法,執行於 影像摘《置«_觸控面板及—應用單元,包括下^置驟上达 擷取一第-影像,上述第—影像包含—主體影像; 經由上述觸控面板選取一輪廓; 根據上述輪靡取得上述主體影像;以及 0535-A20129TWF1(N1);A03401;J〇SEPH 28 1239209 修 經由上述應用單元顯示上述主避影像。 14·如申請專利範圍第 中,上述應用單元為一遊戲程式。、所述的特定影像揭取方法,其 K -種儲存媒體,用以儲存 載入至-影像_裝置中並執行Μ ,上述電腦程式可 項中任-項職之特定料擷取方^ 13項至第14 16. —種影像擷取裝置,包括: 一影像擷取單元,用以 只有上述第-影像包含關於一主懸/一主:^一;弟二影像,其中 像及第 緣強化處理以產生第四^ 弟4 ’將上述第三影像作邊 ,^ 弟四衫像,從上述第四影像擷取一輪廓,調整 以兩邪’根據上述調整輪廊取得上述主體影像;以及 、—一顯示單元,耦接於上述影像擷取單元及上述處理單元,用 =由-應用程式Μ上述域影像,上述制程式執行於上述 影像擷取裝置。 17.如申請專利範圍第16項所述的影像擷取裝置,其中上 述影像擷取裝置更包含: 閃光單元,用以在上述影像擷取單元取得上述第一影像及 上述第二影像時分別執行閃光。 18_如申請專利範圍第16項所述的影像擷取裝置,其中, 上述應用程式為一遊戲程式。 19.如申請專利範圍第π項所述的影像撤取裝置,其中上 〇535-A20129TWF1(N1);A〇34〇1;J〇SEPH 29 1239209 述影像擷取裝置為行動數位影像擷取裝置。 20. —種影像擷取裝置,包括: 一影像擷取單元,用以擷取一第一影像,上述第一影像包含 一主體影像; 一觸控面板,用以提供一使用者選取上述主體影像之輪廓; 一處理單元,經由上述觸控面板取得上述輪廓,根據上述輪 廓取得上述主體影像;以及 一顯示單元,耦接於上述影像擷取單元、觸控面板、及處理 單元,用以根據一應用程式顯示上述主體影像,上述應用程式執 行於上述影像擷取裝置。 21.如申請專利範圍第20項所述的影像擷取裝置,其中上 述影像擷取裝置為行動數位影像擷取裝置。 0535-A20129TWF1(N1);A03401;JOSEPH 30
TW093109716A 2004-04-08 2004-04-08 A specific image extraction method, storage medium and image pickup device using the same TWI239209B (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW093109716A TWI239209B (en) 2004-04-08 2004-04-08 A specific image extraction method, storage medium and image pickup device using the same
US11/077,844 US20050225648A1 (en) 2004-04-08 2005-03-11 Image extraction method and image capture device utilizing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW093109716A TWI239209B (en) 2004-04-08 2004-04-08 A specific image extraction method, storage medium and image pickup device using the same

Publications (2)

Publication Number Publication Date
TWI239209B true TWI239209B (en) 2005-09-01
TW200534705A TW200534705A (en) 2005-10-16

Family

ID=35060145

Family Applications (1)

Application Number Title Priority Date Filing Date
TW093109716A TWI239209B (en) 2004-04-08 2004-04-08 A specific image extraction method, storage medium and image pickup device using the same

Country Status (2)

Country Link
US (1) US20050225648A1 (zh)
TW (1) TWI239209B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7869651B2 (en) 2005-09-08 2011-01-11 Casio Computer Co., Ltd. Image processing apparatus and image processing method

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4556813B2 (ja) * 2005-09-08 2010-10-06 カシオ計算機株式会社 画像処理装置、及びプログラム
JP4341629B2 (ja) * 2006-01-27 2009-10-07 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
US7551800B2 (en) * 2006-08-09 2009-06-23 Fotonation Vision Limited Detection of airborne flash artifacts using preflash image
US7953277B2 (en) * 2006-09-05 2011-05-31 Williams Robert C Background separated images for print and on-line use
TWI417811B (zh) * 2008-12-31 2013-12-01 Altek Corp The Method of Face Beautification in Digital Image
TWI401411B (zh) * 2009-06-25 2013-07-11 Univ Shu Te Tracing Method and System of Shape Contour of Object Using Gradient Vector Flow
US8881984B2 (en) * 2009-12-31 2014-11-11 Samsung Electrônica da Amazônia Ltda. System and automatic method for capture, reading and decoding barcode images for portable devices having digital cameras
US8472735B2 (en) 2010-09-30 2013-06-25 The Charles Stark Draper Laboratory, Inc. Attitude estimation with compressive sampling of starfield data
US8472736B2 (en) * 2010-09-30 2013-06-25 The Charles Stark Draper Laboratory, Inc. Attitude estimation by reducing noise with dragback
US8472737B2 (en) 2010-09-30 2013-06-25 The Charles Stark Draper Laboratory, Inc. Attitude estimation in compressed domain
TWI420077B (zh) * 2010-10-29 2013-12-21 Mitac Int Corp 導航系統及其導航方法
US9224026B2 (en) * 2010-12-30 2015-12-29 Samsung Electrônica da Amazônia Ltda. Automatic system and method for tracking and decoding barcode by portable devices
JP6792364B2 (ja) * 2016-07-22 2020-11-25 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、およびプログラム
CN106851119B (zh) * 2017-04-05 2020-01-03 奇酷互联网络科技(深圳)有限公司 一种图片生成的方法和设备以及移动终端
US10551845B1 (en) * 2019-01-25 2020-02-04 StradVision, Inc. Method and computing device for generating image data set to be used for hazard detection and learning method and learning device using the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7869651B2 (en) 2005-09-08 2011-01-11 Casio Computer Co., Ltd. Image processing apparatus and image processing method

Also Published As

Publication number Publication date
TW200534705A (en) 2005-10-16
US20050225648A1 (en) 2005-10-13

Similar Documents

Publication Publication Date Title
TWI239209B (en) A specific image extraction method, storage medium and image pickup device using the same
CN107679497B (zh) 视频面部贴图特效处理方法及生成系统
JP4834116B2 (ja) 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム
TWI536320B (zh) 影像分割方法
CN104660900B (zh) 图像处理装置及图像处理方法
CN106611429B (zh) 检测皮肤区域的方法和检测皮肤区域的装置
KR101238608B1 (ko) 이미지 프로세싱을 기반으로 한 3d 공간 차원용 시스템 및 방법
US20200410211A1 (en) Facial image processing method and apparatus, electronic device and computer readable storage medium
CN108322644A (zh) 一种图像处理方法、移动终端以及计算机可读存储介质
CN107358656A (zh) 一种三维游戏的ar处理系统及其处理方法
CN109196558A (zh) 用于对准图像并显示一系列对准的图像的摄像系统和方法
US11769231B2 (en) Methods and apparatus for applying motion blur to overcaptured content
Boyadzhiev et al. User-assisted image compositing for photographic lighting.
CN108416832B (zh) 媒体信息的显示方法、装置和存储介质
JP2005223902A (ja) エッジ検出を使用してデジタルカメラにおいてパノラマ(合成)画像に画像位置合わせフィードバックを提供する方法
CN106200914A (zh) 增强现实的触发方法、装置及拍照设备
CN105205672A (zh) 应用在移动终端的试衣方法及移动终端
JPH10240908A (ja) 映像合成方法
CN113781291B (zh) 图像处理方法、装置、电子设备及存储介质
JP6341540B2 (ja) 情報端末装置、方法及びプログラム
CN103108129B (zh) 一种摄像装置和摄像方法
TWI234997B (en) Method for using the image data to change the object and the type of the object
JPWO2015178085A1 (ja) 画像処理装置、画像処理方法、およびプログラム
CN112839164A (zh) 一种拍照方法及装置
Lange et al. Proxy Painting.