TWI620147B - Image synthesis method for synthesizing characters - Google Patents

Image synthesis method for synthesizing characters Download PDF

Info

Publication number
TWI620147B
TWI620147B TW105137589A TW105137589A TWI620147B TW I620147 B TWI620147 B TW I620147B TW 105137589 A TW105137589 A TW 105137589A TW 105137589 A TW105137589 A TW 105137589A TW I620147 B TWI620147 B TW I620147B
Authority
TW
Taiwan
Prior art keywords
image
difference
step
synthesizing
region
Prior art date
Application number
TW105137589A
Other languages
English (en)
Other versions
TW201820261A (zh
Inventor
Jiunn-Lin Wu
Huan Chen
Original Assignee
National Chunghsing Univ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Chunghsing Univ filed Critical National Chunghsing Univ
Priority to TW105137589A priority Critical patent/TWI620147B/zh
Application granted granted Critical
Publication of TWI620147B publication Critical patent/TWI620147B/zh
Publication of TW201820261A publication Critical patent/TW201820261A/zh

Links

Abstract

一種用於合成人物的影像合成方法,用於合成兩張含有相同之場景及部分相同之人物的第一影像與第二影像,藉由一處理模組來實施,且包含以下步驟:(A)對該第一影像與該第二影像進行對齊處理;(B)獲得一相關於對齊後的該第一影像與該第二影像兩者之差異的差異區域;(C)辨識並偵測出對齊後的該第一影像與該第二影像中所含有的多個人臉部份;(D)針對每一人臉差異區,判定是否存在至少一人臉差異區位於該差異區域;及(E)當步驟(D)判定為是時,針對每一位於該差異區域的人臉差異區,自該第一影像擷取一包含該人臉差異區的目標區域並合成至該第二影像中。

Description

用於合成人物的影像合成方法

本發明是有關於一種影像處理方法,特別是指一種用於合成人物的影像合成方法。

在拍攝團體照時,可採用前鏡頭與自拍棒之拍攝方式來進行拍攝,惟,採用上述拍攝方式之主要缺點包含:拍攝的角度不易拿捏、恐出現有人沒有順利入鏡,或部分臉部被截掉之情形,且所拍攝出的影像品質往往不佳。

因此,若欲拍攝出品質較佳的影像,往往需要有他人的協助,但若沒有旁人的協助,則必須於團體之中派一人出來拍攝,此時團體照便會少一人,現有的應用程式軟體如,Groopic可合成兩張由不同拍攝者輪流拍攝的影像,以使得團體照的拍攝者也能藉由影像合成的方式在團體照中留影。

惟,Groopic應用程式並無主動對齊與自動合成的功能,其需藉由將上一張拍攝者所拍攝之影像的殘影顯示在螢幕上,使下一拍攝者手動進行對齊,所以在拍攝過程中,一旦產生位移,就會無法合成出較自然的成果。此外,在拍攝結束後,還需要手動標記出兩張影像中各個拍攝者的位置,才開始計算並合成影像,使用上實屬不便。

因此,本發明的目的,即在提供一種可自動對齊兩張含有相同之場景及部分相同之人物的影像並自動截取所欲合成之影像部分的用於合成人物的影像合成方法。

於是,本發明用於合成人物的影像合成方法,用於合成兩張含有相同之場景及部分相同之人物的第一影像與第二影像,並藉由一處理模組來實施,該用於合成人物的影像合成方法包含以下步驟:

(A)對該第一影像與該第二影像進行對齊處理;

(B)根據對齊後的該第一影像與該第二影像,獲得一相關於對齊後的該第一影像與該第二影像兩者之差異的差異區域;

(C)辨識並偵測出對齊後的該第一影像與該第二影像中所含有的多個人臉部份;

(D)針對每一包含於該第一影像中,且不包含於該第二影像中並作為人臉差異區的人臉部份,判定是否存在至少一人臉差異區位於該差異區域;

(E)當步驟(D)的判定結果為是時,針對每一位於該差異區域的人臉差異區,自該第一影像擷取一包含該人臉差異區的目標區域;及

(F)針對每一位於該差異區域的人臉差異區,將該人臉差異區所對應的該目標區域合成至該第二影像中一對應於該目標區域的合成區域。

本發明的功效在於:自動對該第一影像與該第二影像進行對齊處理以避免所合成之影像有不完全重合及合成不自然之情形發生,此外,藉由獲得該第一影像與該第二影像之差異區域並採用人臉辨識技術,以自動判定出所欲合成之目標區域,進而增進使用上的便利與彈性。

參閱圖1、圖2與圖3,本發明用於合成人物的影像合成方法的實施例,用於合成兩張含有相同之場景及部分相同之人物的第一影像(見圖4)與第二影像(見圖5),並藉由一處理模組(圖未示)來實施,該用於合成人物的影像合成方法包含以下步驟。

在本實施例中,該處理模組可為如包含於個人電腦、平板電腦、智慧型手機或伺服器等中具有運算能力的處理器,可將本發明用於合成人物的影像合成方法之步驟以一軟體形式如影像合成程式來實現,並由該處理模組執行該影像合成程式以實施本發明用於合成人物的影像合成方法。

在步驟10中,該處理模組對該第一影像與該第二影像利用習知如,平均門檻位元圖(Mean Threshold Bitmap,簡稱MTB)來進行對齊處理。

值得特別說明的是,在步驟10中,還進一步包含子步驟101~子步驟109之細部流程。

在子步驟101中,該處理模組將該第一影像與該第二影像轉換成灰階,如,8-bit的灰階影像。

在子步驟102中,該處理模組計算該第一影像之寬度的對數值,以作為一執行次數。

在子步驟103中,該處理模組降低該第一影像與該第二影像之解析度,並進行兩倍的縮減取樣,以獲得解析度較小的第一影像與第二影像,且將該執行次數減一。

在子步驟104中,該處理模組重覆子步驟103直到執行次數等於零。

在子步驟105中,該處理模組對於解析度最小的第一影像,計算解析度最小之第一影像的一像素平均值。

在子步驟106中,該處理模組根據子步驟105所計算出的該像素平均值,利用以下公式(1),對該第一影像與該第二影像進行二值化處理,以獲得一第一位元圖及一第二位元圖。 ............................................................. (1)

f(x)代表像素x經二值化之結果,Mean代表該像素平均值。

值得一提的是,習知MTB之實作是分別計算兩張影像各自的像素平均值,利用各自的像素平均值將影像進行二值化處理,但由於本實施例中之該第一影像與該第二影像兩者的差異不大,因此,在本實施例中,可僅利用一張影像如,該第一影像的該像素平均值來同時對該第一影像與該第二影像進行二值化處理,藉此,可減少因兩拍攝者所穿著之衣服的顏色差異所造成之影響,也可減少該處理模組的運算量。

在子步驟107中,該處理模組濾除子步驟106所獲得的該第一位元圖及該第二位元圖之雜訊。在本實施例中,該處理模組係藉由根據該像素平均值及一第一預設值如,4,利用以下公式(2),對該第一影像與該第二影像進行二值化處理,以獲得一第一校正圖及一第二校正圖,並將該第一校正圖與該第一位元圖進行互斥或(XOR)運算,且將該第二校正圖與該第二位元圖進行互斥或運算,以濾除該第一位元圖及該第二位元圖之雜訊。 ........................................................ (2)

g(x)代表像素x經二值化之結果,Mean代表該像素平均值,r代表該第一預設值。

在子步驟108中,該處理模組將經子步驟107之濾除雜訊後的該第一位元圖移動一位移值,以使得移動後之該第一位元圖及該第二位元圖兩者經互斥或運算後所得到之像素值的總和最小,並將該位移值作為解析度最小的第一影像與第二影像的一目標位移值。

在子步驟109中,該處理模組利用影像金字塔技術遞迴地重覆子步驟105至108直到獲得原先未經解析度調整及縮減取樣的該第一影像及該第二影像的一目標位移值,其中次一解析度較小的第一影像與第二影像分別作為下一次執行子步驟105至108時解析度最小的第一影像與第二影像。

在步驟11中,該處理模組根據對齊後的該第一影像與該第二影像,獲得一相關於對齊後的該第一影像與該第二影像兩者之差異的差異區域。在本實施例中,該處理模組係藉由將對齊後的該第一影像與該第二影像進行一差異值計算,並將差異值大於一第二預設值的像素進行水平投影及垂直投影,以根據經水平投影及垂直投影後的像素分布獲得該差異區域(見圖6),且該處理模組還計算出該第一影像與該第二影像中所有像素的一平均差異值。

在步驟12中,該處理模組辨識並偵測出對齊後的該第一影像與該第二影像中所含有的多個人臉部份。在本實施例中,該處理模組係利用Paul Viola及Michael Jones在Rapid Object Detection using a Boosted Cascade of Simple Features此篇論文所提之人臉偵測方法來辨識並偵測出該等人臉部份。

在步驟13中,針對每一包含於該第一影像中,且不包含於該第二影像中並作為人臉差異區的人臉部份,該處理模組判定是否存在至少一人臉差異區位於該差異區域。當判定出存在該至少一人臉差異區位於該差異區域時,進行步驟14;否則,進行步驟15。在本實施例中,該處理模組係藉由判定該第一影像中位於該人臉差異區之每一像素與其在該第二影像中所對應之像素的一差異值是否皆大於該平均差異值,以判定該人臉差異區是否位於該差異區域。

值得一提的是,在本實施例中,由於是由兩個不同拍攝者輪流拍攝,故包含於該第一影像中,且不包含於該第二影像中的人臉差異區僅存在一個,但本發明並不侷限於僅能處理一個人物的合成,在本發明之其他實施例中,當包含於該第一影像中,且不包含於該第二影像中的人臉差異區大於一個時,本發明亦可針對每一人臉差異區進行合成處理。

值得特別說明的是,藉由僅針對每一包含於該第一影像中,且不包含於該第二影像中的人臉差異區進行是否位於該差異區域之判定可更準確地找出所欲合成之圖像部份,亦可避免對該第一影像中的所有人臉部份逐一判定,進而減少該處理模組的運算量,此外,當所欲合成之第一影像與該第二影像中的人物是以如圖4及圖5所示之多排方式排列來拍照時,藉由僅針對每一包含於該第一影像中,且不包含於該第二影像中的人臉差異區進行是否位於該差異區域的判定方式,亦可避免將拍攝者誤判為在前排,因而使得人物不論是以多排方式排列來拍照或是單排方式排列來拍照皆可準確地找出拍攝者所在位置。

在步驟14中,針對每一位於該差異區域的人臉差異區,該處理模組自該第一影像擷取一包含該人臉差異區的目標區域(見圖7)。在本實施例中,該目標區域為一四邊形區塊。

值得特別說明的是,在步驟14中,針對每一位於該差異區域的人臉差異區,還進一步包含子步驟141~子步驟142之細部流程。

在子步驟141中,該處理模組自該第一影像的該人臉差異區之中心各自往一水平方向之兩端的像素延伸,直到所延伸到的像素與其在該第二影像中所對應之像素的一差異值小於該平均差異值,最後所延伸到之位於該水平方向之兩端的兩像素之距離為該目標區域的一水平寬度。

在子步驟142中,該處理模組自該第一影像的該人臉差異區之中心各自往一垂直方向之兩端的像素延伸,直到所延伸到的像素與其在該第二影像中所對應之像素的一差異值小於該平均差異值,最後所延伸到之位於該垂直方向之兩端的兩像素之距離為該目標區域的一垂直長度。

在步驟15中,該處理模組輸出一指示出不存在一所欲合成之目標區域的錯誤訊息至與該處理模組電連接的一輸出模組(圖未示)。

在步驟16中,針對每一位於該差異區域的人臉差異區,該處理模組自該第二影像擷取一對應於該目標區域的待比對區域(見圖8)。

在步驟17中,針對每一位於該差異區域的人臉差異區,該處理模組根據該目標區域及該待比對區域,去除該目標區域之背景。在本實施例中,該處理模組係藉由將該目標區域(見圖7)及該待比對區域(見圖8)進行一差異值計算,並進行二值化處理,以獲得一二值化的差值影像(見圖9),且對該差值影像進行型態學膨脹與型態學侵蝕,以獲得一背景識別影像(見圖10),並根據該背景識別影像所界定出之輪廓邊緣去除該目標區域之背景。

在步驟18中,針對每一位於該差異區域的人臉差異區,該處理模組將該人臉差異區所對應之經步驟17之去除背景處理後的該目標區域合成至該第二影像中一對應於該目標區域的合成區域,以獲得一合成影像(見圖11)。

值得特別說明的是,在本實施例中,為了使影像合成之效果更佳,該處理模組還對該目標區域進行背景去除處理,然而,在本發明之其他實施例中,該處理模組亦可直接將步驟14所獲得的該目標區域合成至該第二影像中,並不以此為限。

綜上所述,本發明用於合成人物的影像合成方法藉由自動對該第一影像與該第二影像進行對齊處理以避免所合成之影像有不完全重合及合成不自然之情形發生,此外,藉由獲得該第一影像與該第二影像之差異區域及人臉辨識,以自動判定出所欲合成之含有拍攝者之圖像的該目標區域,故確實能達成本發明的目的。

惟以上所述者,僅為本發明的實施例而已,當不能以此限定本發明實施的範圍,凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾,皆仍屬本發明專利涵蓋的範圍內。

10~18‧‧‧步驟

101~109‧‧‧子步驟

141~142‧‧‧子步驟

本發明的其他的特徵及功效,將於參照圖式的實施方式中清楚地呈現,其中: 圖1是一流程圖,說明本發明用於合成人物的影像合成方法之實施例; 圖2是一流程圖,說明本實施例之對齊處理的細部流程; 圖3是一流程圖,說明本實施例之擷取一目標區域的細部流程; 圖4是一示意圖,說明本實施例所欲合成之一第一影像; 圖5是一示意圖,說明本實施例所欲合成之一第二影像; 圖6是一示意圖,說明執行本發明用於合成人物的影像合成方法之實施例所獲得的一差異區域; 圖7是一示意圖,說明執行本發明用於合成人物的影像合成方法之實施例所擷取的該目標區域; 圖8是一示意圖,說明執行本發明用於合成人物的影像合成方法之實施例所擷取的一待比對區域; 圖9是一示意圖,說明執行本發明用於合成人物的影像合成方法之實施例所獲得的一二值化的差值影像; 圖10是一示意圖,說明執行本發明用於合成人物的影像合成方法之實施例所獲得的一背景識別影像;及 圖11是一示意圖,說明執行本發明用於合成人物的影像合成方法之實施例所獲得的一合成影像。

Claims (7)

  1. 一種用於合成人物的影像合成方法,用於合成兩張含有相同之場景及部分相同之人物的第一影像與第二影像,並藉由一處理模組來實施,該用於合成人物的影像合成方法包含以下步驟:(A)對該第一影像與該第二影像進行對齊處理;(B)根據對齊後的該第一影像與該第二影像,獲得一相關於對齊後的該第一影像與該第二影像兩者之差異的差異區域,其中,該處理模組係藉由將對齊後的該第一影像與該第二影像進行一差異值計算,並將差異值大於一第二預設值的像素進行水平投影及垂直投影,以根據經水平投影及垂直投影後的像素分布獲得該差異區域;(C)辨識並偵測出對齊後的該第一影像與該第二影像中所含有的多個人臉部份;(D)針對每一包含於該第一影像中,且不包含於該第二影像中並作為人臉差異區的人臉部份,判定是否存在至少一人臉差異區位於該差異區域;(E)當步驟(D)的判定結果為是時,針對每一位於該差異區域的人臉差異區,自該第一影像擷取一包含該人臉差異區的目標區域;及(F)針對每一位於該差異區域的人臉差異區,將該人臉差異區所對應的該目標區域合成至該第二影像中一對應於該目標區域的合成區域。
  2. 如請求項1所述的用於合成人物的影像合成方法,其中, 在步驟(A)中,係利用平均門檻位元圖來對齊該第一影像與該第二影像。
  3. 如請求項1所述的用於合成人物的影像合成方法,其中,步驟(A)包含下列子步驟:(A-1)將該第一影像與該第二影像轉換成灰階;(A-2)計算該第一影像之寬度的對數值,以作為一執行次數;(A-3)降低該第一影像與該第二影像之解析度,並進行兩倍的縮減取樣,以獲得解析度較小的第一影像與第二影像,且將該執行次數減一;(A-4)重覆子步驟(A-3)直到執行次數等於零;(A-5)對於解析度最小的第一影像,計算解析度最小之第一影像的一像素平均值;(A-6)根據子步驟(A-5)所計算出的該像素平均值,對解析度最小的第一影像與第二影像進行二值化處理,以獲得一第一位元圖及一第二位元圖;(A-7)濾除子步驟(A-6)所獲得的該第一位元圖及該第二位元圖之雜訊;(A-8)將經子步驟(A-7)之濾除雜訊後的該第一位元圖移動一位移值,以使得移動後之該第一位元圖及該第二位元圖兩者經互斥或運算後所得到之像素值的總和最小,並將該位移值作為解析度最小的第一影像與第二影像的一目標位移值;及(A-9)利用影像金字塔技術遞迴地重覆子步驟(A-5) 至(A-8)直到獲得原先未經解析度調整及縮減取樣的該第一影像及該第二影像的一目標位移值,其中次一解析度較小的第一影像與第二影像分別作為下一次執行子步驟(A-5)至(A-8)時解析度最小的第一影像與第二影像。
  4. 如請求項3所述的用於合成人物的影像合成方法,其中,在子步驟(A-7)中,係藉由根據該像素平均值及一第一預設值,對該第一影像與該第二影像進行二值化處理,以獲得一第一校正圖及一第二校正圖,並將該第一校正圖與該第一位元圖進行互斥或運算,且將該第二校正圖與該第二位元圖進行互斥或運算,以濾除該第一位元圖及該第二位元圖之雜訊。
  5. 如請求項1所述的用於合成人物的影像合成方法,其中:在步驟(B)中,還計算出該第一影像與該第二影像中所有像素的一平均差異值;及在步驟(D)中,係藉由判定該第一影像中位於該人臉差異區之每一像素與其在該第二影像中所對應之像素的一差異值是否皆大於該平均差異值,以判定該人臉差異區是否位於該差異區域;及針對每一位於該差異區域的人臉差異區,步驟(E)包含以下子步驟,(E-1)自該第一影像的該人臉差異區之中心各自往一水平方向之兩端的像素延伸,直到所延伸到的像素與其在該第二影像中所對應之像素的一差異值小於該平均差異值,最後所延伸到之位於該水平方向之兩端的兩像素之距 離為該目標區域的一水平寬度,及(E-2)自該第一影像的該人臉差異區之中心各自往一垂直方向之兩端的像素延伸,直到所延伸到的像素與其在該第二影像中所對應之像素的一差異值小於該平均差異值,最後所延伸到之位於該垂直方向之兩端的兩像素之距離為該目標區域的一垂直長度。
  6. 如請求項1所述的用於合成人物的影像合成方法,在步驟(E)及步驟(F)之間,還包含以下步驟:(G)針對每一位於該差異區域的人臉差異區,自該第二影像擷取一對應於該目標區域的待比對區域;及(H)針對每一位於該差異區域的人臉差異區,根據該目標區域及該待比對區域,去除該目標區域之背景;其中,在步驟(F)中,合成至該第二影像中的該目標區域為經步驟(H)之去除背景處理後的該目標區域。
  7. 如請求項6所述的用於合成人物的影像合成方法,其中,在步驟(H)中,係藉由將該目標區域及該待比對區域進行一差異值計算,並進行二值化處理,以獲得一二值化的差值影像,且對該差值影像進行型態學膨脹與型態學侵蝕,以獲得一背景識別影像,並根據該背景識別影像去除該目標區域之背景。
TW105137589A 2016-11-17 2016-11-17 Image synthesis method for synthesizing characters TWI620147B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW105137589A TWI620147B (zh) 2016-11-17 2016-11-17 Image synthesis method for synthesizing characters

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105137589A TWI620147B (zh) 2016-11-17 2016-11-17 Image synthesis method for synthesizing characters

Publications (2)

Publication Number Publication Date
TWI620147B true TWI620147B (zh) 2018-04-01
TW201820261A TW201820261A (zh) 2018-06-01

Family

ID=62639917

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105137589A TWI620147B (zh) 2016-11-17 2016-11-17 Image synthesis method for synthesizing characters

Country Status (1)

Country Link
TW (1) TWI620147B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002216A (zh) * 2011-09-13 2013-03-27 卡西欧计算机株式会社 合成图像的图像处理装置
TW201340706A (zh) * 2012-03-29 2013-10-01 Altek Corp 產生全景影像的方法及其影像擷取裝置
CN103534726A (zh) * 2011-05-17 2014-01-22 苹果公司 用于全景摄影的位置传感器辅助的图像配准
TW201433160A (zh) * 2013-02-01 2014-08-16 Htc Corp 電子裝置及其影像合成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103534726A (zh) * 2011-05-17 2014-01-22 苹果公司 用于全景摄影的位置传感器辅助的图像配准
CN103002216A (zh) * 2011-09-13 2013-03-27 卡西欧计算机株式会社 合成图像的图像处理装置
TW201340706A (zh) * 2012-03-29 2013-10-01 Altek Corp 產生全景影像的方法及其影像擷取裝置
TW201433160A (zh) * 2013-02-01 2014-08-16 Htc Corp 電子裝置及其影像合成方法

Also Published As

Publication number Publication date
TW201820261A (zh) 2018-06-01

Similar Documents

Publication Publication Date Title
US7623733B2 (en) Image combination device, image combination method, image combination program, and recording medium for combining images having at least partially same background
US8488896B2 (en) Image processing apparatus and image processing method
EP1800259B1 (en) Image segmentation method and system
US8294748B2 (en) Panorama imaging using a blending map
KR101469398B1 (ko) 텍스트 기반 3d 증강 현실
CN101216881B (zh) 一种图像自动获取方法和装置
JP5090474B2 (ja) 電子カメラおよび画像処理方法
KR100556856B1 (ko) 이동통신 단말기에서 화면 제어 방법 및 장치
US8081844B2 (en) Detecting orientation of digital images using face detection information
US20060120712A1 (en) Method and apparatus for processing image
KR20140088606A (ko) 멀티스펙트럼 이미징 시스템
US8391645B2 (en) Detecting orientation of digital images using face detection information
US8417059B2 (en) Image processing device, image processing method, and program
JP4571190B2 (ja) 赤目現象を検出して補正するための方法及び装置
US8059870B2 (en) Time-of-flight sensor-assisted iris capture system and method
JP2004062565A (ja) 画像処理装置及び方法並びにプログラム記憶媒体
US8509496B2 (en) Real-time face tracking with reference images
CN101605209B (zh) 摄像装置及图像再生装置
US8170368B2 (en) Correcting device and method for perspective transformed document images
CN101308323B (zh) 全景图像的拍摄方法
US9898856B2 (en) Systems and methods for depth-assisted perspective distortion correction
JP4735742B2 (ja) 撮像装置、ストロボ画像生成方法、および、プログラム
US20150154776A1 (en) Image splicing method and apparatus
US20050220346A1 (en) Red eye detection device, red eye detection method, and recording medium with red eye detection program
JP4341629B2 (ja) 撮像装置、画像処理方法及びプログラム