TWI472224B - 影像處理裝置及其影像處理方法 - Google Patents

影像處理裝置及其影像處理方法 Download PDF

Info

Publication number
TWI472224B
TWI472224B TW100125236A TW100125236A TWI472224B TW I472224 B TWI472224 B TW I472224B TW 100125236 A TW100125236 A TW 100125236A TW 100125236 A TW100125236 A TW 100125236A TW I472224 B TWI472224 B TW I472224B
Authority
TW
Taiwan
Prior art keywords
image
images
reference image
module
unit
Prior art date
Application number
TW100125236A
Other languages
English (en)
Other versions
TW201304529A (zh
Inventor
Chia Ho Pan
Shuei Lin Chen
I Hsien Lee
Original Assignee
Altek Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altek Corp filed Critical Altek Corp
Priority to TW100125236A priority Critical patent/TWI472224B/zh
Priority to US13/240,647 priority patent/US8693727B2/en
Publication of TW201304529A publication Critical patent/TW201304529A/zh
Application granted granted Critical
Publication of TWI472224B publication Critical patent/TWI472224B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

影像處理裝置及其影像處理方法
本發明是有關於一種影像處理裝置及其方法,特別是有關於一種以物件及色彩導向之概念使影像中移動之物件移除或疊加之影像處理裝置及其方法。
目前,大部份的人們都會使用相機來拍攝自己所喜愛的照片,不論是風景照或是人像照等等,但有時所拍攝下來的照片並不如己意,照片中可能都會有些瑕疵。因此,市面上具有許多的影像處理軟體可供使用者使用,來將照片中不滿意的地方修飾掉,例如可用影像處理軟體將紅眼消除、將照片中某處打亮或是將照片合成使得照片更為豐富等等。
更由於現今科技的發達,使得影像處理不僅可用於照片照下後的後製,更將影像處理裝置直接設入於相機中,使得相機在拍照時便可進行影像處理的動作。而上述具影像處理的相機中,更具有幾款相機的影像處理具有動作移除模式與複數動作捕捉模式提供給使用者使用。
動作移除模式是在同一場景拍攝五張照片,然後對其進行分析,以偵測該場景當中不斷移動的物體有哪些(例如路人、汽車、飛 鳥等等),然後把五張照片演算成一張把移動物體完全移除掉的影像。利用此模式便可將照片中不想要的物件去除。複數動作捕捉模式則是可透過連續拍攝五張照片,來把該場景當中的移動物體全部整合在一張照片當中,使得一張照片中具有一連續移動的物體。
而,由於此些相機所具有的動作移除模式與複數動作捕捉模式,主要是透過偵測物件移動之動作來進行辨識,使得在進行移動物件移除或疊加動作時,容易造成物件移除或疊加不全的情形。
有鑑於上述習知技藝之問題,本發明之目的就是在提供一種影像處理裝置及其方法,以利用物件輪廓及色彩之辨識技術來解決習知技術在進行影像處理時,造成物件移除或疊加不全之問題。
根據本發明之目的,提出一種影像處理裝置,其包含一記憶模組、一物件檢測模組及一處理模組,物件檢測模組係電性連接記憶模組及處理模組。記憶模組係儲存經由一攝像模組所擷取之複數個影像,影像包含至少一物件。物件檢測模組係從該些影像中取出其中之一作為一基準影像,且將其餘該些影像與基準影像進行比對,以尋找出具有輪廓及色彩對應之物件之所在區域。若物件檢測模組比對出輪廓及色彩對應之物件於基準影像與其餘該些影像中係位在不同區域時,處理模組則將基準影像中對應之物件移除,或是將對應之各物件同時疊加於基準影像中。
根據本發明之目的,又提出一種影像處理方法,包含下列步驟:利用一記憶模組儲存經由一攝像模組所擷取之複數個影像,該影 像包含至少一物件;藉由一物件檢測模組從該些影像中取出其中之一作為一基準影像,且將其餘該些影像與基準影像進行比對,以尋找出具有輪廓及色彩對應之物件之所在區域;若物件檢測模組比對出輪廓及色彩對應之物件於基準影像與其餘該些影像中係位在不同區域時,則藉由處理模組將基準影像中對應之物件移除,或是將對應之各物件同時疊加於基準影像中。
其中,物件檢測模組更包含一影像穩定單元,係將其餘該些影像與基準影像進行一全域動態比對,使其餘該些影像與基準影像之畫面對齊。
其中,物件檢測模組更包含一基礎影像比對單元,係將基準影像與其餘該些影像中之基礎背景影像進行比對。
其中,物件檢測模組包含一輪廓比對單元,係判斷其餘該些影像中是否具有與基準影像中輪廓對應之物件,若是,則尋找出對應之物件分別位於基準影像與其餘該些影像中之區域。
其中,物件檢測模組包含一色彩擷取單元,係擷取位於基準影像與其餘該些影像中輪廓對應之物件之色彩並進行比對。
其中,物件檢測模組更包含一重疊檢測單元,係檢測位於基準影像與其餘該些影像之區域中對應之物件是否具有重疊之部份。
其中,處理模組包含一影像疊加單元,當對應之物件具有重疊之部份時,影像疊加單元係對具對應之各物件進行邊界檢測,並按照各影像經由攝像模組所擷取之時間順序,將對應之各物件同時疊加於基準影像中。
其中,較後被疊加之物件係接合於前一被疊加之物件之邊界,且較後被疊加之物件與前一被疊加之物件重疊之部分係被移除。
其中,處理模組更包含一影像移除單元,係將基準影像中對應之物件移除,並將對應之物件被移除之區域,從其餘該些影像中同樣區域之區域影像複製過來以進行補償接合。
承上所述,依本發明之影像處理裝置及其方法,其可具有一或多個下述優點:
(1)此影像處理裝置及其方法主要是利用辨識物件的輪廓及色彩來判斷出物件是否有在移動,可更精確的達成物件移除或是疊加之功能,避免移除或疊加不全的情形產生。
(2)此影像處理裝置及其方法更利用基礎影像的比對(frame-based voting),以更有效的尋找出移動的物件的位置及大小,以利完成物件移除或疊加的動作。
1、2‧‧‧影像處理裝置
11、21‧‧‧攝像模組
111、211‧‧‧複數張影像
1111、2111‧‧‧基準影像
12、22‧‧‧記憶模組
13、23‧‧‧物件檢測模組
131‧‧‧輪廓比對
132‧‧‧色彩比對
14、24‧‧‧處理模組
141、2411‧‧‧影像移除
142、2422‧‧‧影像疊加
231‧‧‧影像穩定單元
2311‧‧‧全域動態比對
232‧‧‧基礎影像比對單元
233‧‧‧輪廓比對單元
234‧‧‧色彩擷取單元
235‧‧‧重疊檢測單元
241‧‧‧影像移除單元
2412‧‧‧畫面補償
242‧‧‧影像疊加單元
2421‧‧‧邊界檢測
S31~S33‧‧‧步驟
4、5‧‧‧人物物件
第1圖 係為本發明之影像處理裝置之第一實施例之方塊圖。
第2圖 係為本發明之影像處理裝置之第二實施例之方塊圖。
第3圖 係為本發明之影像處理方法之流程圖。
第4圖 係為本發明之影像處理裝置及其方法之第三實施例之第一示意圖。
第5圖 係為本發明之影像處理裝置及其方法之第三實施例之第二示意圖。
第6圖 係為本發明之影像處理裝置及其方法之第三實施例之第三示意圖。
第7圖 係為本發明之影像處理裝置及其方法之第四實施例之第一示意圖。
第8圖 係為本發明之影像處理裝置及其方法之第四實施例之第二示意圖。
第9圖 係為本發明之影像處理裝置及其方法之第五實施例之第一示意圖。
第10圖 係為本發明之影像處理裝置及其方法之第五實施例之第二示意圖。
第11圖 係為本發明之影像處理裝置及其方法之第五實施例之第三示意圖。
以下將參照相關圖式,說明依本發明之影像處理裝置及其方法之實施例,為使便於理解,下述實施例中之相同元件係以相同之符號標示來說明。
本發明之影像處理裝置可適用於如數位相機(Digital Camera)、照相手機(Camera Phone)、智慧型手機(Smartphone)或數位攝影機(Digital Video Camera)等各種具有攝像功能的可攜式電子裝置,讓使用者可於拍照的同時便可進行影像處理。或者可將此影像處理裝置安裝於如個人電腦、筆記型電腦或平板電腦等之中,以作為影像後製處理之用。以下所述之各實施例,主要 係針對影像被擷取時便同步處理來進行說明,但不以此為限。
請參閱第1圖,其係為本發明之影像處理裝置之第一實施之方塊圖。圖中,影像處理裝置1包含攝像模組11、記憶模組12、物件檢測模組13及處理模組14,記憶模組12係連接攝像模組11及物件檢測模組13,物件檢測模組13又連接處理模組14。攝像模組11可作為擷取影像之用,其可包含鏡頭、感光元件如互補式金氧半導體元件(Complementary Metal-Oxide-Semiconductor,CMOS)或電荷耦合元件(Charge-Coupled-Device,CCD)、類比/數位電路等。記憶模組12可為嵌入式之暫存記憶體或實體記憶體、外接式記憶卡或其組合,其可用來儲存攝像模組11所擷取之影像。
於第一實施例中,當攝像模組11於一拍攝場景中連續擷取複數張影像111並儲入於記憶模組12中,物件檢測模組13可從所拍攝的這些影像中取出其中之一張作為基準影像1111,並且將其餘的影像與基準影像1111進行輪廓比對131及色彩比對132,以尋找出其餘的影像中,具有與基準影像1111中輪廓及色彩對應的物件之所在區域,藉此來判定於此拍攝場景所連續拍攝的複數張影像111中,是否具有移體物件。若是物件檢測模組13比對出輪廓及色彩對應的物件在基準影像1111中與在其餘的影像中是位在不同的區域時(即判定出連續複數張影像111具有物件在移動),則可經由處理模組14進行影像移除141動作或影像疊加142動作,以將基準影像輪廓及色彩對應的物件移除,即是將移動物件移除。或者可藉由處理模組14將連續所拍攝下來的複數張影像111中,輪廓及色彩對應的物件同時疊加於基準影像1111中,可使一移動物件所移動之動作軌跡於同一張影像中表現出來。值得注意的是,將移 動物件移除或是疊加並非僅為單一之態樣,尚可使其同時產生於一影像中,例如將影像中其中一移動物件移除,並把其他移動物件由別的影像疊加進來。
請參閱第2圖,其係為本發明之影像處理裝置之第二實施例之方塊圖。圖中,影像處理裝置2包含攝像模組21、記憶模組22、物件檢測模組23及處理模組24,物件檢測模組23包含了影像穩定單元231、基礎影像比對單元232、輪廓比對單元233、色彩擷取單元234及重疊檢測單元235,處理模組24可包含了影像移除單元241及影像疊加單元242,記憶模組22係電性連接攝像模組21及物件檢測模組23,物件檢測模組23又電性連接處理模組24。
在第二實施例中,當攝像模組21於一場景中連續拍攝了複數張影像211,並將複數些影像211儲存於記憶模組22時,可藉由物件檢測模組23於複數張影像211中選出一張作為基準影像2111,再經由影像穩定單元231將其餘的影像與基準影像2111進行一全域動態(gobal motion)比對2311,使其餘的影像與基準影像2111的畫面對齊。此影像穩定單元231可為一光學影像穩定器(Optical Image Stabilizer,OIS)或數位影像穩定器(Digital Image Stabilizer,DIS),是用來偵測拍攝者手部搖晃的移動向量(motion vector),以迅速移動鏡片加以修正所拍攝的影像畫面,如此一來,在連續拍攝影像時,即使手部有晃動到,經由影像穩定單元231便可將其修正,使得其餘的影像與基準影像2111的畫面得以對齊。
接著,影像的畫面對齊後,可經由輪廓比對單元233來判斷其餘的影像中,是否具有與基準影像2111中輪廓對應的物件,若是, 則尋找出此些對應的物件位於影像中的區域,以此來判別連續拍攝的影像中是否具有移動的物件。在做物件檢測模組23在進行物件輪廓比對時,同時會藉由基礎影像比對單元232來對基準影像2111與其餘的影像中的基礎背景影像進行比對,以確認所有的影像所拍攝的基礎背景影像是相同的,並且可將輪廓對應的物件與基礎背景影像來進行參考,以更精確的判別出對應的物件於基礎背景影像中是否在移動,並有效的找出移動物件的位置與大小。
輪廓對應物件所在的位置尋找到之後,可藉由色彩擷取單元234對位於其餘影像及基準影像2111中對應的物件進行色彩的擷取,並進行比對動作,以確認此為相同的物件。而物件檢測模組23中的重疊檢測單元235則是用來檢測輪廓及色彩對應的物件,在基準影像的位置與在其餘影像的位置是否有重疊的部份。在本實施例中,物件檢測模組23中之影像穩定單元231、基礎影像比對單元232、輪廓比對單元233、色彩擷取單元234及重疊檢測單元235,在檢測辨識物件及背景影像之順序為一實施態樣,僅為舉例而非限制,本發明於實際實施時,可將其檢測之過程任意置換或同時發生,可不限定為如上述檢測之方式。
在經由物件檢測模組23裡各單元的比對辨識後,判斷出在基準影像2111中與其餘影像中具有輪廓及色彩對應的物件,且位於不同的位置,即為連續拍攝的影像中有移動的物件,可藉由處理模組24中的影像移除單元241進行影像移除2411動作以將移動的物件於基準影像2111中移除掉。物件被移除掉後,影像移除單元241將對基準影像中物件被移除的位置,從其餘影像中選出與基準影像2111接合度最高的影像,然後將其餘影像中同樣位置的畫面複 製到基準影像2111中,以完成畫面補償2412之動作。經由影像移除的動作,便可使影像中移動的物件移除掉,使得影像更為美觀。
而若要將移動的物件疊加於基準影像2111中時,可利用影像疊加單元242來完成。若於重疊檢測單元235之檢測過程中檢測各對應的物件位於不同位置且無重疊的部份時,影像疊加單元242便是直接進行影像疊加2422的動作來將對應的物件疊加於基準影像2111中。若檢測到對應的物件具有重疊的部份時,影像疊加單元242會對移動的物件進行邊界檢測2421,然後再進行影像疊加2422的動作。其疊加的方式是以影像拍攝的時間順序為主,最先拍攝或最後拍攝的影像之對應的物件為最先疊加,然後依序的將較後或較先拍攝影像的物件接合在前一已疊加的物件的邊界,且後被疊加的物件與較前被疊加的物件之重疊部份則被移除掉,如此一來便可將移動物件一連串移動的動作表現在同一張影像之中。
請參閱第3圖,其係為本發明之影像處理方法之流程圖。其步驟為:S31:利用一記憶模組儲存經由一攝像模組所擷取之複數個影像,影像中包含至少一物件;S32:藉由一物件檢測模組從該些影像中取出其中之一作為一基準影像,且將其餘該些影像與基準影像進行比對,以尋找出具有輪廓及色彩對應之物件之所在區域;S33:若對應之物件位在不同區域時,則藉由一處理模組將基準影像中對應之物件移除,或是將對應之各物件同時疊加於基準影像中。
上述中,攝像模組係於一場景拍攝多張影像,經由物件檢測模組 及處理模組便可將於此場景中移動的物件移除或是疊加於同一影像中。物件檢測模組在檢測辨識移動物件的過程中,更包含了將其餘的影像與基準影像進行畫面對齊的動作,使得每張影像中的區域得以對正。且對其餘影像與基準影像中的基礎背景影像進行比對,以確認各影像的背景畫面係為相同,係為了更有效的去尋找出移動物件的位置及大小。且物件檢測模組又更會去判斷移動物件位於各影像的區域是否具有重疊的部份。而處理模組在將移動物件移動後,更會於基準影像中移動物件被移除之處,從其餘影像中選出一影像來進行畫面補償。若處理模組是在進行疊加移動物件時,則會先根據移動物件是否有重疊來實施不同的疊加方式。若無重疊,則是直接將移動物件從各其餘影像中複製到基準影像;若重疊,則是去對每張影像的移動物件進行邊界檢測,然後根據影像被拍攝下來的時間去疊加,將較後被疊加的物件連接到前一被疊加物件的邊界,並且把較後疊加物件具重疊的部份移除掉,以完成移動物件之疊加動作。此物件疊加的實施方式僅為舉例,並不以此為限。
請參閱第4圖,其係為本發明之影像處理裝置及其方法之第三實施例之第一示意圖。圖中係為一攝影者拿著一台加載有本發明之影像處理裝置之攝像機於一場景拍攝第一張影像,影像中具有房子、樹木等基礎背景影像於其中,並具有人物物件4及人物物件5。
請參閱第5圖,其係為本發明之影像處理裝置及其方法之第三實施例之第二示意圖。此圖係為攝影者於同樣的場景拍攝了第二張影像,影像中同樣具有房子及樹木等基礎背景影像,以及人物物 件4及5,第5圖與第4圖之差異為人物物件5位於兩張影像畫面中的位置不同。
請參閱第6圖,其係為本發明之影像處理裝置及其方法之第三實施例之第三示意圖。從第4及5圖之兩張影像可看出人物物件5為移動之物件,經由本發明之影像處理裝置可將些移動物件移除掉。移除的方式是經由影像處理裝置中的物件檢測模組先選出其中一張作為基準影像,在此以第4圖所拍攝的影像為之。接著,利用物件檢測模組中的影像穩定單元將第5圖之影像與基準影像進行全域動態比對,以使兩張影像的畫面得以對齊。然後藉由物件檢測模組中的輪廓比對單元來比對第5圖影像及基準影像中是否具對應之物件,以尋找出對應的物件所在的位置。再者,使用物件檢測模組中的基礎影像比對單元來比對兩張影像的基礎背景影像是否相同,並將經由輪廓比對單元尋找出來的人物物件4及5來與背景影像進行比對,以更精確的判定出人物物件4及5所在的位置及大小。接著,經由物件檢測模組中的色彩擷取單元分別對第4及5圖影像中的人物物件4及5進行色彩的擷取,以進行比對的動作,藉此來判定第5圖影像中的人物物件4及5是分別對應於第4圖影像中的人物物件4及5。最後,再利用物件檢測模組中的重疊檢測單元來判定人物物件4及5位於第5圖影像中的位置,是否與位於第4圖影像中的位置具有重疊的部份。
經由上述物件檢測模組對於物件檢測的判斷下,可識別出人物物件5位於第4及5圖影像中的位置是為不同,以判斷出人物物件5係為一移動物件。因此,可藉由影像處理裝置中的處理模組將人物物件5於第4圖影像(基準影像)中移除,而第4圖影像中人物物件5 被移除的區域,便從第5圖中於同樣區域的背景影像畫面複製到第4圖中,以進行補償動作,使得第4圖之影像得以完整。經由影像移除的動作,攝像者便可將同場景中移動的物件移除掉,只保留自己所欲留存的影像。
請參閱第7圖,其係為本發明之影像處理裝置及其方法之第四實施例之第一示意圖。此實施例係為將移動物件同時疊加於一張影像之範例。圖中,分別具有三張影像(A)、(B)及(C),此三張影像皆具有一人物物件。現透過本發明之影像處理裝置要將此三張影像分別具有之人物物件疊加於一張影像中。首先,先利用影像處理裝置中的物件檢測模組從此三張影像中選出一張作為基準影像,在此係選取影像(A)作為基準影像。接著物件檢測模組係將影像(B)及(C)來與(A)進行全域動態比對,以使得三張影像的畫面可以對齊,然後開始比對此三張影像中人物物件的輪廓,以分別尋找出人物物件位於三張影像中的位置。在尋找輪廓對應之物件的過程中,物件檢測模組會同時對三張影像進行基礎背景影像的比對,以確定此三張影像之背景畫面係為相同,並且會將人物物件與背景畫面進行比對,以更精確的判別出人物物件的位置及大小。然後物件檢測模組將擷取三張影像中人物物件的色彩,以進行色彩的比對,以判別位於此三張影像中的人物物件係為相同一人。最後物件檢測模組會對人物物件位於三張影像中的位置進行檢測,以判斷人物物件位在影像(A)、(B)及(C)中的位置是否具有重疊的部份。
請參閱第8圖,其係為本發明之影像處理裝置及其方法之第四實施例之第二示意圖。第四實施例中,在經由物件檢測模組的檢測 下,判別出人物物件於此三張影像中是位於不同的區域且沒有重疊的部份,因些此人物物件係為一移動的物件,因此可經由處理模組將影像(B)及(C)的人物物件複製到影像(A)中,以完成移動物件同時疊加於同一張影像中。
請參閱第9圖,其係為本發明之影像處理裝置及其方法之第五實施例之第一示意圖。此實施例係為移動物件疊加於同一張影像之另一個範例。於圖中,分別具有三張影像(A)、(B)及(C),此三張影像皆具有一人物物件。現透過本發明之影像處理裝置要將此三張影像分別具有之人物物件疊加於一張影像中。首先利用本發明之影像處理裝置之物件檢測模組從此三張影像中選出一張作為基準影像,在此係以影像(A)為基準影像。接著利用物件檢測模組中的影像穩定單元將影像(B)及(C)來與影像(A)進行畫面對齊的動作,然後藉由物件檢測模組中的輪廓比對單元來對此三張影像中的人物物件進行輪廓比對,並尋找出人物物件分別位於三張影像畫面中的位置。在比對人物物件輪廓時,物件檢測模組中的基礎影像比對單元,會同時對三張影像進行基礎背景影像的比對,以確認三張影像的背景畫面係為相同,並對人物物件與背景畫面來進行比對以更有效的尋出出人物物件的位置及大小,而物件檢測模組中的色彩擷取單元亦會同時的擷取此三張影像中人物物件的色彩,來進行色彩比動同動,以更加的判定出位於此三張影像中的人物物件係為相同。最後再經由物件檢測模組中的重疊檢測單元對人物物件分別位於此三張影像中的位置進行檢測,以判別出人物物件於三張影像中是否有重疊之部份。
請參閱第10圖,其係為本發明之影像處理裝置及其方法之第五實 施例之第二示意圖。於此實施例中,經由上述物件檢測模組對人物物件的檢測下,判別出位於三張影像中的人物物件係為同一人,且位於不同的位置,因此係為一移動的物件,而此人物物件於三張影像中的位置具有部份的重疊。因此藉由影像處理裝置中的處理單元,分別對位於三張影像中的人物物件進行邊界檢測,然後開始進行疊加的動作。其疊加的方式是根據影像拍攝的時間順序進行疊加,在此影像(A)為最先拍攝的,影像(B)為次,最後拍攝的為影像(C)。若設定係以最後拍攝的影像(C)為最先疊加,則會先將影像(C)中的人物物件先疊加到影像(A)中,接著將影像(B)的人物物件疊加到影像(A)中並且連接於先前疊加人物物件的邊界,最後再將影像(A)的人物物件連接於前一疊加人物物件的邊界。後疊加人物物件與前一疊加人物物件具有重疊之部份則刪除,如第10圖所示。
請參閱第11圖,其係為本發明之影像處理裝置及其方法之第五實施例之第三示意圖。此實施例中,若設定係以最先拍攝的影像(A)為最先疊加,其疊加的順序則與上述之疊加方式相反。經由移動物件疊加的動作,可使得位於不同影像中但為連續動作的物件,同時顯現於同一張影像中,可讓影像更為豐富。順帶一提的是,在本發明所屬領域中具有通常知識者應當明瞭,上述之依據時間順序疊加影像物件之實施態樣僅為舉例而非限制,在此先行敘明。
綜合上述,本發明之影像處理裝置,在拍攝過程中或於影像後製時,可將影像畫面中移動的物件移除掉或是疊加於同一張影像中,經由此,讓使用者可得到更為精彩的影像照片。
以上所述僅為舉例性,而非為限制性者。任何未脫離本發明之精神與範疇,而對其進行之等效修改或變更,均應包含於後附之申請專利範圍中。
2‧‧‧影像處理裝置
21‧‧‧攝像模組
211‧‧‧複數張影像
2111‧‧‧基準影像
22‧‧‧記憶模組
23‧‧‧物件檢測模組
231‧‧‧影像穩定單元
2311‧‧‧全域動態比對
232‧‧‧基礎影像比對單元
233‧‧‧輪廓比對單元
234‧‧‧色彩擷取單元
235‧‧‧重疊檢測單元
24‧‧‧處理模組
241‧‧‧影像移除單元
2411‧‧‧影像移除
2412‧‧‧畫面補償
242‧‧‧影像疊加單元
2421‧‧‧邊界檢測
2422‧‧‧影像疊加

Claims (13)

  1. 一種影像處理裝置,其包含:一記憶模組,係儲存經由一攝像模組所擷取之複數個影像,該影像包含至少一物件;一物件檢測模組,係電性連接該記憶模組,並從該些影像中取出其中之一作為一基準影像,且將其餘該些影像與該基準影像進行比對,以尋找出具有輪廓及色彩對應之該物件之所在區域;以及一處理模組,係包含一影像疊加單元,且該處理模組係電性連接該物件檢測模組,若該物件檢測模組比對出輪廓及色彩對應之該物件於該基準影像與其餘該些影像中係位在不同區域時,該處理模組則將該基準影像中對應之該物件移除,或是將對應之各該物件同時疊加於該基準影像中;其中該物件檢測模組包含一重疊檢測單元,係檢測位於該基準影像與其餘該些影像之區域中對應之該物件是否具有重疊之部份;其中若對應之該物件位於不同位置且無重疊之部分時,該影像疊加單元係直接將對應之各該物件疊加於該基準影像中而不進行邊界檢測;若對應之該物件具有重疊之部份時,該影像疊加單元係對具對應之各該物件進行該邊界檢測後再進行影像疊加。
  2. 如申請專利範圍第1項所述之影像處理裝置,其中該物件檢測模組包含一影像穩定單元,係將其餘該些影像與該基準影像進行一 全域動態比對,使其餘該些影像與該基準影像之畫面對齊。
  3. 如申請專利範圍第1項所述之影像處理裝置,其中該物件檢測模組包含一基礎影像比對單元,係將該基準影像與其餘該些影像中之基礎背景影像進行比對。
  4. 如申請專利範圍第1項所述之影像處理裝置,其中該物件檢測模組包含一輪廓比對單元,係判斷其餘該些影像中是否具有與該基準影像中輪廓對應之該物件,若是,則尋找出對應之該物件分別位於該基準影像與其餘該些影像中之區域。
  5. 如申請專利範圍第1項所述之影像處理裝置,其中該物件檢測模組包含一色彩擷取單元,係擷取位於該基準影像與其餘該些影像中輪廓對應之該物件之色彩並進行比對。
  6. 如申請專利範圍第1項所述之影像處理裝置,其中該影像疊加單元更按照各該影像經由該攝像模組所擷取之時間順序,將對應之各該物件同時疊加於該基準影像中。
  7. 如申請專利範圍第6項所述之影像處理裝置,其中較後被疊加之該物件係接合於前一被疊加之該物件之邊界,且較後被疊加之該物件與前一被疊加之該物件重疊之部分係被移除。
  8. 如申請專利範圍第1項所述之影像處理裝置,其中該處理模組更包含一影像移除單元,係將該基準影像中對應之該物件移除,並將對應之該物件被移除之區域,從其餘該些影像中同樣區域之區域影像複製過來以進行補償接合。
  9. 一種影像處理方法,包含下列步驟:利用一記憶模組儲存經由一攝像模組所擷取之複數個影像,該影像包含至少一物件;藉由一物件檢測模組從該些影像中取出其中之一作為一基準 影像,且將其餘該些影像與該基準影像進行比對,以尋找出具有輪廓及色彩對應之該物件之所在區域;若該物件檢測模組比對出輪廓及色彩對應之該物件於該基準影像與其餘該些影像中係位在不同區域時,則藉由一處理模組將該基準影像中對應之該物件移除,或是將對應之各該物件同時疊加於該基準影像中,其中該處理模組係包含一影像疊加單元;以及利用該物件檢測模組檢測位於該基準影像與其餘該些影像之區域中對應之該物件是否具有重疊之部份;其中若對應之該物件位於不同位置且無重疊之部分時,該影像疊加單元係直接將對應之各該物件疊加於該基準影像中而不進行邊界檢測;若對應之該物件具有重疊之部份時,該影像疊加單元係對具對應之各該物件進行該邊界檢測後再進行影像疊加。
  10. 如申請專利範圍第9項所述之影像處理方法,更包含下列步驟:利用該物件檢測模組將其餘該些影像與該基準影像進行一全域動態比對,使其餘該些影像與該基準影像之畫面對齊。
  11. 如申請專利範圍第9項所述之影像處理方法,更包含下列步驟:利用該物件檢測模組將該基準影像與其餘該些影像中之基礎背景影像進行比對。
  12. 如申請專利範圍第9項所述之影像處理方法,更包含下列步驟:利用該影像疊加單元根據該攝像模組擷取各該影像之時間順序,將對應之各該物件同時疊加於該基準影像中。
  13. 如申請專利範圍第9項所述之影像處理方法,更包含下列步驟:利用該處理模組之一影像移除單元對該基準影像中對應之該物件所被移除之區域,從其餘之該影像中同樣區域之區域影像複 製過來以進行補償接合。
TW100125236A 2011-07-15 2011-07-15 影像處理裝置及其影像處理方法 TWI472224B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100125236A TWI472224B (zh) 2011-07-15 2011-07-15 影像處理裝置及其影像處理方法
US13/240,647 US8693727B2 (en) 2011-07-15 2011-09-22 Image processing device and image processing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100125236A TWI472224B (zh) 2011-07-15 2011-07-15 影像處理裝置及其影像處理方法

Publications (2)

Publication Number Publication Date
TW201304529A TW201304529A (zh) 2013-01-16
TWI472224B true TWI472224B (zh) 2015-02-01

Family

ID=47518935

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100125236A TWI472224B (zh) 2011-07-15 2011-07-15 影像處理裝置及其影像處理方法

Country Status (2)

Country Link
US (1) US8693727B2 (zh)
TW (1) TWI472224B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102031284B1 (ko) * 2013-03-14 2019-11-08 삼성전자주식회사 연속 촬영된 이미지를 합성하는 전자 장치 및 방법
KR20140132568A (ko) * 2013-05-08 2014-11-18 삼성전자주식회사 움직이는 물체를 하나의 이미지에 합성하기 위한 장치 및 방법
US9396571B2 (en) * 2014-02-10 2016-07-19 International Business Machines Corporation Simplified lighting compositing
TWI518603B (zh) * 2014-05-22 2016-01-21 宏達國際電子股份有限公司 影像編輯方法與電子裝置
CN105513030B (zh) * 2014-09-24 2018-08-31 联想(北京)有限公司 一种信息处理方法、装置及电子设备
CN104732211B (zh) * 2015-03-19 2017-12-08 杭州电子科技大学 一种基于自适应阈值的交通标志检测方法
US10432868B2 (en) 2015-08-27 2019-10-01 International Business Machines Corporation Removing aerial camera drones from a primary camera's field of view
CN109952758A (zh) * 2017-07-17 2019-06-28 华为技术有限公司 一种图像处理的方法及终端
GB2568278A (en) * 2017-11-10 2019-05-15 John Hudson Raymond Image replacement system
US11017609B1 (en) * 2020-11-24 2021-05-25 Horizon Group USA, INC System and method for generating augmented reality objects
CN112541903A (zh) * 2020-12-16 2021-03-23 深圳市欢太科技有限公司 页面比对方法、装置、电子设备及计算机存储介质
CN114938433B (zh) * 2022-07-25 2022-10-11 四川赛狄信息技术股份公司 基于fpga的视频图像处理方法、系统、终端及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060232583A1 (en) * 2000-03-28 2006-10-19 Michael Petrov System and method of three-dimensional image capture and modeling
EP1149617B1 (en) * 2000-04-28 2007-01-24 Konami Computer Entertainment Japan Inc. Game system, judgment table producing method, and computer-readable storage medium carrying game program
WO2009116208A1 (ja) * 2008-03-18 2009-09-24 富士通株式会社 画像補正プログラム、画像補正装置および画像補正方法
US20110025825A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542626B1 (en) * 1999-11-05 2003-04-01 General Electric Company Method and apparatus for adapting imaging system operation based on pixel intensity histogram
US7956929B2 (en) * 2005-10-31 2011-06-07 Broadcom Corporation Video background subtractor system
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
JP2011199716A (ja) * 2010-03-23 2011-10-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060232583A1 (en) * 2000-03-28 2006-10-19 Michael Petrov System and method of three-dimensional image capture and modeling
EP1149617B1 (en) * 2000-04-28 2007-01-24 Konami Computer Entertainment Japan Inc. Game system, judgment table producing method, and computer-readable storage medium carrying game program
WO2009116208A1 (ja) * 2008-03-18 2009-09-24 富士通株式会社 画像補正プログラム、画像補正装置および画像補正方法
US20110025825A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene

Also Published As

Publication number Publication date
US8693727B2 (en) 2014-04-08
TW201304529A (zh) 2013-01-16
US20130016878A1 (en) 2013-01-17

Similar Documents

Publication Publication Date Title
TWI472224B (zh) 影像處理裝置及其影像處理方法
JP2013257686A5 (zh)
TWI640199B (zh) 影像擷取裝置及其攝影構圖的方法
KR101595124B1 (ko) 분리된 화상들로부터 하나의 결합된 화상을 생성하기 위한 방법과 그를 이용한 장치
JP5293206B2 (ja) 画像検索装置、画像検索方法及びプログラム
CN107395957B (zh) 拍照方法、装置、存储介质及电子设备
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
US10348958B2 (en) Image processing apparatus for performing predetermined processing on a captured image
JP2010171797A (ja) 撮像装置及びプログラム
CN104486544B (zh) 一种全景照片的拍摄方法及装置
JP5880135B2 (ja) 検出装置、検出方法及びプログラム
WO2016011861A1 (zh) 物体运动轨迹的拍摄方法及拍摄终端
US9767587B2 (en) Image extracting apparatus, image extracting method and computer readable recording medium for recording program for extracting images based on reference image and time-related information
CN104539842B (zh) 智能拍照方法及拍照装置
JP5928902B2 (ja) 画像処理装置、及びプログラム
CN102883101A (zh) 影像处理装置及其影像处理方法
TWI445396B (zh) 電子裝置、影像擷取裝置及其方法
TWI516120B (zh) 產生全景影像的方法及其影像擷取裝置
TWI459806B (zh) 電子裝置、影像擷取裝置及其方法
JP5967422B2 (ja) 撮像装置及び撮像処理方法並びにプログラム
JP2016036081A (ja) 画像処理装置、方法及びプログラム並びに記録媒体
JP2009068935A (ja) ステレオ計測装置、ステレオ計測方法、及び、ステレオ計測処理プログラム
JPWO2006016461A1 (ja) 撮像装置
TWI569641B (zh) 影像擷取方法及電子裝置
JP5370577B2 (ja) 構図選択装置及びプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees