TWI749365B - 移動影像整合方法及移動影像整合系統 - Google Patents

移動影像整合方法及移動影像整合系統 Download PDF

Info

Publication number
TWI749365B
TWI749365B TW108132251A TW108132251A TWI749365B TW I749365 B TWI749365 B TW I749365B TW 108132251 A TW108132251 A TW 108132251A TW 108132251 A TW108132251 A TW 108132251A TW I749365 B TWI749365 B TW I749365B
Authority
TW
Taiwan
Prior art keywords
image
moving area
area image
moving
moving object
Prior art date
Application number
TW108132251A
Other languages
English (en)
Other versions
TW202111661A (zh
Inventor
楊朝勛
詹尚倫
吳俊樟
陳世澤
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW108132251A priority Critical patent/TWI749365B/zh
Priority to US16/745,258 priority patent/US11270442B2/en
Publication of TW202111661A publication Critical patent/TW202111661A/zh
Application granted granted Critical
Publication of TWI749365B publication Critical patent/TWI749365B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

移動影像整合方法包含擷取原始影像;依據原始影像,利用移動偵測器偵測第一移動區域影像及第二移動區域影像;依據第一移動區域影像及第二移動區域影像的相對位置,選擇性地將第一移動區域影像及第二移動區域影像合併,以產生移動物件影像;及依據移動物件影像,由原始影像裁切出對應移動物件影像的子影像。移動物件影像的範圍大於等於第一移動區域影像與第二移動區域影像之兩範圍之總和。第一移動區域影像、第二移動區域影像及移動物件影像係為多邊形影像。

Description

移動影像整合方法及移動影像整合系統
本案描述一種移動影像整合方法及移動影像整合系統,尤指一種選擇性地將多個移動區域影像合併,以產生完整之移動物件影像的移動影像整合方法及移動影像整合系統。
隨著科技日新月異,許多具有影像監控功能的消費性產品可提供雲端辨識功能。例如,智慧型手機或是網路攝影機可利用雲端網路的運算資源而監控周遭環境。由於智慧型手機或是網路攝影機需要將影像資料傳送至雲端伺服器以執行雲端辨識功能,故影像資料的傳輸頻寬以及解析度會變成雲端辨識功能之運時時間以及運算複雜度的影響因素。
在目前的雲端辨識功能之技術中,高畫質的影像會導致更佳的辨識結果,但也需要更多的傳輸與運算成本。換句話說,由於雲端伺服器必須透過網路接收影像資料,故當影像資料的傳輸次數增加或是發生網路擁塞(Network Congestion)的情況時,雲端伺服器會將其硬體資源分配於資料通訊而導致無法即時執行雲端辨識功能。在利用雲端辨識功能辨識移動中的物體時(稱為動作偵測,Motion Detection),若移動中的物體只有一部分被偵測到,會因影像完整性不足而辨識失敗(或是發生無效辨識的結果)。並且,雲端伺服器也可能對相同的 物體進行多次的重複辨識,增加無謂的辨識次數。
本案一實施例提出一種移動影像整合方法。移動影像整合方法包含擷取原始影像,依據原始影像,利用移動偵測器偵測第一移動區域影像及第二移動區域影像,依據第一移動區域影像及第二移動區域影像的相對位置,選擇性地將第一移動區域影像及第二移動區域影像合併,以產生移動物件影像,及依據移動物件影像,由原始影像裁切出對應移動物件影像的子影像。移動物件影像的範圍大於等於第一移動區域影像與第二移動區域影像之兩範圍之總和。第一移動區域影像、第二移動區域影像及移動物件影像係為多邊形影像。
本案一實施例提出一種移動影像整合系統。移動影像整合系統包含影像擷取裝置、移動偵測器、記憶體及處理器。影像擷取裝置用以擷取原始影像。移動偵測器耦接於影像擷取裝置。記憶體用以緩存影像資料。處理器耦接於移動偵測器及記憶體。影像擷取裝置擷取原始影像後,移動偵測器依據原始影像,偵測第一移動區域影像及第二移動區域影像,並將第一移動區域影像及第二移動區域影像緩存於記憶體中。處理器依據第一移動區域影像及第二移動區域影像的相對位置,選擇性地將第一移動區域影像及第二移動區域影像合併,以產生移動物件影像。處理器依據移動物件影像,由原始影像裁切出對應移動物件影像的子影像。移動物件影像的範圍大於等於第一移動區域影像與第二移動區域影像之兩範圍之總和。第一移動區域影像、第二移動區域影像及移動物件影像係為多邊形影像。
100:移動偵測系統
10:影像擷取裝置
11:移動偵測器
12:記憶體
13:處理器
IMG1:原始影像
Obj1及Obj1’:第一移動物件
Obj2及Obj2’:第二移動物件
IMG2:移動偵測影像
ObjIMG1:第一移動區域影像
ObjIMG2:第二移動區域影像
A、B及C:頂點
H1、H2及H3:高度
W1、W2及W3:寬度
C1:第一中心點
C2:第二中心點
F1:第一垂足點
F2:第二垂足點
L:基準線
D:距離
ObjIMG3:移動物件影像
△W:第一重疊長度
△H:第二重疊長度
SIMG:子影像
S901至S904:步驟
第1圖係為本案之移動影像整合系統之實施例的方塊圖。
第2圖係為第1圖的移動影像整合系統中,移動偵測器由原始影像中偵測移動物件的示意圖。
第3圖係為第1圖的移動影像整合系統中,移動偵測器產生包含第一移動區域影像及第二移動區域影像之移動偵測影像的示意圖。
第4圖係為第1圖的移動影像整合系統中,判斷第一移動區域影像及第二移動區域影像是否合併的示意圖。
第5圖係為第1圖的移動影像整合系統中,將第一移動區域影像及第二移動區域影像合併,以取得的移動物件影像之範圍的示意圖。
第6圖係為第1圖的移動影像整合系統中,將第一移動區域影像及第二移動區域影像合併的第一種模式的示意圖。
第7圖係為第1圖的移動影像整合系統中,將第一移動區域影像及第二移動區域影像合併的第二種模式的示意圖。
第8圖係為第1圖的移動影像整合系統中,由原始影像裁切出對應移動物件影像之範圍的子影像的示意圖。
第9圖係為第1圖的移動影像整合系統執行移動影像整合方法的流程圖。
第1圖係為本案之移動影像整合系統100之實施例的方塊圖。移動影像整合系統100包含影像擷取裝置10、移動偵測器(Motion Detector)11、記憶體12及處理器13。影像擷取裝置10用以擷取原始影像。影像擷取裝置10可為任何具有感光功能的裝置,如相機、錄影機等等。移動偵測器11耦接於影像擷取裝置10。移動偵測器11可用影像幀差(Frame Difference)程序偵測移動物件影像。影像幀差程序可將兩幀或多幀的影像進行比對,以取得每一個物件影像的座標偏 移,進而偵測移動物件的存在性。移動偵測器11也可用背景模型(Background Modeling)建立程序,以偵測移動物件影像。背景模型建立程序可利用數個影像幀,先產生固定物件所組成的背景模型,再利用畫素的色調差距偵測移動物件的存在性以及範圍。然而,本案非侷限移動偵測器11偵測移動物件的方法。記憶體12用以緩存影像資料。記憶體12可為硬碟、隨機存取記憶體或是快閃記憶體等任何資料緩存裝置。處理器13耦接於移動偵測器11及記憶體12。在移動影像整合系統100中,影像擷取裝置10擷取原始影像後,移動偵測器11可依據原始影像,偵測第一移動區域影像及第二移動區域影像,並透過處理器13將第一移動區域影像及第二移動區域影像緩存於記憶體12中。為了降低無謂的偵測次數以及提升偵測的精確度,處理器13可依據第一移動區域影像及第二移動區域影像的相對位置,選擇性地將第一移動區域影像及第二移動區域影像合併,以產生移動物件影像。換句話說,移動物件影像的範圍大於等於第一移動區域影像與第二移動區域影像之兩範圍之總和。接著,處理器13可依據移動物件影像,由原始影像裁切出對應移動物件影像之範圍的子影像。最後,處理器13可以偵測子影像的內容,以產生偵測結果。在移動影像整合系統100中,第一移動區域影像、第二移動區域影像及移動物件影像可為多邊形影像,例如矩形的影像。 移動影像整合系統100將不同的物件影像進行合併以增加偵測效率的方法於後文詳述。
第2圖係為移動影像整合系統100中,移動偵測器11由原始影像IMG1中偵測移動物件的示意圖。在移動影像整合系統100中,影像擷取裝置10可以產生原始影像IMG1。原始影像IMG1中可包含多個移動物件以及多個非移動物件。 舉例而言,在第2圖中,原始影像IMG1可為對應辦公室的場景。在辦公室中走動的人即為移動物件。在辦公室中固定的桌椅即為非移動物件。然而,應當理解的是,人類在走動時,所有肢體的擺動幅度及其色調變化均不同。因此,移 動偵測器11未必能偵測到「完整」的人類輪廓。例如,在第2圖中,人類在走動時,上身以及雙手的擺動幅度及其色調變化特別明顯,因此移動偵測器11可判斷人類的上身以及雙手為第一移動物件Obj1。並且,人類在走動時,小腿的擺動幅度及其色調變化也特別明顯,因此移動偵測器11可判斷人類的小腿為第二移動物件Obj2。然而,人類在走動時,大腿的擺動幅度及其色調變化不是特別明顯,特別是穿著單色調的褲子。因此,移動偵測器11判斷人類的大腿為非移動物件。換句話說,在第2圖中,雖然實際上存在一個「完整的」人類影像走路的畫面,然而,由於人類所有肢體的擺動幅度及其色調變化的差異性,移動偵測器11可能僅會偵測到「部分的」人類影像,如第一移動物件Obj1及第二移動物件Obj2。因此,為了避免增加無謂的辨識次數,移動影像整合系統100會將第一移動物件Obj1及第二移動物件Obj2對應的兩區域影像進行影像處理,其細節描述於下。
第3圖係為移動影像整合系統100中,移動偵測器11產生包含第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2之移動偵測影像IMG2的示意圖。移動偵測器11可用雙色調記錄第一移動物件Obj1及第二移動物件Obj2的範圍,說明如下。在影像擷取裝置10將原始影像IMG輸入至移動偵測器11後,移動偵測器11可將原始影像IMG1分為第一移動區域影像ObjIMG1、第二移動區域影像ObjIMG2及背景影像。第一移動區域影像ObjIMG1內包含第一移動物件Obj1(為了避免混淆,於此稱為第一移動物件Obj1’)。第二移動區域影像ObjIMG2內包含第二移動物件Obj2(為了避免混淆,於此稱為第二移動物件Obj2’)。並且,第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2可屬於兩前景影像(Foreground Image)。第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2具有第一灰階度,如白色。背景影像具有第二灰階度,如黑色。背景影像對應非移動物件且為單一色調,故背景影像的細節將會被屏蔽。然而,移動偵測器 11的資訊記錄方式也非限定於第3圖中使用黑白兩色的畫素資訊記錄方式。移動偵測器11使用任何合理的電磁記錄方式均屬於本案所揭露的範疇。並且,第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2的邊界可依據第一移動物件Obj1’及第二移動物件Obj2’的輪廓決定。移動物件的範圍越大,框選出的移動區域影像的範圍也越大。相反的,移動物件的範圍越小,框選出的移動區域影像的範圍也越小。
並且,移動影像整合系統100之記憶體12可用以緩存影像資料。影像資料為數位化的影像資料。舉例而言,移動偵測器11所產生的第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2的範圍以及位置可用數位資料的形式存入記憶體12中,說明如下。在第3圖中,處理器13可以取得第一移動物件影像ObjIMG1之矩形範圍任一個頂點的二維座標,如左上頂點A的座標A(x1,y1)。並且,處理器13還可取得第一移動物件影像ObjIMG1之矩形範圍的寬度W1及高度H1。換句話說,第一移動物件影像ObjIMG1之矩形範圍以及位置可被數位化為頂點A的座標A(x1,y1)、寬度W1及高度H1。這些數位資料將會緩存於記憶體12中。類似地,處理器13可以取得第二移動物件影像ObjIMG2之矩形範圍任一個頂點的二維座標,如左上頂點B的座標B(x2,y2)。並且,處理器13還可取得第二移動物件影像ObjIMG2之矩形範圍的寬度W2及高度H2。換句話說,第二移動物件影像ObjIMG2之矩形範圍以及位置可被數位化為頂點B的座標B(x2,y2)、寬度W2及高度H2。這些數位資料將會緩存於記憶體12中。
第4圖係為移動影像整合系統100中,判斷第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2是否合併的示意圖。首先,處理器13可取得一條基準線L。基準線L可為相對於地表的水平線或垂直線。接著,處理器13可取得第一移動區域影像ObjIMG1的第一中心點C1,以及第二移動區域影像ObjIMG2的第二中心點C2。依據基準線L及第一中心點C1,處理器13可取得第一 中心點C1於基準線L上的第一垂足點(Perpendicular Foot Point)F1。依據基準線L及第二中心點C2,處理器13可取得第二中心點C2於基準線L上的第二垂足點F2。處理器13可進一步取得第一垂足點F1及第二垂足點F2的距離D。根據距離D,處理器13可判斷以及量化第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2的相對位置。在第4圖中,第一垂足點F1及第二垂足點F2的距離D相關於第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2的分離程度。第一垂足點F1及第二垂足點F2的距離D越大,表示第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2的分離程度較大。第一垂足點F1及第二垂足點F2的距離D越小,表示第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2的分離程度較小。
為了判斷第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2是否屬於同一個移動物件,處理器13可預先設定一個門檻值。門檻值可為與原始影像IMG1之尺寸比例相關的自訂值。例如,原始影像IMG1的尺寸為M×N(畫素)時,門檻值可設定為N/32~N/16範圍內的數值,以偵測人形影像。處理器13可以比較門檻值與第一垂足點F1及第二垂足點F2的距離D,以選擇性地將第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2合併。舉例而言,當第一垂足點F1及第二垂足點F2的距離D小於等於門檻值,表示第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2屬於同一個移動物件。因此,處理器13可將第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2合併,以產生移動物件影像。反之,當第一垂足點F1及第二垂足點F2的距離D大於門檻值,表示第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2非屬於同一個移動物件。因此,處理器13將維持第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2的分離狀態。
第5圖係為移動影像整合系統100中,將第一移動區域影像ObjIMG1 及第二移動區域影像ObjIMG2合併,以取得的移動物件影像ObjIMG3之範圍的示意圖。如前述提及,當第一垂足點F1及第二垂足點F2的距離D小於等於門檻值,處理器13可將第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2合併,以產生移動物件影像ObjIMG3。因此,移動物件影像ObjIMG3的範圍包含第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2的範圍。並且,當距離D大於零時,移動物件影像ObjIMG3的範圍會大於第一移動區域影像ObjIMG1與第二移動區域影像ObjIMG2之兩範圍之總和。因此,在後續依據移動物件影像ObjIMG3的範圍將原始影像IMG1進行裁切的步驟中,由於引入額外的畫素資訊以將對應不同動作之第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2連接,故可增加影像偵測以及影像辨識的效率。將第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2合併的細節描述於下。
第6圖係為移動影像整合系統100中,將第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2合併的第一種模式的示意圖。第7圖係為移動影像整合系統100中,將第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2合併的第二種模式的示意圖。在第6圖中,第一移動區域影像ObjIMG1為寬度W1及高度H1的矩形。第二移動區域影像ObjIMG2為寬度W2及高度H2的矩形。若第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2於第一軸向上(如X軸向上)具有第一重疊長度△W,則移動物件影像ObjIMG3於第一軸向上的長度W3等於第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2於第一軸向上的總長度(W1+W2)減去第一重疊長度△W。換句話說,在第6圖中,移動物件影像ObjIMG3為寬度W3=W1+W2-△W及高度H3的矩形。並且,如第3圖所示,若第一移動區域影像ObjIMG1之左上頂點A之座標為A(x1,y1),且第二移動區域影像ObjIMG2之左上頂點B之座標為B(x2,y2),第6圖中移動物件影像ObjIMG3之左上頂點C之座標為C(x3,y3)可表示為C(x3,y3)=(min{x1,x2},max{y1,y2})。
類似地,在第7圖中,第一移動區域影像ObjIMG1為寬度W1及高度H1的矩形。第二移動區域影像ObjIMG2為寬度W2及高度H2的矩形。若第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2於第二軸向上(如Y軸向上)具有第二重疊長度△H,則移動物件影像ObjIMG3於第二軸向上的長度H3等於第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2於第二軸向上的總長度(H1+H2)減去第二重疊長度△H。換句話說,在第7圖中,移動物件影像ObjIMG3為寬度W3及高度H3=H1+H2-△H的矩形。並且,如第3圖所示,若第一移動區域影像ObjIMG1之左上頂點A之座標為A(x1,y1),且第二移動區域影像ObjIMG2之左上頂點B之座標為B(x2,y2),第7圖中移動物件影像ObjIMG3之左上頂點C之座標為C(x3,y3)可表示為C(x3,y3)=(min{x1,x2},max{y1,y2})。
因此,依據第6圖以及第7圖,假設第一移動區域影像ObjIMG1之左上頂點A之座標為A(x1,y1),為寬度W1及高度H1的矩形。第二移動區域影像ObjIMG2之左上頂點B之座標為B(x2,y2),為寬度W2及高度H2的矩形。第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2於第一軸向上(如X軸向上)具有第一重疊長度△W。第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2於第二軸向上(如Y軸向上)具有第二重疊長度△H。當第一移動區域影像ObjIMG1與第二移動區域影像ObjIMG2合併後,所產生的移動物件影像ObjIMG3具有以下特性:
1.移動物件影像ObjIMG3之左上頂點C之座標為C(x3,y3)可表示為C(x3,y3)=(min{x1,x2},max{y1,y2})。
2.移動物件影像ObjIMG3之寬度W3可表示為W3=W1+W2-△W。
3.移動物件影像ObjIMG3之高度H3可表示為H3=H1+H2-△H。
並且,移動物件影像ObjIMG3之頂點C的座標C(x3,y3)、寬度W3及高度H3也可被緩存於記憶體12中。
第8圖係為移動影像整合系統100中,由原始影像IMG1裁切出對應移動物件影像ObjIMG3之範圍的子影像SIMG的示意圖。在前述步驟中,移動物件影像ObjIMG3之頂點C、寬度W3及高度H3可被產生,因此,處理器13可獲取移動物件影像ObjIMG3的位置以及範圍訊息。接著,處理器13可依依據移動物件影像ObjIMG3的位置以及範圍訊息,由原始影像IMG1裁切出子影像SIMG。應當理解的是,雖然移動偵測器11起初偵測第一移動物件Obj1及第二移動物件Obj2為兩個「獨立」的移動物件。第一移動物件Obj1及第二移動物件Obj2僅包含一小部分的人形資訊。然而,由原始影像IMG1裁切出的子影像SIMG不僅包含了第一移動物件Obj1及第二移動物件Obj2,也包含了額外的影像資訊。換句話說,第一移動物件Obj1及第二移動物件Obj2之間相連的動作影像資訊也會在子影像SIMG之中。因此,在第8圖中,由於子影像SIMG包含大部分的人形影像資訊,故可增加處理器13的辨識精確度,並也可以避免對相同的物體進行多次的重複辨識。
第9圖係為移動影像整合系統100執行移動影像整合方法的流程圖。移動影像整合方法的流程包含步驟S901至步驟S904。任何合理的技術變更都屬於本案所揭露的範疇。步驟S901至步驟S904描述於下:步驟S901:擷取原始影像IMG1;步驟S902:依據原始影像IMG1,利用移動偵測器11偵測第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2;步驟S903:依據第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2的相對位置,選擇性地將第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG1合併,以產生移動物件影像ObjIMG3;步驟S904:依據移動物件影像ObjIMG3,由原始影像IMG1裁切出對應移 動物件影像ObjIMG3的子影像SIMG。
步驟S901至步驟S904的細節已於前文說明,故於此將不再贅述。並且,移動影像整合系統100執行移動影像整合方法的流程也可以加入一些額外的影像處理步驟。舉例而言,移動影像整合系統100可以加入至少一種影像處理程序,如對第一移動區域影像ObjIMG1及第二移動區域影像ObjIMG2的畫素進行侵蝕處理(Erosion Process)、膨脹處理(Dilation Process)、連通處理(Connected Component Process)。移動影像整合系統100也可以依比例調整第一移動區域影像ObjIMG1、第二移動區域影像ObjIMG2、移動物件影像ObjIMG3及/或子影像SIMG的尺寸,以平衡移動影像整合系統100執行影像處理的計算複雜度。在移動影像整合系統100中,藉由利用步驟S901至步驟S904,在移動偵測器11僅偵測到一些不完整之動態物件的影像後,移動影像整合系統100會擷取這些不完整之動態物件的影像之間的連接畫素資訊。因此,由於移動影像整合系統100最後擷取的子影像中,包含較為完整的動態物件資訊,故移動影像整合系統100也可提供較高的辨識準確度。
並且,移動影像整合系統100之處理器13可以用類神經網路來偵測及辨識移動物件。例如,處理器13可包含卷積神經網路(Convolutional Neural Networks,CNN)的人形偵測器。處理器13內的類神經網路可依據偵測類別進行訓練(Training)。並且,類神經網路被訓練後,處理器13即可具有判斷子影像SIMG是否包含對應偵測類別之移動物件的能力。因此,在處理器13獲取子影像SIMG的資訊後,可利用已訓練的類神經網路對子影像SIMG進行分析,以判斷子影像SIMG是否包含對應偵測類別之移動物件,如人形的移動偵測物件。並且,第4圖中之基準線L也可以依據不同的偵測類別而有所調整。舉例而言,當移動影像整合系統100的偵測類別被設定為人形偵測時,基準線L可與地表平行。當移動影像整合系統100的偵測類別被設定為車輛偵測時,基準線L可與地表垂直。移 動影像整合系統100中任何合理的技術變更都屬於本案所揭露的範疇。
綜上所述,本案描述一種移動影像整合方法及移動影像整合系統,具有提升偵測效率的功效。移動影像整合系統利用移動偵測器對原始影像進行初步的移動物件影像偵測。移動偵測器未必能偵測到完整的移動物件影像,可能僅偵測出多個不完整的移動物件影像。為了避免增加無謂的辨識次數,移動影像整合系統可判斷是否要將多個不完整的移動物件影像合併,以最大化選擇影像範圍的方式產生完整的移動物件影像。由於移動影像整合系統可以產生完整的移動物件影像,故移動影像整合系統可提供較高的辨識準確度。
以上所述僅為本案之較佳實施例,凡依本案申請專利範圍所做之均等變化與修飾,皆應屬本案之涵蓋範圍。
100:移動偵測系統
10:影像擷取裝置
11:移動偵測器
12:記憶體
13:處理器

Claims (9)

  1. 一種移動影像整合方法,包含:擷取一原始影像;依據該原始影像,利用一移動偵測器偵測一第一移動區域影像及一第二移動區域影像;依據該第一移動區域影像及該第二移動區域影像的相對位置,選擇性地將該第一移動區域影像及該第二移動區域影像合併,以產生一移動物件影像;取得一基準線;取得該第一移動區域影像的一第一中心點;取得該第二移動區域影像的一第二中心點;取得該第一中心點於該基準線上的一第一垂足點;取得該第二中心點於該基準線上的一第二垂足點;依據該第一垂足點及該第二垂足點的一距離,判斷該第一移動區域影像及該第二移動區域影像的相對位置;及依據該移動物件影像與該第一移動區域影像及該第二移動區域影像的相對位置,由該原始影像裁切出對應該移動物件影像的一子影像;其中該移動物件影像的一範圍大於等於該第一移動區域影像與該第二移動區域影像之兩範圍之總和,且該第一移動區域影像、該第二移動區域影像及該移動物件影像係為多邊形影像。
  2. 如請求項1所述之方法,其中依據該原始影像,利用該移動偵測器偵測該第一移動區域影像及該第二移動區域影像包含:將該原始影像輸入至該移動偵測器;及該移動偵測器將該原始影像分為該第一移動區域影像、該第二移動區域影像及 一背景影像;其中該第一移動區域影像及該第二移動區域影像屬於兩前景影像(Foreground Image)。
  3. 如請求項2所述之方法,其中該前景影像具有一第一灰階度,該背景影像具有一第二灰階度,且該第一灰階度與該第二灰階度不同。
  4. 如請求項1所述之方法,其中該基準線係為相對於一地表的一水平線或一垂直線。
  5. 如請求項1所述之方法,另包含:設定一門檻值;及比較該門檻值與該第一垂足點及該第二垂足點的該距離,以選擇性地將該第一移動區域影像及該第二移動區域影像合併。
  6. 如請求項5所述之方法,其中若該第一垂足點及該第二垂足點的該距離小於等於該門檻值,將該第一移動區域影像及該第二移動區域影像合併,以產生該移動物件影像,且該門檻值係為與該原始影像之一尺寸比例相關的一自訂值。
  7. 如請求項1所述之方法,其中若該第一移動區域影像及該第二移動區域影像於一第一軸向上具有一第一重疊長度,該移動物件影像於該第一軸向上的一長度等於該第一移動區域影像及該第二移動區域影像於該第一軸向上的一總長度減去該第一重疊長度。
  8. 如請求項1所述之方法,其中若該第一移動區域影像及該第二移動區域影像於一第二軸向上具有一第二重疊長度,該移動物件影像於該第二軸向上的一長度等於該第一移動區域影像及該第二移動區域影像於該第二軸向上的一總長度減去該第二重疊長度。
  9. 一種移動影像整合系統,包含:一影像擷取裝置,用以擷取一原始影像;一移動偵測器,耦接於該影像擷取裝置;一記憶體,用以緩存影像資料;及一處理器,耦接於該移動偵測器及該記憶體;其中該影像擷取裝置擷取該原始影像後,該移動偵測器依據該原始影像,偵測一第一移動區域影像及一第二移動區域影像,並將該第一移動區域影像及該第二移動區域影像緩存於該記憶體中,該處理器依據該第一移動區域影像及該第二移動區域影像的相對位置,選擇性地將該第一移動區域影像及該第二移動區域影像合併,以產生一移動物件影像,該處理器取得一基準線,該處理器取得該第一移動區域影像的一第一中心點,該處理器取得該第二移動區域影像的一第二中心點,該處理器取得該第一中心點於該基準線上的一第一垂足點,該處理器取得該第二中心點於該基準線上的一第二垂足點,該處理器依據該第一垂足點及該第二垂足點的一距離,判斷該第一移動區域影像及該第二移動區域影像的相對位置,並依據該移動物件影像與該第一移動區域影像及該第二移動區域影像的相對位置,由該原始影像裁切出對應該移動物件影像的一子影像,該移動物件影像的一範圍大於等於該第一移動區域影像與該第二移動區域影像之兩範圍之總和,且該第 一移動區域影像、該第二移動區域影像及該移動物件影像係為多邊形影像。
TW108132251A 2019-09-06 2019-09-06 移動影像整合方法及移動影像整合系統 TWI749365B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108132251A TWI749365B (zh) 2019-09-06 2019-09-06 移動影像整合方法及移動影像整合系統
US16/745,258 US11270442B2 (en) 2019-09-06 2020-01-16 Motion image integration method and motion image integration system capable of merging motion object images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108132251A TWI749365B (zh) 2019-09-06 2019-09-06 移動影像整合方法及移動影像整合系統

Publications (2)

Publication Number Publication Date
TW202111661A TW202111661A (zh) 2021-03-16
TWI749365B true TWI749365B (zh) 2021-12-11

Family

ID=74850153

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108132251A TWI749365B (zh) 2019-09-06 2019-09-06 移動影像整合方法及移動影像整合系統

Country Status (2)

Country Link
US (1) US11270442B2 (zh)
TW (1) TWI749365B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI749365B (zh) * 2019-09-06 2021-12-11 瑞昱半導體股份有限公司 移動影像整合方法及移動影像整合系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201120807A (en) * 2009-12-10 2011-06-16 Ind Tech Res Inst Apparatus and method for moving object detection
CN102467738A (zh) * 2010-11-08 2012-05-23 北京大学 一种图像拼接方法及系统
US20140079319A1 (en) * 2012-09-20 2014-03-20 Htc Corporation Methods for enhancing images and apparatuses using the same
US20160171672A1 (en) * 2006-11-22 2016-06-16 Google Inc. Method for dynamic range editing
CN108230245A (zh) * 2017-12-26 2018-06-29 中国科学院深圳先进技术研究院 图像拼接方法、图像拼接装置及电子设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060159370A1 (en) * 2004-12-10 2006-07-20 Matsushita Electric Industrial Co., Ltd. Video retrieval system and video retrieval method
US8103134B2 (en) * 2008-02-20 2012-01-24 Samsung Electronics Co., Ltd. Method and a handheld device for capturing motion
JP5810296B2 (ja) * 2011-06-07 2015-11-11 パナソニックIpマネジメント株式会社 画像表示装置及び画像表示方法
JP5821610B2 (ja) * 2011-12-20 2015-11-24 富士通株式会社 情報処理装置、情報処理方法及びプログラム
US10133927B2 (en) * 2014-11-14 2018-11-20 Sony Corporation Method and system for processing video content
EP3285476A4 (en) * 2015-04-14 2018-09-19 Sony Corporation Image processing device, image processing method, and image processing system
JP6604019B2 (ja) * 2015-04-14 2019-11-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
US20170083766A1 (en) * 2015-09-23 2017-03-23 Behavioral Recognition Systems, Inc. Detected object tracker for a video analytics system
US11039044B2 (en) * 2017-03-06 2021-06-15 Innovative Signal Analysis, Inc. Target detection and mapping using an image acqusition device
US10878578B2 (en) * 2017-10-30 2020-12-29 Qualcomm Incorporated Exclusion zone in video analytics
US11310418B2 (en) * 2018-01-19 2022-04-19 Veo Technologies Aps Computer-implemented method for automated detection of a moving area of interest in a video stream of field sports with a common object of interest
JP7223978B2 (ja) * 2018-05-23 2023-02-17 パナソニックIpマネジメント株式会社 校正装置および校正方法
US20190088005A1 (en) * 2018-11-15 2019-03-21 Intel Corporation Lightweight View Dependent Rendering System for Mobile Devices
US11037303B2 (en) * 2019-01-31 2021-06-15 Sony Corporation Optical flow based detection and tracking of multiple moving objects in successive frames
TWI749365B (zh) * 2019-09-06 2021-12-11 瑞昱半導體股份有限公司 移動影像整合方法及移動影像整合系統
TWI749364B (zh) * 2019-09-06 2021-12-11 瑞昱半導體股份有限公司 移動偵測方法及移動偵測系統

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160171672A1 (en) * 2006-11-22 2016-06-16 Google Inc. Method for dynamic range editing
TW201120807A (en) * 2009-12-10 2011-06-16 Ind Tech Res Inst Apparatus and method for moving object detection
CN102467738A (zh) * 2010-11-08 2012-05-23 北京大学 一种图像拼接方法及系统
US20140079319A1 (en) * 2012-09-20 2014-03-20 Htc Corporation Methods for enhancing images and apparatuses using the same
CN108230245A (zh) * 2017-12-26 2018-06-29 中国科学院深圳先进技术研究院 图像拼接方法、图像拼接装置及电子设备

Also Published As

Publication number Publication date
US11270442B2 (en) 2022-03-08
US20210074002A1 (en) 2021-03-11
TW202111661A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
WO2020192483A1 (zh) 图像显示方法和设备
JP6942488B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
JP6030617B2 (ja) 画像処理装置および画像処理方法
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
KR20170047167A (ko) 전자 장치가 동영상의 얼굴의 인상을 변형하는 방법 및 그 전자 장치
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
TWI749364B (zh) 移動偵測方法及移動偵測系統
KR20070016849A (ko) 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치
KR20140095333A (ko) 영상에서 객체 추적 방법 및 장치
WO2023066120A1 (zh) 图像处理方法、装置、电子设备及存储介质
JP2017117244A (ja) カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法
CN112883940A (zh) 静默活体检测方法、装置、计算机设备及存储介质
JP2008288684A (ja) 人物検出装置及びプログラム
TWI749365B (zh) 移動影像整合方法及移動影像整合系統
JP7096175B2 (ja) オブジェクト抽出方法および装置
CN113516755A (zh) 图像处理方法、图像处理装置、电子设备和存储介质
JP5217917B2 (ja) 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム
US20220270337A1 (en) Three-dimensional (3d) human modeling under specific body-fitting of clothes
WO2020200082A1 (zh) 直播互动方法、装置、直播系统及电子设备
KR101909326B1 (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
CN112511764A (zh) 移动图像整合方法及移动图像整合系统
JP6120632B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2020115866A1 (ja) 深度処理システム、深度処理プログラムおよび深度処理方法