TWI733188B - 用於獨立物件之運動估計的裝置以及方法 - Google Patents

用於獨立物件之運動估計的裝置以及方法 Download PDF

Info

Publication number
TWI733188B
TWI733188B TW108132790A TW108132790A TWI733188B TW I733188 B TWI733188 B TW I733188B TW 108132790 A TW108132790 A TW 108132790A TW 108132790 A TW108132790 A TW 108132790A TW I733188 B TWI733188 B TW I733188B
Authority
TW
Taiwan
Prior art keywords
image
circuit
motion vector
flag
block
Prior art date
Application number
TW108132790A
Other languages
English (en)
Other versions
TW202112137A (zh
Inventor
傘光宇
王燕婷
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW108132790A priority Critical patent/TWI733188B/zh
Priority to US16/792,897 priority patent/US11122291B2/en
Publication of TW202112137A publication Critical patent/TW202112137A/zh
Application granted granted Critical
Publication of TWI733188B publication Critical patent/TWI733188B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種用於獨立物件之運動估計的裝置及方法。該裝置包含一劃分電路、一標幟電路、一分析電路、一計算電路以及一判斷電路。該劃分電路將第一影像以及第二影像中的每一者劃分成多個區塊；該標幟電路將該多個區塊中具有與背景資訊不同的影像資訊的區塊加上標幟；該分析電路分析該標幟的連續性以找出尺寸小於或等於預定尺寸的目標獨立物件；該計算電路依據該目標獨立物件於該第一影像以及該第二影像中的位置取得該目標獨立物件的初始運動向量；以及該判斷電路依據對應於該初始運動向量的絕對差值總和來判斷該初始運動向量是否正確。

Description

用於獨立物件之運動估計的裝置以及方法
本發明係關於運動估計(motion estimation)，尤指一種用於獨立物件(isolated object)之運動估計的裝置以及方法。
在某些需進行訊框(frame)率轉換的應用中，例如視頻解壓縮中的低訊框率至高訊框率之轉換運作，會透過運動估計與補償(motion estimation and motion compensation,MEMC)之相關技術來分析特定物件在一視頻中的運動行為。在常見的運動估計方法中，相較於小物件的運動估計，大物件(例如涵蓋大量的像素單元)的運動估計能取得較多的相關資訊，較利於往正確的運動向量(motion vector)收斂。相關技術提供了許多方法(例如全局搜索(full-search))來進行小物件的運動估計，然而這些方法需進行多次的比對，會需要設置大量的硬體資源，導致相關成本增加。
本發明之一目的在於提供一種用於獨立物件(isolated object)之運動估計的裝置以及方法，以在沒有副作用或較不會帶來副作用的情況下進行小物件的運動估計。
本發明至少一實施例提供一種用於獨立物件之運動估計(motion estimation)的裝置。該裝置包含一劃分電路、一標幟(flag)電路、一分析電路、一計算電路以及一判斷電路。該劃分電路可用來將一第一影像以及一第二影像 中的每一者劃分成多個區塊，其中該第一影像以及該第二影像為連續的兩個訊框的影像。該標幟電路耦接至該劃分電路，且可用來將該多個區塊中具有與背景資訊不同的影像資訊的每一區塊加上一標幟以找出一或多個獨立物件。該分析電路耦接至該標幟電路，且可用來分析該標幟於該第一影像以及該第二影像中的連續性以自該一或多個獨立物件中找出尺寸小於或等於一預定尺寸的一目標獨立物件。該計算電路耦接至該分析電路，且用來依據該目標獨立物件於該第一影像以及該第二影像中的位置取得該目標獨立物件的一初始運動向量。該判斷電路耦接至該計算電路，且可用來依據對應於該初始運動向量的一絕對差值總和(sum of absolute differences,SAD)來判斷該初始運動向量是否正確。
本發明至少一實施例提供一種用於獨立物件之運動估計的方法。該方法包含：利用一劃分電路將一第一影像以及一第二影像中的每一者劃分成多個區塊，其中該第一影像以及該第二影像為連續的兩個訊框的影像；利用一標幟電路將該多個區塊中具有與背景資訊不同的影像資訊的每一區塊加上一標幟以找出一或多個獨立物件；利用一分析電路分析該標幟於該第一影像以及該第二影像中的連續性以自該一或多個獨立物件中找出尺寸小於或等於一預定尺寸的一目標獨立物件；利用一計算電路來依據該目標獨立物件於該第一影像以及該第二影像中的位置取得該目標獨立物件的一初始運動向量；以及利用一判斷電路來依據對應於該初始運動向量的一絕對差值總和來判斷該初始運動向量是否正確。
本發明所提供的方法能使得小物件的運動向量被正確地收斂，且相較於相關技術，該方法的比對次數或計算量能被大幅地減少。因此，實施該方法的裝置或電路不會耗費大量的硬體資源，整體成本能被有效地減少。
10:運動估計電路
110:劃分電路
120:標幟電路
130:分析電路
140:計算電路
150:判斷電路
F(t-1)、F(t):影像
MV(t):運動向量
L(t-1)、S(t-1)、L(t)、S(t):物件影像
410、420、430、440、450:步驟
第1圖為依據本發明一實施例之用於獨立物件之運動估計的裝置的示意圖。
第2圖為依據本發明一實施例之連續兩個訊框的影像的示意圖。
第3圖為依據本發明一實施例之第2圖所示之影像中的大獨立物件被捨棄後的示意圖。
第4圖為依據本發明一實施例之用於獨立物件之運動估計的方法的工作流程。
第1圖為依據本發明一實施例之用於獨立物件(isolated object)之運動估計(motion estimation)的裝置(諸如運動估計電路10)的示意圖。如第1圖所示，運動估計電路10可包含一劃分電路110、一標幟電路120、一分析電路130、一計算電路140以及一判斷電路150，其中標幟電路120耦接至劃分電路110，分析電路130耦接至標幟電路120，計算電路140耦接至分析電路130，而判斷電路150耦接至計算電路140。在本實施例中，運動估計電路10可接收一視頻的連續多個訊框(frame)，並且依據該連續多個訊框的任兩個連續訊框進行於該視頻中的獨立物件的運動估計。在本實施例中，影像F(t-1)及F(t)可分別代表第t-1個及第t個訊框的影像，而運動向量MV(t)可代表一目標獨立物件於第t-1個與第t個訊框之間的運動向量，其中t為大於一的整數。
假設該視頻中出現了兩個獨立物件，分別為大獨立物件(諸如物件L)以及小獨立物件(諸如物件S)，其中物件L在影像F(t-1)及F(t)分別以物件影像L(t-1)及L(t)繪示，而物件S在影像F(t-1)及F(t)分別以物件影像S(t-1)及S(t)繪示，如第2圖所示。劃分電路110可將影像F(t-1)以及F(t)中的每一者劃分成M1×M2個區塊，其中該M1×M2個區塊中的每一區塊均包含N個像素。在本實施例中，M1及M2可為相同或相異的正整數，且N可為大於一的正整數。
接著，標幟電路120可將該M1×M2區塊中具有與背景資訊不同的影像資訊的每一區塊加上一標幟以找出一或多個獨立物件(例如物件L以及物件S)，其中標幟電路120可透過尋找連續相鄰的標幟來找出該一或多個獨立物件。例如，標幟電路120可因應上述每一區塊的色彩資訊異於上述每一區塊的至少一周圍區塊的色彩資訊，將上述每一區塊加上該標幟以找出該一或多個獨立物件。 為簡明起見，假設在影像F(t-1)中除了物件影像L(t-1)及S(t-1)以外的區域均為具有單一色彩的區域，且在影像F(t)中除了物件影像L(t)及S(t)以外的區域均為具有上述單一色彩的區域，其中上述單一色彩可被視為該背景資訊，而上述單一色彩的區域可被視為上述至少一周圍區域。標幟電路120可計算該M1×M2個區塊中的每一區塊中的N個像素的色彩資訊(例如灰階值)的平均值，以作為上述每一區塊的影像資訊，但本發明不限於此。由於物件影像L(t-1)及S(t-1)所涵蓋的區塊的影像資訊與背景資訊不同，影像F(t-1)中的這些區塊均會被加上標幟，標幟電路120可透過將連續相鄰的標幟視為單一物件來找出物件L以及物件S在影像F(t-1)中的位置；依此類推，物件L以及物件S在影像F(t)中的位置也可被找出來。
需注意的是，該背景資訊的取得方式不限於特定的影像處理方法，任何能辨識出一影像中的背景區域的影像處理方法均可用來定義上述背景資訊。例如，一影像處理器(可位於運動估計電路10的內部或是外部)可分析影像F(t-1)及F(t)中之每一者的全部像素的色彩資訊，以找出在這些像素中佔有率達到一臨界值(或者佔有率最高)的一特定色彩資訊，並且將該特定色彩資訊作為該背景資訊；又例如，一影像處理器可尋找影像F(t-1)及F(t)中之每一者中大量連續出現互相類似的色彩資訊的區域，並且將該區域中的色彩資訊進行平均以取得該背景資訊；但本發明不限於此。
接著，分析電路130可分析該標幟於影像F(t-1)及F(t)中的連續性以自該一或多個獨立物件中找出尺寸小於或等於一預定尺寸的一目標獨立物件。在 某些實施例中，若一獨立物件(例如物件L)大於一預定尺寸，該獨立物件可涵蓋一特定數量以上的區塊，而該獨立物件所涵蓋的區塊中的一區塊的運動向量通常與該區塊的周邊區塊的運動向量相關，此特性有利於在空間維度上正確地收斂該獨立物件的運動向量；此外，該獨立物件在兩訊框之間運動向量相同的區塊會有大面積的重疊，因此在時間維度上用於計算運動向量的參考區塊容易取得，因此可容易地得到正確的運動向量。因此，在相關技術中，尺寸大於該預定尺寸的獨立物件的運動向量是容易取得的，而本發明所提供的運動估計電路10則是針對尺寸小於該預定尺寸的獨立物件(例如物件S)來進行。因此，當該一或多個獨立物件中之一特定獨立物件對應的連續相鄰的標幟的數量大於一預定數量，分析電路130可捨棄(discard)/屏蔽(screen)該特定獨立物件。 假設物件影像L(t-1)在影像F(t-1)中涵蓋的區塊數量(物件影像L(t)在影像F(t)中涵蓋的區塊數量)大於該特定數量，分析電路130可捨棄物件影像L(t-1)以及L(t)，如第3圖所示，而後續的運作即不會對物件影像L(t-1)以及L(t)進行。
經過分析電路130的處理後，影像F(t-1)以及F(t)僅剩下尺寸小於或等於一預定尺寸的該目標獨立物件(例如物件S)，而該目標獨立物件在影像F(t-1)以及F(t)的位置可由物件影像S(t-1)於影像F(t-1)中所涵蓋的區塊的位置以及物件影像S(t)於影像F(t)中所涵蓋的區塊的位置來表示。具體來說，該目標獨立物件於影像F(t-1)中的位置是透過於影像F(t-1)中對應於該目標獨立物件的一第一區塊來表示，而該目標獨立物件於影像F(t)中的位置是透過於影像F(t)中對應於該目標獨立物件的一第二區塊來表示。例如，物件影像S(t-1)在影像F(t-1)中涵蓋了一或多個區塊(例如2×2個區塊)，而位於該一或多個區塊中的左上角的區塊的座標(例如座標(x0,y0))可用來代表物件S在影像F(t-1)中的位置；依此類推，物件影像S(t)在影像F(t)中涵蓋了一或多個區塊(例如2×2個區塊)，而位於該一或多個區塊中的左上角的區塊的座標(例如座標(x1,y1))可用來代表物件S在影 像F(t)中的位置。因此，計算電路140可依據物件S於F(t-1)以及F(t)中的位置取得物件S的一初始運動向量，例如(x1-x0,y1-y0)。
接著，判斷電路150可依據對應於初始運動向量MV0的一絕對差值總和(sum of absolute differences,SAD)來判斷初始運動向量MV0是否正確，其中該絕對差值總和可用來判斷計算初始運動向量MV0所使用的座標所對應到的區塊(影像F(t-1)的區塊B0(t-1)以及影像F(t)的區塊B0(t))中的物件影像是否匹配。 例如，判斷電路150可計算於影像F(t-1)中對應於座標(x0,y0)的區塊B0(t-1)中的多個像素之各自的灰階值與於影像F(t)中對應於座標(x1,y1)的區塊B0(t)中的多個相對應的像素之各自的灰階值的多個差值之各自的絕對值的總和以作為該絕對差值總和，但本發明不限於此。當初始運動向量MV0對應的絕對差值總和大於一臨界值，表示座標(x0,y0)在影像F(t-1)上所對應的區塊中的物件影像與座標(x1,y1)在影像F(t)上所對應的區塊中的物件影像不匹配，判斷電路150可判斷初始運動向量MV0是不正確的。該臨界值可以採用相關技術中使用全局搜索(full-search)對小物件進行運動估計與補償時所取得的絕對差值總和，但本發明不限於此。
舉例來說，假設物件影像S(t-1)僅涵蓋影像F(t-1)中的一個區塊諸如區塊B0(t-1)且物件影像S(t)僅涵蓋影像F(t)中的一個區塊諸如區塊B0(t)，若物件影像S(t-1)於區塊B0(t-1)中的位置與物件影像S(t)於區塊B0(t)中的位置不同，依據區塊B0(t-1)與B0(t)得到的絕對差值總和可能大於該臨界值，判斷電路150可判斷初始運動向量MV0是不正確的，表示此時依據區塊B0(t-1)與B0(t)得到的初始運動向量MV0不等於物件S於影像F(t-1)與F(t)之間的運動向量。當判斷電路150判斷初始運動向量MV0為不正確的，判斷電路150可施加一偏移量(offset)(例如以像素為單位施加的偏移量)於區塊B0(t-1)的位置或區塊B0(t)的位置(或是施加各自的偏移量於區塊B0(t-1)的位置以及區塊B0(t)的位置)以取得物件S的一調整 後運動向量MV1，並且依據對應於調整後運動向量MV1的一絕對差值總和來判斷調整後運動向量MV1是否正確。例如，在施加該偏移量之前，物件影像S(t-1)於區塊B0(t-1)中的位置與物件影像S(t)於區塊B0(t)中的位置不同，但在施加該偏移量以後，物件影像S(t-1)於調整後的區塊B1(t-1)中的位置與物件影像S(t)於調整後的區塊B1(t)中的位置能變為一致，此時依據區塊B1(t-1)於影像F(t-1)中的位置與區塊B1(t)於影像F(t)中的位置得到的調整後運動向量MV1可小於該臨界值，判斷電路150可判斷調整後運動向量MV1為正確的，表示此時依據區塊B1(t-1)與B1(t)得到的調整後運動向量MV1等於物件S於影像F(t-1)與F(t)之間的運動向量。
又例如，假設物件影像S(t-1)涵蓋影像F(t-1)中的多個區塊(區塊B0(t-1)為位於物件影像S(t-1)所涵蓋的該多個區塊中的左上角的區塊)且物件影像S(t)涵蓋影像F(t)中的多個區塊(區塊B0(t)為位於物件影像S(t)所涵蓋的該多個區塊中的左上角的區塊)，其中物件影像S(t-1)的邊緣位於區塊B0(t-1)中且物件影像S(t)的邊緣位於區塊B0(t)中。若物件影像S(t-1)的邊緣於區塊B0(t-1)中的位置與物件影像S(t)的邊緣於區塊B0(t)中的位置不同，判斷電路150可透過施加一偏移量於區塊B0(t-1)的位置或區塊B0(t)的位置(或是施加各自的偏移量於區塊B0(t-1)的位置以及區塊B0(t)的位置)以取得物件S於影像F(t-1)與F(t)之間之正確的運動向量。為簡明起見，與上述例子重複之細節在此不贅述。
再舉一例，假設物件影像S(t-1)涵蓋影像F(t-1)中的多個區塊(區塊B0(t-1)為位於物件影像S(t-1)所涵蓋的該多個區塊中的左上角的區塊)且物件影像S(t)涵蓋影像F(t)中的多個區塊(區塊B0(t)為位於物件影像S(t)所涵蓋的該多個區塊中的左上角的區塊)，其中物件影像S(t-1)的形狀與物件影像S(t)的形狀不完全相同(例如物件S在影像F(t-1)與F(t)之間的運動過程中發生微小形變)，此時依據B0(t-1)於影像F(t-1)中的位置與B0(t)於影像F(t)中的位置所得到的運動向量可能無法正確地代表物件S的整體在影像F(t-1)與F(t)之間的運動情形。在上述情況 下，判斷電路150可施加一偏移量或者選擇其他區塊(例如選擇物件影像S(t-1)於影像F(t-1)中所涵蓋的該多個區塊當中之異於區塊B0(t-1)的另一區塊，或是選擇物件影像S(t)於影像F(t)中所涵蓋的該多個區塊當中之異於區塊B0(t)的另一區塊)以收斂出正確的運動向量。
需注意的是，在以上例子中所述依據絕對差值總和收斂出正確的運動向量的方式並不限於特定流程。判斷電路150可疊代地進行絕對差值總和的判斷以及運動向量的調整，例如，判斷電路150可依據當下取得的運動向量(例如初始運動向量MV0)是否大於該臨界值來判斷是否施加一偏移量於區塊B0(t-1)的位置或區塊B0(t)的位置以取得調整後運動向量MV1，並且依據對應於調整後運動向量MV1的一絕對差值總和來判斷調整後運動向量MV1是否正確，因此，判斷電路150可透過疊代地進行上述運作(施加偏移量、計算運動向量、計算絕對差值總和)逐步地從初始運動向量往正確的運動向量收斂，直到一特定運動向量所對應的絕對差值總和小於該臨界值；或者，判斷電路150可基於初始運動向量MV0，在對應的區塊位置容許一範圍內的變動(例如影像F(t-1)中的座標(x0,y0)上的變動以及影像F(t)中的座標(x1,y1)上的變動)一併收集多個運動向量作為候選運動向量，並且計算該多個運動向量各自對應的絕對差值總和，選出對應於最小的絕對差值總和的運動向量作為最終的運動向量；但本發明不限於此。
第4圖為依據本發明一實施例之用於獨立物件之運動估計的方法的工作流程。需注意的是，第4圖所示之工作流程只是為了說明之目的，並非本發明的限制，因此一或多個步驟可在第4圖所示之工作流程中被新增、刪除或修改。此外，假若可得到相同的結果，這些步驟不一定要完全遵照第4圖所示的順序來執行。
在步驟410中，劃分電路110可將一第一影像以及一第二影像中的每一者劃分成多個區塊，其中該第一影像以及該第二影像為連續的兩個訊框的影 像諸如前述實施例中的影像F(t-1)以及F(t)。
在步驟420中，標幟電路120可將該多個區塊中具有與背景資訊不同的影像資訊的每一區塊加上一標幟以找出一或多個獨立物件，諸如前述實施例中的物件L以及物件S。
在步驟430中，分析電路130可分析該標幟於該第一影像以及該第二影像中的連續性以自該一或多個獨立物件中找出尺寸小於或等於一預定尺寸的一目標獨立物件，例如自物件L以及物件S中挑選出尺寸小於或等於該預定尺寸的物件S。
在步驟440中，計算電路140可依據該目標獨立物件於該第一影像以及該第二影像中的位置取得該目標獨立物件的一初始運動向量。
在步驟450中，判斷電路150可依據對應於該初始運動向量MV0的一絕對差值總和來判斷該初始運動向量是否正確。
總結來說，本發明提供一種用於獨立物件(尤指小獨立物件，例如上述實施例中的物件S)之運動估計的裝置以及方法。相較於相關技術中使用全局搜索的方式來針對小獨立物件進行運動估計，本發明需要的比對次數或計算量能被大幅地減少，使得整體成本能被有效地減少。另外，本發明能在一初始運動向量的基礎上以像素為單位作進一步的微調，確保了運動向量的正確性。 因此，本發明能在沒有副作用或較不會帶來副作用的情況下解決相關技術的問題。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
10:運動估計電路
110:劃分電路
120:標幟電路
130:分析電路
140:計算電路
150:判斷電路
F(t-1)、F(t):影像
MV(t):運動向量

Claims (10)

  1. 一種用於獨立物件(isolated object)之運動估計(motion estimation)的裝置，包含：一劃分電路，用來將一第一影像以及一第二影像中的每一者劃分成多個區塊，其中該第一影像以及該第二影像為連續的兩個訊框的影像；一標幟(flag)電路，耦接至該劃分電路，用來將該多個區塊中具有與背景資訊不同的影像資訊的每一區塊加上一標幟以找出一或多個獨立物件；一分析電路，耦接至該標幟電路，用來分析該標幟於該第一影像以及該第二影像中的連續性以自該一或多個獨立物件中找出尺寸小於或等於一預定尺寸的一目標獨立物件；一計算電路，耦接至該分析電路，用來依據該目標獨立物件於該第一影像以及該第二影像中的位置取得該目標獨立物件的一初始運動向量；以及一判斷電路，耦接至該計算電路，用來依據對應於該初始運動向量的一絕對差值總和(sum of absolute differences,SAD)來判斷該初始運動向量是否正確。
  2. 如申請專利範圍第1項所述之裝置，其中因應所述每一區塊的色彩資訊異於所述每一區塊的至少一周圍區塊的色彩資訊，該標幟電路將所述每一區塊加上該標幟。
  3. 如申請專利範圍第1項所述之裝置，其中該標幟電路透過尋找連續相鄰的標幟來找出該一或多個獨立物件。
  4. 如申請專利範圍第3項所述之裝置，其中當該一或多個獨立物件中之 一特定獨立物件對應的連續相鄰的標幟的數量大於一預定數量，該分析電路捨棄(discard)該特定獨立物件。
  5. 如申請專利範圍第1項所述之裝置，其中當對應於該初始運動向量的該絕對差值總和大於一臨界值，該初始運動向量是不正確的。
  6. 如申請專利範圍第1項所述之裝置，其中該目標獨立物件於該第一影像中的位置是透過於該第一影像中對應於該目標獨立物件的一第一區塊來表示，而該目標獨立物件於該第二影像中的位置是透過於該第二影像中對應於該目標獨立物件的一第二區塊來表示。
  7. 如申請專利範圍第6項所述之裝置，其中當該判斷電路判斷該初始運動向量為不正確的，該判斷電路施加一偏移量於該第一區塊的位置或該第二區塊的位置以取得該目標獨立物件的一調整後運動向量，並且依據對應於該調整後運動向量的一絕對差值總和來判斷該調整後運動向量是否正確。
  8. 一種用於獨立物件(isolated object)之運動估計(motion estimation)的方法，包含：利用一劃分電路將一第一影像以及一第二影像中的每一者劃分成多個區塊，其中該第一影像以及該第二影像為連續的兩個訊框的影像；利用一標幟(flag)電路將該多個區塊中具有與背景資訊不同的影像資訊的每一區塊加上一標幟以找出一或多個獨立物件；利用一分析電路分析該標幟於該第一影像以及該第二影像中的連續性以自該一或多個獨立物件中找出尺寸小於或等於一預定尺寸的一目標獨立 物件；利用一計算電路來依據該目標獨立物件於該第一影像以及該第二影像中的位置取得該目標獨立物件的一初始運動向量；以及利用一判斷電路來依據對應於該初始運動向量的一絕對差值總和(sum of absolute differences,SAD)來判斷該初始運動向量是否正確。
  9. 如申請專利範圍第8項所述之方法，其中利用該標幟電路將該多個區塊中具有與背景資訊不同的影像資訊的每一區塊加上該標幟以找出該一或多個獨立物件之步驟包含：因應所述每一區塊的色彩資訊異於所述每一區塊的至少一周圍區塊的色彩資訊，利用該標幟電路將所述每一區塊加上該標幟。
  10. 如申請專利範圍第8項所述之方法，其中利用該標幟電路將該多個區塊中具有與背景資訊不同的影像資訊的每一區塊加上該標幟以找出該一或多個獨立物件之步驟包含：利用該標幟電路透過尋找連續相鄰的標幟來找出該一或多個獨立物件。
TW108132790A 2019-09-11 2019-09-11 用於獨立物件之運動估計的裝置以及方法 TWI733188B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108132790A TWI733188B (zh) 2019-09-11 2019-09-11 用於獨立物件之運動估計的裝置以及方法
US16/792,897 US11122291B2 (en) 2019-09-11 2020-02-18 Apparatus and method for motion estimation of isolated objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108132790A TWI733188B (zh) 2019-09-11 2019-09-11 用於獨立物件之運動估計的裝置以及方法

Publications (2)

Publication Number Publication Date
TW202112137A TW202112137A (zh) 2021-03-16
TWI733188B true TWI733188B (zh) 2021-07-11

Family

ID=74850559

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108132790A TWI733188B (zh) 2019-09-11 2019-09-11 用於獨立物件之運動估計的裝置以及方法

Country Status (2)

Country Link
US (1) US11122291B2 (zh)
TW (1) TWI733188B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201026081A (en) * 2008-12-23 2010-07-01 Univ Nat Chiao Tung Method for image processing
TW201120807A (en) * 2009-12-10 2011-06-16 Ind Tech Res Inst Apparatus and method for moving object detection
US20120308144A1 (en) * 2011-06-01 2012-12-06 Sony Corporation Image processing device, image processing method, recording medium, and program
TW201633187A (zh) * 2015-03-06 2016-09-16 Qnap Systems Inc 視頻搜尋方法與系統
US20200007817A1 (en) * 2018-06-29 2020-01-02 Imagination Technologies Limited Image Component Detection

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3363039B2 (ja) * 1996-08-29 2003-01-07 ケイディーディーアイ株式会社 動画像内の移動物体検出装置
KR19990008977A (ko) * 1997-07-05 1999-02-05 배순훈 윤곽선 부호화 방법
EP0921684B1 (en) * 1997-12-02 2005-11-02 Daewoo Electronics Corporation Method and apparatus for encoding object information of a video object plane
JP4224748B2 (ja) * 1999-09-13 2009-02-18 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置
US6798424B2 (en) * 2000-07-06 2004-09-28 Fujitsu Limited Image processing method and apparatus and storage medium
JP4150949B2 (ja) * 2001-05-30 2008-09-17 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
CA2418810C (en) * 2001-06-15 2010-10-05 Sony Corporation Image processing apparatus and method and image pickup apparatus
JP3704515B2 (ja) * 2002-08-30 2005-10-12 Ｎｅｃアクセステクニカ株式会社 画像伸張装置及びその方法
KR100647957B1 (ko) * 2004-12-14 2006-11-23 엘지전자 주식회사 사전 기반 압축 방법을 이용한 연속된 이미지 압축 및복원 방법
KR100639995B1 (ko) * 2005-06-14 2006-10-31 한국전자통신연구원 블록 정합 기반의 고속 움직임 예측 장치 및 그 방법
JP4178480B2 (ja) * 2006-06-14 2008-11-12 ソニー株式会社 画像処理装置、画像処理方法、撮像装置および撮像方法
JP2008109632A (ja) * 2006-09-28 2008-05-08 Toshiba Corp 動きベクトル検出装置及びその方法
KR100814424B1 (ko) * 2006-10-23 2008-03-18 삼성전자주식회사 폐색영역 검출장치 및 검출방법
JP5393574B2 (ja) * 2010-04-08 2014-01-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2011259246A (ja) * 2010-06-09 2011-12-22 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2012133759A (ja) * 2010-11-29 2012-07-12 Canon Inc 侵入物体の検知を行うことができる物体追尾装置、物体追尾方法及び記憶媒体
US9104909B2 (en) * 2010-12-15 2015-08-11 Canon Kabushiki Kaisha Image processing apparatus and method of processing image
JP5713790B2 (ja) * 2011-05-09 2015-05-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US9443136B2 (en) * 2013-04-12 2016-09-13 Samsung Electronics Co., Ltd. Apparatus and method for detecting body parts from user image
JP2015002423A (ja) * 2013-06-14 2015-01-05 ソニー株式会社 画像処理装置、サーバ及び記憶媒体
US10078902B1 (en) * 2015-08-27 2018-09-18 Hrl Laboratories, Llc Fast robust method for compensating ego-translations and detecting independent moving objects in video captured with a moving camera
KR102659504B1 (ko) * 2017-02-03 2024-04-23 삼성전자주식회사 복수의 이미지들간의 변화에 기반하여 동영상을 촬영하는 전자 장치 및 그 제어 방법
EP3373249A1 (en) * 2017-03-08 2018-09-12 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO Method of detecting moving objects from a temporal sequence of images
JP6962365B2 (ja) * 2017-03-14 2021-11-05 コニカミノルタ株式会社 物体検出システム及びプログラム
EP3454254B1 (en) * 2017-09-07 2023-11-08 Canon Kabushiki Kaisha Image processing apparatus, image providing apparatus, control methods thereof, and program
US11004209B2 (en) * 2017-10-26 2021-05-11 Qualcomm Incorporated Methods and systems for applying complex object detection in a video analytics system
US11037303B2 (en) * 2019-01-31 2021-06-15 Sony Corporation Optical flow based detection and tracking of multiple moving objects in successive frames

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201026081A (en) * 2008-12-23 2010-07-01 Univ Nat Chiao Tung Method for image processing
TW201120807A (en) * 2009-12-10 2011-06-16 Ind Tech Res Inst Apparatus and method for moving object detection
US20120308144A1 (en) * 2011-06-01 2012-12-06 Sony Corporation Image processing device, image processing method, recording medium, and program
TW201633187A (zh) * 2015-03-06 2016-09-16 Qnap Systems Inc 視頻搜尋方法與系統
US20200007817A1 (en) * 2018-06-29 2020-01-02 Imagination Technologies Limited Image Component Detection

Also Published As

Publication number Publication date
TW202112137A (zh) 2021-03-16
US11122291B2 (en) 2021-09-14
US20210076065A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
CN109791695B (zh) 基于图像块的运动向量确定所述块的方差
JP2018088247A (ja) オブジェクトセグメンテーションのための前景マスク補正のための画像処理装置及び方法
CN106920245B (zh) 一种边界检测的方法及装置
JPH0799660A (ja) 動き補償予測装置
US8774276B2 (en) Image processing method for determining motion vectors of interpolated picture and related apparatus
KR20050089886A (ko) 배경 움직임 벡터 검출
JP2015095897A (ja) シーンから取得されたビデオを処理する方法
US20120113326A1 (en) System and method for detecting motion vectors in a recursive hierarchical motion estimation system using a non-rasterized scan
US8447126B2 (en) Image processing method and related apparatus
US7382899B2 (en) System and method for segmenting
KR20050012766A (ko) 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법
TWI394097B (zh) 移動物體的偵測方法以及偵測系統
US8611612B2 (en) Block matching method
TWI733188B (zh) 用於獨立物件之運動估計的裝置以及方法
KR100969420B1 (ko) 프레임 레이트 변환 방법
JP5059855B2 (ja) 大域的動き推定方法
JP3175914B2 (ja) 画像符号化方法および画像符号化装置
JP5824937B2 (ja) 動きベクトル導出装置および方法
JP4235855B2 (ja) 画像処理装置および方法、並びに記録媒体
RU2676029C1 (ru) Способ идентификации объекта в видеопотоке
Varekamp et al. Detection and correction of disparity estimation errors via supervised learning
US20210409577A1 (en) Motion compensation method and module, chip, electronic device and storage media
JP2014007658A (ja) 動きベクトル導出装置、方法およびプログラム
JPH03266580A (ja) 動ベクトル検出方式
CN114257756A (zh) 校正移动向量的视频处理方法