TWI524773B - 即時偵測一物件之偵測裝置、偵測方法及其電腦程式產品 - Google Patents

即時偵測一物件之偵測裝置、偵測方法及其電腦程式產品 Download PDF

Info

Publication number
TWI524773B
TWI524773B TW098135917A TW98135917A TWI524773B TW I524773 B TWI524773 B TW I524773B TW 098135917 A TW098135917 A TW 098135917A TW 98135917 A TW98135917 A TW 98135917A TW I524773 B TWI524773 B TW I524773B
Authority
TW
Taiwan
Prior art keywords
picture
original
microprocessor
converted
optimized
Prior art date
Application number
TW098135917A
Other languages
English (en)
Other versions
TW201116056A (en
Inventor
陳靜芳
王仁志
賴志群
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW098135917A priority Critical patent/TWI524773B/zh
Priority to US12/627,171 priority patent/US8373752B2/en
Publication of TW201116056A publication Critical patent/TW201116056A/zh
Application granted granted Critical
Publication of TWI524773B publication Critical patent/TWI524773B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

即時偵測一物件之偵測裝置、偵測方法及其電腦程式產品
本發明係關於一種偵測裝置、偵測方法及其電腦程式產品。具體而言，本發明係關於一種用以即時偵測一物件之偵測裝置、偵測方法及其電腦程式產品。
隨著數位化時代的到來，不管是音樂或是影像，也都從由透過類比訊號呈現，轉而為藉由數位訊號呈現，此轉變不但豐富了音樂或是影像之應用，更增加了許多電子產品之附加價值。以監視器為例，習知的類比訊號監視器僅能單純地捕捉影像以供使用者監視之用，但現在市面上的監視器由於數位化之結果，多半可與一運算裝置(例如個人電腦或是SOC裝置)搭配使用，藉此，該運算裝置便可即時對監視器所捕捉影像進行應用，例如即時偵測影像中之物件，以大幅增加其附加價值。
因此為使即時偵測影像中之物件得以順利實現，習知常見之物件偵測方法可歸納如下：
(1)　針對影像中場景改變做分類，以找出穩定目標物件的應用，相鄰幾張影像計算處理為基本處理方式；
(2)　利用轉換多台不同角度拍攝到的2D影像，個別偵測相同物件之像素(pixel)數值後，去建立3D立體實境的物件，以提高物件偵測之準確度；以及
(3)　直接比對前後兩張影像中像素的位元平面(bit-plane)或對其進行移動向量偵測，以達到對影像做即時反晃動偵測的目的。
惟上述物件偵測方法(1)需至少計算相鄰幾張影像，其必需消耗相當的計算時間以及計算複雜度；上述物件偵測方法(2)雖可利用建立3D立體實境的物件，以提高物件偵測之準確度，但相對的其計算複雜度也大幅提升；上述物件偵測方法(3)具有對影像做即時反晃動處理之優點，但並沒有考慮區塊內區域移動向量(Local Motion Vector；LMV)可靠度的問題。
综上所述，如何於即時偵測一影像物件時，同時兼顧偵測時之準確度以及計算複雜度，實為該領域之技術者亟需解決之課題。
本發明之一目的在於提供一種用以即時偵測一物件之偵測裝置，該偵測裝置係與一影像擷取裝置呈電性連接，該影像擷取裝置用以擷取一包含該物件之序列影像，該偵測裝置包含一儲存單元以及一微處理器，該微處理器係與該儲存單元呈電性連接。該儲存單元用以儲存一雜訊門檻值、一搜尋範圍資訊以及根據該序列影像所產生之一第一轉換畫面(frame)以及一第二轉換畫面，該第一轉換畫面包含一第一像素區塊，該第一像素區塊至少包含一第一目標像素以及一與該第一目標像素相鄰之第一相鄰像素，該第一目標像素具有一相對於該第一轉換畫面以及該第二轉換畫面之座標資訊。
該微處理器用以根據該雜訊門檻值，分別由該第一目標像素以及該第一相鄰像素，擷取出複數第一目標像素位元以及複數第一相鄰像素位元；交錯(interlace)該等第一目標像素位元以及該等第一相鄰像素位元，以產生一第一交錯位元集合；以及根據該第一交錯位元集合以及該搜尋範圍資訊，於該第二轉換畫面中擷取出複數第一可靠移動區塊，以判斷該物件於該第二轉換畫面中之一個出現位置。
本發明之另一目的在於提供一種用以即時偵測一物件之偵測方法，該偵測方法係可用於一偵測裝置，該偵測裝置係與一影像擷取裝置呈電性連接，該影像擷取裝置用以擷取一包含該物件之序列影像，該偵測裝置包含一微處理器以及一儲存單元，該微處理器係與該儲存單元呈電性連接，該儲存單元用以儲存一雜訊門檻值、一搜尋範圍資訊以及根據該序列影像所產生之一第一轉換畫面以及一第二轉換畫面，該第一轉換畫面包含一第一像素區塊，該第一像素區塊至少包含一第一目標像素以及一與該第一目標像素相鄰之第一相鄰像素，該第一目標像素具有一相對於該第一轉換畫面以及該第二轉換畫面之座標資訊。
該偵測方法包含下列步驟：(A)令該微處理器根據該雜訊門檻值，分別由該第一目標像素以及該第一相鄰像素，擷取出複數第一目標像素位元以及複數第一相鄰像素位元；(B)令該微處理器交錯(interlace)該等第一目標像素位元以及該等第一相鄰像素位元，以產生一第一交錯位元集合；以及(C)令該微處理器根據該第一交錯位元集合以及該搜尋範圍資訊，於該第二轉換畫面中擷取出複數第一可靠移動區塊，以判斷該物件於該第二轉換畫面中之一個出現位置。
本發明之又一目的在於提供一種電腦程式產品，內儲一種用於一即時偵測一物件之偵測裝置之偵測方法之程式，該偵測裝置係與一影像擷取裝置呈電性連接，該影像擷取裝置用以擷取一包含該物件之序列影像，該偵測裝置包含一微處理器以及一儲存單元，該微處理器係與該儲存單元呈電性連接，該儲存單元用以儲存一雜訊門檻值、一搜尋範圍資訊以及根據該序列影像所產生之一第一轉換畫面以及一第二轉換畫面，該第一轉換畫面包含一第一像素區塊，該第一像素區塊至少包含一第一目標像素以及一與該第一目標像素相鄰之第一相鄰像素，該第一目標像素具有一相對於該第一轉換畫面以及該第二轉換畫面之座標資訊。
該程式經由一電腦被載入該偵測裝置後執行：一程式指令A，令該微處理器根據該雜訊門檻值，分別由該第一目標像素以及該第一相鄰像素，擷取出複數第一目標像素位元以及複數第一相鄰像素位元；一程式指令B，令該微處理器交錯(interlace)該等第一目標像素位元以及該等第一相鄰像素位元，以產生一第一交錯位元集合；以及一程式指令C，令該微處理器根據該第一交錯位元集合以及該搜尋範圍資訊，於該第二轉換畫面中擷取出複數第一可靠移動區塊，以判斷該物件於該第二轉換畫面中之一個出現位置。
综上所述，本發明係由一根據包含一物件之序列影像所產生之一第一轉換畫面以及一第二轉換畫面進行物件偵測，首先本發明由該第一轉換畫面擷取出一目標像素之複數目標像素位元以及與該目標像素相鄰之像素之複數相鄰像素位元，並將該等目標像素位元與該等相鄰像素位元進行交錯，以在不大幅增加計算複雜度之情況下，改善判斷該物件於第二轉換畫面中出現位置之準確度，藉此，本發明可有效改善習知物件偵測技術無法兼顧計算複雜度以及準確度之缺點。
在參閱圖式及隨後描述之實施方式後，該技術領域具有通常知識者便可瞭解本發明之其他目的，以及本發明之技術手段及實施態樣。
以下將透過實施例來解釋本發明內容，本發明的實施例並非用以限制本發明須在如實施例所述之任何特定的環境、應用或特殊方式方能實施。因此，關於實施例之說明僅為闡釋本發明之目的，而非用以限制本發明。須說明者，以下實施例及圖式中，與本發明非直接相關之元件已省略而未繪示；且圖式中各元件間之尺寸關係僅為求容易瞭解，非用以限制實際比例。
本發明之第一實施例如第1圖所示，其係為一用以即時偵測一物件之偵測系統示意圖，由第1圖可知，此偵測系統係包含一偵測裝置1以及一影像擷取裝置2，影像擷取裝置2係與偵測裝置1呈電性連接，且用以擷取一包含該物件之序列影像(video)20，具體而言，影像擷取裝置2係用以拍攝關於該物件之序列影像，以供偵測裝置1進行即時偵測該物件之用，且影像擷取裝置2可為市面上任何CCD攝影機或是任何可擷取影像之裝置。
偵測裝置1係包含一微處理器11以及一儲存單元13，微處理器11係與儲存單元13以及影像擷取裝置2呈電性連接，儲存單元13目前儲存有一雜訊門檻值130、一搜尋範圍資訊132以及一區塊門檻值134，雜訊門檻值130、搜尋範圍資訊132以及區塊門檻值134之作用將於後面段落說明。
影像擷取裝置2所擷取出之序列影像20係以一原始色彩空間呈現並由複數原始畫面(frame)所組成，因此微處理器11用以由序列影像20中擷取出一第一原始畫面以及一第二原始畫面，其皆係以該原始色彩空間呈現，第一原始畫面係早於該第二原始畫面被影像擷取裝置2所擷取。接下來，為提升後續偵測處理之準確度，微處理器11更用以將該第一原始畫面以及該第二原始畫面由該原始色彩空間轉換至一優化色彩空間，以分別產生一第一優化畫面以及一第二優化畫面。
為使本發明可被全盤了解，於下述內容中，本實施例將以該原始色彩空間為一RGB色彩空間以及該優化色彩空間為一YCbCr色彩空間作為例舉說明，於其他實施例中，該原始色彩空間以及該優化色彩空間可視實際需求為其它色彩空間(例如CMYK色彩空間、CMYK色彩空間、YIQ色彩空間、YUV色彩空間、YPbPr色彩空間、xvYCC色彩空間、HSV色彩空間以及HSL色彩空間等等)，其各色彩空間相互轉換方式係可由習知技術達成，並可為此項技術領域具有通常知識者所輕易理解，在此不加贅述。此外，如呈現該第一原始畫面以及該第二原始畫面之原始色彩空間已符合後續偵測處理對於準確度之需求，亦可不被轉換至另一色彩空間。
於原以RGB色彩空間呈現之該第一原始畫面以及該第二原始畫面轉換為以YCbCr色彩空間呈現之該第一優化畫面以及該第二優化畫面後，該第一優化畫面以及該第二優化畫面將係由複數頻譜(即頻譜Y、頻譜Cb以及頻譜Cr)所組成。詳言之，請參閱第2A圖以及第2B圖，其係分別為一以YCbCr色彩空間呈現之優化畫面之示意圖以及一該優化畫面之各YCbCr頻譜之示意圖。由第2A圖可看出，其為一由影像擷取裝置2擷取之畫面，且第2A圖所示之畫面係透過數位方式，以第2B圖所示之頻譜Y、頻譜Cb以及頻譜Cr呈現，且各頻譜各自包含8個位元平面(bit plane)B7-B0。換言之，由於第2A圖所示之畫面係由複數像素所組成，以像素之角度觀之，第2A圖所示畫面之各像素亦可視為由多個包含於8個位元平面之像素位元所組成。
於該第一優化畫面以及該第二優化畫面產生後，為使個別像素間建立關聯性，微處理器11更將該第一優化畫面以及該第二優化畫面進行一布林代數的快速格雷碼轉換(Gray code transformation)，以產生一第一轉換畫面110以及一第二轉換畫面112，並將第一轉換畫面110以及第二轉換畫面112儲存於儲存單元13中，以供後續處理之用。
詳言之，本發明為使前述格雷碼轉換不至於增加太多的計算負擔，因此採取平行運算之方式，來進行格雷碼轉換，請參閱第3圖，其係為一採平行運算之格雷碼轉換之架構示意圖，此架構包含一位移暫存器(shift register)31以及一緩衝器(buffer)33，以第一優化畫面為例，其係由8個位元平面所組成，且第一優化畫面中之每個像素皆可視為由8個位元所呈現。
假設第一優化畫面之一像素係以(01110011)此8個位元(即位元組300)呈現，於該像素進行格雷碼轉換時，此位元組300將同時被送至位移暫存器31以及緩衝器33，位移暫存器31係用以將位元組300之所有位元向右位移一位元，因此位元組300於位移後將會轉換為包含8個位元(00111001)之位元組304，另一方面，緩衝器33係用以暫存位元組3。於移暫存器31以及緩衝器33接收一脈衝(clock)訊號302後，將分別送出位元組300以及位元組304，使其進行互斥或運算(exclusion-OR operation)，以產生包含8個位元(01001010)之位元組308，位元組308即為第一優化畫面之一像素進行快速格雷碼轉換所得之結果，亦可視為第一轉換畫面110中之一像素。
此外，前述布林代數快速格雷碼轉換亦可以二進制形式表示為,0≦j≦k-1，其中k係為位元總數、b為位元組300、b’為位元組304、b j 為位元組300之第j個位元、b ’ j 為位元組304之第j個位元、⊕為互斥或運算以及為無條件捨去，此二進制形式表示方式係可為此項技術領域具有通常知識者所輕易理解，在此不加贅述。
另，為說明本發明係如何進行物件偵測，請參閱第4圖，其係為第一轉換畫面110之一示意圖，第3圖中之各小方格皆可視為第一轉換畫面110中之一像素，第一轉換畫面110包含一第一像素區塊，其至少包含一第一目標像素A(即第3圖中黑色之小方格)以及一與第一目標像素相鄰之第一相鄰像素，於本實施例中係以3個第一相鄰像素作說明，為第一相鄰像素B、C及D(即第3圖中3個斜條紋之小方格)，第一目標像素係A為組成所欲偵測物件之像素其中之一，且具有一相對於第一轉換畫面110以及第二轉換畫面112之座標資訊(3,1)，需注意者，第一相鄰像素之數目係可視實際情況調整，並不以此為限。
另由第2B圖可知，YCbCr色彩空間之頻譜Y、頻譜Cb以及頻譜Cr所各自包含之位元平面皆會受到雜訊之干擾，以頻譜Y為例，其位元平面B3-B0受到雜訊干擾的程度較嚴重，而位元平面B7-B4受到雜訊干擾的程度則較輕微，同理，頻譜Cb以及頻譜Cr亦分別在不同位元平面受到不同程度之雜訊干擾。因此，同樣為了提升物件偵測之準確度，微處理器11更進一步根據儲存於儲存單元13之雜訊門檻值，分別由第一目標像素A以及第一相鄰像素B、C及D中，擷取出複數第一目標像素位元以及複數第一相鄰像素位元，以濾除受雜訊干擾較嚴重之像素位元。
再以頻譜Y為例，於濾除受雜訊干擾較嚴重之像素位元後，第一目標像素A包含第一目標像素位元A7、A6、A5與A4，第一相鄰像素位元B包含第一相鄰像素位元B7、B6、B5與B4，第一相鄰像素位元C包含第一相鄰像素位元C7、C6、C5與C4，第一相鄰像素位元D包含第一相鄰像素位元D7、D6、D5與D4，第一目標像素位元A7、A6、A5與A4以及第一相鄰像素位元B7、B6、B5、B4、C7、C6、C5、C4、D7、D6、D5與D4皆包含於受雜訊干擾程度較小之位元平面B7-B4。
接下來，微處理器11交錯(interlace)第一目標像素位元A7、A6、A5與A4以及第一相鄰像素位元B7、B6、B5、B4、C7、C6、C5、C4、D7、D6、D5與D4，以產生一第一交錯位元集合，且根據第一交錯位元集合以及儲存單元13之搜尋範圍資訊132，於第二轉換畫面112中擷取出複數第一可靠移動區塊，以判斷該物件於第二轉換畫面112中之一出現位置。
詳言之，請參閱第5A圖以及第5B圖，其各係為第一交錯位元集合之一示意圖，為有效降低僅依靠第一目標像素之第一目標像素位元A7、A6、A5與A4判斷該物件於第二轉換畫面112中出現位置之錯誤率，微處理器11係將第一目標像素位元A7、A6、A5與A4與第一相鄰像素位元B7、B6、B5、B4、C7、C6、C5、C4、D7、D6、D5與D4進行交錯，以產生如第5A圖或第5B圖所示之第一交錯位元集合，需注意者，第一目標像素位元與第一相鄰像素位元尚可以其它排列方式進行交錯，並不以此為限。
接下來，微處理器11根據第一交錯位元集合以及儲存單元13之搜尋範圍資訊132，對第二轉換畫面112進行一移動預測(motion estimation)，以擷取出複數第一原始移動區塊，舉例而言，如搜尋範圍資訊132係指示於第一目標像素周圍5個像素範圍進行第一原始移動區塊之搜尋，微處理器11將於由座標為(8,6)、(8,-4)、(-2,6)以及(-2,-4)之像素所圈出之範圍搜尋第一原始移動區塊。
於搜尋出第一原始移動區塊後，微處理器11係對每一該等第一原始移動區塊進行一非必要移動消除，進而產生該等第一可靠移動區塊，以判斷該物件於第二轉換畫面112中之出現位置，前述移動預測以及非必要移動消除係可以習知技術達成，在此不加贅述。
再者，由於該物件可能於序列影像20之前3秒為靜止狀態，到了第4秒才開始移動，而第二原始畫面可能因為屬於序列影像20之前3秒影像中，而無法擷取出足夠之第一可靠移動區塊，因此微處理器11更用以判斷第一可靠移動區塊之數目是否小於儲存於儲存單元13之區塊門檻值134，如第一可靠移動區塊之數目不小於儲存於儲存單元13之區塊門檻值134，則微處理器11群組化該等第一可靠移動區塊。
如如第一可靠移動區塊之數目係小於儲存於儲存單元13之區塊門檻值134，則表示物件於第二原始畫面中係幾乎為靜止，因此微處理器11將根據此判斷結果，由序列影像20中擷取出一第三原始畫面，該第三原始畫面同樣係以該原始色彩空間呈現，接下來，如同前述對於第一原始畫面以及第二原始畫面之處理，微處理器11更用以將該第三原始畫面該原始色彩空間轉換至該優化色彩空間，以產生一第三優化畫面，以及對該第三優化畫面進行該格雷碼轉換，以產生一第三轉換畫面，最後，微處理器11亦將其所轉換出之第三轉換畫面儲存至儲存單元13。
再者，微處理器11根據第一交錯位元集合以及搜尋範圍資訊132，對第三轉換畫面進行移動預測，以擷取出複數第二原始移動區塊，並對每一該等第二原始移動區塊進行非必要移動消除，以產生複數第二可靠移動區塊，以判斷該物件於該第三轉換畫面中之一出現位置。當然，微處理器11亦會判斷第二可靠移動區塊之數目是否小於儲存於儲存單元13之區塊門檻值134，如是，則再由序列影像20中擷取下一張畫面，直到由畫面中所擷取出之可靠移動區塊數目不小於區塊門檻值134。
本發明之第二實施例如第6A圖以及第6B圖所示，其係為一種用以即時偵測一物件之偵測方法，其係可用於一如第一實施例所述之偵測裝置，該偵測裝置係與一影像擷取裝置呈電性連接，該影像擷取裝置用以擷取一包含該物件之序列影像，具體而言，影像擷取裝置係用以拍攝關於該物件之序列影像，以供偵測裝置進行即時偵測該物件之用，且影像擷取裝置可為市面上任何CCD攝影機或是任何可擷取影像之裝置。
該偵測裝置包含一微處理器以及一儲存單元，該微處理器係與該儲存單元呈電性連接，該儲存單元目前儲存有一雜訊門檻值、一搜尋範圍資訊以及一區塊門檻值，雜訊門檻值、搜尋範圍資訊以及區塊門檻值之作用將於後面段落說明。
此外，第二實施例所描述之偵測方法可由一電腦程式產品執行，當偵測裝置經由一電腦載入該電腦程式產品並執行該電腦程式產品所包含之複數個程式指令後，即可完成第二實施例所述之偵測方法。前述之電腦程式產品可儲存於電腦可讀取記錄媒體中，例如唯讀記憶體(read only memory；ROM)、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟習此項技藝者所習知且具有相同功能之任何其它儲存媒體中。
請先參閱第6A圖，影像擷取裝置所擷取出之序列影像係以一原始色彩空間呈現並由複數原始畫面所組成，於步驟501中，令該微處理器由該序列影像中擷取出一第一原始畫面以及一第二原始畫面，該第一原始畫面以及該第二原始畫面同樣係以該原始色彩空間呈現，且第一原始畫面係早於該第二原始畫面被影像擷取裝置所擷取。接下來，為提升後續偵測處理之準確度，於步驟502中，令該微處理器將該第一原始畫面以及該第二原始畫面由該原始色彩空間轉換至該優化色彩空間，以分別產生一第一優化畫面以及一第二優化畫面。
為使本發明可被全盤了解，於下述內容中，本實施例亦將以該原始色彩空間為一RGB色彩空間以及該優化色彩空間為一YCbCr色彩空間作為例舉說明，於其他實施例中，該原始色彩空間以及該優化色彩空間可視實際需求為其它色彩空間(例如CMYK色彩空間、CMYK色彩空間、YIQ色彩空間、YUV色彩空間、YPbPr色彩空間、xvYCC色彩空間、HSV色彩空間以及HSL色彩空間等等)，其各色彩空間相互轉換方式係可由習知技術達成，並可為此項技術領域具有通常知識者所輕易理解，在此不加贅述。此外，如呈現該第一原始畫面以及該第二原始畫面之原始色彩空間已符合後續偵測處理對於準確度之需求，步驟502亦可不被執行。
於原以RGB色彩空間呈現之該第一原始畫面以及該第二原始畫面轉換為以YCbCr色彩空間呈現之該第一優化畫面以及該第二優化畫面後，該第一優化畫面以及該第二優化畫面將係由複數頻譜(即頻譜Y、頻譜Cb以及頻譜Cr)所組成。詳言之，請回頭參閱第2A圖以及第2B圖，其係分別為一以YCbCr色彩空間呈現之優化畫面之示意圖以及一該優化畫面之各YCbCr頻譜之示意圖。由第2A圖可看出，其為一由影像擷取裝置擷取之畫面，且第2A圖所示之畫面係透過數位方式，以第2B圖所示之頻譜Y、頻譜Cb以及頻譜Cr呈現，且各頻譜各自包含8個位元平面B7-B0。換言之，由於第2A圖所示之畫面係由複數像素所組成，以像素之角度觀之，第2A圖所示畫面之各像素亦可視為由多個包含於8個位元平面之像素位元所組成。
步驟502執行後，為使第一優化畫面以及第二優化畫面更接近人眼的視覺效果，於步驟503中，令該微處理器對該第一優化畫面以及一第二優化畫面進行一格雷碼轉換，以產生一第一轉換畫面以及一第二轉換畫面，此處之格雷碼轉換係與第一實施例所述之格雷碼轉換相同，在此不加贅述，於步驟504中，令微處理器將第一轉換畫面以及第二轉換畫面儲存至該儲存單元，以供後續步驟之用。
另，為說明本發明係如何進行物件偵測，請回頭參閱第4圖，其係為第一轉換畫面之一示意圖，第4圖中之各小方格皆可視為第一轉換畫面中之一像素，第一轉換畫面包含一第一像素區塊，其至少包含一第一目標像素A(即第4圖中黑色之小方格)以及一與第一目標像素相鄰之第一相鄰像素，於本實施例中係以3個第一相鄰像素作說明，為第一相鄰像素B、C及D(即第4圖中3個斜條紋之小方格)，第一目標像素係A為組成所欲偵測物件之像素其中之一，且具有一相對於第一轉換畫面以及該第二轉換畫面之座標資訊(3,1)，需注意者，第一相鄰像素之數目係可視實際情況調整，並不以此為限。
另由第2B圖可知，YCbCr色彩空間之頻譜Y、頻譜Cb以及頻譜Cr所各自包含之位元平面皆會受到雜訊之干擾，以頻譜Y為例，其位元平面B3-B0受到雜訊干擾的程度較嚴重，而位元平面B7-B4受到雜訊干擾的程度則較輕微，同理，頻譜Cb以及頻譜Cr亦分別在不同位元平面受到不同程度之雜訊干擾。因此，同樣為了提升物件偵測之準確度，於步驟505中，令該微處理器根據雜訊門檻值130，分別由該第一目標像素以及該第一相鄰像素，擷取出複數第一目標像素位元以及複數第一相鄰像素位元，以濾除受雜訊干擾較嚴重之像素位元。
再以頻譜Y為例，於濾除受雜訊干擾較嚴重之像素位元後，第一目標像素A包含第一目標像素位元A7、A6、A5與A4，第一相鄰像素位元B包含第一相鄰像素位元B7、B6、B5與B4，第一相鄰像素位元C包含第一相鄰像素位元C7、C6、C5與C4，第一相鄰像素位元D包含第一相鄰像素位元D7、D6、D5與D4，第一目標像素位元A7、A6、A5與A4以及第一相鄰像素位元B7、B6、B5、B4、C7、C6、C5、C4、D7、D6、D5與D4皆包含於受雜訊干擾程度較小之位元平面B7-B4。
接下來，於步驟506中，令該微處理器交錯第一目標像素位元A7、A6、A5與A4以及第一相鄰像素位元B7、B6、B5、B4、C7、C6、C5、C4、D7、D6、D5與D4，以產生一第一交錯位元集合。詳言之，請回頭參閱第5A圖以及第5B圖，其各係為第一交錯位元集合之一示意圖，為有效降低僅依靠第一目標像素之第一目標像素位元A7、A6、A5與A4判斷該物件於第二轉換畫面中出現位置之錯誤率，步驟507係將第一目標像素位元A7、A6、A5與A4與第一相鄰像素位元B7、B6、B5、B4、C7、C6、C5、C4、D7、D6、D5與D4進行交錯，以產生如第5A圖或第5B圖所示之第一交錯位元集合，需注意者，第一目標像素位元與第一相鄰像素位元尚可以其它排列方式進行交錯，並不以此為限。
於步驟507中，令該微處理器根據該第一交錯位元集合以及搜尋範圍資訊，對該第二轉換畫面進行一移動預測，以擷取出複數第一原始移動區塊，舉例而言，如搜尋範圍資訊係指示於第一目標像素周圍5個像素範圍進行第一原始移動區塊之搜尋，步驟508將於由座標為(8,6)、(8,-4)、(-2,6)以及(-2,-4)之像素所圈出之範圍搜尋第一原始移動區塊。
於搜尋出第一原始移動區塊後，於步驟508中，令該微處理器對每一該等第一原始移動區塊進行一非必要移動消除，進而產生該等第一可靠移動區塊，以判斷該物件於第二轉換畫面中之出現位置，前述移動預測以及非必要移動消除係可以習知技術達成，在此不加贅述。
接下來，於步驟509中，令該微處理器判斷第一可靠移動區塊之數目是否小於區塊門檻值，如否，則執行步驟510，令該微處理器根據第一可靠移動區塊，判斷該物件於第二轉換畫面中之一出現位置。如第一可靠移動區塊之數目係小於區塊門檻值，則執行步驟511，令該微處理器由序列影像中擷取出一第三原始畫面，最後於步驟512中，令該微處理器根據第三原始畫面產生一第三轉換畫面，以供擷取複數第三可靠移動區塊之用，第三轉換畫面之產生方式係與第一轉換畫面以及第二轉換畫面之產生方式相同，且第三可靠移動區塊之擷取方式亦與第一可靠移動區塊以及第二可靠移動區塊之節取方式相同，在此不加贅述。
除了上述步驟，第二實施例亦能執行第一實施例所描述之操作及功能，所屬技術領域具有通常知識者可直接瞭解第二實施例如何基於上述第一實施例以執行此等操作及功能，故不贅述。
综上所述，本發明係由一根據包含一物件之序列影像所產生之一第一轉換畫面以及一第二轉換畫面進行物件偵測，首先本發明由該第一轉換畫面擷取出一目標像素之複數目標像素位元以及與該目標像素相鄰之像素之複數相鄰像素位元，並將該等目標像素位元與該等相鄰像素位元進行交錯，以在不大幅增加計算複雜度之情況下，改善判斷該物件於該第二轉換畫面中出現位置之準確度，藉此，本發明可有效改善習知物件偵測技術無法兼顧計算複雜度以及準確度之缺點。
上述之實施例僅用來例舉本發明之實施態樣，以及闡釋本發明之技術特徵，並非用來限制本發明之保護範疇。任何熟悉此技術者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，本發明之權利保護範圍應以申請專利範圍為準。
1．．．偵測裝置
11．．．微處理器
110．．．第一轉換畫面
112．．．第二轉換畫面
13．．．儲存單元
130．．．雜訊門檻值
132．．．搜尋範圍資訊
134．．．區塊門檻值
2．．．影像擷取裝置
20．．．序列影像
300、304、308．．．位元組
302．．．脈衝訊號
31．．．位移暫存器
33．．．緩衝器
第1圖係為本發明第一實施例之示意圖；
第2A圖係為第一實施例優化畫面之示意圖；
第2B圖係為YCbCr頻譜之示意圖；
第3圖係為格雷碼轉換架構之示意圖；
第4圖係為第一實施例之第一轉換畫面110之示意圖；
第5A圖係為本發明之一交錯位元集合之示意圖；
第5B圖係為本發明之另一交錯位元集合之示意圖；以及
第6A-6B圖係為本發明第二實施例之流程圖。

Claims (15)

  1. 一種用以即時偵測一物件之偵測裝置，係與一影像擷取裝置呈電性連接，該影像擷取裝置用以擷取一包含該物件之序列影像，該偵測裝置包含：一儲存單元，用以儲存一雜訊門檻值、一搜尋範圍資訊以及根據該序列影像所產生之一第一轉換畫面(frame)以及一第二轉換畫面，該第一轉換畫面包含一第一像素區塊，該第一像素區塊至少包含一第一目標像素以及一與該第一目標像素相鄰之第一相鄰像素，該第一目標像素具有一相對於該第一轉換畫面以及該第二轉換畫面之座標資訊；以及一微處理器，係與該儲存單元呈電性連接，並用以：根據該雜訊門檻值，分別由該第一目標像素以及該第一相鄰像素，擷取出複數第一目標像素位元以及複數第一相鄰像素位元；交錯(interlace)該等第一目標像素位元以及該等第一相鄰像素位元，以產生一第一交錯位元集合；以及根據該第一交錯位元集合以及該搜尋範圍資訊，於該第二轉換畫面中擷取出複數第一可靠移動區塊，以判斷該物件於該第二轉換畫面中之一出現位置。
  2. 如請求項1所述之偵測裝置，其中該微處理器更用以：根據該第一交錯位元集合以及該搜尋範圍資訊，對該第二轉換畫面進行一移動預測(motion estimation)，以擷取出複數第一原始移動區塊；以及對每一該等第一原始移動區塊進行一非必要移動消除，以產生該等第一可靠移動區塊。
  3. 如請求項1所述之偵測裝置，其中該第一轉換畫面以及該第二轉換畫面係以一優化色彩空間呈現，該處理器更用以：由該序列影像中擷取出一第一原始畫面以及一第二原始畫面，該第一原始畫面以及該第二原始畫面係以一原始色彩空間呈現；將該第一原始畫面以及該第二原始畫面由該原始色彩空間轉換至該優化色彩空間，以分別產生一第一優化畫面以及一第二優化畫面；以及對該第一優化畫面以及一第二優化畫面進行一格雷碼轉換，以產生該第一轉換畫面以及該第二轉換畫面。
  4. 如請求項3所述之偵測裝置，其中該儲存單元更用以儲存一區塊門檻值，該微處理器更用以：判斷該等第一可靠移動區塊之一數目係小於該區塊門檻值，以產生一判斷結果；根據該判斷結果，由該序列影像中擷取出一第三原始畫面，該第三原始畫面係以該原始色彩空間呈現；將該第三原始畫面該原始色彩空間轉換至該優化色彩空間，以產生一第三優化畫面；對該第三優化畫面進行該格雷碼轉換，以產生一第三轉換畫面；以及將該第三轉換畫面儲存至該儲存單元。
  5. 如請求項4所述之偵測裝置，其中該微處理器更用以：根據該第一交錯位元集合以及該搜尋範圍資訊，對該第三轉換畫面進行一移動預測，以擷取出複數第二原始移動區塊；以及對每一該等第二原始移動區塊進行一非必要移動消除，以產生複數第二可靠移動區塊，以判斷該物件於該第三轉換畫面中之一出現位置。
  6. 一種用以即時偵測一物件之偵測方法，該偵測方法係可用於一偵測裝置，該偵測裝置係與一影像擷取裝置呈電性連接，該影像擷取裝置用以擷取一包含該物件之序列影像，該偵測裝置包含一微處理器以及一儲存單元，該微處理器係與該儲存單元呈電性連接，該儲存單元用以儲存一雜訊門檻值、一搜尋範圍資訊以及根據該序列影像所產生之一第一轉換畫面以及一第二轉換畫面，該第一轉換畫面包含一第一像素區塊，該第一像素區塊至少包含一第一目標像素以及一與該第一目標像素相鄰之第一相鄰像素，該第一目標像素具有一相對於該第一轉換畫面以及該第二轉換畫面之座標資訊，該偵測方法包含下列步驟：(A)令該微處理器根據該雜訊門檻值，分別由該第一目標像素以及該第一相鄰像素，擷取出複數第一目標像素位元以及複數第一相鄰像素位元；(B)令該微處理器交錯(interlace)該等第一目標像素位元以及該等第一相鄰像素位元，以產生一第一交錯位元集合；以及(C)令該微處理器根據該第一交錯位元集合以及該搜尋範圍資訊，於該第二轉換畫面中擷取出複數第一可靠移動區塊，以判斷該物件於該第二轉換畫面中之一出現出現位置。
  7. 如請求項6所述之偵測方法，其中該步驟(C)包含下列步驟：令該微處理器根據該第一交錯位元集合以及該搜尋範圍資訊，對該第二轉換畫面進行一移動預測，以擷取出複數第一原始移動區塊；以及令該微處理器對每一該等第一原始移動區塊進行一非必要移動消除，以產生該等第一可靠移動區塊。
  8. 如請求項6所述之偵測方法，其中該第一轉換畫面以及該第二轉換畫面係以一優化色彩空間呈現，該偵測方法更包含下列步驟：令該微處理器由該序列影像中擷取出一第一原始畫面以及一第二原始畫面，該第一原始畫面以及該第二原始畫面係以一原始色彩空間呈現；令該微處理器將該第一原始畫面以及該第二原始畫面由該原始色彩空間轉換至該優化色彩空間，以分別產生一第一優化畫面以及一第二優化畫面；以及令該微處理器對該第一優化畫面以及一第二優化畫面進行一格雷碼轉換，以產生該第一轉換畫面以及該第二轉換畫面。
  9. 如請求項8所述之偵測方法，其中該儲存單元更用以儲存一區塊門檻值，該偵測方法更包含下列步驟：令該微處理器判斷該等第一可靠移動區塊之一數目係小於該區塊門檻值，以產生一判斷結果；令該微處理器根據該判斷結果，由該序列影像中擷取出一第三原始畫面，該第三原始畫面係以該原始色彩空間呈現；令該微處理器將該第三原始畫面該原始色彩空間轉換至該優化色彩空間，以產生一第三優化畫面；令該微處理器對該第三優化畫面進行該格雷碼轉換，以產生一第三轉換畫面；以及令該微處理器將該第三轉換畫面儲存至該儲存單元。
  10. 如請求項9所述之偵測方法，更包含下列步驟：令該微處理器根據該第一交錯位元集合以及該搜尋範圍資訊，對該第三轉換畫面進行一移動預測，以擷取出複數第二原始移動區塊；以及令該微處理器對每一該等第二原始移動區塊進行一非必要移動消除，以產生複數第二可靠移動區塊，以判斷該物件於該第三轉換畫面中之一出現位置。
  11. 一種電腦程式產品，內儲一種用於一即時偵測一物件之偵測裝置之偵測方法之程式，該偵測裝置係與一影像擷取裝置呈電性連接，該影像擷取裝置用以擷取一包含該物件之序列影像，該偵測裝置包含一微處理器以及一儲存單元，該微處理器係與該儲存單元呈電性連接，該儲存單元用以儲存一雜訊門檻值、一搜尋範圍資訊以及根據該序列影像所產生之一第一轉換畫面以及一第二轉換畫面，該第一轉換畫面包含一第一像素區塊，該第一像素區塊至少包含一第一目標像素以及一與該第一目標像素相鄰之第一相鄰像素，該第一目標像素具有一相對於該第一轉換畫面以及該第二轉換畫面之座標資訊，該程式經由一電腦被載入該偵測裝置後執行：一程式指令A，令該微處理器根據該雜訊門檻值，分別由該第一目標像素以及該第一相鄰像素，擷取出複數第一目標像素位元以及複數第一相鄰像素位元；一程式指令B，令該微處理器交錯(interlace)該等第一目標像素位元以及該等第一相鄰像素位元，以產生一第一交錯位元集合；以及一程式指令C，令該微處理器根據該第一交錯位元集合以及該搜尋範圍資訊，於該第二轉換畫面中擷取出複數第一可靠移動區塊，以判斷該物件於該第二轉換畫面中之一出現出現位置。
  12. 如請求項11所述之電腦程式產品，其中該程式指令C包含：一程式指令C1，令該微處理器根據該第一交錯位元集合以及該搜尋範圍資訊，對該第二轉換畫面進行一移動預測，以擷取出複數第一原始移動區塊；以及一程式指令C2，令該微處理器對每一該等第一原始移動區塊進行一非必要移動消除，以產生該等第一可靠移動區塊。
  13. 如請求項11所述之電腦程式產品，其中該第一轉換畫面以及該第二轉換畫面係以一優化色彩空間呈現，該程式更執行：一程式指令D，令該微處理器由該序列影像中擷取出一第一原始畫面以及一第二原始畫面，該第一原始畫面以及該第二原始畫面係以一原始色彩空間呈現；一程式指令E，令該微處理器將該第一原始畫面以及該第二原始畫面由該原始色彩空間轉換至該優化色彩空間，以分別產生一第一優化畫面以及一第二優化畫面；以及一程式指令F，令該微處理器對該第一優化畫面以及一第二優化畫面進行一格雷碼轉換，以產生該第一轉換畫面以及該第二轉換畫面。
  14. 如請求項13所述之電腦程式產品，其中該儲存單元更用以儲存一區塊門檻值，該程式更執行：一程式指令G，令該微處理器判斷該等第一可靠移動區塊之一數目係小於該區塊門檻值，以產生一判斷結果；一程式指令H，令該微處理器根據該判斷結果，由該序列影像中擷取出一第三原始畫面，該第三原始畫面係以該原始色彩空間呈現；一程式指令I，令該微處理器將該第三原始畫面該原始色彩空間轉換至該優化色彩空間，以產生一第三優化畫面；一程式指令J，令該微處理器對該第三優化畫面進行該格雷碼轉換，以產生一第三轉換畫面；以及一程式指令K，令該微處理器將該第三轉換畫面儲存至該儲存單元。
  15. 如請求項14所述之電腦程式產品，其中該程式更執行：一程式指令L，令該微處理器根據該第一交錯位元集合以及該搜尋範圍資訊，對該第三轉換畫面進行一移動預測，以擷取出複數第二原始移動區塊；以及一程式指令M，令該微處理器對每一該等第二原始移動區塊進行一非必要移動消除，以產生複數第二可靠移動區塊，以判斷該物件於該第三轉換畫面中之一出現位置。
TW098135917A 2009-10-23 2009-10-23 即時偵測一物件之偵測裝置、偵測方法及其電腦程式產品 TWI524773B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098135917A TWI524773B (zh) 2009-10-23 2009-10-23 即時偵測一物件之偵測裝置、偵測方法及其電腦程式產品
US12/627,171 US8373752B2 (en) 2009-10-23 2009-11-30 Detection apparatus, detection method and computer readable medium thereof for detecting an object in real-time

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098135917A TWI524773B (zh) 2009-10-23 2009-10-23 即時偵測一物件之偵測裝置、偵測方法及其電腦程式產品

Publications (2)

Publication Number Publication Date
TW201116056A TW201116056A (en) 2011-05-01
TWI524773B true TWI524773B (zh) 2016-03-01

Family

ID=43898092

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098135917A TWI524773B (zh) 2009-10-23 2009-10-23 即時偵測一物件之偵測裝置、偵測方法及其電腦程式產品

Country Status (2)

Country Link
US (1) US8373752B2 (zh)
TW (1) TWI524773B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6507046B2 (ja) * 2015-06-26 2019-04-24 株式会社東芝 立体物検知装置及び立体物認証装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60140824D1 (de) * 2000-02-10 2010-01-28 Sony Corp Anordnung und Verfahren zur Bildverarbeitung, und Aufzeichnungsträger
US7120195B2 (en) * 2002-10-28 2006-10-10 Hewlett-Packard Development Company, L.P. System and method for estimating motion between images
US7616692B2 (en) 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
JP4624054B2 (ja) * 2004-03-29 2011-02-02 三洋電機株式会社 ノイズ低減装置及びノイズ低減方法及び撮像装置
JP2006203296A (ja) * 2005-01-18 2006-08-03 Canon Inc 補間処理方法、補間処理プログラム及び撮像装置
JP2008258836A (ja) * 2007-04-03 2008-10-23 Sony Corp 撮像装置、信号処理回路、信号処理装置、信号処理方法及びコンピュータプログラム
US8144214B2 (en) * 2007-04-18 2012-03-27 Panasonic Corporation Imaging apparatus, imaging method, integrated circuit, and storage medium
JP4999763B2 (ja) * 2007-07-31 2012-08-15 パナソニック株式会社 撮像装置、撮像方法、プログラム、記録媒体、および集積回路
CN101889452B (zh) * 2007-12-04 2012-08-22 松下电器产业株式会社 图像生成装置及图像生成方法
JP4444354B2 (ja) * 2008-08-04 2010-03-31 株式会社東芝 画像処理装置、および画像処理方法
JP4358283B1 (ja) * 2008-08-04 2009-11-04 株式会社東芝 ノイズ低減装置及びノイズ低減方法

Also Published As

Publication number Publication date
US8373752B2 (en) 2013-02-12
TW201116056A (en) 2011-05-01
US20110096162A1 (en) 2011-04-28

Similar Documents

Publication Publication Date Title
EP2693394B1 (en) Information processor, information processing method, computer program and storage medium
US8472669B2 (en) Object localization using tracked object trajectories
US8059911B2 (en) Depth-based image enhancement
JP6049448B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
JP4612845B2 (ja) 画像処理装置およびその方法
EP3135033B1 (en) Structured stereo
US8363945B2 (en) Similar semicircle detecting apparatus and computer-readable storage medium storing similar semicircle detecting program
KR20190077428A (ko) 스트리밍된 메타데이터를 사용한 비디오 프레임 레이트 변환
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
US10713797B2 (en) Image processing including superimposed first and second mask images
WO2023129670A1 (en) Use motion data to generate higher resolution images
CN111429371A (zh) 图像处理方法、装置及终端设备
KR20230113786A (ko) 이미지 처리 방법, 장치 및 전자 장치
US20220254050A1 (en) Noise reduction circuit for dual-mode image fusion architecture
US9542777B2 (en) Image processing apparatus, image processing method, and storage medium
US9117110B2 (en) Face detection-processing circuit and image pickup device including the same
Zhang et al. A real-time time-consistent 2D-to-3D video conversion system using color histogram
TWI524773B (zh) 即時偵測一物件之偵測裝置、偵測方法及其電腦程式產品
US20060114994A1 (en) Noise reduction in a digital video
JP4527028B2 (ja) 撮像装置、撮像方法、及びプログラム
KR20130111021A (ko) 영상처리장치 및 영상처리방법
Fonseca et al. Face detection in the compressed domain
JP5478533B2 (ja) 全方位画像生成方法、画像生成装置およびプログラム
KR102450466B1 (ko) 영상 내의 카메라 움직임 제거 시스템 및 방법
WO2018119787A1 (zh) 一种去马赛克方法及装置