TWI383690B - 影像處理的方法 - Google Patents

影像處理的方法 Download PDF

Info

Publication number
TWI383690B
TWI383690B TW097150364A TW97150364A TWI383690B TW I383690 B TWI383690 B TW I383690B TW 097150364 A TW097150364 A TW 097150364A TW 97150364 A TW97150364 A TW 97150364A TW I383690 B TWI383690 B TW I383690B
Authority
TW
Taiwan
Prior art keywords
information
image
moving object
color
intensity
Prior art date
Application number
TW097150364A
Other languages
English (en)
Other versions
TW201026081A (en
Inventor
Bing Fei Wu
Chao Jung Chen
Chih Chung Kao
Meng Liang Chung
Chung Cheng Chiu
Min Yu Ku
Chih Chun Liu
Cheng Yen Yang
Original Assignee
Univ Nat Chiao Tung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Chiao Tung filed Critical Univ Nat Chiao Tung
Publication of TW201026081A publication Critical patent/TW201026081A/zh
Application granted granted Critical
Publication of TWI383690B publication Critical patent/TWI383690B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Analysis (AREA)

Description

影像處理的方法
本發明是關於一種影像處理的方法，特別是一種有關於影像追蹤的方法。
在進行影像追蹤的傳統技術領域，如專利US5,402,118 「Method and apparatus for measuring traffic flow」、專利US7200266 「Method and apparatus for automated video activity analysis」與專利US6259802 「Object tracking technique using polyline contours」所示，通常會使用參考背景影像與當時的影像進行差異比對運算，並進而描繪追蹤物體輪廓或是利用明暗度進行追蹤偵測。採用上述演算法時，為使偵測攝影機可以於全天候的環境進行工作，偵測攝影機會啟動自動白平衡功能，如專利US 7199821 「Imaging apparatus and method for controlling white balance」白平衡與快門的各式參數會依照當時影像的特性立即進行修正設定，當畫面亮度過亮時，會調整參數使進光量變少；而當畫面亮度過低時，則會增加進光量使全畫面的色彩可以達到穩定的狀態。
上述缺點在當偵測攝影機的白平衡功能啟動後，卻會造成背景與偵測物體色調產生變化，對影像的追蹤準確度產生影響，例如大車經過偵測攝影機 時，即會造成攝影機啟動白平衡功能，而造成所偵測的物體無法被準確地判斷，且因外側車道通常為大型車輛所經過，故亦會影響路側影像式車輛之有效偵測。
除了使用上述攝影機硬體本身的白平衡功能處理影像追蹤外，對於自然天候和光線所產生的變化，亦有另外的處理方式，即傳統上之影像處理亦有以影像背景更新的方式進行調整影像。
如中華民國專利編號第I220969號所示，可將偵測影像與初始的背景影像進行比對，以得到一差異值，當差異值高於門檻值時，則會認定為需要更新。 但是前述方法的更新速度較慢，且無法對於即時的光線變化立即以適當方式進行處理。
故本發明技術爲因應影像追蹤之需求，尚需發展影像追蹤與校正之相關技術，藉以提高追蹤效果，且可大量節省人力與時間等成本之目的，增進相關技術發展。
本發明利用逆向色彩校正技術，可解決攝影機對於使用白平衡功能所造成物體偵測判斷錯誤的問題，以提升物體偵測的準確度。
本發明為一種影像追蹤的方法，首先設定初始影像背景資訊；再擷取即時影像資訊；調整與處理即時監控影像資訊之白平衡狀態產生新的即時監控影像資 訊；然後計算移動物體資訊；最後，進行追蹤移動物體資訊。
本發明可不需提高攝影機偵測的高度，而能提升物體偵測的準確率。
本發明之一種影像追蹤的方法，可迅速獲得所追蹤物體的影像，節省追蹤時間。
本發明可被運用於廣大的影像偵測系統，且其功能更優於現今發展的影像系統。故而，關於本發明之優點與精神可以藉由以下發明詳述及所附圖式得到進一步的瞭解。
本發明提出一種影像追蹤的方法，請參閱第1圖所示，其係一方法流程圖，用以說明根據本發明之一較佳實施例之影像處理的方法。
本發明為一種影像追蹤的方法，首先如第1圖之步驟11，設定初始影像背景資訊，即一種彩色影像背景資訊。
如第1圖之步驟12，擷取即時影像資訊。在彩色影像背景資訊擷取的階段使用輸入的第一張影像作為每一個圖素顏色類別的第一類。
如第1圖之步驟13，計算初始影像背景資訊與即時影像的色彩強度資訊，其中該色彩強度係一統計量的最大值，包括了灰階強度以及彩色分量強度。故使用 絕對差值和(Sum of Absolute Difference: SAD)計算每一圖素的每一顏色類別與目前輸入影像的圖素的差異。倘若差異大，則為此顏色建立新的類別；反之，則將此圖素歸類為「已知」類別，並更新顏色資訊，如此反覆進行，直到每一個圖素出現機率最大的類別皆收斂為止。當第一即時監控影像資訊與初始影像背景資訊處於同樣亮度的條件下，該第一即時監控影像資訊的背景色彩強度與該初始影像背景資訊僅存在極小的誤差值，且其誤差值具有集中分佈的特性。而其中影像強度可以為一維灰階的強度或是三維彩色分量的強度。其中誤差值的計算如公式1。
B ij 為該初始影像背景資訊於影像畫面上橫軸與縱軸座標上的數值，I ij 為該第一即時監控影像於影像畫面上橫軸與縱軸座標上的數值，其中i 為橫座標，j 為縱座標。而將該初始影像背景資訊與第一即時監控影像資訊相减取絕對值，會得到一移動物體的絕對差值和(Moving-object Sum of Absolute Difference: MSAD)影像，如果某一圖素的絕對差值和大於另一動態臨界值M TH ，則此圖素便被歸類為移動物體，反之則為背景，而所獲得的移動物體遮罩式公式2所示。
其中，動態臨界值M TH 則是利用統計分析計算差值Er ij 的正負標準差作為參考。
如第1圖之步驟14，調整即時影像資訊。當自動白平衡啟動後，畫面亮度受到所拍攝之畫面的色彩強度分佈而自動調整，因此該即時監控影像資訊的背景與該初始影像背景的誤差遂逐漸變大。而本發明亦參考背景的色彩進行修正。獲得背景圖之後，藉由選擇適當的門檻值，以找出影像中屬於移動物體的部分；由於光線會對移動物體切割造成誤差，所以進行適應性門檻值的選取。而透過前述的絕對差值和以及利用統計資訊進行適應性門檻值動態調整，亦可使用一邊緣特性進行該移動物體資訊的切割，以及使用一水平與垂直投影量進行該移動物體資訊的切割。
如第1圖之步驟15，計算移動物體資訊。藉由計算動態臨界值可初步獲得第一移動物體資訊，該移動物體資訊包含真正的物體與雜訊。而本發明利用移動物體之水平與垂直投影量或物體邊緣輪廓進行比對與切割，以取得真正的該移動物體資訊。同時，計算該移動物體資訊與該初始影像背景資訊的灰階特性，以判斷該移動物體資訊中的一陰影部分，再使用該移動物體資訊減去該陰影部分，以取得一第二移動物體資訊。
如圖1之步驟16，進行追蹤移動物體資訊。就物體追蹤程序而言，所有演算法的基本設計原則包括以 下幾個基本原則：第一、擁有完整軌跡(從畫面邊緣進來，從預設方向離開)；第二、物件不會突然出現；第三、物件不會突然消失；以及第四、物體不會瞬間移動。
本發明針對誤差值與擁有該誤差值的點數總合進行作圖，如第2圖到第5圖所示，其圖中橫座標x 為Er ij 的數值，縱座標p (x )標為該第一即時監控影像資訊與該初始影像背景資訊差值的點總和的統計量。
如第2圖所示，當該第一即時監控影像資訊畫面上大部分由非移動物體的背景元素所組成時，該第一即時監控影像資訊與該初始影像背景的色彩強度差值統計量之偏差應該落在一極小的分佈區域。
而在第2圖中，取其差值統計量的最大值p max (x m )，其中x m 為統計圖上對應P max 之橫軸上的座標值。由於其差值統計量的最大值p max (x m )在橫軸值為零的附近，因此可視x m 為該第一即時監控影像資訊與該初始影像背景資訊的平均差值，因為該初始影像背景資訊不會因時間而改變，所以期許x m 落在零點附近一極小範圍。
第3圖為該即時監控影像資訊中移動物體經過所產生的差值進行作圖，一般情況其差值統計量的最大值會在x m ，以此實施例為例是在零點附近，但是x m 會 因為自動白平衡的啟動而遠離零點。
如第4圖所示，大型物體經過而自動白平衡功能啟動，而導致該第一即時監控影像資訊的背景與該初始影像背景資訊差值偏離零點。因此，色彩強度調整則是利用x m 的數值偏離零點的偏移量概念，將該第一即時監控影像資訊的色彩平移x m 至x m ' ，使得x m ' 為零並產生一第二即時監控影像資訊。
如第5圖為調整後之第二即時監控影像資訊與該初始背景資訊的差值及擁有該誤差值的點數總合以進行作圖。
就物體的影像追蹤而言，陰影往往會造成交疊的情形，導致物體的影像追蹤會不正確，故需消除陰影的部分。由於陰影的部份，是屬於灰階色彩，若以色調、飽和度和亮度(如公式3)來描述，其色調值相當低，因此可以以此來描述陰影之灰階特徵，並定訂可能的陰影區域。
在以色調H選取出可能會灰階色彩後，還必須考慮其灰階強度之特性。由於陰影的產生大多是因為陽光直射受到遮蔽，使其再路面上產生一灰階強度較低之色塊。因此，在輔以色彩強度資訊I來分離同是灰階特性之路面與陰影。
由於陰影大多落於路面上，且其色彩強度較均勻，較不具有高頻特徵。因此，以梯度掃描可能的陰影區塊，並以梯度特徵較低之區域，更能準確的決定陰影的位置，其中，梯度可以以Sobel運算子來實現。
如第6圖所示，本發明使用陰影的亮度、梯度(Sobel)、與彩度的統計特性，將陰影的部分消除。其中的步驟包括了，處理具有陰影的移動物體資訊61，進行亮度處理62，進行梯度處理63，進行彩度處理64以及更新移動物體資訊65。
HIS基於RGB色彩模型之轉換
當進行前述之第1圖步驟16後，即於找出移動物體後，針對每一個物體進行連通標記，以便之後的追蹤。而連通物體是標記現有的物體，再把相鄰的移動 點標記成同一標記，代表同一個物體，以便後續做其他處理。而要決定兩個點是否相連屬於同一物體，要先判斷這兩個點是否有相鄰，也就是在左上、上、右上、左、右、左下、下、右下等位置，如果出現在這8個位置的其中之一，便代表兩個移動點有相連，可視為同一個物體。而連通標記需要一個表格(Table)，以記錄標記值的相關性，所有的關聯都是從大關連到小。首先從影像的左上角座標掃到影像的右下角，每當遇到移動點的時候，便搜尋左上、上、右上、左的位置看是否有移動點，如果有移動點，便給予相同標記；若有兩個以上的點且標記不同，則取最小的標記值，並增加關連性到表格，將左上、上、右上、左有標記值的標記都關連到最小標記值；如果沒有移動點則標記一個新的標記值，且繼續處理下一個移動點。 本發明在利用連通法時不需要重複掃描更新表格。在進行來回掃描影像一次以後，將所得到的完整連通資訊之表格進行重置，從表格的第一個標記值，一直掃描到最後一個標記值。當掃描到最後之標記值時，再將標記依照其關聯值填回原本的影像，以完成連通件。 以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離本發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。
第1圖所示為本發明之較佳實施例流程圖。
第2圖至第5圖所示為針對誤差值與擁有誤差值的點數總合圖。
第6圖所示為消除陰影的步驟流程圖。

Claims (1)

  1. 一種影像處理的方法，至少包含：設定一初始彩色影像背景資訊；擷取一即時影像資訊，該擷取一即時影像資訊係使用所輸入的一第一張即時影像資訊作為一個圖素顏色類別的一第一類顏色；計算該初始彩色影像背景資訊與一即時影像的一色彩強度資訊，其中該色彩強度資訊包括了一灰階強度以及一彩色分量強度且該色彩強度資訊係一統計量的一最大值，使用一絕對差值和(Sum of Absolute Difference)計算該個圖素顏色類別的每一顏色類別與一所輸入影像圖素的一差異；調整該即時影像資訊，進行一適應性門檻值的一選取，使用一邊緣特性進行切割該移動物體資訊；計算一移動物體之一資訊，係計算一動態臨界值以獲得一第一移動物體資訊，該移動物體資訊包含一真正物體與一雜訊，使用該移動物體之一水平投影量與一垂直投影量或一物體邊緣輪廓進行一比對與一切割以取得該移動物體之該資訊，計算該移動物體之該資訊與該初始彩色影像背景資訊的一灰階特性以判斷該移動物體資訊中的一陰影部分，使用該移動物體資訊減去該陰影部分，以獲得一第二移動物體資訊；進行追蹤該移動物體資訊，係針對每一個該移動物體資訊進行一連通標記。
TW097150364A 2008-12-23 2008-12-24 影像處理的方法 TWI383690B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/318,199 US8218877B2 (en) 2008-12-23 2008-12-23 Tracking vehicle method by using image processing

Publications (2)

Publication Number Publication Date
TW201026081A TW201026081A (en) 2010-07-01
TWI383690B true TWI383690B (zh) 2013-01-21

Family

ID=42266205

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097150364A TWI383690B (zh) 2008-12-23 2008-12-24 影像處理的方法

Country Status (2)

Country Link
US (1) US8218877B2 (zh)
TW (1) TWI383690B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218877B2 (en) * 2008-12-23 2012-07-10 National Chiao Tung University Tracking vehicle method by using image processing
JP5386538B2 (ja) * 2011-05-12 2014-01-15 富士重工業株式会社 環境認識装置
JP5962083B2 (ja) * 2012-03-14 2016-08-03 オムロン株式会社 領域抽出結果の表示方法及び画像処理装置
US9299159B2 (en) * 2012-11-09 2016-03-29 Cyberlink Corp. Systems and methods for tracking objects
TWI733188B (zh) 2019-09-11 2021-07-11 瑞昱半導體股份有限公司 用於獨立物件之運動估計的裝置以及方法
CN112750170B (zh) * 2019-10-31 2024-05-17 华为技术有限公司 一种雾特征识别方法、装置及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200536403A (en) * 2004-01-09 2005-11-01 Sony Corp Color image processing method, and color imaging apparatus
TW200611573A (en) * 2004-09-24 2006-04-01 Service & Quality Technology Co Ltd Intelligent image-processing device for closed-circuit TV camera and it operating method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3733392B2 (ja) * 1996-03-05 2006-01-11 イーストマン コダック カンパニー 画像の構図変化検出方法
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
CN1303570C (zh) * 2002-02-12 2007-03-07 松下电器产业株式会社 图象处理装置和图象处理方法
JP4042432B2 (ja) * 2002-02-27 2008-02-06 株式会社日立製作所 撮像装置
US6616281B1 (en) * 2002-08-07 2003-09-09 Imatte, Inc. Visible-invisible background prompter
US7301562B2 (en) * 2003-02-06 2007-11-27 Eastman Kodak Company Imaging system with delayed verification image presentation
JP3879732B2 (ja) * 2003-11-27 2007-02-14 コニカミノルタホールディングス株式会社 物体検出装置、物体検知方法、およびコンピュータプログラム
US7602937B2 (en) * 2004-06-08 2009-10-13 International Electronic Machines Corporation Image-based visibility measurement
US20080181507A1 (en) * 2007-01-29 2008-07-31 Intellivision Technologies Corp. Image manipulation for videos and still images
JP4985155B2 (ja) * 2007-07-03 2012-07-25 株式会社ニコン 焦点調節装置および撮像装置
US8311276B2 (en) * 2008-01-07 2012-11-13 JVC Kenwood Corporation Object tracking apparatus calculating tendency of color change in image data regions
US8218877B2 (en) * 2008-12-23 2012-07-10 National Chiao Tung University Tracking vehicle method by using image processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200536403A (en) * 2004-01-09 2005-11-01 Sony Corp Color image processing method, and color imaging apparatus
TW200611573A (en) * 2004-09-24 2006-04-01 Service & Quality Technology Co Ltd Intelligent image-processing device for closed-circuit TV camera and it operating method

Also Published As

Publication number Publication date
US20100158378A1 (en) 2010-06-24
TW201026081A (en) 2010-07-01
US8218877B2 (en) 2012-07-10

Similar Documents

Publication Publication Date Title
US10970566B2 (en) Lane line detection method and apparatus
CN109785291B (zh) 一种车道线自适应检测方法
TWI383690B (zh) 影像處理的方法
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN107369159B (zh) 基于多因素二维灰度直方图的阈值分割方法
TWI394096B (zh) 影像追蹤處理的方法
CN107784669A (zh) 一种光斑提取及其质心确定的方法
CN115170669B (zh) 基于边缘特征点集配准的识别定位方法及系统、存储介质
CN108596878B (zh) 图像清晰度评价方法
CN110647836B (zh) 一种鲁棒的基于深度学习的单目标跟踪方法
CN111811784A (zh) 激光光斑中心坐标确定方法、装置及设备
CN103702015A (zh) 一种近红外条件下人脸图像采集系统的曝光控制方法
CN111354047B (zh) 一种基于计算机视觉的摄像模组定位方法及系统
CN109191429B (zh) 一种基于机器视觉的3d打印喷嘴检测方法
CN110298344A (zh) 一种基于机器视觉的仪表旋钮定位与检测方法
CN111739012A (zh) 基于转盘的摄像头模组白斑检测系统
JP2018128309A (ja) ひび割れ検出方法
CN113450402A (zh) 用于蔬菜大棚巡检机器人的导航中心线提取方法
CN109671084B (zh) 一种工件形状的测量方法
US11354794B2 (en) Deposit detection device and deposit detection method
CN117671033A (zh) 一种基于夜间灯光追踪的相机像主点快速定标方法和系统
CN110322508B (zh) 一种基于计算机视觉的辅助定位方法
CN115526811A (zh) 一种适应于多变光照环境的自适应视觉slam方法
CN107220983B (zh) 一种基于视频的生猪检测方法和系统
CN106447685A (zh) 一种红外跟踪方法