TWI559236B - 適用於影像處理的更新背景方法 - Google Patents

適用於影像處理的更新背景方法 Download PDF

Info

Publication number
TWI559236B
TWI559236B TW101121986A TW101121986A TWI559236B TW I559236 B TWI559236 B TW I559236B TW 101121986 A TW101121986 A TW 101121986A TW 101121986 A TW101121986 A TW 101121986A TW I559236 B TWI559236 B TW I559236B
Authority
TW
Taiwan
Prior art keywords
image
background
update
new
brightness
Prior art date
Application number
TW101121986A
Other languages
English (en)
Other versions
TW201401181A (zh
Inventor
黃昱豪
許恩峯
高銘璨
謝孟寰
Original Assignee
原相科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 原相科技股份有限公司 filed Critical 原相科技股份有限公司
Priority to TW101121986A priority Critical patent/TWI559236B/zh
Priority to US13/865,680 priority patent/US9363444B2/en
Publication of TW201401181A publication Critical patent/TW201401181A/zh
Application granted granted Critical
Publication of TWI559236B publication Critical patent/TWI559236B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Description

適用於影像處理的更新背景方法
本發明係關於影像處理的更新背景方法，進一步言，本發明可動態調整背景影像更新時間的機制。藉由影像的變化，諸如亮暗變化、位移變化、顏色變化等等，來改變更新背景的時間，藉此提高前景與背景影像分辨的準確率。
現行的影像感測晶片有利用一主動光源打光至一物件，例如觸控筆或者手指等等，然後藉由一影像感測器來擷取反射光，使晶片能根據反射光，來產生一反射物件資料，其可表示物件相對於影像感測晶片的重心位置與亮度。藉此，可用以判斷物件的手勢、動態等等。因此，當背景影像與反射光較難以鑑別時，可能會造成判斷的誤差。
舉例而言，當使用者穿著反射係數較高的衣服，且會進入影像感測晶片的視野範圍時，會在影像感測器上形成一較亮且不動的背景影像。如此，當使用者開始揮動手掌進行控制時，手指/手掌的反射影像相對於背景影像的亮度差異便可能太小而影響到手勢判斷的結果。
因此，本發明提出一種可以考慮使用者使用情境，以更新背景的方法，可使影像感測晶片能基於對使用者行為的判斷，改變更新背景的時間，提高前景與背景影像分辨的準確率。
本發明的目的係提出一影像處理的更新背景方法，用以根據使用者的行為做判斷，減緩更新背景的程度，提高前景與背景影像分辨的準確率。減緩更新背景的程度可利用延長更新背景的時間或者減少用來更新背景的新資料的權重來達成。
為了達成此目的，當影像感測器感測到新進影像比背景影像的亮度大時，以較慢的時間更新背景影像或減少用來更新背景的新資料的權重，反之亦然。由於一般操作情況下，物件(例如使用者的手掌/手指)較背景而言更接近影像感測器，因此其反射光的強度會較大，而得出較亮的新進影像，此時以較慢的時間更新背景影像或減少用來更新背景的新資料的權重，可以使得新進影像具有較為一致的背景影像比較基準，而能提高分辨的準確率。
為了達成前述目的，另一種作法為當影像感測器感測到新進影像代表有位移發生時，以較慢的時間更新背景影像或減少用來更新背景的新資料的權重，反之亦然。由於一般操作情況下，當使用者想要進行手勢操作時，會以較明顯的方式來揮動物件(例如使用者的手掌/手指)，因此其新進影像會被判定為包含有位移資訊，此時便可以以較慢的時間更新背景影像或減少用來更新背景的新資料的權重。
為了達成前述目的，還有一種作法為當影像感測器感測到新進影像內包含有其預設物件外型條件的物件時，以較慢的時間更新背景影像或減少用來更新背景的新資料的權重，反之亦然。一般操作情況下，在影像感測器所能感測 的空間範圍內，其可預設辨識對象，例如使用者的手掌/手指，一般成人的手掌加上手指尺寸約為二十幾公分方圓左右，顏色為白皙到黝黑(對應從白人到黑人的膚色)。影像感測晶片可利用顏色、尺寸等外型條件做判斷，當新進影像被判定為包含有此類物件時，便可以以較慢的時間更新背景影像或減少用來更新背景的新資料的權重。
前述用來減緩更新背景的程度的方法，可以單獨或者混合使用，以促進本發明的效果。
以下之實施例係用以舉例說明本發明之技術內容，並非用以限制本發明之範圍。需說明者，以下實施例及圖式中，與本發明無關之元件已省略而未繪示，且圖式中各元件間之尺寸關係僅為求容易瞭解，非用以限制實際比例。
第1a圖與第1b圖係本發明之新進影像與背景影像更新的示意圖。其繪示當物件被影像感測器感測，而造成新進影像11具有較高亮點的像素31時，如何適用本發明的示意圖。在本實施例中，新進影像11具有4x3共12個像素，其中像素31具有較高亮點。而第1b圖則會是像素31在時間軸上所呈現的亮度變化，其中T8為新進影像中的亮度，而T0到T7則是之前的亮度變化。本圖式僅為便於說明本發明之用，實際上用以感測影像的影像感測器，常具有較多的像素數目，例如具有30x30像素的影像感測器。
根據T0到T7，可計算出像素31具有一平均亮度21，以及一標準差區間41。可以看出在T8時間，像素31的亮 度超過了標準差區間41而呈現高亮度狀態，此時代表物件開始進入影像感測器的感測範圍，而使新進影像11開始包含高亮度像素。在本實施例中，假設新進影像11會被作為更新背景影像的成份之一。
一般而言，更新背景影像的作法有累進式更新以及單張影像更新的分別。前者會考慮之前的影像資料，逐步的更新背景影像；後者則是直接擷取某一張影像，作為背景影像。本發明所適用的對象為累進式更新的方法。
在本實施例中，假設在T8時間之前，像素31的背景影像為具有平均亮度21以及標準差區間41，當時間T8時的影像具有較高的亮度時，為了延緩背景影像更新的程度，可以降低T8時間影像的權重，或者延長背景影像更新的時間距離，在本實施例中可以跳過T8時間的影像不用以更新背景影像。
進一步說明，為了延緩背景影像更新的程度，可以減低像素亮度超過平均亮度21或者超過標準差區間41的權重。例如在更新背景影像時，T8時間的像素亮度可以僅給予1/8，或者1/16等權重，使得原背景影像可佔有7/8或者15/16等權重，藉此降低高亮度像素影像對於背景影像的影響程度。
又或者當高亮度像素影像出現時，可以延長背景影像更新的時間。以本實施例而言，在時間T8之前，每一張影像都用來作為背景影像更新的參考，在時間T8出現高亮度像素影像時，則可以延長為三倍時間間隔或者十倍時間間隔 才擷取一張影像作為背景影像更新的參考。
當然，前述的方法也可以混合使用，亦即在時間T8出現高亮度像素影像時，既延長背景影像更新的時間，又降低像素影像對於背景影像影響的權重。
第2圖繪示本發明的一實施例。當新進影像具有高亮度像素時，利用本發明方法，減少用來更新背景的新資料的權重或者是以較慢的時間更新背景影像，來達成獲得更佳的前景資料的實施方式。
影像211係為一新進影像，其具有許多亮度與背景影像的亮度差超過某一預設值的像素。而影像217為在獲取影像211之後，直接將影像211加入先前已經存在的背景影像資料中所獲得的背景影像。例如影像211所佔權重為二分之一，而先前已經存在的背景影像所佔權重也為二分之一所得的背景影像。影像215則為將影像211的影響降低或者忽略後所獲得的背景影像。由圖中可見到影像215相對於影像217而言顯得更不亮、更模糊些。這樣的設定反應了當使用者的手掌/手指進入影像感測器感測區域時的結果。
影像213代表新進影像211與背景影像215的差異。在本實施例中，係將影像211減去影像215後，將亮度差異大於一第一預設值，且影像211的像素亮度大於一第二預設值的像素設定為高亮度，其他像素則設定為低亮度所獲得。在其他實施例中，亦可設定更多的預設值，以凸顯出更多不同的亮度差異，例如設定多個預設值，將亮度差異 大於一第一預設值且像素亮度大於一第二預設值的像素設定為高亮度，將亮度差異介於第一預設值與一第三預設值中間且像素亮度大於第二預設值的像素設定為中亮度等等。在更新了背景影像之後，處理新進影像與背景影像差異的方式還有許多，皆可適用本發明的方法。
影像219為將影像211減去影像217後經過相同處理所獲得的影像。可以清楚看到當更新背景的程度被減緩時，亦即影像215相對於影像217而言，較不清晰時，則可以在影像213中凸顯出手掌與手指的形狀，提高前景與背景影像的分辨率。相對而言，當使用者的手掌/手指離開影像感測器區域後，接下來影像感測器所獲得的影像將會缺少如同影像211的手掌/手指的影像，因此便可以恢復為正常的更新背景模式，亦即快速的更新背景，以反應現實中使用者已經不再進行控制的現況。
類似的，第3圖繪示本發明的另一實施例，當影像感測器感測到新進影像內包含有其預設物件(在本實施例中為手掌/手指)外型條件的物件時，以較慢的時間更新背景影像或減少用來更新背景的新資料的權重，反之亦然。
與前述實施例的差異在於，在本實施例中，影像感測晶片判斷新進影像中是否包含符合其預設物件(在本實施例中為手掌/手指)外型條件的物件。影像感測晶片判斷新進影像311中包含有手掌與手指的影像，藉此來減緩更新背景的程度。影像315，代表更新後的背景影像，而後將影像311減去影像315，獲得影像313，用以進行後續的處理。相比於第2圖的影像219，可以清楚看到當更新背景的程 度被減緩時，則可以在影像313中凸顯出手掌與手指的形狀，提高前景與背景影像的分辨率。
第4圖繪示本發明的另一實施例，與前述實施例的差異在於，在本實施例中，影像感測晶片判斷新進影像中是否包含位移發生。可以看到在新進影像411中，有手掌/手指的影像出現，代表位移發生，因此以較慢的時間更新背景影像或減少用來更新背景的新資料的權重，反之亦然。藉此，獲得一影像415，代表更新後的背景影像，而後將影像411減去影像415，獲得影像413，用以進行後續的處理。相比於第2圖的影像219，可以清楚看到當更新背景的程度被減緩時，則可以在影像413中凸顯出手掌與手指的形狀，提高前景與背景影像的分辨率。
綜上所述，本發明之影像處理的更新背景方法可減緩更新背景的程度，提高前景與背景影像分辨的準確率。
上述之實施例僅用來例舉本發明之實施態樣，以及闡釋本發明之技術特徵，並非用來限制本發明之保護範疇。任何熟悉此技術者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，本發明之權利保護範圍應以申請專利範圍為準。
11‧‧‧新進影像
21‧‧‧平均亮度
31‧‧‧像素31
41‧‧‧標準差區間
211,213,215,217,219,311,313,315,411,413,415‧‧‧影像
T0-T8‧‧‧時間
第1a圖與第1b圖係本發明之新進影像與背景影像更新的示意圖； 第2圖繪示本發明的一實施例；第3圖係本發明另一實施例；以及第4圖係本發明另一實施例。
11‧‧‧新進影像
31‧‧‧像素

Claims (1)

  1. 一種影像處理的更新背景方法，適用於包含有一影像感測器的一影像感測晶片包含：根據該影像感測器偵測之該物件，判斷一物件進入該影像感測器的偵測範圍，其中該偵測範圍為一立體空間；以及根據該影像感測器偵測之該物件，減緩更新背景的程度，以提高前景與背景影像分辨的準確率，其中，減緩更新背景的程度之步驟包括：藉由一較低權重以累進更新一新影像資料於一背景影像中、或以較長的時間間隔擷取一新影像資料並累進更新該影像資料於一背景影像中。
TW101121986A 2012-06-20 2012-06-20 適用於影像處理的更新背景方法 TWI559236B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW101121986A TWI559236B (zh) 2012-06-20 2012-06-20 適用於影像處理的更新背景方法
US13/865,680 US9363444B2 (en) 2012-06-20 2013-04-18 Background model update method for image process

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101121986A TWI559236B (zh) 2012-06-20 2012-06-20 適用於影像處理的更新背景方法

Publications (2)

Publication Number Publication Date
TW201401181A TW201401181A (zh) 2014-01-01
TWI559236B true TWI559236B (zh) 2016-11-21

Family

ID=49774139

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101121986A TWI559236B (zh) 2012-06-20 2012-06-20 適用於影像處理的更新背景方法

Country Status (2)

Country Link
US (1) US9363444B2 (zh)
TW (1) TWI559236B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105225217B (zh) 2014-06-23 2018-04-10 株式会社理光 基于深度的背景模型更新方法和系统
CN105303582B (zh) * 2014-12-01 2018-07-10 天津光电高斯通信工程技术股份有限公司 高铁站台周界检测方法
EP3286736B1 (en) * 2015-02-03 2018-09-05 Koninklijke Philips N.V. Image reconstruction system, method, and computer program
TW201715472A (zh) 2015-10-26 2017-05-01 原相科技股份有限公司 影像分區門檻值決定方法、手勢判斷方法、影像感測系統以及手勢判斷系統
CN106547396B (zh) * 2016-10-14 2018-09-14 南京仁光电子科技有限公司 一种提高光学触控系统抗瞬时强光干扰的方法
TWI731442B (zh) * 2019-10-18 2021-06-21 宏碁股份有限公司 電子裝置及其利用觸控資料的物件資訊辨識方法
CN112764594B (zh) * 2019-11-01 2023-06-09 宏碁股份有限公司 电子装置及其利用触控数据的物件信息识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200643824A (en) * 2005-04-12 2006-12-16 Koninkl Philips Electronics Nv Pattern based occupancy sensing system and method
TW200919375A (en) * 2007-10-29 2009-05-01 Ind Tech Res Inst Method and system for object detection and tracking

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101392294B1 (ko) * 2006-04-17 2014-05-27 오브젝트비디오 인코퍼레이티드 통계적인 픽셀 모델링을 이용한 비디오 분할
US8280106B2 (en) * 2007-09-29 2012-10-02 Samsung Electronics Co., Ltd. Shadow and highlight detection system and method of the same in surveillance camera and recording medium thereof
US8744123B2 (en) * 2011-08-29 2014-06-03 International Business Machines Corporation Modeling of temporarily static objects in surveillance video data
US8873852B2 (en) * 2011-09-29 2014-10-28 Mediatek Singapore Pte. Ltd Method and apparatus for foreground object detection
US9681125B2 (en) * 2011-12-29 2017-06-13 Pelco, Inc Method and system for video coding with noise filtering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200643824A (en) * 2005-04-12 2006-12-16 Koninkl Philips Electronics Nv Pattern based occupancy sensing system and method
TW200919375A (en) * 2007-10-29 2009-05-01 Ind Tech Res Inst Method and system for object detection and tracking

Also Published As

Publication number Publication date
US9363444B2 (en) 2016-06-07
TW201401181A (zh) 2014-01-01
US20130342705A1 (en) 2013-12-26

Similar Documents

Publication Publication Date Title
TWI559236B (zh) 適用於影像處理的更新背景方法
US9262690B2 (en) Method and device for detecting glare pixels of image
EP2905680B1 (en) Information processing apparatus, information processing method, and program
JP2006244446A (ja) 表示装置
TW200941313A (en) Apparatus and methods for a touch user interface using an image sensor
TW201824081A (zh) 光學識別方法
WO2018057103A1 (en) Method and system for motion sensitive generation of high dynamic range image
JP5510907B2 (ja) タッチ位置入力装置及びタッチ位置入力方法
TWI441060B (zh) 一種光學觸控系統之影像處理方法
JP7378354B2 (ja) ライブ動画ストリームからの指の押下の検出
TWI536211B (zh) 雙模光學導航裝置及其模式切換方法
US20140015950A1 (en) Touch detection apparatus, touch detection method and recording medium
WO2016018393A1 (en) Touch region projection onto a touch-sensitive surface
EP3906525A1 (en) Error reduction of depth maps
US8804029B2 (en) Variable flash control for improved image detection
TWI502988B (zh) 電子裝置及增強影像解析度之方法及其電腦可讀取媒體
US20190014246A1 (en) Image capturing apparatus with operation members provided on different sides, control method of the same, and storage medium
JP6432159B2 (ja) 情報表示装置、情報表示方法、および情報表示プログラム
TWI478027B (zh) 光學觸控系統的處理裝置及其操作方法
JP2016024743A (ja) 動画像処理装置、動画像情報処理プログラムおよび動画像処理方法
US9395895B2 (en) Display method and apparatus, and electronic device
US9304628B2 (en) Touch sensing module, touch sensing method, and computer program product
US9298319B2 (en) Multi-touch recognition apparatus using filtering and a difference image and control method thereof
JP6709022B2 (ja) タッチ検出装置
CN103529927B (zh) 适用于影像处理的更新背景方法