TWI387321B - Moving object detection method for different exposure image sequences - Google Patents

Moving object detection method for different exposure image sequences Download PDF

Info

Publication number
TWI387321B
TWI387321B TW96107899A TW96107899A TWI387321B TW I387321 B TWI387321 B TW I387321B TW 96107899 A TW96107899 A TW 96107899A TW 96107899 A TW96107899 A TW 96107899A TW I387321 B TWI387321 B TW I387321B
Authority
TW
Taiwan
Prior art keywords
dynamic range
image
moving object
different exposure
high dynamic
Prior art date
Application number
TW96107899A
Other languages
English (en)
Other versions
TW200838291A (en
Original Assignee
Univ Nat Chunghsing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Chunghsing filed Critical Univ Nat Chunghsing
Priority to TW96107899A priority Critical patent/TWI387321B/zh
Publication of TW200838291A publication Critical patent/TW200838291A/zh
Application granted granted Critical
Publication of TWI387321B publication Critical patent/TWI387321B/zh

Links

Landscapes

  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

不同曝光影像序列之移動物體偵測方法
本發明係一種移動物體的偵測方法，尤其是關於一種不同曝光時間影像序列之移動物體的偵測方法。
隨著數位像機的普及，現在喜歡拍照的人越來越多，對於數位相機的照相品質之要求也與日遽增。但，目前的數位相機在光線亮度分佈範圍較廣的環境下進行照相時，所拍攝的影像常形成局部太亮或局部太暗的問題，而使照片經常無法真實呈現我們人眼所看到的景色。造成上述問題的主要原因是因為一般數位相片的「動態範圍(Dynamic Range)」相當有限，而無法反應出外界景物的真實亮度。
所謂「動態範圍」就是指一個景或影像中所能表現出之最亮與最暗之間的差距；在真實世界中的幅射(radiance)與相片中的像素值存在著一個非線性的對應關係，例如當幅射低於某個臨界值時，在數位相片中即無法顯現其差異，而只能皆以最暗來表示之，舉例而言，若亮度是以八位元分階表示，即八個位元皆為0；同樣地，當幅射強過某一臨界值時，數位相片也只能以最亮來紀錄該像素的光強度，代表亮度的八位元皆以1表示，即亮度值為255。例如附件一所示，其中該附件一(a)圖若為人眼所能接收的影像，而附件一(b)圖則表示為動態範圍不足的影像，在該附件一(b)圖的某些局部呈現出死白區域(W)，而某些局部則呈現漆黑區域(B)，因此，拍攝所得之數位相片的動態範圍僅能呈現部分照相環境之光線分佈與亮度分佈狀況。
針對解決上述動態範圍不足的問題，遂發展了的高動態範圍(High Dynamic Range)影像。而所謂高動態範圍影像，係利用多張以不同曝光時間所拍攝的低動態範圍影像(Low Dynamic Range)，合成單一張影像，此單張影像即稱之為高動態範圍影像，其用途係解決一般數位相片動態範圍不足的問題。
既有高動態範圍影像(HDR1)的建立過程，如第四圖所示，包含以下處理步驟：建立複數張低動態範圍影像(LDR)(61)，係於相同場景以不同曝光時間拍攝出多張低動態範圍影像(LDR)；影像校正(62)，由於低動態範圍影像(LDR)在拍攝過程中，可能僅以手持相機來拍攝，並沒有使用腳架，而使得所拍攝之各低動態範圍影像(LDR)之間有旋轉或位移等幾何變形的差異存在，而可能導致影像合成失敗，因此，必須先進行影像校正(Image Registration)，使該些不同曝光時間之低動態範圍影像(LDR)進行對位；以及影像合成(63)，將對位完成之低動態範圍影像(LDR)進行影像合成，形成一高動態範圍影像(HDR1)。
另外，完成合成之高動態範圍影像(HDR1)，最終依舊需要輸出至不同的影像輸出裝置，例如顯示器、印表機、出圖機...等，但是這些影像輸出裝置所能呈現的動態範圍也是相當有限的，因此，需先進行色調對應(Tone mapping)，將高動態範圍影像(HDR1)進行合理的壓縮與色調對應，以使該高動態範圍影像(HDR1)忠實呈現於顯示器等設備上，此一過程亦稱為高動態範圍影像(HDR1)之最佳化(optimization)。
惟，上述之高動態範圍影像(HDR1)於其合成過程中，卻又衍生另一問題，在拍攝不同曝光時間的低動態範圍影像(LDR)時，即使是處於同一個場景內，該場景內的景物可能有細微的變動，如，樹葉因風吹而擺動、小蟲子飛過，或者是有人物的走動...等，這些移動物體都會造成所合成之高動態範圍影像(HDR1)產生「鬼影」，如附件二所示，該附件二下方為三張以不同曝光時間拍攝之低動態範圍影像(LDR)，其中，各低動態範圍影像(LDR)因為拍攝的時間不同而使該滑雪人動作與位置略有不同，而造成合成之高動態範圍影像(HDR1)(附件二上方圖)產生鬼影。
針對上述高動態範圍影像(HDR1)的鬼影問題，遂有研究提出一種以手動方式在各低動態影像(LDR)中標記移動物體之互動介面，供使用者在合成高動態範圍影像(HDR1)時，同時去除所選取的移動物體，如Ulead Photoimpact等軟體均具備類似功能。但是在影像上以手動選取的方法除了費時且麻煩外，其最大缺點是，在一般情況下，影像中會有許多使用者無法觀察出來的細微移動物體存在，例如樹叢中因風吹而擺動的樹葉，因此而造成使用者於標記移動物體的過程中，無法精確定位出移動物體的位置，導致在合成之高動態範圍影像(HDR1)產生多餘雜點或色彩不連續的現象。
另外，雖然影像合成過程，也可以利用移動物體偵測方法，將移動物體去除，但是該方法仍舊存在些許限制；因為傳統移動物體偵測方法的原理是將兩張影像做差值相減，當兩張影像彼此的像素值差超過一設定範圍或臨界值(threshold)時，便將該區域判定為移動物體。惟，由於影像是以不同的曝光時間來拍攝，所以就算影像中沒有任何移動物體，不同影像的像素差值還是會因為拍攝的曝光時間所造成的亮度(illumination)差異太大而超出臨界值，造成幾乎整張影像都被視為移動物體。例如，該附件三下方為兩張以不同曝光時間拍攝之低動態範圍影像(LDR)，經前述之影像差值計算所得的結果，所判定的移動物體標示於附件三上圖當中的紅色區域，此兩張低動態範圍影像(LDR)即使影像內容相同，也會因為亮度不同造成移動物體判定錯誤，使大多數的區域均被判定為移動物體。因此，很顯然地，前述傳統偵測移動物體的的方法不適合用在高動態範圍影像(HDR1)合成。
綜整上述既有之高動態範圍影像(HDR1)之處理方法，所具有的缺點如下：(1)當進行合成具有不同曝光時間拍攝之低動態範圍影像(LDR)時，各低動態範圍影像(LDR)內的移動物體將導致合成後之高動態範圍影像(HDR1)產生鬼影。
(2)手動選取移動物體的方式繁複且無法完全消除移動物體造成之鬼影。
(3)各低動態範圍影像(LDR)之亮度差異太大而無法利用像素差值消去方式排除移動物體。
為解決前述不同曝光時間拍攝之低動態範圍影像合成為高動態範圍影像過程中，各低動態範圍影像內移動物體造成合成不良、手動方式無法完全消除移動物體之鬼影、無法以各動態範圍影像之像數差值比較消去的方式去除移動物體等問題，本發明係提出一種不同曝光影像序列之移動物體偵測方法，其步驟包含：建立複數張低動態範圍影像，係以不同曝光時間拍攝取得複數張低動態範圍影像；建立初階高動態範圍影像，係透過一相機響應函數轉換前述步驟之各低動態範圍影像為複數張初階高動態範圍影像；偵測移動物體，判斷該複數張初階高動態範圍影像中之移動物體；執行型態學修正，可修正該初階高動態範圍影像於移動物體偵測後，所造成的影像雜點與缺洞；以及合成高動態範圍影像，可依據低動態範圍影像與執行型態學修正的結果，合成一高動態範圍影像。
藉此，所合成的影像，不僅具備高動態範圍，且也不會產生鬼影、雜點或缺洞，而且整體合成過程亦不需要手動選取移動物體。
請參考第一圖，其係為本發明之較佳實施例，其步驟包含：建立複數張低動態範圍影像(LDR)(10)、建立初階高動態範圍影像(HDR)(20)、偵測移動物體(30)、執行型態學修正(40)，以及，合成高動態範圍影像(50)，使該些低動態範圍影像(LDR)可形成一高動態範圍影像(HDR2)。
前述之建立複數張低動態範圍影像(LDR)(10)步驟，係對同一景物進行多次拍攝，且每次拍攝均採不同的曝光時間，取得複數張低動態範圍影像(LDR)。
前述之建立初階高動態範圍影像(20)步驟，係透過一相機響應函數將步驟(10)產生之各低動態範圍影像(LDR)轉換為對應之初階高動態範圍影像(HDR)，其中該相機響應函數係利用同一位置之曝光時間較長的影像像素值必定大於較短曝光時間影像像素值的法則決定最佳的取樣點後，依據Debevec所提之線性最小平方法(linear least square problem)(Debevec,P.E.and Malik,J.,“Recovering high dynamic range images,”Proceeding of the ACM SIGGRAPH 97,T.Whitted,Ed.,369－374 ,1997)計算而得之非線性函數。
該偵測移動物體(30)步驟，係利用臨界值法則判斷各初階高動態範圍影像(HDR)之移動物體，其中，該臨界值法係將兩初階高動態範圍影像(HDR)直接相減後，將相減後之R、G、B像素差值大於設定之臨界值者，予以標示並判定為移動物體。由於低動態範圍影像(LDR)在以相機響應函數轉換的過程，可去除各低動態範圍影像(LDR)因曝光時間不同造成的亮度差異，故可將兩初階高動態範圍影像(HDR)，以臨界值法則判斷有無移動物體；例如，請交互參考附件四與附件三，附件四為本實施例經相機響應函數轉換後之兩張初階高動態範圍影像(HDR)相減的結果，其中標示紅色區域為超過臨界值的區域，也就是被判定為移動物體的區域，而附件三之上圖係為未經過相機響應函數轉換之低動態範圍影像(LDR)相減結果，比較附件四與附件三上圖，可知，經過本實施例之相機響應函數轉換後之初階高動態範圍影像(HDR)進行相減，可正確判定出山巒及建築物等不移動物體之區域，所偵測的移動物體僅剩下因為風吹而擺動的樹葉。
前述偵測移動物體(30)之步驟，必須包含三張以上的初階高動態範圍影像(HDR)才可精確進行移動物體偵測；舉例而言，若只有兩張輸入之初階高動態範圍影像(HDR)，依據前述方法，雖可自動偵測出影像中移動物體的區域，但是卻沒有辦法判斷出哪一張影像中被標記出來的區域才是真正的移動物體。
請參考第二圖，係為三張相同背景、以不同曝光時間所攝取的影像A、B及C；在拍攝時有一方塊由左至右移動，該方塊在影像A標示為方塊1，在影像B之位置標示方塊2，在影像C之位置標示為方塊3。
首先，假設只有使用兩張影像A與B，將該影像A及影像B依據前述步驟進行移動物體偵測，由於方塊1與方塊2位置不同，所以方塊1與方塊2的位置均會被標記為移動物體區塊，如此，即無法得知哪個被標記的區域才真正是移動物體。但是，若將三張影像A、B及C均採用，先將各影像A、B、C進行移動物體偵測，因此可能為移動物體的地方都將被標記(也就是方塊1、2及3的位置)；以方塊1之位置為例，於影像A、B、C中均會被標記為移動物體區域，之後，藉由比較影像A、B及C產生之初階高動態範圍影像(HDR)於方塊1位置之像素值，即可發現影像A當中的方塊1因為像素值與其他兩張影像(即影像B、C)的差異過大，而可判定為移動物體，如此，即可解決上述無法判定移動物體位置的問題，而影像B、C當中的方塊2、方塊3均按照此一方式，可自動判定為移動物體。
最後，在合成初階高動態範圍影像(HDR)時，不採用標示為移動物體區域之像素值，即可將所有移動物體消除。例如，方塊1區域之初階高動態範圍影像(HDR)像素值由影像B與/或C決定，方塊2區域之像素值由影像A與/或C兩張決定；方塊3區域之像素值由影像B與/或C決定。
前述之執行型態學修正(40)步驟，係作為消去細微移動物體形成之雜點；由於步驟(30)的結果，可能產生雜訊或者移動物體內部會形成缺洞，利用型態學中之侵蝕(erosion)與膨脹(dilation)方法，將雜點消除與填補缺洞。請參考附件五及附件六，附件五包含兩張不同曝光時間之低動態範圍影像(LDR)，其中一張低動態範圍影像(LDR)加入兩隻蝴蝶；依據本實施例陳述的方法，將附件五中兩張低動態範圍影像(LDR)進行移動物體偵測後，便形成如附件六所示之影像，依據附件六圖中結果顯示，雖已可精確地自動判定所加入的蝴蝶位置之外，但卻尚包含些許獨立點(P)，這些獨立點(P)即為雜點；而該附件六圖中紅色範圍內的白色點，即為缺洞，其中該缺洞係因為移動物體內部臨界值太敏感而產生。
為了解決雜點與缺洞的問題，將利用型態學中的侵蝕與膨脹運算將分散的雜點移除，並將偵測出移動物體內部之小缺洞補滿。其中該侵蝕與膨脹運算為型態學主要的的運算子，侵蝕運算主要可把獨立點(P)或是物體中凸出的部分刪除，而膨脹運算則可以填補缺洞；其中，由於一般的移動物體都是所謂剛性移動物體，也就是其內部應該是一連續完整的區域，不會有缺洞產生，故可以利用該膨脹運算將缺洞填滿。
進行消除雜點與缺洞時，係先做兩次的侵蝕運算，再做兩次的膨脹運算；前兩次的侵蝕運算主要是要把分散的雜點消去，但是，侵蝕運算的同時也會把標示之移動物體區域縮小，且亦會使缺洞略微變大，因此需要再進行兩次的膨脹運算將移動物體的區域大小還原，並同時將缺洞補滿，而得到最後的結果。
請參考第三圖，第三A圖為包含雜點與缺洞的影像圖，經過兩次侵蝕運算後，如第三B圖所示，除可將分散的雜點消除外，亦同時將缺洞擴大；之後，如第三C圖所示，進行兩次膨脹運算後，即可將缺洞補滿，如此，即完成雜點與缺洞的消去動作。
該合成高動態範圍影像(50)之步驟，係依據前述複數張低動態範圍影像(LDR)(10)及執行型態學修正(40)的結果，合成一高動態範圍影像(HDR2)。
請參考附件七及附件八，其係為本實施例的具體實施成果；其中，附件七下方五張圖為不同曝光時間所拍攝的低動態範圍影像，其中有兩張低動態範圍影像各含有一隻蝴蝶係為移動物體，而附件七上方圖為經過前述步驟(10)至(50)合成之高動態範圍影像(HDR2)，該高動態範圍影像(HDR2)除已完全除去該低動態範圍影像之移動物體(蝴蝶)，也不會形成其他雜點；另外，該附件八下方為五張不同曝光時間所拍攝的低動態範圍影響，其中一張於拍攝過程有人恰好經過，係為移動物體，而附件八上方圖為經過前述步驟(10)至(50)合成之高動態範圍影像(HDR2)，該移動物體(人)也於該高動態範圍影像(HDR2)完全移除。如此，本實施例合成的影像不僅具備高動態範圍，且也不會產生鬼影、雜點或缺洞，而且整體合成過程亦不需要手動選取移動物體。
(HDR)．．．初階高動態範圍影像
(HRD1)(HDR2)．．．高動態範圍影像
(LDR)．．．低動態範圍影像
第一圖係為本發明較佳實施例流程圖
第二圖係為低動態範圍影像與移動物體示意圖
第三A圖係為型態學修正前示意圖
第三B圖係為完成兩次侵蝕運算的結果圖
第三C圖係為完成兩次膨脹運算後的結果圖
第四圖係為既有之高動態範圍影像處理流程圖
(LDR)．．．低動態範圍影像
(HDR)．．．初階高動態範圍影像
(HDR2)．．．高動態範圍影像

Claims (6)

  1. 一種不同曝光影像序列之移動物體偵測方法，其步驟包含：建立複數張低動態範圍影像，係以不同曝光時間拍攝取得複數張低動態範圍影像；建立初階高動態範圍影像，係透過一相機響應函數轉換前述步驟之各低動態範圍影像為複數張初階高動態範圍影像；偵測移動物體，判斷該複數張初階高動態範圍影像中之移動物體；執行型態學修正，可修正該初階高動態範圍影像於移動物體偵測後，所造成的影像雜點與缺洞；以及合成高動態範圍影像，可依據低動態範圍影像與執行型態學修正的結果，合成一高動態範圍影像。
  2. 如申請專利範圍第1項所述之不同曝光影像序列之移動物體偵測方法，其中該相機響應函數係利用同一位置之曝光時間較長的影像像素值必定大於較短曝光時間影像像素值的法則以決定最佳的取樣點後，依據Debevec所提之線性最小平方法(linear least square problem)所計算之非線性相機響應函數。
  3. 如申請專利範圍第2項所述之不同曝光影像序列之移動物體偵測方法，其中偵測移動物體係為比較前述之各初階高動態範圍影像之像素值差異臨界值。
  4. 如申請專利範圍第1、2及第3項中任一項所述 之不同曝光影像序列之移動物體偵測方法，其中該型態學修正，包含一侵蝕與一膨脹運算。
  5. 如申請專利範圍第4項所述之不同曝光影像序列之移動物體偵測方法，其中該侵蝕與膨脹運算係執行二次。
  6. 如申請專利範圍第5項所述之不同曝光影像序列之移動物體偵測方法，其中該複數張低動態範圍影像至少具有三張。
TW96107899A 2007-03-07 2007-03-07 Moving object detection method for different exposure image sequences TWI387321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW96107899A TWI387321B (zh) 2007-03-07 2007-03-07 Moving object detection method for different exposure image sequences

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW96107899A TWI387321B (zh) 2007-03-07 2007-03-07 Moving object detection method for different exposure image sequences

Publications (2)

Publication Number Publication Date
TW200838291A TW200838291A (en) 2008-09-16
TWI387321B true TWI387321B (zh) 2013-02-21

Family

ID=44820465

Family Applications (1)

Application Number Title Priority Date Filing Date
TW96107899A TWI387321B (zh) 2007-03-07 2007-03-07 Moving object detection method for different exposure image sequences

Country Status (1)

Country Link
TW (1) TWI387321B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI471521B (zh) * 2010-07-23 2015-02-01 Pixart Imaging Inc 位移估測方法及使用該方法之位移偵測裝置
JP7137544B2 (ja) * 2019-09-26 2022-09-14 キヤノン株式会社 画像処理装置および画像処理方法、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060061845A1 (en) * 2004-09-17 2006-03-23 Ulead Systems, Inc. Image composition systems and methods
TW200611573A (en) * 2004-09-24 2006-04-01 Service & Quality Technology Co Ltd Intelligent image-processing device for closed-circuit TV camera and it operating method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060061845A1 (en) * 2004-09-17 2006-03-23 Ulead Systems, Inc. Image composition systems and methods
TW200611573A (en) * 2004-09-24 2006-04-01 Service & Quality Technology Co Ltd Intelligent image-processing device for closed-circuit TV camera and it operating method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吳俊霖, 賈玠倫,"一個強健的不同曝光時間影像序列之移動物體偵測法", 國立屏東教育大學資訊科學應用期刊, 第2卷, 第2期, 2007年2月 圖式第5、10圖；摘要；說明書圖4下方、圖5下方、圖7上方、圖10上方、圖10下方之說明內容及參考文獻 *

Also Published As

Publication number Publication date
TW200838291A (en) 2008-09-16

Similar Documents

Publication Publication Date Title
CN107045715B (zh) 一种单幅低动态范围图像生成高动态范围图像的方法
US9852499B2 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
CN100527165C (zh) 一种以动态投影为背景的实时目标识别方法
US7724952B2 (en) Object matting using flash and no-flash images
US9019402B2 (en) Dynamic range extension by combining differently exposed hand-held device-acquired images
EP3520390B1 (en) Recolorization of infrared image streams
JP3528184B2 (ja) 画像信号の輝度補正装置及び輝度補正方法
CN108012078B (zh) 图像亮度处理方法、装置、存储介质和电子设备
WO2022000397A1 (zh) 低照度图像增强方法、装置及计算机设备
WO2013136427A1 (ja) 投写型表示装置および記録画像生成方法
JP6381404B2 (ja) 画像処理装置及び方法、及び撮像装置
JP5804857B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN106534677A (zh) 一种图像过曝优化方法及装置
CN108156369A (zh) 图像处理方法和装置
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
CN107948511B (zh) 图像亮度处理方法、装置、存储介质和图像亮度处理设备
CN115883755A (zh) 一种多类型场景下多曝光图像融合方法
JP7114335B2 (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム
TWI387321B (zh) Moving object detection method for different exposure image sequences
JP2017152866A (ja) 画像処理装置及び画像処理方法
JP2002117413A (ja) 光源環境変化をリアルタイムに反映する画像生成装置および画像生成方法
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
JP4359662B2 (ja) カラー画像の露出補正方法
TWI497448B (zh) 影像強化方法及其系統
JP5050141B2 (ja) カラー画像の露出評価方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees