TWI582527B - 用於控制攝影機之曝光之方法與控制單元 - Google Patents

用於控制攝影機之曝光之方法與控制單元 Download PDF

Info

Publication number
TWI582527B
TWI582527B TW104104619A TW104104619A TWI582527B TW I582527 B TWI582527 B TW I582527B TW 104104619 A TW104104619 A TW 104104619A TW 104104619 A TW104104619 A TW 104104619A TW I582527 B TWI582527 B TW I582527B
Authority
TW
Taiwan
Prior art keywords
value
image
camera
target value
pixels
Prior art date
Application number
TW104104619A
Other languages
English (en)
Other versions
TW201533521A (zh
Inventor
佛瑞德列克 史文森
喬漢 吐文森
琳達 赫爾思
Original Assignee
安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 安訊士有限公司 filed Critical 安訊士有限公司
Publication of TW201533521A publication Critical patent/TW201533521A/zh
Application granted granted Critical
Publication of TWI582527B publication Critical patent/TWI582527B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Description

用於控制攝影機之曝光之方法與控制單元
本發明係關於曝光控制領域。特定言之，其係關於一種用於一攝影機之曝光控制的方法、控制單元及系統。
攝影機通常用作一監視工具或用於輔助處於不同情況中之個人的一工具。例如，攝影機可用於交通監視或交通輔助之目的。一攝影機可(例如)安裝於一汽車或一火車上以輔助駕駛員或提供輸入至一自動駕駛或安全系統。
在夜間，若一強光源進入場景中，則在由攝影機所擷取之影像中可出現像素之飽和的一問題。飽和係歸因於攝影機感測器中之像素之受限動態使得無法擷取整個範圍的光強度之事實。因此，在夜間可(例如)難以看見信號之顏色，諸如交通信號燈及鐵路信號。亦可難以區分一牌照上之數字，因為由一牌照反射之光可造成影像中的飽和。
出於上文舉例說明之監視的目的，因此在夜間不使影像之任一部分飽和係重要的。同時，在日間當太陽通常造成影像中之飽和且因此場景之最亮的部分通常係天空(儘管其就一監視角度而言並不如此重要)時，影像之部分是否飽和不重要。
公開號為美國7,474,847 B2之專利基於來自影像框之強度直方圖揭示一攝影機的曝光控制。更詳細地，自直方圖提取特性值，諸如一 平均值、一下限及一上限。接著調整攝影機之曝光參數直至直方圖之特性值達到大約預定義目標位準。目標位準可根據周圍之光位準改變，使得當較暗時目標位準減小。因此，將朝向強度範圍之更暗端變換較暗時所擷取之影像的直方圖，藉此可能減少影像中飽和像素之數目。此變換使得影像曝光不足。然而，此方法之一缺陷在於在較暗時，影像通常將曝光不足，不考慮影像中是否存在飽和。例如，即使在夜間場景中不存在交通信號燈，影像仍將曝光不足。因此存在改良空間。
鑑於上文，因此提供用於一攝影機之曝光控制的一經改良方法係本發明之一目標，該經改良方法在較暗照明條件期間減少影像中之飽和，同時當不存在飽和時，在較亮照明條件或較暗照明條件期間產生正確曝光的影像。
根據本發明之一第一態樣，由用於控制一攝影機之曝光的一方法達成上文目標，包括以下步驟：判定當擷取一視訊序列中之一第一影像時攝影機使用之一曝光時間及一增益，將相對於第一影像之一黑暗位準至少計算為曝光時間與增益之一積，將相對於第一影像之一飽和位準計算為第一影像中之飽和像素的一數目與全暗像素的一數目之間之一比率，若飽和位準超過一第一限度，則使由攝影機所擷取之影像中之像素的一平均強度值之一目標值減小係黑暗位準之一遞增函數的一量，及控制針對視訊序列中之第一影像之後的影像之攝影機的曝光，使得隨後之影像中之像素的平均強度值接近所減小之目標值。
根據上文方法，減小由攝影機所擷取之影像中之像素的平均強度值之目標值以減少飽和問題。更詳細地，減小用於控制攝影機之平均強度值的目標值造成在強度比例上向下變換隨後之影像之強度值的直方圖。因此，飽和像素之數目減少。
平均強度值之目標值隨黑暗位準之一遞增函數而減小。例如，黑暗值之遞增函數可給定目標值之減小量為相對於一當前目標值的一百分比。即，越暗，目標值減小得越多。此暗示相較於在較不暗或甚至較亮照明條件期間當減少飽和像素之數目不如此重要時，在較暗照明條件期間當就自上文舉例說明的監視角度而言減少飽和像素之數目重要時，減少之飽和像素更多。具有此配置，當較暗時可減少飽和之問題，同時在較亮照明條件期間可產生正確曝光之影像。
此外，重要的係注意僅在若於當前影像中存在一飽和問題時，即在若飽和位準超過第一限度時，減小目標值，不考慮當前黑暗位準。以此方式，在較暗照明條件期間當不存在飽和時產生正確曝光之影像。
考量(例如)經安裝向前看之一汽車之一攝影機。在夜間(當較暗時)情況如下：只要場景中不存在亮光(諸如一交通信號燈或一反射之牌照)，攝影機之影像即將正確曝光(即，不減小目標值)。此意謂設定平均強度之目標值使得在大部分場景中達成一較高之可見度，即使得在影像中的較亮與較暗部分之間達成平衡。當一亮光進入場景時(諸如當汽車接近一交通信號燈時)影像中可出現飽和問題。然而，在此情況中將減小目標值，藉此減少飽和問題。因此，將可看見在影像中交通信號燈之顏色或讀取牌照上之文字。在日間(當較亮時)情況如下：不考慮影像中是否存在亮光，影像將正確曝光(即，目標值不減小)。針對介於「較暗」與「較亮」之間的一照明條件，諸如在傍晚，發生上文兩個情況之間的一混合。更精確地，若在當前影像中存 在飽和，則使目標值調整取決於黑暗位準之一量。
若像素之強度值超過處於一可能強度值範圍的一上端上之一預定義值，則第一影像中之一像素被視作一飽和像素。
相似地，若像素之強度值低於處於可能強度值範圍的一下端上之一預定義值，則第一影像中之一像素被視作一全暗像素。
可參考第一影像之強度值的直方圖進一步解釋術語「飽和像素」及「完全黑暗像素」。在直方圖中，將強度值分割為對應於一可能強度值範圍的多個單位區段。例如在直方圖中可存在對應於介於0與255之間之一可能強度範圍的256個單位區段。在此上下文中，可將一飽和像素界定為具有處在對應於最高之可能強度值之一者的一單位區段內之一強度值的一像素。在一些情況下，僅對應於最高強度值(在實例中為強度值255)之單位區段用以界定一飽和像素。在其他情況中，使用少數單位區段，諸如對應於兩個或三個最高強度值之單位區段。相似地，可將一完全黑暗像素定義為具有處在對應於最低之可能強度值之一者的一單位區段內之一強度值的一像素。
現考量其中已減小目標位準以在夜間減少飽和(例如因為其上安裝有攝影機之汽車接近一交通信號燈)的一情況。當汽車通過交通信號燈時，亮光自場景消失且因此不再存在任一潛在飽和問題。然而，因為目標位準減小，所以由攝影機所擷取之影像仍將曝光不足。為調適至此情況，該方法可進一步包括以下步驟：若飽和位準低於小於或等於第一限度之一第二限度，則增加由攝影機所擷取之影像中的像素之平均強度值之目標值，及控制針對視訊序列中之第一影像之後的影像之攝影機的曝光，使得隨後之影像中之像素的平均強度值接近所增加之目標值。
換言之，若發現不再存在一飽和問題(飽和位準低於第二限度)，則可再次增加目標值。以此方式，該方法可先在一亮光進入場景時減 小目標值且接著在亮光離開場景時增加目標值。該方法可因此相對於照明及飽和調適至當前條件。
例如，可使平均強度值之目標值增加隨黑暗位準減小之一量。即，越暗，目標值所增加的量越小。此之優勢在於當較亮時(當陷入新的飽和問題內之風險不重要時)可在較大步階中使目標位準增加，當較暗(且陷入新的飽和問題內之風險重要)時可在較小步階中使目標位準增加。
黑暗位準之減小不需係一嚴格減小。換言之，亦包含其中不考慮黑暗位準而在連續步階中使目標位準增加的情況。
如上文所討論，使平均強度值之目標值減小係黑暗位準之一遞增函數的一量。黑暗位準之遞增函數可將零值當作低於一第一臨限值的黑暗位準，使得低於第一臨限值之黑暗位準的目標值不減小。
換言之，可存在區分其中不執行減小目標值之一較亮照明條件與其中若飽和則減小目標值之一較暗照明條件的一第一臨限值。因此，即使存在飽和，若發現當前其係一較亮照明條件，則不減小目標位準。此係有優勢的，因為當其係一較亮照明條件時，就一監視角度而言，至少非針對本文所提及之應用，存在飽和並不重要。
可進一步存在界定較暗照明條件之相對於黑暗位準的一第二臨限值。更精確地，黑暗位準之遞增函數可將一第一值當作低於一第一臨限值的黑暗位準且將一第二值當作高於大於第一臨限值之一第二臨限值的黑暗位準，且其中針對介於第一臨限值與第二臨限值之間的黑暗位準，函數自第一值平滑地增加至第二值。
換言之，針對低於第一臨限值之黑暗位準(即當其係一較亮照明條件時)使目標位準減小對應於一最小步長的一第一值。針對高於第二臨限值之黑暗位準(即當其係一較暗照明條件時)使目標位準減小對應於一最大步長的一第二值。針對介於第一與第二臨限值之間的黑暗 位準(即當其介於較亮與較暗之間時)目標值之減小隨增加之黑暗位準自最小步長平滑地增加至最大步長。
此之優勢在於達成較暗照明條件與較亮照明條件之間之一平滑轉變。
一般而言，函數之形狀可採取介於第一臨限值與第二臨限值之間的任一遞增形式。例如，函數可自第一值線性地增加至第二值。已發現此給定較暗照明條件與較亮照明條件之間之一良好轉變，同時其提供易實施的一簡易模型。
方法可進一步包括接收關於第一臨限值之使用者輸入。此之優勢在於使用者可設定界定一較亮照明條件之意義的臨限值。
方法可進一步包括接收關於若適用則與飽和位準比較之第一限度及/或第二限度之值的使用者輸入。此之優勢在於使用者可設定界定是否存在飽和之限度。可視(例如)交通信號燈或牌照之大小設定限度。
可基於一誤差控制針對視訊序列中之第一影像之後的影像之攝影機的曝光。特定言之，方法可進一步包括基於自隨後之影像中的像素之平均強度值計算的一誤差及所減小之或若適用則所增加之目標值產生針對攝影機的一控制信號。控制信號可包括與誤差成比例之一項(P控制器)，且視情況地包括與誤差之積分成比例的一項(PI控制器)且視情況地亦包括與誤差之導數成比例的一項(PID控制器)。替代地，可使用任一其他標準方法。
然而，較佳地採取另一方法，即控制信號取決於根據一函數之誤差，該函數具有隨所計算之誤差與若平均強度值等於所減小之或若適用則所增加之目標值則誤差將採取的一值之間的距離增加之一導數。以此方式，當誤差較大時，即當目標值與平均強度值遠非相等時，控制對於誤差中之改變更敏感，且當目標值與平均強度值幾乎相 等時，控制對於誤差中之改變較不敏感。換言之，當平均強度值遠非目標值時，控制將較快，且當平均強度值接近目標值時，控制將較慢。然而，值得注意的係，因為函數係連續的，所以在使用一較快控制與使用一較慢控制之間不存在固定限度。
此方法之優勢在於當目標值與平均強度值遠非相等時達成較快之一控制，同時當目標值與平均強度值幾乎相等時控制係穩固的，因為當誤差變得較小時平均強度值平滑地接近目標值。特定言之，當平均強度值接近目標值時，可避免P、PI或PID控制器之問題，諸如振盪。此控制方法之另一優勢在於其不給定固定誤差且易於調諧而不使控制中發生過衝。在一較佳實施例中，將誤差計算為所減小之目標值或若適用則所增加之目標值與隨後的影像中之像素之平均強度值之間的一比率。在另一實施例中，將誤差計算為隨後之影像中之像素的平均強度值與所減小之目標值或若適用則所增加之目標值之間的一差值。
具有增加之一導數之函數可(例如)係一反S型函數，因為已發現此給定一尤其快速且穩固之控制。
根據本發明之一第二態樣，由用於控制一攝影機之曝光的一控制單元達成上文目的，該控制單元經組態以：判定當擷取一視訊序列中之一第一影像時攝影機使用之一曝光時間及一增益，將相對於第一影像之一黑暗位準至少計算為曝光時間與增益之一積，將相對於第一影像之一飽和位準計算為第一影像中之飽和像素的一數目與完全黑暗像素的一數目之間之一比率，若飽和位準超過一第一限度，則使由攝影機所擷取之影像中之像素的一平均強度值之一目標值減小係黑暗位準之一遞增函數的一 值，及控制針對視訊序列中之第一影像之後的影像之攝影機的曝光，使得隨後之影像中的像素之平均強度值接近所減小之目標值。
根據本發明之一第三態樣，由包括至少一攝影機及根據第二態樣用於控制至少一攝影機之曝光的一控制單元達成上文目標。監視系統可係一交通監視系統。該系統可(例如)使得能夠在黑暗中識別有色燈信號或牌照。
根據本發明之一第四態樣，由包括電腦碼指令之電腦可讀媒體達成上文目的，該等電腦碼指令當由具有處理能力之一裝置執行時經調適以執行根據第一態樣之方法。
第二、第三及第四態樣可大體上具有與第一態樣相同之特徵及優勢。應進一步注意，除非另有明確陳述，否則本發明係關於特徵之全部可能之組合。
一般而言，除非本文另外明確界定，否則將根據申請專利範圍中使用之全部術語在技術領域中的一般意義解釋該等術語。除非另有明確陳述，否則將對於「一/一個/該[控制單元、攝影機、步驟等等]」之參考開放式地解譯為指代該控制單元、攝影機、步驟等等之至少一例項。除非明確陳述，否則不需以所揭示之準確順序執行本文所揭示之任一方法的步驟。
100‧‧‧監視系統
102‧‧‧攝影機
104‧‧‧控制單元
106‧‧‧處理單元
108‧‧‧通信介面
110‧‧‧記憶體
200‧‧‧第一影像
202‧‧‧第一軌道
204‧‧‧第二軌道
206‧‧‧光信號
208‧‧‧光信號
210‧‧‧直方圖
300‧‧‧影像
310‧‧‧強度直方圖
400‧‧‧影像
410‧‧‧強度直方圖
500‧‧‧影像
510‧‧‧強度直方圖
700‧‧‧函數
802‧‧‧虛線曲線
804‧‧‧函數
S02‧‧‧步驟
S04‧‧‧步驟
S06‧‧‧步驟
S08‧‧‧步驟
S10‧‧‧步驟
S12‧‧‧步驟
S14‧‧‧步驟
S16‧‧‧步驟
L1‧‧‧第一臨限值
L2‧‧‧第二臨限值
Told‧‧‧目標值
Tnew‧‧‧目標值
V1‧‧‧第一值
V2‧‧‧第二值
參考隨附圖式，透過本發明之較佳實施例的下列闡釋性且非限制性詳細描述將更好瞭解上文及本發明之額外目的、特徵及優勢，其中相同參考數字將用於相似元件，其中：圖1示意性繪示包括根據實施例之一攝影機及一控制單元的一監視系統。
圖2a、圖3a、圖4a及圖5a示意性繪示由圖1之攝影機所擷取之影 像。
圖2b、圖3b、圖4b及圖5b分別示意性繪示圖2a、圖3a、圖4a及圖5a中所繪示之影像的強度直方圖。
圖6係用於控制根據實施例之一攝影機之曝光的一方法之一流程圖。
圖7示意性繪示一遞增函數，根據該函數，平均強度位準之目標值可視黑暗位準減小。
圖8示意性繪示將平均強度值中之一誤差映射至一控制信號值的一函數。
現將參考隨附圖式在下文中更充分描述本發明，其中展示本發明之當前較佳的實施例。然而，本發明可以諸多不同形式體現且不應被解釋為受限於本文所闡釋之實施例；反之，為詳盡且完整起見且以將本發明之範疇充分傳達給熟習此項技術者，提供此等實施例。將描述在操作期間之本文所揭示之系統及裝置。
圖1繪示包括一攝影機102及一控制單元104之一監視系統100。攝影機102經組態以擷取一視訊序列之影像，且可(例如)係一數位監視攝影機。控制單元104可包含於攝影機102中或可經提供為可操作地連接至攝影機102之一單獨部分。替代地，控制單元104之一第一部分可定位於攝影機102中且控制單元104之一第二部分可定位於攝影機102外部，使得本文所揭示的方法步驟之一些在攝影機102中實施且一些在攝影機102外部實施。監視系統100可進一步包括複數個攝影機102。一單一控制單元104可控制複數個攝影機102。監視系統可(例如)用於交通監視應用中。因此，監視系統100可係一交通監視系統。
控制單元104經組態以實施用於控制根據本文所揭示之實施例之攝影機102的曝光之一方法。出於此目的，控制單元104可包括經組態 以執行(例如)可儲存於一記憶體110中之電腦碼指令的一處理單元106，諸如一中央處理單元。記憶體110可因此形成用於儲存此等電腦碼指令之一(非暫時性)電腦可讀媒體。處理單元106可替代地採取特別設計以實施本文所揭示之實施例之方法的一硬體組件之形式，諸如一特殊應用積體電路、一場可程式化閘陣列或類似者。
控制單元104可進一步包括一通信介面108(諸如一傳輸器/接收器)，經由該通信介面108可自攝影機102接收資料且傳輸資料至攝影機102。所接收之資料可(例如)包含由攝影機102所擷取之影像及當擷取該等影像時攝影機102使用的曝光設定。所傳輸之資料可(例如)包含用於控制攝影機102之曝光的一控制信號。
現將參考圖1、圖2a至圖2b、圖3a至圖3b、圖4a至圖4b、圖5a至圖5b、圖7、圖8及圖6之流程圖揭示系統100之操作。特定言之，將揭示由控制單元104實施之用於控制攝影機102之曝光的一方法。
在步驟S02中，控制單元104判定當擷取一視訊序列之影像中之一第一影像時攝影機102使用的一曝光時間及一增益。曝光時間及增益係攝影機102之曝光設定之實例。曝光時間及增益可(例如)由控制單元104自攝影機102接收。亦可在步驟S02中判定之另一曝光設定係攝影機之孔徑(即光圈)的大小。
曝光時間及增益係指示照明條件之兩個參數。此亦適用於孔徑之大小。曝光時間調節進入攝影機感測器之光的多少，且特定言之，在較暗照明條件期間，設定一較長曝光時間以使得足夠的光進入攝影機感測器。因此，一較高曝光時間指示一較暗照明條件。進一步言之，相較於一較亮照明條件，在一較暗照明條件期間進入感測器之光的量通常更小。因此，在較暗照明條件期間更需放大所感測之信號。因此，用於放大之增益的一較高值亦指示一較暗照明條件。換言之，曝光時間及增益，且特定言之其之積可用以獲取當前黑暗位準的一指 示。
在步驟S04中，控制單元104至少基於所判定之曝光時間及增益計算相對於視訊序列中之第一影像的一黑暗位準。較佳地，控制單元104將黑暗位準計算為曝光時間與增益之一積。然而，在一些實施例中控制單元104可將黑暗位準計算為曝光時間、增益與孔徑之大小的一積。鑑於上文，黑暗位準因此係場景中之黑暗的一量度。
圖2a繪示一視訊序列中之一第一影像200。在所繪示之實例中，安裝攝影機102以自在一第一軌道202上行駛之一火車向前看。亦存在與第一軌道202平行之一第二軌道204。火車正接近，但仍距與第一軌道202相關之一第一光信號206及與第二軌道204相關之一第二光信號208非常遠。在此實例中，假設外部相對較暗，使得控制單元104在步驟S04中計算針對第一影像200之一相對較大的黑暗位準。
下一步在步驟S06中，控制單元104計算相對於第一影像200之一飽和位準。將飽和位準計算為第一影像200中之飽和像素的一數目與完全黑暗像素的一數目之間之一比率。
圖2b繪示第一影像200中之像素之強度值的一直方圖210。在直方圖210中，將可能強度值範圍分割為在此由0......n-1所索引之單位區段所繪示的複數個單位區段。例如，可存在256個單位區段。飽和像素之數目可通常對應於處於強度範圍之上端上且在由n-1所索引之單位區段中的像素之數目。替代地，飽和像素之數目可對應於處於強度範圍之上端上且在少數(諸如兩個或三個)單位區段中的像素之數目。例如，飽和像素之數目可對應於由n-1及n-2所索引之單位區段中的像素之數目。可以與計算由0所索引之第一單位區段中之像素的數目或與計算第一少數單位區段中(諸如直方圖中之兩個或三個單位區段中)之像素的數目相同之方式計算完全黑暗像素之數目。
應注意，第一影像200可係一彩色影像，諸如一紅綠藍(RGB)影 像。若如此，則可自亮度(諸如具有一YCbCr表示之一彩色圖像中之Y組件)之一直方圖或自其中表示全部顏色之原始像素資料推斷完全黑暗像素的數目。
在圖2b之所繪示之實例中，相較於由0所索引的最低單位區段，在由n-1所索引的最高單位區段中存在非常少之像素。換言之，所計算之飽和位準將非常高。在此情況下，在一另外較暗環境中，存在第一及第二光信號206、208造成飽和。歸因於在光信號206、208與環境之間存在此一較大之對比，光信號206、208在影像200中飽和，如自圖2b中之直方圖可見。歸因於飽和之一結果，光信號206、208在影像200中呈現為白色且因此不能自影像200推斷光信號206、208之顏色。
在步驟S08中，控制單元104檢查飽和位準是否超過一第一限度。第一限度係一預定義參數，其舉例而言可採取值10-3。第一限度可受使用者輸入影響。基於檢查，控制單元104接著調整由攝影機102所擷取之影像中之像素的一平均強度值之一目標位準。
特定言之，若控制單元104已發現飽和位準超過第一限度，則其繼續步驟S10，其中目標位準減小。在圖2a及圖2b之所繪示之實例中，假設飽和位準超過第一限度，且因此將目標位準自其當前值Told減小至一新的值Tnew。
根據係黑暗位準之一遞增函數之一函數判定調整的量，即Told至Tnew。圖7中展示可用於此目的之一函數的一實例。所繪示之函數700將一第一值V1當作低於一第一臨限值L1之黑暗位準且將一第二值V2當作高於一第二臨限值L2之黑暗位準。針對介於L1與L2之間之黑暗函數，函數700在此情況下線性地自第一值V1平滑地增加至第二值V2。可(例如)給定值V1及V2相對於當前目標值之一百分比。例如，V1可對應於0%且V2可對應於50%。因此，在一些情況下，不減小針對低於第一臨限值L1之黑暗位準之目標值。針對高於第一臨限值L1 且低於第一臨限值L2之黑暗位準，目標值減小的量隨黑暗位準線性增加。針對高於第二臨限值L2之黑暗位準，減小之目標位準的量保持恒定。至少較低臨限值L1可受使用者輸入影響，可將較低臨限值L1解釋為區分一較亮照明條件與一較暗照明條件之一臨限值。
在一些實施例中，可設定第二臨限值L2等於第一臨限值L1，因此造成函數700成為將值V1當作低於第一臨限值L1之黑暗位準且將值V2當作高於或等於第一臨限值L1之黑暗位準的一步階函數。
下一步控制單元104在S14中控制曝光，即曝光設定諸如攝影機102之曝光時間、增益及孔徑大小。攝影機102之控制影響第一影像200之後的影像，諸如圖3a之影像300。控制曝光設定使得隨後之影像中之像素的平均強度值接近所調整之目標值Tnew。控制單元104通常基於一誤差進行控制。根據一實施例，將誤差計算為隨後之影像中之像素的平均強度值與所調整之目標值Tnew之間的差值。根據另一實施例，將誤差計算為所調整之目標值與平均強度值之間的一比率。歸因於控制之一結果，將變換針對隨後之影像的強度直方圖，使得其之強度值變得等於或接近所調整之目標值Tnew。
此在展示針對圖3a之隨後之影像300的一強度直方圖310之圖3b中經進一步繪示。值得注意的係，相較於圖2a中之直方圖210，在強度比例上向下變換直方圖310。因此，隨後之影像300變得比第一影像200更暗。然而，更重要的係，歸因於直方圖310向下變換之一結果，在隨後之影像300中不再存在任一飽和像素。此具有一優勢效應，即在隨後之影像300中可看見光信號208及206之顏色。例如，隨後之影像300現可揭示第一光信號206包括一綠光及白光且第二光信號208包括一紅光。
如上文所討論，控制單元204可基於自平均強度值及所調整之目標值Tnew計算之一誤差進行控制。特定言之，控制單元104可基於誤 差產生一控制信號。
根據其中將誤差計算為隨後之影像中之像素的平均強度值與所調整之目標值Tnew之間的一差值之一實施例，控制信號包括與誤差成比例之一項(P控制器)，且視情況地包括與誤差之積分成比例的一項(PI控制器)且視情況地亦包括與誤差之一導數成比例的一項(PID控制器)。在採取此一控制策略的情況下，由圖8中之虛線曲線802繪示為誤差之一函數的控制信號之值。
根據另一實施例，根據一函數，控制信號取決於誤差。函數通常將零值當作對應於等於目標值之平均強度值的誤差之一值。在將誤差計算為平均強度值與目標值之間之一差值的情況下，對應於等於目標值之平均強度值的誤差之值因此等於零值。在將誤差計算為目標值與平均強度值之間之一比率的情況下，對應於等於目標值之平均強度值的誤差之值因此係值一。
進一步言之，函數具有隨誤差與若平均強度值等於目標值則誤差將採取的值之間之距離增加的一導數。
在當將誤差計算為平均強度值與目標值之間之一差值的一情況下，此控制策略由圖8中之實曲線804繪示。由實曲線804所繪示之函數可(例如)採取一反S型函數(an inverse sigmoid function)之形式。其他選擇係一功能函數(具有奇數冪)(諸如一三次函數)，或具有針對誤差之正值的一指數生長及針對誤差之負值的一指數遞減之一函數。如上文進一步所討論，此控制策略之優勢在於達成給定目標值一快速收斂的一控制，同時當誤差變得較小時平均強度值平滑地接近目標值。在一較佳的實施例中，將誤差計算為目標值與平均強度值之間的一比率。在此一實施例中，需修改所繪示之函數804使得其在誤差等於一時採取零值。例如可使所繪示之函數804向右變換一適合的量。
應瞭解，所揭示之方法重複且即時實施，意謂重複方法之上文 所揭示的步驟使得攝影機102之曝光相對於由攝影機102所擷取之影像中的照明及飽和保持調適至當前條件。
返回至具有火車上安裝之攝影機102的實例，考量當火車已通過光信號206及208之情況。此在其中場景中不存在光信號之圖4a之影像中經進一步繪示。影像400變得更暗，因為目標值減小以減少相對於先前包含於場景中之光信號206及208的飽和。此亦自圖4a之相應強度直方圖410可見，其中像素強度集中於可得強度範圍之較低部分。
控制單元104重複如上文與作為「第一影像」之影像400一起所揭示之步驟S02、S04、S06及S08。在此情況下，控制單元104在步驟S08中注意飽和位準不超過第一限度，為此，在影像400中不存在飽和像素。
控制單元104可因此繼續步驟S12，其中其檢查飽和位準是否低於(嚴格地)小於第一限度之一第二限度。第二限度可相似於第一限度受使用者輸入影響。若控制單元104在步驟S12中發現飽和位準不低於第二限度，則不執行目標值之調整。然而，針對圖4a及圖4b之實例影像400，飽和位準將低於第二限度且控制單元104繼續步驟S14，其中平均強度值之目標值增加。此在圖4b中經進一步繪示，其中目標值自一舊的(當前)目標值Told增加至一新的目標值Tnew。
增加量，即Tnew至Told可採取一預定義常量之形式。亦可設定增加量使其取決於黑暗位準，使得該量隨黑暗位準減小。在隨後之情況下，相較於當其係較亮照明條件時，當其係一較暗照明條件時可在目標值中施加一更守恆之改變。
控制單元104接著繼續步驟S16且基於根據上文已揭示之內容調整的目標值Tnew控制針對隨後之影像的攝影機102之曝光，即曝光相關參數。特定言之，控制攝影機102之曝光(諸如曝光時間及增益)，使得隨後之影像的平均強度值接近所調整之目標值。
此分別在展示一隨後之影像500及相應之強度直方圖510的圖5a及圖5b中經繪示。相較於圖4b之強度直方圖410，向更高之強度值變換強度直方圖510。又，因為在場景中不存在強光(諸如光信號)，所以不存在飽和問題。因此，相較於圖4a之影像400，影像500變得更亮且在影像500之較暗部分中可區分更多細節。
將明白，熟習此項技術者可以諸多方式修改上述之實施例且又使用上文實施例中所展示之本發明的優勢。例如，在上文中，結合監視來自一火車之信號燈描述本發明。然而，所揭示之方法可適用於其中在夜間或另外在較暗條件期間不使影像之任一部分飽和係重要的之任一應用中。此可(例如)包含在黑暗中監視牌照或當外部較暗且窗內部較亮時自外部看向一窗之內部。因此，本發明不應限制於所展示之實施例而應僅由隨附之申請專利範圍所界定。另外，如熟習此項技術者瞭解，可結合所展示之實施例。
S02‧‧‧步驟
S04‧‧‧步驟
S06‧‧‧步驟
S08‧‧‧步驟
S10‧‧‧步驟
S12‧‧‧步驟
S14‧‧‧步驟
S16‧‧‧步驟

Claims (15)

  1. 一種用於控制一攝影機(camera,102)之曝光之方法，其包括以下步驟：判定(S02)當擷取一視訊序列中之一第一影像(200)時該攝影機使用之一曝光時間及一增益，將相對於該第一影像(200、400)之一黑暗(darkness)位準至少計算(S04)為該曝光時間與該增益之一積，將相對於該第一影像(200、400)之一飽和位準計算(S06)為該第一影像(200)中之飽和像素的一數目與完全黑暗像素的一數目之間之一比率，若該飽和位準超過一第一限度，則使由該攝影機(102)所擷取之影像中之像素的一平均強度值之一目標值(Told)減小(S10)一量，及控制(S16)針對該視訊序列中之該第一影像(200)之後的影像(300)之該攝影機(102)的曝光，使得該等隨後之影像(300)中之像素的該平均強度值接近該所減小之目標值(Tnew)，其特徵在於由該攝影機(102)所擷取之影像中之像素的該平均強度值之該目標值(Told)之減少的該量係為該黑暗位準之一遞增(increasing)函數(700)。
  2. 如請求項1之方法，其進一步包括以下步驟：若該飽和位準低於一第二限度，該第二限度小於或等於該第一限度，則增加(S14)由該攝影機(102)所擷取之影像中的像素之該平均強度值之該目標值(Told)，及控制(S16)針對該視訊序列中之該第一影像(400)之後的影像(500)之該攝影機(102)的曝光，使得該等隨後之影像中之像素的 該平均強度值接近該所增加之目標值(Tnew)。
  3. 如請求項2之方法，其中，若該飽和位準低於該第二限度，則使該平均強度值之該目標值(Told)增加隨該黑暗位準減小的一量。
  4. 如請求項2或3之方法，其進一步包括接收關於若適用則與該飽和位準比較之該第一限度及/或該第二限度的使用者輸入。
  5. 如請求項1至3中任一項之方法，其中該黑暗位準之該遞增函數(700)將零值作為低於一第一臨限值(L1)的黑暗位準，使得針對低於該第一臨限值(L1)之黑暗位準的該目標值(Told)不減小。
  6. 如請求項5之方法，其中該黑暗位準之該遞增函數(700)將一第一值(V1)當作低於一第一臨限值(L1)的黑暗位準且將一第二值(V2)當作高於大於該第一臨限值(L1)之一第二臨限值(L2)的黑暗位準，且其中針對介於該第一臨限值(L1)與該第二臨限值(L2)之間的黑暗位準，該函數(700)自該第一值(V1)平滑地增加至該第二值(V2)。
  7. 如請求項6之方法，其中該函數(700)自該第一值(V1)線性地增加至該第二值(V2)。
  8. 如請求項5之方法，其進一步包括接收關於該第一臨限值(L1)的值之使用者輸入。
  9. 如請求項1至3中任一項之方法，其中若該像素之該強度值超過處於一可能強度值範圍的一上端上之一預定義值，則該第一影像(200、400)中之一像素被視作一飽和像素，且其中若該像素之該強度值低於處於該可能強度值範圍的一下端上之一預定義值，則該第一影像(200、400)中之一像素被視作一完全黑暗像素。
  10. 如請求項1至3中任一項之方法，其進一步包括基於自該等隨後之影像(300、500)中的像素之該平均強度值及該所減小或若適用 則該所增加之目標值(Tnew)計算的一誤差產生針對該攝影機(102)之一控制信號，該控制信號取決於根據一函數(804)之誤差，該函數(804)具有隨該所計算的誤差與若該平均強度值等於該所減小或若適用則該所增加之目標值(Tnew)則該誤差將採取的一值之間之距離增加的一導數。
  11. 如請求項10之方法，其中將該誤差計算為該所減小或若適用則該所增加之目標值(Tnew)與該等隨後的影像(300、500)中之像素之該平均強度值之間的一比率。
  12. 如請求項10之方法，其中具有增加之一導數的該函數(804)係一反S型函數(inverse sigmoid function)。
  13. 一種用於控制一攝影機之曝光的控制單元(104)，該控制單元(104)經組態以：判定當擷取一視訊序列中之一第一影像(200、400)時該攝影機(102)使用之一曝光時間及一增益，將相對於該第一影像(200、400)之一黑暗位準至少計算為該曝光時間與該增益之一積，將相對於該第一影像(200、400)之一飽和位準計算為該第一影像(200、400)中之飽和像素的一數目與完全黑暗像素的一數目之間之一比率，若該飽和位準超過一第一限度，則使由該攝影機所擷取之影像中之像素的一平均強度值之一目標值(Told)減小係該黑暗位準之一遞增函數(700)的一量，及控制針對該視訊序列中之該第一影像(200)之後的影像之該攝影機(102)之曝光，使得該等隨後之影像(300)中的像素之該平均強度值接近該減小之目標值(Tnew)，其特徵在於經組態以當該飽和位準超過一第一限度時，使由該攝影機(102)所擷取之影像中 之像素的該平均強度值之該目標值(Told)減小係該黑暗位準之一遞增函數(700)的一量。
  14. 一種監視系統(100)，其包括至少一攝影機(102)及根據請求項13之用於控制該至少一攝影機(102)的曝光之一控制單元(104)。
  15. 一種包括電腦碼指令之電腦可讀媒體，該等電腦碼指令當由具有處理能力之一裝置執行時經調適以執行根據請求項1至12中任一項之該方法。
TW104104619A 2014-02-26 2015-02-11 用於控制攝影機之曝光之方法與控制單元 TWI582527B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP14156752.9A EP2913993B1 (en) 2014-02-26 2014-02-26 Method and control unit for controlling exposure of a camera

Publications (2)

Publication Number Publication Date
TW201533521A TW201533521A (zh) 2015-09-01
TWI582527B true TWI582527B (zh) 2017-05-11

Family

ID=50230871

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104104619A TWI582527B (zh) 2014-02-26 2015-02-11 用於控制攝影機之曝光之方法與控制單元

Country Status (6)

Country Link
US (1) US9432588B2 (zh)
EP (1) EP2913993B1 (zh)
JP (1) JP5974125B2 (zh)
KR (1) KR101633445B1 (zh)
CN (1) CN104869321B (zh)
TW (1) TWI582527B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10097769B2 (en) * 2015-09-18 2018-10-09 Sony Corporation Modulating light incident on imaging sensor
KR101816449B1 (ko) * 2016-10-20 2018-01-08 현대자동차주식회사 다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법
CN106791476A (zh) * 2017-01-25 2017-05-31 北京图森未来科技有限公司 一种图像采集方法和装置
JP6789904B2 (ja) * 2017-09-20 2020-11-25 株式会社東芝 ダイナミックレンジ圧縮装置及び画像処理装置
CN108429892A (zh) * 2018-05-10 2018-08-21 杭州雄迈集成电路技术有限公司 一种基于rgb传感器日夜模式自动切换方法
US11330163B2 (en) 2018-06-29 2022-05-10 Qualcomm Incorporated Exchanging an HDR-combined stream and associated exposures between a camera sensor module and a vision processing system
CN109348136A (zh) * 2018-11-22 2019-02-15 成都市鹰诺实业有限公司 一种通过照片直方图调节相机参数的方法
JP7115253B2 (ja) * 2018-11-28 2022-08-09 トヨタ自動車株式会社 車載カメラシステム
US11068784B2 (en) * 2019-01-26 2021-07-20 Mipsology SAS Generic quantization of artificial neural networks
SE543376C2 (en) * 2019-06-19 2020-12-22 Tobii Ab Method for controlling read-out from a digital image sensor
CN110809122A (zh) * 2019-11-11 2020-02-18 中国电子科技集团公司第四十四研究所 应用于cmos图像传感器的动态扩展方法
EP3846440B1 (en) 2019-12-30 2021-12-15 Axis AB A low-light imaging method, unit and system
CN116250247A (zh) * 2020-11-06 2023-06-09 Oppo广东移动通信有限公司 电子设备、生成图像数据的方法和非暂时性计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005333248A (ja) * 2004-05-18 2005-12-02 Sumitomo Electric Ind Ltd カメラ式車両感知器における画面の輝度調整方法及び装置
TW200728900A (en) * 2005-12-27 2007-08-01 Sony Corp Image pickup device and method, recording medium, and program
JP2009157086A (ja) * 2007-12-26 2009-07-16 Denso Corp 露出制御装置及び露出制御プログラム
TW201233158A (en) * 2010-09-30 2012-08-01 Apple Inc System and method for processing image data using an image signal processor having back-end processing logic

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2432893A2 (fr) * 1978-08-11 1980-03-07 Nickel Ste Metallurg Le Procede pour preconcentrer des minerais nickeliferes oxydes d'origine lateritique
US5194960A (en) 1990-03-05 1993-03-16 Konica Corporation Optical image signal control device
US7176976B2 (en) * 2001-08-30 2007-02-13 Lightsurf Technologies, Inc. Autoexposure methodology in a digital camera
JP4622196B2 (ja) 2001-09-10 2011-02-02 ソニー株式会社 撮像装置
FI116246B (fi) 2003-06-30 2005-10-14 Nokia Corp Menetelmä ja järjestelmä digitaalisessa kuvannuksessa valotuksen säätämiseksi ja vastaava laite
JP4556722B2 (ja) * 2004-05-31 2010-10-06 コニカミノルタホールディングス株式会社 撮像装置
US7724962B2 (en) 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
JP4306750B2 (ja) 2007-03-14 2009-08-05 ソニー株式会社 撮像装置、撮像方法、露光制御方法、プログラム
US8384801B2 (en) * 2007-07-31 2013-02-26 Qualcomm Incorporated Scene-dependent auto exposure control
US7978258B2 (en) * 2007-08-31 2011-07-12 Historx, Inc. Automatic exposure time selection for imaging tissue
JP2009097921A (ja) 2007-10-15 2009-05-07 Tokyo Seimitsu Co Ltd 欠陥検査装置及び欠陥検査方法
US8233662B2 (en) 2008-07-31 2012-07-31 General Electric Company Method and system for detecting signal color from a moving video platform
KR101517148B1 (ko) * 2008-10-09 2015-05-04 삼성전자주식회사 자동 노출 시스템 및 방법
JP4458194B2 (ja) 2009-01-14 2010-04-28 カシオ計算機株式会社 撮像装置及びその露出制御方法並びに記録媒体
US20110164146A1 (en) * 2010-01-07 2011-07-07 Himax Imaging, Inc. Adaptive Frame Rate Control System and Method for an Image Sensor
KR20130017750A (ko) * 2011-08-12 2013-02-20 에스케이하이닉스 주식회사 적응적 노출 제어 방법, 적응적 노출 제어 장치 및 상기 적응적 노출 제어 장치를 포함하는 이미지 센서
JP5898535B2 (ja) * 2012-03-13 2016-04-06 富士重工業株式会社 撮像ユニットの露光制御装置
KR101937708B1 (ko) * 2012-07-09 2019-04-11 삼성전자 주식회사 카메라 제어 시스템과 이를 포함하는 단말기 및 카메라 제어 방법
JP5749224B2 (ja) 2012-07-13 2015-07-15 株式会社東芝 カメラモジュール

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005333248A (ja) * 2004-05-18 2005-12-02 Sumitomo Electric Ind Ltd カメラ式車両感知器における画面の輝度調整方法及び装置
TW200728900A (en) * 2005-12-27 2007-08-01 Sony Corp Image pickup device and method, recording medium, and program
JP2009157086A (ja) * 2007-12-26 2009-07-16 Denso Corp 露出制御装置及び露出制御プログラム
TW201233158A (en) * 2010-09-30 2012-08-01 Apple Inc System and method for processing image data using an image signal processor having back-end processing logic

Also Published As

Publication number Publication date
US9432588B2 (en) 2016-08-30
JP2015162902A (ja) 2015-09-07
US20150244918A1 (en) 2015-08-27
CN104869321B (zh) 2017-06-23
JP5974125B2 (ja) 2016-08-23
EP2913993B1 (en) 2016-02-17
KR20150101423A (ko) 2015-09-03
TW201533521A (zh) 2015-09-01
CN104869321A (zh) 2015-08-26
KR101633445B1 (ko) 2016-06-24
EP2913993A1 (en) 2015-09-02

Similar Documents

Publication Publication Date Title
TWI582527B (zh) 用於控制攝影機之曝光之方法與控制單元
CN101247480B (zh) 一种基于图像中目标区域的自动曝光方法
CN102428700B (zh) 监视装置
CN106991707B (zh) 一种基于昼夜成像特征的交通信号灯图像强化方法及装置
WO2019085930A1 (zh) 车辆中双摄像装置的控制方法和装置
CN105812674A (zh) 一种信号灯的颜色修正方法、监控方法及装置
US20190110035A1 (en) Vehicle-mounted display device
JP7057818B2 (ja) 低照度撮像システム
CN111225123B (zh) 用于减少描绘场景的视频图像流中的强度变化的方法
CN107079108B (zh) 机动车辆相机装置、其操作方法和包括其的机动车辆
JP6478138B2 (ja) 画像処理装置、撮像装置、画像処理プログラム、画像処理方法
US11367168B2 (en) Image processing apparatus and method
CN108259819B (zh) 动态影像特征加强方法与系统
JP6525723B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
KR20170074128A (ko) 차량용 감시 장치 및 차량용 이동 객체 감지 방법
KR20200128461A (ko) 자율 주행 차량의 카메라 시스템 및 그의 작동 방법
KR20160040335A (ko) 저조도 상황에서 영상 인식 개선을 위한 적외선 조명 기능을 포함한 저전력 차량용 영상 저장 장치 및 방법
KR20200128457A (ko) 자율 주행 차량의 카메라 시스템 및 그의 작동 방법
US20150353013A1 (en) Detection apparatus
JPH09185797A (ja) 車載カメラの自動絞り調整装置
KR20200128465A (ko) 자율 주행 차량에 채용 가능한 카메라 시스템 제공을 위한 프로그램
KR20200128462A (ko) 기록매체
KR20200128463A (ko) 자율 주행 차량의 카메라 시스템
KR20200128460A (ko) 자율 주행 차량의 카메라 시스템 및 그의 작동 방법
JP2020107205A (ja) 車両用画像認識装置