TWI538510B - 在基於一場景中動作的程度捕捉該場景之一序列影像圖框中最佳化一影像圖框之曝光的攝影機及方法 - Google Patents
在基於一場景中動作的程度捕捉該場景之一序列影像圖框中最佳化一影像圖框之曝光的攝影機及方法 Download PDFInfo
- Publication number
- TWI538510B TWI538510B TW101125179A TW101125179A TWI538510B TW I538510 B TWI538510 B TW I538510B TW 101125179 A TW101125179 A TW 101125179A TW 101125179 A TW101125179 A TW 101125179A TW I538510 B TWI538510 B TW I538510B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- scene
- image frame
- frame
- motion
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims description 96
- 238000000034 method Methods 0.000 title claims description 31
- 230000009471 action Effects 0.000 claims description 72
- 238000001514 detection method Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000009432 framing Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本發明係關於一種方法及攝影機,其在基於一場景中動作的程度捕捉該場景之一序列影像圖框中最佳化一影像圖框之曝光。本發明亦係關於一種電腦可讀記錄媒體,其上記錄有一程式,當在具有處理能力之一裝置上執行時該程式實施以上方法。此外,本發明亦係關於一種裝置,其具有執行以上電腦可讀記錄媒體之處理能力。此外,本發明亦係關於一種攝影機,其經配置以在基於一場景中動作的程度捕捉該場景之一序列影像圖框中最佳化一影像圖框之曝光。
攝影機被普遍地使用以監視建築物、道路、商店等。尤其,攝影機被用以監視場景以偵測及/或追蹤呈動作的存在之形式之事件。
取決於由攝影機監視之事件之動作程度,可調整在捕捉由攝影機監視之一場景之一視訊影像流中之一序列影像圖框中之影像圖框之曝光時間。舉例而言,根據US 2008/0043112,只要在所捕捉之場景中不存在動作或存在一低動作程度使用一長曝光時間。然而,當所監視之場景包括具有一高動作程度之事件時,發生曝光至一較短曝光時間之一切換。然而,此方法之一問題在於當切換至該較短曝光時間時,用於監視具有一低動作程度之事件之曝光時間變得太短。當曝光時間太短時,尤其在暗光條件期
間,辨別具有低動作程度之事件之細節將係困難的。而且,若對具有一高動作程度之一事件之偵測失敗,因此若使用一長曝光時間,則該事件在所捕捉之影像中將變得模糊。
針對上文之一解決方案係使用兩個或兩個以上攝影機,不同攝影機具有不同曝光時間。然而,此一已知解決方案使用起來昂貴且麻煩。
本發明之一目標係達成在基於一場景中動作的程度捕捉該場景之一序列影像圖框中最佳化一影像圖框之曝光之改良。
本發明之一進一步目標係在不使高動作之事件模糊之情形下達成低動作或無動作之事件之一經增強信雜比。
為了達成此等目標亦及根據以下說明將變得顯而易見之額外目標,本發明提供:根據技術方案1,一種方法,其在基於一場景中動作的程度捕捉該場景之一序列影像圖框中最佳化一影像圖框之曝光;根據技術方案9,一種電腦可讀記錄媒體,其上記錄有一程式,當在具有處理能力之一裝置上執行時該程式實施根據技術方案1之方法;根據技術方案10,一種裝置,其具有執行根據技術方案9之電腦可讀記錄媒體之處理能力;及根據技術方案11,一種攝影機,其經配置以在基於一場景中動作的程度捕捉該場景之一序列影像圖框中最佳化一影像圖框之曝光。本發明之進一步實施例揭示於隨附申請專利範圍中。
特定而言,根據本發明之一第一態樣提供一種方法,其在基於一場景中動作的程度捕捉該場景之一序列影像圖框中最佳化一影像圖框之曝光。該方法包括:基於來自複數個影像感測器圖框之影像資料,判定包括不同動作程度之場景之區域;判定該影像圖框之影像圖框區域,其中一影像圖框區域對應於該場景之至少一個區域;及藉由透過使用來自一定數目個影像感測器圖框之影像資料產生每一影像圖框區域模擬每一影像圖框區域之一區域特定曝光時間而最佳化該影像圖框之該曝光,其中用以產生一特定影像圖框區域之影像感測器圖框之數目係基於該場景之該至少一個對應區域中動作的程度。
根據此,基於該場景之一對應區域中動作的程度模擬不同影像圖框區域之不同曝光時間且從而最佳化該影像圖框之曝光。由於此,可使用一長經模擬曝光時間來捕捉具有一低動作程度之該場景之區域,且可使用一短曝光時間來捕捉具有一高動作程度之該場景之區域。因此,可增強靜止或緩慢移動物件之細節,同時可在不模糊之情形下捕捉快速移動物件。繪示該場景之靜態區域之該影像圖框之區域或僅具有小動作程度之該場景之區域將具有一經增強信雜比。此係由於藉由使用來自複數個影像感測器圖框之影像資料產生該影像圖框之此等區域。
用以產生每一影像圖框區域之影像資料可係源自該場景之該對應至少一個區域之影像資料。
可藉由組合來自兩個或兩個以上影像感測器圖框之影像
資料而產生至少一個影像圖框區域。該等影像圖框區域(其中來自兩個或兩個以上影像感測器圖框之影像資料用以產生影像圖框區域)將展現經增強信雜比,。可透過將來自兩個或兩個以上影像感測器圖框之影像資料求和及/或求平均值來實施組合來自兩個或兩個以上影像感測器圖框之影像資料。
該場景之一區域中動作的程度可對應於該場景之該區域中之動作事件之速度及/或對應於該場景之該區域中之動作事件之數目。該速度可係該場景之一區域中之一動作事件之實際速度或該場景之一區域中之該等動作事件之平均速度。亦即,該速度(實際或平均)可用以定義動作之存在,移動物件之數目可用以定義動作之程度。另一選擇係,移動物件之數目可定義動作之存在且該速度(平均或實際)可定義動作之程度。熟習此項技術者認識到亦可設想定義動作之程度之諸多其他替代方案,但其皆提供指示存在多少動作之某種量測。
可使用一單位曝光時間來捕捉每一影像感測器圖框。
每一影像圖框區域之區域特定曝光時間可等於或長於每一影像感測器圖框之單位曝光時間。
該複數個影像感測器圖框可用以建構該場景之不同區域之動作程度之一統計映射,其中可藉由分析該統計映射而進行該判定包括不同動作程度之該場景之區域。藉由使用該統計映射,將減小錯過一單個事件之可能性。
根據本發明之一第二態樣提供一種電腦可讀記錄媒體,
其上記錄有一程式,當在具有處理能力之一裝置上執行時該程式實施以上方法。
根據本發明之一第三態樣提供一種裝置,其具有執行以上電腦可讀記錄媒體之處理能力。
根據本發明之一第四態樣提供一種攝影機,其經配置以在基於一場景中動作的程度捕捉該場景之一序列影像圖框中最佳化一影像圖框之曝光。該攝影機包括:一影像感測器,其經配置以捕捉並輸出影像資料作為影像感測器圖框;一動作偵測模組,其經配置以基於來自複數個影像感測器圖框之影像資料判定包括不同動作程度之該場景之區域;一影像圖框產生模組,其經配置以產生該影像圖框,其中該影像圖框產生模組經配置以將該影像圖框劃分為影像圖框區域,其中一影像圖框區域對應於該場景之至少一個區域,其中該影像圖框產生模組經配置以藉由使用來自一定數目個影像感測器圖框之影像資料而產生每一影像圖框區域,其中用以產生一特定影像圖框區域之影像感測器圖框之數目係基於該場景之對應區域中動作的程度,藉此該影像圖框產生模組經配置以基於該場景之一對應區域中動作的程度模擬不同影像圖框區域之不同曝光時間且從而最佳化該影像圖框之曝光。
該影像圖框產生模組可經配置以藉由使用源自該場景之該對應至少一個區域之影像資料而產生每一影像圖框區域。
該影像圖框產生模組可經配置以藉由組合來自兩個或兩
個以上影像感測器圖框之影像資料而產生至少一個影像圖框區域,其中該影像圖框產生模組可經配置以藉由將來自兩個或兩個以上影像感測器圖框之影像資料求和及/或求平均值而組合來自兩個或兩個以上影像感測器圖框之影像資料。
該動作偵測模組可經配置以藉由使用該複數個影像感測器圖框而建構該場景之不同區域之動作程度之一統計映射,其中該動作偵測模組可經配置以藉由分析該統計映射而判定包括不同動作程度之該場景之該等區域。
現在將參考展示本發明之實施例之隨附圖式更詳細地闡述本發明之此等及其他態樣。該等圖式不應被視為將本發明限制於特定實施例。而是,該等圖式用於闡釋及理解本發明。
圖1展示根據本發明之一實施例之一攝影機1之一示意圖。攝影機1可(例如)係一數位網路視訊攝影機。該攝影機可(例如)用於監視目的。此外,攝影機1可係一靜止攝影機或具有取景位置調整/傾斜功能性之一攝影機。為了促進對本發明之理解,未闡述與本發明無關之一攝影機之標準特徵。攝影機1包括一外殼2、一透鏡3、一影像感測器4、動作偵測模組6、一影像圖框產生模組8、一記憶體10及一處理器12。
影像感測器4經配置以捕捉表示由攝影機1觀看到之一場景之影像資料且輸出該影像資料作為影像感測器圖框。舉
例而言,影像感測器4可係用於對準入射光之一電荷耦合裝置(CCD)、一CMOS感測器或類似物。另一選擇係,影像感測器4可係對準不可見光之一感測器,諸如一輻射熱計或一IR偵測器。
通常,每一影像感測器圖框具有一單位曝光時間。該單位曝光時間可取決於場景中光的程度及/或取決於場景中之總體動作程度而變化。
動作偵測模組6經配置以分析自影像感測器4輸出之影像感測器圖框之影像資料。通常,分析對應於複數個影像感測器圖框、構成一視訊序列之影像資料以判定動作之存在。動作偵測之方法之實例包含分析一視訊序列之一影像容積中之空間-時間改變。此等方法係熟習此項技術者眾所周知。此等方法之一非限制性實例闡述於US 2010/0080477中。
根據該等動作偵測方法可尋找出動作事件以及其發生在在場景中何處、此等事件有多少及/或此等動作事件之速度。在本申請案之上下文中,術語「動作事件」應理解為動作之存在。因此,可判定由攝影機觀看到之場景之不同區域中動作的程度。在本申請案之上下文中,術語場景之一區域中之「動作程度」應理解為場景之區域中之動作事件(亦即,移動物件)之速度及/或場景之區域中之動作事件之數目。該速度可係場景之一區域中之一動作事件之實際速度或場景之一區域中之動作事件之平均速度。亦即,該速度(實際或平均)可用以定義動作之存在且移動物件之數
目可用以定義動作之程度。另一選擇係,移動物件之數目可定義動作之存在且該速度(實際或平均)可定義動作之程度。熟習此項技術者認識到亦可設想定義動作之程度之諸多其他替代方案,但其皆提供指示存在多少動作之某種量測。在本申請案之上下文中,術語「場景之區域」應理解為經配置以捕捉複數個影像之一攝影機之一場景之一區域。舉例而言,使用像素座標系統,該區域可表示為該攝影機之一影像視圖內之一座標,但亦可使用其他表示。取決於場景之每一區域之大小及場景內之一動作事件之範圍,該動作事件可涵蓋場景之一個以上區域;因此在一項實施例中,一動作事件之一經判定存在可產生場景之一個以上區域中之一存在。根據另一實施例,由攝影機觀看到之一場景內之每一區域與攝影機之一取景位置調整/傾斜設定一起由一位置(例如,攝影機之當前影像視圖中之一或多個像素)表示(亦即,由該複數個影像感測器圖框中之一者內之一像素座標表示)。此適用於具有取景位置調整/傾斜功能性之一攝影機。因此,可判定由攝影機取景位置調整/傾斜觀看到之場景內之一區域。
動作偵測模組6經配置以基於來自複數個影像感測器圖框之影像資料判定由攝影機觀看到之包括不同動作程度之場景之區域。在其最簡單形式中,該複數個影像感測器圖框係兩個。然後針對此兩個影像感測器圖框中所繪示之場景之不同區域,根據以上所列示之方法中之任一者或藉由比較兩個影像感測器圖框之間的影像資料而判定場景之不
同區域中動作的程度之任何其他適合方法判定動作程度。當判定該等不同區域之該動作程度時,用於判定一場景之不同區域中動作的程度之以上方法亦及其他方法中之某些方法可利用兩個以上影像感測器圖框。因此,動作偵測模組6經配置以基於來自複數個影像感測器圖框之影像資料判定包括不同動作程度之場景之區域。因此,由攝影機1觀看到之場景取決於動作之程度而劃分為複數個區域。
根據一項實施例,動作偵測模組6經配置以藉由使用複數個影像感測器圖框而建構場景之不同區域之動作程度之一統計映射。該映射可隨時間而建立或根據歷史資料而建構。動作偵測模組6進一步經配置以藉由分析該統計映射而判定包括不同動作程度之場景之區域。就此實施例而言,該複數個影像感測器圖框係大量影像感測器圖框,例如,係在數分鐘、數小時或數天內收集之影像感測器圖框。將使用之一正常圖框速率係60個圖框每秒。但是,如熟習此項技術者眾所周知,亦可取決於應用而使用其他圖框速率。此大量影像感測器圖框用以建構由攝影機觀看到之場景之不同區域中動作的程度之映射。
藉由分析該複數個影像感測器圖框而建立用於動作事件之動作程度之統計映射。通常,用以表示一動作事件之資料係來自動作偵測模組6內之一動作偵測演算法之輸出資料。來自該動作偵測演算法之輸出資料可包括該事件之速度及該事件發生於場景之哪一區域中。當分析複數個影像感測器圖框時所尋找出之每一動作事件登記於統計映射
中。因此,統計映射經建立以包括表示場景之不同區域之動作程度之資訊。此一統計映射可表示為一3D直方圖或頻率映射。因此,對應於該3D直方圖或頻率映射中之場景之一區域之每一頻格含有動作程度,該動作程度係指示一動作事件已在彼特定位置處發生多少次及/或此等動作事件之速度為多少之一值。該速度可係場景之一區域中之一動作事件之實際速度或場景之一區域中之動作事件之平均速度。另一選擇係,統計映射可表示為一數學表達式,舉例而言,一平面係一多項式且其中場景之每一區域中動作的程度係該特定位置中之此多項式之值。因此,場景之該經判定區域中之每一者中動作的程度指示動作事件通常出現之區域且亦指示動作事件通常不出現之區域。將藉由以下實例對此進一步闡釋,想像監視一路邊商店之入口之一攝影機,同時仍「看見」該商店前面之人行道及道路之某部分。在此場景中,通常存在道路上之較多的汽車移動,人行道上之稍微較少的行人移動及涵蓋建築物之牆壁之影像部分上之甚至更少的移動。因此,藉由使用以上所提及之場景之不同區域之動作程度之統計映射,在統計上可發現在對應於道路之區域中動作程度係高的,在對應於人行道之區域中動作程度係低的,且在對應於建築物之牆壁之區域中動作程度甚至更低。
可動態地更新統計映射。亦即,可隨著捕捉更多影像資料而使用關於來自新近捕捉之影像感測器圖框之新近尋找出之動作事件之資料隨時間更新統計映射。可以各種方式
來觸發該更新。根據一項實例,當已捕捉一特定量影像資料時觸發該更新。根據另一實例,該更新係由自從上次更新以來已過去一特定時間段來觸發。該更新可(舉例而言)係:僅使用關於源自新近捕捉及分析之影像感測器圖框之動作事件之資料來更新統計映射。根據另一實例,可藉由刪除舊動作事件而進行更新。根據一進一步實施例,使用關於源自新近捕捉及分析之影像感測器圖框之事件之資料來更新統計映射且將對應於舊動作事件之資料自映射移除。
影像圖框產生模組8經配置以產生捕捉由攝影機1觀看到之場景之一視訊影像流中之一序列影像圖框。由影像圖框產生模組8產生之每一影像圖框劃分為區域,其中一影像圖框區域對應於場景之一區域。影像圖框產生模組8經配置以藉由使用來自一或多個影像感測器圖框之影像資料而產生捕捉場景之一視訊影像流中之該序列影像圖框中之一影像圖框之一區域。用以產生該影像圖框之一特定區域之影像感測器圖框之數目係基於場景之對應區域中動作的程度。因此,基於場景之一對應區域中動作的程度,模擬影像圖框之不同區域之不同曝光時間。從而最佳化該影像圖框之曝光。使用僅來自一個或幾個第一數目個影像感測器圖框之影像資料產生具有高動作程度之該影像圖框之區域。因此,模擬此等區域之一短曝光時間。然而,使用來自第二數目個影像感測器圖框之影像資料產生具有低動作程度之該影像圖框之區域。因此,模擬此等區域之一長曝
光時間。該第二數目個影像感測器圖框係多於該第一幾個影像感測器圖框。亦即,用以產生一特定影像圖框區域之影像感測器圖框之數目取決於場景之對應區域中動作的程度。因此,具有一低動作程度之該影像圖框之一第一區域之曝光時間長於用於具有一高動作程度之該影像圖框之一第二區域之一第二曝光時間。
用以模擬一影像圖框之一區域中之曝光時間之影像感測器圖框之數目可高於來自影像感測器之用以判定包括不同動作程度之場景之區域之複數個影像感測器圖框。反之亦係可能的,亦即,用以模擬影像圖框之一區域中之曝光時間之來自影像感測器之影像感測器圖框之數目可少於(或量等於)用以判定包括不同動作程度之場景之區域之複數個影像感測器圖框。
假使用以產生一影像圖框之一區域之影像感測器圖框之數目係兩個或兩個以上,則影像圖框產生模組8經配置以藉由透過將來自該數目個影像感測器圖框之影像資料求和組合來自該數目個影像感測器圖框之影像資料而產生該影像圖框之區域。另一選擇係,影像圖框產生模組8經配置以藉由透過將來自該數目個影像感測器圖框之影像資料求平均值組合來自該數目個影像感測器圖框之影像資料而產生該影像圖框之區域。藉由透過將來自一定數目個影像感測器圖框之影像資料求和或求平均值(所謂的影像堆疊,今天廣泛用於天體攝影領域中)模擬一較長曝光時間,增加信雜比。
認識到,可使用硬體或軟體來實施動作偵測模組6及/或影像圖框產生模組8。若實施於軟體中,則該軟體可記錄於一電腦可讀記錄媒體(例如,攝影機1之記憶體10)上,以便由攝影機1之處理器12執行。
圖2圖解說明根據在基於一場景中動作的程度捕捉該場景之一序列影像圖框中最佳化一影像圖框之曝光之一方法之一實施例之一示意性流程圖。該方法包括以下步驟:基於來自複數個影像感測器圖框之影像資料,判定100包括不同動作程度之場景之區域;判定102該影像圖框之影像圖框區域,其中一影像圖框區域對應於該場景之至少一個區域;及藉由透過使用來自一定數目個影像感測器圖框之影像資料產生每一影像圖框區域模擬每一影像圖框區域之一區域特定曝光時間而最佳化104該影像圖框之該曝光,其中用以產生一特定影像圖框區域之影像感測器圖框之數目係基於該場景之該至少一個對應區域中動作的程度。
在步驟100期間,分析該複數個影像感測器圖框且偵測動作事件。通常經由一動作偵測演算法識別動作事件。判定該場景之每一區域之動作事件之數目及/或該場景之每一區域之動作事件之速度以便尋找出該場景之每一特定區域之動作程度。
用以產生每一影像圖框區域之影像資料係源自該場景之該對應至少一個區域之影像資料。當使用來自兩個或兩個以上影像感測器圖框之影像資料時,透過將影像資料求和及/或求平均值來組合該影像資料。
根據一項實施例,基於一場景中動作的程度最佳化捕捉該場景之一序列影像圖框中之一影像圖框之曝光包括:基於來自複數個影像感測器圖框之影像資料判定包括一第一動作程度之該場景一第一區域及包括一第二動作程度之該場景之一第二區域;及藉由模擬該影像圖框之一第一區域之一第一曝光時間及該影像圖框之一第二區域之一第二曝光時間而最佳化該影像圖框之該曝光,其中該影像圖框之該第一區域對應於該場景之該第一區域且其中該影像圖框之該第二區域對應於該場景之該第二區域。藉由透過使用來自第一數目個影像感測器圖框之影像資料產生該影像圖框之該第一區域而進行對曝光時間之模擬,其中用以產生該影像圖框之該第一區域之該第一數目個影像感測器圖框係基於該場景之該第一區域中動作的程度,且藉由使用來自第二數目個影像感測器圖框之影像資料而產生該影像圖框之該第二區域,其中用以產生該影像圖框之該第二區域之該第二數目個影像感測器圖框係基於該場景之該第二區域中動作的程度。用以產生該影像圖框之該第一區域之影像資料係源自該場景之該第一區域之影像資料且用以產生該影像圖框之該第二區域之影像資料係源自該場景之該第二區域之影像資料 該第一動作程度低於該第二動作程度且該第一曝光時間長於該第二曝光時間。用於產生該影像圖框之該第一區域之該第一數目個影像感測器圖框係兩個或兩個以上且其中用於產生該影像圖框之該第二區域之該第二數目個影像感測器圖框係一或多個。該第二經模擬曝
光時間等於或長於該複數個影像感測器圖框中之每一個別影像感測器圖框之曝光時間。所有影像感測器圖框具有一單位曝光時間。該第一區域中動作的程度及該第二區域中動作的程度對應於對應區域中之動作事件之實際或平均速度及/或對應於對應區域中之動作事件之數目。當用以產生該影像圖框之一區域之影像感測器圖框之數目係兩個或兩個以上時,藉由透過將該數目個影像感測器圖框之影像資料求和及/或求平均值組合來自該數目個影像感測器圖框之影像資料而進行產生該影像圖框之區域。
總而言之,根據本發明比較至少兩個影像感測器圖框以便判定由一攝影機觀看到或監視之一場景之不同區域中動作的程度。捕捉該場景之一視訊影像流中之一序列影像圖框中之影像圖框之曝光係基於該場景之對應不同區域中動作的程度局部地(在該等影像圖框之區域中)最佳化。該等影像圖框之曝光之最佳化係藉由局部地模擬該等影像圖框之不同區域之不同曝光時間而進行。一視訊影像流中之該序列影像圖框之一影像圖框之曝光係藉由透過使用來自不同數目個影像感測器圖框之影像資料產生該影像圖框之不同區域局部地模擬該影像圖框之該等不同區域之不同曝光時間而最佳化。將用於一特定區域之影像感測器圖框之數目係基於該場景之對應區域之動作程度。假使來自兩個或兩個以上影像感測器圖框之影像資料用以產生一影像圖框之一特定區域,則藉由將求和及/或求平均值而組合來自該兩個或兩個以上影像感測器圖框之影像資料。因此,可
基於該場景之一對應區域中動作的程度模擬不同影像圖框區域之不同曝光時間且從而最佳化該影像圖框之曝光。
熟習此項技術者認識到本發明決不限制於以上所闡述之實施例。
舉例而言,本發明適用於數位及類比兩種攝影機。在今天的智慧型類比攝影機中,數位影像處理實施於攝影機內且在離開攝影機之前數位信號然後被轉換為一類比信號。此外,使用連接至一類比攝影機之一影像A/D轉換器,可使用一較簡單類比攝影機。
此外,攝影機1可連接至一網路,成為一獨立攝影機或以其他方式連接於一系統內。
而且,複數個影像可係靜止或移動影像或其一組合。
又進一步,本發明不必實施於一攝影機中,而是,其可實施於包括一攝影機及一處理單元之一攝影機系統中。因此,該攝影機連接至該處理單元(例如,經由一網路)。根據此實施例,該攝影機經配置以捕捉及產生該等影像感測器圖框且該處理單元經配置以處理該影像資料。因此,該處理單元包括該動作偵測模組6、該影像圖框產生模組8、該記憶體10及該處理器12。複數個攝影機可連接至該處理單元,其中該處理單元經配置以處理由該複數個攝影機中之每一者捕捉之影像。
因此,在隨附申請專利範圍之範疇內可做出諸多修改及變化。
1‧‧‧攝影機/裝置
2‧‧‧外殼
3‧‧‧透鏡
4‧‧‧影像感測器
6‧‧‧動作偵測模組
8‧‧‧影像圖框產生模組
10‧‧‧記憶體/電腦可讀記錄媒體
12‧‧‧處理器
圖1係根據本發明之一實施例之一數位網路攝影機之一示意圖。
圖2係展示根據本發明之一實施例之一方法之一示意性流程圖。
1‧‧‧攝影機/裝置
2‧‧‧外殼
3‧‧‧透鏡
4‧‧‧影像感測器
6‧‧‧動作偵測模組
8‧‧‧影像圖框產生模組
10‧‧‧記憶體/電腦可讀記錄媒體
12‧‧‧處理器
Claims (15)
- 一種用於產生一影像圖框之方法,該影像圖框位在基於一場景中動作的程度捕捉該場景之一序列影像圖框中,一序列影像圖框之該影像圖框具有一最佳化曝光,該方法包括:存取表示該場景之影像感測器圖框,基於來自複數個該等影像感測器圖框之影像資料,判定(100)包括不同動作程度之該場景之區域,判定(102)該影像圖框之影像圖框區域,其中一影像圖框區域對應於該場景之該等區域中之至少一者,藉由透過使用來自一定數目個該等影像感測器圖框之影像資料產生每一影像圖框區域模擬一區域特定曝光時間而最佳化(104)該影像圖框之曝光,其中用以產生一特定影像圖框區域之該等影像感測器圖框之數目係基於該場景之該至少一個對應區域中動作的程度。
- 如請求項1之方法,其中用以產生每一影像圖框區域之該影像資料係源自該場景之該對應至少一個區域之影像資料。
- 如請求項1或2之方法,其中藉由組合來自兩個或兩個以上影像感測器圖框之影像資料而產生至少一個影像圖框區域。
- 如請求項3之方法,其中透過將來自兩個或兩個以上影像感測器圖框之影像資料求和及/或求平均值而實施組合來自兩個或兩個以上影像感測器圖框之影像資料。
- 如請求項1或2之方法,其中該場景之一區域中動作的程度對應於該場景之該區域中之動作事件之速度及/或對應於該場景之該區域中之動作事件之數目。
- 如請求項1或2之方法,其中使用一單位曝光時間捕捉每一影像感測器圖框。
- 如請求項6之方法,其中每一影像圖框區域之該區域特定曝光時間等於或長於用於每一影像感測器圖框之該單位曝光時間。
- 如請求項1或2之方法,其中該複數個影像感測器圖框係用以建構該場景之不同區域之動作程度之一統計映射,其中藉由分析該統計映射而進行該判定包括不同動作程度之該場景之區域。
- 一種電腦可讀記錄媒體(10),其上記錄有一程式,當在具有處理能力之一裝置(1)上執行時該程式用於實施如請求項1至8中任一項之方法。
- 一種用於產生一影像圖框之裝置(1),其具有執行如請求項9之電腦可讀記錄媒體(10)之處理能力。
- 一種攝影機(1),其經配置以產生一影像圖框,該影像圖框位在基於一場景中動作的程度捕捉該場景之一序列影像圖框中,一序列影像圖框中之該影像圖框具有一經最佳化之曝光,該攝影機(1)包括:一影像感測器(3),其經配置以捕捉並輸出影像資料作為影像感測器圖框,及一影像圖框產生模組(8),其經配置以產生該影像圖 框,其中該影像圖框產生模組(8)經配置以將該影像圖框劃分為影像圖框區域且其中該影像圖框產生模組(8)經配置以藉由使用來自一定數目個該等影像感測器圖框之影像資料而產生每一影像圖框區域,其特徵在於一動作偵測模組(6)經配置以基於來自複數個該等影像感測器圖框之影像資料判定包括不同動作程度之該場景之區域,其中一影像圖框區域對應於該場景之該等區域中之至少一者,且其中用以產生一特定影像圖框區域之影像感測器圖框之數目係基於該場景之該至少一個對應區域中動作的程度,藉此該影像圖框產生模組(8)經配置以基於該場景之至少一個對應區域中動作的程度模擬不同影像圖框區域之不同曝光時間且從而最佳化該影像圖框之該曝光。
- 如請求項11之攝影機(1),其中該影像圖框產生模組(8)經配置以藉由使用源自該場景之該對應至少一個區域之影像資料而產生每一影像圖框區域。
- 如請求項11或12之攝影機(1),其中該影像圖框產生模組(8)經配置以藉由組合來自兩個或兩個以上影像感測器圖框之影像資料而產生至少一個影像圖框區域,其中該影像圖框產生模組(8)經配置以藉由將來自兩個或兩個以上 影像感測器圖框之影像資料求和及/或求平均值而組合來自兩個或兩個以上影像感測器圖框之影像資料。
- 如請求項11或12之攝影機(1),其中該場景之一區域中動作的程度對應於該場景之該區域中之動作事件之速度及/或對應於該場景之該區域中之動作事件之數目。
- 如請求項11或12之攝影機(1),其中該動作偵測模組(6)經配置以藉由使用該複數個影像感測器圖框而建構該場景之不同區域之動作程度之一統計映射,其中該動作偵測模組(6)經配置以藉由分析該統計映射而判定包括不同動作程度之該場景之該等區域。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP11195213.1A EP2608529B1 (en) | 2011-12-22 | 2011-12-22 | Camera and method for optimizing the exposure of an image frame in a sequence of image frames capturing a scene based on level of motion in the scene |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201328347A TW201328347A (zh) | 2013-07-01 |
TWI538510B true TWI538510B (zh) | 2016-06-11 |
Family
ID=45440285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW101125179A TWI538510B (zh) | 2011-12-22 | 2012-07-12 | 在基於一場景中動作的程度捕捉該場景之一序列影像圖框中最佳化一影像圖框之曝光的攝影機及方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9235880B2 (zh) |
EP (1) | EP2608529B1 (zh) |
JP (1) | JP5427935B2 (zh) |
KR (1) | KR101781154B1 (zh) |
CN (1) | CN103179350B (zh) |
TW (1) | TWI538510B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9986179B2 (en) * | 2014-09-30 | 2018-05-29 | Qualcomm Incorporated | Sensor architecture using frame-based and event-based hybrid scheme |
KR101592790B1 (ko) * | 2014-11-26 | 2016-02-18 | 현대자동차주식회사 | 카메라 노출 제어 시스템 및 그 방법 |
CN107395997A (zh) * | 2017-08-18 | 2017-11-24 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
US10552707B2 (en) * | 2017-12-07 | 2020-02-04 | Qualcomm Incorporated | Methods and devices for image change detection |
EP3503028B1 (en) * | 2017-12-21 | 2020-02-12 | Axis AB | Setting of a motion trigger level |
CN108525304B (zh) * | 2018-04-16 | 2021-06-22 | 网易(杭州)网络有限公司 | 一种图像分析方法、装置、存储介质及电子装置 |
WO2020034083A1 (en) * | 2018-08-14 | 2020-02-20 | Huawei Technologies Co., Ltd. | Image processing apparatus and method for feature extraction |
JP7281897B2 (ja) * | 2018-12-12 | 2023-05-26 | キヤノン株式会社 | 撮像装置及びその制御方法並びにプログラム |
US11107205B2 (en) * | 2019-02-18 | 2021-08-31 | Samsung Electronics Co., Ltd. | Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames |
US11200653B2 (en) * | 2019-08-06 | 2021-12-14 | Samsung Electronics Co., Ltd. | Local histogram matching with global regularization and motion exclusion for multi-exposure image fusion |
CN116647685A (zh) * | 2020-10-26 | 2023-08-25 | 杭州海康威视数字技术股份有限公司 | 视频编码方法、装置、电子设备及可读存储介质 |
US20220138964A1 (en) * | 2020-10-30 | 2022-05-05 | Qualcomm Incorporated | Frame processing and/or capture instruction systems and techniques |
JP7527947B2 (ja) * | 2020-12-14 | 2024-08-05 | キヤノン株式会社 | 撮像装置、その制御方法およびプログラム |
US11800233B2 (en) * | 2021-05-21 | 2023-10-24 | Lumileds Llc | System with adaptive light source and neuromorphic vision sensor |
WO2024035223A1 (en) * | 2022-08-11 | 2024-02-15 | Samsung Electronics Co., Ltd. | System and method for enhancing the quality of a video |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5475425B1 (en) * | 1994-01-25 | 2000-07-25 | Przyborski Production | Apparatus and method for creating video ouputs that emulate the look of motion picture film |
US6864915B1 (en) * | 2000-10-27 | 2005-03-08 | Eastman Kodak Company | Method and apparatus for production of an image captured by an electronic motion camera/sensor that emulates the attributes/exposure content produced by a motion camera film system |
JP3686333B2 (ja) | 2000-12-22 | 2005-08-24 | 三菱重工業株式会社 | 動画像処理カメラ及びこれを用いた画像処理システム |
CN101095078B (zh) | 2004-12-29 | 2010-04-28 | 诺基亚公司 | 数字成像的曝光 |
US7557832B2 (en) * | 2005-08-12 | 2009-07-07 | Volker Lindenstruth | Method and apparatus for electronically stabilizing digital images |
US7546026B2 (en) * | 2005-10-25 | 2009-06-09 | Zoran Corporation | Camera exposure optimization techniques that take camera and scene motion into account |
JP4509917B2 (ja) | 2005-11-21 | 2010-07-21 | 株式会社メガチップス | 画像処理装置及びカメラシステム |
CN100566381C (zh) * | 2006-01-23 | 2009-12-02 | 精工爱普生株式会社 | 摄像元件及其装置、摄像方法、摄像系统及图像处理装置 |
KR101437196B1 (ko) | 2007-02-01 | 2014-09-03 | 소니 주식회사 | 화상 재생 장치와 화상 재생 방법 및 촬상 장치와 그 제어 방법 |
US7548689B2 (en) | 2007-04-13 | 2009-06-16 | Hewlett-Packard Development Company, L.P. | Image processing method |
TW200922290A (en) * | 2007-11-02 | 2009-05-16 | Altek Corp | Image capturing apparatus and method for providing image blur information |
US20090244301A1 (en) | 2008-04-01 | 2009-10-01 | Border John N | Controlling multiple-image capture |
JP2009284394A (ja) * | 2008-05-26 | 2009-12-03 | Olympus Imaging Corp | 撮像装置および撮像方法 |
EP2297939B1 (en) * | 2008-06-19 | 2018-04-18 | Panasonic Intellectual Property Management Co., Ltd. | Method and apparatus for motion blur and ghosting prevention in imaging system |
US8121424B2 (en) | 2008-09-26 | 2012-02-21 | Axis Ab | System, computer program product and associated methodology for video motion detection using spatio-temporal slice processing |
JP5206466B2 (ja) | 2009-02-13 | 2013-06-12 | 富士通株式会社 | 画像補正装置、画像補正プログラムおよび画像撮影装置 |
US8228400B2 (en) * | 2009-04-17 | 2012-07-24 | Sony Corporation | Generation of simulated long exposure images in response to multiple short exposures |
JP2011049642A (ja) * | 2009-08-25 | 2011-03-10 | Canon Inc | 撮像装置、及びその制御方法 |
US20110149111A1 (en) * | 2009-12-22 | 2011-06-23 | Prentice Wayne E | Creating an image using still and preview |
KR101710624B1 (ko) * | 2010-07-27 | 2017-02-27 | 삼성전자주식회사 | 객체의 모션 벡터를 이용하여 자동 촬영 기능을 수행하는 디지털 영상 촬영 방법, 디지털 영상 촬영 장치 및 상기 방법을 기록한 기록 매체 |
US8493482B2 (en) | 2010-08-18 | 2013-07-23 | Apple Inc. | Dual image sensor image processing system and method |
-
2011
- 2011-12-22 EP EP11195213.1A patent/EP2608529B1/en active Active
-
2012
- 2012-07-12 TW TW101125179A patent/TWI538510B/zh active
- 2012-07-26 CN CN201210262427.XA patent/CN103179350B/zh active Active
- 2012-07-27 KR KR1020120082760A patent/KR101781154B1/ko active IP Right Grant
- 2012-07-27 US US13/560,592 patent/US9235880B2/en active Active
- 2012-09-21 JP JP2012207676A patent/JP5427935B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP5427935B2 (ja) | 2014-02-26 |
KR20130079114A (ko) | 2013-07-10 |
CN103179350A (zh) | 2013-06-26 |
TW201328347A (zh) | 2013-07-01 |
KR101781154B1 (ko) | 2017-09-22 |
US20130162855A1 (en) | 2013-06-27 |
JP2013135468A (ja) | 2013-07-08 |
CN103179350B (zh) | 2017-08-01 |
EP2608529B1 (en) | 2015-06-03 |
EP2608529A1 (en) | 2013-06-26 |
US9235880B2 (en) | 2016-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI538510B (zh) | 在基於一場景中動作的程度捕捉該場景之一序列影像圖框中最佳化一影像圖框之曝光的攝影機及方法 | |
US10070053B2 (en) | Method and camera for determining an image adjustment parameter | |
Karpenko et al. | Digital video stabilization and rolling shutter correction using gyroscopes | |
US10762655B1 (en) | Disparity estimation using sparsely-distributed phase detection pixels | |
US8605185B2 (en) | Capture of video with motion-speed determination and variable capture rate | |
KR102397343B1 (ko) | 비디오에서 가상 오브젝트를 블러링하기 위한 방법 및 디바이스 | |
KR101664123B1 (ko) | 필터링에 기반하여 고스트가 없는 hdri를 생성하는 장치 및 방법 | |
US10255683B1 (en) | Discontinuity detection in video data | |
KR20160050671A (ko) | 움직임 영역 검출 장치 및 방법 | |
US20100110209A1 (en) | Fast motion measurement device for gaming | |
US20220036565A1 (en) | Methods and systems for restoration of lost image features for visual odometry applications | |
CN104202533B (zh) | 移动检测装置及移动检测方法 | |
JP6991045B2 (ja) | 画像処理装置、画像処理装置の制御方法 | |
JP2008042227A (ja) | 撮像装置 | |
TW201222422A (en) | Method and arrangement for identifying virtual visual information in images | |
KR101886246B1 (ko) | 이미지 데이터에 포함된 모션 블러 영역을 찾고 그 모션 블러 영역을 처리하는 이미지 프로세싱 장치 및 그 장치를 이용한 이미지 프로세싱 방법 | |
CN107959840A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
JP2008250674A (ja) | 画像処理装置 | |
KR101637637B1 (ko) | 비디오 센서 시스템의 영역 별 자동 노출 방법 및 그 장치 | |
JP3616355B2 (ja) | コンピュータによる画像処理方法と画像処理装置 | |
CN111835968B (zh) | 图像清晰度还原方法及装置、图像拍摄方法及装置 | |
JP2011139379A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2006309510A (ja) | 動き検出装置およびそのプログラム |