TW201503692A - 運動適性成像控制方法、運動適性成像系統以及電腦程式產品 - Google Patents

運動適性成像控制方法、運動適性成像系統以及電腦程式產品 Download PDF

Info

Publication number
TW201503692A
TW201503692A TW103119505A TW103119505A TW201503692A TW 201503692 A TW201503692 A TW 201503692A TW 103119505 A TW103119505 A TW 103119505A TW 103119505 A TW103119505 A TW 103119505A TW 201503692 A TW201503692 A TW 201503692A
Authority
TW
Taiwan
Prior art keywords
image data
pixel
exposure
motion
value
Prior art date
Application number
TW103119505A
Other languages
English (en)
Inventor
Yuan-Chih Peng
Original Assignee
Himax Imaging Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Imaging Ltd filed Critical Himax Imaging Ltd
Publication of TW201503692A publication Critical patent/TW201503692A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

一種運動適性成像控制方法，適用於一互補式金氧半導體(Complementary Metal Oxide Semiconductor，CMOS)成像系統，包括：取得一場景對應至第一曝光值之第一影像資料以及該場景對應至第二曝光值之第二影像資料，其中該第一曝光值大於該第二曝光值；根據第一影像資料中對應像素之第一像素值以及第二影像資料中對應像素之第二像素值之間的像素值差決定高動態範圍影像資料之每一像素的運動索引；以及根據每一像素的該運動索引、第一影像資料以及第二影像資料執行自動曝光控制操作、自動對焦控制操作以及對比增強操作之任意組合。

Description

運動適性成像控制方法、運動適性成像系統以及電腦程式產品
本發明係有關於運動適性成像控制，且更有關於對互補式金氧半導體(Complementary Metal Oxide Semiconductor，CMOS)成像系統執行運動適性成像控制。
將光學影像轉換為電子訊號的成像感測器可大致分為電荷耦合裝置(Charge Coupled Device，CCD)以及互補式金氧半導體(Complementary Metal Oxide Semiconductor，CMOS)成像感測器。CMOS成像感測器具有低消耗、低生產成本以及高集成度的優點。此外，將CMOS成像感測器整合至其他數位電路以執行例如自動曝光控制、自動對焦控制、對比度增強和雜訊減少等功能相當容易。因此，CMOS成像感測器廣泛使用於電子設備中，尤其在監視設備和例如行動電話等可攜式電子設備的相機中。
第1圖所示為習知CMOS成像系統10的示意圖。CMOS成像系統10包括鏡頭100、像素陣列110、耦接至像素陣列110的影像處理器120、耦接至像素陣列110和影像處理器120的自動曝光控制單元130以及耦接至鏡頭100和影像處理器120的自動對焦控制單元140。影像處理器120包括耦接至自動曝光控制單元130的曝光 統計模組122、耦接至自動對焦控制單元140的對焦統計模組123以及對比增強模組124。
曝光統計模組122利用曝光計量收集由像素陣列110擷取之影像資料的曝光統計數據。第2A圖所示為用於曝光計量之多窗影像IMG1的示意圖。像素陣列110擷取之影像IMG1被分為行列式排列的窗WD1~WD25。每一窗包括至少一像素。第2B圖所示為應用至第2A圖之多窗影像IMG1的示例性權重組合IMG2的示意圖。曝光統計模組122將一窗中之像素值乘上對應至該窗的權重並累加所有乘上權重的像素值以取得該窗的窗曝光統計數據。之後，曝光統計模組122計算所有窗的窗曝光統計數據的總和以取得影像IMG1的曝光統計數據。舉例而言，窗WD7中之像素的像素值皆乘上0.5而窗WD13中之像素的像素值皆乘上1。然後，自動曝光控制單元130從曝光統計模組122接收上述曝光統計數據並執行自動曝光控制操作以根據曝光統計數據調整像素陣列110擷取影像時的曝光值。
對焦統計模組123利用評估函數，例如拉普拉斯(Laplacian)評估函數或熵函數，收集由像素陣列110擷取之影像資料的對焦統計數據以在自動對焦操作中量測影像的品質。自動對焦控制單元140從對焦統計模組123接收上述對焦統計數據然後執行自動對焦操作以根據對焦統計數據調整鏡頭100的焦距。對比增強模組124執行對比增強操作以利用直方圖等化(histogram equalization)增強影像的對比度。
不同的權重應用至統計數據的計算當中，例如上述的曝光統計數據、對焦統計數據以及直方圖，以符合不同情況下 的需求。權重可根據不同情況預先決定或預先定義。在一些特殊應用中，例如監視裝置以及監控相機，會希望運動中的物體能顯示得越清楚越好。
除此之外，為了在影像中良好地展現細節，影像的動態範圍也同樣是需要考量的重要因素。在一些已知技術中，會利用具有不同曝光值的影像資料取得高動態範圍影像或增強動態範圍影像。
有鑑於此，本發明提供一種運動適性的CMOS成像系統以及運動適性的成像控制方法，根據影像的運動索引調整用於影像處理之統計數據的權重以更好地顯示影像中的運動中物體。
在一實施例中，本發明提供一種運動適性成像控制方法，適用於一互補式金氧半導體(Complementary Metal Oxide Semiconductor，CMOS)成像系統，包括：取得一場景對應至第一曝光值之第一影像資料以及該場景對應至第二曝光值之第二影像資料，其中該第一曝光值大於該第二曝光值；根據第一影像資料中對應像素之第一像素值以及第二影像資料中對應像素之第二像素值之間的像素值差決定高動態範圍影像資料之每一像素的運動索引；以及根據每一像素的該運動索引、第一影像資料以及第二影像資料執行自動曝光控制操作、自動對焦控制操作以及對比增強操作之任意組合。
在另一實施例中，本發明提供一種運動適性互補式金氧半導體(Complementary Metal Oxide Semiconductor，CMOS)成像系統，包括：一鏡頭；一影像感測陣列，利用第一曝光值以 及第二曝光值擷取一場景之影像資料，其中該第一曝光值大於該第二曝光值；一影像處理器，耦接至該影像感測陣列，接收該影像資料並產生該場景對應至該第一曝光值之第一影像資料以及該場景對應至該第二曝光值之第二影像資料，包括：運動偵測器，根據第一影像資料中對應像素之第一像素值以及第二影像資料中對應像素之第二像素值之間的像素值差決定高動態範圍影像資料之每一像素的運動索引；其中該運動適性CMOS成像系統根據每一像素的該運動索引、第一影像資料以及第二影像資料執行自動曝光控制操作、自動對焦控制操作以及對比增強操作之任意組合。
在再一實施例中，本發明提供一種電腦程式產品，其被一電子設備載入以使該電子設備執行一種適用於一互補式金氧半導體(Complementary Metal Oxide Semiconductor，CMOS)成像系統的運動適性成像控制方法，包括：一第一程式碼，用於取得一場景對應至第一曝光值之第一影像資料以及該場景對應至第二曝光值之第二影像資料，其中該第一曝光值大於該第二曝光值；一第二程式碼，用於根據第一影像資料中對應像素之第一像素值以及第二影像資料中對應像素之第二像素值之間的像素值差決定高動態範圍影像資料之每一像素的運動索引；以及一第三程式碼，用於根據每一像素的該運動索引、第一影像資料以及第二影像資料執行自動曝光控制操作、自動對焦控制操作以及對比增強操作之任意組合。
10‧‧‧CMOS成像系統
30‧‧‧運動適性成像控制方法
40‧‧‧運動適性CMOS成像系統
100、400‧‧‧鏡頭
110、410A、410B‧‧‧像素陣列
120、420‧‧‧影像處理器
122、422A、422B、422_1、422_2‧‧‧曝光統計模組
123、423‧‧‧對焦統計模組
124、424‧‧‧對比增強模組
130、430A、430B‧‧‧自動曝光控制單元
140、440‧‧‧自動對焦控制單元
421A、421B‧‧‧處理單元
425、425_1、425_2‧‧‧運動偵測器
426‧‧‧HDR影像產生器
610、810‧‧‧差估計模組
620、820‧‧‧運動索引產生器
831A、830B‧‧‧邊緣偵測器
840‧‧‧及運算器
850、912-x、920-1、920-2、...、920-N、1018-x、1020-1、1020-2、...、1020-N‧‧‧乘法器
910-1、910-2、...、910-x、...、910-N、1010-1、1010-2、...、1010-x、...、1010-N‧‧‧曝光統計子模組
911-x、1011-x‧‧‧RGB至Y轉換器
913-x、914-x、1013-x、1017-x‧‧‧累加器
915-x‧‧‧除法器
930、1030‧‧‧總和模組
940、1040‧‧‧除法器
1016-x‧‧‧比較器
1050-1、1050-2、...、1050-x、...、1050-N‧‧‧權重產生器
D‧‧‧像素值差
D(EV1)‧‧‧第一影像資料
D(EV2)‧‧‧第二影像資料
EV1‧‧‧第一曝光值
EV2‧‧‧第二曝光值
ES1‧‧‧第一曝光統計數據
ES2‧‧‧第二曝光統計數據
ESWDx‧‧‧窗統計數據
ES’WDx‧‧‧運動適性窗統計數據
IMG1‧‧‧影像
IMG2‧‧‧權重組合
MI‧‧‧運動索引
SW‧‧‧權重總和
SW’‧‧‧運動適性權重總和
TH1、TH2‧‧‧閾值
THM‧‧‧運動索引閾值
W1、W2、...、Wx、...WN‧‧‧權重
W’1、W’2、...、W’x、...W’N‧‧‧運動適性權重
WD1、WD2、...WD25‧‧‧窗
第1圖所示為習知CMOS成像系統的示意圖。
第2A圖所示為用於曝光計量之多窗影像的示意圖。
第2B圖所示為應用至第2A圖之多窗影像的示例性權重組合的示意圖。
第3圖所示為根據本發明一實施例之應用至CMOS成像系統的運動適性成像控制方法。
第4圖所示為根據本發明一實施例之運動適性CMOS成像系統的示意圖。
第5A圖所示為根據本發明一實施例之對應第一曝光值的第一影像資料的示意圖。
第5B圖所示為根據本發明一實施例之對應第二曝光值的第二影像資料的示意圖。
第6圖所示為根據本發明一實施例之示例性運動偵測器的示意圖。
第7圖所示為像素值差與運動索引之間的關係的示意圖。
第8圖所示為根據本發明一實施例之示例性運動偵測器的示意圖。
第9A圖所示為根據本發明一實施例之示例性曝光統計模組的示意圖。
第9B圖所示為第9A圖之曝光統計模組中的窗曝光統計模組的示意圖。
第10A圖所示為根據本發明一實施例之示例性曝光統計模組的示意圖。
第10B圖所示為第10A圖之曝光統計模組中的窗曝光統計模組的示意圖。
第10C圖所示為第10A圖之曝光統計模組中的窗權重產生器的示意圖。
第11圖所示為根據本發明一實施例之直方圖的示意圖。
以下說明為本發明的實施例。其目的是要舉例說明本發明一般性的原則，不應視為本發明之限制，本發明之範圍當以申請專利範圍所界定者為準。
第3圖所示為根據本發明一實施例之應用至CMOS成像系統的運動適性成像控制方法30。在步驟S310中，取得一場景對應第一曝光值EV1的第一影像資料D(EV1)以及該場景對應第二曝光值EV2的第二影像資料D(EV2)。在本說明書中，第一曝光值EV1大於第二曝光值EV2。在步驟S320中，根據第一影像資料D(EV1)之對應像素的第一像素值以及第二影像資料D(EV2)之對應像素的第二像素值之間的像素值差決定高動態範圍影像資料之每一像素的運動索引(motion index)。決定每一像素的運動索引的細節將於後述。接著，在步驟S330中，根據每一像素的運動索引、第一影像資料D(EV1)以及第二影像資料D(EV2)執行自動曝光控制操作以調整第一曝光值EV1以及第二曝光值EV2。另外，在步驟S340中，根據每一像素的運動索引、第一影像資料D(EV1)以及第二影像資料D(EV2)執行自動對焦控制以調整焦距。除此之外，在步驟S350中，根據每一像素的運動索引、第一影像資料D(EV1) 以及第二影像資料D(EV2)執行對比增強操作以增強高動態範圍影像資料的對比度。自動曝光控制操作、自動對焦控制操作以及對比增強操作的細節將於後述。雖然步驟S330~S350可以根據第3圖所示的順序依序進行，但本發明並不侷限於此。舉例而言，步驟S330~S350可整合成單一步驟。
除此之外，雖然運動適性調整可應用至自動曝光控制操作、自動對焦控制操作以及對比增強操作三者，如步驟S330~S350所示，但本發明並不侷限於此。舉例而言，運動適性調整可應用至自動曝光控制操作、自動對焦控制操作以及對比增強操作三者其中的任意組合。
第4圖所示為根據本發明一實施例之運動適性CMOS成像系統40的示意圖。運動適性CMOS成像系統40包括鏡頭400、像素陣列(影像感測陣列)410A和410B、影像處理器420、自動曝光控制單元430A和430B以及自動對焦控制單元440。影像處理器420包括處理單元421A和421B、曝光統計模組422A和422B、對焦統計模組423、對比增強模組424、運動偵測器425以及高動態範圍(High Dynamic Range，HDR)影像產生器426。影像處理器420可更進一步包括其他模組，例如色彩去馬賽克化模組、伽馬校正模組和其他影像訊號處理模組等。運動適性CMOS成像系統40的模組和單元可藉由影像處理硬體(例如影像處理電路)、儲存於非暫時性電腦讀取媒介並可由資料處理器執行的軟體、或其任意組合的形式實現，並被配置為執行下述功能。
像素陣列410A和410B與鏡頭440協同地利用第一曝光值EV1以及第二曝光值EV2擷取一場景的影像資料。處理單元 421A和421B接收所擷取的影像資料並分別產生第一影像資料D(EV1)以及第二影像資料D(EV2)。然後，運動偵測器425從處理單元421A接收第一影像資料D(EV1)並從處理單元421B接收第二影像資料D(EV2)，並且根據第一影像資料D(EV1)之對應像素的第一像素值以及第二影像資料D(EV2)之對應像素的第二像素值之間的像素值差決定高動態範圍影像資料之每一像素的運動索引。
第5A圖所示為根據本發明一實施例之對應第一曝光值EV1的第一影像資料D(EV1)的示意圖。第5B圖所示為根據本發明一實施例之對應第二曝光值EV2的第二影像資料D(EV2)的示意圖。雖然第5A圖以及第5B圖的影像資料為Bayer樣式的形式，但本發明並不侷限於此。在第5A圖中，P1 i,j表示第一影像資料D(EV1)中位於位置(i,j)的像素。類似地，P2 i,j表示第二影像資料D(EV2)中位於位置(i,j)的像素。第一影像資料D(EV1)、第二影像資料D(EV2)以及高動態範圍影像資料具有相同的尺寸。在本說明書中，像數值可為彩色像素值或亮度值(Y像素值)。須注意的是，對應至第二曝光值EV2的像素值須根據第一曝光值EV1以及第二曝光值EV2而被標準化(normalized)。在本說明書中，第二影像資料D(EV2)包括已標準化之像素值，也就是說，第二影像資料D(EV2)中每一像素值等於對應至第二曝光值EV2的原始像素值乘上2(EV1-EV2)。
第6圖所示為根據本發明一實施例之示例性運動偵測器425_1的示意圖。運動偵測器425_1包括差估計模組610以及運動索引產生器620。差估計模組610接收第一影像資料D(EV1)以及第二影像資料D(EV2)並產生高動態範圍影像之每一像素的像素 值差Di,j。然後，運動索引產生器620根據像素值差Di,j決定高動態範圍影像之每一像素的運動索引Mi,j。像素值差Di,j係根據下列計算：
以高動態範圍影像資料中位於位置(3,3)的像素為例，像素差D3,3係根據下列計算：
第7圖所示為像素值差D與運動索引MI之間的關係的示意圖。運動索引產生器620接收每一像素的像素差Di,j，然後根據像素差Di,j並基於第7圖所示之關係決定每一像素的運動索引Mi,j。如第7圖所示，若像素值差小於或等於第一閾值TH1，則對應的運動索引為0。若像素值差大於或等於第二閾值TH2，則對應的運動索引為1。此外，若像素值差大於第一閾值TH1且小於第二閾值TH2，則對應的運動索引為大於0且小於1的一數值，並且像素值差越大運動索引越小。舉例而言，如第7圖所示，若像素值差X大於第一閾值TH1且小於第二閾值TH2，則對應的運動索引等於(X-TH1)/(TH2-TH1)。閾值TH1與TH2可根據雜訊容忍度(noise tolerance)決定。雖然在第7圖中，閾值TH1與TH2之區間中的運動索引和像數值差之間的關係為線性，但本發明並不侷限於此。
第8圖所示為根據本發明一實施例之示例性運動偵測器425_2的示意圖。運動偵測器425_2包括差估計模組810、邊緣偵測器831A和830B、及運算器840、乘法器850以及運動索引產生 器820。差估計模組810，類似於第6圖之差估計模組610，接收第一影像資料E(DV1)以及第二影像資料E(DV2)並產生高動態範圍影像資料之每一像素的像素差Di,j。邊緣偵測器830A接收第一影像資料E(DV1)並計算第一影像資料E(DV1)之每一像素的邊緣值以決定邊緣旗標EF1 i,j，然後藉此決定是否此像素屬於一邊緣。舉例而言，第一影像資料E(DV1)中位於位置(3,3)之像素的邊緣值EV(P1 3,3)係根據下列決定：
若邊緣值大於邊緣閾值，則邊緣偵測器830A所輸出之對應的邊緣旗標EF1 i,j為1。若邊緣值不大於邊緣閾值，則對應的邊緣旗標EF1 i,j為0。邊緣偵測器830B接收第二影像資料E(DV2)並計算第二影像資料E(DV2)之每一像素的邊緣值以決定邊緣旗標EF2 i,j，然後藉此決定是否此像素屬於一邊緣。邊緣偵測器830B的運作類似於邊緣偵測器830A因此不再復述。
及運算器840接收邊緣旗標EF1 i,j和邊緣旗標EF2 i,j並將根據邊緣旗標EF1 i,j和邊緣旗標EF2 i,j之及運算所得的差權重輸出至乘法器850。舉例而言，若邊緣旗標EF1 i,j為1且邊緣旗標EF2 i,j為0，則及運算器840所輸出的差權重為0。然後，乘法器850將像素值差Di,j乘上對應的差權重並輸出乘上對應差權重之像素值差Di,j至運動索引產生器820。運動索引產生器820根據乘上對應差權重之像素值差Di,j，基於像素值差與運動索引之間的關係，例如第7圖所示之關係，決定運動索引Mi,j。
參照第4圖，高動態範圍影像產生器426根據第一影像資料D(EV1)之對應像素的第一像素值、第二影像資料D(EV2) 之對應像素的第二像素值以及對應運動索引決定高動態範圍影像資料之每一像素的像素值。曝光統計模組422A收集第一影像資料D(EV1)的第一曝光統計數據ES1且曝光統計模組422B收集第二影像資料D(EV2)的第二曝光統計數據ES2。然後，自動曝光控制單元430A根據第一曝光統計數據ES1進行自動曝光控制操作以調整第一曝光值EV1，且自動曝光控制單元430B根據第二曝光統計數據ES2進行自動曝光控制操作以調整第二曝光值EV2。第一曝光統計數據ES1以及第二曝光統計數據ES2係根據下列計算：；以及
第一影像資料E(DV1)以及第二影像資料E(EV2)被分割為N個窗。N為一正整數，例如25。Wx表示對應至窗WDx的權重。雖然在第4圖中有二個分開的曝光統計模組以及二個分開的自動曝光控制單元，但本發明並不侷限於此。舉例而言，二個曝光統計模組可整合為單一曝光統計模組，且二個自動曝光控制單元也可整合為單一自動曝光控制單元。
第9A圖所示為根據本發明一實施例之示例性曝光統計模組422_1的示意圖。曝光統計模組422_1包括曝光統計子模組910-1~910-N、乘法器920-1~920-N、總和模組930以及除法器940，其中每個曝光統計子模組對應至N個窗其中之一。每個曝光 統計子模組收集對應窗的運動適性窗曝光統計數據。每個乘法器將上述運動適性窗曝光統計數據乘上對應的權重。總和模組930總和所有乘上對應權重之運動適性窗曝光統計數據。然後，除法器940將乘上對應權重之運動適性窗曝光統計數據的總和除以權重總和SW以產生曝光數據。第9B圖所示為第9A圖之曝光統計模組422_1中窗WDx之曝光統計子模組910-x的示意圖。曝光統計子模組910-x包括RGB至Y轉換器911-x、乘法器912-x、累加器913-x、累加器914-x以及除法器915-x。RGB至Y轉換器911-x將RGB像素值轉換為亮度值(在此指像素值)。乘法器912-x將窗WDx中每一像素的像素值乘上對應的運動索引以產生運動適性像素值。累加器913-x累加窗WDx中所有像素的運動適性像素值以產生運動適性像素值和。累加器914-x累加窗WDx中所有像素的運動索引以產生運動索引和。除法器915-x將運動適性像素值和除以運動索引和以產生運動適性窗統計數據ES’WDx。以第一曝光統計數據ES1為例，曝光統計模組422_1根據下列所示收集第一曝光統計數據ES1： ；以及
其中、、和分別表示窗WDx中位於位置(i,j)之像素的紅色像素值、綠色像素值、藍色像素值以及亮度像 素值。
第10A圖所示為根據本發明一實施例之另一示例性曝光統計模組422_2的示意圖。曝光統計模組422_2包括曝光統計子模組1010-1~1010-N、乘法器1020-1~1020-N、總和模組1030、除法器1040以及權重產生器1050-1~1050-N，其中每個曝光統計子模組對應至N個窗其中之一，且每個權重產生器對應至N個窗其中之一。每個曝光統計子模組收集對應窗的窗曝光統計數據。每個權重產生器產生對應窗的運動適性運動索引。每個乘法器將窗曝光統計數據乘上對應的運動適性運動索引。總和模組1030總和所有乘上對應運動適性運動索引之窗曝光統計數據。然後，除法器1040將所有乘上對應運動適性運動索引之窗曝光統計數據的總和除以運動適性權重總和SW’。第10B圖所示為第10A圖之曝光統計模組422_2中窗WDx之曝光統計子模組1010-x的示意圖。曝光統計子模組1010-x包括RGB至Y轉換器1011-x以及累加器1013-x。RGB至Y轉換器1011-x將RGB像素值轉換為亮度值(在此指像素值)。累加器1013-x累加窗WDx中所有像素的像素值以產生窗曝光統計數據ESWDx。第10C圖所示為第10A圖之曝光統計模組422_2中窗WDx之權重產生器1050-x的示意圖。權重產生器1050-x包括比較器1016-x、累加器1017-x以及乘法器1018-x。比較器1016-x比較窗WDx中每一像素之運動索引以及運動索引閾值THM。若運動索引大於運動索引閾值THM，比較器1016-x輸出1。若運動索引不大於運動索引閾值THM，比較器1016-x輸出0。累加器1017-x累加比較器1016-x的輸出值以產生窗WDx的運動權重MWx。乘法器1018-x將窗WDx的權重Wx乘上窗WDx的運動權重MWx以產生 窗WDx的運動適性權重W’x。以第一曝光統計數據ES1為例，曝光統計模組422_2根據下列所示收集第一曝光統計數據ES1： W'x=MWx×Wx；；以及
參照第4圖，對焦統計模組423將高動態範圍影像數據之每一像素的運動索引應用至自動對焦評估函數以收集高動態範圍影像數據的自動對焦統計數據。然後，自動對焦控制單元440根據從對焦統計模組423接收之自動對焦統計數據進行自動對焦控制操作以調整鏡頭400的焦距。以拉普拉斯評估函數為例，拉普拉斯運算器透過如下列模板所示之二階微分運算計算影像數據：
根據下列所示，將每一像素之運動索引運用至拉普拉斯評估函數以取得運動適性拉普拉斯評估函數f’(k)：；以及。其中Pi,j表示高動態範圍影像資料中位於位置(i,j)之像素的像素值，A表示高動態範圍影像資料的列數，且B表示高動態範圍影像資料的行數。
參照第4圖，對比增強模組424將高動態範圍影像資料之每一像素的像素值乘上對應的運動索引以取得運動適性高動態範圍影像資料，並且對比增強模組424根據運動適性高動態範圍影像資料執行對比增強操作。對比增強模組424產生運動適性高動態範圍影像資料的直方圖，然後藉由將直方圖等化運用至上述直方圖以執行對比增強操作。第11圖所示為根據本發明一實施例之運動適性高動態範圍影像資料的直方圖的示意圖。上述直方圖係根據下列所示產生：對於α=0~G：；以及。G為成像系統的最高像素值(最高亮度值)。舉例而言，在8位元成像系統中，G等於255，如第11圖所示。
如上所述，用於影像處理之統計數據的權重，例如上述曝光統計數據、對焦統計數據以及直方圖的權重，係在增進影像之動態範圍的同時根據影像的運動索引進行調整。因此，影像中的運動中物體能更好地顯示以及強調。
本發明之方法，或特定型態或其部份，可以以程式碼的型態存在。程式碼可以包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他電子設備或非暫時性之機器可讀取(如電腦可讀取)儲存媒體，亦或不限於外在形式之電腦程式產品，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置或系統，且可執行本發明之方法步驟。程式碼也可以透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被電子設備或機器，如電腦接收、載入且 執行時，此機器變成用以參與本發明之系統或裝置。當在一般用途處理單元實作時，程式碼結合處理單元提供一操作類似於應用特定邏輯電路之獨特裝置。
在一實施例中，本發明提供一種電腦程式產品，其被一電子設備載入以使該電子設備執行一種適用於一互補式金氧半導體(Complementary Metal Oxide Semiconductor，CMOS)成像系統的運動適性成像控制方法，包括：一第一程式碼，用於取得一場景對應至第一曝光值之第一影像資料以及該場景對應至第二曝光值之第二影像資料，其中該第一曝光值大於該第二曝光值；一第二程式碼，用於根據第一影像資料中對應像素之第一像素值以及第二影像資料中對應像素之第二像素值之間的像素值差決定高動態範圍影像資料之每一像素的運動索引；以及一第三程式碼，用於根據每一像素的該運動索引、第一影像資料以及第二影像資料執行自動曝光控制操作、自動對焦控制操作以及對比增強操作之任意組合。
該第三程式碼更包括：一第四程式碼，用於分別根據以及收集該第一影像資料的第一曝光統計數據ES1以及該第二影像資料的第二曝光統計數據ES1，其中該第一影像資料以及該第二影像資料被分為N個窗，Wx表示對應至窗WDx的權重，Mi,j表示該高動態範圍影像資料之像素Pi,j的運動索引，P1 i,j表示該第一影像資料的第一像素值，且P2 i,j表示該第二影像資料的第二像素值；以及一第五程式碼，用於根據該第一曝光統計數據ES1以及該第二曝光統計數據 ES1調整該第一曝光值以及該第二曝光值。
該電腦產品更包括一第六程式碼，用於根據該第一像素值、該第二像素值以及對應的該運動索引決定該高動態範圍影像資料之每一像素的像素值。該第三程式碼更包括一第七程式碼，用於將該高動態範圍影像資料之每一像素的該運動索引應用至自動對焦評估函數以執行該自動對焦控制操作。該第三程式碼更包括一第八程式碼，用於將該高動態範圍影像資料之每一像素的像素值乘上對應的該運動索引以取得運動適性高動態範圍影像資料；以及一第九程式碼，用於根據該運動適性高動態範圍影像資料執行該對比增強操作。
以上所述為實施例的概述特徵。所屬技術領域中具有通常知識者應可以輕而易舉地利用本發明為基礎設計或調整以實行相同的目的和/或達成此處介紹的實施例的相同優點。所屬技術領域中具有通常知識者也應了解相同的配置不應背離本創作的精神與範圍，在不背離本創作的精神與範圍下他們可做出各種改變、取代和交替。說明性的方法僅表示示範性的步驟，但這些步驟並不一定要以所表示的順序執行。可另外加入、取代、改變順序和/或消除步驟以視情況而作調整，並與所揭露的實施例精神和範圍一致。
30‧‧‧運動適性成像控制方法
S310、S320、S330、S340、S350‧‧‧步驟

Claims (15)

  1. 一種運動適性成像控制方法，適用於一成像系統，包括：取得一場景對應至第一曝光值之第一影像資料以及該場景對應至第二曝光值之第二影像資料，其中該第一曝光值大於該第二曝光值；根據第一影像資料中對應像素之第一像素值以及第二影像資料中對應像素之第二像素值之間的像素值差決定高動態範圍影像資料之每一像素的運動索引；以及根據每一像素的該運動索引、第一影像資料以及第二影像資料執行自動曝光控制操作、自動對焦控制操作以及對比增強操作之任意組合。
  2. 如申請專利範圍第1項所述之運動適性成像控制方法，其中該自動曝光控制操作包括：分別根據以及收集該第一影像資料的第一曝光統計數據ES1以及該第二影像資料的第二曝光統計數據ES1，其中該第一影像資料以及該第二影像資料被分為N個窗，Wx表示對應至窗WDx的權重，Mi,j表示該高動態範圍影像資料之像素Pi,j的運動索引，P1 i,j表示該第一影像資料的第一像素值，且P2 i,j表示該第二影像資料的第二像素值；以及 根據該第一曝光統計數據ES1以及該第二曝光統計數據ES1調整該第一曝光值以及該第二曝光值。
  3. 如申請專利範圍第1項所述之運動適性成像控制方法，更包括：根據該第一像素值、該第二像素值以及對應的該運動索引決定該高動態範圍影像資料之每一像素的像素值。
  4. 如申請專利範圍第1項所述之運動適性成像控制方法，其中該自動對焦控制操作包括：將該高動態範圍影像資料之每一像素的該運動索引應用至自動對焦評估函數以執行該自動對焦控制操作。
  5. 如申請專利範圍第1項所述之運動適性成像控制方法，其中該對比增強操作包括：將該高動態範圍影像資料之每一像素的像素值乘上對應的該運動索引以取得運動適性高動態範圍影像資料；其中該對比增強操作係根據該運動適性高動態範圍影像資料執行。
  6. 一種運動適性成像系統，包括：一鏡頭；一影像感測陣列，利用第一曝光值以及第二曝光值擷取一場景之影像資料，其中該第一曝光值大於該第二曝光值；一影像處理器，耦接至該影像感測陣列，接收該影像資料並產生該場景對應至該第一曝光值之第一影像資料以及該 場景對應至該第二曝光值之第二影像資料，包括：運動偵測器，根據第一影像資料中對應像素之第一像素值以及第二影像資料中對應像素之第二像素值之間的像素值差決定高動態範圍影像資料之每一像素的運動索引；其中該運動適性成像系統根據每一像素的該運動索引、第一影像資料以及第二影像資料執行自動曝光控制操作、自動對焦控制操作以及對比增強操作之任意組合。
  7. 如申請專利範圍第6項所述之運動適性成像系統，其中該影像處理器更包括：至少一曝光統計模組，耦接至該運動適性成像系統之至少一自動曝光控制單元，分別根據以及收集該第一影像資料的第一曝光統計數據ES1以及該第二影像資料的第二曝光統計數據ES1，其中該第一影像資料以及該第二影像資料被分為N個窗，Wx表示對應至窗WDx的權重，Mi,j表示該高動態範圍影像資料之像素Pi,j的運動索引，P1 i,j表示該第一影像資料的第一像素值，且P2 i,j表示該第二影像資料的第二像素值；其中該至少一自動曝光控制單元根據該第一曝光統計數 據ES1以及該第二曝光統計數據ES1調整該第一曝光值以及該第二曝光值。
  8. 如申請專利範圍第6項所述之運動適性成像系統，其中該影像處理器更包括：一高動態範圍影像產生器，根據該第一像素值、該第二像素值以及對應的該運動索引決定該高動態範圍影像資料之每一像素的像素值。
  9. 如申請專利範圍第6項所述之運動適性成像系統，其中該影像處理器更包括：一對焦統計模組，耦接至該運動適性成像系統的自動對焦控制單元，將該高動態範圍影像資料之每一像素的該運動索引應用至自動對焦評估函數以收集對焦統計數據；其中該自動對焦控制單元根據該對焦統計數據執行該自動對焦控制操作。
  10. 如申請專利範圍第6項所述之運動適性成像系統，其中該影像處理器更包括：一對比增強模組，將該高動態範圍影像資料之每一像素的像素值乘上對應的該運動索引以取得運動適性高動態範圍影像資料，並且根據該運動適性高動態範圍影像資料執行該對比增強操作。
  11. 一種電腦程式產品，其被一電子設備載入以使該電子設備執行一種適用於一成像系統的運動適性成像控制方 法，包括：一第一程式碼，用於取得一場景對應至第一曝光值之第一影像資料以及該場景對應至第二曝光值之第二影像資料，其中該第一曝光值大於該第二曝光值；一第二程式碼，用於根據第一影像資料中對應像素之第一像素值以及第二影像資料中對應像素之第二像素值之間的像素值差決定高動態範圍影像資料之每一像素的運動索引；以及一第三程式碼，用於根據每一像素的該運動索引、第一影像資料以及第二影像資料執行自動曝光控制操作、自動對焦控制操作以及對比增強操作之任意組合。
  12. 如申請專利範圍第11項所述之電腦程式產品，其中該第三程式碼更包括：一第四程式碼，用於分別根據以及收集該第一影像資料的第一曝光統計數據ES1以及該第二影像資料的第二曝光統計數據ES1，其中該第一影像資料以及該第二影像資料被分為N個窗，Wx表示對應至窗WDx的權重，Mi,j表示該高動態範圍影像資料之像素Pi,j的運動索引，P1 i,j表示該第一影像資料的第一像素值，且P2 i,j 表示該第二影像資料的第二像素值；以及一第五程式碼，用於根據該第一曝光統計數據ES1以及該第二曝光統計數據ES1調整該第一曝光值以及該第二曝光值。
  13. 如申請專利範圍第11項所述之電腦程式產品，更包括：一第六程式碼，用於根據該第一像素值、該第二像素值以及對應的該運動索引決定該高動態範圍影像資料之每一像素的像素值。
  14. 如申請專利範圍第11項所述之電腦程式產品，其中該第三程式碼更包括：一第七程式碼，用於將該高動態範圍影像資料之每一像素的該運動索引應用至自動對焦評估函數以執行該自動對焦控制操作。
  15. 如申請專利範圍第11項所述之電腦程式產品，其中該第三程式碼更包括：一第八程式碼，用於將該高動態範圍影像資料之每一像素的像素值乘上對應的該運動索引以取得運動適性高動態範圍影像資料；以及一第九程式碼，用於根據該運動適性高動態範圍影像資料執行該對比增強操作。
TW103119505A 2013-07-05 2014-06-05 運動適性成像控制方法、運動適性成像系統以及電腦程式產品 TW201503692A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/935,873 US20150009355A1 (en) 2013-07-05 2013-07-05 Motion adaptive cmos imaging system

Publications (1)

Publication Number Publication Date
TW201503692A true TW201503692A (zh) 2015-01-16

Family

ID=52132564

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103119505A TW201503692A (zh) 2013-07-05 2014-06-05 運動適性成像控制方法、運動適性成像系統以及電腦程式產品

Country Status (3)

Country Link
US (1) US20150009355A1 (zh)
CN (1) CN104284082A (zh)
TW (1) TW201503692A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10257405B2 (en) 2015-12-11 2019-04-09 Nanning Fugui Precision Industrial Co., Ltd. Automatic focusing method and automatic focusing system
TWI683574B (zh) * 2018-10-01 2020-01-21 恆景科技股份有限公司 高動態範圍成像系統與方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102149453B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 획득하기 위한 전자 장치 및 방법
EP3046319A1 (en) * 2015-01-19 2016-07-20 Thomson Licensing Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion
CN105282428B (zh) * 2015-05-28 2019-03-01 维沃移动通信有限公司 一种移动终端拍摄的方法及移动终端
EP3463809B1 (en) * 2016-05-31 2022-08-31 NIKE Innovate C.V. Method and apparatus for printing three-dimensional structures with image information
US9916644B1 (en) 2016-09-09 2018-03-13 Omnivision Technologies, Inc. Ghost artifact removal system and method
CN108259759A (zh) * 2018-03-20 2018-07-06 北京小米移动软件有限公司 对焦方法、装置及存储介质
KR20190114332A (ko) * 2018-03-29 2019-10-10 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
EP3671625B1 (en) 2018-12-18 2020-11-25 Axis AB Method, device, and system for enhancing changes in an image captured by a thermal camera
US11128809B2 (en) * 2019-02-15 2021-09-21 Samsung Electronics Co., Ltd. System and method for compositing high dynamic range images
US11102422B2 (en) * 2019-06-05 2021-08-24 Omnivision Technologies, Inc. High-dynamic range image sensor and image-capture method
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion
US11528435B2 (en) * 2020-12-25 2022-12-13 Industrial Technology Research Institute Image dehazing method and image dehazing apparatus using the same
KR20220131054A (ko) * 2021-03-19 2022-09-27 에스케이하이닉스 주식회사 이미지 처리 장치 및 그 동작 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7586518B2 (en) * 2004-06-18 2009-09-08 Canon Kabushiki Kaisha Imaging technique performing focusing on plurality of images
JP4518131B2 (ja) * 2007-10-05 2010-08-04 富士フイルム株式会社 撮像方法及び装置
US20090141802A1 (en) * 2007-11-29 2009-06-04 Sony Corporation Motion vector detecting apparatus, motion vector detecting method, and program
GB0807953D0 (en) * 2008-05-01 2008-06-11 Ying Ind Ltd Improvements in motion pictures
EP2237221B1 (en) * 2009-03-31 2012-02-29 Sony Corporation Method and unit for generating high dynamic range image and video frame
US8054290B2 (en) * 2009-05-27 2011-11-08 Microsoft Corporation Image contrast enhancement in depth sensor
KR101614914B1 (ko) * 2009-07-23 2016-04-25 삼성전자주식회사 모션 적응적 고대비 영상 획득 장치 및 방법
JP5740844B2 (ja) * 2009-11-24 2015-07-01 株式会社リコー 撮像装置、画像処理方法、及び、コンピュータプログラム
DE102009055269B4 (de) * 2009-12-23 2012-12-06 Robert Bosch Gmbh Verfahren zur Bestimmung der Relativbewegung mittels einer HDR-Kamera
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
WO2012008143A1 (ja) * 2010-07-12 2012-01-19 パナソニック株式会社 画像生成装置
US8488055B2 (en) * 2010-09-30 2013-07-16 Apple Inc. Flash synchronization using image sensor interface timing signal
JP5744614B2 (ja) * 2011-04-28 2015-07-08 オリンパス株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
WO2012164881A1 (ja) * 2011-05-27 2012-12-06 パナソニック株式会社 画像処理装置および画像処理方法
US8913153B2 (en) * 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
US9014504B2 (en) * 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US8581929B1 (en) * 2012-06-05 2013-11-12 Francis J. Maguire, Jr. Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth
US9357130B2 (en) * 2013-03-15 2016-05-31 Apple Inc. Dynamic bracketing operations for image stabilization
US10382674B2 (en) * 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10257405B2 (en) 2015-12-11 2019-04-09 Nanning Fugui Precision Industrial Co., Ltd. Automatic focusing method and automatic focusing system
TWI683574B (zh) * 2018-10-01 2020-01-21 恆景科技股份有限公司 高動態範圍成像系統與方法

Also Published As

Publication number Publication date
US20150009355A1 (en) 2015-01-08
CN104284082A (zh) 2015-01-14

Similar Documents

Publication Publication Date Title
TW201503692A (zh) 運動適性成像控制方法、運動適性成像系統以及電腦程式產品
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
CN104349066B (zh) 一种生成高动态范围图像的方法、装置
CN107077725B (zh) 数据处理装置、成像装置和数据处理方法
US9160934B2 (en) Image capturing apparatus obtaining high-exposure and low-exposure images, and method for controlling the same
TWI414179B (zh) Shooting parameter adjustment method for face detection and image capturing device for face detection
TWI507999B (zh) 用於提供一影像之估計之信號雜訊比平均值之方法及攝影機
JP6116272B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP4127411B1 (ja) 画像処理装置及び方法
JP2014143613A (ja) 画像処理装置、方法、及びプログラム、並びに撮像装置
US10650503B2 (en) Image processing apparatus, image processing method, and storage medium
WO2016035570A1 (ja) 画像処理装置および画像処理方法、並びに固体撮像装置
US20150086132A1 (en) Image Processing Apparatus and Image Processing Method
TW201503694A (zh) 基於像素強度分布之多目標自動曝光及增益控制
US9712753B2 (en) Exposure control apparatus and control method thereof, image capturing apparatus, and storage medium
CN110445986B (zh) 图像处理方法、装置、存储介质及电子设备
US9892497B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US10972676B2 (en) Image processing method and electronic device capable of optimizing hdr image by using depth information
CN110717871A (zh) 图像处理方法、装置、存储介质及电子设备
CN110740266A (zh) 图像选帧方法、装置、存储介质及电子设备
CN110728705A (zh) 图像处理方法、装置、存储介质及电子设备
US10475162B2 (en) Image processing device, method, and storage medium for gamma correction based on illuminance
JP2015080157A (ja) 画像処理装置、画像処理方法及びプログラム
JP6514577B2 (ja) 画像処理装置および画像処理方法ならびに撮像装置
JP6554009B2 (ja) 画像処理装置、その制御方法、プログラム及び記録媒体