TWI803424B - 動態影像產生方法及其動態影像感測器 - Google Patents

動態影像產生方法及其動態影像感測器 Download PDF

Info

Publication number
TWI803424B
TWI803424B TW111134088A TW111134088A TWI803424B TW I803424 B TWI803424 B TW I803424B TW 111134088 A TW111134088 A TW 111134088A TW 111134088 A TW111134088 A TW 111134088A TW I803424 B TWI803424 B TW I803424B
Authority
TW
Taiwan
Prior art keywords
exposure
short
long
exposure time
image
Prior art date
Application number
TW111134088A
Other languages
English (en)
Other versions
TW202412507A (zh
Inventor
印秉宏
周永銘
Original Assignee
大陸商廣州印芯半導體技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商廣州印芯半導體技術有限公司 filed Critical 大陸商廣州印芯半導體技術有限公司
Priority to TW111134088A priority Critical patent/TWI803424B/zh
Application granted granted Critical
Publication of TWI803424B publication Critical patent/TWI803424B/zh
Priority to US18/237,981 priority patent/US20240089608A1/en
Publication of TW202412507A publication Critical patent/TW202412507A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本發明係關於一種動態影像產生方法及其動態影像感測器。該動態影像感測器包括第一曝光像素、第二曝光像素以及影像處理模組。該動態影像感測器應用該動態影像產生方法，其係透過第一曝光像素曝光待測短曝光時間產生待測短曝影像訊號，同時第二曝光像素曝光待測長曝光時間產生待測長曝影像訊，影像處理模組確認待測短曝影像訊號及待測長曝影像訊號是否高於夾擠下限或低於夾擠上限；若是，則產生最佳短曝光時間以及最佳長曝光時間；反之，將待測短曝光時間增加短曝光定值或將待測長曝光時間減少長曝光定值，並重複執行該自動曝光時間方法直至產生最佳短曝光時間以及最佳長曝光時間。

Description

動態影像產生方法及其動態影像感測器
本發明係有關於一種動態影像產生方法，特別係關於一種高偵率及高動態範圍之動態影像產生方法及其動態影像感測器。
近年自駕車產業的需求日趨蓬勃，對自駕車而言，用於偵測即時道路狀況的影像感測器是必備元件。目前，應用於偵測即時道路狀況的影像感測器又以動態視覺感測器(Dynamic Vision Sensor, DVS)為主流，其原因在於，動態視覺感測器是以事件(event)為單位記錄影像資訊。這種基於動態事件的感測器使得機器的自主性更加接近現實，因而適用於自動駕駛車領域中基於視覺的高速應用。
然而，在道路駕駛過程中，偶爾會發生照明程度在短時間之內劇烈改變的情形，從而造成影像感測器局部(或全部)暫時性的產生過度曝光(或曝光不足)的問題。在此短暫的時間內，自駕車的影像辨識演算法在面對細節不足的畫面，無法做出正確的物件偵測，因而提高發生事故的風險。
因此，如何優化影像感測器，使得影像感測器在極高的幀率之下可以快速地調整曝光程度，以產生最佳的曝光時間，並透過對同一幀照片進行色調映射(tone mapping)及曝光融合(exposure fusion)產生高動態範圍影像，使其影像細節在面對各種照度的環境下皆可具備足夠的清晰度以及辨識度，係為研發人員亟待解決的問題之一。
是以，本案發明人在觀察上述缺失後，而遂有本發明之產生。
本發明的目的在於提供一種動態影像感測器，藉由第一曝光像素曝光短曝光時間，同時第二曝光像素曝光長曝光時間，並通過色調映射以及曝光融合產生高動態範圍影像資訊。如此一來，本發明利用長短曝光陣列的設計，在同一幀的時間內就可以將不同時曝光且曝光時間不同之影像資訊進行曝光融合，達成增強動態影像之清晰度以及亮度等功效，以提升辨識演算法針對動態影像進行辨識時的準確度，降低發生事故的風險。
本發明的又一目的在於提供一種動態影像產生方法，其係藉由影像處理模組將待測短曝光時間增加短曝光定值形成新的待測短曝光時間，或者將待測長曝光時間減少長曝光定值形成新的待測長曝光時間，以產生最佳短曝光時間以及最佳長曝光時間。藉此，本發明用空間解析度換取額外的曝光資訊，有利於在短時間內收斂至最佳曝光時間，使得高動態範圍影像資訊曝光良好。此外，透過上下範圍同時夾擠之運算方式，使得本發明之自動曝光時間方法可以實現一種動態運算的方式產生最佳曝光時間，以適應各種拍攝環境，同時降低產生最佳曝光時間的運算時間，大幅提升本發明之效率以及適用性。
本發明的另一目的在於提供一種動態影像產生方法，其係透過二值化處理短曝影像訊號以及長曝影像訊號，並將二值化後的短曝影像訊號乘上短曝權重，二值化後的長曝影像訊號乘上長曝權重，其中，長曝權重大於短曝權重。藉此，解決低亮度環境中，動態影像不清晰的問題，使得原本像素中高亮度者值愈高、低亮度者值愈低，讓影像中的物體輪廓對比增加，進一步提升動態影像之清晰度。
為達上述目的，本發明提供一種高幀率高動態範之動態影像產生方法，其係應用於一動態影像感測器接收動態範圍之動態影像的環境中，該動態影像感測器包含一第一曝光像素、一第二曝光像素以及一影像處理模組，該第一曝光像素以及該第二曝光像素耦接於該影像處理模組，該動態影像產生方法包含下列步驟：一同時曝光步驟，該第一曝光像素曝光一短曝光時間產生一短曝影像訊號，同時該第二曝光像素曝光一長曝光時間產生一長曝影像訊號；一色調映射步驟，該影像處理模組將該短曝影像訊號以及該長曝影像訊號執行一色調映射(tone mapping)演算法，產生一短曝影像資訊以及一長曝影像資訊；一曝光融合步驟，該影像處理模組將該短曝影像資訊以及該長曝影像資訊進行曝光融合(exposure fusion)，產生一高動態範圍影像資訊；以及一輸出步驟，該影像處理模組輸出該高動態範圍影像資訊。
較佳地，根據本發明之動態影像產生方法，其中，該色調映射演算法係選自伽馬曲線(Gamma curve)演算法以及專業色彩編碼系統曲線(Academy Color Encoding System curve)演算法其中之一。
較佳地，根據本發明之動態影像產生方法，其中，於該同時曝光步驟之前，該動態影像產生方法進一步包含一自動曝光時間方法，該自動曝光時間方法包含下列步驟：一測試步驟，該第一曝光像素曝光一待測短曝光時間，同時該第二曝光像素曝光一待測長曝光時間，以產生一待測短曝影像訊號以及一待測長曝影像訊號；一判定步驟，該影像處理模組確認該待測短曝影像訊號是否高於一夾擠下限，並確認該待測長曝影像訊號是否低於一夾擠上限；一調整步驟，該影像處理模組將該待測短曝光時間增加一短曝光定值以產生新的該待測短曝光時間，或者將該待測長曝光時間減少一長曝光定值以產生新的該待測長曝光時間；一最佳曝光時間產生步驟，該影像處理模組根據該待測短曝光時間以及該待測長曝光時間產生一最佳短曝光時間以及一最佳長曝光時間；其中，若該判定步驟判定該待測短曝影像訊號高於該夾擠下限，並且該待測長曝影像訊號低於該夾擠上限，該判定步驟結束後執行該最佳曝光時間產生步驟，且該同時曝光步驟中，該第一曝光像素曝光該最佳短曝光時間，同時該第二曝光像素曝光該最佳長曝光時間；反之，該判定步驟結束後執行該調整步驟並重複執行該測試步驟。
較佳地，根據本發明之動態影像產生方法，其中，該動態影像感測器內儲存有一短曝光時間上限值以及一長曝光時間下限值，該短曝光時間上限值係為該待測短曝光時間的最大值，該長曝光時間下限值係為該待測長曝光時間的最小值。
較佳地，根據本發明之動態影像產生方法，其中，若該待測短曝光時間為該短曝光時間上限值，且該判定步驟中該待測短曝影像訊號仍低於該夾擠下限，則該自動曝光時間方法進一步包含有一疊加步驟，該疊加步驟系為該影像處理模組將該待測短曝影像訊號進行疊加，以產生該短曝影像訊號。
較佳地，根據本發明之動態影像產生方法，其中，該動態影像感測器進一步包含有一亮度感測模組，其係耦接於該影像處理模組，該亮度感測模組係用於感測該動態影像感測器所處環境的亮度，該曝光時間調整方法進一步包含有一上下限調整步驟，該影像處理模組係根據該亮度感測模組所感測之亮度調整該夾擠下限以及該夾擠上限，當亮度感測模組感測之亮度低於一低亮度值，則對應地降低該夾擠下限，當該亮度感測模組感測之亮度高於一高亮度值，則對應地升高該夾擠上限。
較佳地，根據本發明之動態影像產生方法，其中，該色調映射步驟包含有：一臨界值產生步驟，該影像處理模組將該短曝影像訊號之該等像素值取平均值產生一短曝亮度臨界值，並將該長曝影像訊號之該等像素值取平均值產生一長曝亮度臨界值；一高動態範圍合成步驟，該影像處理模組根據該短曝亮度臨界值，將該短曝影像訊號中高於該短曝亮度臨界值的該等像素值定義為1，並將該短曝影像訊號中低於或等於該短曝亮度臨界值的該等像素值定義為0，該影像處理模組根據該長曝亮度臨界值，將該長曝影像訊號中高於該長曝亮度臨界值的該等像素值定義為1，並將該長曝影像訊號中低於或等於該長曝亮度臨界值的該等像素值定義為0；一加權計算步驟，該影像處理模組將二值化後的該短曝影像訊號乘上一短曝權重，該影像處理模組將二值化後的該長曝影像訊號乘上一長曝權重，其中，該長曝權重大於該短曝權重。
又，為達上述目的，本發明係根據上述動態影像產生方法為基礎，進一步提供一種高幀率高動態範圍之動態影像感測器，其係應用於接收動態範圍之動態影像的環境中，該動態影像感測器包含有：一感測陣列，其係包含複數個第一曝光像素以及複數個第二曝光像素，該等第一曝光像素具有一短曝光時間，該等第二曝光像素具有一長曝光時間；一影像處理模組，其係耦接於該感測陣列；其中，該第一曝光像素曝光該短曝光時間產生一短曝影像訊號，同時該第二曝光像素曝光該長曝光時間產生一長曝影像訊號，該影像處理模組將該短曝影像訊號以及該長曝影像訊號執行一色調映射演算法，產生一短曝影像資訊以及一長曝影像資訊，並且該影像處理模組將該短曝影像資訊以及該長曝影像資訊進行曝光融合，產生一高動態範圍影像資訊。
較佳地，根據本發明之動態影像感測器，其中，該等第一曝光像素與該等第二曝光像素交錯排列，且該等第一曝光像素的數量為該等第二曝光像素的數量之1倍、2倍以及3倍其中之一。
綜上，本發明所提供之動態影像產生方法，主要利用本發明之動態影像感測器藉由第一曝光像素曝光短曝光時間，同時第二曝光像素曝光長曝光時間，並通過色調映射以及曝光融合產生高動態範圍影像資訊。如此一來，本發明利用長短曝光陣列的設計，在同一幀的時間內就可以將不同時曝光且曝光時間不同之影像資訊進行曝光融合，達成增強動態影像之清晰度以及亮度等功效，大幅提升辨識演算法針對動態影像進行辨識時的準確度，降低發生事故的風險。此外，藉由影像處理模組將待測短曝光時間增加短曝光定值形成新的待測短曝光時間，或者將待測長曝光時間減少長曝光定值形成新的待測長曝光時間，以產生最佳短曝光時間以及最佳長曝光時間。藉此，本發明用空間解析度換取額外的曝光資訊，有利於在短時間內收斂至最佳曝光時間，使得高動態範圍影像資訊曝光良好。
爲使熟悉該項技藝人士瞭解本發明之目的、特徵及功效，茲藉由下述具體實施例，並配合所附之圖式，對本發明詳加說明如下。
現在將參照其中示出本發明概念的示例性實施例的附圖 在下文中更充分地闡述本發明概念。以下藉由參照附圖更詳細地闡述的示例性實施例，本發明概念的優點及特徵以及其達成方法將顯而易見。然而，應注意，本發明概念並非僅限於以下示例性實施例，而是可實施為各種形式。因此，提供示例性實施例僅是為了揭露本發明概念並使熟習此項技術者瞭解本發明概念的類別。在圖式中，本發明概念的示例性實施例並非僅限於本文所提供的特定實例且為清晰起見而進行誇大。
本文所用術語僅用於闡述特定實施例，而並非旨在限制本發明。除非上下文中清楚地另外指明，否則本文所用的單數形式的用語「一」及「該」旨在亦包括複數形式。本文所用的用語「及/或」包括相關所列項其中一或多者的任意及所有組合。應理解，當稱元件「連接」或「耦合」至另一元件時，所述元件可直接連接或耦合至所述另一元件或可存在中間元件。
相似地，應理解，當稱一個元件(例如層、區或基板)位於另一元件「上」時，所述元件可直接位於所述另一元件上，或可存在中間元件。相比之下，用語「直接」意指不存在中間元件。更應理解，當在本文中使用用語「包括」、「包含」時，是表明所陳述的特徵、整數、步驟、操作、元件、及/或組件的存在，但不排除一或多個其他特徵、整數、步驟、操作、元件、組件、及/或其群組的存在或添加。
此外，將藉由作為本發明概念的理想化示例性圖的剖視圖來闡述詳細說明中的示例性實施例。相應地，可根據製造技術及/或可容許的誤差來修改示例性圖的形狀。因此，本發明概念的示例性實施例並非僅限於示例性圖中所示出的特定形狀，而是可包括可根據製造製程而產生的其他形狀。圖式中所例示的區域具有一般特性，且用於說明元件的特定形狀。因此，此不應被視為僅限於本發明概念的範圍。
亦應理解，儘管本文中可能使用用語「第一」、「第二」、「第三」等來闡述各種元件，然而該些元件不應受限於該些用語。該些用語僅用於區分各個元件。因此，某些實施例中的第一元件可在其他實施例中被稱為第二元件，而此並不背離本發明的教示內容。本文中所闡釋及說明的本發明概念的態樣的示例性實施例包括其互補對應物。本說明書通篇中，相同的參考編號或相同的指示物表示相同的元件。
此外，本文中參照剖視圖及/或平面圖來闡述示例性實施例，其中所述剖視圖及/或平面圖是理想化示例性說明圖。因此，預期存在由例如製造技術及/或容差所造成的相對於圖示形狀的偏離。因此，示例性實施例不應被視作僅限於本文中所示區的形狀，而是欲包括由例如製造所導致的形狀偏差。因此，圖中所示的區為示意性的，且其形狀並非旨在說明裝置的區的實際形狀、亦並非旨在限制示例性實施例的範圍。
請參閱圖1所示，圖1為根據本發明之動態影像感測器的示意圖。如圖1所示，根據本發明之動態影像感測器100包括：感測陣列11以及影像處理模組12。
具體地，根據本發明之動態影像感測器100可以是互補性氧化金屬半導體 (Complementary Metal-Oxide Semiconductor，CMOS)影像感測器，並且可以是選自背照式CMOS影像感測器或前照式CMOS影像感測器其中之一者，然而本發明不限於此。
具體地，如圖1所示，根據本發明之感測陣列11，其係包含複數個第一曝光像素111以及複數個第二曝光像素112，第一曝光像素111具有一短曝光時間，第二曝光像素112具有一長曝光時間。在一些實施例中，各個第一曝光像素111以及第二曝光像素112皆為COMS成像像素。更具體而言，在一些實施例中，該短曝光時間可以與該長曝光時間相差256倍，並且該短曝光時間最短為動態影像感測器100之快門的一個快門速度(shutter speed)，然而本發明不限於此。
具體地，在一些實施例中，根據本發明之動態影像感測器100可以具有滾動式快門(Rolling Shutter)機制與全域式快門(Global Shutter)機制其中之一者，其中，使用滾動式快門機制時，因滾動式快門機制曝光有時間差異，造成於動態影像感測器100拍攝動態的影像時，影像上下半部分的曝光時間不同，可能造成影像之上半部分先出現，然而影像下端卻尚未出現的時間差距，從而造成影像扭曲變形。在本發明一較佳實施例中，由於本發明係主要針對動態範圍內產生動態的影像，為避免動態影像產生果凍效應(Jello Effect)，因此採用全域式快門機制，亦即感測陣列11上的所有第一曝光像素111以及第二曝光像素112都會同時曝光以取得影像訊號或影像電荷，然而本發明不限於此。
需要進一步說明的是，由於本發明涉及不同時曝光且曝光時間不同之影像的色調映射(tone mapping)，以下先就色調映射進行說明。色調映射指的是將光照結果從高動態範圍影像資訊(High Dynamic Range, HDR)轉換為顯示裝置能夠正常顯示的低動態範圍影像資訊(Low Dynamic Range, LDR)，本發明透過色調映射將原始拍攝場景中，亮度(brightness)極大與極小值之間相差106次方數量級內之高動態範圍影像資訊，經色調映射演算法處理，映射至可適用於硬體設備顯示的低動態範圍(如8位元)影像資訊，同時仍能保留原始拍攝場景中的顏色細節與明暗變化。由於色調映射的演算法為本技術領域具有通常知識者所熟悉，故在此不再贅述。
值得一提的是，由於本發明涉及不同時曝光且曝光時間不同之影像曝光融合(exposure fusion)，以下先就曝光融合進行說明。本文涉及的曝光融合方法是基於第一曝光像素111以及第二曝光像素112，曝光融合過程一般可包含預處理、變換、綜合和反變換四個步驟。預處理一般是指曝光融合之前的準備操作，在此不再贅述。曝光融合過程中的變換一般採用的主要方法可以包含主成分分析(PCA)方法、HIS(Intensity-Hue-Saturation)變換方法、小波變換法多解析度方法如拉普拉斯金字塔融合演算法等其中之一或其組合。曝光融合過程中的綜合指的是將第一曝光像素111以及第二曝光像素112產生之影像訊號的變換結果進行綜合處理，綜合處理可以有多種處理方法，例如：選擇法、加權平均法以及優化法等，其中，選擇法可以是從原圖像序列中選擇出相應的變換系數組成一組新的變換系數，加權平均法可以是將影像訊號對應的變換系數根據特定規則確定權值，並經過加權平均運算產生新的系數。曝光融合過程中的反變換指的是將經綜合後之影像訊號之新的變換系數進行相應的逆操作，例如從現有圖片反推幅照圖(radiance map)，以產生得到最終的融合圖像。
具體地，如圖1所示，根據本發明之影像處理模組12，其係耦接於該感測陣列11，影像處理模組12主要係用於執行演算法，在一些實施例中，演算法係包含色調映射演算法，色調映射演算法可以選自伽馬曲線演算法以及專業色彩編碼系統曲線演算法其中之一。更具體而言，影像處理模組12可以包含有伺服器、個人電腦以及積體電路(Application Specific Integrated Circuit, ASIC)其中之一或其組合，然而本發明不限於此。
為供進一步瞭解本發明構造特徵、運用技術手段及所預期達成之功效，茲將本發明使用方式加以敘述，相信當可由此而對本發明有更深入且具體瞭解，請參閱圖2所示，圖2為說明執行本發明之動態影像產生方法的步驟方塊圖。根據本發明之高幀率高動態範之動態影像產生方法包含下述步驟：
同時曝光步驟S11，第一曝光像素111曝光短曝光時間產生短曝影像訊號，同時第二曝光像素112曝光長曝光時間產生長曝影像訊號，接著執行色調映射步驟S12。
色調映射步驟S12，影像處理模組12將短曝影像訊號以及長曝影像訊號執行色調映射演算法，產生短曝影像資訊以及長曝影像資訊，接著執行曝光融合步驟S13。
曝光融合步驟S13，影像處理模組12將短曝影像資訊以及長曝影像資訊進行曝光融合，產生高動態範圍影像資訊，接著執行輸出步驟S14。
輸出步驟S14，影像處理模組12輸出高動態範圍影像資訊。
為供進一步瞭解本發明構造特徵、運用技術手段及所預期達成之功效，茲將本發明第一實施例實際執行過程加以敘述，相   信當可由此而對本發明有更深入且具體瞭解，如下所述：
請參閱圖3，並且搭配圖1及圖2所示，圖3為說明根據本發明之動態影像產生方法實際執行過程之步驟流程圖。根據本發明之動態影像感測器100實際執行過程說明如下：首先，執行同時曝光步驟S11，第一曝光像素111曝光短曝光時間21產生短曝影像訊號23，同時第二曝光像素112曝光長曝光時間22產生長曝影像訊號24；接著，執行色調映射步驟S12，影像處理模組12將短曝影像訊號23以及長曝影像訊號24執行色調映射演算法，產生短曝影像資訊25以及長曝影像資訊26；之後，執行曝光融合步驟S13，影像處理模組12將短曝影像資訊25以及長曝影像資訊26進行曝光融合，產生高動態範圍影像資訊27；最後，執行輸出步驟S14，影像處理模組12輸出高動態範圍影像資訊27。
藉此，由上述說明可知，根據本發明之動態影像產生方法藉由第一曝光像素111曝光短曝光時間21，同時第二曝光像素112曝光長曝光時間22，並通過色調映射以及曝光融合產生高動態範圍影像資訊27。如此一來，本發明利用長短曝光陣列的設計，在一幀的時間內就可以將影像資訊進行曝光融合，達成增強動態影像之清晰度以及亮度等功效。
以下，參照圖式，說明本發明的動態影像感測器100的第一實施之實施形態，以使本發明所屬技術領域中具有通常知識者更清楚的理解可能的變化。以與上述相同的元件符號指示的元件實質上相同於上述參照圖1所敘述者。與動態影像感測器100相同的元件、特徵、和優點將不再贅述。
請參閱圖4所示，圖4為根據本發明第一實施例之動態影像感測器的示意圖。如圖4所示，根據本發明第一實施例之動態影像感測器100A包括：感測陣列11A以及影像處理模組12A。
具體地，如圖4所示，在本實施例中，根據本發明之感測陣列11A包含有複數個第一曝光像素111A以及複數個第二曝光像素112A，第一曝光像素111A與第二曝光像素112A交錯排列，且第一曝光像素111A與第二曝光像素112A的數量相等，其中，第一曝光像素111A具有短曝光時間，第二曝光像素112A具有長曝光時間，長曝光時間可以是短曝光時間的2倍、4倍以及8倍其中之一，然而本發明不限於此。可以理解的是，透過第一曝光像素111A與第二曝光像素112A交錯排列可以確保本發明之動態影像感測器100A產生的動態影像在圖框上的每一區塊都有相同的長曝光時間以及短曝光時間。此外，本發明之感測陣列11A中第一曝光像素111A與第二曝光像素112A的數量，以及長曝光時間與短曝光時間之間的關係，可以根據動態影像感測器100A所使用的環境進行改動，舉例而言，當動態影像感測器100A處於較亮的環境中進行使用時，具有短曝光時間的第一曝光像素111A之數量可以少於具有長曝光時間的第二曝光像素112A，並且長曝光時間相較於短曝光時間可以具有較高的倍數，以確保動態影像感測器100A產生之動態影像具有較佳的清晰度以及亮度，然而本發明不限於此。
需要進一步說明的是，在本實施例中，影像處理模組12A之色調映射演算法係選自伽馬曲線(Gamma curve)演算法以及專業色彩編碼系統曲線(Academy Color Encoding System curve)S演算法其中之一，然而本發明不限於此。
值得一提的是，在本實施例中，影像處理模組12A可以儲存有一夾擠上限值以及一夾擠下限值，其中，夾擠上限值可以代表判斷過曝之閾值，夾擠下限值可以代表判斷過暗之閾值，影像訊號以及夾擠下限可以例如是DN(Digital Number)值或由其換算而來之值。舉例而言，當影像處理模組12A將曝光時間增加到最長，但待測影像訊號仍低於夾擠下限值時，則影像處理模組12A可以判定當前處於過暗的環境中，此時，影像處理模組12A可以透過待測影像訊號進行疊圖以產生更明亮及更多細節之影像訊號，然而本發明不限於此。
值得再提的是，在本實施例中，影像處理模組12A可以儲存有長曝光定值以及短曝光定值，使用者亦可以透過影像處理模組12A根據當前環境的明亮程度調整長曝光定值以及短曝光定值。舉例而言，當所處環境較亮時，短曝光定值可以具有較大的值且長曝光定值可以具有較小的值，以更快速產生最佳曝光時間，有效地節省動態影像感測器100A產生最佳曝光時間中所執行影像擷取的操作次數以及時間，並且可有效地節省電子裝置的電能。
請參閱圖5所示，圖5為說明執行本發明第一實施例之動態影像產生方法的步驟方塊圖。本發明係以第一實施例之動態影像感測器100A為基礎，進一步提供一種執行第一實施例之動態影像感測器100的動態影像產生方法，其係包含下列步驟：
測試步驟S21，第一曝光像素111A曝光待測短曝光時間，同時第二曝光像素112A曝光待測長曝光時間，以產生待測短曝影像訊號以及待測長曝影像訊號，接著執行判定步驟S22。
判定步驟S22，影像處理模組12A確認待測短曝影像訊號是否高於一夾擠下限，並確認待測長曝影像訊號是否低於一夾擠上限。
調整步驟S23，影像處理模組12A將該待測短曝光時間增加一短曝光定值，或者將該待測長曝光時間減少一長曝光定值，以形成新的待測短曝光時間以及新的待測長曝光時間。
最佳曝光時間產生步驟S24，影像處理模組12A根據該待測短曝光時間以及該待測長曝光時間產生最佳短曝光時間以及最佳長曝光時間。
同時曝光步驟S25，第一曝光像素111A曝光最佳短曝光時間產生短曝影像訊號，同時第二曝光像素112A曝光最佳長曝光時間產生長曝影像訊號，接著執行色調映射步驟S26。
色調映射步驟S26，影像處理模組12A將短曝影像訊號以及長曝影像訊號執行色調映射演算法，產生短曝影像資訊以及長曝影像資訊，接著執行曝光融合步驟S27。
曝光融合步驟S27，影像處理模組12A將短曝影像資訊以及長曝影像資訊進行曝光融合，產生高動態範圍影像資訊，接著執行輸出步驟S28。
輸出步驟S28，影像處理模組12A輸出該高動態範圍影像資訊。
為供進一步瞭解本發明構造特徵、運用技術手段及所預期達成之功效，茲將本發明第一實施例實際執行過程加以敘述，相信當可由此而對本發明有更深入且具體瞭解，如下所述：
請參閱圖6，並且搭配圖4及圖5所示，圖6為說明根據本發明第一實施例之動態影像產生方法實際執行過程之步驟流程圖。根據本發明第一實施例之動態影像感測器100A實際執行過程說明如下：首先，執行測試步驟S21，第一曝光像素111A曝光待測短曝光時間31A，同時第二曝光像素112A曝光待測長曝光時間32A，以產生待測短曝影像訊號33A以及待測長曝影像訊號34A；接著，執行判定步驟S22，影像處理模組12A確認待測短曝影像訊號33A是否高於夾擠下限35A，並確認待測長曝影像訊號34A是否低於夾擠上限36A；其中，若判定步驟S22判定待測短曝影像訊號33A低於該夾擠下限35A，或者待測長曝影像訊號34A高於夾擠上限36A，則執行調整步驟S23，影像處理模組12A將待測短曝光時間31A增加短曝光定值37A，以形成新的待測短曝光時間31A，或者將待測長曝光時間32A減少長曝光定值38A，以形成新的待測長曝光時間32A，並重複執行測試步驟S21；若判定步驟S22判定待測短曝影像訊號33A高於該夾擠下限35A，或者待測長曝影像訊號34A低於夾擠上限36A，則執行最佳曝光時間產生步驟S24，影像處理模組12A根據待測短曝光時間31A以及待測長曝光時間32A產生最佳短曝光時間39A以及最佳長曝光時間40A；之後，執行同時曝光步驟S3725，第一曝光像素111曝光最佳短曝光時間39A產生短曝影像訊號23A，同時第二曝光像素112曝光最佳長曝光時間40A產生長曝影像訊號24A；接著，執行色調映射步驟S3826，影像處理模組12A將短曝影像訊號23A以及長曝影像訊號24A執行色調映射演算法，產生短曝影像資訊25A以及長曝影像資訊26A；之後，執行曝光融合步驟S3927，影像處理模組12A將短曝影像資訊25A以及長曝影像資訊26A進行曝光融合，產生高動態範圍影像資訊27A；最後，執行輸出步驟S4028，影像處理模組12A輸出高動態範圍影像資訊27A。
需要進一步說明的是，請參閱圖7所示，圖7為說明根據本發明第一實施例之色調映射演算法的示意圖。如圖7所示，並搭配圖5及圖6，圖7為經過測試步驟S21至最佳曝光時間產生步驟S24調整後產生的短曝影像訊號23A以及長曝影像訊號24A於單一像素的示意圖，執行色調映射之前，本實施例將短曝影像訊號23以及長曝影像訊號24A的像素值51A進行部分位數重疊計算(圖7為示例性表示為兩位)，並予以長曝影像訊號24A較高的權重(圖7為示例性表示為4倍權重，在二進制表示中亦即進行左移兩位之操作)進行疊加，使得長曝影像訊號24A的像素值51A愈高、短曝影像訊號23的像素值51A愈低，以實現高動態範圍影像資訊的效果。如圖7所示，之後再將疊加後的短曝影像訊號23以及長曝影像訊號24A進行色調映射演算法，例如：Gamma curve、ACES curve等全局色調映射函數(global tone mapping curve)，或者例如：Reinhard色調映射等考慮局部像素特徵的方法，將高動態範圍影像資訊映射回低動態範圍影像資訊。在本實施例中，色調映射演算法僅為簡單的線性轉換，然而本發明不限於此。
值得一提的是，根據本發明之動態影像感測器可以儲存有短曝光時間上限值(圖未示)以及長曝光時間下限值(圖未示)，其中，短曝光時間上限值係為待測短曝光時間31A的最大值，長曝光時間下限值係為待測長曝光時間32A的最小值，可以理解的是，受限於不同的動態影像感測器之硬體，短曝光時間上限值代表的是第一曝光像素111A在硬體上短曝光時間31A的上限值，長曝光時間下限值代表的是第二曝光像素112A在硬體上長曝光時間32A的下限值。如此一來，根據本發明第一實施例之動態影像產生方法，透過最佳短曝光時間39A以及最佳長曝光時間40A，實現讓每一幀的短曝影像訊號23A以及長曝影像訊號24A分布機率盡量接近，且透過短曝光時間上限值以及長曝光時間下限值，保證短曝影像訊號23A以及長曝影像訊號24A的分布中心(例如：平均值或中位數)之間的距離不要過近，可以理解的是，當最佳短曝光時間39A以及最佳長曝光時間40A的值越接近時，將減少本發明所產生之技術功效，且不利於後續的曝光融合演算。
藉此，由上述說明可知，根據本發明第一實施例之動態影像產生方法及其動態影像感測器100A，可以藉由影像處理模組12A將待測短曝光時間31A增加短曝光定值37A直至短曝光時間上限值，或者將待測長曝光時間32A減少長曝光定值38A直至長曝光時間下限值，以產生最佳短曝光時間39A以及最佳長曝光時間40A。藉此，本發明用空間解析度換取額外的曝光資訊，有利於在短時間內收斂至最佳曝光時間，使得高動態範圍影像資訊27A曝光良好。此外，透過夾擠之運算方式，使得本發明之自動曝光時間方法可以實現一種動態運算的方式產生最佳曝光時間，以適應各種拍攝環境，同時降低產生最佳曝光時間的運算時間，大幅提升本發明之效率以及適用性。
以下提供動態影像感測器100的其他示例，以使本發明所屬技術領域中具有通常知識者更清楚的理解可能的變化。以與上述實施例相同的元件符號指示的元件實質上相同於上述參照圖1至圖7所敘述者。與動態影像感測器100相同的元件、特徵、和優點將不再贅述。
請參閱圖8所示，圖8為根據本發明第二實施例之動態影像感測器的示意圖。如圖8所示，根據本發明之動態影像感測器100B包括：感測陣列11B、影像處理模組12B以及亮度感測模組13B。
具體地，根據本發明第二實施例之動態影像感測器100B，其係進一步包含有亮度感測模組13B，根據本發明第二實施例之亮度感測模組13B，其係耦接於影像處理模組12B，亮度感測模組13B係用於感測動態影像感測器100B所處環境的亮度，使得影像處理模組12B可以根據亮度感測模組13B所感測之亮度調整該夾擠下限以及該夾擠上限，當亮度感測模組13B感測之亮度低時，則對應地降低該夾擠下限，當該亮度感測模組感測之亮度高時，則對應地升高該夾擠上限，然而本發明不限於此。
請參閱圖9及圖10所示，圖9為說明執行本發明第二實施例之動態影像產生方法的步驟方塊圖；圖10為說明根據本發明第二實施例之疊加步驟實際執行過程之流程圖。根據本發明係以第二實施例之動態影像感測器100B為基礎，進一步提供一種執行第二實施例之動態影像感測器100B的動態影像產生方法，其係包含下列步驟：
上下限調整步驟S31，影像處理模組12B係根據亮度感測模組13B所感測之亮度調整夾擠下限35B以及夾擠上限36B，當亮度感測模組感測之亮度低於低亮度值(圖未示)，則對應地降低夾擠下限35B，當該亮度感測模組感測之亮度高於高亮度值(圖未示)，則對應地升高夾擠上限36B，接著執行測試步驟S32。
測試步驟S32，第一曝光像素111B曝光待測短曝光時間31B，同時第二曝光像素112A曝光待測長曝光時間32B，以產生待測短曝影像訊號33B以及待測長曝影像訊號34B，接著執行判定步驟S33。
判定步驟S33，影像處理模組12B確認待測短曝影像訊號33B是否高於夾擠下限35B，並確認待測長曝影像訊號32B是否低於夾擠上限36B。
調整步驟S34，影像處理模組12B將該待測短曝光時間31B增加短曝光定值37B，或者將該待測長曝光時間32B減少長曝光定值38B，以形成新的待測短曝光時間31B以及新的待測長曝光時間32B。
最佳曝光時間產生步驟S35，影像處理模組12B根據該待測短曝光時間31B以及該待測長曝光時間32B產生最佳短曝光時間39B以及最佳長曝光時間40B。
疊加步驟S36，影像處理模組12B將已產生的該待測短曝影像訊號33B或已產生的該待測短曝影像訊號33B與該待測長曝影像訊號32B進行疊加，以產生短曝影像訊號23B，並同時執行同時曝光步驟S37。
同時曝光步驟S37，第二曝光像素112B曝光最佳長曝光時間產生長曝影像訊號，接著執行色調映射步驟S38。
色調映射步驟S38，當執行該同時曝光步驟S37後，影像處理模組12B將短曝影像訊號23B以及長曝影像訊號24B執行色調映射演算法，產生短曝影像資訊以及長曝影像資訊；當執行該最佳曝光時間產生步驟S35後，第一曝光像素111A曝光最佳短曝光時間產生短曝影像訊號23B，同時第二曝光像素112A曝光最佳長曝光時間產生長曝影像訊號，接著執行曝光融合步驟S39。
曝光融合步驟S39，影像處理模組12B將短曝影像資訊以及長曝影像資訊進行曝光融合，產生高動態範圍影像資訊，接著執行輸出步驟S14'。
輸出步驟S40，影像處理模組12B輸出該高動態範圍影像資訊。
需要進一步說明的是，根據本發明之低亮度值代表的是處於低照度下的環境中，容易造成影像曝光不足，低亮度值可以是1勒克斯(lux)。此外，根據本發明之高亮度值代表的是處於高亮度或高照度的環境中，容易造成影像過度曝光，高亮度值可以是1000勒克斯，然而本發明不限於此。
具體地，請參閱圖10所示，根據本發明第二實施例之動態影像產生方法，相較於第一實施例，其係進一步包含有疊加步驟S36，若該待測短曝光時間31B為該短曝光時間上限值，且判定步驟S33中該待測短曝影像訊號33B仍低於該夾擠下限35B時，根據本發明第二實施例則執行疊加步驟S36，以透過影像處理模組12B將已產生的待測短曝影像訊號33B或將已產生的待測短曝影像訊號31B與待測長曝影像訊號32B進行疊加產生短曝影像訊號23B，實現增強動態影像之清晰度以及亮度等功效。此外，請參閱下方公式1，當影像訊號中的光電子引起的散粒噪聲(shot noise)佔噪聲中主要之成分時，表示造成散粒噪聲的電子數n photon與影像訊號的電子數N signal的關係如公式(1)所示，其中，
Figure 02_image001
表示影像訊號的電子數，
Figure 02_image003
表示散粒噪聲的電子數，＜
Figure 02_image005
＞表示對對角括號中的
Figure 02_image005
於各個時間的值取平均值。請參閱下方公式(2)所示，由於散粒噪聲(shot noise)符合泊松分布(Poisson distribution)，由於泊松分布在大量粒子數時趨向於常態分布，在大量粒子存在時訊號中的散粒雜訊會呈現常態分布，散粒雜訊的標準差此時等於平均粒子數的平方根，亦即變異數(variance)等於其平均值，使得公式2之等號成立。請參閱下方公式(3)所示，根據信噪比(Signal-to-noise ratio, SNR)之公式並代入公式(1)以及公式(2)，使得公式(3)之等式成立。可以理解的是，根據公式(1)-(3)所示，訊噪比正比於影像訊號的電子數，因此，本發明透過將已產生的待測短曝影像訊號33B或已產生的待測短曝影像訊號33B與待測長曝影像訊號34B進行疊加產生短曝影像訊號23B的方式，可以實現降低信噪比之功效，然而本發明不限於此。
Figure 02_image007
….(1)
Figure 02_image009
….(2)
Figure 02_image011
….(3)
請參閱圖11及圖12所示，圖11為說明根據本發明第二實施例之色調映射步驟的方塊圖；圖12為說明根據本發明第二實施例之色調映射步驟實際執行過程之流程圖。根據本發明第二實施例之動態影像感測器100實際執行色調映射步驟過程說明如下：首先，執行臨界值產生步驟S381，影像處理模組12B係將短曝影像訊號23B之該等像素值取平均值作為短曝亮度臨界值41B，並將長曝影像訊號24B之該等像素值取平均值作為長曝亮度臨界值42B，以作為高動態範圍合成步驟S382的基準S381；之後，執行高動態範圍合成步驟S382，影像處理模組12B根據短曝亮度臨界值41B，將短曝影像訊號23B中高於短曝亮度臨界值41B的該等像素值定義為1，並將短曝影像訊號23B中低於或等於短曝亮度臨界值41B的該等像素值定義為0，影像處理模組12B根據長曝亮度臨界值42B，將長曝影像訊號24B中高於長曝亮度臨界值42B的該等像素值定義為1，並將長曝影像訊號24B中低於或等於長曝亮度臨界值42B的該等像素值定義為0；最後，執行加權計算步驟S383，影像處理模組12B將二值化後的短曝影像訊號23B乘上短曝權重43B，該影像處理模組將二值化後的長曝影像訊號24B乘上長曝權重44B，以產生新的短曝影像訊號23B'以及長曝影像訊號24B'，其中，長曝權重44B大於短曝權重43B。
可以理解的是，在本實施例中，透過將短曝影像訊號23B以及將長曝影像訊號24B之該等像素值取平均值，以產生短曝亮度臨界值41B以及長曝亮度臨界值42B，短曝亮度臨界值41B以及長曝亮度臨界值42B係作為後續高動態範圍合成步驟S382的基準，使得本發明可以根據實際產生的像素值(亦即所處環境之明亮程度)作為二值化之基準，提升本發明之影像處理模組12B對於動態影像之明亮程度的靈敏度，以產生具有較佳明亮細節之動態影像，然而本發明不限於此。舉例而言，本發明之短曝亮度臨界值41B以及長曝亮度臨界值42B亦可以通過統計計算的方式事先儲存於影像處理模組12B，以符合多數使用環境，從而減少影像處理模組12B的運算，同時有效地節省電子裝置的電能，使用者可以視其需求選擇何種方式較為適切。
藉此，根據本發明第二實施例之動態影像感測器，其係透過亮度感測模組13B感測環境中的亮度，使得影像處理模組12B可以根據亮度感測模組13B所感測之亮度調整夾擠下限以及夾擠上限，大幅縮減影像處理模組12B產生最佳短曝光時間以及最佳長曝光時間的運算時間，並且可以對應環境實現最符合當下環境的動態影像，具有廣泛適用姓。此外，根據本發明第二實施例之色調映射的方法，其係透過二值化處理短曝影像訊號23B以及長曝影像訊號24B，並將二值化後的短曝影像訊號乘上短曝權重43B，二值化後的長曝影像訊號24B乘上長曝權重44B，其中，長曝權重44B大於短曝權重43B。藉此，解決低亮度環境中，動態影像不清晰的問題，使得原本像素中高像素值愈高、低像素值愈低，讓影像中的物體輪廓對比增加，進一步提升動態影像之清晰度。
請參閱圖13所示，圖13為根據本發明第三實施例之動態影像感測器的示意圖。如圖13所示，根據本發明之動態影像感測器100C包括：感測陣列11C以及影像處理模組12C。本發明第三實施例相較於第一實施例，主要差別在於，感測陣列11C的第一曝光像素111C之數量為第二曝光像素112C之數量的1/3倍，但不以此為限。本實施例的相關說明可參照前文，在此不再贅述。
請參閱圖14所示，圖14為根據本發明第四實施例之動態影像感測器的示意圖。如圖14所示，根據本發明之動態影像感測器100D包括：感測陣列11D以及影像處理模組12D。本發明第四實施例相較於第一實施例，主要差別在於，感測陣列11D的第一曝光像素111D之數量為第二曝光像素112D之數量的3倍，但不以此為限。本實施例的相關說明可參照前文，在此不再贅述。
可以理解的是，第一曝光像素111D與第二曝光像素112D的數量可以根據使用者之需求進行調整，不會大幅影響本發明所提供之動態影像產生方法的步驟，並且本發明所屬技術領域中具有通常知識者能夠基於上述示例再作出各種變化和調整，在此不再一一列舉。
請參閱圖15所示，圖15為根據本發明第五實施例之動態影像感測器的示意圖。如圖15所示，根據本發明之動態影像感測器100E包括：感測陣列11E以及影像處理模組12E。本發明第五實施例相較於第一實施例，主要差別在於，根據本發明第四實施例之感測陣列11E可以包含有第一曝光像素111E、長曝光影像112E以及中曝光像素113E，其中，中曝光像素113E具有一中曝光時間，該中曝光時間的長短介於該短曝光時間以及該長曝光時間，且第一曝光像素111E、第二曝光像素112E與中曝光像素113E的數量之比例為1:1:2，但不以此為限。本實施例的相關說明可參照前文，在此不再贅述。如此一來，本發明進一步提供具有三種不同時曝光且曝光時間不同的動態影像感測器，使其可以進一步針對不同環境在同一幀的時間內就將不同時曝光且曝光時間不同之影像資訊進行曝光融合，達成增強動態影像之清晰度以及亮度等功效，進一步提升本發明之動態影像感測器的適用性。
請參閱圖16所示，圖16為根據本發明第六實施例之動態影像感測器的示意圖。如圖16所示，根據本發明之動態影像感測器100F包括：感測陣列11F以及影像處理模組12F。本發明第六實施例相較於第一實施例，主要差別在於，根據本發明第六實施例之感測陣列11E可以包含有第一曝光像素111 F、長曝光影像112F、極短曝光像素114F以及極長曝光像素115F，其中，極短曝光像素114F具有一極短曝光時間，極長曝光像素115F具有一極長曝光時間，該極短曝光時間的長短小於該短曝光時間，極長曝光時間的長短大於該長曝光時間，且第一曝光像素111 F、長曝光影像112F、極短曝光像素114F以及極長曝光像素115F之數量一致，但不以此為限。本實施例的相關說明可參照前文，在此不再贅述。如此一來，本發明進一步提供具有四種不同時曝光且曝光時間不同的動態影像感測器，使其可以進一步針對亮度極端的環境在同一幀的時間內就將不同時曝光且曝光時間不同之影像資訊進行曝光融合，達成增強動態影像之清晰度以及亮度等功效，進一步提升本發明之動態影像感測器的適用性。
藉此，本發明具有以下之實施功效及技術功效：
其一，藉由本發明之動態影像感測器為基礎，並搭配本發明所提供之動態影像產生方法，藉由第一曝光像素曝光短曝光時間，同時第二曝光像素曝光長曝光時間，並通過色調映射以及曝光融合產生高動態範圍影像資訊。如此一來，本發明利用長短曝光陣列的設計，在同一幀的時間內就可以將不同時曝光且曝光時間不同之影像資訊進行曝光融合，達成增強動態影像之清晰度以及亮度等功效，大幅提升辨識演算法針對動態影像進行辨識時的準確度，降低發生事故的風險。
其二，藉由本發明之動態影像感測器為基礎，並搭配本發明所提供之動態影像產生方法，藉由影像處理模組將待測短曝光時間增加短曝光定值形成新的待測短曝光時間，或者將待測長曝光時間減少長曝光定值形成新的待測長曝光時間，以產生最佳短曝光時間以及最佳長曝光時間。藉此，本發明用空間解析度換取額外的曝光資訊，有利於在短時間內收斂至最佳曝光時間，使得高動態範圍影像資訊曝光良好。此外，透過夾擠之運算方式，使得本發明之自動曝光時間方法可以實現一種動態運算的方式產生最佳曝光時間，以適應各種拍攝環境，同時降低產生最佳曝光時間的運算時間，大幅提升本發明之效率以及適用性。
其三，根據本發明之動態影像產生方法的色調映射有別於習知技術色調映射演算法，透過二值化處理短曝影像訊號以及長曝影像訊號，並將二值化後的短曝影像訊號乘上短曝權重，二值化後的長曝影像訊號乘上長曝權重，其中，長曝權重大於短曝權重。藉此，解決低亮度環境中，動態影像不清晰的問題，使得原本像素中高亮度者值愈高、低亮度者值愈低，讓影像中的物體輪廓對比增加，進一步提升動態影像之清晰度。
以上係藉由特定的具體實施例說明本發明之實施方式，所屬技術領域具有通常知識者可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。
以上所述僅為本發明之較佳實施例，並非用以限定本發明之範圍；凡其它未脫離本發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之專利範圍內。
100、100A、100B、100C、100D、100E、100F:動態影像感測器 11、11A、11B、11C、11D、11E、11F:感測陣列 111、111A、111B、111C、111D、111E、111F:第一曝光像素 112、112A、112B、112C、112D、112E、112F:第二曝光像素 113E:中曝光像素 114F:極短曝光像素 115F:極長曝光像素 12、12A、12B、12C、12D、12E、12F:影像處理模組 21:短曝光時間 22:長曝光時間 23、23A、23B、23B':短曝影像訊號 24、24A、24B、24B':長曝影像訊號 25、25A:短曝影像資訊 26、26A:長曝影像資訊 27、27A:高動態範圍影像資訊 31A、31B:待測短曝光時間 32A、32B:待測長曝光時間 33A、33B:待測短曝影像訊號 34A、34B:待測長曝影像訊號 35A、35B:夾擠下限 36A、36B:夾擠上限 37A、37B:短曝光定值 38A、38B:長曝光定值 39A、39B:最佳短曝光時間 40A、40B:最佳長曝光時間 41B:短曝亮度臨界值 42B:長曝亮度臨界值 43B:短曝權重 44B:長曝權重 51A:像素值 S11、S25、S37:同時曝光步驟 S12、S26、S38:色調映射步驟 S13、S27、S39:曝光融合步驟 S14、S28、S40:輸出步驟 S21、S32:測試步驟 S22、S33:判定步驟 S23、S34:調整步驟 S24、S35:最佳曝光時間產生步驟 S31:上下限調整步驟 S36:疊加步驟 S381:臨界值產生步驟 S382:高動態範圍合成步驟 S383:加權計算步驟
圖1為根據本發明之動態影像感測器的示意圖； 圖2為說明執行本發明之動態影像產生方法的步驟方塊圖； 圖3為說明根據本發明之動態影像產生方法實際執行過程之步驟流程圖； 圖4為根據本發明第一實施例之動態影像感測器的示意圖； 圖5為說明執行本發明第一實施例之動態影像產生方法的步驟方塊圖； 圖6為說明根據本發明第一實施例之動態影像產生方法實際執行過程之步驟流程圖； 圖7為說明根據本發明第一實施例之色調映射演算法的示意圖； 圖8為根據本發明第二實施例之動態影像感測器的示意圖； 圖9為說明執行本發明第二實施例之動態影像產生方法的步驟方塊圖； 圖10為說明根據本發明第二實施例之疊加步驟實際執行過程之流程圖； 圖11為說明根據本發明第二實施例之色調映射步驟的方塊圖； 圖12為說明根據本發明第二實施例之色調映射步驟實際執行過程之流程圖； 圖13為根據本發明第三實施例之動態影像感測器的示意圖； 圖14為根據本發明第四實施例之動態影像感測器的示意圖； 圖15為根據本發明第五實施例之動態影像感測器的示意圖；以及 圖16為根據本發明第六實施例之動態影像感測器的示意圖。
100:動態影像感測器
11:感測陣列
111:第一曝光像素
112:第二曝光像素
12:影像處理模組

Claims (8)

  1. 一種高幀率高動態範圍之動態影像產生方法，其係應用於一動態影像感測器接收動態範圍之動態影像的環境中，該動態影像感測器包含一第一曝光像素、一第二曝光像素以及一影像處理模組，該第一曝光像素以及該第二曝光像素耦接於該影像處理模組，該動態影像產生方法包含下列步驟：一同時曝光步驟，該第一曝光像素曝光一短曝光時間產生一短曝影像訊號，同時該第二曝光像素曝光一長曝光時間產生一長曝影像訊號；一色調映射步驟，該影像處理模組將該短曝影像訊號以及該長曝影像訊號執行一色調映射(tone mapping)演算法，產生一短曝影像資訊以及一長曝影像資訊；一曝光融合步驟，該影像處理模組將該短曝影像資訊以及該長曝影像資訊進行曝光融合(exposure fusion)，產生一高動態範圍影像資訊；以及一輸出步驟，該影像處理模組輸出該高動態範圍影像資訊，其中，於該同時曝光步驟之前，該動態影像產生方法進一步包含一自動曝光時間方法，該自動曝光時間方法包含下列步驟：一測試步驟，該第一曝光像素曝光一待測短曝光時間，同時該第二曝光像素曝光一待測長曝光時間，以產生一待測短曝影像訊號以及一待測長曝影像訊號；一判定步驟，該影像處理模組確認該待測短曝影像訊號是否高於一夾擠下限，並確認該待測長曝影像訊號是否低於一夾擠上限；一調整步驟，該影像處理模組將該待測短曝光時間增加一短曝光定值以產生新的該待測短曝光時間，或者將該待測長曝光時間減少一長曝光定值以產生新的該待測長曝光時間；以及一最佳曝光時間產生步驟，該影像處理模組根據該待測短曝光時間以及該待測長曝光時間產生一最佳短曝光時間以及一最佳長曝光時間，以及其中，若該判定步驟判定該待測短曝影像訊號高於該夾擠下限，並且該待測長曝影像訊號低於該夾擠上限，該判定步驟結束後執行該最佳曝光時間產生步驟，且該同時曝光步驟中，該第一曝光像素曝光該最佳短曝光時間，同時該 第二曝光像素曝光該最佳長曝光時間；反之，該判定步驟結束後執行該調整步驟並重複執行該測試步驟。
  2. 如請求項1所述的動態影像產生方法，其中，該色調映射演算法係選自伽馬曲線(Gamma curve)演算法以及專業色彩編碼系統曲線(Academy Color Encoding System curve)演算法其中之一。
  3. 如請求項1所述的自動曝光時間方法，其中，該動態影像感測器內儲存有一短曝光時間上限值以及一長曝光時間下限值，該短曝光時間上限值係為該待測短曝光時間的最大值，該長曝光時間下限值係為該待測長曝光時間的最小值。
  4. 如請求項3所述的自動曝光時間方法，其中，若該待測短曝光時間為該短曝光時間上限值，且該判定步驟中該待測短曝影像訊號仍低於該夾擠下限，則該自動曝光時間方法進一步包含有一疊加步驟，該疊加步驟系為該影像處理模組將已產生的該待測短曝影像訊號或將已產生的該待測短曝影像訊號與該待測長曝影像訊號進行疊加，以產生該短曝影像訊號。
  5. 如請求項1所述的自動曝光時間方法，其中，該動態影像感測器進一步包含有一亮度感測模組，其係耦接於該影像處理模組，該亮度感測模組係用於感測該動態影像感測器所處環境的亮度，該曝光時間調整方法進一步包含有一上下限調整步驟，該影像處理模組係根據該亮度感測模組所感測之亮度調整該夾擠下限以及該夾擠上限，當亮度感測模組感測之亮度低於一低亮度值，則對應地降低該夾擠下限，當該亮度感測模組感測之亮度高於一高亮度值，則對應地升高該夾擠上限。
  6. 如請求項1所述的動態影像產生方法，其中，該色調映射步驟還包含有：一臨界值產生步驟，該影像處理模組將該短曝影像訊號之該等像素值取平均值產生一短曝亮度臨界值，並將該長曝影像訊號之該等像素值取平均值產生一長曝亮度臨界值；一高動態範圍合成步驟，該影像處理模組根據該短曝亮度臨界值，將該短曝影像訊號中高於該短曝亮度臨界值的該等像素值定義為1，並將該短曝影像訊 號中低於或等於該短曝亮度臨界值的該等像素值定義為0，該影像處理模組根據該長曝亮度臨界值，將該長曝影像訊號中高於該長曝亮度臨界值的該等像素值定義為1，並將該長曝影像訊號中低於或等於該長曝亮度臨界值的該等像素值定義為0；以及一加權計算步驟，該影像處理模組將二值化後的該短曝影像訊號乘上一短曝權重，該影像處理模組將二值化後的該長曝影像訊號乘上一長曝權重，其中，該長曝權重大於該短曝權重。
  7. 一種高幀率高動態範圍之動態影像感測器，其係應用於接收動態範圍之動態影像的環境中，該動態影像感測器包含有：一感測陣列，其係包含複數個第一曝光像素以及複數個第二曝光像素，該等第一曝光像素具有一短曝光時間，該等第二曝光像素具有一長曝光時間；以及一影像處理模組，其係耦接於該感測陣列；其中，該動態影像感測器執行一同時曝光步驟：該第一曝光像素曝光該短曝光時間產生一短曝影像訊號，同時該第二曝光像素曝光該長曝光時間產生一長曝影像訊號，其中，該動態影像感測器執行一色調映射步驟：該影像處理模組將該短曝影像訊號以及該長曝影像訊號執行一色調映射演算法，產生一短曝影像資訊以及一長曝影像資訊，其中，該動態影像感測器執行一曝光融合步驟：該影像處理模組將該短曝影像資訊以及該長曝影像資訊進行曝光融合，產生一高動態範圍影像資訊，其中，於該同時曝光步驟之前，該動態影像感測器進一步執行一自動曝光時間方法，該自動曝光時間方法包含下列步驟：一測試步驟，該第一曝光像素曝光一待測短曝光時間，同時該第二曝光像素曝光一待測長曝光時間，以產生一待測短曝影像訊號以及一待測長曝影像訊號；一判定步驟，該影像處理模組確認該待測短曝影像訊號是否高於一夾擠下限，並確認該待測長曝影像訊號是否低於一夾擠上限； 一調整步驟，該影像處理模組將該待測短曝光時間增加一短曝光定值以產生新的該待測短曝光時間，或者將該待測長曝光時間減少一長曝光定值以產生新的該待測長曝光時間；以及一最佳曝光時間產生步驟，該影像處理模組根據該待測短曝光時間以及該待測長曝光時間產生一最佳短曝光時間以及一最佳長曝光時間，以及其中，若該判定步驟判定該待測短曝影像訊號高於該夾擠下限，並且該待測長曝影像訊號低於該夾擠上限，該判定步驟結束後執行該最佳曝光時間產生步驟，且該同時曝光步驟中，該第一曝光像素曝光該最佳短曝光時間，同時該第二曝光像素曝光該最佳長曝光時間；反之，該判定步驟結束後執行該調整步驟並重複執行該測試步驟。
  8. 如請求項7所述的動態影像感測器，其中，該等第一曝光像素與該等第二曝光像素交錯排列，且該等第一曝光像素的數量為該等第二曝光像素的數量之1倍、2倍以及3倍其中之一。
TW111134088A 2022-09-08 2022-09-08 動態影像產生方法及其動態影像感測器 TWI803424B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW111134088A TWI803424B (zh) 2022-09-08 2022-09-08 動態影像產生方法及其動態影像感測器
US18/237,981 US20240089608A1 (en) 2022-09-08 2023-08-25 Dynamic image generating method and dynamic image sensor thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111134088A TWI803424B (zh) 2022-09-08 2022-09-08 動態影像產生方法及其動態影像感測器

Publications (2)

Publication Number Publication Date
TWI803424B true TWI803424B (zh) 2023-05-21
TW202412507A TW202412507A (zh) 2024-03-16

Family

ID=87424670

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111134088A TWI803424B (zh) 2022-09-08 2022-09-08 動態影像產生方法及其動態影像感測器

Country Status (2)

Country Link
US (1) US20240089608A1 (zh)
TW (1) TWI803424B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973240A (zh) * 2017-03-23 2017-07-21 宁波诺丁汉大学 实现高动态范围图像高清显示的数字照相机成像方法
CN111970461A (zh) * 2020-08-17 2020-11-20 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN114630010A (zh) * 2020-12-14 2022-06-14 爱思开海力士有限公司 图像感测装置及图像处理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973240A (zh) * 2017-03-23 2017-07-21 宁波诺丁汉大学 实现高动态范围图像高清显示的数字照相机成像方法
CN111970461A (zh) * 2020-08-17 2020-11-20 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN114630010A (zh) * 2020-12-14 2022-06-14 爱思开海力士有限公司 图像感测装置及图像处理装置

Also Published As

Publication number Publication date
US20240089608A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
CN110248108B (zh) 宽动态下的曝光调整及动态范围确定方法和相关装置
JP5189092B2 (ja) 拡張されたダイナミック・レンジのデジタル画像の生成
US8068153B2 (en) Producing full-color image using CFA image
JP5155324B2 (ja) 被写体運動ぶれが低減されたデジタル画像
CN105611185B (zh) 图像生成方法、装置及终端设备
US9432589B2 (en) Systems and methods for generating high dynamic range images
TWI507999B (zh) 用於提供一影像之估計之信號雜訊比平均值之方法及攝影機
CN112118388B (zh) 图像处理方法、装置、计算机设备和存储介质
TW200847794A (en) Image processing apparatus, imaging apparatus, image processing method, and computer program
CN112565636B (zh) 图像处理方法、装置、设备和存储介质
Alakarhu Image sensors and image quality in mobile phones
TW201212644A (en) Image processing apparatus, image taking apparatus, image processing method and image processing program
US11689822B2 (en) Dual sensor imaging system and privacy protection imaging method thereof
CN100401749C (zh) 图像处理装置和方法
TWI803424B (zh) 動態影像產生方法及其動態影像感測器
US11496694B2 (en) Dual sensor imaging system and imaging method thereof
US20210125318A1 (en) Image processing method and apparatus
US9013605B2 (en) Apparatus and method for processing intensity of image in digital camera
van Beek Improved image selection for stack-based hdr imaging
TW202412507A (zh) 動態影像產生方法及其動態影像感測器
CN106454159A (zh) 一种高动态emccd图像传感器
WO2023016183A1 (zh) 运动检测方法、装置、电子设备和计算机可读存储介质
US11758297B2 (en) Systems, methods, and media for high dynamic range imaging using single-photon and conventional image sensor data
US11711636B2 (en) Image processing device
CN117729447A (zh) 动态影像产生方法及其动态影像传感器