TWI343741B - Cmos image sensor using high frame rate with frame addition and movement compensation - Google Patents

Description

1343741 九、發明說明： 【發明所屬之技術領域】 概言之，本發明係關於互補金氧半導體影像感測器，並 且詳言之，係關於一種用來增加影像感測器的動態範圍和/ 或移動穩定性之方法和設備。 【先前技術】 積體電路技術已經使包括電腦、控制系統、通信和成像 的各種領域發生了革命性之變化。例如，在成像領域，已 經證明，互補金氧半導體影像感測器之製造相對於CCD成 像設備要較便宜些。而且，對於某些應用而言，互補金氧 半導體ax備之性能更加優越。例如，可將信號處理邏輯單 元整合於成像電路旁，因此可考慮使用一單獨積體晶片來 形成一完整獨立之成像設備。互補金氧半導體影像感測器 可從許多製造商獲得，其中包括本發明之申請人：全景技 術公司（OmniVision Technologies，—）。 由互補金氧半導體影像感測器形成之影像的基本構成方 塊係像素。像素之數量、大小和間隔決定了成像裝置所產 生影像之解析度。一互補金氧半導體影像感測器之像素元 件係能夠將入射之光子轉化成電流信號之半導體器件。由 母一像素產生之信號通常非常小，但與入射光子之數量有 關。 較佳地，影像感測器必須於大量光和移動之環境下工 作。當應用於移動電話領域時，由於不能方便地使用間光 燈’可能會要求影像感測器在光線很暗之環境下記錄影 92869.doc /41 像在此種條件下，必須延長影像感測器之曝光時間，這 、使用膠捲之傳統相機非常相像。然而，如果感測器發生 移動或搖動’曝光時間的增加會使影像變得模糊。 而且，在其他的應用情形中，比如數位靜態照相機，影 像感=器之動態範圍對於同時具有低亮區和高亮區的影像 補4員可犯不夠。換句話說，不能充分分辯陰影和光亮。 ^常將動’4範圍定義為出現機率最大之不飽和信號與像素 之最低雜訊位準的比值。因此，動態範圍與信號雜訊比⑽汉） 有關。 述該等問題係互補金氧半導體影像感測器所特有，互 補金氧半導體影像感測器與電荷輕合器件（CCD)相比，具有 較低之光敏感度和較窄之動態範圍。 ,先前解決該等問題之嘗試包括藉由一電子快門來增加曝 光時間。然而’該方法不能應用於跨接⑻刪d)光電二極 體，而且可能會導致移動虛像。 ^ 一方法採關框相加法，它使用所拍攝到之同一影像 之複數個圖框。然@，該技術依賴於—中低亮度之圖框和 2高亮度之圖框。這就要對每圖框採用不同之曝光時間 =現。然而’增加具有不同曝光時間之圖框很困難，並 且亦降低了畫面質量。 之法使"具有二不同占空_)因數之像素 Γ “…可疋該類型之感測器對低亮度影像而言且 有很低之解析度。最後，還有— 八 择^^, 種方法採用高圖框驅動速 又，匕在母個像素元件裏都包括類比對數位轉換⑽C)電 92869.doc 1343741 路。這使得像素尺寸很大。而且，由於可能會產生移動虛 像，使得解析度受限。 【發明内容】 一種利用一互補金氧半導體影像感測器形成複合影像之 方法《該方法包括使用影像感測器拍攝複數個圖框，在每 一圖框中確定一參考點、並利用該參考點將該等圖框對 齊。最終’將該等圖框組合成該複合影像，例如將該等圖 框鼻術相加。 【貫施方式】 在下面之說明_，給出了許多具體細節，例如各種系統 元件之說明’以實現對本發明實施例之充分理解。不過， 熟習此項技藝者將會瞭解，不需要該等具體細節中之一或 複數個，或者使用其他方法、元件、材料等等，亦能夠實 現本發明。在另外一些情形下’為了避免使本發明之各個 實施例之著眼點含混不清’沒有示出或詳細介紹習知之結 構、材料或操作過程。 本說明書通篇引用之"一個實施例"或”一實施例"之含義 為’針對該實施例所介紹之特定特徵、結構或特點係包含 于本發明之至少-實施例中。因& ’在本說明書通篇各種 不同地方出現之詞語••在—個實施例中，,或,,在-實施例中，, 並非全指同-實施例。而且’特定之特徵、結構和特點可 以以任何適當之方式結合在一或複數個實施例中。 參考圖i，-互補金氧半導體成像陣列ι〇ι之物理結構包 括-矩形像素矩陣1G3e水平或β向之像素數量，和垂直 92B69.doc 1343741 或y方向之像素數量制定了成像陣列1 〇丨之解析度。像素矩 陣103之垂直行之每一像素將其信號發送到一單一之電荷 放大器105。 由像素矩陣103獲取資訊沿襲了習知之光栅掃描技術β具 體而言，一列像素103係按照從左至右之順序進行掃描a然 後下一列亦採用該方式進行掃描，直到將各列從上至下依 次掃描完畢。在整個陣列1〇1每次完整掃描結束之際，發生 一具有預定時間之垂直消隱（blanking)週期，直至光柵掃描 模式重新開始。該類型之掃描採用NTSC掃描方案。然而， 在其他應用中，可以採用不同之讀取協定。傳統設計之控 制電路係採取該順序讀取像素矩陣1〇3之方式。 當對每一像素進行掃描時，將來自於該像素之信號送至 該行之電荷放大器105。如此，該電荷放大器i 〇5依次地接 收信號。然後’將來自該電荷放大器1 〇5之時序信號送至一 二階放大器107，該放大器1〇7對該等信號進行放大，從而 可以對它們進行進一步處理。按照不同之實施方式，可省 略行放大器或一階放大器。可按需選擇行放大器或二階放 大器之增益增加或減小。像素矩陣1 〇3、放大器1 〇5和1 〇7 之讀取’以及下述計算和4理可由處理器1丨i來執行。 如上述’影像感測器之一重要功能係能夠對低亮環境或 包括尚壳區和低焭區之環境進行補償。試舉一例，在陽光 充足之日子表，到戶外拍攝一幅影像，但影像之物件係處 於陰影中者。 本發明藉由採用"圖框相加"技術，而增加了動態範圍並 92869.doc 1343741 使移動虛像最小化。這包括增加影像感測器之圖框率和組 合（例如藉由相加）連續圖框來獲得一複合影像。此處所使用 之名詞圖框係由影像感測器於内部用於形成複合影像之一 所拍攝之影像。 例如，一代表性之影像拍攝速率係每秒3〇圖框。這相當 於各像素之曝光時間為1/30秒。然而，若圖框率增加至^ 秒120圖框，則曝光時間減少至1/12〇秒。該更短之時間減 少了影像中移動虛像之出現。實際上，影像中之物體在 1/1 20秒之曝光時間内，通常僅能移動幾個像素。這使得移 動檢測能夠得以精確完成。 如圖2所示’例如，拍攝到了具有物件2〇3的4幅連續圖框 201a-d。該等圖框係以很快曝光時間拍攝，例如丨/ι2〇秒。 結果，在每圖框20la-d(稱為圖框内移動）内之物件2〇3，幾 乎沒有模糊，即使在該等圖框内之該等物件發生了移動。 然而，如圖2所示，圖框2〇ia-d内之該等物件2〇3明顯係移 動的（稱為圖框間移動）。因此，由於使用者握持不穩定，該 物件203從圖框201a到201b向下移動。類似地，該對象2〇3 從圖框201b到201c係向上和向右移動的。最後，該物件2〇3 從圖框201c到20Id是向下和向左移動的。 正如下面將要詳細介紹的，使用該等四圖框2〇u_d來形 成一複合影像205,該影像具有相當高之信號雜訊比，並從 而具有較高之動態範圍。在一實施例中，藉由對來自每圖 框20U-d之信號進行一簡單數學相加來形成複合影像 205。在其他實施例中，可使用其他數學或信號處理技術來 92869.doc 1343741 形成該複合影像205。 此外’此處所介紹之例子利用了曝光時間均為1/12〇秒之 四圖框。但是，應當瞭解，取決於應用和不同設計折衷方 案，用於形成複合影像205之圖框數目和每圖框曝光時間可 以不同。 重要的係，由於圖框内移動，要為每圖框2〇1 a_d確定一 參考點。β亥點也稱為掃描開始點2 〇 7。掃描開始點2 〇 7用於 對齊各個圖框20 la-d，從而消除圖框内移動之影響。參考 點之確定可採用多種技術中之任意一種來實現，比如目前 用於解決視頻記錄裝置中之移動穩定性之技術。另外，亦 可使用其他習知技術’比如通常用於光學滑鼠中之加速計 之使用或移動檢測演算法之使用。 圖3係一表示本發明之方法的流程圖。在一實施例中在 方框301中’使用相同曝光時間拍攝了各圖框201 a-d。這減 小了以相干方式組合圖框之難度。然而，在另外一些實施 例中’曝光時間可以習知且可控之方式改變。 下一步’在方框303中’將該等圖框201 a-d儲存在記憶體 中’並對它們進行分析來確定相對圖框内移動。一旦完成 該步驟，則該等圖框得以彼此對齊，以保證每圖框之該等 對象203彼此"置頂"。 再下一步，在方框305中’將該等圖框2〇1 a_d相互組合以 形成該複合影像205。該組合可為一簡單算術相加，或者另 外’為某種加權函數《這一相加能夠由設置在影像感測器 上之算術或其他類型之處理器來完成。應當瞭解，可以使 92869.doc •10· 1343741 用許多習知軟體或硬體來實現該組合

圖框5己憶體中之該第二圖框能夠與該第一圖框對齊。對第 三和第四圖框進行之處理為重複之處理過程。 圖4是依照本發明之一互補金氧半導體影像感測器。在許 多方面，該影像感測器401與當前可得到的由本發明之申請 人全景技術公司所生產之影像感測器基本上相當。例如7 該影像感測器包括成像陣列1〇1、放大器1〇5、信號處理單 疋11卜輸入/輸出（I/O) 403、靜態視訊影像壓縮標準（JpEG) 壓縮電路405以及其他標準元件。不過，按照本發明，該影 像感測器401還包括一圖框記憶體4〇7和一移動檢測器 409。該圖框記憶體407用作一累加暫存器，它累加來自2 不同圖框之信號。該移動檢測器4〇9能夠完成對齊圖框

上述之本發明提供了一比習知技術更寬之動態範圍。藉 由使用更高之圖框率，比如每秒12〇圖框，較之每秒扣圖框

千乂夂母杪30圖框 互補金氧半導體 :D影像感測器之 而且，本發明補償了握持數位靜態照相機和移動電話之 92869.doc 1343741 不穩定。由於它允許較長曝光時間，因此它能夠在低亮度 之條件下工作。 雖然僅就有限數量之實施例對本發明進行了介紹和說 ^，但是只要不脫離本發明本質特徵之思想，本發明可以 多種形式實施。因& ’應當將該等進行了介紹和說明之實 施例在所有方面都考慮為係啟發性的而非限制性的。因 此，本發明之範圍係由所附之申請專利範圍來限定的，而 非由前述說明限定，而且意欲將包含於與申請專利範圍等 價之含義和範圍之内之所有改變皆包含於此處。 【圖式簡單說明】 在附圖中，在所有本發明的非限制性和非詳舉性實施例 之各示意圖中，相同參考符號表示相同之部件，其中： 圖1係一互補金氧半導體影像感測器之示意圖。 圖2表示由該影像感測器獲得並用於合成複合影像之四 圖框。 圖3係本發明之方法之流程圖。 圖4係本發明之該影像感測器之示意圖。 【主要元件符號說明】 101 103 105 107 111 201a、201b、201c、201d 互補金氧半導體成像陣列 矩形像素矩陣 電荷放大器 二階放大器 處理器 圖框 92869.doc 1343741 203 對象 205 複合影像 207 掃描開始點 401 影像感測器 403 I/O 405 JPEG壓縮電路 407 圖框記憶體 409 移動檢測器 92869.doc • 13·

Claims (1)

1343741 _____ 5〇93113024號專利申讀案奉.月时φ正替换頁 中文申請專利範圍替換In⑻年'弓）V__ 十、申請專利範圍： 1. 種使用一互補金氧半導體影像感測器形成一影像之方 法’包括： 使用該影像感測器拍攝複數個圖框，其中該等複數個 影像中之每一影像係使用基本上相同之曝光時間拍攝 的； 在"玄等複數個影像中之每一影像中確定一參考點； 利用该參考點將該等複數個圖框對齊；及 將該等複數個圖框組合成該影像。 2. 士申。月專利範圍第i項之方法，其中該組合係該等複數個 圖框中相應像素之算術組合。 3. 一種使用一互補金氧半導體影像感測器形成一高動態範 圍影像之方法，包括： 使用該影像感測器拍攝一第一圖框； 將-玄第-圖框儲存在一圖框記憶體中； 在該第一圖框中確定一參考點； 使用該影像感測器拍攝一第二圖框； 用:多考點將邊第二圖框與該第一圖框對齊；及 :"圖忙加到戎圖框記憶體中之該第一圖框上， 其中該第一和第-圖k山 弟—圖框中之每一圖框係使用基本上相同 之曝光時間拍攝的，

’其中藉該影像感測器拍攝 進行對齊，並將它們添加到 如申請專利範圍第3項之方法 額外之圖框，利用該參考點 該圖框記憶體中。 92869-1000218.doc 1343741 年 5.如申請專利範圍第3項之方法，其令該添加係該第一和第 二圖框中相應像素之算術組合。

92869-1000218.doc