TWI624178B - 具有快速圖框內聚焦之影像感測器 - Google Patents

具有快速圖框內聚焦之影像感測器 Download PDF

Info

Publication number
TWI624178B
TWI624178B TW105124673A TW105124673A TWI624178B TW I624178 B TWI624178 B TW I624178B TW 105124673 A TW105124673 A TW 105124673A TW 105124673 A TW105124673 A TW 105124673A TW I624178 B TWI624178 B TW I624178B
Authority
TW
Taiwan
Prior art keywords
focus
image
data
rate
image sensor
Prior art date
Application number
TW105124673A
Other languages
English (en)
Other versions
TW201714451A (zh
Inventor
代鐵軍
船津英一
吳東暉
楊征
謝曉
Original Assignee
豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/835,503 external-priority patent/US9462179B2/en
Application filed by 豪威科技股份有限公司 filed Critical 豪威科技股份有限公司
Publication of TW201714451A publication Critical patent/TW201714451A/zh
Application granted granted Critical
Publication of TWI624178B publication Critical patent/TWI624178B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled

Abstract

一種使一影像感測器聚焦之方法包含：以一第一速率第一次掃描來自一影像感測器之一影像圖框之一第一部分以產生第一焦點資料。以一第二速率掃描來自該影像感測器之該影像圖框之一第二部分以自該第二部分讀取影像資料。該第一速率大於該第二速率。以該第一速率第二次掃描該影像圖框之該第一部分以產生第二焦點資料。比較該第一焦點資料與該第二焦點資料，且回應於該第一焦點資料與該第二焦點資料之該比較而調整一透鏡之焦點。

Description

具有快速圖框內聚焦之影像感測器 相關申請案之交叉參考
本申請案依據35 U.S.C.§ 120係2013年7月25日提出申請且仍在申請中之美國專利申請案第13/950,970號之部分接續案，該美國專利申請案主張於2013年5月20日提出申請且標題為「IMAGE SENSOR WITH INTRA-FRAME FAST AUTOFOCUS」之美國臨時申請案第61/825,413號之權益。美國專利申請案第13/950,970號及美國臨時申請案第61/825,413號藉此以引用方式併入。
本發明大體而言關於影像感測器。更具體而言，本發明之實例係關於具有自動聚焦之影像感測器。
傳統上，自動聚焦係以一圖框間方式進行。影像感測器之透鏡在整個自動聚焦程序中移動。首先，獲得一第一圖框，且獲得彼圖框之某一性質，例如對比度值。然後，獲得一第二圖框，且同樣獲得對比度值。比較第一對比度值與第二對比度值以查看圖框是正在對焦還是正在離焦。較清晰之對比度指示正在對焦。據此調整透鏡移動之方向。若影像正在對焦，則透鏡繼續沿相同方向移動。若否，則沿相反方向逆轉透鏡移動之方向。
傳統圖框間自動聚焦方法係相對緩慢的，此乃因必須獲得兩個影像圖框以便做出一單個比較。本發明藉由獲得特定性質以用於在一 單個圖框內進行比較而解決此問題。此處，自動聚焦係以一圖框內方式進行。
100‧‧‧影像感測器
102‧‧‧聚焦線
104‧‧‧聚焦線
106‧‧‧聚焦線
108‧‧‧聚焦線
200‧‧‧影像感測器
202‧‧‧聚焦點
204‧‧‧聚焦點
206‧‧‧聚焦點
208‧‧‧聚焦點
210‧‧‧聚焦點
212‧‧‧聚焦點
214‧‧‧聚焦點
216‧‧‧聚焦點
218‧‧‧聚焦點
320‧‧‧讀出表/表
326‧‧‧第一速率
328‧‧‧第二速率
422‧‧‧影像資料
426‧‧‧第一部分影像資料/影像資料
524‧‧‧影像資料
528‧‧‧第二速率
602‧‧‧聚焦線
604‧‧‧聚焦線
606‧‧‧聚焦線
608‧‧‧聚焦線
691‧‧‧成像系統
692‧‧‧實例性影像感測器/影像感測器
694‧‧‧讀出電路
696‧‧‧功能邏輯
698‧‧‧控制電路
699‧‧‧透鏡
a‧‧‧聚焦線
b‧‧‧聚焦線
c‧‧‧聚焦線
C1至Cx‧‧‧行
d‧‧‧聚焦線
P1至Pm‧‧‧像素/像素單元
R1至R4n‧‧‧列/常規列
參考以下各圖闡述本發明之非限制性且非窮盡性實例，其中除非另有規定，否則貫穿各種視圖，相似元件符號係指相似零件。
圖1係圖解說明根據本發明之教示之來自具有快速圖框內聚焦之一影像感測器之一影像圖框之一項實例的一圖式。
圖2係圖解說明根據本發明之教示之來自具有快速圖框內聚焦之一影像感測器之一影像圖框之另一實例的一圖式。
圖3圖解說明根據本發明之教示之自具有快速圖框內聚焦之一影像感測器讀出之一影像圖框之一讀出表的一實例。
圖4圖解說明根據本發明之教示之針對具有利用諸多技術之快速圖框內聚焦之一影像感測器之一影像圖框而輸出之影像資料的一項實例。
圖5圖解說明根據本發明之教示之針對已利用諸多技術聚焦之一影像感測器之一影像圖框而輸出之影像資料的另一實例。
圖6係圖解說明根據本發明之教示之具有一實例性影像感測器之一成像系統之一項實例之一圖式，該實例性影像感測器包含具有以一第一速率掃描之複數個聚焦線之一第一部分，及包含以一第二速率掃描之影像感測器之其餘常規線之一第二部分。
貫穿圖式之數個視圖，對應參考字符指示對應組件。熟習此項技術者將瞭解，各圖中之元件係為簡單及清晰起見而圖解說明，且未必按比例繪製。舉例而言，各圖中之某些元件之尺寸可相對於其他元件被放大以幫助增進對本發明之各種實施例之理解。此外，在一商業上可行之實施例中有用或必需的常見而眾所周知之元件通常不予繪示以便促進對本發明之此等各種實施例之一較不受阻擋之觀察。
如將展示，本發明揭示針對具有快速圖框內聚焦之一影像感測器之方法及設備。在以下說明中，陳述眾多特定細節以便提供對本發明之一透徹理解。在以下說明中，陳述眾多特定細節以提供對實施例之一透徹理解。然而，熟習相關技術者將認識到，可在不具有特定細節中之一或多者的情況下或運用其他方法、組件、材料等來實踐本文中所闡述的技術。在其他例項中，未詳細展示或闡述眾所周知之結構、材料或操作，以避免模糊特定態樣。
在本說明書通篇提及「一項實施例」、「一實施例」、「一項實例」或「一實例」意味著結合實施例或實例闡述之一特定特徵、結構或特性被包含於本發明之至少一項實施例或實例中。因此，在本說明書通篇之各處中出現的片語(諸如)「在一項實施例中」或「在一項實例中」未必全部係指同一實施例或實例。此外，特定特徵、結構或特性可以任何適合方式被組合於一或多項實施例或實例中。以下係藉由參考附圖對在本發明之實例之說明中使用之術語及元件的一詳細說明。
如將展示，根據本發明之教示之一影像感測器使一影像感測器能夠在一單個圖框內使一影像自動聚焦而不必獲得多個影像圖框。出於圖解說明目的，圖1係圖解說明根據本發明之教示之來自具有快速圖框內聚焦之一影像感測器100之一影像圖框之一項實例之一圖式。通常，對具有一滾動快門之一習用CMOS影像感測器而言，一影像圖框包含若干個水平線，例如，500個線。習用CMOS影像感測器逐線地產生影像圖框，其中每一線係以相同恆定速度(例如，30fps(圖框/秒))被掃描。
在圖1中所圖解說明之實例中，影像感測器100包含一影像圖框，該影像圖框在影像圖框之影像區域內具有複數個聚焦線a 102、b 104、c 106及d 108，該等聚焦線在本發明中稱為一第一部分。影像區域內之其他其餘常規線在本發明中稱為影像圖框之第二部分。舉例而言，在一項實例中，與影像圖框之影像區域內之第二部分或常規線相比，該第一部分或該複數個聚焦線a 102、b 104、c 106及d 108係以一較快速率被掃描。
在一項實例中，若以30fps之一速率來掃描一常規線，則以60fps、90fps、120fps或類似速率之一較快速率來掃描該複數個聚焦線a 102、b 104、c 106及d 108中之每一者。舉例而言，在一項實例中，以較快速率(例如，120fps)來掃描該複數個聚焦線102、104、106及108之時間係分佈在以較慢速率(例如，30fps)掃描影像圖框之常規線的時間當中，使得在已用滾動快門來掃描影像圖框之全部常規線之後，已以較快速率來掃描全部該複數個聚焦線a 102、b 104、c 106及d 108多次。
在一替代實例中，若利用一滾動快門，則當滾動快門到達該複數個聚焦線a 102、b 104、c 106及d 108中之一者的位置時，以較快速率(例如，120fps)來掃描聚焦線多次。通常，當滾動快門到達一常規線時，僅以一較慢正常速率(例如，30fps)來掃描常規線一次。
在一項實例中，每影像圖框之該複數個聚焦線a 102、b 104、c 106及d 108中之一者的總掃描次數M和掃描一聚焦線之速率與掃描一常規線之速率相比所得的比率N成比例。在一項實例中，N大於或等於2。舉例而言，若以30fps之一速率來掃描一常規線，且以120fps(亦即，四倍快)之一速率來掃描該複數個聚焦線a 102、b 104、c 106及d 108，則N=4，且該複數個聚焦線a 102、b 104、c 106及d 108中之每一者每影像圖框被掃描M=4次，亦即，M=N。如此，掃描影像感測器100中之影像圖框之整個影像區域的時間將幾乎與若以(舉例而言)30fps之常規速率將聚焦線全部掃描一次的時間相同。
在另一實例中，每影像圖框之該複數個聚焦線a 102、b 104、c 106及d 108中之一者之總掃描次數M和掃描一聚焦線之速率與掃描一常規線之速率相比所得的比率N不成比例。在一項實例中，M小於N。舉例而言，若以30fps之一速率掃描一常規線，且以120fps(亦即，四倍快)之一速率掃描該複數個聚焦線a 102、b 104、c 106及d 108，則N=4，且該複數個聚焦線a 102、b 104、c 106及d 108中之每一者每影像圖框被掃描M=3次，亦即，M<N。應瞭解，以120fps掃描一聚焦線三次所花費之時間小於以30fps掃描一常規線一次所花費之時間。此可導致一時間不匹配問題，例如，一時間不足問題。舉例而言，對具有500個線之一影像圖框而言，若每圖框存在四個聚焦線，則遍歷(go through)具有四個聚焦線(其中其餘線皆係常規線)之一圖框所花費之時間比遍歷不具有四個聚焦線(亦即，此圖框中之全部線皆係常規線)之一圖框所花費之時間少約67μs。可以數種方式處理此時間不足。舉例而言，可針對具有四個聚焦線之一圖框將一計時時鐘延時約67μs以彌補時間不足。相比而言，當一圖框不包含四個聚焦線(亦即，此圖框中之全部線皆係常規線)時，則不延時計時時鐘。因此，掃描影像感測器100中之影像圖框之整個影像區域之時間將幾乎與若以(舉例而言)30fps之常規速率將聚焦線全部掃描一次之時間相同。
在又一實例中，每影像圖框之該複數個聚焦線a 102、b 104、c 106及d 108中之一者之總掃描次數M和掃描一聚焦線之速率與掃描一常規線之速率相比所得的比率N不成比例。在一項實例中，M大於N。舉例而言，若以30fps之一速率掃描一常規線，且以120fps(亦即，四倍快)之一速率掃描該複數個聚焦線a 102、b 104、c 106及d 108，則N=4，且該複數個聚焦線a 102、b 104、c 106及d 108中之每一者每影像圖框被掃描M=5次，亦即，M>N。應瞭解，以 120fps掃描一聚焦線五次所花費之時間大於以30fps掃描一常規線一次所花費之時間。此可導致一時間不匹配問題，例如，一時間剩餘問題。舉例而言，對具有500個線之一影像圖框而言，若每圖框存在四個聚焦線，則遍歷具有四個聚焦線(其中其餘線皆係常規線)之一圖框所花費之時間比遍歷不具有四個聚焦線(亦即，此圖框中之全部線皆係常規線)之一圖框所花費之時間多約67μs。可以數種方式處理此時間剩餘問題。舉例而言，可針對不具有四個聚焦線(亦即，此圖框中之全部線皆係常規線)之一圖框將一計時時鐘延時約67μs。相比而言，當一圖框包含四個聚焦線時，則不延時計時時鐘。因此，掃描影像感測器100中之影像圖框之整個影像區域之時間將幾乎與若以(舉例而言)30fps之常規速率將聚焦線全部掃描一次加上額外67μs之時間相同。
根據本發明之教示，該複數個聚焦線a 102、b 104、c 106及d 108以及一單個圖框內之該複數個聚焦線a 102、b 104、c 106及d 108中之每一者之多次掃描會產生可用於自動聚焦之時間進展資料。舉例而言，該複數個聚焦線a 102、b 104、c 106及d 108中之每一者在一單個圖框內被掃描M(M>2)次，藉此在該複數個聚焦線a 102、b 104、c 106及d 108中之每一者內產生M個時間點。藉助應用一高對比度濾波器而獲得針對每一時間點之一對比度值，且將對應於M個時間點之M個對比度值彼此比較。若對比度比較產生一對焦趨勢，則透鏡將維持相同移動方向。若對比度比較產生一離焦趨勢，則透鏡將逆轉移動方向。根據本發明之教示，此回饋調整將繼續直至達成使透鏡聚焦之最佳對比度值為止。以此方式，運用回饋調整之自動聚焦可藉由使用來自一單個影像圖框內之資料資訊而非使用多個影像圖框完成。在另一實例中，應瞭解，可根據本發明之教示而獲得針對每一時間點之一相位值以執行一快速圖框內聚焦操作。
在一項實例中，應瞭解，該複數個聚焦線a 102、b 104、c 106及d 108中之每一者未必係固定的。換言之，在一項實例中，根據本發明之教示，聚焦線a 102、b 104、c 106及d 108中之一或多者可改變成影像感測器100中之不同聚焦線。舉例而言，在一項實例中，控制影像感測器之控制電路可使用該複數個聚焦線a 102、b 104、c 106及d 108來執行一初始粗略聚焦操作。根據本發明之教示，在初始粗略聚焦操作之後，控制影像感測器之控制電路然後可為影像感測器100中之聚焦線選擇不同位置以包含在第一部分中，該等不同位置(舉例而言)具有高水平對比度且將以較快第一速率被掃描以用於隨後之精密高速聚焦調整。
圖2係圖解說明根據本發明之教示之來自具有快速圖框內聚焦之一影像感測器200之一影像圖框之另一實例的一圖式。在圖2中所繪示之實例中，代替如圖1之實例中所繪示之該複數個聚焦線102、104、106及108，複數個聚焦點202、204、206、208、210、212、214、216及218包含在影像圖框之一第一部分中。在一項實例中，應瞭解，根據本發明之教示，該複數個聚焦點202、204、206、208、210、212、214、216及218中之每一者可表示影像感測器200之一區域內之一像素單元或複數個像素單元。換言之，根據本發明之教示，代替使複數個聚焦線a 102、b 104、c 106及d 108特殊，可使圖2之影像感測器200之影像圖框中之線部分(例如，像素單元之點或像素單元之所指定區域)特殊以具有一較快掃描速率及多次掃描。
在圖1及/或圖2之實例中，由影像感測器100獲得之每一影像圖框之影像品質經復原，該等影像圖框含有複數個聚焦線a 102、b 104、c 106及d 108或影像感測器200之複數個聚焦點202、204、206、208、210、212、214、216及218。特定而言，在某些例項中，由於複數個聚焦線a 102、b 104、c 106及d 108及/或複數個聚焦點 202、204、206、208、210、212、214、216及218可因較快掃描速度而在場景不很亮之情況下具有較短曝光時間(例如，由於四倍之掃描速率，因此具有約四分之一的曝光時間)，因此此等線及/或點之曝光或亮度值可減小。
在一項實例中，根據等式1來判定一亮度係數a以便補償較快掃描速度以調整聚焦線及/或聚焦點中之每一者的曝光或亮度來復原影像品質： 其中a係亮度係數，I係信號強度，T係聚焦線或聚焦點之總曝光時間，且g係每一計時間隙之一持續時間。
為就圖1之實例來進行圖解說明，等式1假定複數個聚焦線a 102、b 104、c 106及d 108中之每一者具有影像感測器100中之其他常規線之曝光時間的四分之一，且在一單個影像圖框期間被掃描四次。在該實例中，於複數個聚焦線a 102、b 104、c 106及d 108中之每一者的掃描之間存在一短的時間間隙g，此乃因滾動快門必須重新啟動線。因此，對一聚焦線之四次掃描而言，在掃描中之每一者之間存在三個定時間隙g。
繼續參考圖1中所繪示的實例，可首先藉由對複數個聚焦線a 102、b 104、c 106及d 108中之每一者之全部四次掃描的亮度值求和來調整聚焦線及/或聚焦點中之每一者中之每一像素的曝光或亮度。其次，接著根據上文之等式1來計算亮度係數a。然後，複數個聚焦線102、104、106及108中之每一者中之每一像素之亮度值被乘以亮度係數a以獲得經補償亮度。
繼續該實例，然後可內插實體線中之每一者。舉例而言，假定複數個聚焦線a 102、b 104、c 106及d 108中之一特定者稱為線B，則來自影像感測器之第二部分之鄰近區的鄰近正常線(其在線B上方 及下方)可分別稱為線X及線Y。然後可藉由對線X及線Y之亮度值求平均來判定內插。假定線X及線Y中之對應像素之亮度值的平均值等於XY avg ，則可藉由判定線B中之像素的亮度值與線X及線Y中之對應像素的平均值之間的差的絕對值而根據以下等式2判定一△值：△=|B-XY avg | (2)其中B係線B中之像素的亮度值，且XY avg 係線X及線Y中之對應像素的平均值。若△小於一預定值，則用XY avg 值替換線B中之像素的亮度值。否則，若△大於或等於預定值，則使用線B中之像素的B亮度值。
圖3圖解說明根據本發明之教示之自被聚焦之一影像感測器掃描之一影像圖框之一讀出表320之一實例。在所繪示之實例中，影像感測器包含四個聚焦線，該四個聚焦線在表320之單元中係表示為影像圖框之列a、b、c及d。影像圖框之其他常規線在表320之單元中係表示為列1、2、...、4n。
如在圖3中所圖解說明之實例中所展示，當正聚焦影像感測器時，以一第一速率326自影像感測器之影像圖框之第一部分之聚焦線a、b、c及d掃描焦點資料。在一項實例中，第一速率係一較快速率，(諸如)例如120fps。接下來，在以一第一速率326掃描聚焦線a、b、c及d之後，以一第二速率328自影像感測器之第二部分之常規列1、2、...、n掃描影像資料。在一項實例中，第二速率係一較慢速率，(諸如)例如30fps。在所圖解說明之實例中，根據本發明之教示，重複程序直至以第一速率自聚焦線a、b、c及d掃描焦點資料四次且以第二速率自全部其餘常規線1、2、…、4n掃描影像資料一次為止。
當然應瞭解，在其他實例中，第一速率可係大於第二速率之其他值，(諸如)例如60fps、90fps等。舉例而言，若第一速率係60fps，則每當影像感測器之全部其餘常規線被掃描一次時，以第一速率掃描 聚焦線a、b、c及d兩次(亦即，60fps/30fps=2)。類似地，根據本發明之教示，若第一速率係90fps，則每當以第二速率掃描影像感測器之全部其餘常規線一次時，以第一速率掃描聚焦線a、b、c及d三次(亦即，90fps/30fps=3)。
因此，返回參考圖3中所繪示之實例，複數個聚焦線a、b、c及d中之每一者在一單個圖框內被掃描四次，藉此在複數個聚焦線a、b、c及d中之每一者內產生四個時間點。藉助應用一高對比度濾波器而獲得針對每一時間點之一對比度值，且將對應於四個時間點之四個對比度值彼此比較。若對比度比較產生一對焦趨勢，則透鏡將維持相同移動方向。若對比度比較產生一離焦趨勢，則透鏡將逆轉移動方向。根據本發明之教示，此回饋調整將繼續直至達成最佳對比度值為止。在另一實例中，應瞭解，可根據本發明之教示而獲得針對每一時間點之一相位值以執行一快速圖框內聚焦操作。
圖4圖解說明根據本發明之教示之針對具有快速圖框內聚焦之一影像感測器之一影像圖框而輸出之影像資料422的一項實例。在所繪示之實例中，類似於(舉例而言)上文關於圖3所闡述之影像圖框，該影像圖框包含具有四個聚焦線a、b、c及d之一第一部分以及具有常規線1、2、…、4n之一第二部分。在所繪示之實例中，亦假定使用類似於如圖3中所闡述之技術之一技術自影像感測器掃描焦點資料及影像資料。因此，在圖4中所繪示之實例中，可使用先前自鄰近線掃描之焦點資料及/或先前自鄰近線掃描之影像資料來計算影像圖框之第一部分影像資料426。在所圖解說明之實例中，針對聚焦線a計算之影像資料展示為「A」，針對聚焦線b計算之影像資料展示為「B」，針對聚焦線c計算之影像資料展示為「C」，且針對聚焦線d計算之影像資料展示為「D」。
在一項實例中，根據本發明之教示，可使用如上文所闡述之等 式1及/或等式2來計算每一聚焦線之影像資料。舉例而言，可使用對一聚焦線多次掃描所得之焦點資料及如上文之等式1中所闡述的用以調整聚焦線之曝光或亮度之係數a來幫助計算亮度以計算影像資料。在一項實例中，根據上文之等式2，可使用針對鄰近常規線(例如，鄰近聚焦線a之常規列a-1及a+1)掃描之影像資料來幫助計算針對聚焦線之經內插影像資料(例如，圖4中之「A」)。根據本發明之教示，可重複程序以計算每一聚焦線之影像資料。在一項實例中，注意，根據本發明之教示，藉由在以第二速率掃描第二部分影像資料328之前以第一速率掃描第一部分焦點資料326，當產生針對影像圖框而輸出之影像資料426時，自聚焦線掃描之焦點資料可用於幫助計算聚焦線之影像資料。注意，若利用內插，則無需在掃描出正常線之前掃描出聚焦線，且無需儲存自聚焦線掃描之資料以用於影像資料426之稍後重建。
圖5圖解說明根據本發明之教示之針對已利用諸多技術聚焦之一影像感測器之一影像圖框而輸出之影像資料524的另一實例。在圖5中所繪示之實例中，影像感測器未正在被聚焦且因此可以一正常速率掃描全部影像資料，該正常速率在一項實例中可係30fps之第二速率。舉例而言，根據本發明之教示，影像感測器可已利用上文所闡述之圖框內快速聚焦技術而自一先前影像圖框被聚焦。因此，根據本發明之教示，來自第一部分及第二部分兩者之影像資料可全部以第二速率528掃描，此乃因聚焦線a、b、c及d之影像資料並非依據焦點資料計算。
如上文在圖3至圖4中所繪示之實例中所闡述，該影像感測器包含具有四個聚焦線a、b、c及d之一第一部分以及具有常規線1、2、…、4n之一第二部分。因此，舉例而言，假定以120fps之一第一速率掃描第一部分聚焦線a、b、c及d四次且以30fps之第二速率 掃描第二部分常規線1、2、…、4n一次，注意，在以30fps之一正常讀出與一高速聚焦讀出(其中以120fps掃描聚焦線a、b、c及d四次)之間所需的時間量存在一12列差異。此乃因若影像感測器並非處於快速圖框內聚焦模式中，則在一正常讀出期間聚焦線僅以30fps被掃描一次。在此實例中，當不聚焦時不需要在一聚焦操作期間使用之12個額外讀出時間列。在一項實例中，根據本發明之教示，當影像感測器未正在被聚焦時，將在讀取影像資料時讀出12個虛擬列以使總圖框時間保持與在感測器處於快速圖框內聚焦模式時相同。
圖6係圖解說明根據本發明之教示之包含一實例性影像感測器692之一成像系統691之一項實例之一圖式，實例性影像感測器692具有包含複數個聚焦線602、604、606及608之一第一部分以及包含影像感測器之其餘常規線之一第二部分。如所繪示之實例中所展示，成像系統691包含影像感測器692，影像感測器692耦合至控制電路698及讀出電路694且耦合至功能邏輯696。成像系統691亦包含一透鏡699，透鏡699經調適以將一影像引導至影像感測器692上。在該實例中，控制電路698透過功能邏輯696而耦合至讀出電路且耦合至透鏡699。在一項實例中，根據本發明之教示，控制電路698經耦合以回應於第一焦點資料與第二焦點資料之比較而調整透鏡699之一焦點，第一焦點資料及第二焦點資料係利用上文所論述之圖框內快速聚焦技術以一較快第一速率自影像感測器692掃描。
在一項實例中，影像感測器692包含影像感測器像素單元(例如，像素P1、P2、P3、…、Pm)之一個二維(2D)陣列。注意，影像感測器692可係圖1之影像感測器100之一實例，且焦點資料及影像資料可如上文所闡述而掃描，且以下所提及之類似命名及編號之元件係類似於如上文所闡述而耦合且起作用。如所圖解說明，每一像素單元經配置至一列(例如，列R1至R4n)及一行(例如，行C1至Cx)中以獲取一人、 地方、物件等之焦點資料及影像資料，該等資料然後可用於再現人、地方、物件等之一2D影像。
應瞭解，根據本發明之教示，影像感測器692之一第一部分包含複數個聚焦線，該複數個聚焦線在圖6中經圖解說明為列Ra 602、Rb 604、Rc 606及Rd 608，且可視為圖1之複數個聚焦線a 102、b 104、c 106及d 108之實例。因此，在所繪示之實例中，根據本發明之教示，每當以較慢第二速率自其餘常規列R1、…、R4n掃描影像資料時，以一較快第一速率自列Ra 602、Rb 604、Rc 606及Rd 608掃描焦點資料多次。
在所繪示之實例中，根據本發明之教示，控制電路698經耦合以回應於根據如上文所論述之圖框內快速聚焦處理自影像感測器之聚焦線(包含列Ra 602、Rb 604、Rc 606及Rd 608)掃描之焦點資料之比較而控制透鏡699之聚焦。根據本發明之教示，列Ra 602、Rb 604、Rc 606及Rd 608在一單個圖框內之多次掃描產生可由控制電路698用於圖框內快速聚焦之時間進展資料。舉例而言，列Ra 602、Rb 604、Rc 606及Rd 608中之每一者在一單個圖框內被掃描四次，藉此在列Ra 602、Rb 604、Rc 606及Rd 608中之每一者內產生四個時間點。藉助應用一高對比度濾波器而獲得針對每一時間點之一對比度值，且將對應於四個時間點之四個對比度值彼此比較。若對比度比較產生一對焦趨勢，則控制電路698將維持透鏡699之相同移動方向。若對比度比較產生一離焦趨勢，則控制電路698將逆轉透鏡699之移動方向。根據本發明之教示，此回饋調整將繼續直至達成使透鏡699聚焦之最佳對比度值為止。在另一實例中，應瞭解，可根據本發明之教示而獲得針對每一時間點之一相位值以執行一快速圖框內聚焦操作。
在一項實例中，將已自每一像素單元P1、P2、P3、…、Pm掃描之影像資料傳送至功能邏輯696。在各種實例中，讀出電路694可包 含放大電路、類比轉數位轉換(ADC)電路或其他電路。功能邏輯696可僅儲存影像資料或甚至藉由應用後影像效應(例如，修剪、旋轉、移除紅眼、調整亮度、調整對比度或以其他方式)來操縱影像資料。在一項實例中，讀出電路694可沿著讀出行線(已圖解說明)一次掃描一列影像資料或可使用各種其他技術(未圖解說明)同時掃描影像資料，諸如一串列讀出或全部像素之一全並行讀出。
在一項實例中，控制電路698耦合至影像感測器692以控制影像感測器692之操作特性且執行如上文所論述之透鏡699之圖框內快速自動聚焦。在一項實例中，控制電路698經耦合以產生用於控制每一像素單元之影像獲取之一快門信號。在該實例中，該快門信號係一滾動快門信號，使得在連續獲取窗期間依序啟用每一像素行、每一像素列或每一像素群組。
本發明所圖解說明之實例之上文說明(包含發明摘要中所闡述之內容)並不意欲係窮盡性的或限制於所揭示之精確形式。雖然出於說明性目的而在本文中闡述本發明之特定實施例及實例，但可在不背離本發明之較寬廣精神及範疇之情況下，做出各種等效修改。實際上，應瞭解，特定實例性電壓、電流、頻率、功率範圍值、時間等係出於解釋目的而提供且根據本發明之教示亦可在其他實施例及實例中採用其他值。
可根據上文之詳細說明對本發明之實例做出此等修改。不應將以下申請專利範圍中使用之術語理解為將本發明限制於說明書及申請專利範圍中所揭示之特定實施例。而是，範疇將完全由以下申請專利範圍來判定，申請專利範圍將根據申請專利範圍解釋之既定原則來加以理解。本說明書及各圖據此應視為說明性的而非限制性的。

Claims (37)

  1. 一種使一影像系統聚焦之方法，該方法包括：以一第一速率(rate)第一次掃描來自一影像感測器之一影像圖框之一第一部分以產生第一焦點資料(focus data)；以一第二速率掃描來自該影像感測器之該影像圖框之一第二部分以自該第二部分讀取影像資料；以該第一速率第二次掃描該影像圖框之該第一部分以產生第二焦點資料，其中該第一速率係N倍大於該第二速率，其中N大於或等於2，且其中在一聚焦操作期間，於該第二部分每一次被掃描時，該第一部分被掃描M次，其中M不等於N；比較該第一焦點資料與該第二焦點資料；及回應於該第一焦點資料與該第二焦點資料之該比較而調整一透鏡之一焦點；其中使該影像系統聚焦係僅在該影像圖框內完成。
  2. 如請求項1之方法，其中該影像圖框之該第一部分包含一聚焦線。
  3. 如請求項1之方法，其中該影像圖框之該第一部分包含一聚焦點。
  4. 如請求項1之方法，其中該影像圖框之該第一部分包含該影像感測器之一像素。
  5. 如請求項1之方法，其中該影像圖框之該第一部分包含該影像感測器之一像素區域。
  6. 如請求項1之方法，進一步包括：回應於該第一焦點資料及該第二焦點資料而計算該第一部分之影像資料。
  7. 如請求項6之方法，其中計算該第一部分之該影像資料包括：調整該第一焦點資料及該第二焦點資料之一亮度。
  8. 如請求項6之方法，其中計算該第一部分之該影像資料包括：對以該第二速率自該第二部分之鄰近區掃描的影像資料求平均。
  9. 如請求項1之方法，其中該第一速率係該第二速率之N倍大，其中N大於或等於2，且其中在一聚焦操作期間，於該第二部分每一次被掃描時，該第一部分被掃描M次，其中M等於N。
  10. 如請求項1之方法，進一步包括：當該影像感測器未正被聚焦時，以該第二速率來掃描該第一部分及該第二部分一次，以讀取來自該影像感測器之每一圖框的影像資料。
  11. 如請求項10之方法，進一步包括：當該影像感測器未正被聚焦時，在讀取影像資料時讀出額外虛擬列以使一總圖框時間保持與當該影像感測器正被聚焦時相等。
  12. 如請求項1之方法，其中該第一焦點資料及該第二焦點資料分別包括第一對比度資料及第二對比度資料。
  13. 如請求項1之方法，進一步包括：將該影像圖框之該第一部分之一位置改變至一不同位置。
  14. 如請求項1之方法，其中M小於N。
  15. 如請求項14之方法，其中在該聚焦操作期間，使一時鐘延時以彌補由M小於N導致之一時間不匹配。
  16. 如請求項1之方法，其中M大於N。
  17. 如請求項16之方法，其中在一非聚焦操作期間，使一時鐘延時以彌補由M大於N導致之一時間不匹配。
  18. 一種成像系統，其包括：一透鏡；一影像感測器，其具有包含至少一第一部分及一第二部分之一影像圖框，其中該透鏡經調適以將一影像引導至該影像感測器上；讀出電路，其經耦合至控制電路及該影像感測器以自該影像感測器讀出焦點資料及影像資料，其中該讀出電路經耦合以讀出第一焦點資料，該第一焦點資料係以一第一速率第一次掃描來自該影像感測器之該影像圖框之該第一部分，其中該讀出電路經耦合以讀出以一第二速率掃描來自該影像感測器之該影像圖框之該第二部分的影像資料，其中該第一速率大於該第二速率，且其中該讀出電路經耦合以讀出第二焦點資料，該第二焦點資料係以該第一速率第二次掃描來自該影像感測器之該影像圖框之該第一部分；及控制電路，其經耦合至該讀出電路及該透鏡，其中該控制電路經耦合以回應於來自該讀出電路之該第一焦點資料與該第二焦點資料之一比較而調整該透鏡之一焦點，其中調整該透鏡之該焦點係僅在該影像圖框內完成；其中該第一速率係N倍大於該第二速率，其中N大於或等於2，且其中在一聚焦操作期間，於該第二部分每次被掃描時，該第一部分被掃描M次，其中M不等於N。
  19. 如請求項18之成像系統，進一步包括功能邏輯，該功能邏輯經耦合至該讀出電路及該控制電路，以儲存自該影像感測器讀出之該影像資料。
  20. 如請求項18之成像系統，其中該影像圖框之該第一部分之一曝光時間不同於該影像圖框之該第二部分之一鄰近區之一曝光時間。
  21. 如請求項18之成像系統，其中該影像圖框之該第一部分之一曝光時間小於該影像圖框之該第二部分之一鄰近區之一曝光時間。
  22. 如請求項18之成像系統，其中該影像圖框之該第一部分包含一聚焦線。
  23. 如請求項18之成像系統，其中該影像圖框之該第一部分包含一聚焦點。
  24. 如請求項18之成像系統，其中該影像圖框之該第一部分包含該影像感測器之一像素。
  25. 如請求項18之成像系統，其中該影像圖框之該第一部分包含該影像感測器之一像素區域。
  26. 如請求項18之成像系統，其中該控制電路進一步經耦合以回應於該第一焦點資料及該第二焦點資料而計算該第一部分之影像資料。
  27. 如請求項26之成像系統，其中該控制電路進一步經耦合以調整該第一焦點資料及該第二焦點資料之一亮度以計算該第一部分之該影像資料。
  28. 如請求項26之成像系統，其中該控制電路進一步經耦合以對以該第二速率自該第二部分之鄰近區掃描之影像資料求平均，以計算該第一部分之該影像資料。
  29. 如請求項18之成像系統，其中該第一速率係該第二速率之N倍大，其中N大於或等於2，且其中在一聚焦操作期間，於該第二部分每次被掃描時，該第一部分被掃描M次，其中M等於N。
  30. 如請求項18之成像系統，其中該讀出電路經耦合以當該影像感測器未正被聚焦時，將以該第二速率自來自該影像感測器之該影像圖框之該第一部分及該第二部分兩者掃描的影像資料讀出至圖框記憶體中。
  31. 如請求項30之成像系統，其中該讀出電路進一步經耦合以當該影像感測器未正被聚焦時，在讀取影像資料時讀出額外虛擬列，以使一總圖框時間保持與當該影像感測器正被聚焦時相等。
  32. 如請求項18之成像系統，其中該第一焦點資料及該第二焦點資料分別包括第一對比度資料及第二對比度資料。
  33. 如請求項18之成像系統，其中該控制電路經耦合以將該影像圖框之該第一部分之一位置改變至一不同位置。
  34. 如請求項18之成像系統，其中M小於N。
  35. 如請求項34之成像系統，其中在一聚焦操作期間，使一時鐘延時以彌補由M小於N導致之一時間不匹配。
  36. 如請求項18之成像系統，其中M大於N。
  37. 如請求項36之成像系統，其中在一非聚焦操作期間，使一時鐘延時以彌補由M大於N導致之一時間不匹配。
TW105124673A 2015-08-25 2016-08-03 具有快速圖框內聚焦之影像感測器 TWI624178B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/835,503 2015-08-25
US14/835,503 US9462179B2 (en) 2013-05-20 2015-08-25 Image sensor with fast intra-frame focus

Publications (2)

Publication Number Publication Date
TW201714451A TW201714451A (zh) 2017-04-16
TWI624178B true TWI624178B (zh) 2018-05-11

Family

ID=58273187

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105124673A TWI624178B (zh) 2015-08-25 2016-08-03 具有快速圖框內聚焦之影像感測器

Country Status (2)

Country Link
CN (1) CN106488112B (zh)
TW (1) TWI624178B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200833082A (en) * 2006-10-30 2008-08-01 Panavision Imaging Llc Scanning imager employing multiple chips with staggered pixels

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5810631B2 (ja) * 2011-05-26 2015-11-11 コニカミノルタ株式会社 超音波診断装置
US8599284B2 (en) * 2011-10-11 2013-12-03 Omnivision Technologies, Inc. High dynamic range sub-sampling architecture
US9124823B2 (en) * 2013-05-20 2015-09-01 Omnivision Technologies, Inc. Image sensor with fast intra-frame focus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200833082A (en) * 2006-10-30 2008-08-01 Panavision Imaging Llc Scanning imager employing multiple chips with staggered pixels

Also Published As

Publication number Publication date
CN106488112A (zh) 2017-03-08
TW201714451A (zh) 2017-04-16
CN106488112B (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
US9807332B2 (en) Image capturing apparatus and method for controlling the same
US7920204B2 (en) Image capture apparatus and control method thereof
JP6762766B2 (ja) 撮像素子、撮像装置、および撮像信号処理方法
US9154685B2 (en) Driving technology of an image sensor in an image capture apparatus
TWI514878B (zh) 具有快速框內聚焦的影像感測器
CN108989647A (zh) 双孔径变焦数字摄影机
JPH0410777A (ja) 撮像装置の被写界深度制御装置
US9967451B2 (en) Imaging apparatus and imaging method that determine whether an object exists in a refocusable range on the basis of distance information and pupil division of photoelectric converters
JP2007097085A (ja) ディジタルカメラ
US20160037086A1 (en) Image pickup apparatus and control method for same
JP6249636B2 (ja) 撮像装置およびその制御方法
US9667878B2 (en) Image capturing apparatus and control method for image capturing apparatus
JP2014235417A (ja) 撮像装置およびその制御方法
US8026965B2 (en) Image pickup apparatus and method for controlling the same
TWI624178B (zh) 具有快速圖框內聚焦之影像感測器
JP6781589B2 (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP6762767B2 (ja) 撮像素子、撮像装置、および撮像信号処理方法
US20100103276A1 (en) Split aperture capture of rangemap for 3d imaging
JP7095774B2 (ja) 撮像素子および撮像装置
JP6700751B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
US10015388B2 (en) Image sensor with fast intra-frame focus
JP2018042223A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US20170307371A1 (en) Image capture apparatus having signal readouts using distance measurement region
JP2010258700A (ja) 撮像装置
JP2001036795A (ja) 撮像装置