TW201329554A - 用於自動聚焦的系統及其方法 - Google Patents
用於自動聚焦的系統及其方法 Download PDFInfo
- Publication number
- TW201329554A TW201329554A TW101133027A TW101133027A TW201329554A TW 201329554 A TW201329554 A TW 201329554A TW 101133027 A TW101133027 A TW 101133027A TW 101133027 A TW101133027 A TW 101133027A TW 201329554 A TW201329554 A TW 201329554A
- Authority
- TW
- Taiwan
- Prior art keywords
- focus
- image
- lens
- focus measurement
- noise
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
Abstract
本發明提出了一種用於適應性自動聚焦演算法的方法和系統,其在影像獲取裝置接收影像、確定影像的焦點測量、並透過在第一方向上移動影像獲取裝置中移動透鏡調節影像的焦點直到達到最大焦點測量位置。然後,該方法和系統估算焦點測量的雜訊準位,並透過在第一方向上進一步移動透鏡持續調節影像的焦點直到焦點測量減小適應性臨界值量,其中適應性臨界值量根據焦點測量的雜訊準位。然後,該方法和系統透過在第二方向上移動透鏡到最大焦點測量位置調節影像的焦點。
Description
本發明涉及影像處理,更具體地,涉及根據焦點測量的雜訊準位的影像自動聚焦。
許多當前的數位式照相機提供自動聚焦特徵,其由具有一個或更多感測器的光學系統和沿著光軸定位透鏡從而自動檢測最佳焦點的控制系統組成。感測器估算該焦點測量(通常是影像中梯度的和),並且將透鏡停止在最大焦點測量的位置(是最銳焦點的位置)。
為了確定已經發現實際最銳焦點位置,許多數位式照相機採用自動聚焦演算法,其包括透過持續將透鏡移動過可疑的最銳焦點從而使影像變模糊而超過最銳焦點的過程。如果該模糊發生,那麼照相機假設實際上已經找到最銳焦點位置,並且將透鏡返回到焦點測量最大化的位置。
照相機到達最銳焦點所用的時間對能夠獲取期望影像是關鍵。為了試圖最小化到達最銳焦點位置的時間,自動聚焦演算法可以限制過度調整的量,同時試圖驗證最銳焦點。然而,這樣做導致不可靠的驗證並且可能導致錯過最銳焦點位置。更慎重的自動聚焦演算法可以顯著地增加過度調整以保證驗證最銳焦點的位置,但是可能導致令人不快的模糊顯示給照相機操作人員。
自動聚焦演算法中過度調整的理想選擇實際上取決於聚焦的特定場景(scene),包括物件的移動、場景的照明度和影像內的對比度。在具有高對比度的高度照明的影像中,只需要少量過度調整驗證最銳焦點的位置。在低光條件中,影像和焦點測量隨影像中的雜訊變模糊,由此促
使更長時間的過度調整。
典型的自動聚焦演算法引入預定義模糊過度調整臨界值,該臨界值是為“正常”條件集合設計的,但是其在高亮度/低雜訊環境中不是最有效的,並且不可用於低亮度/高雜訊環境。這些不足導致在高焦點測量情形和低焦點測量情形中非最佳的自動聚焦,並且可能不能在低亮度條件中自動聚焦。
因此,需要能夠根據焦點測量的雜訊準位確定過度調整臨界值的適應性自動聚焦演算法。進一步地,適應性臨界值被設計成焦點測量的多個當前雜訊準位。
為了解決上述問題,本發明提供了以下自動聚焦系統和自動聚焦方法:
(1)一種用於自動聚焦的系統,包括:影像獲取裝置,被配置為接收影像;控制器,被配置為確定所述影像的焦點測量和所述焦點測量的雜訊準位;以及聚焦系統,被配置為:根據所述雜訊準位確定適應性臨界值;以及使用適應性臨界值準位,透過移動所述影像獲取裝置中的透鏡調節所述影像的焦點,直到達到最大焦點測量位置。
(2)根據(1)所述的系統,其中,所述控制器持續確定所述焦點測量和所述焦點測量的所述雜訊準位。
(3)根據(1)所述的系統,其中,所述聚焦系統將用於所述焦點測量的所述適應性臨界值確定為所述焦點測量的多個所述雜訊準位。
(4)根據(1)所述的系統,其中,所述焦點系統透過將所述最大焦點測量位置過度調整一適應性臨界值量然後返回到所述最大焦點測量位置,驗證所述最大焦點測量位置。
(5)根據(1)所述的系統,其中,所述控制器根據強度確定所述焦點測量。
(6)根據(1)所述的系統,其中,所述控制器根據所述
影像的梯度和確定所述焦點測量。
(7)一種用於自動聚焦的系統,包括:影像獲取裝置,被配置為接收影像;控制器,被配置為確定所述影像的焦點測量和所述焦點測量的雜訊準位;以及聚焦系統,被配置為:根據所述焦點測量的所述雜訊準位確定所述焦點測量的適應性臨界值;透過在第一方向上移動所述影像獲取裝置中的透鏡來調節所述影像的焦點,直到所述焦點測量值減小等於所述適應性臨界值的值;以及在第二方向上移動所述影像獲取裝置中的所述透鏡。
(8)根據(7)所述的系統,其中,所述聚焦系統在所述第二方向上移動所述透鏡,直到所述焦點測量達到最大值,然後從所述最大值減小等於所述適應性臨界值的值。
(9)根據(7)所述的系統,其中,所述聚焦系統在所述第二方向上移動所述透鏡,直到達到最大焦點測量位置。
(10)一種用於自動聚焦的方法,包括:在影像獲取裝置中接收影像;確定所述影像的焦點測量;透過在第一方向上移動所述影像獲取裝置中的透鏡,調節所述影像焦點;估算所述焦點測量的雜訊準位;透過在所述第一方向上進一步移動所述透鏡來持續調節所述影像的焦點,直到所述焦點測量減小適應性臨界值量;以及透過在第二方向上將所述透鏡移動到最大焦點測量位置來調節所述影像的焦點,其中,所述適應性臨界值量根據所述焦點測量的雜訊準位。
(11)根據(10)所述的方法,其中,所述估算所述焦點測量的雜訊準位是持續執行的。
(12)根據(10)所述的方法,其中,所述估算所述焦點測量的雜訊準位是週期性執行的。
(13)根據(10)所述的方法,其中,所述適應性臨界值量是持續估算的。
(14)根據(10)所述的方法,其中,所述適應性臨界值量是所述焦點測量的多個雜訊準位。
(15)根據(10)所述的方法,其中,所述適應性臨界值由於所述影像的照明度減小而增加。
(16)根據(10)所述的方法,其中,所述焦點測量的確定根據光強度。
(17)根據(10)所述的方法,其中,所述焦點測量的確定包括對所述影像的梯度求和。
(18)根據(10)所述的方法,進一步包括,在透過在所述第一方向上移動所述影像獲取裝置中的所述透鏡來調節所述影像的焦點直到達到最大焦點測量位置之前,在所述第二方向上移動所述透鏡,其中所述焦點測量減小。
(19)根據(18)所述的方法,進一步包括:一旦確定所述焦點測量在減小,透過在所述第一方向上移動所述透鏡來調節所述影像的焦點。
(20)根據(19)所述的方法,其中,確定所述焦點測量在減小包括在所述第二方向上移動所述透鏡,直到所述焦點測量減小適應性臨界值量。
100、900‧‧‧自動聚焦系統
110、910‧‧‧影像獲取裝置
112、912‧‧‧透鏡
113、913‧‧‧方向
114、914‧‧‧影像感測器
116、916‧‧‧類比-數位轉換器
118、918‧‧‧數位影像信號處理器
120、920‧‧‧照相機控制器
122、922‧‧‧聚焦驅動系統
700、800‧‧‧方法
930‧‧‧儲存單元
940‧‧‧RAM
950‧‧‧視訊輸出埠
S702~S714、S802~S812‧‧‧步驟
圖1顯示用於影像獲取裝置的自動聚焦系統的實例;圖2是顯示在自動聚焦系統中給定焦點測量的透鏡位置的示意圖實例,其排除焦點測量的雜訊準位分量;圖3是顯示在自動聚焦系統中給定焦點測量的透鏡位置的示意圖實例,其顯示焦點測量估算的雜訊取樣;圖4是顯示根據本發明實施方式的在自動聚焦系統中給定焦點測量的透鏡位置的詳細示意圖,其顯示焦點測量估算的雜訊取樣;圖5是顯示根據本發明實施方式的在具有低雜訊的自動聚焦系統中給定焦點測量的透鏡位置的示意圖;圖6是顯示根據本發明實施方式的在具有高雜訊的自動聚焦系統中給
定焦點測量的透鏡位置的示意圖;圖7和圖8顯示根據本發明實施方式的用於根據焦點測量的雜訊準位的適應性自動聚焦演算法的範例性方法的方塊圖;以及圖9是根據本發明實施方式的自動聚焦系統的實例實施示意圖。
下列詳細說明參考附圖從而說明範例性的實施方式。詳細說明中提到的“一個範例性實施方式”、“範例性實施方式”等表示所描述的範例性實施方式可以包括特定的特徵、結構或者特點,但是每個範例性的實施方式可以不必包括特定特徵、結構或者特點。此外,這種短語不必指相同的範例性實施方式。進一步地,當結合範例性實施方式描述特定特徵、結構、特點時,在本領域技術人員已知的範圍內,無論是否明確描述,結合其他範例性的實施方式會影響這些特徵、結構或者特點。
這裏所描述的範例性實施方式是為說明性目的提供的,而不是限制。其他實施例也是可能的,並且在本公開的精神和範圍內可以對範例性實施方式作出修改。因此,該詳細說明不是意圖限制。而是本發明的保護範圍僅僅按照權利要求和其等價物限定。
實施方式可以以硬體(例如,數位照相機和/或電路)、韌體、軟體、或者其任何組合執行。實施方式也可實施為在機器可讀介質上儲存的指令,其可以由一個或更多處理器讀取並執行。機器可讀介質可以包括用於儲存由機器(例如,計算裝置)可讀形式的資訊的任何機構。例如,機器可讀介質可以包括唯讀記憶體(ROM);隨機存取記憶體(RAM);磁盤記憶體介質;光儲存介質;快閃儲存裝置。進一步地,這裏可以將韌體、軟體、例行程式、指令描述為執行某些動作。然而,應該理解,這些描述僅僅為了方便起見,並且這些動作實際上源於計算裝置、處理器、控制器、或者執行韌體、軟體、例行程式、指令等等的其他裝置。
為了討論的目的,術語“模組”應該被理解為包括軟體、韌體、和硬體(例如電路、微晶片、或裝置,或者其任何組合中的一個或多個)、和其任何組合的至少一個。此外,應當清楚,每個模組在實際裝置
內可以包括一個或多於一個的元件,並且形成所述模組的一部分的每個元件可以與形成該模組一部分的任何其他元件合作或者獨立地起作用。相反地,這裏描述的多個模組可以表示實際裝置內的單個元件。進一步,模組內的元件可以在單個裝置中,或者以有線或無線的方式分佈在多個裝置之間。
範例性實施方式的下列詳細說明會完全揭示其總體性質,其他的能夠透過應用本領域技術人員已知知識,容易在不偏離本公開的精神和保護範圍為不同應用改進和/或改變,而無需過多實驗。因此,這些改變和改進在根據這裏給出的教導和指導的範例性實施方式的意義和多個等價物內。應當理解,這裏的短語或術語用於描述的目的而不是限制目的,以便本說明書的術語或者短語會由本領域技術人員按照這裏的教導解釋。
儘管實施方式的描述是按照影像獲取裝置(具體地,數位式照相機)描述的,但是本領域技術人員會認識到,該實施方式可以適用於其他成像裝置,而不偏離本公開的精神和範圍。
數位影像
圖1顯示根據本發明實施方式的自動聚焦(AF)系統100的方塊圖。AF系統100包括能夠接收並獲取物件120的影像的影像獲取裝置110。影像獲取裝置110包括可移動透鏡112、影像感測器114、類比-數位轉換器(ADC)116、數位影像信號處理器(ISP)118、照相機控制器120以及聚焦驅動系統122。
透鏡112由聚焦驅動系統122在任何方向上移動,但被顯示為在由運動方向113指示的平面上移動。照相機控制器120分析影像感測器114的輸出,從而確定透鏡112是否應該由聚焦驅動系統122移動,以便使得物件120的影像(這裏稱為影像120)聚焦在影像感測器114上。ADC 116將影像120的類比影像資料轉換為數位影像資料。
照相機控制器120透過測量焦點測量確定影像120是否焦點對準,焦點測量是透過在ISP 118中處理影像120估算的。焦點測量是從在影像感測器114上影像120的畫素值處理獲得的數學值。存在許多用於處理
影像120的演算法,包括影像上梯度和的簡單焦點測量,例如鄰近畫素之間的絕對差的和。以這種演算法,如果影像是模糊的,則鄰近畫素會具有非常近似的值,並因此焦點測量會相對低。如果影像是銳的,則鄰近畫素之間的差會相對高,並因此焦點測量會相對高。最銳的影像對應於鄰近畫素差值的最大和,並且表示意圖影像120聚焦的點。
在更加複雜的AF演算法中,附加處理可用於執行額外的影像分析。例如,只分析影像特定區域的畫素,例如在影像中心的畫素,或者可應用例如用於畫素亮度、顏色、和立體頻率的濾波器。
照相機控制器120在影像感測器114分析影像120時也面臨影像120內含有的其他資訊,例如雜訊。影像雜訊是數位照相中的常見問題。影像雜訊能夠被看作類比膠片照相中的膠片顆粒。影像雜訊通常是所獲取影像中的照明或者顏色的隨機變化,其增加了額外且無關的資訊。
影像雜訊在低光條件下變得更加明顯。在低光下,影像的適當曝光需要使用更長的快門速度、更高ISO設定(例如,增益或者曝光指數)、或這兩者的結合。在數位式照相機中,較長的快門速度和/或較高ISO設定導致影像120內的雜訊相對增加。為了快速有效地達到焦點,如後面所討論的,ISP 118引入影像120中雜訊準位的分析和隨後聚焦驅動系統122和透鏡112的控制。
自動聚焦期間的過度調整
圖2是顯示根據本發明實施方式的AF演算法的基本迴圈的示意圖實例,其顯示給定焦點測量的透鏡位置。圖2中示意圖沒有顯示如後面所討論的任何影像雜訊或對焦點測量的關聯影響。
如前面所提到的,為了確定已經發現實際最銳焦點位置,數位式照相機通常採用自動聚焦演算法,其包括透過持續將透鏡移動過懷疑的最銳焦點從而使影像變模糊的過度調整最銳焦點。當該模糊發生時,照相機假設已經找到並經過最銳焦點位置,並且將透鏡返回到焦點測量最大化的位置。
圖2顯示焦點測量作為透鏡位置的函數的曲線圖。焦點測
量最大化的位置(在點D)指示最銳焦點位置。點A指示透鏡112可能的起始位置。聚焦驅動系統122任意選擇透鏡112開始移動的方向113。在選擇“正確”方向的情形中,透鏡112開始從點A向點D移動。然而,為了確定點D是否是最大焦點測量,照相機控制器120指示聚焦驅動系統122持續在相同方向上移動透鏡112,直到照相機控制器120確定影像感測器114上的影像120的焦點測量在減小。一旦照相機控制器120作出這樣的決定,其指示聚焦驅動系統122將透鏡112在相反方向上移動,返回點D。
當聚焦驅動系統122不正確地選擇移動透鏡112的起始方向113時,透鏡112開始從點A向點B移動。照相機控制器120感測到聚焦在減小,然後逆反透鏡112的移動方向113使得透鏡112向點D移動。如在先前的實例中,為了確定點D是否是最大焦點測量,照相機控制器120指示聚焦驅動系統122持續在相同方向上移動,直到照相機控制器120確定影像感測器114上的影像120的焦點測量在減小。一旦照相機控制器120作出這樣的決定,其指示聚焦驅動系統122將透鏡112在相反方向上移動,返回點D。
透鏡112從點A到B和從點D到C的移動可以被認為與對達到最銳聚焦點的過程的適得其反。同樣,如果在影像120中不存在雜訊,那麼透鏡在從A到B的不正確的初始方向上和從點D到C的過度調整驗證情形中的移動能夠最小化到由於透鏡移動基本上無低效出現的點。然而,由於數位影像本身包括雜訊,特別在低光線且高ISO設定中,過度調整驗證是必需的。
自動聚焦期間的雜訊影響
圖3是根據本發明實施方式的AF演算法的基本迴圈的示意圖實例,其包括影像雜訊的影響。儘管圖2顯示點之間的平滑過渡,但是圖3包括隨機影像雜訊,如具有用於對比的參考點A、B、C、和D的較小點所示。實際上,如圖2所示,AF演算法不具有平滑清楚的焦點測量曲線,而是面臨在透鏡位置被修改的某些時間點的焦點測量估計的有雜訊樣本。
圖3中的測量是有雜訊的並且由於影像中的固有雜訊隨機
波動,而且由於其他因素隨機地波動,例如照相機的隨機振動、動作、變化的照明度、ISO值設定等等。因此,在任何方向上從初始透鏡位置A向B或者D的移動會導致一些點聚焦值減小。在這種情況下,不是指示已經達到最銳聚焦點,而是僅指示已經找到“局部”峰值點。
圖4顯示這種情況其中AF系統中的透鏡112具有由點A,a所示的初始位置。聚焦驅動系統122向點D移動透鏡116,試圖定位最銳焦點,例如焦點測量最大化的點。隨著透鏡116向點D開始移動,焦點測量值增加然後減小。在無雜訊環境中,照相機控制器120會得出達到最大焦點測量值的結論,因為焦點測量值開始減小。然而,如圖4所示,由於影像雜訊,“最大”檢測點不是最銳焦點,而只是局部最大值。
隨著透鏡116持續移動經過局部最大點,達到局部最小點,其後焦點測量值再次增加並超越局部最大值。這種情況表明還沒有達到真實的最大焦點測量,並且懷疑的最大焦點測量值僅僅是局部最大值。
為了避免這種錯誤檢測,必須在證實已經檢測到真實焦點測量點並且逆反透鏡112的移動方向返回到實際銳聚焦點之前,檢測大量的焦點測量。過度調整的值是任何AF演算法內的關鍵權衡。如果過度調整的量太小,那麼會在最大焦點測量點錯誤地識別局部最大值。如果過度調整的值太大,那麼在超過銳焦點位置之後發生過度過度調整、浪費時間並產生觀察得到的模糊影像。典型AF演算法試圖透過定義在大部分情形中其作用的中程過度調整值,減輕錯誤識別和過度過度調整的發生,該中程過度調整值在整個雜訊條件的範圍不是最佳的。圖5和6將討論具有全範圍雜訊情形的適應性自動聚焦。
在低雜訊中適應性自動聚焦
圖5是顯示根據本發明實施方式的適應性AF演算法的迴圈的示意圖實例,其顯示在具有低雜訊資訊含量的自動聚焦系統中給定焦點測量的透鏡位置。如前面所提到的,影像雜訊在低光、高ISO情形中增加,而雜訊資訊在高亮度、低ISO環境中減小。適應性自動聚焦演算法識別影像中含有的相對低的雜訊資訊,且因此減小相應過度調整值的臨界值。圖5
再次顯示透鏡112在點A的初始開始位置。還顯示在無雜訊情況下焦點測量和透鏡位置之間的關係,被標作無雜訊軌跡。照相機控制器120週期性或持續地確定所接收影像中的雜訊資訊的量。雜訊資訊的量被圖示為特定點和無雜訊軌跡之間的偏移。顯示點W和標記低雜訊delta(△)的實例。
在具有低雜訊△的情況下,照相機控制器120根據雜訊△的量(例如,低雜訊△)分配過度調整臨界值。在實施例中,該臨界值在特定時間點被設定為多個雜訊測量例如,3x雜訊△。因此,驗證真實最銳焦點位置是點D所需的過度調整量示為點D和點X之間的過度調整△。
由於影像雜訊準位不必需是常數,所以在實施方式中,照相機控制器120持續地監視所接收影像中的雜訊的量並能夠持續修改過度調整臨界值。在另一個實施方式中,照相機控制器120週期地確定所接收焦點測量中的雜訊的量並修改過度調整臨界值。無論如何,該過度調整臨界值適應性所接收焦點測量中的雜訊準位。
儘管在實施方式中移動透鏡112,但是在AF系統100內持續監視當前焦點測量。初始當前焦點測量值儲存在AF系統100內並被稱作最大焦點測量。當當前焦點測量超過所儲存的最大焦點測量時,所儲存的最大焦點測量以新的最大焦點測量替換。透鏡移動持續,直到焦點測量開始減小。由於焦點測量的減小能夠由隨機雜訊波動引起,所以透鏡移動在相同方向上持續,直到觀察到焦點測量統計上的顯著減小。此時兩種不同情形都是可能的。
第一個情形發生,其中在透鏡移動期間焦點測量一直減小,在透鏡移動期間沒有達到和經過統計上顯著的最大值。在該情形中,透鏡移動方向被反向,並且重複該過程。給定該反方向,會達到最大聚焦,隨後焦點測量下降。
第二種情形發生,其中在透鏡移動期間焦點測量最初增加,達到統計上顯著的最大值,然後焦點測量開始減小。在這個情形中,確定最大聚焦的位置,並且透鏡被移回最大聚焦位置。
在傳統現有技術中,AF演算法由預定或試探性定義的常數
確定過度調整臨界值。在本公開中,所需過度調整被確定為焦點測量雜訊的統計上顯著最大值。該方法給出最小化過度調整的優點。用戶通常認為當察覺的影像顯著模糊時,AF系統預先形成不必要的、或者過度的、自動聚焦搜索。在本發明實施方式中,透鏡剛好移動到由於散焦的模糊與由於雜訊的模糊可比的點,因此不會觀察到感覺過度的模糊。然而,在顯著影像雜訊的情況下,會相應增加臨界值並且會保持魯棒性和可靠的AF操作。
同樣的方法用於這樣的情形,其中從初始透鏡開始位置A,聚焦驅動系統122在焦點D的相反方向上選擇透鏡112的前進方向。在該情形中,照相機控制器120將根據多個雜訊測量確定影像120的雜訊含量並選擇過度調整臨界值。當超過臨界值時,聚焦系統113會逆反透鏡112的前進方向。
在高雜訊中適應性自動聚焦
圖6是顯示根據本發明實施方式的適應性AF演算法迴圈的示意圖實例,其顯示在具有高雜訊資訊含量的自動聚焦系統中給定焦點測量的透鏡位置。適應性自動聚焦演算法識別影像中含有的相對較高的雜訊資訊,因此增加相應過度調整值的臨界值,以便保證精確的最大焦點測量判斷。雖然低雜訊中適應性自動聚焦允許更快更有效的最銳聚焦位置確定,但是高雜訊環境中適應性自動聚焦允許精確的最大焦點測量判斷,其中典型的AF演算法不能確定任何類型的最大焦點測量位置。
圖6再次顯示透鏡112在點A的初始開始位置。還顯示在無雜訊情況下焦點測量和透鏡位置之間的關係,被標作無雜訊軌跡。照相機控制器120週期性或持續地確定所接收影像中的雜訊資訊的量。雜訊資訊的量被圖示為特定點和無雜訊軌跡之間的偏移。顯示點Y和標記的高雜訊△的實例。注意,高雜訊△大於圖5所示的低雜訊△。
在高雜訊△的情形中,照相機控制器120根據雜訊△量分配過度調整臨界值,例如高雜訊△。在實施方式中,該臨界值設定在任何特定時間點的多個雜訊測量,例如3 x雜訊△。因此,驗證真實最銳焦點位置是點D所需的過度調整量被示為點D和Z之間的過度調整△。再次,注
意高雜訊過度調整△大於圖5中所示的低雜訊過度調整。
如前面所提,影像雜訊準位不必是常數,並且照相機控制器120能夠持續或週期性監視所接收影像中的雜訊量並修改關聯的過度調整臨界值。
一旦已經得到臨界值準位,照相機控制器120指示聚焦系統113將透鏡112返回到最大焦點測量位置,該位置由圖6中的點D指示。由於已知在特定點的雜訊準位的量,並且在這個實例中已經確定相對大,需要合理量的過度調整行進驗證點D實際上是最大焦點測量位置。因此,實際上可確定最銳聚焦位置D,然而典型AF演算法使用不根據影像的當前雜訊資訊含量的“標準”或者名義上過度調整臨界值,且不能確定任何類型的非焦點位置。
同樣的方法用於在這樣的情形,其中從初始透鏡開始位置A,聚焦驅動系統122在焦點D的相反方向上選擇透鏡112的前進方向。在該情形中,照相機控制器120將根據多個雜訊測量確定影像120的雜訊含量並選擇過度調整臨界值。當超過臨界值時,聚焦系統113將逆反透鏡112的前進方向。
適應性自動聚焦演算法的範例性方法
結合圖2至圖6中所示的適應性自動聚焦演算法和圖1中所述的系統描述根據實施方式的方法,但不限制於此。
圖7是根據本發明實施方式的根據焦點測量的雜訊準位的適應性自動聚焦演算法的範例性方法700的流程圖。為了易於解釋,參考使用圖2至圖6中方法的圖1中適應性自動聚焦系統描述方法700,但是方法實施方式不限制於此。
方法700從在影像獲取裝置接收影像的步驟S702開始。在實施方式中,自動聚焦系統100包括能夠接收並獲取物件120的影像的影像獲取裝置110。
方法700透過在步驟S704中確定影像的焦點測量而繼續。在實施方式中,影像獲取裝置110在影像感測器114接收物件120的影像。
照相機控制器120確定影像感測器114的焦點測量。
方法700透過在步驟S706中透過在第一方向上移動影像獲取裝置中的透鏡調節影像的焦點直到得到最大焦點測量而繼續。在實施方式中,聚焦驅動系統122任意選擇開始移動透鏡112的方向113。如圖2所示,在選擇“正確”方向的情形中,透鏡112開始從點A向點D移動,其為最大焦點測量。
方法700透過在步驟S708估算焦點測量的雜訊準位而繼續。在實施方式中,照相機控制器120週期或持續地確定所接收影像中的雜訊資訊的量。雜訊資訊的量示為特定點和無雜訊軌跡之間的偏移。圖5顯示點W並標記為低雜訊△的實例。
方法700透過在步驟S710中在第一方向上進一步移動透鏡持續調節影像的焦點直到焦點測量減小適應性臨界值量而繼續。在實施方式中,為了確定點D是否是最大焦點測量,照相機控制器120指示聚焦驅動系統122持續在相同方向上移動透鏡120,直到照相機控制器120確定影像感測器114上的影像120的焦點測量減小。一旦照相機控制器120作出這樣的確定,其指示聚焦驅動系統122在相反方向上移動透鏡112返回到點D。
方法700透過在步驟S712中根據適應性臨界值量證實最大焦點測量表示銳焦點位置而繼續。在實施方式中,在如圖5所示的相對低雜訊△的情形中,照相機控制器120根據雜訊△量(例如,低雜訊△)分配過度調整臨界值。在實施方式中,該臨界值在任何特定時間點被設定在多個雜訊測量,例如3 x雜訊△。因此,驗證真實最銳焦點位置是點D所需要的過度調整的量被示為點D和X之間的過度調整△。
方法700透過在步驟S714中透過在第二方向上移動透鏡到銳焦點位置來調節影像的焦點而繼續,其中適應性臨界值量根據焦點測量的雜訊準位。在實施方式中,一旦已經得到該臨界值準位,照相機控制器120指示聚焦系統113將透鏡112返回到最大焦點測量位置,該位置由圖5和6中的點D指示。然後,方法700結束。
圖8是根據本公開實施方式的用於根據焦點測量的雜訊準
位的適應性自動聚焦演算法的範例性方法800的流程圖。為了易於解釋,參考圖1的適應性自動聚焦系統使用圖2至圖6的方法描述方法800,但是該方法的實施方式不限制於此。
方法800從步驟S802開始,選擇透鏡的移動方向並在所選擇方向上移動透鏡。在實施方式中,自動聚焦系統100包括能夠接收並獲取物件120的影像的影像獲取裝置110。在實施方式中,聚焦驅動系統122任意選擇開始移動透鏡112的方向113,並且開始在該方向上移動透鏡112。
方法800透過在步驟S804中確定影像的焦點測量而繼續。在實施方式中,影像獲取裝置110在影像感測器114接收物件120的影像。照相機控制器120確定在影像感測器114的影像120的焦點測量。
方法800透過在步驟S806中移動透鏡直到與焦點測量的雜訊準位相比焦點測量統計上顯著減小而繼續。在實施方式中,聚焦驅動系統122在方向113上移動透鏡112的位置,同時由ISP 118監視焦點測量。如果當前焦點測量值超過先前的焦點測量,那麼ISP 118以新值更新儲存的最大焦點測量。持續該過程直到觀察到焦點測量統計上顯著減小。
方法800透過在步驟S808中估算是否已經得到統計上顯著的聚焦最大值而繼續。在實施方式中,照相機控制器120週期性或持續地確定所接收影像中的雜訊資訊的量。雜訊資訊的量被示為特定點和無雜訊軌跡之間的偏移。圖5中顯示點W和標記為低雜訊△的實例。在實施方式中,為了確定點D是否是最大焦點測量,照相機控制器120指示聚焦驅動系統122持續在相同方向上移動透鏡112,直到照相機控制器120確定影像感測器114上的影像120的焦點測量正在減小。
方法800透過在步驟S810判定是否已經得到最大焦點測量而繼續。如果判定實際上已經得到最大焦點測量,那麼方法800直接進入步驟S812,從而透鏡移動到最銳焦點置。如果沒有得到最大焦點測量,那麼步驟S810改變透鏡的移動方向,並且移動透鏡直到觀察到焦點測量統計上顯著減小。在實施方式中,一旦照相機控制器120作出還沒有得到聚焦最大值的判定,則指示聚焦驅動系統122在相反方向上移動透鏡112,返回
到點D。
方法800透過在步驟S812移動透鏡到最銳焦點位置而繼續。在實施方式中,一旦已經得到臨界值準位,照相機控制器120指示聚焦系統113將透鏡112返回到最大焦點測量位置,該位置由圖5和6中的點D指示。然後,方法800結束。
相關領域技術人員將認識到,該方法可額外地或可替換地包括上面討論的自動聚焦系統100的任何功能,並且範例性方法的上面描述既不應該被視為限制該方法,也不應該被視為限制適應性自動聚焦系統的描述。
實例處理器系統實施
圖9使出根據本發明實施方式的自動聚焦(AF)系統900的方塊圖。AF系統900包括能夠接收並獲取物件920的影像的影像獲取裝置910。影像獲取裝置910包括沿著光軸913可移動的透鏡912、影像感測器914、類比-數位轉換器(ADC)916、數位影像信號處理器(ISP)918、照相機控制器920、聚焦驅動系統922、儲存單元930、RAM 940和視訊輸出埠950。
在實施方式中,從影像感測器914獲得信號,並且該信號由ADC 916轉換為數位格式。然後該數位格式影像由ISP 918處理,ISP 918處理數位影像並且在視訊輸出埠950生成影像獲取裝置910的輸出視訊。視訊輸出信號可以是數位或者類比形式的,用於在照相機螢幕上顯示、和/或儲存、和/或經由電纜或者無線傳輸,和/或進一步的信號處理和/或播放、壓縮和/或編碼等等。
ISP 918也估算例如影像亮度和對比度的參數,用於照相機控制和影像調諧。ISP 918透過處理影像或者視訊流估算這些參數。特別是ISP 918估算焦點測量,其被傳輸到照相機控制器920,進而經由聚焦驅動系統922控制透鏡位置。
結論
應當理解,具體實施方式而非摘要旨在用於解釋權利要求。
摘要可以闡述一個或更多而不是全部範例性的實施方式,因此並未旨在以任何方式限制權利要求。
上面借助功能性結構單元描述了實施方式,這些功能性結構單元顯示特定功能及其關係的實施。這些功能性結構單元的邊界在此為了描述的便利任意定義。也可定義可替換邊界,只要其中特定功能和關係是適當執行的。
對於相關領域技術人員而言,顯然可以在不偏離本發明的精神和範圍的情況下對形式和細節進行不同改變。因此本發明不受任何上述範例性實施方式限制,而是僅由所附權利要求及其等價物限定。
100‧‧‧自動聚焦系統
110‧‧‧影像獲取裝置
112‧‧‧透鏡
113‧‧‧方向
114‧‧‧影像感測器
116‧‧‧類比-數位轉換器
118‧‧‧數位影像信號處理器
120‧‧‧照相機控制器
122‧‧‧聚焦驅動系統
Claims (10)
- 一種用於自動聚焦的系統,包括:影像獲取裝置,被配置為接收影像;控制器,被配置為確定所述影像的焦點測量和所述焦點測量的雜訊準位;以及聚焦系統,被配置為:根據所述雜訊準位確定適應性臨界值;以及使用適應性臨界值準位,透過移動所述影像獲取裝置中的透鏡調節所述影像的焦點,直到達到最大焦點測量位置。
- 根據申請專利範圍第1項所述的系統,其中,所述控制器持續確定所述焦點測量和所述焦點測量的所述雜訊準位,或所述聚焦系統將用於所述焦點測量的所述適應性臨界值確定為所述焦點測量的多個所述雜訊準位。
- 根據申請專利範圍第1項所述的系統,其中,所述焦點系統透過將所述最大焦點測量位置過度調整一適應性臨界值量然後返回到所述最大焦點測量位置,驗證所述最大焦點測量位置。
- 根據申請專利範圍第1項所述的系統,其中,所述控制器根據強度或根據所述影像的梯度和確定所述焦點測量。
- 一種用於自動聚焦的系統,包括:影像獲取裝置,被配置為接收影像;控制器,被配置為確定所述影像的焦點測量和所述焦點測量的雜訊準位;以及聚焦系統,被配置為:根據所述焦點測量的所述雜訊準位確定所述焦點測量的適應性臨界值;透過在第一方向上移動所述影像獲取裝置中的透鏡來調節所述影像的焦點,直到所述焦點測量值減小等於所述適應性臨界值的值;以及在第二方向上移動所述影像獲取裝置中的所述透鏡。
- 根據申請專利範圍第5項所述的系統,其中,所述聚焦系統在所述第二 方向上移動所述透鏡,直到所述焦點測量達到最大值,然後從所述最大值減小等於所述適應性臨界值的值,或所述聚焦系統在所述第二方向上移動所述透鏡,直到達到最大焦點測量位置。
- 一種用於自動聚焦的方法,包括:在影像獲取裝置中接收影像;確定所述影像的焦點測量;透過在第一方向上移動所述影像獲取裝置中的透鏡,調節所述影像焦點;估算所述焦點測量的雜訊準位;透過在所述第一方向上進一步移動所述透鏡來持續調節所述影像的焦點,直到所述焦點測量減小適應性臨界值量;以及透過在第二方向上將所述透鏡移動到最大焦點測量位置來調節所述影像的焦點,其中,所述適應性臨界值量根據所述焦點測量的雜訊準位。
- 根據申請專利範圍第7項所述的方法,進一步包括,在透過在所述第一方向上移動所述影像獲取裝置中的所述透鏡來調節所述影像的焦點直到達到最大焦點測量位置之前,在所述第二方向上移動所述透鏡,其中所述焦點測量減小。
- 根據申請專利範圍第7項所述的方法,進一步包括:一旦確定所述焦點測量在減小,透過在所述第一方向上移動所述透鏡來調節所述影像的焦點。
- 根據申請專利範圍第7項所述的方法,其中,確定所述焦點測量在減小包括在所述第二方向上移動所述透鏡,直到所述焦點測量減小適應性臨界值量。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161549495P | 2011-10-20 | 2011-10-20 | |
US13/361,579 US20130100334A1 (en) | 2011-10-20 | 2012-01-30 | Method and System for an Adaptive Auto-Focus Algorithm |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201329554A true TW201329554A (zh) | 2013-07-16 |
Family
ID=48135540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW101133027A TW201329554A (zh) | 2011-10-20 | 2012-09-10 | 用於自動聚焦的系統及其方法 |
Country Status (3)
Country | Link |
---|---|
US (5) | US20130100334A1 (zh) |
CN (1) | CN103226279A (zh) |
TW (1) | TW201329554A (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9479677B2 (en) * | 2012-09-05 | 2016-10-25 | Intel Corproation | Protocol for communications between platforms and image devices |
KR101417387B1 (ko) * | 2012-11-01 | 2014-07-09 | 주식회사 팬택 | 휴대 단말기 및 휴대 단말기의 사용자 인터페이스 제공방법 |
US9246898B2 (en) * | 2012-11-20 | 2016-01-26 | Utility Associates, Inc. | System and method for securely distributing legal evidence |
KR101956073B1 (ko) * | 2012-12-20 | 2019-03-08 | 삼성전자주식회사 | 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법 |
US9483118B2 (en) * | 2013-12-27 | 2016-11-01 | Rovi Guides, Inc. | Methods and systems for selecting media guidance functions based on tactile attributes of a user input |
US10136061B2 (en) | 2015-01-30 | 2018-11-20 | Microsoft Technology Licensing, Llc | Automatic processing of automatic image capture parameter adjustment |
CN105138962A (zh) * | 2015-07-28 | 2015-12-09 | 小米科技有限责任公司 | 图像显示方法及装置 |
TWI579826B (zh) * | 2016-03-30 | 2017-04-21 | 佳世達科技股份有限公司 | 顯示裝置及其運作方法 |
EP3480641A4 (en) * | 2016-06-30 | 2020-02-26 | Nikon Corporation | CAMERA |
US9881194B1 (en) * | 2016-09-19 | 2018-01-30 | Hand Held Products, Inc. | Dot peen mark image acquisition |
US10049625B1 (en) * | 2016-12-21 | 2018-08-14 | Amazon Technologies, Inc. | Context-based rendering |
CN107086027A (zh) * | 2017-06-23 | 2017-08-22 | 青岛海信移动通信技术股份有限公司 | 文字显示方法及装置、移动终端及存储介质 |
KR102646750B1 (ko) * | 2018-03-21 | 2024-03-13 | 삼성전자주식회사 | 표시 객체의 확산 정도에 기반하여 초점을 조절하는 방법 및 이를 구현한 전자 장치 |
CN109521547B (zh) * | 2018-12-21 | 2021-03-26 | 广州医软智能科技有限公司 | 一种变步长的自动调焦方法及系统 |
TWI724788B (zh) * | 2020-02-14 | 2021-04-11 | 國立清華大學 | 感測器內處理單元及記憶體內運算單元之整合方法及其系統 |
CN113269211A (zh) * | 2020-02-14 | 2021-08-17 | 郑桂忠 | 感测器内处理单元及存储器内运算单元的整合方法及系统 |
CN113938599B (zh) * | 2020-07-14 | 2024-03-08 | 浙江宇视科技有限公司 | 一种电动镜头聚焦方法、装置、电子设备和存储介质 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5260736A (en) * | 1991-09-04 | 1993-11-09 | Fuji Photo Film Co., Ltd. | Auto focus control device |
US6236431B1 (en) * | 1993-05-27 | 2001-05-22 | Canon Kabushiki Kaisha | Video camera apparatus with distance measurement area adjusted based on electronic magnification |
US6496277B1 (en) * | 1999-07-23 | 2002-12-17 | Xerox Corporation | Data flow control and storage facility for an image reproduction system |
US7079289B2 (en) * | 2001-10-01 | 2006-07-18 | Xerox Corporation | Rank-order error diffusion image processing |
US7538815B1 (en) * | 2002-01-23 | 2009-05-26 | Marena Systems Corporation | Autofocus system and method using focus measure gradient |
US7187413B2 (en) * | 2002-07-25 | 2007-03-06 | Lockheed Martin Corporation | Method and system for using an image based autofocus algorithm |
EP1528419B1 (en) * | 2002-08-07 | 2018-01-24 | Panasonic Intellectual Property Management Co., Ltd. | Focusing device |
JP2005055618A (ja) * | 2003-08-01 | 2005-03-03 | Seiko Precision Inc | プロジェクタ、その焦点調節方法、及びその焦点調節プログラム |
JP2005156971A (ja) * | 2003-11-26 | 2005-06-16 | Tamron Co Ltd | オートフォーカス装置及びそれを備えたカメラ、カメラ本体 |
WO2005091067A2 (en) * | 2004-03-15 | 2005-09-29 | 1... Limited | Camera autofocus |
US7515201B2 (en) * | 2004-06-16 | 2009-04-07 | Hoya Corporation | Focus detection method and focus detection apparatus |
US8432582B2 (en) * | 2004-08-20 | 2013-04-30 | Xerox Corporation | Uniformity compensation in halftoned images |
US8154769B2 (en) * | 2005-02-15 | 2012-04-10 | Ricoh Co. Ltd | Systems and methods for generating and processing evolutionary documents |
EP1924966B1 (en) * | 2005-08-08 | 2009-04-29 | MEP Imaging Technologies Ltd. | Adaptive exposure control |
US7956929B2 (en) * | 2005-10-31 | 2011-06-07 | Broadcom Corporation | Video background subtractor system |
TW200723077A (en) * | 2005-12-14 | 2007-06-16 | Elan Microelectronics Corp | Movement detection method for multiple objects on a capacitive touchpad |
EP1976268A1 (en) * | 2005-12-28 | 2008-10-01 | Olympus Corporation | Imaging system and image processing program |
JP5431148B2 (ja) * | 2006-05-31 | 2014-03-05 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ストレージ用論理データオブジェクトの変換方法およびシステム |
KR100780957B1 (ko) * | 2006-08-21 | 2007-12-03 | 삼성전자주식회사 | 영상선택 장치 및 방법 |
US8144186B2 (en) * | 2007-03-09 | 2012-03-27 | Polycom, Inc. | Appearance matching for videoconferencing |
KR100897768B1 (ko) * | 2007-05-01 | 2009-05-15 | 삼성전자주식회사 | 자동 초점 조절 방법과 상기 방법을 사용할 수 있는 장치 |
CN101828146B (zh) * | 2007-10-19 | 2013-05-01 | 高通Mems科技公司 | 具有集成光伏装置的显示器 |
US8432372B2 (en) * | 2007-11-30 | 2013-04-30 | Microsoft Corporation | User input using proximity sensing |
US20110109764A1 (en) * | 2008-09-24 | 2011-05-12 | Li Hong | Autofocus technique utilizing gradient histogram distribution characteristics |
JP4620150B2 (ja) * | 2008-10-23 | 2011-01-26 | 株式会社東芝 | 電子機器および映像処理方法 |
US8289286B2 (en) * | 2008-12-19 | 2012-10-16 | Verizon Patent And Licensing Inc. | Zooming keyboard/keypad |
US8294858B2 (en) * | 2009-03-31 | 2012-10-23 | Intel Corporation | Integrated photovoltaic cell for display device |
US8655146B2 (en) * | 2009-03-31 | 2014-02-18 | Broadcom Corporation | Collection and concurrent integration of supplemental information related to currently playing media |
TW201118823A (en) * | 2009-11-27 | 2011-06-01 | Univ Nat Taiwan | Transflective display device |
US8120838B2 (en) * | 2010-05-19 | 2012-02-21 | Au Optronics Corporation | Electrophoretic display device |
JP5569329B2 (ja) * | 2010-10-15 | 2014-08-13 | 大日本印刷株式会社 | 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等 |
US20120306767A1 (en) * | 2011-06-02 | 2012-12-06 | Alan Stirling Campbell | Method for editing an electronic image on a touch screen display |
-
2012
- 2012-01-30 US US13/361,579 patent/US20130100334A1/en not_active Abandoned
- 2012-02-15 US US13/397,240 patent/US8749607B2/en active Active
- 2012-03-30 US US13/435,909 patent/US20130101275A1/en not_active Abandoned
- 2012-09-10 TW TW101133027A patent/TW201329554A/zh unknown
- 2012-09-27 US US13/628,750 patent/US20130101162A1/en not_active Abandoned
- 2012-10-19 US US13/655,910 patent/US20130100026A1/en not_active Abandoned
- 2012-12-26 CN CN2012105761813A patent/CN103226279A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20130100235A1 (en) | 2013-04-25 |
US8749607B2 (en) | 2014-06-10 |
US20130101162A1 (en) | 2013-04-25 |
US20130100334A1 (en) | 2013-04-25 |
US20130101275A1 (en) | 2013-04-25 |
US20130100026A1 (en) | 2013-04-25 |
CN103226279A (zh) | 2013-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW201329554A (zh) | 用於自動聚焦的系統及其方法 | |
US10462374B2 (en) | Zooming control apparatus, image capturing apparatus and control methods thereof | |
KR101345093B1 (ko) | 자동 초점 제어 장치, 이미지 캡처 장치 및 초점 자동 조절 방법 | |
JP5483953B2 (ja) | 焦点調節装置、焦点調節方法及びプログラム | |
US20090095880A1 (en) | Autofocus control circuit, autofocus control method and image pickup apparatus | |
JP5780756B2 (ja) | 焦点調節装置及び方法 | |
JP2008083338A (ja) | Af検波の光学ズーム補正撮像装置 | |
TWI515470B (zh) | 使用多鏡頭的自動對焦系統及其方法 | |
JP2009133903A (ja) | 撮像装置およびその撮像方法 | |
US10623623B2 (en) | Lens control apparatus and control method thereof | |
JP2009025381A (ja) | デジタルカメラ | |
US20110149141A1 (en) | Image pickup apparatus that makes movement of focus lens inconspicuous, and control method for the image pickup apparatus | |
US10310213B2 (en) | Lens control apparatus and control method thereof | |
US10873694B2 (en) | Imaging apparatus, control apparatus, and storage medium providing phase difference detection focusing control of an image having a saturated object | |
US9936124B2 (en) | Imaging apparatus, method for controlling the same, and storage medium storing program | |
JP2015227995A5 (zh) | ||
JP2016018012A5 (zh) | ||
TWI515471B (zh) | 使用多鏡頭的自動對焦系統及其方法 | |
US9509896B2 (en) | Apparatus, imaging method, and focus control apparatus to control autofocus based on contrast signal | |
US10747089B2 (en) | Imaging apparatus and control method of the same | |
JP2008176113A (ja) | 焦点検出装置およびカメラ | |
JP6425440B2 (ja) | 撮像装置及び撮像方法 | |
EP2621161A2 (en) | Method and system for an adaptive auto-focus algorithm | |
JP2002330335A (ja) | 静止画像撮像装置 | |
JP5322842B2 (ja) | 自動合焦装置、自動合焦方法及びプログラム |