TWI471677B - 自動對焦方法及自動對焦裝置 - Google Patents
自動對焦方法及自動對焦裝置 Download PDFInfo
- Publication number
- TWI471677B TWI471677B TW102112875A TW102112875A TWI471677B TW I471677 B TWI471677 B TW I471677B TW 102112875 A TW102112875 A TW 102112875A TW 102112875 A TW102112875 A TW 102112875A TW I471677 B TWI471677 B TW I471677B
- Authority
- TW
- Taiwan
- Prior art keywords
- target
- depth
- depth information
- image
- autofocus
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 70
- 238000012545 processing Methods 0.000 claims description 51
- 238000005457 optimization Methods 0.000 claims description 11
- 238000009499 grossing Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 11
- 230000029058 respiratory gaseous exchange Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本發明是有關於一種自動對焦的技術,且特別是有關於一種應用立體視覺影像處理技術進行自動對焦的方法與自動對焦裝置。
數位相機擁有相當精密複雜的機械結構,更加強化了相機的功能性與操控性。除了使用者的拍攝技巧與四周環境影響等因素之外,數位相機內建的自動對焦(Auto Focus,AF)系統,對於拍攝出來的影像畫面品質也有相當大的影響。
一般而言,自動對焦技術是指數位相機會移動鏡頭以變更鏡頭與被攝物體之間的距離,並對應不同的鏡頭位置以分別計算被攝主體畫面的對焦評估值(以下簡稱為對焦值),直到找尋到最大對焦值為止。具體而言,鏡頭的最大對焦值是表示對應目前鏡頭所在的位置能取得最大清晰度的被攝主體畫面。然而,目前的自動對焦技術中所使用的爬山法(hill-climbing)或回歸法(regression)中,鏡頭的連續推移以及最大對焦值的搜尋時間都需要若干幅影像才能達成一次的對焦,因此容易耗費許多時間。此
外,在數位相機移動鏡頭的過程中可能會移動過頭,而需要使鏡頭來回移動,如此一來,將會造成畫面的邊緣部份可能會有進出畫面的現象,此即鏡頭畫面的呼吸現象,而此現象破壞了畫面的穩定性。
另一方面,現有一種立體視覺技術進行影像處理並建立影像三維深度資訊的自動對焦技術,可有效減少對焦的耗時及畫面的呼吸現象,而可提升對焦速度與畫面的穩定性,故在相關領域中漸受矚目。然而,一般而言,目前的立體視覺技術影像處理在進行影像中各像素點的三維座位位置資訊求取時,常常無法對影像中的各點位置做出精準的定位。由於在無材質(texture)、平坦區等區域,較不易辨識相對深度而無法精確求出各點的深度資訊,因此可能會造成三維深度圖上的「破洞」。此外,若將自動對焦技術應用於手持電子裝置(例如智慧型手機),為要求縮小產品的體積,其立體視覺的基準線(stereo baseline)通常需要盡可能地縮小,如此一來定位精準將更加不易,並可能導致三維深度圖上的破洞增加,進而影響後續影像對焦程序的執行。
本發明提供一種自動對焦方法及自動對焦裝置,具有快速的對焦速度及良好的畫面穩定性。
本發明的一種自動對焦方法適用於自動對焦裝置,其中自動對焦裝置包括第一與第二影像感測器。自動對焦方法包括下
列步驟。選取目標物,並使用第一與第二影像感測器拍攝目標物,以產生第一影像與第二影像。並依據第一影像與第二影像進行三維深度估測,以產生三維深度圖。且對三維深度圖進行優化處理,以產生優化三維深度圖。更依據優化三維深度圖判斷目標物對應的深度資訊,並依據深度資訊取得關於目標物的對焦位置。接著,驅動自動對焦裝置根據對焦位置執行自動對焦程序。
本發明的一種自動對焦裝置,包括第一與第二影像感測器、對焦模組以及處理單元。第一與第二影像感測器拍攝目標物以產生第一影像與第二影像。對焦模組控制第一與第二影像感測器的對焦位置。處理單元,耦接第一與第二影像感測器以及對焦模組。處理單元對第一影像與第二影像進行三維深度估測,以產生三維深度圖,並對三維深度圖進行優化處理,以產生優化三維深度圖。處理單元依據優化三維深度圖判斷目標物對應的深度資訊,並依據深度資訊取得關於目標物的對焦位置,對焦模組依據對焦位置執行自動對焦程序。
在本發明的一實施例中,上述的依據深度資訊取得關於目標物的對焦位置的步驟包括:依據深度資訊查詢深度對照表,以取得關於目標物的對焦位置。
在本發明的一實施例中,上述的選取目標物的方法包括:藉由自動對焦裝置接收使用者用以選取目標物的點選訊號或由自動對焦裝置進行物件偵測程序,以自動選取目標物,並取得目標物的座標位置。
在本發明的一實施例中,上述的依據優化三維深度圖像判斷目標物對應的深度資訊並取得對焦位置的步驟包括:選取涵括目標物的區塊,並讀取區塊中的多個鄰域像素(neighborhood pixels)的深度資訊,對這些鄰域像素的深度資訊進行統計運算,以獲得目標物的優化深度資訊。並且,依據優化深度資訊取得關於目標物的對焦位置。
在本發明的一實施例中,上述的自動對焦方法更包括:對目標物執行物體追蹤程序,以取得關於目標物的至少一特徵資訊以及運動軌跡,其中特徵資訊包括重心、色彩、面積、輪廓或形狀資訊。
在本發明的一實施例中,上述的自動對焦方法更包括:將目標物於不同時間點下的各深度資訊儲存於深度資訊資料庫。並且,依據深度資訊資料庫中的這些深度資訊執行移動量估測,以取得關於目標物的深度變化趨勢。
在本發明的一實施例中,上述的優化處理為高斯(Gaussian)平滑處理。
在本發明的一實施例中,上述的自動對焦裝置更包括儲存單元。儲存單元耦接處理單元,用以儲存第一與第二影像以及深度對照表。處理單元並依據深度資訊查詢深度對照表,以取得關於目標物的對焦位置。
在本發明的一實施例中,上述的處理單元更包括區塊深度估測器。區塊深度估測器選取涵括目標物的區塊,讀取區塊中
的多個鄰域像素的深度資訊,對這些鄰域像素的深度資訊進行統計運算,以獲得目標物的優化深度資訊,並依據優化深度資訊取得關於目標物的對焦位置。
在本發明的一實施例中,上述的處理單元更包括物體追蹤模組。物體追蹤模組耦接區塊深度估測器,追蹤目標物以取得至少一特徵資訊以及運動軌跡,其中特徵資訊包括重心、色彩、面積、輪廓或形狀資訊,以使區塊深度估測器依據至少一特徵資訊與這些鄰域像素的深度資訊進行統計運算。
在本發明的一實施例中,上述的儲存單元更包括深度資訊資料庫,且處理單元更包括移動量預測模組。深度資訊資料庫用以儲存目標物於不同時間點下的各深度資訊。移動量預測模組耦接儲存單元與對焦模組,並依據深度資訊資料庫中的這些深度資訊執行移動量預測,以取得關於目標物的深度變化趨勢,以使對焦模組控制第一與第二影像感測器依據深度變化趨勢進行平滑移動。
基於上述,本發明所提供的自動對焦方法以及自動對焦裝置透過應用立體視覺的影像處理技術,並對其產生的三維深度圖再進行優化處理以取得對焦位置,僅需一幅影像的時間即可完成相關自動對焦步驟的執行。因此,本發明的自動對焦裝置以及自動對焦方法具有快速的對焦速度。此外,由於無須進行搜尋,因此也不會造成畫面呼吸的現象,而具有良好的穩定性。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉
實施例,並配合所附圖式作詳細說明如下。
100‧‧‧自動對焦裝置
110‧‧‧第一影像感測器
120‧‧‧第二影像感測器
130‧‧‧對焦模組
140‧‧‧儲存單元
141‧‧‧深度資訊資料庫
150‧‧‧處理單元
151‧‧‧區塊深度估測器
153‧‧‧物體追蹤模組
155‧‧‧移動量預測模組
S110、S120、S130、S140、S150、S151、S152、S160、S410、S610、S620‧‧‧步驟
圖1是依照本發明一實施例所繪示的一種自動對焦裝置的方塊圖。
圖2是依照本發明一實施例所繪示的一種自動對焦方法的流程圖。
圖3是圖1實施例中的一種儲存單元與處理單元的方塊圖。
圖4是依照本發明另一實施例所繪示的一種自動對焦方法的流程圖。
圖5是圖4實施例中的一種判斷目標物優化深度資訊的步驟流程圖。
圖6是依照本發明再一實施例所繪示的一種自動對焦方法的流程圖。
圖1是依照本發明一實施例所繪示的一種自動對焦裝置的方塊圖。請參照圖1,本實施例的自動對焦裝置100包括第一影像感測器110與第二影像感測器120、對焦模組130、儲存單元140以及處理單元150。在本實施例中,自動對焦裝置100例如是數位相機、數位攝影機(Digital Video Camcorder,DVC)或是其他可用
以攝像或攝影功能的手持電子裝置等,但本發明並不限制其範圍。
請參照圖1,在本實施例中,第一與第二影像感測器110、120可包括鏡頭、感光元件或光圈等構件,用以擷取影像。此外,對焦模組130、儲存單元140以及處理單元150可為硬體及/或軟體所實現的功能模塊,其中硬體可包括中央處理器、晶片組、微處理器等具有影像運算處理功能的硬體設備或上述硬體設備的組合,而軟體則可以是作業系統、驅動程式等。在本實施例中,處理單元150耦接第一與第二影像感測器110、120、對焦模組130以及儲存單元140,而可用以控制第一與第二影像感測器110、120與對焦模組130,並於儲存單元140儲存相關資訊。以下將搭配圖2,針對本實施例的自動對焦裝置100各模組的功能進行詳細說明。
圖2是依照本發明一實施例所繪示的一種自動對焦方法的流程圖。請參照圖2,在本實施例中,自動對焦方法例如可利用圖1中的自動對焦裝置100來執行。以下並搭配自動對焦裝置100中的各模組以對本實施例的自動對焦方法的詳細步驟進行進一步的描述。
首先,執行步驟S110,選取目標物。具體而言,在本實施例中,選取目標物的方法例如可藉由自動對焦裝置100接收使用者用以選取目標物的點選訊號,以選取目標物。舉例而言,使用者可以觸控方式或移動取像裝置到特定區域進行目標物的選取,但本發明不以此為限。在其他可行的實施例中,選取目標物的方法亦可由自動對焦裝置100進行物件偵測程序,以自動選取
目標物,並取得目標物的座標位置。舉例而言,自動對焦裝置100可藉由使用人臉偵測(face detection)、微笑偵測或主體偵測技術等來進行目標物的自動選擇,並取得其座標位置。但本發明亦不以此為限,此技術領域中具有通常知識者當可依據實際需求來設計自動對焦裝置100中可用以選取目標物的模式,在此不予贅述。
接著,執行步驟S120,利用第一影像感測器110以及第二影像感測器120拍攝目標物,以分別產生第一影像與第二影像。舉例來說,第一影像例如為左眼影像,第二影像例如為右眼影像。在本實施例中,第一影像與第二影像可儲存於儲存單元140中,以供後續步驟使用。
接著,執行步驟S130,處理單元150依據第一影像與第二影像進行三維深度估測,以產生三維深度圖。具體而言,處理單元150可藉由立體視覺技術進行影像處理,以求得目標物於空間中的三維座標位置以及影像中各點的深度資訊。並在得到各點的初步深度資訊後,將所有深度資訊彙整為一張三維深度圖。
接下來再執行步驟S140,處理單元150對此張三維深度圖進行優化處理,以產生優化三維深度圖。具體而言,在本實施例中,進行優化處理的方法例如是利用影像處理技術將各點的深度資訊與其鄰近的深度資訊進行加權處理。舉例而言,在本實施例中,優化處理可為高斯(Gaussian)平滑處理。簡言之,在高斯平滑處理中,各點像素值是由周圍相鄰像素值的加權平均,而原始像素的值有最大的高斯分布值,所以有最大的權重,相鄰像素隨
著距離原始像素越來越遠,其權重也越來越小。因此,處理單元150在對三維深度圖進行了高斯平滑處理後,影像各點的深度資訊將可較為連續,並同時可保留了邊緣的深度資訊。如此一來,除可避免原先的三維深度圖中記載的各點深度資訊可能存在深度不精準或不連續的問題外,對於原先存在於三維深度圖上的破洞也可利用其鄰近區域的深度資訊進行修補以達到完整的狀況。但值得注意的是,雖上述優化處理方法是以高斯(Gaussian)平滑處理為例示說明,但本發明不以此為限。在其他可行的實施例中,此技術領域中具有通常知識者當可依據實際需求來選擇其他適當的統計運算方法以執行優化處理,此處便不再贅述。
接著,再執行步驟S150,處理單元150依據優化三維深度圖判斷目標物對應的深度資訊,並依據深度資訊取得關於目標物的對焦位置。具體而言,依據深度資訊取得關於目標物的對焦位置的步驟例如是依據深度資訊查詢深度對照表來取得關於目標物的對焦位置。舉例而言,執行自動對焦程序的過程可以是透過對焦模組130控制自動對焦裝置100中的步進馬達步數(step)或音圈馬達電流值以分別調整第一與第二影像感測器110、120的變焦鏡頭至所需的對焦位置,以進行對焦。因此,將可透過藉由事前步進馬達或音圈馬達的校正過程,事先求得步進馬達的步數或音圈馬達的電流值與目標物清晰深度的對應關係,將其結果彙整為深度對照表,並儲存於儲存單元140中。如此一來,則可依據目前獲得的目標物的深度資訊查詢到此深度資訊所對應的步進馬達
的步數或音圈馬達的電流值,並據此取得關於目標物的對焦位置資訊。
接著,執行步驟S160,處理單元150驅動自動對焦裝置100根據對焦位置執行自動對焦程序。具體而言,由於對焦模組130控制第一與第二影像感測器110、120的對焦位置,因此在取得關於目標物的對焦位置資訊後,處理單元150就可驅動自動對焦裝置100的對焦模組130,並藉此調整第一與第二影像感測器110、120的變焦鏡頭至對焦位置,以完成自動對焦。
如此一來,透過上述應用立體視覺的影像處理技術而產生三維深度圖,並再對此三維深度圖進行優化處理以取得對焦位置的方法,將使得本實施例的自動對焦裝置100以及自動對焦方法僅需一幅影像的時間即可完成相關自動對焦步驟的執行。因此,本實施例的自動對焦裝置100以及自動對焦方法具有快速的對焦速度。此外,由於無須進行搜尋,因此也不會造成畫面呼吸的現象,而具有良好的穩定性。
圖3是圖1實施例中的一種處理單元與儲存單元的方塊圖。請參照圖3,更詳細而言,本實施例的自動對焦裝置100的儲存單元140更包括深度資訊資料庫141,而處理單元150更包括區塊深度估測器151、物體追蹤模組153與移動量預測模組155。在本實施例中,區塊深度估測器151、物體追蹤模組153與移動量預測模組155可為硬體及/或軟體所實現的功能模塊,其中硬體可包括中央處理器、晶片組、微處理器等具有影像運算處理功能的硬
體設備或上述硬體設備的組合,而軟體則可以是作業系統、驅動程式等。以下將搭配圖4至圖6,針對本實施例的區塊深度估測器151、物體追蹤模組153、移動量預測模組155與深度資訊資料庫141的功能進行詳細說明。
圖4是依照本發明另一實施例所繪示的一種自動對焦方法的流程圖。請參照圖4,在本實施例中,自動對焦方法例如可利用圖1中的自動對焦裝置100與圖3中的處理單元150來執行。本實施例的自動對焦方法與圖2實施例中的自動對焦方法類似,以下僅針對兩者不同之處進行說明。
圖5是圖4實施例中的一種判斷目標物優化深度資訊的步驟流程圖。圖4所示的步驟S150,依據優化三維深度圖判斷目標物對應的深度資訊,並依據深度資訊取得關於目標物的對焦位置,更包括子步驟S151以及S152。請參照圖5,首先,執行步驟S151,利用區塊深度估測器151選取涵括目標物的區塊,並讀取區塊中的多個鄰域像素的深度資訊,對這些鄰域像素的深度資訊進行統計運算,以獲得目標物的優化深度資訊。具體而言,進行此統計運算的目的是為了能夠更可靠地計算出目標物的有效深度資訊,如此一來,將可藉此避免對焦到不正確的物件的可能性。
舉例而言,執行此統計運算的方法例如可為平均運算(mean)、眾數運算(mod)、中值運算(median)、最小值運算(minimum)、四分位數(quartile)或其它適合的數學統計運算方式。更詳細而言,平均運算指的是以此區塊的平均深度資訊來做為執
行後續自動對焦步驟的優化深度資訊,眾數運算則是以此區塊中數量最多的深度資訊作為優化深度資訊,中值運算則是以此區塊中的深度資訊中值作為優化深度資訊,最小值運算則是以此區塊中的最近物體距離作為優化深度資訊,四分位數運算則是以此區塊中的深度資訊的第一四分位數或第二四分位數作為優化深度資訊。值得注意的是,本發明不以此為限,此技術領域中具有通常知識者當可依據實際需求來選擇其他適當的統計運算方法以獲得目標物的優化深度資訊,此處便不再贅述。
接著,再執行步驟S152,依據優化深度資訊取得關於目標物的對焦位置,在本實施例中,執行步驟S152的方法已於圖2實施例中的步驟S150的方法中詳述,在此不再重述。
此外,請再次參照圖4,在本實施例中,自動對焦方法更包括執行步驟S410,利用物體追蹤模組153對目標物執行物體追蹤程序,以取得關於目標物的至少一特徵資訊以及運動軌跡。具體而言,目標物的特徵資訊可包括重心、色彩、面積、輪廓或形狀資訊,物體追蹤模組153並可利用不同的物體追蹤演算法去萃取第一與第二影像中形成目標物的各種成分,再將這些成分集合成較高階的特徵資訊,藉由比對不同時間點下所產生的連續的第一影像或第二影像間的特徵資訊來追蹤目標物。值得注意的是,本發明並不限定物體追蹤演算法的範圍,此技術領域中具有通常知識者當可依據實際需求來選擇適當的物體追蹤演算法以獲得目標物的特徵資訊及運動軌跡,此處便不再贅述。此外,物體追蹤
模組153更耦接區塊深度估測器151,而可回饋其特徵資訊以及運動軌跡至區塊深度估測器151中。區塊深度估測器151並可依據目標物的特徵資訊及追蹤估測的像素可信度(相似度)與其鄰域像素的深度資訊再進行不同加權類型的統計運算,以使目標物的優化深度資訊更為精確。
圖6是依照本發明再一實施例所繪示的一種自動對焦方法的流程圖。請參照圖6,在本實施例中,自動對焦方法例如可利用圖1中的自動對焦裝置100與圖3中的處理單元150來執行。本實施例的自動對焦方法與圖4實施例中的自動對焦方法類似,以下僅針對兩者不同之處進行說明。
在本實施例中,自動對焦方法更包括執行步驟S610與步驟S620。在步驟S610中,可利用儲存單元140與處理單元150將目標物於不同時間點下的各深度資訊儲存於深度資訊資料庫141(如圖3所繪示)。具體而言,在自動對焦裝置執行步驟S150時,將可不斷得到目標物於空間中移動的三維位置資訊,因此處理單元150可將目標物於不同時間點下的各深度資訊輸入並儲存至儲存單元140的深度資訊資料庫141。
接著,執行步驟S620,利用移動量預測模組155依據深度資訊資料庫141中的這些深度資訊執行移動量估測,以取得關於目標物的深度變化趨勢。具體而言,移動量預測模組155耦接儲存單元140與對焦模組130,當移動量預測模組155對深度資訊資料庫141的這些深度資訊執行移動量估測的計算程序時,將可
分別取得目標物於空間中移動的三維位置資訊變化趨勢,特別是關於目標物沿著Z軸的位置變化趨勢,亦即目標物的深度變化趨勢,將有助於進行目標物於下一瞬間的移動位置預測,並因此有助於自動對焦。更進一步而言,在取得關於目標物的深度變化趨勢後,可將此一目標物的深度變化趨勢傳遞至對焦模組130中,並使對焦模組130控制第一與第二影像感測器110、120依據深度變化趨勢進行平滑移動。更詳細而言,自動對焦裝置100在對焦模組130執行自動對焦程序之前將可根據此一目標物的深度變化趨勢預先調整第一與第二影像感測器110、120的鏡頭位置,而使第一與第二影像感測器110、120的鏡頭位置可較為接近在步驟S150中所取得的對焦位置。如此一來,在自動對焦裝置100執行步驟S160的自動對焦程序時的移動過程,將可較為平滑,進而增加自動對焦裝置100的穩定性。
此外,深度資訊資料庫141與移動量預測模組155亦皆可分別回饋此目標物於不同時間點下的各深度資訊與其深度變化趨勢至物體追蹤模組153中,物體追蹤模組153並可根據目標物的這些深度資訊與其深度變化趨勢,再進行特徵訊號及深度資訊的計算與分析,如此一來,將可降低系統的運算量,提升運算速度,並使得物體追蹤的結果更為準確,亦可提升自動對焦裝置100的對焦效能。
綜上所述,本發明的實施例的自動對焦方法以及自動對焦裝置透過應用立體視覺的影像處理技術,並對其產生的三維深
度圖再進行優化處理以取得對焦位置,僅需一幅影像的時間即可完成相關自動對焦程序的執行。因此,本發明的自動對焦裝置以及自動對焦方法具有快速的對焦速度。此外,由於無須進行反覆搜尋,因此也不會造成呼吸現象的產生,而具有良好的對焦穩定性。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S110、S120、S130、S140、S150、S160‧‧‧步驟
Claims (10)
- 一種自動對焦方法,適用於一自動對焦裝置,該自動對焦裝置包括一第一與一第二影像感測器,該自動對焦方法包括:選取一目標物,並使用該第一與該第二影像感測器拍攝該目標物,以產生一第一影像與一第二影像;依據該第一影像與該第二影像進行一三維深度估測,以產生一三維深度圖;對該三維深度圖進行一優化處理,以產生一優化三維深度圖;依據該優化三維深度圖判斷該目標物對應的一深度資訊,並依據該深度資訊取得關於該目標物的一對焦位置;將該目標物於不同時間點下的各該深度資訊儲存於一深度資訊資料庫;依據該深度資訊資料庫中的該些深度資訊執行一移動量估測,以取得關於該目標物的一深度變化趨勢;以及驅動該自動對焦裝置根據該對焦位置執行一自動對焦程序。
- 如申請專利範圍第1項所述的自動對焦方法,其中依據該深度資訊取得關於該目標物的該對焦位置的步驟包括:依據該深度資訊查詢一深度對照表,以取得關於該目標物的該對焦位置。
- 如申請專利範圍第1項所述的自動對焦方法,其中選取該目標物的方法包括:藉由該自動對焦裝置接收一使用者用以選取該目標物的一點 選訊號或由該自動對焦裝置進行一物件偵測程序,以自動選取該目標物,並取得該目標物的一座標位置。
- 如申請專利範圍第1項所述的自動對焦方法,其中依據該優化三維深度圖像判斷該目標物對應的該深度資訊,並取得該對焦位置的步驟包括:選取涵括該目標物的一區塊,並讀取該區塊中的多個鄰域像素的深度資訊,對該些鄰域像素的深度資訊進行一統計運算,以獲得該目標物的一優化深度資訊;以及依據該優化深度資訊取得關於該目標物的該對焦位置。
- 如申請專利範圍第1項所述的自動對焦方法,更包括:對該目標物執行一物體追蹤程序,以取得關於該目標物的至少一特徵資訊以及一運動軌跡,其中該特徵資訊包括重心、色彩、面積、輪廓或形狀資訊。
- 如申請專利範圍第1項所述的自動對焦方法,其中該優化處理為一高斯平滑處理。
- 一種自動對焦裝置,包括:一第一與一第二影像感測器,拍攝一目標物以產生一第一影像與一第二影像;一對焦模組,控制該第一與該第二影像感測器的一對焦位置;一儲存單元,耦接該處理單元,用以儲存該第一與該第二影像;以及一處理單元,耦接該第一與一第二影像感測器以及該對焦模 組,該處理單元對該第一影像與該第二影像進行一三維深度估測,以產生一三維深度圖,並對該三維深度圖進行一優化處理,以產生一優化三維深度圖,該處理單元依據該優化三維深度圖判斷該目標物對應的一深度資訊,並依據該深度資訊取得關於該目標物的該對焦位置,該儲存單元更包括一深度資訊資料庫,用以儲存該目標物於不同時間點下的各該深度資訊,且該處理單元包括:一移動量預測模組,耦接該儲存單元與該對焦模組,依據該深度資訊資料庫中的該些深度資訊執行一移動量預測,以取得關於該目標物的一深度變化趨勢,以使該對焦模組控制該第一與該第二影像感測器依據該深度變化趨勢進行平滑移動,且該對焦模組依據該對焦位置執行一自動對焦程序。
- 如申請專利範圍第7項所述的自動對焦裝置,其中該儲存單元更儲存一深度對照表,且該處理單元依據該深度資訊查詢該深度對照表,以取得關於該目標物的該對焦位置。
- 如申請專利範圍第7項所述的自動對焦裝置,其中該處理單元更包括:一區塊深度估測器,選取涵括該目標物的一區塊,讀取該區塊中的多個鄰域像素的深度資訊,對該些鄰域像素的深度資訊進行一統計運算,以獲得該目標物的一優化深度資訊,並依據該優化深度資訊取得關於該目標物的該對焦位置。
- 如申請專利範圍第9項所述的自動對焦裝置,其中該處 理單元更包括:一物體追蹤模組,耦接該區塊深度估測器,追蹤該目標物以取得至少一特徵資訊以及一運動軌跡,其中該特徵資訊包括重心、色彩、面積、輪廓或形狀資訊,以使該區塊深度估測器依據該至少一特徵資訊與該些鄰域像素的深度資訊進行該統計運算。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102112875A TWI471677B (zh) | 2013-04-11 | 2013-04-11 | 自動對焦方法及自動對焦裝置 |
US13/899,586 US20140307054A1 (en) | 2013-04-11 | 2013-05-22 | Auto focus method and auto focus apparatus |
US14/670,419 US20150201182A1 (en) | 2013-04-11 | 2015-03-27 | Auto focus method and auto focus apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102112875A TWI471677B (zh) | 2013-04-11 | 2013-04-11 | 自動對焦方法及自動對焦裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201439659A TW201439659A (zh) | 2014-10-16 |
TWI471677B true TWI471677B (zh) | 2015-02-01 |
Family
ID=51686525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102112875A TWI471677B (zh) | 2013-04-11 | 2013-04-11 | 自動對焦方法及自動對焦裝置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20140307054A1 (zh) |
TW (1) | TWI471677B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI583918B (zh) * | 2015-11-04 | 2017-05-21 | 澧達科技股份有限公司 | 三維特徵資訊感測系統及感測方法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013049597A1 (en) * | 2011-09-29 | 2013-04-04 | Allpoint Systems, Llc | Method and system for three dimensional mapping of an environment |
CN108924428A (zh) * | 2014-09-30 | 2018-11-30 | 华为技术有限公司 | 一种自动对焦方法、装置及电子设备 |
CN111371986A (zh) * | 2015-03-16 | 2020-07-03 | 深圳市大疆创新科技有限公司 | 用于焦距调节和深度图确定的装置和方法 |
US10097747B2 (en) * | 2015-10-21 | 2018-10-09 | Qualcomm Incorporated | Multiple camera autofocus synchronization |
US20170171456A1 (en) * | 2015-12-10 | 2017-06-15 | Google Inc. | Stereo Autofocus |
JP2017142356A (ja) * | 2016-02-10 | 2017-08-17 | ソニー株式会社 | 撮像装置、および、撮像装置の制御方法 |
KR101993670B1 (ko) * | 2016-03-17 | 2019-06-27 | 주식회사 이오테크닉스 | 촬영 방법 및 촬영 방법을 이용한 대상물 정렬 방법 |
KR102672599B1 (ko) | 2016-12-30 | 2024-06-07 | 삼성전자주식회사 | Af 방법 및 이를 수행하는 전자 장치 |
US10325354B2 (en) | 2017-04-28 | 2019-06-18 | Qualcomm Incorporated | Depth assisted auto white balance |
TWI791206B (zh) * | 2021-03-31 | 2023-02-01 | 圓展科技股份有限公司 | 雙鏡頭移動控制系統及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009505104A (ja) * | 2005-08-15 | 2009-02-05 | ソニー エレクトロニクス インク | 深度マップを作成するための演算方法、機械読み取り可能な媒体、演算装置及び演算システム |
US20110304693A1 (en) * | 2010-06-09 | 2011-12-15 | Border John N | Forming video with perceived depth |
TWI368183B (en) * | 2008-10-03 | 2012-07-11 | Himax Tech Ltd | 3d depth generation by local blurriness estimation |
TW201312249A (zh) * | 2011-09-02 | 2013-03-16 | Htc Corp | 影像處理系統及自動對焦方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5175616A (en) * | 1989-08-04 | 1992-12-29 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada | Stereoscopic video-graphic coordinate specification system |
US6611268B1 (en) * | 2000-05-30 | 2003-08-26 | Microsoft Corporation | System and process for generating 3D video textures using video-based rendering techniques |
EP2453386B1 (en) * | 2010-11-11 | 2019-03-06 | LG Electronics Inc. | Multimedia device, multiple image sensors having different types and method for controlling the same |
KR101970563B1 (ko) * | 2012-11-23 | 2019-08-14 | 엘지디스플레이 주식회사 | 3차원 입체 영상용 깊이지도 보정장치 및 보정방법 |
-
2013
- 2013-04-11 TW TW102112875A patent/TWI471677B/zh not_active IP Right Cessation
- 2013-05-22 US US13/899,586 patent/US20140307054A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009505104A (ja) * | 2005-08-15 | 2009-02-05 | ソニー エレクトロニクス インク | 深度マップを作成するための演算方法、機械読み取り可能な媒体、演算装置及び演算システム |
TWI368183B (en) * | 2008-10-03 | 2012-07-11 | Himax Tech Ltd | 3d depth generation by local blurriness estimation |
US20110304693A1 (en) * | 2010-06-09 | 2011-12-15 | Border John N | Forming video with perceived depth |
TW201312249A (zh) * | 2011-09-02 | 2013-03-16 | Htc Corp | 影像處理系統及自動對焦方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI583918B (zh) * | 2015-11-04 | 2017-05-21 | 澧達科技股份有限公司 | 三維特徵資訊感測系統及感測方法 |
Also Published As
Publication number | Publication date |
---|---|
US20140307054A1 (en) | 2014-10-16 |
TW201439659A (zh) | 2014-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI471677B (zh) | 自動對焦方法及自動對焦裝置 | |
KR102032882B1 (ko) | 자동 포커싱 방법, 장치 및 전자 장치 | |
US20150201182A1 (en) | Auto focus method and auto focus apparatus | |
JP6271990B2 (ja) | 画像処理装置、画像処理方法 | |
CN108076278B (zh) | 一种自动对焦方法、装置及电子设备 | |
TWI511081B (zh) | 影像擷取裝置及其影像形變校正方法 | |
US11956536B2 (en) | Methods and apparatus for defocus reduction using laser autofocus | |
US20140253785A1 (en) | Auto Focus Based on Analysis of State or State Change of Image Content | |
CN104102068B (zh) | 自动对焦方法及自动对焦装置 | |
TWI515470B (zh) | 使用多鏡頭的自動對焦系統及其方法 | |
CN103986877A (zh) | 一种图像获取终端和图像获取方法 | |
CN106031148B (zh) | 成像设备,成像设备中自动对焦的方法以及对应计算机程序 | |
WO2017166076A1 (zh) | 一种确定对焦窗的方法、装置及设备 | |
CN106154688B (zh) | 一种自动对焦的方法及装置 | |
US20140327743A1 (en) | Auto focus method and auto focus apparatus | |
WO2021184341A1 (en) | Autofocus method and camera system thereof | |
TWI515471B (zh) | 使用多鏡頭的自動對焦系統及其方法 | |
CN106922181B (zh) | 方向感知自动聚焦 | |
EP3109695B1 (en) | Method and electronic device for automatically focusing on moving object | |
JP5454392B2 (ja) | 測距装置及び撮像装置 | |
JP6486453B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5871196B2 (ja) | 焦点調節装置、および、撮像装置 | |
WO2021114194A1 (zh) | 拍摄方法、拍摄设备及计算机可读存储介质 | |
CN116418971A (zh) | 传感器的平整度检测方法、装置、计算机设备及存储介质 | |
KR101754517B1 (ko) | 곡면 피사체의 자동 초점 탐색 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |