TWI406079B - 用於增加成像器景深之方法以及裝置 - Google Patents

用於增加成像器景深之方法以及裝置 Download PDF

Info

Publication number
TWI406079B
TWI406079B TW096124785A TW96124785A TWI406079B TW I406079 B TWI406079 B TW I406079B TW 096124785 A TW096124785 A TW 096124785A TW 96124785 A TW96124785 A TW 96124785A TW I406079 B TWI406079 B TW I406079B
Authority
TW
Taiwan
Prior art keywords
image
focus
capturing
lens
field
Prior art date
Application number
TW096124785A
Other languages
English (en)
Other versions
TW200832033A (en
Inventor
Jon Daley
Original Assignee
Aptina Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptina Imaging Corp filed Critical Aptina Imaging Corp
Publication of TW200832033A publication Critical patent/TW200832033A/zh
Application granted granted Critical
Publication of TWI406079B publication Critical patent/TWI406079B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Description

用於增加成像器景深之方法以及裝置
本發明係關於一種用於增加成像器(例如攝影機)景深之方法以及裝置。
於成像器件(例如攝影機)中，常常需要一大景深。景深係該影像中之一對焦焦點之兩側上"對焦"。該景深外部之物體將顯得模糊。
參見圖1，圖中以一剖視圖顯示一具有一習用定焦透鏡系統之數位成像器100，例如一數位攝影機。成像器100包括一形成於一基板180上方之感測器模組170，感測器模組170包括一具有一像素陣列且形成於一附著層160上方之影像感測器150。圖1示意性地顯示一安裝於模組170上方之一固定位置中之透鏡支架120中之定焦透鏡130。入射光110由定焦透鏡130聚焦到影像感測器150上。
圖1中所示之習用定焦透鏡130具有一相對於感測器模組170之固定位置且設計成使處於該透鏡前面之一預定距離處之物體處於聚焦上。存在一自透鏡130至焦點140之固定焦距(f0 )，其中f0 係自L1至L2之距離，L1及L2對應於透鏡130及焦點140之位置。存在一對距物體處於其聚焦上之透鏡130(或聚焦140)之距離的限制。舉例而言，離一相對於透鏡130之預定對焦距離更近或更遠之物體將不處於聚焦上。
參見圖2，圖中以一剖視圖顯示一習用可手動或自動聚焦調節之透鏡數位成像器系統200，例如一數位攝影機。系統200包括一可調節聚焦透鏡230及一形成於基板280上方之感測器模組270。系統200還包括具有一形成於一附著層260上方之像素陣列之影像感測器250。入射光210由透鏡230聚焦至影像感測器250中。調節該透鏡相對於影像感測器250之位置可改變自一影像中之一物體至透鏡230之對焦距離。因此，焦距f1 可在調節透鏡230以使一影像中之一所期望之物體集中處於聚焦上時改變。然而，每當使用焦點位置來聚焦於一物體上時，仍然存在一與該焦點位置相關聯之有限景深。
於具有可變孔徑先進攝影機中，可藉由使用傳遞透鏡光之更小的孔徑來稍微增加景深。此降低感測器所看到之整個影像之亮度而且需要更長的影像捕捉時間。
於諸多示例中，將需要在不進行孔徑調節或其他複雜程序之情況下增加景深。
於下文詳細說明中，引用可用以實踐本發明之各具體實施例。為使熟習此項技術者能夠實踐本發明，足夠詳細地闡述該等實施例，且應瞭解，亦可利用其他實施例，且可作出結構及邏輯改動，此並不背離本發明之精神或範疇。
一根據本發明構造而成之成像器(例如數位攝影機)藉由對一在不同之相對聚焦位置處所拍攝之影像進行多重曝光(步驟302)來提高一影像之景深。然後，對該等多重曝光加以組合以形成一單個、最終影像(步驟303)。應瞭解，可在拍攝該等多重影像前首先以手動或自動聚焦方式來將一攝影機聚焦於該攝影機取景器中之一欲聚焦的物體上。
於本發明之一實施例中，沿光軸以與居於或不居於使用者或自動聚焦選定之初始聚焦位置之中心之間隔相等或不相等之焦距間來隔捕捉N個分立影像。數量N、及該等間隔之間隔量及中心可由終端使用者選擇，或作為一預設攝影機設置之一部分。然後，在逐像素基礎上將所捕捉之影像與每一影像之等量或不等量加權相組合。
舉例而言，對於第i列及第j行中之像素而言，一藉由使用每一捕捉影像之等量加權組合而成之影像形成如下：所組合之(i,j)＝Σ((1/N)*影像N(i,j),...(1)其中影像N(i,j)代表於N個不同聚焦位置處所捕捉之N個影像。一藉由使用不等量加權組合而成之影像形成如下：所組合之(i,j)＝a1*影像1(i,j)＋a2*影像2(i,j)＋...＋aN*影像N(i,j),...(2)其中a1、a2等等代表各個影像之加權因子而影像1、影像2等等則代表於該等不同聚焦位置處所捕捉之影像。然後，於步驟304處對該組合影像應用一影像銳化過程以產生可於步驟305處輸出之具有增加之景深之最終影像。
於一圖解說明於圖3A之處理流程中之本發明之具體實例中，於步驟302中在以下焦距處沿光軸捕捉三個分立影像(N＝3)：1)最佳聚焦，其可由使用者選擇或由一自動聚焦機構選擇，2)最佳聚焦＋d，及3)最佳聚焦－d(d係一由使用者選擇或設定於一預設攝影機設置中之距離)。然後，於步驟303中在一逐像素基礎上將該三個影像與同樣由使用者或作為一預設設置設定之每一影像之等量或不等量加權相組合。當捕捉到三個分立影像時，對於一像素陣列之一第i列及第j行中之像素而言，一使用等量加權組合而成之像素信號可形成如下：所組合之(i,j)＝(1/3)*最佳聚焦(i,j)＋(1/3)*最佳聚焦＋(i,j)＋(1/3)*最佳聚焦－(i,j),...(3)其中最佳聚焦(i,j)係一由使用者經由手動或自動聚焦設定之聚焦位置，最佳＋(i,j)係一位於由使用者設定之聚焦位置後面之聚焦位置，且最佳聚焦－(i,j)係一位於由使用者設定之聚焦位置前面之聚焦位置。一使用不等量加權由不同影像組合而成之像素信號可形成如下：所組合之(i,j)＝(1/2)*最佳聚焦(i,j)＋(1/4)*最佳聚焦＋(i,j)＋(1/4)*最佳聚焦－(i,j)...,(4)
在此種情況下，賦予在以手動或自動聚焦方式所設定之初始設定之聚焦位置處所捕捉之影像更多加權。亦可於步驟304中對該組合影像應用一影像銳化過程以產生具有一相對於在一單個聚焦位置處所捕捉之一影像之景深得到增加的景深之最終影像。
圖3B圖解說明一用於在圖3A之多重影像捕捉步驟302期間實施該等聚焦變化之實例性方式。圖3B係一具有一透鏡總成300之影像感測器之一剖視圖，透鏡總成300包括一安裝於一感測器模組330上方之透鏡支架320中之透鏡310。感測器模組330形成於一外殼基座340上方。一包括一像素陣列之影像感測器350安裝於感測器模組330內。一調節機構390安裝至影像感測器350且控制影像感測器350沿光軸相對於透鏡310之位置。調節機構390自一控制器355接收一信號，控制器355程式化成以遞增方式移動影像感測器350以捕捉圖3A之步驟303中所組合之多重影像。應瞭解，調節機構390可改為安裝至透鏡310，且控制透鏡310相對於一固定影像感測器350之位置。焦距(f)係自透鏡310至焦點395之距離，或自N1至N2之距離，N1及N2對應於透鏡320及焦點395之相對位置。焦距f可在對影像感測器350進行手動或自動調節以首先聚焦於一所捕捉之影像中之一物體上並隨後自動改變聚焦位置以在步驟302中捕捉步驟303中所組合之多重影像時改變(增大或減小)以增加景深。
圖3C顯示圖3B之調節機構390如何在影像曝光期間將影像感測器350沿光軸經由初始選定之(最佳)聚焦位置f移動一距離＋/－d(亦即自f－d至f＋d)。調節機構390接收一用於對用於捕捉上文關於圖3A所述之影像中之每一者之聚焦位置執行自動調節之信號。亦應瞭解，調節機構390可在曝光期間自動移動透鏡310(亦即，自f－d至f＋d)，或者對於一固定攝影機而言，使用者可根據需要手動移動透鏡310。於本發明之其他實施例中，影像感測器350可在感測器模組330內以可運作方式安裝至任何其他材料、器件或機構，而此可改變影像感測器350與透鏡310之相對位置從而改變所捕捉之影像中之每一者之聚焦位置。調節機構390可位於影像感測器350本身中或其可係一單獨之組件。
影像感測器350可係包括像素單元之一焦點平面陣列之任何固態影像感測器，例如一CMOS影像感測器，該等單元中之每一者皆包括一用於積聚光生電荷之光閘、光電導體、或光電二極管。
於圖3D中所示之本發明之另一實施例中，只捕捉一個影像，但該影像系藉由沿光軸以一恆定速度移動影像感測器350或透鏡310(自最佳聚焦－d至最佳聚焦＋d)在影像捕捉期間隨聚焦位置變化而捕捉(步驟302')。該等像素將在該整個影像捕捉時間期間收集光，以創建一係成像器所經過之所有聚焦位置之一捲積之影像(步驟303')。因該成像器之恆定速度，故所有點均將固然接收等量加權。該速度、起始及停止點可由使用者調節或設定成攝影機預設參數。然後，可對該影像應用一影像銳化過程(步驟304')以產生可在步驟305'處輸出之具有一增加的景深之最終影像。
於類似於先前實施例之另一實施例中，該速度可根據終端使用者所設定之一分佈、或設定成該攝影機內之一預設分佈或一預設分佈與某一使用者定製之一組合之位置而變化。此一分佈之一實例系：在一抛物線曲線上，速度＝a＋bX＋cX2 (其中X成像自－d至最佳聚焦至＋d)，其中a、b、c及d係攝影機預設或使用者可設定參數，且X係影像感測器相對於使用者/自動聚焦選擇最佳聚焦(其中最佳聚焦為X＝0)之位置。
花費於任一位置處之相對時間將與1/V成正比，其中V係成像器沿光軸之彼點處之速度。賦予一沿光軸之小區域r之相對加權因此將為1/V。亦對所採集之影像應用一影像銳化過程以產生一具有增加的景深之最終影像。
對於所有實施例而言，該影像銳化技術可針對任何最佳速度及質量來加以選擇。舉例而言，可使用一例如PhotoShop中所採用之非銳度屏蔽演算法或其他影像處理應用程式。該非銳度屏蔽演算法係一用於對數位影像進行銳化之已知方法。該銳化演算法亦可適合上述實施例中之每一者。該影像銳化技術很快，甚至對於大影像也僅需幾秒鐘。
對於本發明之所述實施例中之任一者而言，業內已知之任何手動或自動聚焦技術皆可用來設定初始「最佳」聚焦位置。
對影像感測器或透鏡之移動可藉助一可安裝至欲移動之影像感測器350之背面部分之例如圖3E中所示之調節機構390之壓電致動器來達成。位於晶片上系統(SOC)成影器模組或同等晶片中的控制電路將於影像捕獲期間計算及施加適當電壓，以移動該成影器模組至正確位置。另一選擇為，一機械系統可用作致動器390，其中一小型伺服系統或微型馬達可將影像感測器350驅動至所期望之位置。
該整個系統亦可如此設置以致於該透鏡在曝光期間經過或掠過該等聚焦位置而不是該影像感測器。此將產生一更簡單且較不昂貴的成像器，並需要控制電路在成像器控制透鏡位置中。
所增加之景深功能可在滿足預定標準時隨意或在攝影機控制下開啟或關斷。圖4係一顯示本發明作為一用於一成像裝置(例如一數位攝影機)並使用多重影像捕捉來增加景深之整個影像捕捉過程之一部分之應用之流程圖。如圖4中所示，一使用者或自動聚焦操作設定一影像感測器/透鏡之初始聚焦位置(步驟301)。然後，對該影像感測器/透鏡之相對初始位置進行偵測並將其儲存於一記憶儲存器件中。該影像感測器(例如影像感測器350)可係任何成像裝置(例如一CMOS、CCD攝影機或其他成像裝置)之一組件。關於該透鏡及影像感測器350之相對聚焦位置之資訊除用於構建本發明外還可用於其他攝影機功能。一旦於步驟420中偵測到影像感測器/透鏡位置，即刻於步驟302中啟動一影像捕捉。
於步驟440處，確定景深調節特徵是否開啟，否則，於步驟445中捕捉並處理一影像而不採用一景深調節。可根據任何已知影像處理技術來實施影像處理。舉例而言，影像處理可包括根據一個或多個標準(例如色彩處理、白平衡、或其他標準)來對一影像陣列中之像素進行採樣。若景深調節開啟，則於步驟302a處在設定於步驟301中之透鏡及影像感測器350之初始位置處捕捉一影像。於步驟302a處捕捉到一第一影像後，該過程進行至其中確定是否已捕捉到該等多重影像中之全部之步驟302b。否則，於步驟302c中設定該影像感測器/透鏡之一新的聚焦位置並於步驟302a中捕捉另一影像。應瞭解，重複步驟302a、302b及302c直至獲得所需數量之用於景深調節之影像為止。一旦捕捉到於步驟302b中所確定之所需數量之影像，即刻於步驟303於對所捕捉到的影像加以組合以形成一最終影像並於步驟304中銳化所得到的最終影像。
一納含上述特徵之成像裝置800之一實例性實施例顯示於圖5中。圖5繪示根據本發明之實例性實施例可增加景深之成像裝置800。裝置800包括一透鏡310以將一影像定向到影像感測單元350上。影像感測單元350可包括一具有一像素陣列之影像感測器，其中該影像感測器安裝至一調節機構(參見圖3B)。可使用任一類型之固態感測陣列。類比－數位(A/D)轉換器830將來自影像感測單元350之類比影像信號轉換成數位信號。影像處理器840對該等數位信號實施影像修正處理，且亦可實施本文中所述之處理以作為具有相關聯之多重捕捉、影像組合及銳化的一組處理孔徑870來增加景深。影像處理器840亦可在產生數位影像資料時實施其他處理，例如對有缺陷像素之資料修正、色彩內插等等。輸出格式轉換器/比較單元850將該數位影像資料轉換成一適於輸出或顯示給使用者之檔案格式。控制器355控制孔徑800之運作。
圖6顯示一納含圖5中所示之成像孔徑800之例如(舉例而言)用於一數位攝影機系統之簡化處理器系統900。系統900包括一藉由一匯流排930與一輸入/輸出器件920通訊之中央處理單元(CPU)910。裝置800藉由匯流排930或一埠連接與CPU 910或該系統之其他組件通訊。系統900亦包括隨機存取記憶體(RAM)950且可包括亦藉由匯流排930與CPU 910通訊之周邊器件，例如一可抽換快閃記憶體940。快閃記憶體940可在任何類型之成像應用中(例如在數位攝影機中)提供資訊儲存。可用於本發明之快閃記憶體940之實例包括(例如)可抽換式固態儲存器件，例如記憶體卡。雖然簡化的圖6處理系統顯示一單個匯流排930，但此在實務中可形成為複數個鏈接該等組件之匯流排及/或橋接器。
圖7及8係圖解說明可使用本發明來獲得之增加的景深之一實例之照片。圖7係一直尺之一單個影像且共享景深極限，而圖8則係根據本發明所產生之於不同聚集位置處之銳化、組合多重影像。如圖中所示，圖8直尺具有一較圖7直尺寬得多的景深。下文闡述用以創建圖7及8之方式。
將該直尺沿一光軸設置成具有一傾度以顯示該景深。將該透鏡設置於一距該直尺約35 cm之固定位置處。將該影像設置於距該透鏡之背面約2 cm處。以圖7形式採集一為15 cm之初始影像聚焦。然後，在該聚焦位置以相等步長自最佳聚焦－d經由最佳聚焦d移至最佳聚焦＋d之同時藉助該成像器來拍攝總共十三(13)個影像。該成像器移動總共約0.36 mm(360 μm)。在一逐像素基礎上藉助PaintShop Pro軟體將該等最終影像相加。首先將先前相加之像素值除以13以使一最終影像曝光值與先前影像曝光值保持同一數量級。然後，使用一商業銳化程式來銳化該最終影像以產生圖8影像。
雖然上文已顯示並闡述了本發明之實例性實施例，但熟習此項技術者應認識到，可使用具有一像素陣列之任何類型之影像感測器來捕捉該等影像，且可對該等實例性實施例作出替換、添加、刪除、修改及/或其他改動，此並不背離本發明之精神或範疇。
所述之實施例可整合至該成像器模組本身中或整合於一攝影機處理器上。由於本發明之實施例可構建於軟體中，因此可針對不同情形(例如宏模式、肖像模式等等)將用於提供一增加的景深之特徵觸發開啟或關斷。
上文說明及圖式展示達成本發明之目的之實施例。雖然上文闡述了某些優點及實施例，但熟習此項技術者應認識到，可對其作出替換、添加、刪除、修改及/或其他改動，此並不背離本發明之精神及範疇。因此，本發明不受上述說明限制，而只受隨附申請專利範圍之範疇限制。
100．．．成像器
110．．．入射光
120．．．透鏡支架
130．．．定焦透鏡
140．．．焦點
150．．．影像感測器
160．．．附著層
170．．．感測器模組
180．．．基板
200．．．系統
210．．．引入光
220．．．成像器系統
230．．．可調節聚焦透鏡
250．．．影像感測器
260．．．附著層
270．．．感測器模組
280．．．基板
300．．．透鏡總成
310．．．透鏡
320．．．透鏡支架
330．．．感測器模組
340．．．外殼基座
350．．．影像感測器
355．．．控制器
390．．．調節機構
395．．．焦點
800．．．成像裝置
830．．．類比－數位(A/D)轉換器
840．．．影像處理器
850．．．輸出格式轉換器/比較單元
870．．．處理孔徑
900．．．處理器系統
910．．．中央處理單元
920．．．輸入/輸出器件
930．．．匯流排
940．．．可抽換快閃記憶體
950．．．隨機存取記憶體
參照附圖閱讀對上文所提供之實例性實施例之詳細說明，本發明之優點及特徵變得更加一目了然，在附圖中：圖1系一對一習用定焦透鏡系統之剖視圖之圖解說明；圖2係一對一習用可調節聚焦透鏡系統之剖視圖之圖解說明；圖3A係一根據本發明之一實施例之增加景深操作之流程圖；圖3B係一對一根據本發明之該實施例之聚焦透鏡總成之剖視圖之圖解說明；圖3C係另一對一根據本發明之該實施例之聚焦透鏡總成之剖視圖之圖解說明；圖3D係一對一根據本發明之另一實施例之聚焦透鏡總成之剖視圖之圖解說明；圖3E係一對一根據本發明之另一實施例之聚焦透鏡總成之剖視圖之圖解說明；圖4係一根據本發明之一實例性實施例之增加景深操作之流程圖；圖5係一根據本發明之一實施例之成像裝置之方塊圖；圖6係一包括一如圖5中所示之成像裝置之處理系統之示意性方塊圖；圖7圖解說明一直尺之一單個、標準影像；及圖8圖解說明一根據本發明之一實施例之直尺之最終、總和及銳化影像
(無元件符號說明)

Claims (27)

  1. 一種成像裝置，其包括：一透鏡，其具有一視場；一影像感測器，其具有一像素陣列以用於自該透鏡接收一光學影像；一用於改變該視場中一聚焦位置的機構；及一控制電路，其用於控制該機構及感測器以在不同之聚焦位置下捕捉至少一個影像，其中該控制電路可運作以控制該機構及感測器以在各自不同之聚焦位置處捕捉複數個影像，並可進一步運作以對該等捕捉影像加以組合以形成一組合影像，其中該控制電路可運作以將該等捕捉影像與每一影像之不等量加權相組合，其中該控制電路可進一步運作以銳化該組合影像。
  2. 一種成像裝置，其包括：一透鏡，其具有一視場；一影像感測器，其具有一像素陣列以用於自該透鏡接收一光學影像；一用於改變該視場中一聚焦位置的機構；及一控制電路，其用於控制該機構及感測器以在不同之聚焦位置下捕捉至少一個影像，其中該控制電路在該聚焦位置沿一軸線改變時捕捉一個影像。
  3. 如請求項2之成像裝置，其中該聚焦位置在捕捉該一個 影像期間以一變化速度改變。
  4. 如請求項2之成像裝置，其中該聚焦位置在捕捉該一個影像期間以一恆定速度改變。
  5. 一種成像裝置，其包括：一透鏡，其具有一視場；一影像感測器，其具有一像素陣列以用於自該透鏡接收一光學影像；一用於改變該視場內之焦點位置的機構；及一控制電路，其用於控制該機構及感測器以響應於一影像捕捉操作之啟動來複數次改變該聚焦位置，並於該等聚焦位置之每一位置處捕捉一影像並將該等捕捉影像加以組合，其中該機構藉由改變該透鏡與感測器之相對位置來改變該等透鏡位置，其中該控制電路可進一步運作以銳化該等組合影像。
  6. 一種成像系統，其包括：一影像採集系統，其用於捕捉一視場中不同聚焦位置處之複數個影像，該等不同聚焦位置包括一初始設定之聚焦位置及位於該初始設定之聚焦位置前面及後面之聚焦位置；及一影像處理器，其用於將該等捕捉影像組合成一單個影像並用於銳化該單個影像。
  7. 如請求項6之系統，其中該影像採集系統捕捉至少三個分立影像且該影像處理器組合該至少三個分立捕捉影 像。
  8. 如請求項7之系統，其中該影像採集系統沿該光軸以相等聚焦間隔捕捉該至少三個分立影像，其中該間隔之集中於一使用者選定之聚焦位置周圍。
  9. 如請求項7之系統，其中該影像採集系統沿該光軸以不相等之聚焦間隔捕捉該至少三個分立影像，其中該間隔之集中於一使用者選定之聚焦位置周圍。
  10. 如請求項7之系統，其中該影像處理器將該等影像與每一影像之等量加權相組合。
  11. 如請求項7之系統，其中該影像處理器將該等影像與每一影像之不等量加權相組合。
  12. 一種成像系統，其包括：一影像採集系統，其用於捕捉一視場中之一個影像，同時在該捕捉期間改變該視場中之該等聚焦位置；及一影像處理器，其用於銳化該捕捉影像。
  13. 如請求項12之成像系統，其中該等聚焦位置在捕捉該一個影像期間以一變化速度改變。
  14. 如請求項12之成像系統，其中該等聚焦位置在捕捉該一個影像期間以一恆定速度改變。
  15. 一種用於形成一成像裝置之方法，其包括以下步驟：形成一具有一視場之透鏡；形成一具有一像素陣列之影像感測器，該像素陣列用於自該透鏡接收一光學影像；形成一用於改變該視場中一聚焦位置之機構；及 形成一用於控制該機構及感測器以在不同之聚焦位置下捕捉至少一個影像之控制電路，其中該控制電路形成步驟包括在各個不同之聚焦位置處捕捉複數個影像並組合該等捕捉影像以形成一組合影像，及進一步包括銳化該組合影像。
  16. 一種用於形成一成像裝置之方法，其包括以下步驟：形成一具有一視場之透鏡；形成一具有一像素陣列之影像感測器，該像素陣列用於自該透鏡接收一光學影像；形成一用於改變該視場中一聚焦位置之機構；及形成一用於控制該機構及感測器以在不同之聚焦位置下捕捉至少一個影像之控制電路，其中該控制電路形成步驟在該聚焦位置沿一軸線改變時捕捉一個影像。
  17. 如請求項16之方法，其中改變該等聚焦位置係以一變化速度進行。
  18. 如請求項16之方法，其中改變該等聚焦位置係以一恆定速度進行。
  19. 一種用於形成一影像之方法，其包含以下步驟：捕捉一視場中之一個影像，同時在該捕捉期間改變該視場中之該等聚焦位置；及銳化該捕捉影像。
  20. 如請求項19之方法，其中該捕捉步驟包括在捕捉該一個影像期間以一變化速度改變該等聚焦位置。
  21. 如請求項19之方法，其中該捕捉步驟包括在捕捉該一個影像期間以一恆定速度改變該等聚焦位置。
  22. 一種用於增加一影像之景深之方法，其包括：啟動一影像捕捉操作；於一用於調節一透鏡及一影像感測器之機構之一第一相對位置處捕捉一影像；確定景深調節是否開啟；若該景深調節開啟，則調節該機構之位置；在該機構之一第二相對位置處捕捉另一個影像；組合該等捕捉影像以形成一單個影像；及銳化該單個影像。
  23. 如請求項22之方法，其中該等捕捉包括於各個不同之聚焦位置處捕捉複數個影像。
  24. 如請求項22之方法，其中該組合包括將該等捕捉影像與每一影像之等量加權相組合。
  25. 如請求項22之方法，其中該組合包括將該等捕捉影像與每一影像之不等量加權相組合。
  26. 如請求項22之方法，其中該調節包括調節該透鏡之位置。
  27. 如請求項22之方法，其中該調節包括調節該影像感測器之位置。
TW096124785A 2006-07-14 2007-07-06 用於增加成像器景深之方法以及裝置 TWI406079B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/486,069 US7711259B2 (en) 2006-07-14 2006-07-14 Method and apparatus for increasing depth of field for an imager

Publications (2)

Publication Number Publication Date
TW200832033A TW200832033A (en) 2008-08-01
TWI406079B true TWI406079B (zh) 2013-08-21

Family

ID=38671024

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096124785A TWI406079B (zh) 2006-07-14 2007-07-06 用於增加成像器景深之方法以及裝置

Country Status (3)

Country Link
US (1) US7711259B2 (zh)
TW (1) TWI406079B (zh)
WO (1) WO2008008152A2 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100866491B1 (ko) * 2007-01-30 2008-11-03 삼성전자주식회사 영상 처리 방법 및 장치
US7859588B2 (en) * 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US20090169122A1 (en) * 2007-12-27 2009-07-02 Motorola, Inc. Method and apparatus for focusing on objects at different distances for one image
US8154647B2 (en) 2008-03-05 2012-04-10 Applied Minds, Llc Automated extended depth of field imaging apparatus and method
US8279267B2 (en) * 2009-03-09 2012-10-02 Mediatek Inc. Apparatus and method for capturing images of a scene
RU2529661C2 (ru) * 2009-05-12 2014-09-27 Конинклейке Филипс Электроникс Н.В. Камера, система, содержащая камеру, способ работы камеры и способ обращения свертки записанного изображения
JP5393300B2 (ja) * 2009-07-06 2014-01-22 キヤノン株式会社 撮像装置
US20110091125A1 (en) * 2009-10-15 2011-04-21 General Electric Company System and method for imaging with enhanced depth of field
US20110090327A1 (en) * 2009-10-15 2011-04-21 General Electric Company System and method for imaging with enhanced depth of field
CN102308569B (zh) 2009-12-07 2014-11-12 松下电器产业株式会社 摄像装置以及其控制方法
JP5588461B2 (ja) 2009-12-07 2014-09-10 パナソニック株式会社 撮像装置および撮像方法
JP5868183B2 (ja) * 2010-06-15 2016-02-24 パナソニック株式会社 撮像装置及び撮像方法
WO2012063449A1 (ja) * 2010-11-08 2012-05-18 パナソニック株式会社 撮像装置、撮像方法、プログラム、および集積回路
EP2461198A3 (en) * 2010-12-01 2017-03-08 BlackBerry Limited Apparatus, and associated method, for a camera module of electronic device
EP2472853A1 (en) * 2011-01-03 2012-07-04 STMicroelectronics (Grenoble 2) SAS Imaging device with ambient light sensing means
WO2012105222A1 (ja) 2011-01-31 2012-08-09 パナソニック株式会社 画像復元装置、撮像装置及び画像復元方法
US9888225B2 (en) 2011-02-04 2018-02-06 Koninklijke Philips N.V. Method of recording an image and obtaining 3D information from the image, camera system
CN103348276B (zh) 2011-03-02 2016-04-06 松下电器产业株式会社 摄像装置、半导体集成电路以及摄像方法
EP2688284B1 (en) * 2011-03-14 2017-10-25 Panasonic Corporation Imaging device, imaging method, integrated circuit, and computer program
US8890995B2 (en) * 2011-04-15 2014-11-18 Panasonic Corporation Image pickup apparatus, semiconductor integrated circuit and image pickup method
US9413944B2 (en) * 2011-04-22 2016-08-09 Blackberry Limited Apparatus and method for controlling a camera in an electronic device
US9057871B2 (en) 2011-05-16 2015-06-16 Panasonic Intellectual Property Management Co., Ltd. Set of compound lenses and imaging apparatus
US8764633B2 (en) 2011-08-12 2014-07-01 Intuitive Surgical Operations, Inc. Feature differentiation image capture unit and method in a surgical instrument
US8672838B2 (en) 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument
US8734328B2 (en) 2011-08-12 2014-05-27 Intuitive Surgical Operations, Inc. Increased resolution and dynamic range image capture unit in a surgical instrument and method
US8784301B2 (en) * 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
WO2013054527A1 (ja) 2011-10-12 2013-04-18 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法
TWI528833B (zh) * 2011-11-09 2016-04-01 鴻海精密工業股份有限公司 立體攝像裝置
CN103163716B (zh) * 2011-12-19 2017-02-22 鸿富锦精密工业（深圳）有限公司 立体摄像装置
US20150036008A1 (en) * 2012-03-26 2015-02-05 Nokia Corporation Method, Apparatus and Computer Program Product for Image Stabilization
WO2013158456A1 (en) * 2012-04-17 2013-10-24 E-Vision Smart Optics, Inc. Systems, devices, and methods for managing camera focus
US9288377B2 (en) * 2012-05-02 2016-03-15 Semiconductor Components Industries, Llc System and method for combining focus bracket images
JP5934940B2 (ja) * 2012-05-17 2016-06-15 パナソニックＩｐマネジメント株式会社 撮像装置、半導体集積回路および撮像方法
EP2677363A1 (en) * 2012-06-20 2013-12-25 bioMérieux An optical device including a camera, a diaphragm and illumination means
US8830380B2 (en) * 2012-06-28 2014-09-09 International Business Machines Corporation Depth of focus in digital imaging systems
US9191578B2 (en) * 2012-06-29 2015-11-17 Broadcom Corporation Enhanced image processing with lens motion
WO2014050188A1 (ja) * 2012-09-27 2014-04-03 富士フイルム株式会社 撮像装置及び画像処理方法
US9521355B2 (en) * 2012-12-04 2016-12-13 Samsung Electronics Co., Ltd. Image processing apparatus, image processing method and program thereof
US8983176B2 (en) 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
US9105550B2 (en) * 2013-01-11 2015-08-11 Digimarc Corporation Next generation imaging methods and systems
US9136300B2 (en) * 2013-01-11 2015-09-15 Digimarc Corporation Next generation imaging methods and systems
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
CN103491308A (zh) * 2013-10-10 2014-01-01 珠海市魅族科技有限公司 图像数据的采集方法和终端
JP5895270B2 (ja) * 2014-03-28 2016-03-30 パナソニックＩｐマネジメント株式会社 撮像装置
US9449234B2 (en) 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
US9196027B2 (en) 2014-03-31 2015-11-24 International Business Machines Corporation Automatic focus stacking of captured images
US9538065B2 (en) 2014-04-03 2017-01-03 Qualcomm Incorporated System and method for multi-focus imaging
US9300857B2 (en) 2014-04-09 2016-03-29 International Business Machines Corporation Real-time sharpening of raw digital images
CN103929591B (zh) * 2014-04-22 2017-06-20 苏州比特速浪电子科技有限公司 图像处理装置
JP6317635B2 (ja) * 2014-06-30 2018-04-25 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
US9749532B1 (en) 2014-08-12 2017-08-29 Amazon Technologies, Inc. Pixel readout of a charge coupled device having a variable aperture
US9646365B1 (en) 2014-08-12 2017-05-09 Amazon Technologies, Inc. Variable temporal aperture
US9787899B1 (en) 2014-08-12 2017-10-10 Amazon Technologies, Inc. Multiple captures with a variable aperture
US9854188B2 (en) * 2015-12-16 2017-12-26 Google Llc Calibration of defective image sensor elements
CN107800947A (zh) * 2016-09-02 2018-03-13 中兴通讯股份有限公司 一种拍摄方法和终端
US11606517B1 (en) 2021-06-07 2023-03-14 Waymo Llc Enhanced depth of focus cameras using variable apertures and pixel binning

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5307170A (en) * 1990-10-29 1994-04-26 Kabushiki Kaisha Toshiba Video camera having a vibrating image-processing operation
US5838374A (en) * 1994-11-25 1998-11-17 Sanyo Electric Co., Ltd. Autofocus video camera that can compensate for variation in the amount of load on a mobile unit of a linear motor in a focus operation
US6320979B1 (en) * 1998-10-06 2001-11-20 Canon Kabushiki Kaisha Depth of field enhancement
US20020122132A1 (en) * 2000-08-17 2002-09-05 Mitsuharu Ohki Image processing apparatus, image processing method and storage medium
US20050146633A1 (en) * 2004-01-06 2005-07-07 Alex Kuo Focus control apparatus for digital imaging device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0887600A (ja) * 1994-09-19 1996-04-02 Topcon Corp 特徴抽出装置
US20010013895A1 (en) * 2000-02-04 2001-08-16 Kiyoharu Aizawa Arbitrarily focused image synthesizing apparatus and multi-image simultaneous capturing camera for use therein
DE102004007608A1 (de) 2004-02-10 2005-08-25 Martin Baumhaus Verfahren zur Gewinnung von Bildern mit unendlicher, erweiterter oder modifizierter Tiefenschärfe

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5307170A (en) * 1990-10-29 1994-04-26 Kabushiki Kaisha Toshiba Video camera having a vibrating image-processing operation
US5838374A (en) * 1994-11-25 1998-11-17 Sanyo Electric Co., Ltd. Autofocus video camera that can compensate for variation in the amount of load on a mobile unit of a linear motor in a focus operation
US6320979B1 (en) * 1998-10-06 2001-11-20 Canon Kabushiki Kaisha Depth of field enhancement
US20020122132A1 (en) * 2000-08-17 2002-09-05 Mitsuharu Ohki Image processing apparatus, image processing method and storage medium
US20050146633A1 (en) * 2004-01-06 2005-07-07 Alex Kuo Focus control apparatus for digital imaging device

Also Published As

Publication number Publication date
WO2008008152A2 (en) 2008-01-17
US7711259B2 (en) 2010-05-04
US20080013941A1 (en) 2008-01-17
TW200832033A (en) 2008-08-01
WO2008008152A3 (en) 2008-02-28

Similar Documents

Publication Publication Date Title
TWI406079B (zh) 用於增加成像器景深之方法以及裝置
US10554904B2 (en) Automated extended depth of field imaging apparatus and method
US10419694B2 (en) Method and apparatus for imaging an object
EP0679021B1 (en) Automatic camera exposure control using variable exposure index CCD sensor
US9113086B2 (en) Multi-step exposed image acquisition method by electronic shutter and photographing apparatus using the same
JP5645846B2 (ja) 焦点調節装置及び焦点調節方法
JP2010226157A (ja) カメラおよび画像補正方法
JP2018072554A (ja) 撮像装置および焦点調節方法
JP4348118B2 (ja) 固体撮像素子及び撮影装置
US10812704B2 (en) Focus detection device, method and storage medium, for controlling image sensor operations
JP2006208443A (ja) オートフォーカス装置
JP2018056886A (ja) 撮像装置及び撮像方法
JP2005033766A (ja) デジタル画像を自動的に後処理する方法および装置
JP2008076981A (ja) 電子カメラ
JP6373145B2 (ja) 撮像装置および電子補正方法
JP2017009815A (ja) 焦点検出装置、焦点検出方法、およびカメラシステム
JP2009232348A (ja) 撮像装置、距離情報取得方法、画像処理方法及び光学系の駆動制御方法
JP2020036091A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2013055434A (ja) 撮像装置
JP2019186631A (ja) 撮像装置および撮像方法
JP6149345B2 (ja) 撮影装置および画質調整方法
JP7337602B2 (ja) 撮像装置、コンピュータプログラム及び記憶媒体
JP4007794B2 (ja) 撮像装置およびその露出制御方法
JP2010122358A (ja) オートフォーカス装置、オートフォーカス方法及び撮像装置
JP6626332B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees