TW201400964A - 用於影像處理的成像系統及其方法 - Google Patents

用於影像處理的成像系統及其方法 Download PDF

Info

Publication number
TW201400964A
TW201400964A TW101147576A TW101147576A TW201400964A TW 201400964 A TW201400964 A TW 201400964A TW 101147576 A TW101147576 A TW 101147576A TW 101147576 A TW101147576 A TW 101147576A TW 201400964 A TW201400964 A TW 201400964A
Authority
TW
Taiwan
Prior art keywords
image
lens
frame
focus
focus position
Prior art date
Application number
TW101147576A
Other languages
English (en)
Other versions
TWI474096B (zh
Inventor
Ilya Blayvas
Noam Sorek
Ilia Vitsnudel
Original Assignee
Broadcom Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Broadcom Corp filed Critical Broadcom Corp
Publication of TW201400964A publication Critical patent/TW201400964A/zh
Application granted granted Critical
Publication of TWI474096B publication Critical patent/TWI474096B/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本發明涉及利用透鏡移動的增強影像處理。一種示範性成像系統，透過在影像曝光期間，在透鏡在所定義的焦距範圍內移動時，採集影像資訊進行操作，其中，在處理影像時，透過使用透鏡移動的曲線，可產生具有擴展景深的聚焦影像。

Description

用於影像處理的成像系統及其方法
本發明涉及影像處理，具體地，涉及利用透鏡移動的增強影像處理。
拍攝照片時，攝影師透過使用各種透鏡或透過調節與記錄圖片的照相機內的點相距的快門尺寸和/或透鏡距離，控制焦點距離。該焦點距離為與照相機相距的距離，其中，相對於圖片的剩餘部分，最大化聚焦物體。焦點距離周圍為實質上至少在某個閾值電平之上聚焦的區域。圖片可被調節為具有某些聚焦區域和某些模糊區域。例如，可使得特定距離處的物體聚焦，而使得在其他距離處的物體模糊。或者，圖片可從特定的距離、直到特定的距離、或者在兩個距離之間被聚焦。通常，適當清晰度的聚焦區域被稱為景深。
本發明提供了如下成像系統、成像方法和電腦可讀介質：(1)一種成像系統，包括：成像透鏡，可調節至不同的焦距；影像感測器，被配置為從所述成像透鏡接收影像資訊；在所述影像感測器的單個影像框曝光的持續時間期間改變透鏡焦點位置的機構；以及處理電路，被配置為：增強所述影像感測器採集的影像中的清晰影像內容；以及 在所述影像感測器所採集的一個或多個影像曝光期間，改變所述透鏡焦點位置的同時，由所述一個或多個影像獲得距離圖。
(2)根據(1)所述的成像系統，其中，採集包括第一框和第二框的兩個影像框之後，所述處理電路產生場景的所述距離圖，其中，對於所述第一框，所述透鏡焦點位置以第一速度曲線改變，並且在所述第二框內，所述透鏡焦點位置以不同的速度曲線改變。
(3)根據(1)所述的成像系統，其中，在所述單個影像框的曝光整合期間，所述透鏡在與到對準焦點的物體的距離的子範圍對應的焦點位置的預定義子範圍內移動。
(4)根據(1)所述的成像系統，其中，採集包括第一框和第二框的兩個影像框之後，所述處理電路產生場景的所述距離圖，其中，對於所述第一框，在所述第一框曝光期間，所述透鏡焦點位置以第一變化速率連續改變，其中對於所述第二框，在所述第二框曝光期間，所述透鏡焦點位置在相反方向上以不同的變化速率連續改變，其中，所述處理電路被進一步配置為透過結合距離圖資訊和增強的影像產生立體影像。
(5)根據(1)所述的成像系統，進一步包括用於所述影像感測器每個像素的單獨的區分的快門，其中，每個像素快門與所述透鏡的變化的透鏡焦點位置同步，並且在特定像素的設定透鏡焦點位置被啟動以產生對準焦點的像素資料的採集。
(6)根據(1)所述的成像系統，其中，所述處理電路被進一步配置為確定自動對焦設置，以用於透過採集包括第一框和第二框的兩個影像框，以從所述成像裝置到物體的特定距離，採集後續影像場景，其中，對於所述第一框，在所述第一框曝光期間，所述透鏡焦點位置以第一變化速率連續改變，並且對於第二框，在所述第二框曝光期間，所述透鏡焦點位置以不同的變化速率連續改變，其中，在所述第一框和所述第二框期間採集的所述影像 資訊的比較，將要使用的透鏡焦點位置識別為自動對焦設置，用於改變從所述成像裝置到所述場景中的物體的距離。
(7)根據(1)所述的成像系統，其中，在所述單個影像框曝光期間，所述透鏡焦點位置改變的範圍是用戶可配置的。
(8)一種成像方法，包括：在透鏡在定義的焦掃描內移動時，在第一影像框曝光期間採集影像資料；以及利用在所述曝光期間使用的焦掃描上整合的點擴散函數(PSF)，對所述影像資料反卷積，以產生具有擴展景深的校正影像，而無需散焦像素資料。
(9)根據(8)所述的成像方法，其中，在所述第一影像框曝光期間，以不均勻的速率改變所述焦掃描的速度。
(10)根據(8)所述的成像方法，進一步包括：在定義的第二焦掃描內，在相鄰的第二影像框曝光期間，採集同一影像場景的影像資料，其中，所述第二焦掃描包括與所述第一焦掃描相同的透鏡焦點位置範圍；以及比較所述第二影像框的影像資料和所述第一影像框的影像資料，以在所述同一影像場景的所述透鏡焦點位置範圍內，識別像素的最清晰焦深位置。
(11)根據(10)所述的成像方法，其中，在所述第一焦掃描中使用的透鏡移動的速度曲線與在所述第二焦掃描中使用的透鏡移動的速度曲線不同。
(12)根據(10)所述的成像方法，其中，在所述第一焦掃描中使用的透鏡移動的曲線與在所述第二焦掃描中使用的透鏡移動的曲線相同。
(13)根據(10)所述的成像方法，進一步包括在識別所述像素的所述最清晰焦深位置之後，產生所述同一影像場景的距離圖。
(14)根據(13)所述的成像方法，進一步包括透過結合距離圖資訊和所述校正影像產生立體影像。
(15)根據(10)所述的成像方法，進一步包括：儲存與從所述透鏡到所述影像場景中與所識別的最清晰焦深位置對應的物體的距離相關聯的透鏡焦點位置，作為自動對焦設置；以及在後續影像採集中，使用儲存的所述自動對焦設置以從所述透鏡到所述影像場景內物體的同一距離採集物體的場景，其中，所述自動對焦設置包括儲存的所述透鏡焦點位置。
(16)根據(8)所述的成像方法，進一步包括在特定像素的設定透鏡焦點位置，同步啟動用於影像感測器的每個像素的單獨快門，這將產生對準焦點的像素資料的採集。
(17)一種永久性電腦可讀介質，儲存處理器可執行的成像程式，所述程式包括：在透鏡在定義的焦掃描內移動時，在第一影像框曝光期間採集影像資料的代碼；在定義的第二焦掃描內，在相鄰的第二影像框曝光期間，採集同一影像場景的影像資料，其中，所述第二焦掃描包括與所述第一焦掃描相同的透鏡焦點位置範圍的代碼；以及比較所述第二影像框的影像資料和所述第一影像框的影像資料，以在所述同一影像場景的所述透鏡焦點位置範圍內，識別像素的最清晰的焦深位置的代碼。
(18)根據(17)所述的電腦可讀介質，所述程式進一步包括：儲存與從所述透鏡到所述影像場景中與所識別的最清晰焦深位置對應的物體的距離相關聯的透鏡焦點位置，作為自動對焦設置的代碼；以及在後續影像採集中，使用所儲存的自動對焦設置以從所述透 鏡到所述同一影像場景內物體的相同距離採集物體的場景，其中，所述自動對焦設置包括儲存的所述透鏡焦點位置的代碼。
(19)根據(17)所述的電腦可讀介質，所述程式進一步包括在識別在其各自最清晰的透鏡焦點位置像素的深度位置之後，產生所述同一影像場景的距離圖的代碼。
(20)根據(17)所述的電腦可讀介質，所述程式進一步包括在特定像素的設定透鏡焦點位置，同步啟動用於影像感測器的每個像素的單獨快門，這將產生對準焦點的像素資料的採集的代碼。
100‧‧‧影像處理電路
101‧‧‧影像感測器(感測器)
102‧‧‧快門
103‧‧‧前端處理邏輯
104‧‧‧管線處理邏輯
105‧‧‧控制邏輯
106‧‧‧顯示器
107‧‧‧編碼器
108‧‧‧記憶體
109‧‧‧閃光燈
110‧‧‧透鏡
113‧‧‧透鏡移動邏輯(透鏡移動)
114‧‧‧曝光邏輯(曝光)
115‧‧‧自動對焦邏輯(自動對焦)
116‧‧‧距離圖邏輯(距離圖)
150‧‧‧成像裝置
405‧‧‧電子裝置
405a‧‧‧智慧型電話電子裝置
405b‧‧‧平板電子裝置
406c‧‧‧筆記型電腦
405d‧‧‧數位攝影機電子裝置
410‧‧‧輸入/輸出埠
420‧‧‧處理器
440‧‧‧儲存裝置
450‧‧‧網路裝置
502~508、602~609、702~709、802~804‧‧‧步驟
f‧‧‧透鏡焦距
D‧‧‧透鏡到影像感測器的距離
L‧‧‧距離
圖1為根據本發明的成像裝置的影像處理電路的範例性實施方式的方塊圖。
圖2為顯示根據本發明的成像裝置的透鏡焦距(focal length)、焦點距離(focal distance)、以及透鏡到對準焦點的物體的距離之間的關係的示意圖。
圖3至圖4為顯示根據本發明實施方式的在影像框的一系列曝光期間成像透鏡隨著時間的移動速率的圖表的示意圖。
圖5A至圖5E為顯示根據本發明實施方式的用於處理影像資料的範例性電子裝置的方塊圖。
圖6至圖9為描述根據本發明的影像處理方法的各種實施方式的流程圖。
本發明涉及各種裝置、方法、電腦可用介質、以及處理器，其被設計為在進行框曝光的過程中，利用照相機鏡頭移動進行影像處理和/或確定最佳的影像聚焦設置。作為一個可能的實例，在定義的範圍內移動透鏡的過程中所採集的影像資訊可用於抽取景深擴展的聚焦影像，作為數位相機、數位攝影機或其他成像裝置內的影像處理管線的一部分。此外，影像處理管線可從所採集的 影像資訊中抽取自動對焦資訊和/或產生距離圖(或深度圖)，其中，在曝光單個框或相鄰框的過程中，可使用透鏡移動的不同曲線。本領域的技術人員會認識到，所公開的技術也可用於其他背景以及應用中。對於嵌入式裝置內的相機而言，例如，數位相機、數位攝影機、行動電話、個人數位助理(PDA)、平板電腦、可攜式音樂播放器、以及桌上型電腦或筆記型電腦，諸如本文中所公開的那些技術可提高影像品質。
為了獲取影像資料，數位成像裝置可包括影像感測器，該影像感測器提供多個光檢測元件(例如，光探測器)，其被配置為將影像感測器所檢測的光轉換成電信號。影像感測器還可包括濾色器陣列，該濾色器陣列過濾影像感測器所採集的光，以便採集顏色資訊。影像感測器所採集的影像資料然後可由影像處理管線電路處理，影像處理管線電路可將多個不同的影像處理操作用於影像資料以產生全色影像或一系列視訊框，可顯示該全色影像或視訊框序列用於在顯示裝置或螢幕上查看。
參看圖1，顯示了用於影像採集或成像裝置150的影像處理電路100的一個實施方式的方塊圖。顯示的成像裝置150可裝配有數位相機，其被配置為獲取靜止影像和活動影像(例如，視訊)。裝置150可包括透鏡110和一個或多個影像感測器(感測器)101，該影像感測器被配置為採集光並且將光轉換成電信號。僅僅透過實例，影像感測器可包括CMOS(complementary metal-oxide-semiconductor，互補金屬氧化物半導體)影像感測器(例如，CMOS主動式像素感測器(APS))或CCD(電荷耦合器件)感測器。
在某些實施方式中，閃光燈(flash)光源(例如，發光二極體)109也可被設置在透鏡110附近，以有助於在黑暗的環境中提供光。如果成像裝置150檢測到環境光不夠亮，從而不能恰當地將影像曝光，那麼成像裝置150啟用閃光燈109並且拍攝照片。
在某些實施方式中，影像處理電路100可包括各種子元件和/ 或邏輯或電路的離散元件，其共同形成影像處理“管線(pipeline)”，用於執行各種影像處理步驟中的每個步驟。這些子元件可透過使用硬體(例如，數位信號處理器或ASICs(application-specific integrated circuits，專用積體電路))或軟體，或者透過組合硬體和軟體元件實施。影像處理電路100可提供各種影像處理操作。
此外，影像處理電路100可包括前端處理邏輯或電路103、管線處理邏輯或電路104、以及控制邏輯或電路105。影像感測器101可包括濾色器陣列(例如，Bayer濾波器)並且因此可提供影像感測器101的每個成像像素所採集的光強度以及波長資訊，以提供可由前端處理邏輯103處理的一組原始影像資料。
在某些實施方式中，影像處理電路內可採用單個透鏡110和單個影像感測器101。然而在其他實施方式中，可採用多個透鏡110和多個影像感測器101。在一個實施方式中，影像感測器101操作每個像素單元的電子快門(shutter)102。因此，像素單元的電子快門102可允許每個單元在單獨的起點和終點時間接收和整合輸入光。
而且，成像裝置150的實施方式可具有多個操作模式，使得一個模式可允許成像裝置150產生景深擴展的影像；第二模式可允許成像裝置150產生距離圖，第三模式可允許成像裝置150確定自動對焦設置，等等。成像裝置150的實施方式可探用從裝置的介面元件可選擇的操作模式。介面元件可包括從顯示器106可選擇的圖形介面元件、或從成像裝置150的外殼可選擇的或可切換的機械按鈕或開關、或用於透過其他程式和/或應用程式進行控制的應用程式介面。
前端處理邏輯103也可從記憶體108接收像素資料。例如，原始像素資料可從影像感測器101被發送到記憶體108中。然後，位於記憶體108內的原始像素資料可被提供給前端處理邏輯103 進行處理。
(從影像感測器101或從記憶體108)接收到原始影像資料時，前端處理邏輯103可執行一個或多個影像處理操作。然後，處理過的影像資料可被提供給管線處理邏輯104，用於在(例如，在顯示裝置106上)顯示之前進行額外處理，或者可被發送到記憶體108。管線處理邏輯104直接從前端處理邏輯103或從記憶體108接收“前端”處理資料，並且根據具體情況，在原始域內以及在RGB和YCbCr顏色空間內，可提供對影像資料的額外處理。然後，由管線處理邏輯104處理的影像資料可被輸出到用於用戶查看的顯示器106(或取景器)，和/或進一步由圖形引擎處理。此外，管線處理邏輯104的輸出可被發送到記憶體108，並且顯示器106可從記憶體108讀取影像資料。而且，在某些實施方式中，管線處理邏輯104也可包括編碼器107，例如，壓縮引擎，編碼器107用於在顯示器106讀取之前、在記憶體108內儲存之前、或者透過網路進行傳輸之前，對影像資料編碼。
編碼器107可以是用於編碼靜止影像的JPEG(聯合影像專家組)壓縮引擎、用於編碼視訊影像的H.264壓縮引擎、或者用於靜止影像或視訊的另一種編碼器。而且，應注意的是，管線處理邏輯104也可從記憶體108接收原始影像資料。
控制邏輯105可包括處理器和/或微型控制器，被配置為執行一個或多個程式(例如，韌體)，這些程式可被配置為確定成像裝置150的控制參數以及管線處理邏輯104的控制參數。僅僅透過實例，控制參數可包括感測器控制參數、照相機閃光燈控制參數、透鏡控制參數(例如，用於進行聚焦或變焦的透鏡組的位置、曝光長度或持續時間、焦掃描範圍等等)、快門控制參數、或影像感測器101的這種參數的組合。控制參數也可包括影像處理命令，例如，對管線處理邏輯104的顏色調節、自動白平衡、自動對焦、自動曝光、景深擴展、距離圖、透鏡位置、快門控制以及立體圖。 控制參數可進一步包括管線處理邏輯104的多工信號或命令。基於某些操作模式的啟動，可啟動控制參數和邏輯的實施。
控制邏輯105可進一步包括透鏡移動邏輯(透鏡移動)或電路113。透鏡移動邏輯113的實施方式根據用戶命令和/或處理器命令控制透鏡110的移動。處理器可使用各種技術實施透鏡移動。一種技術包括在單個框曝光期間，將透鏡110從最小的焦點位置移動到最大的焦點位置。在另一個實施方式中，移動範圍可以是最小的焦點位置和最大的焦點位置之間的焦掃描範圍內的子範圍。因此，在各種實施方式中，在單個影像框曝光整合期間，透鏡110在與到對準焦點的物體的距離的子範圍對應的焦點位置的某個子範圍內移動，以便提高影像品質、距離圖解析度或者所產生的其他優點。
圖2為顯示透鏡焦距(focal length)f、透鏡到影像感測器的距離(後文中稱為焦點距離)D、以及透鏡到焦點對準的物體(object in focus)的距離L之間的關係的示意圖。薄透鏡方程式(equation)將這些距離聯繫為：
透過(1)，可獲得到焦點對準的物體的距離的方程式：
例如，如果透鏡的焦距為f=20公釐(mm)，並且焦點距離為D=20 mm，那麼將透鏡聚焦到無窮大，這表示遠端物體在影像上最清晰(最突出)。
表1包括透鏡與影像平面之間的實例距離(以公釐(millimeter)計)以及與場景內清晰物體相距的相應距離(以公尺(M，meter)計)，透鏡的焦距為f=20 mm。表1僅僅進行說明，真實透鏡的實際資料不同並且隨著不同的透鏡焦距和類型而變化。表1表示，為了掃描(sweep)與焦點對準的物體相距的0.42M到無窮大的距離，必須在從21 mm到20 mm的範圍內掃描透鏡位置；而為了掃描與焦點對準的物體相距的1M到2M的距離，必須在從20.4 mm到20.2 mm的範圍內掃描透鏡位置。
在不同的實施方式中，在掃描的過程中透鏡110移動的速度可以是均勻的速度或者可變化的速度。而且，對於相鄰框而言，與針於前一框透鏡的移動相比，透鏡110可在相反的方向上移動和/或以相反的速率移動。這表示，在第一掃描中，透鏡在焦點範圍的起點處移動慢，並且在焦點範圍的終點處移動快；並且在第二掃描中，透鏡在焦點範圍的終點處移動慢，並且在焦點範圍的起點處移動快。因此，在透鏡110移動時對於框所採集的影像資訊或資料需要包括在全透鏡範圍中(或者透鏡移動預先定義的範圍)任何指定的場景距離處聚焦的影像資訊。因此，所獲得的影像將包含在任意不同距離的所有物體的聚焦影像。然而，所獲得影像將也包含散焦分量(defocus component)，這是因為對於任何物距(object distance)而言，在曝光期間，透鏡也處於與散焦影像對應的位置。在框曝光期間，透過使用與透鏡110的移動曲線對應的模糊內核，對所採集的影像資訊反卷積(deconvolving)，從而產生具有擴展景深的影像。
對於透鏡110移動的實施方式，可使用從透鏡移動邏輯113接收信號並且促使透鏡110移入和/或移出或轉入和/或轉出的驅動器或其他機構。成像裝置所使用的另一個可能的技術為透過曝光邏輯(曝光)或電路114控制啟動影像感測器101的快門，包括同步單獨像素快門的啟動與透鏡110的移動。每個單獨像素對準焦點 (in focus)時，在與特定的距離範圍的透鏡位置對應的時間間隔內，或者透過與透鏡位置對應的先前確定的距離圖，可啟動單獨的像素快門。在一個實施方式中，自動對焦邏輯(自動對焦)或電路115產生有關影像的焦點資料並且透過電機、驅動器或回應於命令移動透鏡110的其他機構，基於焦點資料(focus data)調節透鏡110的焦點。而且，在一個實施方式中，距離圖邏輯(距離圖)或電路116使用透鏡移動，基於所採集的影像資料，產生距離圖。
如上所述，成像裝置150可具有促使實施特定的裝置邏輯和/或成像裝置參數或設置的不同的操作模式。在一種模式下，在單個框曝光期間使用透鏡移動，產生具有焦深擴展的影像。在一種技術中，在單個框曝光期間，相機鏡頭110從與最小的聚焦距離對應的預先定義位置移動到與最大的聚焦距離對應的位置。這就允許從預先定義的範圍中採集影像資訊，該資訊在任何距離都具有聚焦的影像資訊。換言之，該場景中所有的物體在透鏡經過的焦掃描範圍內的某個點處對準焦點(in focus)，並且被包含在所採集的影像資訊內。因此，所採集的影像資訊包含整個焦掃描採集的像素資料的聚焦資訊和模糊資訊。因此，在一個實施方式中，在透過管線處理邏輯104進行後處理時，對所採集的影像進行反卷積處理，允許從所採集的影像資訊的模糊部分中抽取聚焦的影像資訊。
在一個實施方式中，在框曝光的過程中，透鏡移動速度的允許支援假設對準焦點的焦距。因此，在被認為或假設與聚焦的採集影像資訊對應的焦掃描子範圍期間，透鏡110的移動速率可降低，並且在假設與散焦或模糊的採集影像資訊對應的焦掃描子範圍期間，移動速率可提高。同樣，在一種操作模式下，採集影像時，特定的焦距(或者透鏡焦點位置)可比其他焦距具有更大的興趣。例如，採集物件的肖像時，包含該物件的影像的前景可是感興趣的，而該影像的背景可是不感興趣。因此，掃描與前景對 應的焦距的速率比與背景資訊對應的焦距的速率低。因此，對於感興趣部分而言，可獲得的更大量的影像資訊。
而且，在一種操作模式下，對於焦點區域或感興趣的範圍而言，可執行景深擴展處理。並未在全焦掃描範圍內掃描透鏡110，而是可以在對感興趣的子集或有限焦點掃面範圍內掃描或移動透鏡，其中，感興趣的範圍可由用戶設置或根據相機設置推測。例如，在拍攝肖像影像的情況下，可使用該場景內前景區域所需要的焦掃描範圍，並且可選擇該場景內的背景區域所需要的範圍不包含在焦掃描內。
然後，在焦距(或透鏡焦點位置)所定義的範圍上進行焦掃描期間，對在移動透鏡110的過程中所採集的影像資訊進行後處理期間，成像裝置參數可包含與在影像曝光期間所使用的焦掃描的速度以及距離對應的模糊內核或預先設計的移動曲線。
在一種操作模式下，在曝光影像框期間，使用透鏡移動，管線處理邏輯104產生具有擴展景深的二維(2D)或平面影像。在一種替換模式下，在一個影像框或一系列影像框曝光期間，使用透鏡移動，管線處理邏輯104可產生距離圖。具體而言，在移動透鏡期間，透過考慮從相鄰的框中所採集的影像資訊，管線處理邏輯104的一個實施方式產生距離圖。在某些實施方式中，管線處理邏輯104可使用距離圖以及所採集的影像產生立體影像。
在一種技術中，焦掃描的速度從掃描起點處的慢速變成掃描終點處的快速，如圖3中所示。具體而言，在一個實施方式中，圖3為顯示在影像框(框0、框1、框2等等)的一系列曝光期間透鏡110隨著時間的移動速率的圖表的示意圖。在圖3中，第一圖表表示在第一框(框0)曝光期間，透鏡的移動速率，第二圖表表示在第二相鄰的框(框1)曝光期間，透鏡(在相反的方向)的移動速率。如圖中所示，框0的焦掃描內所使用的透鏡移動的速度曲線相對於框1的焦掃描內所使用的透鏡移動的速度曲線對稱。
由在相鄰的曝光過程中所採集的清晰影像資訊與模糊影像資訊的相對能量，在這兩個曝光過程中所採集的影像資訊允許估算每個像素的深度。所採集的影像資訊的清晰部分的更低的相對能量與透鏡110更快的速度對應，而更高的相對能量與透鏡110更慢的速度對應。結果，由於對於影像的每個像素而言，透鏡110穿過其最清晰的焦點位置，並且由清晰內容與模糊內容的相對能量，以及透過透鏡110的移動曲線，可估算該最清晰的焦點位置，所以可抽取影像場景的距離圖。因此，在距離圖內，基於對相鄰框曝光的影像資訊的分析，在後處理的過程中獲得的焦點影像資訊可被定位在適當的深度。
在一個實施方式中，可預先確定並且提前校準向前的透鏡移動和向後的透鏡移動的每個焦點距離處的點擴散函數。而且，在一個實施方式中，在反卷積的過程中要使用的模糊內核或點擴散函數可由所產生的距離圖構造。如本領域的技術人員理解的，透過分析場景的距離圖以及識別模糊區域上的對準焦點的區域，可明確構造該場景的反向模糊內核。因此，所構造的模糊內核可用於進行反卷積，以便在後續影像採集中，從模糊影像中抽取清晰影像。與使用盲目的反卷積技術相比，明確反卷積的這種處理可改善結果並且改善影像。
例如，在處理的過程中，可確定場景中的某些物體在第一影像內對準焦點，而在第二相鄰影像內未對準焦點或模糊，其中第一影像以更慢的透鏡移動在對焦到無窮遠的區域內獲得，第二影像以更快的透鏡移動在與無窮遠對焦對應的區域內更快。因此，可確定這些物體被置於距離圖上的無窮遠焦點距離處。然而，如果確定該場景內的物體在這兩個影像內具有相似的清晰度，那麼可確定這些物體處於中間焦點距離。相對地，如果物體在第二影像內明顯或清晰而在第一影像框內模糊，那麼可確定這些物體在接近關於成像裝置150的焦點距離處，其中第二影像在在附近物 體上對焦期間以慢透鏡移動獲得，第一影像框在在附近物體上對焦期間以快透鏡移動獲得。因此，由這兩個框，並且透過分析這兩個框上所採集的場景的子區域的每個像素，管線處理邏輯104可估算從成像裝置150到子區域或物體的距離。所確定的這個距離可用於將物體定位在距離圖內和/或用於後續影像採集的自動對焦。
在一個實施方式中，除了產生定義影像內每個像素的深度的距離圖，管線處理邏輯104還產生立體圖，該立體圖內的像素根據距離圖偏置。因此，該距離圖可用於將2D影像轉換成3D影像。而且，在一個實施方式中，透鏡移動的非對稱速度曲線也可用於計算焦點設置。如圖4中所示，為了提高由影像資訊計算焦點設置的精度，可使用透鏡移動所描述的非對稱曲線，其中，第一焦掃描內使用的透鏡移動的速度曲線與第二焦掃描內使用的透鏡移動的速度曲線不同。具體而言，在一個實施方式中，圖4為顯示在影像框(框0、框1、框2等等)的一系列曝光期間透鏡110隨著時間的移動速率的圖表的示意圖。
考慮相鄰的框0和1。在框0中，透鏡110在焦掃描的起點處(‘透鏡位置’軸的低部分)移動慢，並且在掃描的終點處移動快。在框1中，透鏡以相反的速率移動，其中，透鏡在焦掃描的終點處(‘透鏡位置’軸的高部分)移動慢，並且在焦掃描的起點處移動快。因此，如果特定的像素在框0中剛好更清晰，並且在框1中不太清晰，那麼該像素與焦掃描的起點對應(由於該像素在框0內具有更長的結合時間並且在框1內具有更短的結合時間)，並且反之亦然。精確地剖析、計算以及校準透鏡移動，並且測量相鄰框的每個像素的清晰和模糊部分的相對能量，從而允許計算每個像素的銳聚焦的精確深度位置，並且即時產生距離圖計算。具體而言，使用框曝光期間使用的各個透鏡移動的曲線，透過將相鄰框中的任一個反卷積可獲得校正影像資訊。
除了使用透鏡移動產生距離圖以外，透鏡移動也可用於獲得進行自動對焦操作的關鍵資訊。由對圖4中顯示的透鏡移動的以上討論，精確地剖析、計算以及校準透鏡移動，並且測量相鄰框的每個像素的清晰和模糊部分的相對能量，從而允許在每個像素的銳聚焦期間計算精確的焦距。因此，使用後處理，優選地對影像進行光學聚焦，而不提高影像品質時，銳聚焦所計算的焦距設置可用於為後續影像採集在最佳的焦距處定位透鏡110。
在一種不同的操作模式下，分析圖4中所示的透鏡移動以及分析相鄰的影像採集之後，也可獲得自動對焦參數。通常，透鏡移動的範圍朝著與聚焦影像相應的焦距聚合。在某些實施方式中，在採集的兩個框之後，可識別與聚焦影像對應的透鏡位置。
在一種操作模式下，透過分析所產生的距離圖以及透過控制每個像素的快門活動，可進行自動對焦。因此，焦距與像素的聚焦位置對應時，透過分析場景的距離圖，可在焦掃描內移動透鏡110，並且由於每個像素具有一個分辨式電子快門102，所以在適當的時間引發或展現每個像素的曝光。因此，可將特定像素所使用的設置焦距儲存在記憶體108內。
在一種不同的操作模式下，電子快門102可與焦掃描同步。例如，在一個場景中，到場景物體的距離可隨著影像感測器101內的像素的影像行變化。同樣，該影像的低行可與場景中更近的物體對應，而高行與場景中更遠距離的物體對應，這是由於透過位於該場景的下側的地面或地板拍攝的影像為自然的透視圖。在這種操作模式下，在一個實施方式中，快門102可為滾動式快門，與對影像的最後幾行完成曝光相比，這些快門對影像的首先幾行完成曝光的時間更早。因此，透過同步焦掃描和快門102，每個影像行恰當的透鏡位置對準焦點。
記住以上幾點，圖5A為顯示可使用上文中簡要描述的一個或多個影像處理技術處理影像資料的電子裝置405的實例的方塊 圖。電子裝置405可為任何類型的電子裝置，例如，筆記型或桌上型電腦、行動電話、平板電腦、數位媒體播放器等等，這種電子裝置被配置為接收並處理影像資料，例如使用一個或多個影像傳感元件獲取的資料。
此外，無論使用哪種形式(例如，可攜式或非可攜式)，應理解的是，可提供電子裝置405用於使用上文中簡要描述的一個或多個影像處理技術處理影像資料。在某些實施方式中，電子裝置405可將這種影像處理技術用於電子裝置405的記憶體內所儲存的影像資料中。在其他實施方式中，電子裝置405可包括諸如集成或外部數位相機的一個或多個成像裝置150，被配置為獲取影像資料，然後，可由電子裝置405使用一個或多個上述影像處理技術處理這些影像資料。
如圖5A中所示，電子裝置405可包括對裝置405的功能做出貢獻的各種內部和/或外部元件。本領域的普通技術人員會理解，圖5A中所示的各種功能塊可包括硬體元件(包括電路)、軟體元件(包括電腦可讀介質上儲存的軟體代碼)、或硬體和軟體元件的組合。
在目前所闡述的實施方式中，電子裝置405可包括輸入/輸出(I/O)埠410、一個或多個處理器或微控制器420、記憶體裝置108、非揮發性記憶體440、網路裝置450、電源(例如，電池)、以及顯示器106。此外，電子裝置405可包括一個或多個成像裝置150(例如，數位相機)和包括處理管線104和編碼器107的影像處理電路100。下面會進行進一步的討論，處理影像資料時，影像處理電路100可被配置為執行一個或多個上述影像處理技術。可理解的是，由影像處理電路100處理的影像資料可從記憶體108和/或非揮發性儲存裝置440中檢索，或者可使用成像裝置150可獲取。
在繼續之前，應理解的是，圖5A中所示的裝置405的系統方 塊圖旨在是描述可包含在這種裝置405內的各種元件的高級控制圖。即，圖5A中所示的每個單獨的元件之間的連接線未必表示資料流程過的或者在該裝置405的各種元件之間傳輸資料的路徑或方向。實際上，如下所述，在某些實施方式中，所描述的處理器420可包括多個處理器(例如，主處理器(例如，CPU))以及專用的影像和/或視訊處理器。在這種實施方式中，影像資料的處理主要由這些專用處理器處理，從而從主處理器(CPU)中有效地卸載這種任務。此外，該處理器尤其還可執行適合於透過透鏡移動邏輯113控制透鏡110的移動、透過曝光邏輯114控制光圈和/或快門102的操作、透過自動對焦邏輯115確定自動對焦設置、以及透過距離圖邏輯116產生距離圖的程式。
在各種實施方式中，電子裝置405可包括各種平臺。舉例而言，在圖5B中顯示智慧型電話電子裝置405a，其中，除了其他元件(例如，顯示器、處理器420等等)，智慧型電話405a還包括至少一個成像裝置或感測器101、處理管線104(例如，景深擴展處理、自動對焦處理、距離圖處理、立體成像處理等等)、至少一個編碼擴展器107、電子快門元件102、電源、以及網路裝置450。智慧型電話405a可經由網路裝置450透過行動通訊網路，將無線信號發送給基地台、外部終端和伺服器中的至少一個，或者從其接收無線信號。
而且，在圖5C中顯示了平板電子裝置405b，其中，除了其他元件(例如，顯示器、處理器420等等)，平板電腦405b還包括至少一個成像裝置或感測器101、至少一個編碼器107、電源、以及網路裝置450。然後，在圖5D中顯示了筆記型電腦406c，其中，除了其他元件(例如，顯示器、處理器420等等)，筆記型電腦406c還包括至少一個成像裝置或感測器101、至少一個透鏡110、快門102、至少一個編碼器107。具體而言，在各種實施方式中，處理器420可包括透鏡移動邏輯113、曝光邏輯114、自動 對焦(AF)邏輯115、距離圖邏輯116。
而且，圖5E中顯示了數位相機電子裝置405d，其中，除了其他元件(例如，顯示器、處理器420等等)，數位相機405d還包括至少一個成像裝置或感測器101、處理管線104(例如，景深擴展處理、自動對焦處理、距離圖處理、立體成像處理等等)、至少一個編碼器107、電子快門元件102、電源以及網路裝置450。因此，電子裝置的各種平臺可與各種實施方式的編碼器107和移動控制元件282結合。
接下來，參看圖6，圖6顯示提供了根據各種實施方式的影像處理電路100的部分的操作的一個實例的流程圖。要理解的是，圖6的流程圖僅僅提供了可用於實施本文中所描述的影像處理電路100的部分的操作的多種不同類型的功能佈局的一個實例。作為替換，圖6的流程圖可視為描述根據一個或多個實施方式的電子裝置405內實施的方法的動作或部分的實例。
從動作(步驟)502開始，成像裝置150的成像處理電路100提供成像管線用於處理所採集的影像資料並利用透鏡移動產生具有擴展景深的影像。如動作504中所描述的，在透鏡110在定義的焦掃描內移動時，在影像框曝光期間採集影像資料。成像處理電路100存取與點擴散函數或模糊內核對應的透鏡移動曲線，其中在曝光期間所使用的透鏡移動。在各種實施方式中，透鏡移動的速度可以是均勻的或可沿著透鏡移動的範圍是變化的。而且，在某些實施方式中，焦距的掃描是可配置的或可調節的。採集單個框的影像資訊之後，使用點擴散函數(PSF)對影像資訊反卷積，該點擴散函數描述在曝光期間所使用的焦距的範圍上整合(integrate)的散焦模糊，如動作506中所述。因此，對於動作508而言，使用所採集的影像資料將PSF反卷積之後，無需散焦模糊或散焦影像深度位置，就可產生校正的影像。
接下來，參看圖7，圖7顯示提供了根據各種實施方式的影像 處理電路100的部分的操作的一個實例的流程圖。從動作602開始，成像裝置150的成像處理電路100提供成像管線用於處理所採集的影像資料並利用透鏡移動產生距離圖。如動作604所描述的，在透鏡110在定義的焦掃描內移動時，在影像框曝光期間，採集第一影像框的影像資料。相對的，對於動作605而言，在透鏡110在定義的焦掃描內以不同的速度曲線移動時，在相鄰影像框曝光期間，採集第二影像框的影像資料。估算從這兩次曝光中採集的影像資訊，並且彼此進行比較，以便識別(607)影像場景內像素最清晰的焦深位置。然後，在識別像素的深度位置之後，在其最清晰的焦距或透鏡焦點位置抽取(609)或產生該場景的距離圖。
圖8顯示提供了根據各種實施方式的影像處理電路100的部分的操作的一個實例的流程圖。從動作702開始，成像裝置150的成像處理電路100提供成像管線用於處理所採集的影像資料並利用透鏡移動產生自動對焦設置或參數。如動作704中所述，在透鏡110在定義的焦掃描內移動時，在影像框曝光期間，採集第一影像框的影像資料。相對地，透過動作705，在透鏡110在定義的焦掃描內以不同的速度曲線移動時，採集第二相鄰影像框的影像資料。由這兩個框，由管線處理邏輯104分析這兩個框上所採集的場景子區域的每個像素，以便確定(707)在特定的深度位置產生最清晰的影像的焦距(或透鏡焦點位置)。然後，將該確定的焦距儲存(709)為自動對焦設置或參數用於後續影像採集的自動對焦。
接下來，圖9顯示提供了根據各種實施方式的影像處理電路100的部分的操作的一個實例的流程圖。從動作802開始，成像裝置150的成像處理電路100由在後續影像曝光期間採集的相鄰影像框以及焦掃描內的透鏡移動，產生距離圖。對於同一個場景中的後續影像採集，透鏡110沿著用於距離圖的相同位置範圍移動， 使得在透鏡110移動到每個像素的聚焦位置時(如由距離圖所示)，在後續影像的影像採集期間，啟動或打開(804)像素的曝光。
流程圖中的任何處理描述或方塊應理解為表示包括用於執行該處理中特定的邏輯功能或步驟的一個或多個可執行的指令的代碼的部分、模組或段，並且替換的實施方式包含在本發明實施方式的範圍內，其中，本領域的技術人員會理解的是，根據所包含的功能，可不按照所顯示的或所討論的順序(包括大致同時地或按照相反的順序)執行功能。
本發明的某些實施方式可以以硬體、軟體、韌體或其任意組合實施。範例性實施方式以儲存在記憶體內並且由合適的指令執行系統執行的軟體或韌體實施。如果以硬體實施，那麼透過在本領域中熟知的以下技術中的任何一個或組合，可使用一個替換的實施方式：具有對資料信號執行邏輯功能的邏輯門的離散邏輯電路、具有適當的組合的邏輯門的專用積體電路(ASIC)、可程式閘陣列(PGA)、現場可程式閘陣列(FPGA)等等。
在本申請的上下文中，“電腦可讀介質(medium)”可為任意介質，其可包含、儲存、傳送或輸送由指令執行系統、設備或裝置使用的或與其結合使用的程式。電腦可讀介質可為例如但不限於電子、磁性、光學、電磁、紅外線或半導體系統、設備或裝置。電腦可讀介質更多的特定實例(非排他性的清單)包括以下元件：具有一個或多個電線的電連接(電子)、快閃記憶體或其他固態記憶體、隨機存取記憶體(RAM)(電子)，唯讀記憶體(ROM)(電子)、可抹除可程式唯讀記憶體(EPROM)(電子)、光纖(光學)、以及可攜式光碟唯讀記憶體(CDROM)(光學)。此外，某些實施方式的範圍包括在硬體或軟體配置的介質內所包含的邏輯內體現實施方式的功能。
應強調的是，以上描述的實施方式僅僅為實施的可能實例， 僅為了清晰地理解本發明的原理而進行闡述。在實質上不背離本發明的精神和原理的情況下，可對上述實施方式進行多種變化和修改。所有這種修改和變化旨在包含在本文中本發明的範圍內，並且受以下申請專利範圍的保護。
100‧‧‧影像處理電路
101‧‧‧影像感測器
102‧‧‧電子快門
103‧‧‧前端處理邏輯
104‧‧‧管線處理邏輯
105‧‧‧控制邏輯
106‧‧‧顯示器
107‧‧‧編碼器
108‧‧‧記憶體
109‧‧‧閃光
110‧‧‧透鏡
113‧‧‧透鏡移動邏輯
114‧‧‧曝光邏輯
115‧‧‧自動對焦邏輯
116‧‧‧距離圖邏輯
150‧‧‧成像裝置

Claims (10)

  1. 一種成像系統，包括：成像透鏡，可調節至不同的焦距；影像感測器，被配置為從所述成像透鏡接收影像資訊；在所述影像感測器的單個影像框曝光的持續時間期間改變透鏡焦點位置的機構；以及處理電路，被配置為：增強所述影像感測器採集的影像中的清晰影像內容；以及在所述影像感測器所採集的一個或多個影像曝光期間，改變所述透鏡焦點位置的同時，由所述一個或多個影像獲得距離圖。
  2. 根據申請專利範圍第1項所述的成像系統，其中，採集包括第一框和第二框的兩個影像框之後，所述處理電路產生場景的所述距離圖，其中，對於所述第一框，所述透鏡焦點位置以第一速度曲線改變，並且在所述第二框內，所述透鏡焦點位置以不同的速度曲線改變。
  3. 根據申請專利範圍第1項所述的成像系統，其中，在所述單個影像框的曝光整合期間，所述透鏡在與到對準焦點的物體的距離的子範圍對應的焦點位置的預定義子範圍內移動。
  4. 根據申請專利範圍第1項所述的成像系統，其中，採集包括第一框和第二框的兩個影像框之後，所述處理電路產生場景的所述距離圖，其中，對於所述第一框，在所述第一框曝光期間，所述透鏡焦點位置以第一變化速率連續改變，其中對於所述第二框，在所述第二框曝光期間，所述透鏡焦點位置在相反方向上以不同的變化速率連續改變，其中，所述處理電路被進一步配置為透過結合距離圖資訊和增強的影像產生立體影像。
  5. 根據申請專利範圍第1項所述的成像系統，進一步包括用於所述影像感測器每個像素的單獨的區分的快門，其中，每個像素 快門與所述透鏡的變化的透鏡焦點位置同步，並且在特定像素的設定透鏡焦點位置被啟動以產生對準焦點的像素資料的採集。
  6. 根據申請專利範圍第1項所述的成像系統，其中，所述處理電路被進一步配置為確定自動對焦設置，以用於透過採集包括第一框和第二框的兩個影像框，以從所述成像裝置到物體的特定距離，採集後續影像場景，其中，對於所述第一框，在所述第一框曝光期間，所述透鏡焦點位置以第一變化速率連續改變，並且對於第二框，在所述第二框曝光期間，所述透鏡焦點位置以不同的變化速率連續改變，其中，在所述第一框和所述第二框期間採集的所述影像資訊的比較，將要使用的透鏡焦點位置識別為自動對焦設置，用於改變從所述成像裝置到所述場景中的物體的距離。
  7. 一種成像方法，包括：在透鏡在定義的焦掃描內移動時，在第一影像框曝光期間採集影像資料；以及利用在所述曝光期間使用的焦掃描上整合的點擴散函數，對所述影像資料反卷積，以產生具有擴展景深的校正影像，而無需散焦像素資料。
  8. 根據申請專利範圍第7項所述的成像方法，進一步包括：在定義的第二焦掃描內，在相鄰的第二影像框曝光期間，採集同一影像場景的影像資料，其中，所述第二焦掃描包括與所述第一焦掃描相同的透鏡焦點位置範圍；以及比較所述第二影像框的影像資料和所述第一影像框的影像資料，以在所述同一影像場景的所述透鏡焦點位置範圍內，識別像素的最清晰焦深位置。
  9. 根據申請專利範圍第8項所述的成像方法，進一步包括：儲存與從所述透鏡到所述影像場景中與所識別的最清晰 焦深位置對應的物體的距離相關聯的透鏡焦點位置，作為自動對焦設置；以及在後續影像採集中，使用儲存的所述自動對焦設置以從所述透鏡到所述影像場景內物體的同一距離採集物體的場景，其中，所述自動對焦設置包括儲存的所述透鏡焦點位置。
  10. 根據申請專利範圍第7項所述的成像方法，進一步包括在特定像素的設定透鏡焦點位置，同步啟動用於影像感測器的每個像素的單獨快門，這將產生對準焦點的像素資料的採集。
TW101147576A 2012-06-29 2012-12-14 用於影像處理的成像系統及其方法 TWI474096B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/538,029 US9191578B2 (en) 2012-06-29 2012-06-29 Enhanced image processing with lens motion

Publications (2)

Publication Number Publication Date
TW201400964A true TW201400964A (zh) 2014-01-01
TWI474096B TWI474096B (zh) 2015-02-21

Family

ID=49777731

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101147576A TWI474096B (zh) 2012-06-29 2012-12-14 用於影像處理的成像系統及其方法

Country Status (3)

Country Link
US (1) US9191578B2 (zh)
CN (1) CN103516988B (zh)
TW (1) TWI474096B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9525814B2 (en) 2014-10-12 2016-12-20 Himax Imaging Limited Automatic focus searching using focal sweep technique
TWI627487B (zh) * 2014-05-16 2018-06-21 宏達國際電子股份有限公司 手持式電子裝置、圖像擷取裝置及其圖像擷取方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9894269B2 (en) * 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
US10063757B2 (en) * 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
US9509919B2 (en) * 2014-11-17 2016-11-29 Duelight Llc System and method for generating a digital image
US9552630B2 (en) * 2013-04-09 2017-01-24 Honeywell International Inc. Motion deblurring
KR102068748B1 (ko) * 2013-07-31 2020-02-11 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 영상 재생 장치 및 방법
TWI503613B (zh) * 2014-01-21 2015-10-11 Realtek Semiconductor Corp 鏡頭自動對焦方法及相關的相機晶片
CN103795933B (zh) * 2014-03-03 2018-02-23 联想(北京)有限公司 一种图像处理方法及电子设备
WO2015191998A1 (en) * 2014-06-12 2015-12-17 Duke University Systyem and method for improved computational imaging
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
US9426362B2 (en) * 2015-01-16 2016-08-23 Mems Drive, Inc. Three-axis OIS for super-resolution imaging
US10033917B1 (en) * 2015-11-13 2018-07-24 Apple Inc. Dynamic optical shift/tilt lens
TWI585507B (zh) * 2015-12-02 2017-06-01 鴻海精密工業股份有限公司 鏡頭馬達對焦曲線的校正方法及裝置
KR102547104B1 (ko) * 2016-09-06 2023-06-23 삼성전자주식회사 전자 장치 및 복수의 영상을 처리하는 방법
CN107238395A (zh) * 2017-08-01 2017-10-10 珠海市微半导体有限公司 移动机器人的光流里程传感系统及其景深调整方法
CN110909570B (zh) * 2018-09-17 2024-07-23 黄剑鸣 头部图像动态扑捉设备
WO2020190602A1 (en) * 2019-03-18 2020-09-24 Corning Incorporated Enhanced imaging device using liquid lens, embedded digital signal processor, and software
KR102597470B1 (ko) * 2019-06-05 2023-11-03 삼성전자주식회사 뎁스 맵 결정 방법 및 그 방법을 적용한 전자 장치
US10984513B1 (en) * 2019-09-30 2021-04-20 Google Llc Automatic generation of all-in-focus images with a mobile camera
TWI730749B (zh) * 2020-05-05 2021-06-11 崑山科技大學 陣列式3d影像建置裝置及其方法
CN114979498B (zh) * 2021-02-20 2023-06-30 Oppo广东移动通信有限公司 曝光处理方法、装置、电子设备及计算机可读存储介质
CN114903507B (zh) * 2022-05-16 2023-06-09 张海光 一种医学图像数据处理系统及方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6201899B1 (en) * 1998-10-09 2001-03-13 Sarnoff Corporation Method and apparatus for extended depth of field imaging
JP4496463B2 (ja) * 2004-03-29 2010-07-07 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
US7493030B2 (en) * 2005-06-24 2009-02-17 Nokia Corporation Adaptive optical plane formation with rolling shutter
EP1946180B1 (en) * 2005-11-02 2012-12-12 Koninklijke Philips Electronics N.V. Optical system for 3-dimensional display
US7711259B2 (en) * 2006-07-14 2010-05-04 Aptina Imaging Corporation Method and apparatus for increasing depth of field for an imager
TWM321664U (en) 2007-04-19 2007-11-01 Ming-Tsuen Chen Automatic focusing surveillance video camera with dual CCD
US8724013B2 (en) * 2007-12-27 2014-05-13 Qualcomm Incorporated Method and apparatus with fast camera auto focus
US8451338B2 (en) * 2008-03-28 2013-05-28 Massachusetts Institute Of Technology Method and apparatus for motion invariant imaging
TWI440949B (zh) 2008-07-21 2014-06-11 Univ Nat Changhua Education Photographic lens control method
JP5254822B2 (ja) * 2009-01-26 2013-08-07 キヤノン株式会社 撮像装置及びその制御方法
JP5522757B2 (ja) * 2009-05-12 2014-06-18 コーニンクレッカ フィリップス エヌ ヴェ カメラ、カメラを有するシステム、カメラを動作させる方法及び記録された画像をデコンボリュートする方法
US8412036B2 (en) * 2009-12-07 2013-04-02 Panasonic Corporation Imaging apparatus and method of controlling the apparatus
CN102472619B (zh) * 2010-06-15 2014-12-31 松下电器产业株式会社 摄像装置及摄像方法
JP4869430B1 (ja) 2010-09-24 2012-02-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
EP2640056A4 (en) * 2010-11-08 2015-07-15 Panasonic Ip Man Co Ltd IMAGE FORMING DEVICE, IMAGE FORMING METHOD, PROGRAM, AND INTEGRATED CIRCUIT
US9888225B2 (en) * 2011-02-04 2018-02-06 Koninklijke Philips N.V. Method of recording an image and obtaining 3D information from the image, camera system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI627487B (zh) * 2014-05-16 2018-06-21 宏達國際電子股份有限公司 手持式電子裝置、圖像擷取裝置及其圖像擷取方法
US9525814B2 (en) 2014-10-12 2016-12-20 Himax Imaging Limited Automatic focus searching using focal sweep technique
TWI578081B (zh) * 2014-10-12 2017-04-11 恆景科技股份有限公司 運用掃焦技巧的自動焦點搜尋方法與相關圖像擷取裝置

Also Published As

Publication number Publication date
TWI474096B (zh) 2015-02-21
CN103516988A (zh) 2014-01-15
CN103516988B (zh) 2017-04-26
US9191578B2 (en) 2015-11-17
US20140002606A1 (en) 2014-01-02

Similar Documents

Publication Publication Date Title
TWI474096B (zh) 用於影像處理的成像系統及其方法
US10264174B2 (en) Photographing apparatus and focus detection method using the same
TWI538512B (zh) 調整對焦位置的方法及電子裝置
JP5486317B2 (ja) 画像を拡張する二重レンズカメラの操作
JP5150651B2 (ja) 多様なモードにおいて操作可能なマルチレンズカメラ
US9300858B2 (en) Control device and storage medium for controlling capture of images
US10511781B2 (en) Image pickup apparatus, control method for image pickup apparatus
KR102336447B1 (ko) 촬영 장치 및 그 동작 방법
US9076214B2 (en) Image acquisition apparatus and image processing apparatus using selected in-focus image data
US9106837B2 (en) Image capturing device and image capturing method
WO2017045558A1 (zh) 景深调节方法、装置及终端
KR20170106325A (ko) 다중 기술 심도 맵 취득 및 융합을 위한 방법 및 장치
CN108024058B (zh) 图像虚化处理方法、装置、移动终端和存储介质
US20120307009A1 (en) Method and apparatus for generating image with shallow depth of field
JP2013005091A (ja) 撮像装置および距離情報取得方法
EP3213502B1 (en) Time extension for image frame processing
JP6377129B2 (ja) 画像撮像装置
CN107547789B (zh) 影像获取装置及其摄影构图的方法
KR102146856B1 (ko) 렌즈 특성 기반의 촬영 모드 제시 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 촬영 장치.
JP6645711B2 (ja) 画像処理装置、画像処理方法、プログラム
KR20140031690A (ko) 촬영 장치 및 이의 촬영 방법
JP2013042375A (ja) 撮像装置および距離情報取得方法
KR20160123757A (ko) 이미지 촬영 장치 및 이미지 촬영 방법
JP2010130314A (ja) 撮像装置
TWI566002B (zh) 影像擷取裝置及其自動對焦方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees