TW202332255A - 影像感測器、影像處理系統及其操作方法 - Google Patents

影像感測器、影像處理系統及其操作方法 Download PDF

Info

Publication number
TW202332255A
TW202332255A TW111147209A TW111147209A TW202332255A TW 202332255 A TW202332255 A TW 202332255A TW 111147209 A TW111147209 A TW 111147209A TW 111147209 A TW111147209 A TW 111147209A TW 202332255 A TW202332255 A TW 202332255A
Authority
TW
Taiwan
Prior art keywords
lens
image
correction information
image sensor
pixels
Prior art date
Application number
TW111147209A
Other languages
English (en)
Inventor
田在桓
金泰賢
趙昶勳
片昌喜
Original Assignee
韓商愛思開海力士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 韓商愛思開海力士有限公司 filed Critical 韓商愛思開海力士有限公司
Publication of TW202332255A publication Critical patent/TW202332255A/zh

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本發明係關於影像感測器、影像處理系統及其操作方法。根據本發明的影像感測器包括透鏡，其被配置為接收光；預備操作執行器，其被配置為基於第一像素值之間的差產生位置校正資訊，第一像素值與用於透過透鏡接收的第一影像的光的第一微透鏡的像素相對應，以及透鏡位置控制器，其被配置為基於位置校正資訊改變用於第二影像的透鏡的位置。

Description

影像感測器、影像處理系統及其操作方法
本發明的各個實施方式整體上係關於影像處理系統，並且更具體地係關於影像感測器、影像處理系統及影像處理系統的操作方法。
影像感測器是透過使用對光作出反應的半導體來捕獲影像的裝置。電腦產業和通訊產業的發展導致了對於用於諸如智慧型手機、數位相機、遊戲裝置、物聯網、機器人、監控攝影機以及醫用微型攝影機等各種產品的影像感測器的需求增加。
影像感測器可以大致被分類為電荷耦合裝置（CCD）影像感測器或互補金屬氧化物半導體（CMOS）影像感測器。相比於CMOS影像感測器，CCD影像感測器具有更小的雜訊和更好的影像品質。然而，CMOS影像感測器具有簡單的驅動方法並且可以實施於各種掃描方法。另外，CMOS影像感測器可以與訊號處理電路整合在單個晶片上，從而使得產品的小型化容易，功率消耗非常低，並且因CMOS製程技術可以互換使用而使得製造成本低。因此，CMOS影像感測系統已被越來越多地用於行動裝置。
相關申請案的交叉引用： 本申請請求於2022年1月26日提交的韓國專利申請第10-2022-0011454號的優先權，其整體透過引用併入本文。
多種實施方式係關於影像處理系統和操作影像處理系統的方法，該影像處理系統透過經由預備操作獲得像素值之間的最大差來改變透鏡的位置以執行影像感測操作。
根據實施方式，一種影像感測器可以包括透鏡、預備操作執行器、以及透鏡位置控制器，其中，透鏡被配置為接收光，預備操作執行器被配置為基於關於透過透鏡接收的第一影像的光的第一像素值之間的差來產生位置校正資訊，第一像素值與第一微透鏡的像素相對應，以及透鏡位置控制器被配置為基於位置校正資訊來改變用於第二影像的透鏡的位置。
根據實施方式，一種影像處理系統可以包括透鏡、影像感測器和影像處理器。透鏡可以被配置為接收光以及將所接收的光傳輸到影像感測器中所包括的多個微透鏡。
影像感測器可以被配置為根據與多個微透鏡中的第一微透鏡相對應的像素之間的相位差來產生關於透過透鏡接收的測試影像的位置校正資訊。影像感測器可以被配置為基於位置校正資訊控制用於捕獲的影像的透鏡的位置。
影像處理器可以被配置為基於捕獲的影像的像素值執行解析度恢復操作以及輸出具有經恢復的解析度的高解析度影像。
根據實施方式，一種影像處理系統的操作方法可以包括在執行透鏡的透鏡擺動時感測測試影像；基於與影像感測器中的第一微透鏡的像素相對應的第一像素值之間的差，產生關於測試影像的位置校正資訊，以及基於位置校正資訊改變透鏡的位置。
根據實施方式，影像處理系統的操作方法可以包括在執行透鏡的透鏡擺動時感測測試影像。該方法可以包括偵測對焦位置和校正位置，其中，在對焦位置，與影像感測器中的第一微透鏡相對應的第一像素具有相同的相位；以及在校正位置，第一像素之間的相位差最大。
該方法還可以包括產生關於測試影像的位置校正資訊，該位置校正資訊包括關於透鏡從對焦位置移動到校正位置的移動距離和移動方向的資訊。該方法可以包括將透鏡的位置改變為與位置校正資訊相對應的位置。
在本說明書中揭露的特定結構和/或特定功能的描述只是為了描述根據本發明提供的概念的實施方式的示例而被舉例說明。所提供的實施方式的示例可以透過各種形式實施，但本發明不限於本說明書中所描述的實施方式的示例或其各種形式。
在下文中，將參考圖式對本發明的示例性實施方式進行詳細地描述，以便使得本領域的技術人員能夠容易地實施本發明的技術實質。
圖1是示出根據本發明實施方式的影像處理系統10的示例的圖。
參考圖1，影像處理系統10可以包括影像感測器100和影像處理器200。
影像處理系統10可以獲得影像。另外，影像處理系統10可以儲存、顯示或向外部裝置輸出透過處理影像而獲得的輸出影像。影像處理系統10可以根據主機的請求將輸出影像輸出到主機。
根據實施方式，影像處理系統10可以以封裝模組、或部件等形式實現，其可以包括硬體電路和/或諸如例如軟體指令和/或韌體指令的可執行指令。影像處理系統10可以被實施作為電子裝置的一部分，或者作為結合電子裝置使用的單獨單元。例如，電子裝置可以是數位相機、行動裝置、智慧型手機、個人電腦（PC）、平板電腦、筆記型電腦、個人數位助理（PDA）、企業數位助理（EDA）、便攜式多媒體播放機（PMP）、可穿戴裝置、黑盒子、機器人、或自動駕駛車輛等。
電子裝置還可以是例如成像裝置、便攜式攝影機（camcorder）、閉路電視（CCTV）、網路攝影機（webcam）、監控攝影機（security camera）、工業視覺相機（industrial vision camera）、車載視覺攝影機（in-vehicle vision camera）、機頂盒（set-top box）、遊戲機（game console）、電子詞典、電子書閱讀器、桌上型電腦、伺服器、MP3播放機、智慧型醫療裝置、電視、數位視訊光碟（DVD）播放機、音響、冰箱、空調、清潔器（cleaner）、烤箱、微波爐、洗衣機、空氣淨化器、智慧型鏡（smart mirror）、智慧型窗、電子鑰匙、電子相框、數位廣告牌、以及安全控制面板等。可穿戴裝置可以是智慧型手錶、環、手鐲、腳鐲、項鍊、眼鏡、隱形眼鏡（contact lens）、頭戴裝置（HMD）、護皮墊（skin pad）、紋身（tattoo）、或生物移植型電路等。
影像感測器100可以被實施為例如電荷耦合裝置（CCD）影像感測器、互補金屬氧化物半導體（CMOS）影像感測器或任何其他類型的影像感測器。影像感測器100可以產生用於透過透鏡812（圖8）輸入（或捕獲）的對象811（圖8）的影像資料。例如，透鏡812可以接收由對象發出的光和/或由對象811反射的光。透鏡812可以包括至少一個形成光學系統的透鏡。根據本發明的實施方式，透鏡812可以被包括在影像感測器100中，或者被提供在影像感測器100的外部。
影像感測器100可以包括用於產生對象的表現（捕獲的影像）的多個成像元件。成像元件可以使用例如CCD技術、CMOS技術或者其他形式的成像技術。影像感測器100可以產生與用於捕獲的影像的多個像素相對應的多個數位像素值DPXs。由影像感測器100產生的多個數位像素值DPXs可以傳輸到影像處理器200。也就是說，影像感測器100可以產生與相片或視訊的單個幀相對應的多個數位像素值DPXs。為了便於描述，術語“像素”可以指成像元素或捕獲的影像的元素。
影像處理器200可以處理從影像感測器100接收的像素資料，從而產生可以具有改進的影像品質的已處理的影像資料。該處理可以是電子影像穩定（EIS）、插值、色調校正、影像品質校正、或尺寸調整等。
如圖1所示，影像處理器200可以獨立於影像感測器100而實施。例如，影像感測器100和影像處理器200可以被實施為一個封裝（諸如，多晶片封裝）中的獨立的晶片，多晶片封裝包括用於影像感測器100的晶片和用於影像處理器200的晶片。在本發明的另一個實施方式中，影像處理器200和影像感測器100可以在單個晶片中。本發明的多種實施方式還可以具有影像感測器100和/或影像處理器200中的每一個作為多晶片。
根據實施方式，影像處理系統10還可以包括記憶體。記憶體可以被實施為例如非揮發性記憶體元件。例如，記憶體可以是如下多種記憶體元件之一，諸如只能讀取資料的唯讀記憶體（ROM）、只能寫入一次的一次性可程式（OTP）記憶體、可以抹除和寫入儲存的資料的可抹除可程式唯讀記憶體（EPROM）、NAND快閃記憶體以及NOR快閃記憶體。
圖2是示出根據本發明實施方式的圖1的影像感測器100的圖。
參考圖2，影像感測器100可以包括像素陣列110、列解碼器120、時序產生器130，以及訊號轉換器（signal transducer）140。
根據實施方式，像素陣列110可以包括色彩濾波器陣列111和光電轉換層113。光電轉換層113可以形成在例如色彩濾波器陣列111之下且包括與色彩濾波器陣列111的相應像素相對應的多個光電轉換元件。像素陣列110可以包括多個像素，該多個像素用於輸出包括在入射光中的色彩資訊。多個像素中的每一個可以輸出像素訊號，該像素訊號與通過相應的色彩濾波器陣列111的入射光相對應。
色彩濾波器陣列111可以包括色彩濾波器，色彩濾波器僅使入射在每個像素上的特定波長（例如，紅色、藍色或綠色）的光通過。在本發明中，色彩濾波器可以被表示為色彩通道。色彩濾波器陣列111可以允許每個像素的像素資料表示與特定波長的光的強度相對應的值。
更具體地，多個像素中的每一個可以積累根據入射光產生的光電荷，並且可以產生與積累的光電荷相對應的像素訊號。每個像素可以包括光電轉換元件（例如，光電二極體、光電電晶體、光電閘、以及鉗位光電二極體等）以將光訊號轉換成電訊號，並且至少一個電晶體被提供以處理電訊號。
像素陣列110可以包括在列方向和行方向上布置的多個像素。像素陣列110可以產生針對每個列的多個像素訊號VPXs。多個像素訊號VPXs例如可以是類比像素訊號。
列解碼器120可以回應於從時序產生器130輸出的位址和控制訊號在像素陣列110中選擇布置有多個像素的多個列中的一個列。
訊號轉換器140可以將多個類比像素訊號VPXs轉換成多個數位像素值DPXs。多個數位像素值DPXs可以以各種模式輸出。訊號轉換器140可以回應於從時序產生器130輸出的控制訊號而對從像素陣列110輸出的訊號執行例如相關二次取樣（CDS），以及可以對被執行CDS的訊號執行類比至數位轉換以輸出數位訊號。數位訊號中的每一個可以與通過相應的色彩濾波器陣列111的入射光的波長的強度相對應。
訊號轉換器140可以包括CDS塊（未示出）和類比至數位轉換器（ADC）塊（未示出）。CDS塊可以順序地取樣和保持被提供給包括在像素陣列110中的多個行線中的每一個行線的參考訊號和影像訊號集。也就是說，CDS塊可以取樣和保持與每一行相對應的影像訊號的位準和參考訊號的位準。ADC塊可以輸出像素資料，像素資料是透過將從CDS塊輸出的用於每一行的CDS訊號轉換成數位訊號而獲得的。為了輸出像素資料，ADC塊可以包括與每一行相對應的計數器和比較器。
另外，根據本發明實施方式的影像感測器100還可以包括輸出緩衝器150。輸出緩衝器150可以被實施為將從訊號轉換器140輸出的數位訊號進行儲存的多個緩衝器。更具體地，輸出緩衝器150可以將從訊號轉換器140提供的每一行的像素資料鎖存並輸出。輸出緩衝器150可以暫時地儲存從訊號轉換器140輸出的像素資料，且可以順序地輸出像素。根據本發明的另一個實施方式，影像感測器100可以不提供輸出緩衝器150。因此，一實施方式的影像感測器100可以直接從訊號轉換器140輸出數位像素值DPX，不使用輸出緩衝器150。
圖3是示出根據本發明實施方式的像素陣列和微透鏡的布置的示例的圖。
參考圖3，示出了其中一個微透鏡對應於用於偵測相同的色彩的四個相鄰像素的示例。參考圖3，四個綠色像素可以與一個微透鏡相對應。四個相鄰的紅色像素或四個相鄰的藍色像素也可以與一個微透鏡相對應。
如圖3所示，十六個像素可以與四個微透鏡相對應。微透鏡可以與被配置為偵測相同的色彩的四個像素的組相對應。例如，當紅色像素對應於一個微透鏡時，來自該微透鏡的光可以入射到紅色像素上，並且紅色像素的像素值可以被處理以獲得相位資訊。
四個藍色像素或四個綠色像素也可以與一個微透鏡相對應。以相同的方式，四個藍色像素或四個綠色像素也可以被處理以獲得相位資訊。
然而，本發明的實施方式不侷限於其中一個微透鏡對應於四個像素的示例。也就是說，與一個微透鏡相對應的像素的數量可以變化。因此，微透鏡可以被稱為與偵測相同的色彩的像素的組相對應。偵測色彩的像素可以被稱為具有相同的色彩的像素，或者被稱為有相同的色彩的像素。
因此，根據本發明實施方式的影像感測器100可以產生所有像素的像素值，像素值可以用於得到關於像素的相位資訊。
圖4是示出根據本發明實施方式的像素陣列和微透鏡的布置的示例的圖。
參考圖4，具有相同的色彩的九個相鄰像素可以與一個微透鏡相對應。與一個微透鏡相對應的像素的像素值中的每一個可以用於確定關於這些像素的相位資訊。
根據本發明，可以使用包括一個微透鏡與九個像素相對應的像素陣列的影像感測器。根據本發明的實施方式，與一個微透鏡相對應的像素的數量無需侷限於特定數量。微透鏡中的像素數量可以基於要求（諸如，例如影像清晰度）而進行設計。
圖5是示出根據本發明實施方式的像素陣列和微透鏡的布置的示例的圖。
如圖5所示，六十四個像素與四個微透鏡相對應，其中每個微透鏡與十六個像素相對應。與一個微透鏡相對應的像素可以彼此相鄰且具有相同的色彩。
圖3、圖4以及圖5僅示出了示例，且與一個微透鏡相對應的像素的數量可以不侷限於此。與微透鏡相對應的像素被分組在一起，並且可以稱其彼此相鄰（或相鄰像素），儘管微透鏡中的兩個像素可以不直接彼此相鄰。例如，在圖4中，儘管微透鏡的九個像素可以被稱為是相鄰像素，但頂列中的像素沒有直接地與底列的像素相鄰。另外地，與微透鏡相對應的像素可以被稱為微透鏡的像素。
圖6是示出根據本發明實施方式的像素陣列和微透鏡的布置的示例的圖。
參考圖6，一個微透鏡可以與四個像素相對應。另外，在圖6中，彼此相鄰的四個微透鏡可以全部對應於具有相同的色彩的像素。
根據實施方式，與一個微透鏡相對應的像素可以具有相同的色彩。而且，如圖6所示，四個鄰近的微透鏡可以全部具有相同的色彩的像素。
根據實施方式（圖8所示），像素陣列可以位於微透鏡（例如，813）之下。然而，本發明的多種實施方式不侷限於此。在微透鏡813與像素陣列之間可以存在一個或多個對象。
圖7是示出根據本發明實施方式的影像處理系統的示例的方塊圖。圖7示出了包括組件的影像處理系統的示例，且可以示出圖1中示出的影像處理系統10的實施方式。
參考圖7，影像感測器710可以產生影像資料，且影像處理器720可以接收影像資料並產生輸出影像。影像感測器710可以包括透鏡711、預備操作執行器712、透鏡位置控制器713以及儲存裝置714。
透鏡711可以收集從影像感測器710的外部接收的光。根據本發明的實施方式，透鏡711可以是光學透鏡。透鏡711可以將所接收的光傳輸到包括在影像感測器710中的多個微透鏡。
如圖7所示，在一個實施方式中，影像感測器710可以包括透鏡711。然而，在另一個實施方式中，透鏡711可以位於影像感測器710的外部。
預備操作執行器712可以基於關於透過透鏡711接收的第一影像的多個像素值之中的第一像素值之間的差產生位置校正資訊，第一像素值與第一微透鏡相對應。根據實施方式，第一微透鏡可以是包括在影像感測器710中的多個微透鏡中的一個。預備操作執行器712可以基於與微單元相對應且具有相同的色彩並彼此相鄰的多個像素的第一像素值產生位置校正資訊。
根據實施方式，第一影像例如可以是預先選擇的測試影像。測試影像可以被提供以測試影像感測器710。
當例如關於用於第一影像的微單元的第一像素值具有相同的值時，預備操作執行器712可以偵測透鏡711的對焦位置。當例如關於第一影像的第一像素值之間的差最大時，預備操作執行器712可以偵測透鏡711的校正位置。
根據另一個實施方式，預備操作執行器712可以基於關於多個微透鏡中的第一微透鏡的像素之間的相位差來產生關於透過透鏡711接收的測試影像的位置校正資訊。當例如關於測試影像的第一像素具有相同的相位時，預備操作執行器712可以偵測透鏡711的對焦位置。當例如關於測試影像的第一像素之間的相位差最大時，預備操作執行器712可以偵測透鏡711的校正位置。
預備操作執行器712可以產生關於第一影像的位置校正資訊，該位置校正資訊包括透鏡711已從對焦位置移動到校正位置的移動資訊。根據本發明的實施方式，預備操作執行器712可以基於第一像素值中的最大值和最小值之間的差偵測校正位置。根據另一個實施方式，預備操作執行器712可以基於第一像素值中的位於對角線方向的像素的像素值來偵測校正位置。
透鏡位置控制器713可以基於位置校正資訊而關於第二影像改變透鏡711的位置。透鏡位置控制器713可以基於關於第一影像的位置校正資訊將透鏡711從第二影像的對焦位置移動到與移動資訊相對應的位置。
根據實施方式，第二影像可以是捕獲的影像。捕獲的影像可以是由影像感測器710感測或捕獲的對象的實際影像。透鏡位置控制器713可以將透鏡711移動到第二影像的對焦位置。透鏡位置控制器713可以將透鏡711的位置移動到與位置校正資訊相對應的位置以獲得具有高解析度的可恢復的影像。
根據本發明的實施方式，預備操作執行器712可以基於與多個微透鏡中的第二微透鏡相對應的第二像素值產生邊緣校正資訊，第二微透鏡被配置為從第一影像的邊緣接收光。這也可以表達為具有位於第一影像的邊緣的第二微透鏡。透鏡位置控制器713可以基於邊緣校正資訊附加地移動已移動到與移動資訊相對應的位置的透鏡711。
根據實施方式，移動透鏡711的操作可以被稱為“執行透鏡擺動”或“透鏡擺動操作”。根據實施方式，在執行透鏡711的透鏡擺動時，影像感測器710可以感測或捕獲測試影像。透鏡711可以例如在預定的範圍內移動。透鏡711可以是被擺動到不是對焦位置的位置的透鏡。影像感測器710可以透過改變透鏡711的位置來獲得像素值。影像感測器710的像素值可以回應於透鏡711的移動而改變。影像感測器710可以基於透過執行透鏡711的透鏡擺動而獲得的像素值偵測對焦位置和校正位置。
影像感測器710可以將透鏡711的位置校正資訊儲存在儲存裝置714中。儲存裝置714可以包括非揮發性和/或揮發性記憶體裝置。影像感測器710可以更新儲存在儲存裝置714中的位置校正資訊。影像感測器710可以基於執行影像感測/捕獲操作和捕獲的影像的恢復操作的結果更新位置校正資訊。
影像處理器720可以基於捕獲的影像的像素值執行解析度恢復操作。影像處理器720可以輸出具有經恢復的解析度的高解析度影像。根據實施方式，當透鏡711的位置與對焦位置相對應時，像素之間可以沒有相位差，這可能使得難以執行高解析度影像恢復操作。當透鏡711移動到與關於測試影像的位置校正資訊相對應的位置時，由於從影像感測器710獲得的像素值之間的差可以是最大的，因此影像處理器720可以能夠執行高解析度影像恢復操作。
圖8是示出根據本發明實施方式的預備操作的操作方法的示例的圖。
參考圖8，示出了關於測試影像的透鏡812的對焦位置810和透鏡812的校正位置820。在圖8中，當透鏡的位置與對焦位置810相對應時，由於像素之間小的相位差或沒有相位差，可能難以執行高解析度影像恢復操作。當例如像素之間的相位差小於閾值時，可以不執行影像恢復。在多種實施方式中，閾值可以是預先確定的預設值，該預設值可以是固定的。在多種實施方式中，閾值可以是預先確定的預設值，該預設值可以是可調整的。
根據實施方式，高解析度影像恢復操作可以使用像素之間的相位差。由於對應於一個微透鏡有多個像素，在對焦位置810的像素可以具有相同的相位。因此，影像感測器可以透過執行透鏡擺動來偵測其中像素之間的相位差最大時的校正位置。換句話說，影像感測器710可以基於透過在預定範圍內移動透鏡（執行透鏡擺動）而獲得的像素值偵測其中像素之間的相位差最大時的校正位置。相位差例如可以是兩個像素之間的相位差。
關於對焦位置810，從對象811反射的光可以入射在透鏡812上。透鏡812可以將光傳輸到微透鏡813。然後光可以入射在像素陣列中的像素814上。
對焦位置810，對象811的不同影像可以在像素814上是組合的。因此，可能難以基於像素814的像素值執行對象811的恢復操作。
據實施方式，影像感測器710可透過執行透鏡擺動來感測測試影像。在校正位置820，從對象821反射的光可以透過透鏡812入射在微透鏡813上。光可以入射在像素陣列中的像素814上。
在校正位置820，對象821的不同影像可以在像素814上是分離的。因此，由於像素814可以具有不同的像素值，因此影像處理器720可以能夠執行高解析度影像恢復操作。
根據實施方式，在執行透鏡擺動時，影像感測器710可以偵測對焦位置810和校正位置820。與微透鏡813相對應的像素值相同時透鏡812的位置810可以是對焦位置810。與微透鏡813相對應的像素值之間的差最大時透鏡812的位置可以是校正位置820。
根據實施方式，影像感測器710可以產生位置校正資訊，該位置校正資訊指示與對焦位置810和校正位置820相對應的透鏡812的位置差830。位置校正資訊可以包括透鏡812從對焦位置810到校正位置820的移動資訊。根據另一個實施方式，位置校正資訊可以包括關於透鏡從對焦位置810到校正位置820的移動距離和移動方向的資訊。
根據另一個實施方式，影像感測器710可以透過擺動微透鏡813和與微透鏡813相對應的像素814的位置來感測測試影像，而不執行透鏡擺動。影像感測器710可以產生指示微透鏡813和像素814的位置的變化的位置校正資訊。這可以包括移動微透鏡813和像素814而不是移動透鏡812。
根據另一個實施方式，影像感測器710可以在擺動像素814和透鏡812的位置時感測測試影像。影像感測器710然後可以產生指示透鏡812和像素814的位置的變化的位置校正資訊。這可以包括移動透鏡812和像素814，而不移動微透鏡813。通常，透鏡812、微透鏡813或者像素814中的任何一個或更多個可以被移動以確定校正位置。
圖9是示出根據本發明實施方式的偵測對焦位置和校正位置的方法的示例的圖。
參考圖9，一個微透鏡可以與四個像素910相對應。四個像素910可以具有相同的色彩且彼此相鄰。在圖9中，預備操作執行器712可以基於綠色像素G11、G12、G21和G22的像素值產生位置校正資訊。
預備操作執行器712可以計算四個像素910中的最大值和最小值之間的差。根據實施方式，預備操作執行器712可以執行透鏡711的透鏡擺動以偵測四個像素910中的最大值和最小值之間的差最大時透鏡711的校正位置。例如，透鏡擺動可以導致發現在四個像素910中綠色像素G11可以具有最大值以及綠色像素G21可以具有最小值。因此，預備操作執行器712可以偵測G11和G21之間的差最大時透鏡711的位置作為校正位置。
根據另一個實施方式，預備操作執行器712可以計算位於四個像素910的對角線方向的像素之間的像素值差。預備操作執行器712可以透過對透鏡711進行透鏡擺動來計算G11和G22之間的像素值差和G12和G21之間的像素值差。預備操作執行器712可以計算兩個像素值差之間的平均值。預備操作執行器712可以基於與一個微透鏡相對應的像素中的位於對角線方向的像素的像素值來偵測透鏡711的校正位置。
圖9僅示出了一個微透鏡與四個像素910相對應的情况。然而，本發明不限於此。微透鏡可以例如包括九個像素、十六個像素或另一數量的像素。
圖10是示出根據影像中的位置附加地移動透鏡的方法的示例的圖。
參考圖10，與影像的中心1010相對應的位置校正資訊可以不同於與影像的邊緣1020相對應的位置校正資訊。由於透鏡可以具有圓形形狀，與利用與影像的中心1010相對應的位置校正資訊相比，透鏡711可以基於與影像的邊緣1020相對應的位置校正資訊移動更多。
根據本發明的實施方式，預備操作執行器712可以基於與多個微透鏡中的位於第一影像的邊緣的第二微透鏡相對應的第二像素值產生邊緣校正資訊。透鏡位置控制器713可以基於邊緣校正資訊附加地移動已移動到與移動資訊相對應的位置的透鏡711。
例如，當基於與第一影像相對應的位置校正資訊執行影像感測操作時，透鏡711的位置可以改變，第一影像可以是測試影像。位置校正資訊可以與影像的中心1010或影像的邊緣1020相對應。當基於與影像的中心1010相對應的位置校正資訊執行影像感測操作時，在影像的邊緣1020的像素之間的像素值差可以不是最大。
根據實施方式，預備操作執行器712可以產生邊緣校正資訊，邊緣校正資訊可以是與測試影像的邊緣1020相對應的位置校正資訊。透鏡位置控制器713可以根據例如基於邊緣校正資訊的位置校正資訊來附加移動待被改變的透鏡711的位置。
根據另一個實施方式，預備操作執行器712可以將與不同的微透鏡相對應的位置校正資訊儲存到例如儲存裝置714。所儲存的位置校正資訊可以與測試影像的中心1010或測試影像的邊緣1020相對應。預備操作執行器712可以透過使用例如多段所儲存的位置校正資訊的平均值來在影像感測操作期間將透鏡711的位置從對焦位置改變。
圖11是示出根據本發明實施方式的影像感測操作的示例的流程圖。
參考圖11，類似於例如圖7的影像處理系統的影像處理系統可以透過感測測試影像產生位置校正資訊，且在影像感測操作期間透過改變透鏡711的位置來獲得像素值。影像處理系統710可以使用所獲得的像素值來執行高解析度影像恢復操作。
在步驟S1110，影像感測器710可以在執行透鏡擺動時感測測試影像。影像感測器710可以透過改變透鏡711的位置感測測試影像。當透鏡711的位置改變時，由影像感測器710的像素陣列所收集的光的焦點可以改變。
在步驟S1120，預備操作執行器712可以執行透鏡擺動操作以產生關於測試影像的位置校正資訊。該資訊可以用於確定與被包括在影像感測器中的多個微透鏡中的第一微透鏡相對應的關於第一像素值的最大差。
因此，預備操作執行器712可以基於第一像素值之間的差產生位置校正資訊，在用於透過透鏡711接收的第一影像的多個像素值中，第一像素值與第一微透鏡相對應。根據實施方式，第一微透鏡可以是被包括在影像感測器710中的多個微透鏡中的一個。預備操作執行器712可以基於具有相同的色彩且彼此相鄰的多個像素的第一像素值產生位置校正資訊。
根據實施方式，第一影像可以是測試影像。測試影像可以被提供以測試影像感測器710。
在步驟S1130，透鏡位置控制器713可以在影像感測操作期間基於位置校正資訊改變透鏡711的位置。當執行影像感測操作時，透鏡711可以移動到關於捕獲的影像的對焦位置。在對焦位置獲得的影像的像素值的解析度可以在影像恢復操作期間被降低。透鏡位置控制器713可以基於透過感測測試影像而產生的位置校正資訊來改變透鏡711的位置。透鏡位置控制器713可以將透鏡711移動到與測試影像的位置校正資訊相對應的位置。光可以透過已改變位置的透鏡711被收集，並被傳輸到像素（諸如，例如像素814）。由於由影像感測器710產生的影像的像素值具有不同的相位，因此在影像恢復操作期間可以維持高解析度。
在步驟S1140，影像處理器720可以基於捕獲的影像的像素值恢復捕獲的影像的解析度並且可以輸出經恢復的影像。影像處理器720可以基於捕獲的影像的像素值執行解析度恢復操作。影像處理器720可以輸出具有經恢復的解析度的高解析度影像。
根據實施方式，由於所有像素的像素值包括相位資訊，因此即使在解析度恢復操作被執行時也可以維持感測影像的解析度。
圖12是示出根據本發明實施方式的預備操作的執行方法的示例的流程圖。
參考圖12，預備操作執行器712可以透過感測測試影像來產生透鏡711的位置校正資訊。
在步驟S1210，預備操作執行器712可以偵測透鏡的對焦位置，在對焦位置關於測試影像的具有相同的色彩且彼此相鄰的像素的第一像素值具有相同的值。根據另一個實施方式，預備操作執行器712可以基於與多個微透鏡中的第一微透鏡相對應的像素的相位差來產生關於透過透鏡711接收的測試影像的位置校正資訊。預備操作執行器712可以偵測透鏡711的對焦位置，在對焦位置關於測試影像的第一像素具有相同的相位。
在步驟S1220，預備操作執行器可以偵測校正位置，該校正位置是關於測試影像的第一像素值之間的差最大時透鏡的位置。根據另一個實施方式，預備操作執行器可以偵測校正位置，該校正位置是關於測試影像的第一像素之間的相位差最大時透鏡的位置。
預備操作執行器712可以產生關於第一影像的位置校正資訊，該位置校正資訊包括已從對焦位置移動到校正位置的透鏡711的移動資訊。根據實施方式，預備操作執行器712可以基於第一像素值中的最大值和最小值之間的差偵測校正位置。根據另一個實施方式，預備操作執行器712可以基於第一像素值中的位於對角線方向的像素的像素值來偵測校正位置。
在步驟S1230，預備操作執行器712可以偵測已從對焦位置移動到校正位置的透鏡711的移動資訊。根據另一個實施方式，位置校正資訊可以包括關於已從對焦位置移動到校正位置的透鏡711的移動距離和移動方向的資訊。
圖13是示出根據本發明實施方式的改變透鏡的位置的方法的示例的流程圖。
參考圖13，在影像感測操作期間，透鏡位置控制器713可以將透鏡711的位置從對焦位置改變。
在步驟S1310，透鏡位置控制器713可以將透鏡711移動到對焦位置。透鏡位置控制器713可以透過使用透過感測影像而獲得的像素值來將透鏡711的位置移動到像素具有相同的相位的對焦位置。
在步驟S1320，透鏡位置控制器713可以將透鏡711從關於捕獲的影像的對焦位置移動到與移動資訊相對應的位置。在感測影像的操作期間，透鏡位置控制器713可以基於關於測試影像的位置校正資訊來改變透鏡711的位置。
例如，在影像感測操作期間透鏡711的位置可以被改變得與透過感測測試影像從對焦位置變為校正位置一樣多。
在步驟S1330，影像感測器710可以執行影像感測操作。透過執行影像感測操作獲得的像素值之間的差可以最大。
圖14是示出根據本發明實施方式的附加改變透鏡的位置的方法的示例的流程圖。
參考圖14，在影像感測操作期間，透鏡位置控制器713可以附加地控制透鏡711的位置。
在步驟S1410，預備操作執行器712可以基於與多個微透鏡中的可以位於測試影像的邊緣的第二微透鏡相對應的像素值來產生邊緣校正資訊。
由於透鏡711可以具有圓形形狀，與對應於影像的中心的校正資訊相比，透鏡711基於與影像的邊緣相對應的位置校正資訊可以移動更多。當基於與影像的中心相對應的位置校正資訊執行影像感測操作時，在影像的邊緣的像素之間的像素值差可以不是最大的。
在步驟S1420，透鏡位置控制器713可以基於邊緣校正資訊附加地移動已移動到與移動資訊相對應的位置的透鏡711。
根據實施方式，預備操作執行器712可以產生邊緣校正資訊，邊緣校正資訊是與測試影像的邊緣相對應的位置校正資訊。透鏡位置控制器713可以根據基於邊緣校正資訊的位置校正資訊而附加地移動待被改變的透鏡711的位置。
根據另一個實施方式，預備操作執行器712可以將與不同的微透鏡相對應的位置校正資訊儲存在儲存裝置714中。所儲存的位置校正資訊可以與測試影像的中心和/或測試影像的邊緣相對應。預備操作執行器712可以透過使用多段所儲存的位置校正資訊的平均值來在影像感測操作期間將透鏡711的位置從對焦位置改變。
在步驟S1430，影像感測器710可以執行影像感測操作。與測試影像的邊緣相對應的位置校正資訊和與測試影像的中心相對應的位置校正資訊可以彼此不同。在影像感測操作期間，透鏡位置控制器713可以基於關於測試影像的中心和測試影像的邊緣的位置校正資訊之間的差附加改變透鏡711的位置。
圖15是示出根據本發明實施方式的包括影像感測器2010的電子裝置2000的示例的方塊圖。
參考圖15，電子裝置2000包括影像感測器2010、處理器2020、儲存裝置2030、記憶體裝置2040、輸入裝置2050以及輸出裝置2060。儘管在圖15中未示出，電子裝置2000還可以包括能夠與顯示卡、音效卡、記憶卡、或USB裝置等進行通訊的端口，或者能夠與其他電子裝置進行通訊的端口。
影像感測器2010可以產生與入射光相對應的影像資料。輸出裝置2060可以顯示影像資料。儲存裝置2030可以儲存影像資料。處理器2020可以至少控制影像感測器2010、輸出裝置2060以及儲存裝置2030的操作。
處理器2020可以運行指令以執行某些計算或任務。根據本發明的實施方式，處理器2020可以是微處理器、中央處理單元（CPU）、以及控制器等。處理器2020可以通過位址匯流排、控制匯流排和/或資料匯流排而與儲存裝置2030、記憶體裝置2040以及輸入裝置2050通訊以執行通訊。根據本發明的實施方式，處理器2020也可以與諸如外部組件互連（PCI）匯流排的擴展匯流排連接。
儲存裝置2030可以是非揮發性記憶體裝置，諸如：例如，快閃記憶體裝置、固態硬碟（SSD）、硬式磁碟機（HDD）、以及CD-ROM等。
記憶體裝置2040可以儲存電子裝置2000的操作所必需的資料。例如，記憶體裝置2040可以包括揮發性記憶體裝置，諸如：例如，動態隨機存取記憶體（DRAM）、以及靜態隨機存取記憶體（SRAM）等；非揮發性記憶體裝置，諸如：例如，可抹除可程式唯讀記憶體（EPROM）、電可抹除可程式唯讀記憶體（EEPROM）、以及快閃記憶體裝置等。
輸入裝置2050可以包括輸入裝置，諸如：例如，鍵盤、小鍵盤、滑鼠等。輸出裝置2060可以包括輸出裝置，諸如：例如，印表機、以及顯示器等。
影像感測器2010可以透過匯流排或其他通訊連結連接到處理器2020。
影像感測器2010可以以各種類型的封裝實施。例如，影像感測器2010的至少一些配置可以使用如下封裝實施，諸如：層疊式封裝（PoP）、球柵陣列封裝（BGA）、晶片尺寸封裝（CSP）、塑性引線晶片載體（PLCC）、雙列直插封裝（PDIP）、晶粒盤中的晶粒、晶圓形式中的晶粒、板載晶片（COB）、陶瓷雙列直插式封裝（CERDIP）、塑料公制四方扁平封裝（MQFP）、薄型四方扁平封裝（TQFP）、系統整合單晶片（SOIC）、收縮型小外形封裝（SSOP）、薄型小外形封裝（TSOP）、系統級封裝（SIP）、多晶片封裝（MCP)、晶圓級製造封裝（WFP）、以及晶圓級處理的堆疊封裝（WSP）等。
根據實施方式，影像感測器2010可以與處理器2020一起整合在一個晶片中，或者影像感測器2010和處理器2020可以是不同的晶片。
電子裝置2000例如可以是使用影像感測器2010的計算系統。例如，電子裝置2000可以是數位相機、行動電話、個人數位助理（PDA）、便攜式多媒體播放機（PMP）、以及智慧型手機等。
根據實施方式，影像感測器2010可以執行預備操作以產生位置校正資訊，並且在影像感測操作期間可以控制影像感測器2010的透鏡的位置。因此，處理器2020可以基於感測影像產生清晰的高解析度影像。儲存裝置2030可以儲存所產生的高解析度影像，以及輸出裝置2060可以透過諸如印表機或顯示器的輸出裝置輸出高解析度影像。
根據本發明，描述了透過將透鏡移動到像素之間的相位差最大的位置獲得具有高解析度的可恢復影像的影像處理系統的示例。
為了說明目的和描述目的在本發明中描述了多種實施方式的示例。然而，本發明不侷限於實施方式的示例。確切的講，考慮本發明，對本領域技術人員將明顯的是許多其他實施方式是可能的。
10:影像處理系統 100:影像感測器 110:像素陣列 111:色彩濾波器陣列 113:光電轉換層 120:列解碼器 130:時序產生器 140:訊號轉換器 150:輸出緩衝器 200:影像處理器 710:影像感測器 711:透鏡 712:預備操作執行器 713:透鏡位置控制器 714:儲存裝置 720:影像處理器 810:對焦位置 811:對象 812:透鏡 813:微透鏡 814:像素 820:校正位置 821:對象 830:位置差 910:四個像素 1010:影像的中心 1020:影像的邊緣 2000:電子裝置 2010:影像感測器 2020:處理器 2030:儲存裝置 2040:記憶體裝置 2050:輸入裝置 2060:輸出裝置 B:藍色像素 DPXs:多個數位像素值 G:綠色像素 R:紅色像素 S1110~S1140:步驟 S1210~S1230:步驟 S1310~S1330:步驟 S1410~S1430:步驟 VPXs:多個像素訊號
圖1是示出根據本發明實施方式的影像處理系統的示例的圖； 圖2是示出根據本發明實施方式的圖1的影像感測器的示例的圖； 圖3是示出根據本發明實施方式的像素陣列和微透鏡的布置的示例的圖； 圖4是示出根據本發明實施方式的像素陣列和微透鏡的布置的示例的圖； 圖5是示出根據本發明實施方式的像素陣列和微透鏡的布置的示例的圖； 圖6是示出根據本發明實施方式的像素陣列和微透鏡的布置的示例的圖； 圖7是示出根據本發明實施方式的影像處理系統的示例的方塊圖； 圖8是示出根據本發明實施方式的預備操作的操作方法的示例的圖； 圖9是示出根據本發明實施方式的偵測對焦位置和校正位置的方法的示例的圖； 圖10是示出根據本發明實施方式的使用用於影像的第二微透鏡位置附加地移動透鏡的方法的示例的圖； 圖11是示出根據本發明實施方式的影像感測操作的示例的流程圖； 圖12是示出根據本發明實施方式的預備操作的執行方法的示例的流程圖； 圖13是示出根據本發明實施方式的改變透鏡的位置的方法的示例的流程圖； 圖14是示出根據本發明實施方式的附加改變透鏡的位置的方法的示例的流程圖；以及 圖15是示出根據本發明實施方式的包括影像感測器的電子裝置的示例的方塊圖。
10:影像處理系統
100:影像感測器
200:影像處理器
DPXs:多個數位像素值

Claims (20)

  1. 一種影像感測器，包括： 透鏡，其接收光； 預備操作執行器，其基於關於透過所述透鏡接收的第一影像的所述光的第一像素值之間的差來產生位置校正資訊，所述第一像素值與第一微透鏡的像素相對應；以及 透鏡位置控制器，其基於所述位置校正資訊改變用於第二影像的所述透鏡的位置。
  2. 如請求項1所述的影像感測器，其中，所述第一微透鏡是所述影像感測器中的多個微透鏡中的一個，以及 所述第一微透鏡包括偵測相同的色彩的相鄰像素。
  3. 如請求項2所述的影像感測器，其中，所述預備操作執行器偵測對焦位置和校正位置，所述對焦位置對應於關於所述第一影像的所述第一像素值具有相同的值時所述透鏡的位置，以及所述校正位置對應於關於所述第一影像的所述第一像素值之間具有最大差時所述透鏡的位置。
  4. 如請求項3所述的影像感測器，其中，所述預備操作執行器基於所述第一像素值中的最大值和最小值之間的差來偵測所述校正位置。
  5. 如請求項3所述的影像感測器，其中，所述預備操作執行器基於位於對角線方向的像素的像素值來偵測所述校正位置。
  6. 如請求項3所述的影像感測器，其中，所述預備操作執行器產生關於所述第一影像的所述位置校正資訊，所述位置校正資訊包括所述透鏡的從所述對焦位置到所述校正位置的移動資訊。
  7. 如請求項6所述的影像感測器，其中，所述透鏡位置控制器基於所述移動資訊將所述透鏡從所述第二影像的對焦位置移動到所述校正位置。
  8. 如請求項7所述的影像感測器，其中，所述預備操作執行器基於與位於所述第一影像的邊緣的第二微透鏡相對應的第二像素值產生包括邊緣校正資訊的位置校正資訊， 所述第二微透鏡包括偵測相同的色彩的相鄰像素，以及 所述透鏡位置控制器基於所述位置校正資訊移動所述透鏡。
  9. 一種影像處理系統，包括： 透鏡，其接收光以及將所接收的光傳輸到影像感測器中所包括的多個微透鏡， 其中，所述影像感測器：根據與所述多個微透鏡中的第一微透鏡相對應的像素之間的相位差來產生關於透過所述透鏡接收的測試影像的位置校正資訊，以及基於所述位置校正資訊控制用於捕獲的影像的所述透鏡的位置；以及 影像處理器，其基於關於所述捕獲的影像的像素值執行解析度恢復操作，以及輸出具有經恢復的解析度的高解析度影像。
  10. 如請求項9所述的影像處理系統，其中，所述第一微透鏡包括偵測相同的色彩的相鄰像素，以及 所述影像感測器包括預備操作執行器，所述預備操作執行器偵測對焦位置和校正位置，所述對焦位置對應於關於所述測試影像的所述像素的相位具有相同的值時所述透鏡的位置，以及所述校正位置對應於關於所述測試影像的所述像素之間的相位差最大時所述透鏡的位置。
  11. 如請求項10所述的影像處理系統，其中，所述預備操作執行器產生關於所述測試影像的所述位置校正資訊，所述位置校正資訊包括所述透鏡的從所述對焦位置到所述校正位置的移動資訊，以及 所述影像感測器包括透鏡位置控制器，所述透鏡位置控制器基於關於所述測試影像的所述位置校正資訊而將所述透鏡從所述捕獲的影像的所述對焦位置移動到與所述移動資訊相對應的所述校正位置。
  12. 如請求項11所述的影像處理系統，其中，所述預備操作執行器基於與所述多個微透鏡中的第二微透鏡相對應的像素的相位值來產生邊緣校正資訊，所述第二微透鏡位於所述測試影像的邊緣，以及 所述透鏡位置控制器基於所述邊緣校正資訊移動所述透鏡。
  13. 一種操作影像處理系統的方法，所述方法包括： 在執行透鏡的透鏡擺動時感測測試影像； 基於與影像感測器中的第一微透鏡的像素相對應的第一像素值之間的差，產生關於所述測試影像的位置校正資訊；以及 基於所述位置校正資訊改變所述透鏡的位置。
  14. 如請求項13所述的方法，其中，產生所述位置校正資訊包括偵測對焦位置和校正位置，所述對焦位置對應於所述第一像素值具有相同的值時所述透鏡的位置，所述第一微透鏡包括具有相同的色彩的相鄰像素，以及所述校正位置對應於所述第一像素值之間具有最大差時所述透鏡的位置。
  15. 如請求項14所述的方法，其中，所述位置校正資訊包括所述透鏡的從所述對焦位置到所述校正位置的移動資訊。
  16. 如請求項15所述的方法，其中，改變所述透鏡的位置包括： 將所述透鏡移動到關於捕獲的影像的對焦位置；以及 將所述透鏡從所述捕獲的影像的所述對焦位置移動到與所述移動資訊相對應的位置。
  17. 如請求項16所述的方法，其中，產生所述位置校正資訊包括：基於與位於所述測試影像的邊緣的第二微透鏡相對應的第二像素值來產生邊緣校正資訊，以及 改變所述透鏡的位置包括：基於所述邊緣校正資訊而將所述透鏡附加地移動到與所述移動資訊相對應的位置。
  18. 如請求項16所述的方法，包括： 基於所述捕獲的影像的像素值執行解析度恢復操作；以及 輸出具有經恢復的解析度的高解析度影像。
  19. 一種操作影像處理系統的方法，所述方法包括： 在執行透鏡的透鏡擺動時感測測試影像； 偵測對焦位置和校正位置，其中，在所述對焦位置，與影像感測器中的第一微透鏡相對應的第一像素具有相同的相位；以及在所述校正位置，所述第一像素之間的相位差最大； 產生關於所述測試影像的位置校正資訊，所述位置校正資訊包括關於所述透鏡從所述對焦位置移動到所述校正位置的移動距離和移動方向的資訊；以及 將所述透鏡的位置改變到與所述位置校正資訊相對應的位置。
  20. 如請求項19所述的方法，包括： 透過已改變位置的所述透鏡產生捕獲的影像的像素值； 基於所述捕獲的影像的像素值執行解析度恢復操作；以及 輸出具有經恢復的解析度的高解析度影像。
TW111147209A 2022-01-26 2022-12-08 影像感測器、影像處理系統及其操作方法 TW202332255A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0011454 2022-01-26
KR1020220011454A KR20230115005A (ko) 2022-01-26 2022-01-26 이미지 처리 시스템 및 그 동작 방법

Publications (1)

Publication Number Publication Date
TW202332255A true TW202332255A (zh) 2023-08-01

Family

ID=87317206

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111147209A TW202332255A (zh) 2022-01-26 2022-12-08 影像感測器、影像處理系統及其操作方法

Country Status (4)

Country Link
US (1) US20230262328A1 (zh)
KR (1) KR20230115005A (zh)
CN (1) CN116506747A (zh)
TW (1) TW202332255A (zh)

Also Published As

Publication number Publication date
KR20230115005A (ko) 2023-08-02
US20230262328A1 (en) 2023-08-17
CN116506747A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
US9485440B2 (en) Signal processing unit and signal processing method
US11956411B2 (en) Image signal processor, image processing system and method of binning pixels in image sensor
US11159722B2 (en) Method for processing image signal, image signal processor, and image sensor chip
US10986315B2 (en) Pixel array included in image sensor, image sensor including the same and electronic system including the same
JPWO2012147515A1 (ja) 撮像装置及び撮像方法
US9485483B2 (en) Image sensor and image sensor system including the same
US11178372B1 (en) Image signal processor, image signal processing method and electronic device thereof
US11700460B2 (en) Image sensing apparatus and image binning method thereof
US11546565B2 (en) Image sensing device and operating method thereof
TW202332255A (zh) 影像感測器、影像處理系統及其操作方法
US20210014436A1 (en) Integrated circuit chip and image capturing apparatus
KR20220122008A (ko) 이미지 신호 프로세싱 방법, 이미지 신호 프로세서 및 그 이미지 센싱 장치
US11962923B2 (en) Image processing system and method of operating the same
US20230353884A1 (en) Image processing system and image processing method
US20230023853A1 (en) Image sensor, image processing apparatus, and image processing method
US20230300481A1 (en) Image sensing device and image processing method of the same
US20220201237A1 (en) Image sensor, image sensing device including same, and operating method
KR20220166013A (ko) 이미지 센싱 장치 및 그 동작 방법
TW202409966A (zh) 圖像處理裝置、圖像處理系統及圖像處理方法
US20230109055A1 (en) Electronic apparatus and operating method of the electronic apparatus
KR20240079752A (ko) 이미지 처리 장치 및 이미지 처리 방법
CN117652153A (zh) 电子装置及其控制方法