TW202409966A - 圖像處理裝置、圖像處理系統及圖像處理方法 - Google Patents

圖像處理裝置、圖像處理系統及圖像處理方法 Download PDF

Info

Publication number
TW202409966A
TW202409966A TW112115790A TW112115790A TW202409966A TW 202409966 A TW202409966 A TW 202409966A TW 112115790 A TW112115790 A TW 112115790A TW 112115790 A TW112115790 A TW 112115790A TW 202409966 A TW202409966 A TW 202409966A
Authority
TW
Taiwan
Prior art keywords
value
gradient
target pixel
data set
image processing
Prior art date
Application number
TW112115790A
Other languages
English (en)
Inventor
韓知希
金鍾憲
曺周鉉
Original Assignee
韓商愛思開海力士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 韓商愛思開海力士有限公司 filed Critical 韓商愛思開海力士有限公司
Publication of TW202409966A publication Critical patent/TW202409966A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8063—Microlenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

圖像處理裝置包括資料組產生器、梯度值管理器和代價空間管理器。資料組產生器被配置爲接收包括相位資訊和亮度資訊的圖像的像素值，以及基於目標像素值來確定指示圖像的視差的資料組，其中，資料組與根據相位資訊而被確定的範圍相對應。梯度值管理器被配置爲確定與目標像素值相對應的區域的梯度值以及確定梯度資訊。梯度資訊透過對梯度值施加閾值而被確定，其中，閾值根據目標像素值而被確定。代價空間管理器被配置爲透過基於梯度資訊對資料組進行加權求和來確定代價空間。

Description

圖像處理裝置、圖像處理系統及圖像處理方法
本公開的各種實施例整體而言是關於一種圖像處理系統，並且更具體地，關於一種用於操控像素資訊的圖像處理系統及圖像處理方法。
圖像感測器可以分爲電荷耦合裝置（CCD）圖像感測器和互補金屬氧化物半導體（CMOS）圖像感測器。CMOS圖像感測器通常可以具有較低的製造成本、較低的功率消耗，並且比CCD圖像感測器更容易與週邊的電路集成。
智慧型手機、平板電腦、數位相機等中所包括的圖像感測器可以透過將從外部對象反射的光轉換成電訊號來獲得外部對象的圖像資訊。圖像訊號處理裝置可以執行將獲得的電訊號進行轉換的操作以提高圖像質量。
圖像訊號處理裝置可以透過執行圖像處理操作來提高圖像質量。通常，當使用來自多個相機的多個圖像時比當使用來自單個相機的單個圖像時，圖像處理可以導致更高的解析度（definition）。
本申請請求於2022年4月27日在韓國智慧財產局提交的韓國專利申請第10-2022-0052071號的優先權，其全部公開內容通過引用併入本文。
根據一個實施例，一種圖像處理裝置可以包括資料組產生器，被配置爲確定指示圖像的視差的資料組，其中被包括在所述圖像中的所有像素的像素值包括相位資訊，以及其中所述資料組是基於在所述像素值之中的與根據所述相位資訊而被確定的範圍相對應的目標像素值而被確定；梯度值管理器，被配置爲確定與所述目標像素值相對應的區域的梯度值，以及透過對所述梯度值施加根據所述目標像素值而被確定的閾值來確定梯度資訊；以及代價空間管理器，被配置爲透過基於所述梯度資訊對所述資料組進行加權求和來確定代價空間（cost volume）。
根據一個實施例，一種圖像處理系統可以包括圖像感測器，所述圖像感測器包括微透鏡，所述微透鏡將從外部接收的光轉移至像素，其中所述微透鏡中的每一個與n的平方個像素相對應，其中n是大於2的整數，以及圖像處理系統可以包括圖像處理裝置，所述圖像處理裝置被配置爲基於從所述圖像感測器接收的像素值來獲得圖像的深度資訊，其中所有的所述像素值包括相位資訊，以及其中所述圖像處理裝置包括資料組產生器，被配置爲基於在所述像素值之中與根據所述相位資訊而被確定的範圍相對應的目標像素值來確定指示所述圖像的視差的資料組；梯度值管理器，被配置爲確定與所述目標像素值相對應的區域的梯度值，以及透過對所述梯度值施加根據所述目標像素值而被確定的閾值來確定梯度資訊；以及代價空間管理器，被配置爲透過基於所述梯度資訊對所述資料組進行加權求和來確定代價空間，以及基於所述代價空間來確定所述深度資訊。
根據一個實施例，一種圖像處理方法可以包括從被包括在圖像中的所有像素接收包括相位資訊的像素值；基於在所述像素值之中與根據所述相位資訊而被確定的範圍相對應的目標像素值來確定指示所述圖像的視差的資料組；計算與所述目標像素值相對應的區域的梯度值，以及透過對所述梯度值施加根據所述目標像素值而被確定的閾值來確定梯度資訊；以及透過基於所述梯度資訊對所述資料組進行加權求和來確定代價空間。
本文公開的特定結構或功能描述僅用於描述根據本公開的概念的實施例的說明目的。根據本公開的概念的實施例可以以多種形式實現，並且不應該被解釋爲被限制在本文闡述的特定實施例。
在下文中，參考附圖描述了實施例，以使得本發明所屬技術領域中具有通常知識者能夠實現這些實施例以及與本公開的技術精神一致的其他實施例。
多種實施例指向用於使用單個圖像的像素值來確定代價空間的圖像處理系統及圖像處理方法。單個圖像可以用於靜止的照片或用於視訊幀。
圖1是說明根據一個實施例的範例圖像處理系統10的圖。
參考圖1，圖像處理系統10可以包括圖像感測器100和圖像處理裝置200。
根據一個實施例的圖像處理系統10可以經由例如圖像感測器100獲得圖像。獲得的圖像可以由圖像處理裝置200處理，圖像處理裝置200可以産生經處理的圖像作爲輸出圖像。輸出圖像可以被輸出至外部裝置（未示出）。外部裝置可以儲存及/或顯示輸出圖像。根據一個實施例的圖像處理系統10可以包括用於儲存（包含圖像）的記憶體裝置240及/或可以顯示圖像的顯示器（未示出）。記憶體裝置240可以使用根據設計及/或實施規範確定的任意一個或多個揮發性及/或非揮發性記憶體裝置。例如，根據一個實施例的圖像處理系統10可以響應於來自主機（未示出）的請求而將輸出圖像輸出至主機。
圖像感測器100可以產生使用透鏡102捕獲其圖像的對象（未示出）的圖像資料。透鏡102可以包括形成光學系統的至少一個透鏡。例如，透鏡102可以包括微透鏡104。
圖像感測器100可以包括接收光的多個像素。術語“像素”可以被用於指的是檢測（或接收）光的硬體裝置。然後，硬體像素可以輸出所檢測的光的像素值。據此，圖像感測器100中的多個像素可以產生與所拍攝的圖像幀或視訊幀相對應的多個像素值。術語“像素”也可以被用於指的是幀的特定位置。因此，在幀中的特定位置處的像素可以與透過圖像感測器100的對應硬體像素而被提供的像素值相關聯。根據一個實施例，透過圖像感測器100產生的多個像素值的全部都可以被處理，以獲得圖像的相位資訊和亮度（強度）資訊。
透過圖像感測器100產生的多個像素值可以被傳輸至圖像處理裝置200。然後，圖像處理裝置200可以透過處理多個像素值來獲得圖像的相位資訊和亮度資訊。
圖像處理裝置200可以包括資料組產生器210、梯度值管理器220、代價空間管理器230和記憶體裝置240。圖像處理裝置200可以從圖像感測器100接收多個像素值。從圖像感測器100接收的多個像素值中的至少一些可以包括相位資訊及/或亮度資訊。據此，在一個實施例中，從圖像感測器100接收的多個像素值的全部可以包括相位資訊和亮度資訊。
資料組產生器210可以基於與根據多個像素值的相位資訊而被確定的範圍相對應的目標像素值來確定指示圖像的視差的資料組。“目標像素”可以是討論中的幀的特定像素。“目標像素值”可以是與目標像素相關聯的像素值。在一個實施例中，圖像的視差可以是觀察者的雙目視差。例如，術語“確定”可以指示使用查找表、執行軟體指令、使用硬體電路或執行其他功能以得到期望的輸出。
圖像的視差可以指的是在圖像感測器100與對象之間的距離。例如，當在圖像感測器100與對象之間的距離减小時，圖像的視差可以增大。
據此，圖像的視差可以與圖像的深度成反比。例如，當圖像的一部分的視差增大時，圖像的一部分的深度可以减小。
資料組產生器210可以基於目標像素值來確定指示關於圖像的水平方向的視差的第一資料組。資料組產生器210也可以確定指示關於圖像的垂直方向的視差的第二資料組。根據一個實施例，資料組的數量可以根據圖像的視差而變化。
資料組產生器210可以確定目標像素值在水平方向的平均值和目標像素值在垂直方向的平均值。資料組產生器210可以基於在水平方向的平均值來確定第一資料組。資料組產生器210可以基於在垂直方向的平均值來確定第二資料組。
資料組產生器210可以從在水平方向的平均值之中選擇第一參考值。資料組產生器210可以透過將第一參考值與預定範圍中的在水平方向的平均值進行比較來確定第一資料組。
根據一個實施例，第一資料組可以指示在第一參考值與在水平方向的剩餘的平均值（即除了第一參考值之外的在水平方向的平均值）之間的差值。因此，也可以說是第一資料組可以指示在水平方向的像素值之中的相似度。
資料組產生器210可以從在垂直方向的平均值之中選擇第二參考值。資料組產生器210可以透過將第二參考值與預定範圍中的在垂直方向的平均值進行比較來確定第二資料組。結合圖6對資料組產生器210進行更詳細的描述。
梯度值管理器220可以確定與目標像素值相對應的區域的梯度值。梯度值管理器220可以透過對梯度值施加根據目標像素值而被確定的閾值來確定梯度資訊。結合圖7和圖8對梯度值管理器220進行更詳細的描述。
例如，梯度值管理器220可以確定參考值，即梯度值的平均值與根據目標像素值而被確定的閾值的乘積。根據一個實施例，梯度值管理器220可以基於區域的梯度值來檢測與目標像素值相對應的區域的邊界。結合圖7和圖8對梯度值管理器220進行更詳細的描述。
當梯度值的平均值與閾值的乘積小於或等於區域的梯度值時，梯度值管理器220可以將與目標像素值相對應的區域的梯度值確定爲0。類似地，當梯度值的平均值與閾值的乘積大於區域的梯度值時，梯度值管理器220可以保持與目標像素值相對應的區域的梯度值。
根據一個實施例，當區域的梯度值超過閾值時，梯度值管理器220可以將區域檢測爲圖像的邊界。梯度值管理器220可以對梯度值施加閾值，其中，閾值根據像素值而變化。
人們可以依據像素值周圍的環境而對相同的像素值差異進行不同地感測。例如，雖然像素值差異可能相同，但是人們可以在黑暗區域中 “看見”比明亮區域中更大的像素值差異。因此，實施例可以將上述人類視覺感知施加於閾值。據此，較大的閾值可以被施加於第一區域中的梯度值，第一區域中的像素值的等級比第二區域高，第二區域中的像素值的等級較低。
梯度值管理器220可以確定區域在水平方向的梯度值和在垂直方向的梯度值。據此，梯度值管理器220可以透過對在水平方向的梯度值施加閾值來確定第一梯度資訊以及透過對在垂直方向的梯度值施加閾值來確定第二梯度資訊。
代價空間管理器230可以透過基於梯度資訊對資料組進行加權求和來確定代價空間。代價空間管理器230可以使用第一資料組和第二資料組的平均值來確定代價空間，第一資料組基於第一梯度資訊被加權，第二資料組基於第二梯度資訊被加權。然後，代價空間管理器230可以基於代價空間來確定深度資訊。結合圖8對代價空間管理器230進行更詳細的描述。
圖2是說明根據一個實施例的圖1的範例圖像感測器的圖。
參考圖2，例如，範例圖像感測器可以是圖像感測器100，圖像感測器100可以包括像素陣列110、列解碼器120、時序產生器130和訊號轉換器140。
根據一個實施例，像素陣列110可以包括濾色器陣列111和在濾色器陣列111下方形成的光電轉換層113。光電轉換層113可以包括多個光電轉換元件。光電轉換元件和濾色器陣列111的對應部分可以被稱爲像素陣列110的像素。據此，像素陣列110可以包括多個像素，多個像素可以被配置爲輸出與通過濾色器陣列111的入射光相對應的像素訊號。
濾色器陣列111可以包括濾色器，每個濾色器僅允許到達每個像素的光的特定波長（諸如紅色、藍色、綠色等的光的顔色）通過。在本公開中，濾色器可以被表示爲顔色通道。由於濾色器陣列111，來自每個像素的像素訊號可以包括與特定波長的光的強度相對應的值。
更具體地，每個像素可以累積透過入射光而被產生的光電荷並且可以產生與累積的光電荷相對應的像素訊號。每個像素可以包括光電轉換元件，其將累積的光電荷轉換成電訊號；以及至少一個電晶體，用於將電訊號處理成像素訊號。例如，光電轉換元件可以是光二極體、光電晶體、光電閘或針筒光二極體。
像素陣列110可以包括在列方向和行方向布置的多個像素。像素陣列110可以產生每列多個像素訊號（VPXs）。多個像素訊號（VPXs）中的每一個可以是類比型式的像素訊號（VPXs）。
根據一個實施例，微透鏡104可以被設置在像素陣列110之上。雖然圖1顯示微透鏡104與透鏡102分離，但是多種實施例可以依據設計及/或實現决策將微透鏡104作爲透鏡102的一部分或將微透鏡104與透鏡102分離。每一個微透鏡104可以與n×n像素的陣列相對應，其中，n是2或更大的整數。n×n像素陣列可以被描述爲“n的平方個像素”。每一個微透鏡104可以被實體地設置在多個像素之上。雖然微透鏡104可以與n的平方個像素相對應，但是多種實施例無需被這樣限制。例如，另一個實施例可以將微透鏡104與m×n像素的矩形陣列相關聯（其中，m和n均是大於1的整數）或與另一個幾何形狀的像素的陣列相關聯。此外，實施例可以包括第一幾何形狀的第一微透鏡和第二幾何形狀的第二微透鏡。據此，在一個實施例中，可以有用於微透鏡104的一個或多個幾何形狀。
列解碼器120可以響應於透過時序產生器130而輸出的控制訊號和位址來選擇像素陣列110中的多列像素中的一列。
訊號轉換器140可以將類比像素訊號（VPXs）轉換成數位像素值（DPXs）。數位像素值（DPXs）可以以多種圖案而被輸出。訊號轉換器140可以響應於來自時序產生器130的控制訊號來對從像素陣列110輸出的類比像素訊號執行關連式雙取樣（CDS），將類比像素訊號轉換成數位像素值，以及輸出數位像素值。數位像素值可以與通過對應的濾色器陣列111的入射光的波長的強度相對應。
訊號轉換器140可以包括CDS區塊和類比數位轉換器（ADC）區塊。CDS區塊可以對被分別提供至包括在像素陣列110中的多個行線的參考訊號和圖像訊號的集合順序地進行取樣和保持。ADC區塊可以輸出透過將從CDS區塊輸出的每行的關連式雙取樣訊號轉換成數位訊號而獲得的像素資料。爲了進行轉換和輸出，ADC區塊可以包括與每行相對應的計數器和比較器。
此外，根據一個實施例的圖像感測器100還可以包括輸出緩衝器150。輸出緩衝器150可以包括用於儲存從訊號轉換器140輸出的數位訊號的多個緩衝器。更具體地，輸出緩衝器150可以鎖存和輸出從訊號轉換器140提供的以列爲單位的像素資料。輸出緩衝器150可以根據時序產生器130的控制來暫時地儲存從訊號轉換器140輸出的像素資料以及順序地輸出像素資料。根據一個實施例，輸出緩衝器150可以被省略。
圖3是說明根據一個實施例的四個像素值與單個微透鏡相對應的範例像素陣列的圖。
參考圖3，說明多個微透鏡320將從圖像感測器100外部接收的光轉移至圖像感測器100中的像素310。每一個微透鏡320可以被設置在像素310的陣列之上。圖3說明四個像素310與單個微透鏡320相對應的範例。根據圖3說明的實施例，彼此相鄰的四個綠色像素310可以與單個微透鏡320相對應。此外，四個紅色像素310可以與另一個的單個微透鏡320相對應，以及四個藍色像素310可以與另一個的單個微透鏡320相對應。
圖3說明與四個微透鏡相對應的十六個像素。與相同微透鏡320相對應的多個像素310可以接收相同顔色的光。例如，綠色像素310可以與單個微透鏡320相對應。綠色像素310的像素值可以包括光的相位資訊。例如，相位可以透過像素310的位置以及其相對於微透鏡320中的其他像素310的位置的偏移而受影響。這可以在圖3中的微透鏡320中看出，其中，四個像素310中的每一個相對於其他像素310的位置不同。
四個藍色像素310或四個紅色像素310可以與另一個的單個微透鏡320相對應。類似地，四個藍色像素310或四個紅色像素310的像素值也可以包括相位資訊。
然而，本公開的實施例不被限制於四個像素與單個微透鏡相對應的實施例。據此，與單個微透鏡相對應的像素的數量可以針對不同的實施例而變化。然而，雖然與單個微透鏡相對應的像素的數量可以變化，但是與單個微透鏡相對應的像素的顔色可以相同。
根據一個實施例，圖像感測器可以產生包括每個像素中的相位的資訊的像素值。根據圖3所示的實施例，根據與相同微透鏡相對應的四個像素320的位置的差異，被包括在像素值中的相位資訊對於每個像素而言可以不同。例如，這可能是因爲與相同微透鏡相對應的四個像素320可以根據位置的差異來指示不同的相位資訊。根據一個實施例，圖像的深度資訊可以基於被包括在微透鏡310的四個像素值330中的相位資訊的差異而被獲得。
被包括在圖像中的對象的邊界可以基於可以包括相位資訊的四個像素值330和四個像素320的位置的差異而被定義。根據一個實施例，對象的邊界可以透過確定梯度值而被檢測。
圖4是說明根據一個實施例的九個像素值與單個微透鏡相對應的範例像素陣列的圖。
參考圖4，九個像素可以與單個微透鏡相對應。根據圖4所示的一個實施例，彼此相鄰的九個綠色像素410可以與單個微透鏡相對應。此外，九個紅色像素可以與另一個的單個微透鏡相對應，以及九個藍色像素可以與另一個的單個微透鏡相對應。
圖4說明三十六個像素與四個微透鏡相對應。與相同微透鏡相對應的多個像素可以接收相同顔色的光。例如，紅色像素可以與單個微透鏡相對應。紅色像素的像素值可以包括從微透鏡到達紅色像素所接收的光的相位資訊。相位資訊可以透過像素的位置以及其相對於微透鏡中的其他像素的位置的偏移而受影響。這可以在圖4中的微透鏡420中看出，其中，九個像素中的每一個相對於其他像素的位置不同。
九個藍色像素或九個綠色像素可以與另一個的單個微透鏡相對應。類似地，九個藍色像素或九個綠色像素的像素值也可以包括相位資訊。
根據一個實施例，圖像感測器可以產生包括每個像素中的相位的資訊的像素值。根據圖4所示的實施例，根據與相同微透鏡相對應的九個像素420的位置的差異，被包括在像素值中的相位資訊對於每個像素而言可以不同。例如，這可能是因爲與相同微透鏡相對應的九個像素420可以根據位置的差異來指示不同的相位資訊。根據一個實施例，圖像的深度資訊可以基於被包括在九個像素值430中的相位資訊的差異而被獲得。
被包括在圖像中的對象的邊界可以基於可以包括相位資訊的九個像素值430和九個像素420的位置的差異而被定義。根據一個實施例，對象的邊界可以透過確定梯度值而被檢測。
據此，在一個實施例中可以使用具有其中九個像素與單個微透鏡相對應的像素陣列的圖像感測器。圖像的清晰度可以隨著與單個微透鏡相對應的像素的數量增大而提高。
圖5是說明根據一個實施例的十六個像素值與單個微透鏡相對應的範例像素陣列的圖。
參考圖5，十六個像素可以與單個微透鏡相對應。根據圖5所示的一個實施例，彼此相鄰的十六個綠色像素510可以與單個微透鏡相對應。此外，十六個紅色像素可以與另一個的單個微透鏡相對應，以及十六個藍色像素可以與另一個的單個微透鏡相對應。
圖5說明六十四個像素與四個微透鏡相對應。與相同微透鏡相對應的像素的顔色可以相同。例如，紅色像素可以與單個微透鏡相對應。紅色像素的像素值可以包括從微透鏡到達紅色像素所接收的光的相位資訊。相位資訊可以透過像素的位置以及其相對於微透鏡中的其他像素的位置的偏移而受影響。這可以在圖5中的微透鏡520中看出，其中，十六個像素中的每一個相對於其他像素的位置不同。
十六個藍色像素或十六個綠色像素可以與另一個的單個微透鏡相對應。類似地，十六個藍色像素或十六個綠色像素的像素值也可以包括相位資訊。
根據一個實施例，圖像感測器可以產生包括每個像素中的相位的資訊的像素值。根據圖5所示的一個實施例，根據與相同微透鏡相對應的十六個像素520的位置的差異，被包括在像素值中的相位資訊可以彼此不同。被包括在與相同微透鏡相對應的十六個像素520中的對象可以根據位置的差異來指示不同的相位資訊。根據一個實施例，圖像的深度資訊可以基於被包括在十六個像素值530中的相位資訊的差異而被獲得。
被包括在圖像中的對象的邊界可以基於包括相位資訊的十六個像素值530和十六個像素520的位置的差異而被定義。根據一個實施例，對象的邊界可以透過確定梯度值而被檢測。
圖3、圖4和圖5中的每一個中所示的實施例僅作爲範例。與單個微透鏡相對應的像素的數量不被限制於圖3、圖4和圖5所示的實施例。
圖6是說明根據一個實施例的確定資料組的範例方法的圖。
圖6說明與單個微透鏡相對應的像素值作爲範例。例如，n的平方個像素可以與被包括在圖像感測器中的微透鏡相對應，其中，n是2或更大的整數。根據圖6所示的實施例，可以確定在水平方向和垂直方向的像素值。
例如，諸如資料組產生器210的資料組產生器可以確定在水平方向的資料組，其指示圖像的視差。根據一個實施例，被包括在水平方向的資料組中的部分資料的數量可以根據圖像的視差而變化。
資料組產生器可以確定第一列610的像素值的平均值（Row1）。第一列610的像素值的平均值（Row1）可以透過以下的公式1而被表示。
公式1：Row1 = AVG（X 1Y 1，X 2Y 1，…，X NY 1）
資料組產生器可以確定第二列620的像素值的平均值（Row2）。第二列620的像素值的平均值（Row2）可以透過以下的公式2而被表示。
公式2：Row2 = AVG（X 1Y 2，X 2Y 2，…，X NY 2）
類似地，資料組產生器可以確定第N列630的像素值的平均值（RowN）。第N列630的像素值的平均值（RowN）可以透過以下的公式3而被表示。
公式3：RowN = AVG（X 1Y N，X 2Y N，…，X NY N）
資料組產生器可以從在水平方向的平均值（Row1，Row2，…，RowN）之中選擇第一參考值。資料組產生器可以產生在水平方向的資料組，所述在水平方向的資料組包括透過將在水平方向的平均值（Row1，Row2，…，RowN）進行移動並將其與預定範圍中的第一參考值進行比較而被確定的資料。
例如，資料組產生器可以從在水平方向的平均值（Row1，Row2，…，RowN）之中選擇第一列610的像素值的平均值（Row1）作爲第一參考值。資料組產生器可以透過將第二列620的像素值的平均值（Row2）進行移動並將其與第一參考值進行比較來確定資料（DataRow1）。備選地，資料組產生器可以選擇第二列620的像素值的平均值（Row2）作爲第一參考值，以及透過對第三列的像素值的平均值（Row3）進行移動並將其與第一參考值進行比較來確定資料（DataRow2）。類似地，資料組產生器可以選擇第N-1列的像素值的平均值（RowN-1）作爲第一參考值，以及透過對第N列630的像素值的平均值（RowN）進行移動並將其與第一參考值進行比較來確定資料（DataRowN-1）。資料組產生器可以確定第一資料組，第一資料組包括透過將像素值的平均值與第一參考值進行比較而確定的部分資料（DataRow1，DataRow2，…，DataRowN-1）。
資料組產生器可以確定第一行640的像素值的平均值（Col1）。第一行640的像素值的平均值（Col1）可以透過以下的公式4而被表示。
公式4：Col1 = AVG（X 1Y 1，X 1Y 2，…，X 1Y N）
資料組產生器可以確定第二行650的像素值的平均值（Col2）。第二行650的像素值的平均值（Col2）可以透過以下的公式5而被表示。
公式5：Col2 = AVG（X 2Y 1，X 2Y 2，…，X 2Y N）
類似地，資料組產生器可以確定第N行660的像素值的平均值（ColN）。第N行660的像素值的平均值（ColN）可以透過以下的公式6而被表示。
公式6：ColN = AVG（X NY 1，X NY 2，…，X NY N）
資料組產生器可以從在垂直方向的平均值（Col1，Col2，…，ColN）之中選擇第二參考值。資料組產生器可以確定在垂直方向的資料組，所述在垂直方向的資料組包括透過將在垂直方向的平均值（Col1，Col2，…，ColN）進行移動並將其與預定範圍中的第二參考值進行比較而產生的資料。
例如，資料組產生器可以從在垂直方向的平均值（Col1，Col2，…，ColN）之中選擇第一行640的像素值的平均值（Col1）作爲第二參考值。資料組產生器可以透過將第二行650的像素值的平均值（Col2）進行移動並將其與第二參考值進行比較來確定資料（DataCol1）。資料組產生器可以選擇第二行650的像素值的平均值（Col2）作爲第二參考值，以及透過將第三行的像素值的平均值（Col3）進行移動並將其與第二參考值進行比較來確定資料（DataCol2）。類似地，資料組產生器可以選擇第N-1行的像素值的平均值（ColN-1）作爲第二參考值，以及透過將第N行660的像素值的平均值（ColN）進行移動並將其與第二參考值進行比較來確定資料（DataColN-1）。資料組產生器可以確定第二資料組，第二資料組包括透過將像素值的平均值與第二參考值進行比較而確定的部分資料（DataCol1，DataCol2，…，DataColN-1）。
圖7是說明根據一個實施例的根據像素值而被確定的範例閾值的圖。
參考圖7，被施加在梯度值的閾值可以根據像素值而變化。如之前所述，依據像素值的等級，人們將同樣的像素值差異感知爲似乎差異是不同的。根據一個實施例，上述人類視覺特徵可以應被施加閾值。圖7說明根據一個實施例的像素值和閾值。然而，本公開的實施例不被限制於僅圖7所示的實施例。
在圖7中，x軸可以是灰度圖像的強度。根據一個實施例，圖像的強度可以指像素值的級別。在圖7中，y軸可以是變化的閾值。例如，閾值可以根據像素值的等級而變化。因此，圖7可以顯示依據像素值的不同的閾值。
對於相同的像素值的差異，人們可能察覺在黑暗區域中的像素值的差異比在明亮區域中的相同的像素值差異大。據此，對在像素值較大的區域中的梯度值施加的閾值可以大於對在像素值較小的區域中的梯度值施加的閾值。
在圖7中，在像素值小於16的區間中，閾值可以是40。在像素值大於或等於16並且小於32的區間中，閾值可以與像素值成比例地增大。與像素值小於或等於16的黑暗區域相對應的閾值，其可以小於與像素值大於或等於64的明亮區域相對應的閾值。在黑暗區域中，即使當像素值的差異很小時，一個像素可以與另一個像素被區別得出。
根據一個實施例，例如，諸如梯度值管理器220的梯度值管理器可以確定被施加在梯度值的閾值。據此，對於不同區域的相同的像素值差異，閾值可以不同。梯度值管理器可以將對在黑暗區域中的梯度值施加的閾值確定爲小於對在明亮區域中的梯度值施加的閾值。例如，梯度值管理器可以透過使用查找表、執行軟體及/或硬體指令以計算閾值或執行其他功能以確定閾值來確定閾值。
圖8是說明根據一個實施例的對梯度值施加閾值的範例方法的圖。
參考圖8，在預定範圍中與目標像素相對應的區域的梯度值可以被確定爲0。具有0的梯度值的區域可以不被檢測爲邊界。在圖8中，將梯度值確定爲0的範圍可以根據像素值而變化。
在圖8中，x軸可以表示梯度值，y軸可以表示輸出梯度值。梯度值被輸出爲0的範圍可以根據像素值而變化。
可以類似於梯度值管理器220的梯度值管理器可以確定參考值，所述參考值爲梯度值的平均值與根據目標像素值而被確定的閾值的乘積。根據一個實施例，參考值可以根據目標像素值而變化。
梯度值管理器可以將對應區域的梯度值與參考值進行比較。當對應區域的梯度值大於參考值時，梯度值管理器可以輸出未經改變的對應區域的梯度值。當對應區域的梯度值小於或等於參考值時，梯度值管理器可以輸出0作爲對應區域的梯度值。
根據一個實施例，梯度值管理器可以確定與目標像素相對應的區域在水平方向的梯度值和在垂直方向的梯度值。梯度值管理器可以透過對在水平方向的梯度值施加閾值來確定第一梯度資訊以及透過對在垂直方向的梯度值施加閾值來確定第二梯度資訊。
返回參考圖6，圖6說明梯度值管理器確定第一梯度資訊和第二梯度資訊的方法。梯度值管理器可以基於第一列610的像素值來確定第一列的梯度值（GradientRow1）。梯度值管理器可以透過將根據第一列610的像素值而被確定的閾值施加於第一列的梯度值（GradientRow1）來確定第一列的自適應的梯度值（AGTRow1）。
梯度值管理器可以基於第二列620的像素值來確定第二列的梯度值（GradientRow2）。梯度值管理器可以透過將根據第二列620的像素值而被確定的閾值施加於第二列的梯度值（GradientRow2）來確定第二列的自適應的梯度值（AGTRow2）。
類似地，梯度值管理器可以基於第N-1列的像素值來確定第N-1列的自適應的梯度值（AGTRowN-1）。梯度值管理器可以確定包括自適應的梯度值（AGTRow1，AGTRow2，…，AGTRowN-1）的第一梯度資訊。
梯度值管理器可以基於第一行640的像素值來確定第一行的梯度值（GradientCol1）。梯度值管理器可以透過將根據第一行640的像素值而被確定的閾值施加於第一行的梯度值（GradientCol1）來確定第一行的自適應的梯度值（AGTCol1）。
梯度值管理器可以基於第二行650的像素值來確定第二行的梯度值（GradientCol2）。梯度值管理器可以透過將根據第二行650的像素值而被確定的閾值施加於第二行的梯度值（GradientCol2）來確定第二行的自適應的梯度值（AGTCol2）。
類似地，梯度值管理器可以基於第N-1行的像素值來確定第N-1行的自適應的梯度值（AGTColN-1）。梯度值管理器可以確定包括自適應的梯度值（AGTCol1，AGTCol2，…，AGTColN-1）的第二梯度資訊。
根據一個實施例，例如，諸如代價空間管理器230的代價空間管理器可以使用基於第一梯度資訊而被加權的第一資料組和基於第二梯度資訊而被加權的第二資料組的平均值來確定圖像的代價空間。代價空間管理器可以基於圖像的代價空間來獲得圖像的深度資訊。
例如，代價空間管理器可以確定在水平方向的代價空間（costvolumRow）。在水平方向的代價空間（costvolumRow）可以是透過將被包括在第一梯度資訊中的自適應的梯度值（AGTRow1，AGTRow2，…，AGTRowN-1）與被包括在第一資料組中的資料（DataRow1，DataRow2，…，DataRowN-1）的加權之和除以被包括在第一梯度資訊中的自適應的梯度值（AGTRow1，AGTRow2，…，AGTRowN-1）之和來獲得的值。在水平方向的代價空間（costvolumRow）可以透過以下的公式7而被表示。
公式7：costvolumRow =（abs（AGTRow1）*DataRow1 + abs（AGTRow2）*DataRow2 + … + abs（AGTRowN-1）*DataRowN-1））/（abs（AGTRow1）+ abs（AGTRow2）+ … + abs（AGTRowN-1））
代價空間管理器可以確定在垂直方向的代價空間（costvolumCol）。在垂直方向的代價空間（costvolumCol）可以是透過將被包括在第二梯度資訊中的自適應的梯度值（AGTCol1，AGTCol2，…，AGTColN-1）與被包括在第二資料組中的資料（DataCol1，DataCol2，…，DataColN-1）的加權之和除以被包括在第二梯度資訊中的自適應的梯度值（AGTCol1，AGTCol2，…，AGTColN-1）之和來獲得的值。在垂直方向的代價空間（costvolumCol）可以透過以下的公式8而被表示。
公式8：costvolumCol =（abs（AGTCol1）*DataCol1 + abs（AGTCol2）*DataCol2 + … + abs（AGTColN-1）*DataColN-1））/（abs（AGTCol1）+ abs（AGTCol2）+ … + abs（AGTColN-1））
代價空間管理器可以確定圖像的代價空間（costvolum）。圖像的代價空間（costvolum）可以是在水平方向的代價空間（costvolumRow）和在垂直方向的代價空間（costvolumCol）的平均值。圖像的代價空間（costvolum）可以透過以下的公式9而被表示。
公式9：costvolum = AVG（costvolumRow，costvolumCol）
圖9是說明根據一個實施例的確定代價空間的範例方法的流程圖。
參考圖9，例如，諸如圖像處理裝置200的圖像處理裝置可以基於例如從圖像感測器100或從除了圖像處理裝置200以外的裝置接收的像素值來確定可以用於獲得圖像的深度資訊的代價空間。例如，可以從未顯示的圖像處理系統10外部的裝置來接收像素值。圖像處理裝置可以確定資料組以及在水平方向和垂直方向的每一個的梯度資訊，接著透過對確定的資料組和確定的梯度資訊進行加權求和來確定圖像的代價空間。
在步驟S910處，圖像處理裝置可以從被包括在圖像中的所有像素接收像素值。像素值可以包括相位資訊和亮度資訊中的一者或兩者。圖像處理裝置可以基於接收的像素值來獲得圖像的深度資訊。
在步驟S920處，圖像處理裝置的資料組產生器可以確定指示圖像的視差的資料組。這可以基於與根據在像素值之中的相位資訊而被確定的範圍相對應的目標像素值而被完成。
資料組產生器可以基於目標像素值來確定指示關於圖像的水平方向的視差的第一資料組。此外，資料組產生器可以基於目標像素值來確定指示關於圖像的垂直方向的視差的第二資料組。
資料組產生器可以確定指示圖像的視差在水平方向的資料組和在垂直方向的資料組。被包括在每一個資料組中的部分資料的數量可以根據圖像的視差而變化。
資料組產生器可以從在水平方向的平均值（Row1，Row2，…，RowN）之中選擇第一參考值。資料組產生器可以確定在水平方向的資料組，所述在水平方向的資料組包括透過將水平方向的平均值（Row1，Row2，…，RowN）進行移動並將其與在預定範圍中的第一參考值進行比較而獲得的資料。
資料組產生器可以從在垂直方向的平均值（Col1，Col2，…，ColN）之中選擇第二參考值。資料組產生器可以確定在垂直方向的資料組，所述在垂直方向的資料組包括透過將垂直方向的平均值（Col1，Col2，…，ColN）進行移動並將其與在預定範圍中的第二參考值進行比較而獲得的資料。
在步驟S930處，圖像處理裝置的梯度值管理器可以確定與目標像素值相對應的區域的閾值和梯度值。然後，梯度值管理器可以透過對梯度值施加閾值來確定梯度資訊。
根據一個實施例，梯度值管理器可以確定被施加於梯度值的閾值以根據對應區域的像素值而不同。例如，梯度值管理器可以確定對在黑暗區域中的梯度值施加的閾值要小於對在明亮區域中的梯度值施加的閾值。
梯度值管理器可以確定參考值，所述參考值是梯度值的平均值與根據目標像素值而被確定的閾值的乘積。根據一個實施例，參考值可以根據目標像素值而變化。
梯度值管理器可以將對應區域的梯度值與參考值進行比較。當對應區域的梯度值大於參考值時，梯度值管理器可以輸出未經改變的對應區域的梯度值。當對應區域的梯度值小於或等於參考值時，梯度值管理器可以確定對應區域的梯度值爲0。
根據一個實施例，梯度值管理器可以確定與目標像素相對應的區域在水平方向的梯度值和在垂直方向的梯度值。梯度值管理器可以透過對在水平方向的梯度值施加閾值來確定第一梯度資訊以及透過對在垂直方向的梯度值施加閾值來確定第二梯度資訊。
在步驟S940處，圖像處理裝置的代價空間管理器可以透過基於梯度資訊對資料組進行加權求和來確定代價空間。
根據一個實施例，代價空間管理器可以使用基於第一梯度資訊而被加權的第一資料組和基於第二梯度資訊而被加權的第二資料組的平均值來確定圖像的代價空間。代價空間管理器可以基於圖像的代價空間來獲得圖像的深度資訊。
圖10是說明根據一個實施例的確定資料組的範例方法的流程圖。
參考圖10，例如，諸如圖像處理裝置200的圖像處理裝置的資料組產生器可以確定指示圖像的視差在水平方向的資料組和在垂直方向的資料組。資料組產生器可以根據圖像的視差來確定不同的資料。
在步驟S1010處，資料組產生器可以基於像素值來確定關於預定方向的平均值。根據一個實施例，預定方向可以是水平方向或垂直方向。
資料組產生器可以確定在水平方向的平均值（Row1，Row2，…，RowN）。此外，資料組產生器可以確定在垂直方向的平均值（Col1，Col2，…，ColN）。
在步驟S1020處，資料組產生器可以在確定的平均值之中選擇參考值。資料組產生器可以從在水平方向的平均值（Row1，Row2，…，RowN）之中選擇第一參考值以及從在垂直方向的平均值（Col1，Col2，…，ColN）之中選擇第二參考值。
例如，資料組產生器可以從在水平方向的平均值（Row1，Row2，…，RowN）之中選擇第一列的像素值的平均值（Row1）作爲第一參考值。資料組產生器可以從垂直方向上的平均值（Col1，Col2，…，ColN）之中選擇第一行的像素值的平均值（Col1）作爲第二參考值。
在步驟S1030處，資料組產生器可以確定資料組，所述資料組包括透過將參考值與預定範圍中的平均值進行比較而獲得的資料。資料組產生器可以確定在水平方向的資料組，所述資料組包括透過將水平方向的平均值（Row1，Row2，…，RowN）進行移動並將其與在預定範圍中的第一參考值進行比較而獲得的資料。資料組產生器可以確定在垂直方向的資料組，所述資料組包括透過將垂直方向的平均值（Col1，Col2，…，ColN）進行移動並將其與在預定範圍中的第二參考值進行比較而獲得的資料。
例如，資料組產生器可以選擇第一列的像素值的平均值（Row1）作爲第一參考值，以及透過將第二列的像素值的平均值（Row2）進行移動並將其與第一參考值進行比較來確定資料（DataRow1）。類似地，資料組產生器可以選擇第N-1列的像素值的平均值（RowN-1）作爲第一參考值，以及透過將第N列的像素值的平均值（RowN）進行移動並將其與第一參考值進行比較來確定資料（DataRowN-1）。資料組產生器可以確定第一資料組，第一資料組包括透過將平均值與第一參考值進行比較而確定的部分資料（DataRow1，DataRow2，…，DataRowN-1）。
根據一個實施例，資料組產生器可以選擇第一行的像素值的平均值（Col1）作爲第二參考值，以及透過將第二行的像素值的平均值（Col2）進行移動並將其與第二參考值進行比較來確定資料（DataCol1）。類似地，資料組產生器可以選擇第N-1行的像素值的平均值（ColN-1）作爲第二參考值，以及透過將第N行660的像素值的平均值（ColN）進行移動並將其與第二參考值進行比較來確定資料（DataColN-1）。資料組產生器可以確定第二資料組，第二資料組包括透過將平均值與第二參考值進行比較而確定的部分資料（DataCol1，DataCol2，…，DataColN-1）。
圖11是說明根據一個實施例的確定梯度資訊的範例方法的流程圖。
參考圖11，例如，諸如圖像處理裝置200的圖像處理裝置的梯度值管理器可以確定與目標像素值相對應的區域的梯度值，以及透過對梯度值施加根據目標像素值而被確定的閾值來確定梯度資訊。梯度值管理器可以透過對在水平方向的梯度值施加閾值來確定第一梯度資訊以及透過對在垂直方向的梯度值施加閾值來確定第二梯度資訊。
在步驟S1110處，梯度值管理器可以基於像素值來確定在水平方向的梯度值。梯度值管理器可以基於第一列的像素值來確定第一列的梯度值（GradientRow1）。梯度值管理器可以基於第N-1列的像素值來確定第N-1列的梯度值（GradientRowN-1）。
在步驟S1120處，梯度值管理器可以基於像素值來確定在垂直方向的梯度值。梯度值管理器可以基於第一行的像素值來確定第一行的梯度值（GradientCol1）。梯度值管理器可以基於第N-1行的像素值來確定第N-1行的梯度值（GradientColN-1）。
在步驟S1130處，梯度值管理器可以透過對在水平方向的梯度值施加閾值來確定第一梯度資訊以及透過對在垂直方向的梯度值施加閾值來確定第二梯度資訊。根據一個實施例，梯度值管理器可以確定被施加在梯度值的閾值以根據對應區域的像素值而不同。梯度值管理器可以確定對在黑暗區域中的梯度值施加的閾值要小於對在明亮區域中的梯度值施加的閾值。
梯度值管理器可以確定參考值，所述參考值是梯度值的平均值與根據目標像素值而被確定的閾值的乘積。根據一個實施例，參考值可以根據目標像素值而變化。
梯度值管理器可以將對應區域的梯度值與參考值進行比較。當對應區域的梯度值大於參考值時，梯度值管理器可以輸出未經改變的對應區域的梯度值。當對應區域的梯度值小於或等於參考值時，梯度值管理器可以確定對應區域的梯度值爲0。
根據一個實施例，梯度值管理器可以確定與目標像素相對應的區域在水平方向的梯度值和在垂直方向的梯度值。梯度值管理器可以透過對在水平方向的梯度值施加閾值來確定第一梯度資訊以及透過對在垂直方向的梯度值施加閾值來確定第二梯度資訊。
梯度值管理器可以透過將根據第一列的像素值而被確定的閾值施加於第一列的梯度值（GradientRow1）來確定第一列的自適應的梯度值（AGTRow1）。類似地，梯度值管理器可以確定包括自適應的梯度值（AGTRow1，AGTRow2，…，AGTRowN-1）的第一梯度資訊。
梯度值管理器可以透過將根據第一行的像素值而被確定的閾值施加於第一行的梯度值（GradientCol1）來確定第一行的自適應的梯度值（AGTCol1）。類似地，梯度值管理器可以確定包括自適應的梯度值（AGTCol1，AGTCol2，…，AGTColN-1）的第二梯度資訊。
圖12是說明根據一個實施例的包括圖像感測器的範例電子裝置的方塊圖。
參考圖12，電子裝置2000可以包括圖像感測器2010、處理器2020、儲存裝置2030、記憶體裝置2040、輸入裝置2050和輸出裝置2060。雖然未顯示於圖12中，但是電子裝置2000還可以包括能夠與視訊卡、音效卡、記憶卡、通用序列匯流排（USB）裝置及/或其他電子裝置進行通訊的埠。
圖像感測器2010可以確定與入射光相對應的圖像資料。圖像資料可以被轉移至處理器2020並透過處理器2020進行處理。輸出裝置2060可以顯示圖像資料。儲存裝置2030可以儲存圖像資料。處理器2020可以控制圖像感測器2010、輸出裝置2060及/或儲存裝置2030的操作。
處理器2020可以是執行用於對從圖像感測器2010接收的像素資料進行處理的操作以及輸出處理的圖像資料的圖像處理裝置。例如，透過處理器2020執行的處理可以指電子影像穩定（EIS）、內插、色調校正、圖像質量校正、尺寸調整等。
處理器2020可以被提供爲與圖像感測器2010分離的晶片。例如，處理器2020可以在多晶片封裝中形成。根據另一個實施例，處理器2020可以被提供爲作爲圖像感測器2010的一部分的單晶片。
處理器2020可以執行和控制電子裝置2000的操作。根據一個實施例，處理器2020可以是微處理器、中央處理單元（CPU）、應用處理器（AP）、微控制器或能夠執行指令或命令集的任何合適的裝置。處理器2020可以通過位址匯流排、控制匯流排及/或資料匯流排被耦接至儲存裝置2030、記憶體裝置2040、輸入裝置2050和輸出裝置2060並且與其進行通訊。
根據一個實施例，處理器2020可以接收包括圖像的相位資訊和亮度資訊的像素值，以及基於與根據相位資訊而被確定的範圍相對應的目標像素值來確定指示圖像的視差的資料組。處理器2020可以確定與目標像素值相對應的區域的梯度值以及透過對梯度值施加根據目標像素值而被確定的閾值來確定梯度資訊。處理器2020可以透過基於梯度資訊對資料組進行加權求和來確定代價空間。深度資訊可以使用代價空間而被確定。據此，處理器2020可以執行圖像處理裝置200的至少一些功能。
例如，儲存裝置2030可以包括一個或多個非揮發性記憶體裝置，諸如快閃記憶體裝置、固態硬碟（SSD）、硬式磁碟機（HDD）、唯讀光碟（CD-ROM）等。
記憶體裝置2040可以儲存用於執行電子裝置2000的操作的資料。例如，記憶體裝置2040可以包括諸如例如動態隨機存取記憶體（DRAM）裝置和靜態隨機存取記憶體（SRAM）裝置的一個或多個揮發性記憶體裝置；以及諸如例如可抹除可程式化唯讀記憶體（EPROM）裝置、電可抹除可程式化唯讀記憶體（EEPROM）裝置、快閃記憶體裝置等的一個或多個非揮發性記憶體裝置。處理器2020可以執行儲存在記憶體裝置2040中的命令集，以控制圖像感測器2010和輸出裝置2060以及所設計或實現的其他裝置。
例如，輸入裝置2050可以包括諸如鍵盤、鍵板、滑鼠、尖筆等的輸入工具。
圖像感測器2010可以在多種形式的封裝中實現。例如，圖像感測器2010的至少一些配置可以使用封裝，諸如例如封裝堆疊（PoP）、球柵陣列（BGAs）、晶片級封裝（CSPs）、塑膠引線晶片載體（PLCC）、塑膠雙排封裝（PDIP）、窩伏爾組件的晶粒、晶圓形式的晶粒、板上晶片（COB）、陶瓷雙排封裝（CERDIP）、塑膠公制四方扁平封裝（MQFP）、薄型四方扁平封裝（TQFP）、小外形積體電路（SOIC）、收縮小外形封裝（SSOP）、薄型小外形封裝（TSOP）、系統封裝（SIP）、多晶片封裝（MCP）、晶圓等級製造封裝（WFP）、晶圓等級處理堆疊封裝（WSP）等。
電子裝置2000可以被解釋爲使用圖像感測器2010的任何計算系統。電子裝置2000可以以封裝模組、組件等的形式而被提供。例如，電子裝置2000可以是數位相機、移動裝置、智慧型手機、個人電腦（PC）、平板電腦、膝上型電腦、個人數位助理（PDA）、企業數位助理（EDA）、可攜式多媒體播放器（PMP）、可穿戴裝置、黑盒子、機器人、自駕車等。
本公開的範圍透過下面的申請專利範圍進行描述，而不是透過上面闡述的具體實施方式。本公開的範圍應該被解釋爲不僅包括申請專利範圍的範圍還包括從申請專利範圍的含義、範圍和等同物得出的所有改變或修改。
根據本公開的多種實施例，可以提供能夠使用單個圖像的像素值來獲得深度資訊的圖像處理系統。
10:圖像處理系統 100:圖像感測器 102:透鏡 104:微透鏡 110:像素陣列 111:濾色器陣列 113:光電轉換層 120:列解碼器 130:時序產生器 140:訊號轉換器 150:輸出緩衝器 200:圖像處理裝置 210:資料組產生器 220:梯度值管理器 230:代價空間管理器 240:記憶體裝置 310:像素 320:微透鏡 330:像素值 410:像素 420:微透鏡 430:像素值 510:像素 520:微透鏡 530:像素值 610:第一列 620:第二列 630:第N列 640:第一行 650:第二行 660:第N行 2000:電子裝置 2010:圖像感測器 2020:處理器 2030:儲存裝置 2040:記憶體裝置 2050:輸入裝置 2060:輸出裝置 S910、S920、S930、S940:步驟 S1010、S1020、S1030:步驟 S1110、S1120、S1130:步驟
圖1是說明根據一個實施例的範例圖像處理系統的圖。 圖2是說明根據一個實施例的圖1的範例圖像感測器的圖。 圖3是說明根據一個實施例的四個像素值與單個微透鏡相對應的範例像素陣列的圖。 圖4是說明根據一個實施例的九個像素值與單個微透鏡相對應的範例像素陣列的圖。 圖5是說明根據一個實施例的十六個像素值與單個微透鏡相對應的範例像素陣列的圖。 圖6是說明根據一個實施例的確定資料組的範例方法的圖。 圖7是說明根據一個實施例的根據像素值而被確定的範例閾值的圖。 圖8是說明根據一個實施例的對梯度值施加閾值的範例方法的圖。 圖9是說明根據一個實施例的確定代價空間的範例方法的流程圖。 圖10是說明根據一個實施例的確定資料組的範例方法的流程圖。 圖11是說明根據一個實施例的確定梯度資訊的範例方法的流程圖。 圖12是說明根據一個實施例的包括圖像感測器的範例電子裝置的方塊圖。
10:圖像處理系統
100:圖像感測器
102:透鏡
104:微透鏡
200:圖像處理裝置
210:資料組產生器
220:梯度值管理器
230:代價空間管理器
240:記憶體裝置

Claims (20)

  1. 一種圖像處理裝置，包括： 資料組產生器，被配置成： 從該圖像處理裝置外部的裝置接收包括圖像的相位資訊和亮度資訊的像素值；及 基於目標像素值來確定資料組，其中，該資料組與根據該相位資訊而被確定的範圍相對應； 梯度值管理器，被配置成： 確定與該目標像素值相對應的區域的梯度值；及 透過對該梯度值施加閾值來確定梯度資訊，其中，該閾值根據該目標像素值而被確定；以及 代價空間管理器，被配置成透過基於該梯度資訊對該資料組進行加權求和來確定代價空間。
  2. 如請求項1所述的圖像處理裝置，其中，基於該目標像素值，該資料組產生器被配置成： 確定關於該圖像的水平方向的第一資料組；以及 確定關於該圖像的垂直方向的第二資料組。
  3. 如請求項2所述的圖像處理裝置，其中，該資料組產生器被配置成： 確定該目標像素值在水平方向的平均值和該目標像素值在垂直方向的平均值； 基於該目標像素值在該水平方向的該平均值來確定該第一資料組；以及 基於該目標像素值在該垂直方向的該平均值來確定該第二資料組。
  4. 如請求項3所述的圖像處理裝置，其中，該資料組產生器被配置成： 從該目標像素值在該水平方向的該平均值之中選擇第一參考值；以及 透過將該第一參考值與預定範圍中的該目標像素值在該水平方向的該平均值進行比較來確定該第一資料組。
  5. 如請求項3所述的圖像處理裝置，其中，該資料組產生器被配置成： 從該目標像素值在該垂直方向的該平均值之中選擇第二參考值；以及 透過將該第二參考值與預定範圍中的該目標像素值在該垂直方向的該平均值進行比較來確定該第二資料組。
  6. 如請求項2所述的圖像處理裝置，其中，該梯度值管理器被配置成： 確定該區域在水平方向的梯度值和在垂直方向的梯度值； 透過對在該水平方向的該梯度值施加該閾值來產生第一梯度資訊；以及 透過對在該垂直方向的該梯度值施加該閾值來確定第二梯度資訊。
  7. 如請求項6所述的圖像處理裝置，其中，該代價空間管理器被配置成： 使用以下的平均值來確定該代價空間： 基於該第一梯度資訊而被加權的該第一資料組，以及 基於該第二梯度資訊而被加權的該第二資料組。
  8. 如請求項1所述的圖像處理裝置，其中，該梯度值管理器被配置成當該梯度值的平均值與該閾值的乘積小於或等於該區域的該梯度值時，將該區域的梯度值確定爲0。
  9. 如請求項1所述的圖像處理裝置，其中，該梯度值管理器被配置成當該梯度值的平均值與該閾值的乘積大於該區域的該梯度值時，將該區域的梯度值保持不變。
  10. 一種圖像處理系統，包括： 圖像感測器，被配置成基於從外部接收的光來確定包括圖像的相位資訊和亮度資訊的像素值；以及 圖像處理裝置，被配置成基於從該圖像感測器接收的該像素值來獲得該圖像的深度資訊， 其中，該圖像感測器包括微透鏡，該微透鏡中的每一個與n的平方個像素相對應，其中，n是2或更大的整數，及 其中，該圖像處理裝置包括： 資料組產生器，被配置成基於在該像素值之中的目標像素值來確定資料組，該目標像素值與根據該相位資訊而被確定的範圍相對應； 梯度值管理器，被配置成確定與該目標像素值相對應的區域的梯度值和透過對該梯度值施加根據該目標像素值而被確定的閾值來確定梯度資訊；及 代價空間管理器，被配置成透過基於該梯度資訊對該資料組進行加權求和來確定代價空間和基於該代價空間來確定該深度資訊。
  11. 如請求項10所述的圖像處理系統，其中，該資料組產生器被配置成確定該目標像素值在水平方向的平均值和該目標像素值在垂直方向的平均值，基於該目標像素值在該水平方向的該平均值來確定關於該圖像的水平方向的第一資料組，以及基於該目標像素值在該垂直方向的該平均值來確定關於該圖像的垂直方向的第二資料組。
  12. 如請求項11所述的圖像處理系統，其中，該資料組產生器被配置成透過將從該目標像素值在該水平方向的該平均值之中選擇的第一參考值與預定範圍中的該目標像素值在該水平方向的該平均值進行比較來確定該第一資料組，以及透過將從該目標像素值在該垂直方向的該平均值之中選擇的第二參考值與該預定範圍中的該目標像素值在該垂直方向的該平均值進行比較來確定該第二資料組。
  13. 如請求項11所述的圖像處理系統，其中，該梯度值管理器被配置成確定與該目標像素值相對應的該區域在水平方向的梯度值和在垂直方向的梯度值，以及透過對在該水平方向的該梯度值施加該閾值來確定第一梯度資訊和透過對在該垂直方向的該梯度值施加該閾值來確定第二梯度資訊。
  14. 如請求項13所述的圖像處理系統，其中，該代價空間管理器被配置成使用基於該第一梯度資訊而被加權的該第一資料組和基於該第二梯度資訊而被加權的該第二資料組的平均值來確定該代價空間。
  15. 一種圖像處理方法，包括： 從外部接收包括圖像的亮度資訊和相位資訊的像素值； 基於與根據該相位資訊而被確定的範圍相對應的目標像素值來確定資料組； 計算與該目標像素值相對應的區域的梯度值和透過對該梯度值施加根據該目標像素值而被確定的閾值來確定梯度資訊；以及 透過基於該梯度資訊對該資料組進行加權求和來確定代價空間。
  16. 如請求項15所述的圖像處理方法，其中，確定該資料組包括： 基於該目標像素值來確定關於該圖像的水平方向的第一資料組；以及 基於該目標像素值來確定關於該圖像的垂直方向的第二資料組。
  17. 如請求項16所述的圖像處理方法，其中，產生該第一資料組包括： 確定該目標像素值在水平方向的平均值； 從該目標像素值在該水平方向的該平均值之中選擇第一參考值；以及 透過將該第一參考值與預定範圍中的該目標像素值在該水平方向的該平均值進行比較來確定該第一資料組。
  18. 如請求項16所述的圖像處理方法，其中，確定該第二資料組包括： 計算該目標像素值在垂直方向的平均值； 從該目標像素值在該垂直方向的該平均值之中選擇第二參考值；以及 透過將該第二參考值與預定範圍中的該目標像素值在該垂直方向的該平均值進行比較來確定該第二資料組。
  19. 如請求項16所述的圖像處理方法，其中，確定該梯度資訊包括： 確定與該目標像素值相對應的該區域在水平方向的梯度值和在垂直方向的梯度值；以及 透過對在該水平方向的該梯度值施加該閾值來確定第一梯度資訊和透過對在該垂直方向的該梯度值施加該閾值來確定第二梯度資訊。
  20. 如請求項19所述的圖像處理方法，還包括：基於該代價空間來確定該圖像的深度資訊， 其中，確定該代價空間包括：使用基於該第一梯度資訊而被加權的該第一資料組和基於該第二梯度資訊而被加權的該第二資料組的平均值來計算該代價空間。
TW112115790A 2022-04-27 2023-04-27 圖像處理裝置、圖像處理系統及圖像處理方法 TW202409966A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0052071 2022-04-27
KR1020220052071A KR20230152387A (ko) 2022-04-27 2022-04-27 이미지 처리 시스템 및 이미지 처리 방법

Publications (1)

Publication Number Publication Date
TW202409966A true TW202409966A (zh) 2024-03-01

Family

ID=88446705

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112115790A TW202409966A (zh) 2022-04-27 2023-04-27 圖像處理裝置、圖像處理系統及圖像處理方法

Country Status (4)

Country Link
US (1) US12118735B2 (zh)
KR (1) KR20230152387A (zh)
CN (1) CN116962865A (zh)
TW (1) TW202409966A (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5471117B2 (ja) 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
US9338380B2 (en) * 2014-06-30 2016-05-10 Semiconductor Components Industries, Llc Image processing methods for image sensors with phase detection pixels
KR102232524B1 (ko) 2014-10-27 2021-03-26 삼성전자주식회사 이미지 생성 장치 및 이미지 생성 방법
GB2552648B (en) 2016-07-22 2020-09-16 Imperial College Sci Tech & Medicine Estimating dimensions for an enclosed space using a multi-directional camera
IL266041B (en) 2016-10-18 2022-09-01 Photonic Sensors & Algorithms S L A device and method for obtaining distance information from views
WO2019182974A2 (en) 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks

Also Published As

Publication number Publication date
KR20230152387A (ko) 2023-11-03
US12118735B2 (en) 2024-10-15
CN116962865A (zh) 2023-10-27
US20230353884A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
US9485440B2 (en) Signal processing unit and signal processing method
US20180309944A1 (en) Crosstalk processing module, method of processing crosstalk and image processing system
US11394902B2 (en) Sparse infrared pixel design for image sensors
US9485483B2 (en) Image sensor and image sensor system including the same
TW202409966A (zh) 圖像處理裝置、圖像處理系統及圖像處理方法
US11546565B2 (en) Image sensing device and operating method thereof
TWI694721B (zh) 紅外線串擾補償方法及其裝置
US12192624B2 (en) Image processing system and operating method thereof
US20240193801A1 (en) Image processing system and image processing method
KR20210133800A (ko) 이미지 압축 방법, 인코더, 및 인코더를 포함하는 카메라 모듈
US20240163578A1 (en) Image signal processor, image sensor, and operating method of the image sensor
US20240242386A1 (en) Image processing device and image blurring method
US11962923B2 (en) Image processing system and method of operating the same
KR20220166013A (ko) 이미지 센싱 장치 및 그 동작 방법
US20240147090A1 (en) Image sensor and operating method
CN118118808A (zh) 图像处理装置和图像处理方法
KR20240127735A (ko) 이미지 처리 장치 및 물리적 고유 식별키 생성 방법
KR20230116642A (ko) 이미지 센서, 이미지 처리 장치 및 이미지 처리 방법
KR20240053886A (ko) 이미지 처리 장치 및 이미지 보정 방법
TW202345093A (zh) 影像信號處理器
KR20220148423A (ko) 이미지의 노이즈를 감소하는 노이즈 저감 방법 및 노이즈 저감 장치
CN116582736A (zh) 图像处理装置和使用图像处理装置的图像处理方法