TW202139685A - 屏下式相機系統及方法 - Google Patents

屏下式相機系統及方法 Download PDF

Info

Publication number
TW202139685A
TW202139685A TW109139397A TW109139397A TW202139685A TW 202139685 A TW202139685 A TW 202139685A TW 109139397 A TW109139397 A TW 109139397A TW 109139397 A TW109139397 A TW 109139397A TW 202139685 A TW202139685 A TW 202139685A
Authority
TW
Taiwan
Prior art keywords
display
camera sensor
image
adjustment matrix
combination
Prior art date
Application number
TW109139397A
Other languages
English (en)
Inventor
徐勇軍
慶 周
張楠
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202139685A publication Critical patent/TW202139685A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0439—Pixel structures
    • G09G2300/0452—Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Control Of El Displays (AREA)
  • Image Input (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一種實例影像擷取裝置包括：一顯示器，其經組態以顯示擷取的影像；一相機感測器，該相機感測器經設置以透過該顯示器之至少一部分接收光；記憶體，其經組態以儲存擷取的影像；及一或多個處理器，其耦合至該相機感測器、該顯示器、及該記憶體。該一或多個處理器經組態以自一感測器接收一信號。該一或多個處理器經組態以至少部分地基於該信號來判定一使用者介面模式。該使用者介面模式包括具有第一數目之黑色像素的一第一模式或具有第二數目之黑色像素的一第二模式。該第一數目大於該第二數目。該一或多個處理器亦經組態以自該相機感測器接收影像資料。

Description

屏下式相機系統及方法
[相關申請案的交互參照]
本申請案主張在2019年11月15日申請之PCT申請案PCT/CN2019/118746及在2020年6月1日申請之PCT申請案PCT/CN2020/093726之優先權，兩者之全部內容均以引用方式併入本文中。
本揭露大致上係關於影像及相機處理。
影像擷取裝置（例如，數位相機）常併入各種裝置中。在本揭露中，影像擷取裝置係指可擷取一或多個數位影像的任何裝置，包括可擷取靜態影像的裝置及可擷取影像序列以記錄視訊的裝置。舉實例而言，影像擷取裝置可包含單機(stand-alone)數位相機或數位視訊攝錄影機、配備相機的無線通訊裝置手機（諸如行動電話（包括蜂巢式或衛星無線電電話））、配備相機的平板電腦或個人數位助理(personal digital assistant, PDA)、包括相機的電腦裝置（諸如所謂的「網路攝影機(web-cam)」）、或具有數位成像或視訊能力的任何裝置。
影像擷取裝置能夠在各種照明條件（例如，照明體）下產生影像。例如，影像擷取裝置可在包括大量之反射光或飽和光的環境中及包括高對比度的環境中操作。一些實例影像擷取裝置除了其他模組（例如，色調調整模組）之外，還包括用於自動曝光控制、自動白平衡、及自動聚焦的調整模組，以調整由成像信號處理器硬體執行的處理。
一般而言，本揭露描述用於影像處理的技術，包括對屏下式相機感測器（諸如用於前置相機中的彼等感測器）執行顯示陰影補償。最大化影像擷取裝置上的顯示器大小的一種方法係將一或多個相機感測器置放在顯示器下面。當將相機感測器置放在顯示器（諸如液晶顯示器(liquid crystal display, LCD)、發光二極體(light-emitting diode, LED)顯示器、有機發光二極體(organic light-emitting diode, OLED)顯示器、主動矩陣有機發光二極體(active matrix organic light-emitting diode, AMOLED)（其可係OLED顯示器之特定實例）、或其他顯示器）下方時，顯示器之層遮蔽相機感測器，使得與相機感測器不在顯示器下方的情況相比，相機感測器接收到的影像資訊強度較低且準確度較低。例如，顯示器之層可能衰減抵達相機感測器的環境光，且相機感測器上的子像素可導致陰影（諸如空間步幅及影子）。
子像素包括構成像素的元件，諸如RGB像素之紅色、藍色、及綠色元件。此外，若相機感測器上的像素正在顯示內容，則相機感測器可擷取由所顯示內容散射的光。此外，子像素區域內的顯示透明度（例如，OLED透明度））受子像素值或電流強度影響。自然光透過顯示器行進至相機感測器上。顯示透明度（例如，OLED透明度）及子像素實體區域透明度可受所顯示內容的像素值影響。像素值（其成為子像素驅動電流）將影響自然光吸收及穿過顯示器的光量。自然光穿過的顯示器之區域可具有有實體像素元件的區及無實體像素元件的區。對於有實體像素元件的區及無實體像素元件的區，透明率（或穿過顯示器的光之量）可不同。當顯示器主動顯示內容時，像素之透明度可受像素值影響。此外，隨著顯示器老化，顯示器透明度可能因驅動像素的電流及時間而降低。
在一些實例中，將相機感測器部分地定位在顯示器之至少一部分下方或相鄰於顯示器可導致顯示陰影，且相機感測器亦可擷取由所顯示內容散射的光。本揭露描述用於解決及/或補償屏下式相機的此等問題的技術，諸如相機感測器設置在顯示器之下、部分地設置在顯示器之下或相鄰於顯示器設置，使得光在由相機感測器接收之前穿過顯示器層。
此外或替代地，在一些實例中，與顯示器中的子像素之大小、形狀及位置相關的預設參數可儲存在影像擷取裝置中。影像擷取裝置亦可判定與相機感測器上方的顯示器中的像素之老化狀態相關的老化因數。可擷取顯示內容之一部分或全部，且可基於老化因數、預設參數及/或待顯示內容之至少一部分來建立調整矩陣，諸如二維增益矩陣。如本文中所使用，待顯示內容之一部分意指一或多個圖框(frame)、一或多個完整圖框(entire frame)、或兩者之組合之一部分。一圖框之一部分意指一圖框之一部分或一完整圖框。可應用調整矩陣至由相機感測器擷取的影像以補償顯示陰影。
本揭露亦描述用於改善顯示器中的透射率的技術。用於改善透射率的該等技術係本揭露之影像處理技術之補充或替代技術，且可與本文所揭示之影像處理技術一起使用或可分開使用。在一個實例中，當影像擷取應用程式在低環境光條件下使用時，可自動選擇用於與影像擷取應用程式一起使用的第一使用者介面(user interface, UI)模式，相較於其中該內容之一部分或全部顯示於相機感測器上方的可顯示內容的第二UI模式，該第一使用者介面(UI)模式改良顯示器透明度。在一些實例中，例如，在中等環境光情況下，可使用第三UI模式。在一些實例中，UI模式之選擇可至少部分地基於感測器信號。
在本揭露之一個實例中，一種影像處理之方法包括：在一影像擷取裝置處接收由一相機感測器擷取的第一影像資料，其中該相機感測器經設置以透過該影像擷取裝置上的一顯示器之至少一部分接收光；在該影像擷取裝置處接收顯示內容之至少一部分；在該影像擷取裝置處基於顯示內容之該至少一部分判定一調整矩陣；應用該調整矩陣至該第一影像資料以建立第二影像資料；及輸出該第二影像資料。
在另一實例中，本揭露描述一種影像擷取設備，其包括：記憶體；及一或多個處理器，其耦合至一相機感測器及該記憶體且經組態以：自該相機感測器接收第一影像資料，該相機感測器經設置以透過一顯示器之至少一部分接收光；接收顯示內容之至少一部分；基於顯示內容之該至少一部分判定一調整矩陣；應用該調整矩陣至該第一影像資料以建立第二影像資料；且輸出該第二影像資料。
在另一實例中，本揭露描述一種影像擷取設備，其包括：用於自一相機感測器接收第一影像資料的構件，該相機感測器經設置以透過一顯示器之至少一部分接收光；用於接收顯示內容之至少一部分的構件；用於基於顯示內容之該至少一部分判定一調整矩陣的構件；用於應用該調整矩陣至該第一影像資料以建立第二影像資料的構件；及用於輸出該第二影像資料的構件。
在另一實例中，本揭露描述一種儲存指令的非暫時性電腦可讀儲存媒體，該等指令當執行時使一或多個處理器：自一相機感測器接收第一影像資料，該相機感測器經設置以透過一顯示器之至少一部分接收光；接收顯示內容之至少一部分；基於顯示內容之該至少一部分判定一調整矩陣；應用該調整矩陣至該第一影像資料以建立第二影像資料；及輸出該第二影像資料。
在本揭露之一個實例中，一種方法包括：由一影像擷取裝置自一感測器接收一信號；由一影像擷取裝置且至少部分地基於該信號判定一使用者介面模式，該使用者介面模式包含一第一模式或一第二模式，其中該第一模式包含一顯示器之一區域中的第一數目之黑色像素，且該第二模式包含該顯示器之該區域中的第二數目之黑色像素，該第一數目大於該第二數目；及由該影像擷取裝置自一相機感測器接收影像資料，其中該相機感測器經設置以透過該顯示器之至少一部分接收光。
在另一實例中，本揭露描述一種影像擷取設備，其包括：一顯示器，其經組態以顯示擷取的影像；一屏下式相機感測器，該屏下式相機感測器經設置以透過該顯示器之至少一部分接收光；記憶體，其經組態以儲存擷取的影像；及一或多個處理器，其耦合至該相機感測器、該顯示器、及該記憶體且經組態以：自一感測器接收一信號；至少部分地基於該信號判定一使用者介面模式，該使用者介面模式包含一第一模式或一第二模式，其中該第一模式包含該顯示器之一區域中的第一數目之黑色像素，且該第二模式包含該顯示器之該區域中的第二數目之黑色像素，該第一數目大於該第二數目；且自該相機感測器接收影像資料。
在另一實例中，本揭露描述一種影像擷取設備，其包括：用於自一感測器接收一信號的構件；用於至少部分地基於該信號判定一使用者介面模式的構件，該使用者介面模式包含一第一模式或一第二模式，其中該第一模式包含一顯示器之一區域中的第一數目之黑色像素，且該第二模式包含該顯示器之該區域中的第二數目之黑色像素，該第一數目大於該第二數目；及用於藉由該影像擷取裝置自一相機感測器接收影像資料的構件，其中該相機感測器經設置以透過該顯示器之至少一部分接收光。
在另一實例中，本揭露描述一種儲存指令的非暫時性電腦可讀儲存媒體，該等指令當執行時使一或多個處理器：自一感測器接收一信號；至少部分地基於該信號判定一使用者介面模式，該使用者介面模式包含一第一模式或一第二模式，其中該第一模式包含一顯示器之一區域中的第一數目之黑色像素，且該第二模式包含該顯示器之該區域中的第二數目之黑色像素，該第一數目大於該第二數目；及自一相機感測器接收影像資料，其中該相機感測器經設置以透過該顯示器之至少一部分接收光。
本揭露之一或多個態樣的細節在附圖及以下描述中闡述。本揭露中描述的技術之其他特徵、目的、及優點將自說明書、圖式、及申請專利範圍而顯而易見。
本揭露描述考量及/或補償因相機感測器設置在顯示器之至少一部分之下導致的顯示陰影的影像處理技術。顯示器可使用具有像素結構的透明材料，該像素結構經設計成使得光可穿透顯示器至相機感測器。以此種方式使用的相機感測器可大於其他前置「自拍(selfie)」相機且可具有更寬的光圈鏡頭。例如，相機感測器大小不需要受限於或約束於圍繞顯示器的邊框或邊界空間。藉由將相機感測器定位於裝置上的顯示器下方以使得相機感測器可透過顯示器之至少一部分接收光，與正面具有專用於相機感測器的空間的類似大小的裝置相比，可用顯示空間之大小可經加大。替代地，可使用較小的形狀因數來提供相同的可用顯示大小。此外，藉由將相機感測器定位在顯示器下方，相機感測器可置放於顯示器下方的任何地方。例如，相機感測器可位於當進行「自拍(selfie)」時使用者的眼睛可被引導至的位置。以此方式，由相機感測器擷取的影像中的眼睛之注視可看起來係在看著相機，而非如相機感測器位於顯示器上方或靠近影像擷取裝置之頂部時可能發生的，看著相機下方。
在許多影像擷取裝置中，所欲的可係最大化影像擷取裝置上的顯示器之大小。在較小影像擷取裝置（諸如行動電話及其他行動裝置）的情況下尤其如此。許多影像擷取裝置（例如，行動裝置）包括面向行動裝置之使用者的前置相機（「自拍(selfie)」相機）。最大化具有（多個）前置相機的影像擷取裝置上的顯示大小並非沒有限制。前置相機已位於影像擷取裝置之前表面上，在裝置之邊緣與顯示器之邊緣之間。為了最大化具有前置相機的影像擷取裝置上的顯示大小，一些製造商已加大顯示器且在顯示器中引入凹口以避免顯示器覆蓋相機感測器。其他製造商已加大顯示器以實質上覆蓋影像擷取裝置之前表面且添加彈出式相機，而非將相機感測器置放於影像擷取裝置之本體上。
最大化顯示大小的一種方法係將相機感測器定位在顯示器下方。然而，藉由將相機感測器定位在顯示器下方，顯示器可導致衰減、空間步幅及影子、光散射或光擴散、及/或由相機感測器擷取的影像信號中的其他非所欲效應。例如，霧度、眩光、及/或色偏可影響擷取的影像之品質。隨著顯示器的老化，此等問題可能更複雜。例如，用於驅動子像素的電流可使子像素失去亮度（例如，變暗）。在直接在相機感測器上方的顯示器之區域被用以顯示內容的情況下，對影像品質的影響可能更嚴重。例如，直接在相機感測器上方的子像素中之一些或全部可主動顯示內容，且相機感測器可在擷取影像時自顯示內容擷取光散射。一般而言，使用屏下式相機之前述非所欲效應可稱為顯示陰影(display shading)。
本揭露描述用於顯示陰影補償的技術。本揭露之顯示陰影補償技術可使用透明顯示器之實體佈局之特徵、在相機感測器上方顯示的內容之特性、及相機感測器上方的像素之老化狀態以補償任何擷取的影像中所經歷的顯示陰影。
本揭露亦描述用於在低亮度情況下管理顯示的UI技術。例如，在低亮度情況下，可穿過顯示器至屏下式相機感測器的光比在高亮度情況下少。本揭露描述用於改善透過顯示器的透射率以使得相機感測器可接收足夠的光以擷取美觀影像的技術。
圖1係繪示可經組態以執行本揭露之技術的裝置2的方塊圖。裝置2可形成影像擷取裝置或能夠編碼及傳輸及/或接收靜態影像及/或視訊序列的數位視訊裝置之部分。舉實例而言，裝置2可形成無線行動通訊裝置之部分，該等無線行動通訊裝置諸如蜂巢式電話或衛星無線電電話、智慧型手機、單機數位相機或視訊攝錄影機、個人數位助理(PDA)、平板電腦、膝上型電腦、或具有成像或視訊能力的任何裝置，在該等裝置中影像處理係所欲的。
如圖1所示，裝置2包括一影像處理設備4，以儲存原始影像資料且對此類資料執行各種處理技術。影像處理設備4可包含一或多個積體電路，該一或多個積體電路包括數位信號處理器(digital signal processor, DSP)、晶載記憶體、及可能的硬體邏輯或電路系統。更一般而言，影像處理設備4可包含處理器、硬體、軟體、或韌體之任一組合，且影像處理設備4之各種組件可如此實施。再者，若為所欲的，影像處理設備4可包含單一積體晶片或編碼器/解碼器(encoder/decoder, CODEC)。
在圖1所繪示之實例中，影像處理設備4包括一本機記憶體8、一記憶體控制器10及一影像信號處理器6。影像信號處理器6可係一一般用途處理單元，或可係專門設計用於成像應用（例如，用於手持電子裝置）的一處理器。如圖所示，影像信號處理器6經由記憶體控制器10耦合至本機記憶體8及外部記憶體14。在一些實例中，本機記憶體8可併入影像信號處理器6中，例如，作為快取記憶體。
如圖1中所示，影像信號處理器6可經組態以執行自動曝光控制(auto exposure control, AEC)程序20、自動白平衡(auto white balance, AWB)程序22、自動聚焦(auto focus, AF)程序24、顯示陰影補償(display shade compensation, DSC)程序26、鏡頭陰影補償(lens shade compensation, LSC)程序28及/或固定圖案雜訊補償(fixed pattern noise compensation, FPNC)程序30。在一些實例中，影像信號處理器6可包括經組態以執行AEC程序20、AWB程序22、AF程序24、DSC程序26、LSC程序28及/或FPNC程序30的硬體特定電路（例如，應用特定積體電路(application-specific integrated circuit, ASIC)）。在其他實例中，影像信號處理器6可經組態以執行用於執行AEC程序20、AWB程序22、AF程序24、DSC程序26、LSC程序28及/或FPNC程序30的軟體及/或韌體。當在軟體中組態時，用於AEC程序20、AWB程序22、AF程序24、DSC程序26、LSC程序28及/或FPNC程序30的碼可儲存在本機記憶體8及/或外部記憶體14中。在其他實例中，影像信號處理器6可使用硬體、韌體、及/或軟體之組合來執行AEC程序20、AWB程序22、AF程序24、DSC程序26、LSC程序28及/或FPNC程序30。當組態為軟體時，AEC程序20、AWB程序22、AF程序24、DSC程序26、LSC程序28及/或FPNC程序30可包括指令，該等指令組態影像信號處理器6以執行各種影像處理及裝置管理任務，包括本揭露之DSC技術。
AEC程序20可包括用於組態、計算、儲存、及/或應用相機模組12之曝光設定的指令。曝光設定可包括用以擷取影像的快門速度及光圈設定。根據本揭露的技術，影像信號處理器6可使用由相機模組12擷取的深度資訊以更佳地識別影像之主題，且基於識別之主題進行曝光設定。AF程序24可包括用於組態、計算、儲存、及/或應用相機模組12之自動聚焦設定的指令。
AWB程序22可包括用於組態、計算、儲存及/或應用AWB設定（例如，AWB增益）的指令，AWB設定可應用至由相機模組12擷取的一或多個影像。在一些實例中，由AWB程序22判定的AWB增益可應用至判定AWB增益所依據的影像。在其他實例中，由AWB程序22判定的AWB增益可應用至於在判定AWB增益所依據的影像之後擷取的一或多個影像。因此，AWB增益可應用至在判定AWB增益所依據的第一影像之後擷取的一第二影像。在一個實例中，第二影像可係緊接在判定AWB增益所依據的第一影像之後擷取的影像。亦即，若第一影像係圖框N，則AWB增益所應用至的第二影像係圖框N+1。在其他實例中，第二影像可係在判定AWB增益所依據的第一影像之後兩個影像所擷取的影像。亦即，若第一影像係圖框N，則AWB增益所應用至的第二影像係圖框N+2。在其他實例中，AWB增益可應用至離第一影像在更遠時間擷取的影像（例如，圖框N+3、圖框N+4等）。在其他實例中，AWB增益可應用至判定AWB增益所依據的第一影像。
DSC程序26可包括組態、計算、儲存及/或應用顯示陰影補償增益的指令。例如，DSC程序26可接收由相機感測器擷取的第一影像資料。相機感測器可設置在顯示器之至少一部分之下。DSC程序26可接收顯示內容之至少一部分；基於預設參數、所顯示內容之至少一部分、及/或相機感測器上方的像素之老化狀態來判定調整矩陣（諸如二維增益矩陣）；且將調整矩陣應用至第一影像資料以建立第二影像資料且輸出第二影像資料。預設參數可指示顯示器中的子像素之形狀、大小或位置，且可表示補償參數，補償參數用於補償諸如由顯示器子像素佈局（例如，顯示器中的子像素之大小、形狀及位置）導致的陰影或著色的問題。在一些實例中，預設參數亦可指示顯示器中的主動像素之位置，且可表示基於分區控制（例如，其中給定區中的所有像素之像素子集可正在主動顯示內容）的補償。在一些實例中，預設參數可使用如下文關於圖8A至圖8C描述的灰色檢查卡來判定以產生複數個調整矩陣，且DSC程序26可藉由以下方式補償所顯示內容之至少一部分：計算子像素值之和之平均值（例如，(R+G+B)/像素之數目*3）（諸如相機感測器上方的像素），且使用平均值作為索引來選擇或調整調整矩陣中之一者。如本文中所使用，平均值係統計量測之實例。
LSC程序28可包括用於組態、計算、儲存及/或應用鏡頭陰影補償增益的指令。例如，LSC程序28可補償因相機鏡頭導致的朝向影像之邊緣的失光(light falling-off)。
FPNC程序30可包括用於組態、計算、儲存及/或應用FPN補償程序的指令。例如，FPNC程序30可自所擷取影像減去主暗圖框以補償FPN。
本機記憶體8可儲存原始影像資料，且亦可在由影像信號處理器6執行的任何處理之後儲存經處理之影像資料。本機記憶體8可由各種非暫時性記憶體裝置之任一者形成，該等非暫時性記憶體裝置諸如動態隨機存取記憶體(dynamic random-access memory, DRAM)，包括同步DRAM (synchronous DRAM, SDRAM)、磁阻式RAM (magnetoresistive RAM, MRAM)、電阻式RAM (resistive RAM, RRAM)、或其他類型之記憶體裝置。記憶體控制器10可控制本機記憶體8內的記憶體組織。記憶體控制器10亦可控制自本機記憶體8至影像信號處理器6的記憶體負載及自影像信號處理器6至本機記憶體8的寫回。待由影像信號處理器6處理的影像可在影像擷取之後自相機模組12直接載入影像信號處理器6，或可在影像處理期間儲存在本機記憶體8中。
如所提及，裝置2可包括相機模組12以擷取待處理的影像，然而本揭露在此方面並非必然受限。相機模組12可包含固態感測器元件（諸如互補金屬氧化物半導體(complementary metal-oxide semiconductor, CMOS)感測器元件、電荷耦合裝置(charge coupled device, CCD)感測器元件、或類似者）之陣列。替代地，或額外地，相機模組12可包含一組影像感測器，該組影像感測器包括配置在各別感測器之表面上的濾色器陣列(color filter array, CFA)。相機模組12可直接耦合至影像信號處理器6以避免影像處理中的延時。相機模組12可經組態以擷取靜態影像或全動態視訊序列(full motion video sequence)，在全動態視訊序列的情況下，可對視訊序列之一或多個影像圖框執行影像處理。
相機模組12可發送像素值（例如，以拜耳(Bayer)或RGB格式）、及/或描述所擷取影像的原始統計訊息至影像信號處理器6。自相機模組12獲得的資訊可用於DSC程序26，如下文將更詳細地描述。一般而言，影像信號處理器6可經組態以分析原始統計及深度資訊以計算及/或判定成像參數，諸如感測器增益、R/G/B增益、AWB增益、快門速度、光圈大小、及類似者。經計算及/或判定的成像參數可應用至擷取的影像、應用至一或多個後續擷取的影像、及/或發送回相機模組12以調整曝光及/或聚焦設定。
裝置2可包括一顯示器16，顯示器在本揭露所述之影像處理之後顯示影像。在此類影像處理之後，影像可被寫入至本機記憶體8或外部記憶體14。經處理的影像接著可發送至顯示器16以供呈現給使用者。顯示器16可顯示其他資訊，包括儲存在記憶體位置（例如，外部記憶體14）中的檔案之視覺表示、安裝在影像信號處理器6中的軟體應用程式、使用者介面、網路可存取內容物件、及其他資訊。
在一些實例中，裝置2可包括多個記憶體。例如，裝置2可包括外部記憶體14，外部記憶體一般包含相對較大的記憶體空間。外部記憶體14，例如，可包含DRAM或快閃記憶體。在其他實例中，外部記憶體14可包含非揮發性記憶體或任何其他類型之資料儲存單元。與外部記憶體14相比，本機記憶體8可包含較小及較快的記憶體空間，然而本揭露在此方面並非必然受限。舉實例而言，本機記憶體8可包含SDRAM。在任何情況下，外部記憶體14及本機記憶體8僅係例示性的，且可組合至相同的記憶體部件中，或可在任何數目之其他組態中實施。在一些實例中，外部記憶體14可儲存第一UI及第二UI。例如，第一UI可顯示屏下式相機感測器之上的區域中的黑色像素，且第二UI可顯示屏下式相機感測器之上的區域中的非黑色像素。
裝置2亦可包括一傳輸器（未示出）以將經處理的影像或經編碼的影像序列傳輸至另一裝置。實際上，本揭露之技術可用於手持無線通訊裝置（諸如智慧型手機），其包括數位相機功能性或數位視訊能力。在此種情況下，裝置亦將包括調變解調器(modulator-demodulator, MODEM)以利無線調變基帶信號至載波波形上，從而促進經調變資訊之無線通訊。
本機記憶體8、顯示器16及外部記憶體14（及其他組件，若為所欲的）可經由一通訊匯流排15耦合。裝置2中亦可包括若干其他元件，但為了簡化及易於説明，未在圖1中特別繪示該等其他元件。圖1中繪示的架構僅係例示性的，因為本文所述之技術可使用各種其他架構實施。
圖2A至圖2D係示出影像擷取裝置（諸如智慧型手機）之實例的方塊圖。各影像擷取裝置經描繪為具有顯示器及前置相機感測器。在此內容背景中，前置相機感測器係在一般操作中面對影像擷取裝置之使用者的相機感測器。例如，前置相機感測器一般與主顯示器位於裝置之相同側。各前置相機感測器可係相機模組（諸如相機模組12）之一部分。例如，在圖2A中，影像擷取裝置200包括顯示器202、相機感測器204及按鈕206。按鈕206可用於多個目的，諸如喚醒影像擷取裝置200、變更顯示在顯示器202上的內容等。如可見，按鈕206及相機感測器204佔據影像擷取裝置200之正面的空間。藉由將相機感測器204及按鈕206定位在影像擷取裝置200之正面，可用於顯示器202的面積較小。
另一方面，在圖2B之實例中，影像擷取裝置210在正面沒有按鈕。在此情況下，按鈕可位在側面，或按鈕之功能可包括在顯示器212中（例如，透過觸控顯示介面）。影像擷取裝置210經描繪為具有相機感測器214及凹口216。凹口216可係在影像擷取裝置210裝配之前自顯示器移除的一區。在此實例中，由凹口216覆蓋的區因此不係顯示器212之部分，且不顯示內容。為了與圖2A之影像擷取裝置200相比增加顯示器212在影像擷取裝置210的正面所佔之比率，可採用凹口216。
在圖2C之實例中，影像擷取裝置220具有一顯示器222及一彈出式相機226。相機感測器224可包含在彈出式相機226中。在影像擷取裝置220之實例中，顯示器222之整體可顯示內容且沒有諸如圖2B之影像擷取裝置210中的凹口。
在圖2D之實例中，影像擷取裝置230具有一顯示器232及一相機感測器234。在一些實例中，影像擷取裝置230可具有多於一個相機感測器。例如，影像擷取裝置230可具有相機感測器234及相機感測器238。影像擷取裝置230可包含或係裝置2之實例，且顯示器232可係顯示器16之實例。在圖2D之影像擷取裝置230之實例中，不同於圖2A至圖2C之實例，相機感測器234及相機感測器238設置在顯示器232之下。在一些實例中，相機感測器234或相機感測器238之一部分而非全部可設置在顯示器232之下。顯示器232可包含透明層。顯示器232之區域232A、顯示器232之區域232B、及顯示器232之區域232C將參照圖5、圖7、及圖9進一步論述。雖然本揭露之技術大致上參照具有設置在顯示器之下的相機感測器的影像擷取裝置（諸如影像擷取裝置230）來描述，但本揭露之技術可與其他影像擷取裝置（諸如影像擷取裝置200、210及220或具有部分設置在顯示器下方的相機感測器的影像擷取裝置）一起使用。
現在參照圖2A至圖2D中之各者，影像擷取裝置200具有比影像擷取裝置210、220及230更大的形狀因數，但是具有與影像擷取裝置220之顯示器222及影像擷取裝置230之顯示器232相同大小的顯示器202，且由於凹口216，所具有的顯示器202比影像擷取裝置210之顯示器212稍大。影像擷取裝置210具有與影像擷取裝置220及230相同大小的形狀因數，但由於凹口216，影像擷取裝置210在顯示器212上具有較小可用顯示空間。此外，凹口216對於一些使用者而言可能係令人分散注意力的。影像擷取裝置220具有與影像擷取裝置230相同的形狀因數及可用顯示大小，然而影像擷取裝置220在彈出式相機226中具有可移動部件。此等可移動部件可由於重複使用或使用者將影像擷取裝置220掉落至硬表面上而破裂或卡住。因此，所欲的可係將相機感測器定位在顯示器下面，因為將相機感測器定位在顯示器下方可在最大化顯示空間的同時避免切凹口及移動機械部件。
此外，就圖2D之影像擷取裝置230而言，相機感測器234可位於顯示器232下面的任何地方。在此實例中，相機感測器經示出為位於顯示器232之中間。此位置可比影像擷取裝置200、影像擷取裝置210及影像擷取裝置220中的前置相機感測器之位置更為所欲的。例如，嘗試進行「自拍(selfie)」的使用者可在影像擷取裝置之顯示器上看見其自身之實時影像。相機感測器離使用者的眼睛望向的位置越遠，將擷取的影像越有可能將眼睛注視描繪成遠離相機感測器。此眼睛注視現象可導致不美觀的影像，其中使用者的注視顯現在可預期使用者觀看的位置之下（或之上）（例如，不是朝向影像觀看者之眼睛，而是自影像觀看者之眼睛朝下（或朝上），諸如在影像觀看者之頭部下方或上方）。
圖3係如圖2D中所示之影像擷取裝置230的實例的分解側視圖之方塊圖。為了簡化目的，相機感測器238未在圖3或其餘圖式中示出，且可類似於如本文所描述的相機感測器234運作。在圖3之實例中，影像擷取裝置230包括顯示器232、相機感測器(camera sensor, CS) 234及殼體236。殼體236可包括電子電路板、處理器、記憶體、電池、射頻電路系統、天線及其他組件。如所示，顯示器232設置在相機感測器234之上且相機感測器234設置在顯示器232之下或下面。在此實例中，如在圖2D中，相機感測器234係前置相機。相機感測器234經組態以藉由擷取穿過顯示器232的環境光來擷取影像。也就是說，相機感測器234可接收在入射在相機感測器234上之前穿過顯示器232之至少一部分的環境光。如本文中所使用，相機感測器在顯示器下方、之下或下面，或顯示器在相機感測器上方，此等描述係意欲描述相機感測器經組態且經定位以便藉由擷取穿過顯示器（諸如顯示器232）的環境光來擷取影像。顯示器232在顯示內容時，可朝向使用者且通常背離相機感測器234發射光。相機感測器234可在顯示器232主動顯示內容的同時或情況下主動擷取（多個）影像。換言之，相機感測器234可接收穿過顯示器232之至少一部分的環境光，而顯示器232可朝向使用者發射光。
圖4A及圖4B係可根據本揭露之技術使用的實例OLED顯示器之簡化圖。雖然圖4A及圖4B之顯示器經描繪為OLED顯示器，但本揭露之技術可用於以下任何顯示器，該等顯示器經組態以允許光穿過顯示器至位於顯示器下面的相機感測器，該等顯示器諸如LCD、LED、AMOLED、或其他顯示器。在圖4A及圖4B中，雖然實例OLED顯示器經描繪為三層，但OLED顯示器可由更多層組成。
在圖4A的實例中，OLED顯示器250包括陰極層252、有機發光材料層254、及陽極層256。例如，當電流在陰極層252與陽極層256之間流動穿過有機發光材料層254時，OLED顯示器250可發射光，使（多個）影像出現在OLED顯示器250上。以此方式，有機發光材料層254可透過陰極層252朝向使用者發射光。在一些實例中，相機感測器234可在與有機發光材料層254可發射光的同一時間接收環境光。在圖4A之實例中，環境光可照射陰極層252之面。此環境光之一部分可穿過陰極層252、有機發光材料層254及陽極層256。在此實例中，陰極層252及陽極層256可不透明。此外，有機發光材料層254可具有RGB、RGBW、WRGB（其中W係白色）、RGBG或其他子像素，該等子像素可阻擋、衰減或扭曲環境光以阻止其穿過有機發光材料層254。因此，穿過OLED顯示器250的環境光之量可相對小（經示出為透射光）。如此，在OLED顯示器250下面接收透射光的相機感測器234可不接收非常多的透射光，如細箭頭所表示。此可導致由相機感測器擷取的影像之不良影像品質。
在圖4B的實例中，OLED顯示器260包括透明陰極層262、有機發光材料層264及透明陽極層266。如在圖4A之實例中，當電流在透明陰極層262與透明陽極層266之間流動穿過有機發光材料層264時，OLED顯示器260可發射光，使（多個）影像出現在OLED顯示器260上。以此方式，有機發光材料層264可透過透明陰極層262朝向使用者發射光。在圖4B之實例中，因為透明陰極層262及透明陽極層266兩者皆係透明的，環境光之更大部分可透射穿過OLED顯示器260至相機感測器234。相機感測器234可接收在入射在相機感測器234上之前穿過OLED顯示器260之至少一部分的環境光（經示出為透射光，如粗箭頭所表示）。在一些實例中，相機感測器234可在與有機發光材料層264可發射光的同一時間接收環境光。在圖4B之實例中，如同圖4A之實例中，有機發光材料層264可含有RGB、RGBW或WRGB子像素，該等子像素可阻擋、衰減或扭曲環境光以阻止穿過有機發光材料層264。總而言之，圖4B之實例中的衰減或扭曲可小於圖4A之實例中的衰減或扭曲，例如，歸因於透明陰極層262及透明陽極層266係透明的。然而，由於電流在陰極層252與陽極層256之間流動，OLED顯示器250可能老化，老化可能使透明度隨時間降低。
圖5係描繪可根據本揭露之技術使用的分區控制之實例的概念圖。運用分區控制，顯示器之一個區域或分區主動使用該一個區域或分區之所有像素來顯示內容，而顯示器之另一區域或分區可主動使用該另一區域或分區之僅一些像素來顯示內容。圖5描繪可顯示的影像之兩個不同視圖，各視圖內的各方塊表示顯示器中的一像素。視圖270描繪可顯示在顯示器（諸如顯示器232，其可不位於相機感測器（諸如相機感測器234）之上）之區域中的影像。在圖2D中，顯示器之此區域經示出為區域232A。區域232A中之所有像素可利用來顯示內容，諸如視圖270中所示。
視圖272描繪可顯示在相機感測器之上的顯示器之區域（諸如圖2D之區域232B或區域232C）中的影像。在視圖272中，像素子集正在主動顯示內容。在一些實例中，區域232B可係與相機感測器234相同的大小。在其他實例中，區域232B可係與相機感測器234不同的大小。在一些實例中，區域232C可係與相機感測器238相同的大小。在其他實例中，區域232C可係與相機感測器238不同的大小。在一些實例中，區域232B或區域232C可在實驗室中判定。在一些實例中，區域232B或區域232C可由影響相機感測器（例如，相機感測器234或相機感測器238）的（多個）光學路徑判定。例如，科學家或工程師可測試區域232B或區域232C之各種佈局，且選擇一個平衡顯示器之美觀性及光穿過顯示器至相機感測器234或相機感測器238之能力的佈局。
在視圖272之實例中，顯示器232利用來顯示內容的主動像素之位置係由四個像素組成之每一組（例如，組274藉由白色虛線與由四個像素組成之其他組分開）中之左上像素（例如，像素271），且不利用由四個像素組成之各組中之其他像素。此特定組態係非限制性實例。可根據本揭露之技術利用其他組態。
在一些實例中，視圖272可僅當相機感測器234正在主動地用以擷取（多個）影像時才顯示在相機感測器234之上的區域232B中，且視圖270（例如，使用所有像素）可顯示在區域232A中。在一些實例中，視圖272可僅當相機感測器238正在主動地用以擷取（多個）影像時才顯示在相機感測器238之上的區域232C中，且視圖270（例如，使用所有像素）可顯示在區域232A中。在一些實例中，當相機感測器234不在主動地用以擷取（多個）影像時，視圖270（例如，使用所有像素）可用於區域232A、區域232B、及區域232C中。例如，當影像擷取應用程式（例如，相機應用程式或視訊應用程式）正由裝置2執行時，視圖272可顯示在區域232B中。
可所欲的是視圖272在相機感測器234正在主動地用以擷取（多個）影像時顯示在區域232B中，以減少可由顯示內容導致且由相機感測器234擷取的環境光之光散射及扭曲。因此，當相機感測器234正在主動地擷取（多個）影像時，區域232B中的像素子集可係主動的，或當相機感測器238正在主動地擷取（多個）影像時，區域232C中的像素子集可係主動的。藉由減少在影像擷取期間顯示內容的在相機感測器234（或相機感測器238）之上的像素之數目，可減少擷取的影像中的光散射及扭曲。
在一些實例中，當相機感測器234正在主動地用以擷取（多個）影像時，視圖272可不顯示在區域232B中，或當相機感測器238正在主動地用以擷取（多個）影像時，視圖272可不顯示在區域232C中。例如，可更為所欲的是在顯示器232之全部（區域232A、區域232B、及區域232C）上顯示所有像素（視圖270）。
圖6A至圖6C係描繪根據本揭露之技術的顯示器中的子像素之實例佈局的概念圖。如上文所提及，子像素係像素之元件，諸如RGB像素之紅色、藍色或綠色元件。雖然圖6A至圖6C之實例繪示RGB子像素，但顯示器可含有RGBW、WRGB、或其他子像素佈局。在圖6A之實例中，佈局276包括三行藍色(B)子像素，如圖所示。各行藍色子像素之間係一行交替綠色(G)及紅色(R)子像素。子像素之間有空間277。在圖6B之實例中，佈局278包括兩行綠色(G)子像素，如圖所示。綠色子像素行之任一側係一行交替藍色(B)及紅色(R)子像素。子像素之間有空間279。在圖6C之實例中，佈局280包括若干列圓形子像素。此等子像素之各者可係綠色(G)子像素。綠色子像素列之間係菱形的交替紅色(R)子像素及藍色(B)子像素。子像素之間係空間281。圖6A至圖6C僅係顯示器中的子像素之可能佈局之幾個實例。子像素之形狀、大小、及位置係顯示器之製造商的設計選擇問題。因此，子像素之佈局可能隨製造商或顯示器類型而有所不同。與子像素之佈局（例如，形狀、大小及位置）相關的資訊可自顯示器之製造商處獲得。
當相機感測器（諸如相機感測器234）位於顯示器（諸如顯示器232）下面時，相機感測器234可透過子像素之間的空間（例如，空間277、空間279、或空間281）接收環境光。例如，一或多個相機感測器可設置在顯示器層之至少一部分之下或下面，使得光在由一或多個感測器接收之前穿過顯示器層。雖然光可在由一或多個相機感測器（諸如相機感測器234）接收之前穿過顯示器層，但子像素可能遮蔽相機感測器234之部分且可能導致諸如擷取的（多個）影像中的霧度、眩光、及/或色偏等問題。此外，如上文所討論，在相機感測器（諸如相機感測器234）之上顯示內容亦可能影響影像品質，此係歸因於可由相機感測器234擷取的顯示內容之光散射。本揭露之顯示陰影補償技術可補償子像素導致的陰影及顯示內容導致的光散射，從而改善由具有在顯示器下面的相機感測器的影像擷取裝置擷取的影像的影像品質。
圖7係可實施本揭露之技術的實例影像擷取裝置之方塊圖。影像擷取裝置102可係圖1之裝置2之實例。舉實例而言，影像擷取裝置102可包含無線行動通訊裝置，諸如蜂巢式電話或衛星無線電電話、智慧型手機、單機數位相機或視訊攝錄影機、個人數位助理(PDA)、平板電腦、膝上型電腦、或具有成像或視訊能力的任何裝置，在該等裝置中影像處理係所欲的。
影像擷取裝置102可包括一或多個處理器110、相機感測器112、影像信號處理器106、記憶體114、顯示器116、通訊電路系統118、及環境光感測器122。顯示器116可包括區域120（其可係圖2D之區域232B或區域232C之實例），該區域位於相機感測器112上方，使得相機感測器透過區域120接收光。在一些實例中，影像信號處理器106可係一或多個處理器110中之一者。在一些實例中，影像信號處理器106可係一或多個處理器中之多於一者。在一些實例中，影像信號處理器106可與一或多個處理器110分開，如所描繪。
記憶體114可包括影像擷取應用程式104。影像擷取應用程式104可係由使用者利用來開啟影像擷取裝置102之相機功能性的應用程式。記憶體114亦可儲存第一相機UI（第一UI 105）、第二相機UI（第二UI 108）、及（多個）預定臨限（臨限107）。在一些實例中，記憶體114亦可係第三相機UI（第三UI 111）。記憶體114亦可經組態以儲存與由相機感測器112擷取的影像相關的像素值。記憶體114亦可儲存用於使一或多個處理器110執行本揭露之技術的指令。
相機感測器112可在啟動時擷取影像之像素值。例如，當一或多個處理器110正在執行影像擷取應用程式104時，相機感測器112可擷取像素值。影像信號處理器106可處理由相機感測器112擷取之像素值。
一或多個處理器110可自影像信號處理器106獲得像素值，且可提供像素值至記憶體114以用於儲存，提供至通訊電路系統118以用於傳輸至另一裝置，或提供像素值至顯示器116以用於向使用者顯示。當相機關閉時（例如，當一或多個處理器110不在執行影像擷取應用程式104時），一或多個處理器110可自例如記憶體114獲得像素值，且提供像素值至顯示器116以用於顯示。
在一些實例中，根據本揭露之技術，影像擷取裝置102包括經組態以顯示擷取的影像的顯示器116。影像擷取裝置102包括相機感測器112。相機感測器112經設置以透過顯示器之至少一部分接收光。影像擷取裝置102包括經組態以儲存擷取的影像的記憶體114。影像擷取裝置102包括耦合至相機感測器112、顯示器116、及記憶體114的一或多個處理器110。一或多個處理器110經組態以自感測器接收信號。一或多個處理器110經組態以至少部分地基於信號判定使用者介面模式，使用者介面模式包含第一模式（例如，第一UI 105）及第二模式（例如，第二UI 108），其中第一模式包含顯示器之區域中的第一數目之黑色像素，且第二模式包含顯示器之區域中的第二數目之黑色像素，第一數目大於第二數目。一或多個處理器110亦經組態以自相機感測器112接收影像資料。
環境照度（例如，環境光）對於屏下式相機感測器諸如相機感測器112可係重要的，因為環境照度可影響影像擷取裝置102中的自動曝光控制、自動聚焦、及自動白平衡。例如，在暗、低勒克司環境中，由相機感測器112擷取的影像可相對地差。例如，若環境勒克司為8000勒克司，則相機感測器112可在適當的校準下良好地運作。若環境勒克司為20勒克司，則由相機感測器234擷取的影像可能差，且可能需要複雜的調諧以改善影像。若環境勒克司為0.2勒克司且未使用閃光燈，則由相機感測器234擷取的影像可能非常差以至影像可能不可修復。
根據本揭露之技術，第一模式中的影像擷取裝置102可例如在低勒克司環境中在相機感測器112之上的區域120中顯示黑像素。如本文中所使用，「黑像素(black pixel)」包括灰階值為0的像素、空白像素、或未定址像素。藉由在相機感測器112之上的區域120中顯示黑色像素，顯示器116在區域120中之透射率可改善且從而有益於影像擷取裝置102之自動曝光控制、自動聚焦及自動白平衡（其等可係影像信號處理器106之部分）。然而，在區域120中隨時顯示黑色像素可能干擾正常顯示UI，且可能令影像擷取裝置102之使用者覺得不美觀。因此，可所欲的是提供用於僅在低勒克司環境期間在相機感測器112上方的區域120中顯示黑色像素的技術。
控制UI之選擇的一項技術可係基於自動曝光控制(AEC)之技術。AEC可使用連續圖框之直方圖靜態及輸入像素動態範圍分析來控制相機感測器增益及曝光時間。AEC可利用5至15個圖框之資料來判定適當的增益曝光時間平衡設定。此外，AEC程序受相機感測器之上的顯示器之區域中的像素值的影響。
在一些實例中，一旦啟動影像擷取應用程式104，一或多個處理器110即可透過例如影像擷取應用程式104、系統相機服務、或相機硬體抽象層(hardware abstraction layer, HAL)使用環境光感測器122檢查環境勒克司值。若環境勒克司值大於預定臨限，則可認為環境光高。在此情況下，顯示器透射率並非必然係關鍵的。因此，一或多個處理器110可啟動第二UI 108。
若環境勒克司值小於預定臨限，則可認為環境光低。在此情況下，顯示器透射率對於適當的影像獲取可係更重要的。因此，一或多個處理器110可啟動第一UI 105。此意味相機感測器之上的顯示器之區域之像素可係0像素值，以增加相機感測器之上的顯示器之區域之透射率。
例如，當相機打開時（例如，當一或多個處理器110正在執行影像擷取應用程式104時），一或多個處理器110可判定環境光位準。例如，一或多個處理器可查詢環境光感測器122以判定環境光位準。環境光感測器122可經組態以感測環境光位準。一或多個處理器110可判定環境光位準是否低於臨限。在一些實例中，臨限可係預定的。在其他實例中，臨限可係動態的且基於除環境光位準以外的因素，諸如閃光燈是否處於自動模式或打開、感測器信號等。例如，一或多個處理器110可將判定的環境光位準與臨限107進行比較。基於環境光位準低於預定臨限，一或多個處理器110可控制顯示器來以第一模式顯示第一UI 105。當一或多個處理器110控制顯示器來顯示第一UI 105時，屏下式相機感測器（例如，相機感測器112）上方的區域120中的像素經設定為黑色（例如，像素值經設定為0）。以此方式，當環境光低時，影像擷取裝置102可改善區域120中的透射率。
在一些實例中，一或多個處理器110可判定第二環境光位準。一或多個處理器110可判定第二環境光位準是否低於臨限。基於第二環境光位準不低於臨限，一或多個處理器110可控制顯示器來以第二模式顯示第二UI 108。當一或多個處理器110控制顯示器來顯示第二UI 108時，屏下式相機感測器（例如，相機感測器112）上方的區域120中的像素可係非黑色的（例如，像素值不設定為0）。以此方式，當環境光不低時，區域120可顯示內容，諸如影像、影像之一部分、圖示、圖示之一部分、或其他內容，從而提供比第一UI 105更令人滿意的外觀。
在一些實例中，使用者可選擇UI之模式。例如，當啟動影像擷取應用程式104時，可顯示可在UI之不同模式間切換的圖示，或可顯示用於各模式的不同圖示。當使用者輕觸圖示時，觸控感測器109可發送信號至一或多個處理器110，且一或多個處理器110可至少部分地基於該信號判定UI之模式。
在一些實例中，一或多個處理器可對正由相機感測器112擷取的影像執行場景分析，且可基於場景分析選擇UI模式。例如，若影像之主體之臉部照明良好，但背景係暗的，則一或多個處理器可選擇第二模式而非第一模式。在一些實例中，一或多個處理器110可至少部分地基於閃光燈是處於自動模式、設定為開啟、還是設定為關閉來判定UI模式。例如，若閃光燈處於關閉狀態，則一或多個處理器110可判定UI模式為第一模式。若閃光燈開啓或設定為自動，則一或多個處理器110可判定UI模式為第二模式。在一些實例中，一或多個處理器可進一步基於其他感測器信號（諸如相機感測器信號、深度感測器信號等）來判定UI模式。
在一些實例中，可有第三UI 111。與第二UI 108相比，第三UI 111在相機感測器112上方可具有更大數目之黑色像素，但與第一UI 105相比，在相機感測器112上方可具有更小數目之黑色像素。在一些實例中，一或多個處理器110可基於環境光位準高於第一臨限但是低於第二臨限（例如在陰天期間）而將UI之模式判定為第三UI模式。在一些實例中，一或多個處理器110可至少部分地基於其他感測器（諸如觸控感測器109、相機感測器112或類似者）信號將UI判定為第三模式（第三UI 111）。
在一些實例中，對於第一UI 105，裝置2可任選地淡入(fade in)及/或淡出(fade out)相機感測器（例如，相機感測器234）之上的顯示區域（例如，區域232B）中的黑色像素，以提供更美觀的視覺效果。例如，當顯示第一UI時，影像擷取裝置102可淡入屏下式相機上方的區域中的黑色像素。換言之，影像擷取裝置102可在一段時間內將相機感測器112之上的區域120中的像素之像素值自現有非零值轉變至零值。例如，影像擷取裝置可藉由在一段時間內藉由將值自現有非零像素值減小至零像素值而自現有非零像素值轉變至零像素值。在一些實例中，影像擷取裝置102可淡出屏下式相機感測器上方的區域中的黑色像素，例如，當自顯示第一相機使用者介面轉變至顯示其他某物時。換言之，影像擷取裝置102可在一段時間內將像素值自現有零像素值轉變至非零像素值。例如，影像擷取裝置可藉由在一段時間內自現有零像素值增大至非零像素值而自現有零像素值轉變至非零像素值。例如，影像擷取裝置102可基於影像擷取應用程式關閉來淡出黑色像素。在一些實例中，影像擷取裝置102可基於由環境光感測器122感測的新環境光位準不低於預定臨限來淡出黑色像素。
圖8A至圖8C係繪示根據本揭露之技術在屏下式相機感測器上方的顯示器之區域中的不同實例UI模式的概念圖。圖8A描繪第一模式（第一UI 105）之實例。影像擷取裝置502顯示由影像擷取裝置502擷取的場景。影像擷取裝置502亦顯示快門控制506。在影像擷取裝置502之顯示器下面以白色虛線示出相機感測器。區域504正在相機感測器之上顯示第一數目之黑色像素。在一些實例中，區域504中的所有像素在第一模式中皆係黑色的。以此方式，影像擷取裝置502可改善相機感測器上方的區域504的透射率。例如，影像擷取裝置502可在低環境光情況下在相機感測器之上顯示黑色像素。雖然區域504經示出為正方形，但是區域504可具有任何形狀。
圖8B描繪第二模式之實例。例如，影像擷取裝置512顯示由影像擷取裝置512擷取的場景。影像擷取裝置512亦顯示快門控制516。在影像擷取裝置512之顯示器下面以虛線示出相機感測器。區域514可在相機感測器之上顯示第二數目之黑色像素。在一些實例中，第二數目小於第一模式中使用的第一數目。在一些實例中，第二數目係零。以此方式，影像擷取裝置502可在相機感測器上方的區域514中顯示影像內容。例如，影像擷取裝置502可在高環境光情況下在相機感測器之上不顯示黑色像素。雖然區域514經示出為正方形，但是區域504可具有任何形狀。
圖8C描繪第三模式之實例。例如，影像擷取裝置522顯示由影像擷取裝置522擷取之場景。影像擷取裝置522亦顯示快門控制526。在影像擷取裝置522之顯示器下面以虛線示出相機感測器。區域524在相機感測器之上顯示第三數目之黑色像素。黑色像素之數目可大於第二模式中使用的第二數目，且小於第三模式中使用的第三數目。以此方式，影像擷取裝置522可在相機感測器上方的區域524中顯示一些影像內容。第三模式可在環境光小於第一預定臨限但小於第二預定臨限的情況下使用。例如，影像擷取裝置502可在中等環境光情況下在相機感測器之上顯示一些黑色像素。
圖9A至圖9C係繪示根據本揭露之技術的第一模式之進一步實例的概念圖。在圖9A中，影像擷取裝置532經描繪為具有在相機感測器（以白色虛線示出）上方顯示黑色像素的橢圓形區域534。在圖9B中，影像擷取裝置542經描繪為在相機感測器（以白色虛線示出）上方顯示圓形區域。在圖9C中，影像擷取裝置552經描繪為在相機感測器（以白色虛線示出）上方顯示大致矩形區域。此等僅係當影像擷取裝置處於第一模式時可在相機感測器之上顯示黑色像素的相機感測器之上的區域之幾個形狀。如上文所討論，在第一模式中顯示黑色像素的區域可具有任何形狀。
圖10係繪示根據本揭露之技術的影像信號處理(ISP)管線50的方塊圖。ISP管線50可包含在影像信號處理器6內且可如上文關於圖1所論述者實施。ISP管線50可包含在圖2D之影像擷取裝置230內。雖然ISP管線50之操作係以特定順序示出，但特定順序係例示性的，且操作之順序可根據本揭露之技術來改變。
FPN補償器(FPN comp) 126可自相機感測器234接收資料。在一些實例中，子像素之至少一部分設置在相機感測器234上方。在其他實例中，顯示器之子像素設置在相機感測器234之上且與之相鄰，且顯示器之子像素不遮擋相機感測器。例如，小型相機感測器可在顯示器下方設置在子像素之間。FPN補償器126可補償固定圖案雜訊，例如暗或黑色圖案雜訊。FPN補償器126之輸出可提供至自動聚焦統計單元138，自動聚焦統計單元可判定關於自動聚焦之操作的統計資訊，統計資訊可用於例如改善針對後續擷取的影像的自動聚焦功能。FPN補償器126之輸出亦可提供至顯示陰影補償器128。
顯示擷取器140可例如擷取顯示在顯示器232上的內容。在一些實例中，顯示擷取器140可擷取顯示內容之至少一部分。在一些實例中，顯示擷取器140可擷取顯示在顯示器232之區域232B中之顯示內容之一部分。在一些實例中，顯示擷取器140可擷取顯示在至少部分地位於相機感測器234上方的區域中的內容之一部分。在一些實例中，顯示擷取器140可擷取顯示在直接位於相機感測器234上方的區域中的內容之一部分。在其他實例中，顯示擷取器140可擷取顯示在顯示器232上的全部內容。顯示擷取器140可實施為在運行時間擷取顯示內容的快取緩衝器。在一些實例中，顯示擷取器140可位於ISP管線50外部。在一些實例中，顯示擷取器140可實施在本機記憶體8中、外部記憶體14中、顯示處理管線中、或裝置2內的其他地方。
ISP管線50可存取儲存的預設參數144之組。在一些實例中，預設參數144可儲存在影像處理設備4之本機記憶體8內。在其他實例中，預設參數144可儲存在其他地方，諸如外部記憶體14中。預設參數可表示補償參數，補償參數用以補償諸如由顯示器子像素佈局（諸如關於圖6A至圖6C所述）導致的陰影或著色問題。在一些實例中，預設參數可包含複數個儲存的調整矩陣。由於關於給定製造商的顯示器中的子像素之大小、形狀及位置的資訊係製造商已知的，且可由製造商處輕易取得，此資訊可用於判定預設參數的初始值。在一些實例中，預設參數亦可包括分區控制資訊，諸如當相機感測器234正在主動地擷取（多個）影像時，在諸如區域232B的區中哪些特定像素可係主動的，諸如上文關於圖5所討論。在一些實例中，預設參數接著可在輸入至影像擷取裝置之前，在實驗室或工廠中使用樣本相機感測器及樣本顯示器在不同顯示內容下進行微調。在其他實例中，可基於實驗室中的微調而空中(over the air)更新預設參數至影像擷取裝置。
圖11A至圖11C係表示預設參數之判定的概念圖。圖11A代表顯示器中的子像素之佈局，諸如圖6C中之佈局280。人們可藉由將灰色檢查卡置放在相機調諧盒中判定預設參數，且使用顯示器下方的相機感測器擷取灰色檢查卡之影像。在一些實例中，可在不在顯示器上顯示任何影像的情況下擷取此影像。在其他實例中，可在於顯示器上顯示不同灰階標度位準影像的情況下重複地擷取此影像。因為相機感測器係位於該顯示器下方，所以圖11A之子像素可阻擋正在擷取的影像之部分。當擷取灰色檢查卡之影像時，影像可看起來更像圖11B之影像400而非純灰色影像。可選擇預設參數，使得應用包含預設參數的調整矩陣之後，顯示陰影補償器128之輸出影像可類似於純灰色影像，例如影像402，諸如圖11C所示。
例如，工程師或技術人員可找出擷取的影像中的最大像素值。他們接著將最大值除以各像素以判定待應用至各像素的增益。人們可產生調整矩陣（諸如二維增益矩陣），使得各像素之輸出與應用增益後的各其他像素之輸出相等，以產生圖11C之純灰色影像作為調整矩陣之應用的輸出。預設參數可例如藉由在於顯示器上顯示不同顏色及亮度位準的不同內容的同時，用相機感測器擷取影像來進行微調。預設參數可接著經調整，使得應用調整矩陣之後的擷取的影像與影像本身非常類似。在一些實例中，預設參數可包括至少一個調整矩陣。
在一些實例中，工程師或技術人員可使用第17級灰階測試圖案（或其他灰階測試圖案）之顯示內容及不同亮度位準來判定預設參數的調整矩陣。調整矩陣可具有m乘n之大小，該大小可自擷取18%灰階測試圖案（或其他灰階測試圖案）來判定。如在圖11A及圖11B中所示，子像素可具有重複的形狀。m乘n矩形形狀可在實驗室預模調諧中判定。例如，若所有重複的形狀可係在2像素乘2像素的方塊中擷取的，則調整矩陣可係2像素乘2像素。在一些實例中，m乘n形狀可匹配相機感測器之形狀及大小。在其他實例中，m乘n形狀可不匹配相機感測器之形狀及大小。
在m乘n區域中，顯示陰影補償器128可按子像素圖案（例如，R子像素、G子像素、及B子像素）應用不同的增益。換言之，在一些實例中，各顏色通道具有其自己的調整矩陣之組。
在應用增益之後，所有子像素可相等，諸如圖11C中所示。各顯示灰階及各顏色通道下的m乘n大小的調整矩陣可分開儲存在例如預設參數144中。例如，可儲存17或33或另一不同數目的灰階（0至N）。可針對不同的亮度位準重複此程序，且判定不同的調整矩陣，諸如二維增益矩陣。此等不同的調整矩陣可儲存在預設參數144中，諸如下表1中所示。雖然在表1中示出了特定亮度位準，但是根據本揭露之技術，可使用任何亮度位準。
亮度0% 亮度10% 亮度15% 亮度20% 亮度50% 亮度100%
灰階0 2D矩陣A 2D矩陣D 2D矩陣G 2D矩陣J 2D矩陣M
灰階1 2D矩陣B 2D矩陣E 2D矩陣H 2D矩陣K 2D矩陣N
灰階N 2D矩陣C 2D矩陣F 2D矩陣I 2D矩陣L 2D矩陣O
表1
在一些實例中，顯示陰影補償器128可重複m乘n調整矩陣以調整全相機感測器影像。例如，可將全相機感測器影像劃分為p乘q組。例如，若相機感測器係5000微米乘5000微米，且調整矩陣係500微米乘500微米，則全相機感測器影像中有10乘10組。在一些實例中，顯示陰影補償器128可對10乘10組應用相同的調整矩陣。在其他實例中，可僅針對直接在相機感測器234之上的顯示器之區域應用調整矩陣。在進一步實例中，調整矩陣可應用至區域232B。在一些實例中，不同的調整矩陣可應用在不同的區域中。例如，可針對區域232A、232B及232C，或針對（多個）影像感測器之上的顯示器之區及不在影像感測器上之上的顯示器之區應用不同的調整矩陣。在一些實例中，諸如表2所示，矩陣1可針對不在相機感測器之上的區應用，矩陣2可應用至相機感測器234之上的區，且矩陣3可應用至相機感測器238之上的區。
矩陣1 矩陣1 矩陣1
矩陣1 矩陣2 矩陣1
矩陣1 矩陣1 矩陣3
表2
在一些實例中，若不同的調整矩陣之間的差異小於預定臨限，則可不儲存全部的調整矩陣。在一些實例中，差異可係調整矩陣之所有元素之累積差異。在一些實例中，差異可係調整矩陣之所有元素之平均差異。在一些實例中，預定臨限可大約為0.0001。例如，若兩個調整矩陣之間的差異小於預定臨限，則可儲存一個調整矩陣且在兩種情況下使用，而非儲存兩個調整矩陣。例如，若表1中的2D矩陣D與2D矩陣A之間的差異小於預定臨限，則可儲存及針對亮度為10%或15%的情況使用兩個矩陣中之一者。在一些實例中，若特定調整矩陣與另一調整矩陣之間的差異大於三倍臨限，則可直接儲存該調整矩陣。例如，若2D矩陣D與2D矩陣A之間的差異大於三倍臨限，則2D矩陣D可儲存在預設參數144中。在一些實例中，僅將與其他調整矩陣具有相對大的差異（例如，3倍臨限）的調整矩陣儲存在預設參數144中。
往回參照圖10，顯示陰影補償產生器142可運算區域中的子像素值（例如，RGB）之區域顯示平均值。在一些實例中，區域係直接在相機感測器234之上的顯示器之區。在其他實例中，區域係區域232B。在又其他實例中，區域係整個顯示器。例如，顯示陰影補償產生器142可將區域中的子像素之值（例如，各自在0（黑色）與255（白色）之間）相加在一起，再除以像素之數目乘以每像素的子像素之數目。平均值可提供正在顯示的影像之亮度的指示。顯示陰影補償產生器142可使用平均值作為索引，以基於預設參數選擇或調整給定的調整矩陣。例如，若子像素值之平均值低，則顯示陰影補償產生器142可選擇2D矩陣A、2D矩陣B、或2D矩陣C中之一者。若子像素值之平均值高，則顯示陰影補償產生器142可選擇2D矩陣M、2D矩陣N、或2D矩陣O中之一者。若子像素值之平均值係中等，則顯示陰影補償產生器142可選擇2D矩陣J、2D矩陣K、或2D矩陣L中之一者。在一些實例中，顯示陰影補償產生器142可藉由選擇最接近子像素之平均灰階或亮度（例如，10%）的灰階來選擇由索引指示的矩陣（諸如2D矩陣A、2D矩陣B、或2D矩陣C，在子像素值之平均值係10%之亮度的情況下）中之一者。在其他實例中，顯示陰影補償產生器可使用其他方法自由索引指示的組中選擇調整矩陣。
在表1的實例中，若子像素值之平均值不匹配於任何表格項目，則顯示陰影補償產生器142可利用表格項目中之一或多者且相應地上下調整矩陣。例如，若子像素值之平均值指示亮度大約為40%，則顯示陰影補償產生器142可選擇具有相同索引灰階之兩個調整矩陣（例如，2D矩陣K及2D矩陣），且在兩者之間內插。在其他實例中，顯示陰影補償產生器可選擇一個調整矩陣且相應地調整該矩陣，例如增大或減小增益。
可用於四個顔色通道（例如，RGBG）的實例3x3調整矩陣可為 [(1.01358, 1.02586,1.13256,1.7465), (1.01358, 1.02486,1.13256,1.7265), (1.01358, 1.02586,1.13256,1.7463), (1.01358, 1.02586,1.13256,1.2465), (1.01358, 1.02586,1.13256,1.7449), (1.01358, 1.02586,1.13256,1.7464), (1.01358, 1.02586,1.13256,1.2465), (1.01358, 1.02586,1.13256,1.2468), (1.01358, 1.02586,1.13256,1.7462),]。此實例矩陣可藉由顯示陰影補償器128應用至影像資料以補償顯示陰影。
在一些實例中，顯示陰影補償產生器142可基於顯示擷取器140中擷取的內容之至少一部分（例如，所顯示內容之至少一部分）及預設參數144而自記憶體（諸如本機記憶體8或外部記憶體14）選擇可儲存在預設參數144中的調整矩陣中的一調整矩陣（諸如二維增益矩陣）以應用至FPN補償器126之輸出。在其他實例中，顯示陰影補償產生器142可基於顯示擷取器140中擷取的內容之至少一部分及預設參數144產生調整矩陣（諸如二維增益矩陣）。例如，顯示陰影補償產生器142可藉由計算顯示擷取器140中的所顯示內容之R、G、及B（或R、G、B、及W）的平均值來判定調整矩陣。顯示陰影補償產生器142可接著使用平均值作為索引來判定基於預設參數欲使用哪個調整矩陣或對調整矩陣進行哪些調整。在一些實例中，顯示陰影補償產生器142判定用於各顏色分量（例如，R、G、及B）的調整矩陣。顯示陰影補償產生器142可接著提供二維增益矩陣至顯示陰影補償器(display shading comp) 128。
如上文所提及，顯示器中的子像素隨時間老化。子像素隨時間老化可包括由顯示內容像素之驅動電流導致的子像素之陰極及陽極材料老化。子像素老化可隨時間降低子像素之透射率。對於屏下式相機，顯示陰影可具有很強的老化分量。換言之，由於顯示器中的子像素之老化，顯示陰影可隨時間推移變得更糟。隨時間推移及使用，顯示陰影可隨顯示器透明度降低而變得更普遍。子像素老化可影響整個ISP管線50，包括自動曝光控制、自動聚焦及自動白平衡。
在一些實例中，根據本揭露的技術，可將透射率老化模型與顯示內容及/或預定參數一起使用以產生或選擇調整矩陣。例如，調整矩陣可進一步基於老化因數146。例如，顯示陰影補償產生器142可使用老化因數146來產生調整矩陣。在一些實例中，顯示陰影補償產生器142可將選擇的或產生的調整矩陣乘以老化因數146。ISP管線50可基於與顯示器232之區域（例如，在相機感測器234或相機感測器238上方的區域，分別為諸如區域232B或區域232C）中的顯示像素值及時間相關的統計資訊來判定此老化因數。例如，ISP管線50可監測區域中的各子像素開啓的時間量及在區域中的各子像素開啓的時間期間子像素之顯示像素值，且使用監測的時間及顯示像素值來判定老化因數。在一些實例中，老化因數可基於實驗室環境中的老化實驗中的量測來判定。此類實驗可量測關於顯示器232之區（諸如區域232B或區域232C）的顯示像素值與時間。在一些實例中，ISP管線50可產生老化因數之係數曲線，或老化因數之係數曲線可藉由另一裝置（諸如實驗室中的計算裝置）產生。在一些實例中，老化因數可透過檢查顏色空間或光譜中的統計資訊來判定。
在一些實例中，ISP管線50可作為顯示器之區（諸如區域232B或區域232C）中的像素之透射率衰減比較之統計量測（諸如透射率衰減比率之平均值）來判定老化因數。如本文中所使用，比率係比較屬之種類。例如，針對（此區域中的各像素，其係由形狀遮罩定義） { pixel value diff=n(R,G,B) - n-1(R,G,B); If (pixel diff ＞ threshold){ start record new pixel value time; finish previous pixel value record time; accumulate previous pixel transmittance decay ratio; } region average transmittance decay ratio = average (m X n) pixel transmittance decay ratio; }
在一些實例中，不是藉由將2D矩陣乘以老化因數來修改2D矩陣，而是可使用老化因數來修改ISP管線50或影像信號處理器6中的其他演算法。例如，可使用老化因數修改AEC程序20、AF程序24、及/或AWB程序22（圖1之各者）。在一些實例中，老化因數可用於顏色調適。
顯示陰影補償器128可接著應用二維增益矩陣至FPN補償器126之輸出。在一些實例中，顯示陰影補償器128可將二維增益矩陣以分段雙線性方式應用至FPN補償器126之輸出。顯示陰影補償器128可具有多個可程式化區段且可在各維度（例如，x方向及y方向）上應用增益。顯示陰影補償器128可針對各顏色通道分開地執行補償至FPN補償器126之輸出。例如，顯示陰影補償器128可針對紅色應用不同於針對藍色及針對綠色的增益（例如，透過分開的二維增益矩陣）。
顯示陰影補償器128之輸出可提供至鏡頭陰影補償器130，鏡頭陰影補償器可補償由相機鏡頭導致的陰影。在一些實例中，顯示陰影補償器128可與鏡頭陰影補償器(LENS SHADING COMP) 130組合。鏡頭陰影補償器130可提供經鏡頭陰影補償的輸出至自動白平衡單元(WHITE BALANCE) 132，自動白平衡單元可對經鏡頭陰影補償的信號執行自動白平衡程序。自動白平衡單元132可提供經自動白平衡的信號至不良像素校正器(BAD PIXEL CORR) 134。不良像素校正器134可校正不良像素且輸出影像經處理信號。例如，不良像素校正器134可判定影像中的像素係離群值(outlier)，且試圖用更類似於鄰接像素的值來取代像素值。自動曝光及自動白平衡統計單元(AE，AWB STATS) 136可接收影像信號經處理信號且使用其中的資訊來調整影像擷取裝置（例如影像擷取裝置230）之自動曝光及/或自動白平衡以用於後續擷取的影像。影像信號經處理信號可提供至顯示處理器以供顯示在例如顯示器232上，及/或可作為視訊檔案或快照儲存在記憶體（諸如本機記憶體8或外部記憶體14）中。
在一些實例中，可在相機感測器234可正在擷取（多個）影像的同時在顯示器232上顯示內容。在一些實例中，正顯示在顯示器232上的內容可以不同於相機感測器234之快門速度的圖框速率顯示。如上文所論述，顯示陰影補償產生器142可選擇或產生調整矩陣（諸如二維增益矩陣）以應用至FPN補償器126之輸出。為了使適當的調整矩陣之應用與由相機感測器234擷取之（多個）影像保持同步，可應用本揭露之進一步技術。
在一些實例中，顯示擷取器140可包括環緩衝器(ring buffer, RB) 148以在適當時間提供適當的時間顯示內容像素（其可係一或多個圖框之至少一部分）至顯示陰影補償產生器。環緩衝器148可在本機記憶體8中、外部記憶體14中、顯示處理器中或裝置2的其他地方實施。
圖12係繪示用於使顯示陰影補償同步的技術的概念圖。在圖12之實例中，轉儲至環緩衝器中的各顯示圖框內容可以時間戳記標記。例如，顯示擷取器140可擷取任意數目之顯示圖框當前寫入緩衝器（例如，顯示圖框當前寫入緩衝器0 288A、顯示圖框當前寫入緩衝器1 288B、顯示圖框當前寫入緩衝器2 288C至顯示圖框當前寫入緩衝器N（其中N可係任意正整數）288N，其等各者可實施為環緩衝器148且可稱為顯示圖框當前寫入緩衝器288）中顯示內容之一或多個圖框之一部分。
資料處理單元硬體中斷服務請求(DPU HW ISR) 284使用用於裝置2的全域時脈源282（諸如系統單晶片(system on a chip, SOC)全域時脈源），可將時間戳記應用至顯示內容之一或多個圖框之各部分。如上文所提及，如本文中所使用，一圖框之一部分意指一圖框之一部分或一完整圖框。此時間戳記可指示圖框在顯示器232上顯示的時間。在相機感測器曝光週期期間（例如，當擷取影像時），曝光之開始時間及結束時間可使用全域時脈源282。例如，全域時脈源282可向DPU HW ISR 284及相機影像信號處理硬體中斷服務請求(ISP HW ISR) 286提供時間。DPU HW ISR 284可應用時間戳記至儲存在顯示圖框當前寫入緩衝器288中的顯示內容之一或多個圖框之各部分。ISP HW ISR 286可判定相機感測器曝光時間296（例如，曝光之開始時間及結束時間）。
顯示陰影補償產生器142可基於應用的時間戳記及相機感測器曝光時間296而自顯示圖框當前寫入緩衝器288中之任一者獲取顯示內容之一或多個圖框之適當的（多個）部分。例如，顯示陰影補償產生器142可根據需要基於圖框n之至少一部分、或圖框p至圖框q之至少一部分的時間戳記及相機感測器曝光時間296而自顯示圖框當前寫入緩衝器288獲取圖框n之至少一部分、或圖框p至圖框q之至少一部分。對應的顯示內容可用於選擇或產生適當的調整矩陣。在顯示陰影補償產生器142產生調整矩陣的實例中，圖框n之至少一部分可用於產生矩陣n，且（圖框p之一部分，圖框q之一部分）可用於產生（矩陣p，矩陣q）。
顯示陰影補償產生器142可基於該等先前提及的矩陣而產生待由顯示陰影補償器128應用的調整矩陣。例如，顯示陰影補償產生器142可藉由計算（矩陣p，矩陣q）之時間和來產生待由顯示陰影補償器128應用的調整矩陣。若相機曝光時間完全落在一個圖框週期內，例如，圖框n，則顯示陰影補償產生器142可藉由僅使用矩陣本身（例如，矩陣n）來產生待由顯示陰影補償器128應用的調整矩陣。
例如，在120 Hz顯示器的情況下，顯示圖框時間係8.33 ms。若相機感測器曝光時間係1/30秒(33.33 ms)，則可使用總共八個（或大於四的一些其他數目個，以允許工程裕度及避免緩衝器溢位）顯示圖框當前寫入緩衝器。顯示擷取器140可使用顯示圖框當前寫入緩衝器288中的四個來擷取四個圖框（圖框0、1、2、及3）或其部分。顯示陰影補償產生器142可使用四個圖框或其部分產生4個矩陣（矩陣0、1、2、及3）。在圖框0、1、2、及3之各者期間，相機感測器可在各圖框之整個持續時間內曝光。在此實例中，顯示陰影補償產生器142可如下計算待由顯示陰影補償器應用的調整矩陣：調整矩陣 = (8.33/33.33 *矩陣0) + (8.33/33.33 *矩陣1) + (8.33/33.33 *矩陣2) + (8.33/33.33 *矩陣3)。在一些實例中，相機感測器可僅曝光一或多個圖框之部分。以上面的實例為例且改變實例以使得相機感測器在圖框0中僅曝光7.5微秒、但在整個圖框1、2及3期間曝光，顯示陰影補償產生器142可如下計算待由顯示陰影補償器應用的調整矩陣：調整矩陣 = (7.5/33.33 *矩陣0) + (8.33/33.33 *矩陣1) + (8.33/33.33 *矩陣2) + (8.33/33.33 *矩陣3)。
在另一實例中，在60 Hz顯示器的情況下，顯示圖框時間係16.66ms。若相機感測器曝光時間係1/125秒(4 ms)，則可使用總共兩個（或大於一的一些其他數目個，以允許工程裕度及避免緩衝器溢位）顯示圖框當前寫入緩衝器288。顯示擷取器140可使用顯示圖框當前寫入緩衝器288中之一者擷取發生相機曝光的圖框或其一部分，例如，圖框1。在此實例中，相機感測器曝光完全在圖框1中，所以顯示陰影補償產生器142可自圖框1產生矩陣1，且接著將矩陣1提供至顯示陰影補償器128以作為調整矩陣應用至FPN補償器126之輸出。
圖13係繪示本揭露之實例顯示陰影補償技術的流程圖。ISP管線50可接收由相機感測器234擷取的第一影像資料(300)。例如，當使用者正在進行「自拍(selfie)」時，第一影像資料可表示使用者臉部及圍繞使用者臉部的背景。ISP管線50可接收所顯示內容之至少一部分(302)。例如，ISP管線50可接收位於顯示器232之區域232B中的所顯示內容之部分。在其他實例中，ISP管線50可接收直接在相機感測器234上方的所顯示內容之部分。在又其他實例中，ISP管線50可接收所顯示內容之全部。
在一些實例中，ISP管線50（例如，FPN補償器126）可對第一影像資料進行FPN補償(304)。可利用任何已知的技術進行FPN補償。ISP管線50（例如，顯示陰影補償產生器142）可判定調整矩陣（諸如二維增益矩陣）(306)。調整矩陣可基於顯示擷取器140中的所顯示內容之部分。在一些實例中，調整矩陣亦基於預設參數144。在一些實例中，調整矩陣亦基於老化因數。在一些實例中，判定調整矩陣可包括基於顯示內容之至少一部分及預設參數將二維補償矩陣乘以老化因數。老化因數可基於相機感測器之上的像素之老化狀態。例如，老化因數可基於屏下式相機感測器（例如，相機感測器234）之上的區域（例如，區域232B）中的像素之透射率衰減比較的統計量測（諸如透射率衰減比率之平均值）。
如上文所討論，預設參數可係用以補償由顯示器232中的子像素大小、形狀及位置（諸如圖6A至圖6C中的彼等）導致的效應的補償參數。在一些實例中，ISP管線50（例如，顯示陰影補償產生器142）可藉由自儲存在預設參數144中的調整矩陣中選擇一者來判定調整矩陣（諸如二維增益矩陣）。在一些實例中，預設參數144可係在本機記憶體8或外部記憶體14中。在其他實例中，預設參數144可係在ISP管線50中。在ISP管線50選擇調整矩陣的情況下，ISP管線50可試圖選擇可最佳補償顯示陰影的調整矩陣。在一些實例中，ISP管線50判定區域中的子像素之平均和且使用平均值作為索引來判定欲選擇哪個調整矩陣，如上文所討論。在一些實例中，ISP管線50可在兩個調整矩陣之間內插，或以其他方式調整給定的經選擇調整矩陣。在其他實例中，ISP管線50可基於顯示擷取器140中的所顯示內容之至少一部分來計算調整矩陣（諸如二維增益矩陣）。在一些實例中，ISP管線50可基於顯示擷取器140中的所顯示內容之至少一部分及預設參數144來計算調整矩陣。
ISP管線50（例如，顯示陰影補償器128）可將調整矩陣應用至第一影像資料（無論是否在FPN補償之後）以建立第二影像資料(308)。例如，可對第二影像資料進行顯示陰影補償以減輕或消除由顯示器232中的子像素導致的陰影及由顯示內容導致的光散射之效應。
在一些實例中，ISP管線50（例如，鏡頭陰影補償器130）可對第二影像資料進行鏡頭陰影補償(310)。在其他實例中，ISP管線50（例如，自動白平衡單元132）可對第二影像資料進行自動白平衡(310)。ISP管線50可輸出第二影像資料(312)。例如，ISP管線50可輸出第二影像資料至記憶體，諸如外部記憶體14，以用於永久儲存（或儲存直至由使用者刪除）。在另一實例中，ISP管線50可輸出第二影像資料至顯示器232，諸如以向使用者提供預覽影像。在另一實例中，ISP管線50可輸出第二影像資料至零快門延遲(zero-shutter-lag, ZSL)緩衝器。在又另一實例中，ISP管線50可輸出第二影像資料至外部顯示器。雖然圖13描繪以特定順序發生之步驟，但此順序僅係例示性的。所描繪的順序不應視為限制性的。
圖14係繪示本揭露之實例顯示陰影補償技術的流程圖。圖14之技術可與圖13之技術一起使用。在一些實例中，影像擷取裝置在顯示器之下可具有多於一個相機感測器。為了圖14之實例之目的，圖13之相機感測器係第一相機感測器，圖13之顯示器之至少一部分係顯示器之至少第一部分，圖13之顯示內容之至少一部分係顯示內容之至少第一部分，且圖13之調整矩陣係第一調整矩陣。
在圖14之實例中，影像擷取裝置ISP管線50可接收由第二相機感測器238擷取的第三影像資料(314)。例如，第三影像資料可不同於第一影像資料，因為第二相機感測器238可係比第一相機感測器更寬角度或更窄角度的感測器。ISP管線50可接收所顯示內容之至少第二部分(315)。例如，ISP管線50可接收位於顯示器232之區域232C中的所顯示內容之部分。在其他實例中，ISP管線50可接收直接在第二相機感測器238之上的所顯示內容之部分。在又其他實例中，ISP管線50可接收所顯示內容之全部。在一些實例中，第一區域及第二區域可相同。在其他實例中，第一區域及第二區域可不相同。在一些實例中，第一區域及第二區域可包括相同像素中之至少一些。
ISP管線50（例如，顯示陰影補償產生器142）可判定第二調整矩陣(316)（諸如二維增益矩陣）。調整矩陣可基於顯示擷取器140中的所顯示內容之部分。在一些實例中，調整矩陣亦基於預設參數144。在其他實例中，調整矩陣亦基於相機感測器上方的像素之老化狀態。如上文所討論，預設參數可係用以補償由顯示器232中的子像素大小、形狀及位置（諸如圖6A至圖6C中的彼等）導致的效應的補償參數。在圖2D之實例中，相機感測器234及第二相機感測器238係位於顯示器232下方的不同位置中。如此，在相機感測器234之上顯示的內容可不同於在第二相機感測器238之上顯示的內容。此外，位於相機感測器234之上的子像素（或其部分）可不同於位於相機感測器238之上的子像素（或其部分）。區域232B及區域232C中的像素之老化狀態亦可不同。因此，第二調整矩陣可不同於圖13之實例之調整矩陣。
在一些實例中，ISP管線50可藉由自可儲存在預設參數144中的調整矩陣中選擇一者來判定第二調整矩陣（諸如二維增益矩陣）。在一些實例中，預設參數可係在本機記憶體8、外部記憶體14、或ISP管線50中。在此類實例中，ISP管線50可試圖選擇可最佳補償顯示陰影的調整矩陣。在一些實例中，ISP管線50判定第二區域中的子像素之平均和且使用平均值作為索引來判定欲選擇哪個調整矩陣。在一些實例中，ISP管線50可在兩個調整矩陣之間內插，或以其他方式調整給定的經選擇調整矩陣。在其他實例中，ISP管線50可基於顯示擷取器140中的所顯示內容之至少第二部分來計算第二調整矩陣（諸如二維增益矩陣）。在一些實例中，ISP管線50可基於顯示擷取器140中的所顯示內容之至少一部分及預設參數144來計算第二調整矩陣。
ISP管線50（例如，顯示陰影補償器128）可將第二調整矩陣應用至第三影像資料以建立第四影像資料(317)。例如，可對第四影像資料進行顯示陰影補償以減輕或消除由顯示器232中的子像素導致的陰影、由顯示內容導致的光散射、及相機感測器上方的像素之老化之效應。
ISP管線50可輸出第四影像資料(318)。例如，ISP管線50可輸出第四影像資料至記憶體，諸如外部記憶體14，以用於永久儲存（或儲存直至由使用者刪除）。在另一實例中，ISP管線50可輸出第四影像資料至顯示器232，諸如以向使用者提供預覽影像。在另一實例中，ISP管線50可輸出第二影像資料至零快門延遲(zero-shutter-lag, ZSL)緩衝器。在又另一實例中，ISP管線50可輸出第二影像資料至外部顯示器。雖然圖14描繪以特定順序發生之步驟，但此順序僅係例示性的。所描繪的順序不應視為限制性的。
圖15係繪示根據本揭露之同步技術的流程圖。圖15之技術可與圖13及/或圖14之技術一起使用。例如，ISP管線50可透過圖15之技術來判定調整矩陣（圖13之306）。
ISP管線50（例如，顯示擷取器140）可將顯示內容之一或多個圖框之一部分儲存在例如顯示圖框當前寫入緩衝器288中(320)。DPU HW ISR 284可應用時間戳記至顯示內容之一或多個圖框之各部分，該時間戳記指示圖框被顯示的時間(322)。例如，DPU HW ISR 284可應用時間戳記，該時間戳記指示基於全域時脈源282的圖框之由顯示器232顯示之開始。在其他實例中，DPU HW ISR 284可應用時間戳記，該時間戳記指示基於全域時脈源282的圖框之由顯示器232顯示之結束。在又其他實例中，DPU HW ISR 284可應用時間戳記，該時間戳記指示基於全域時脈源282的圖框之由顯示器232顯示期間的任何其他時間。
相機ISP HW ISR 286可判定相機感測器曝光時間(324)。例如，相機ISP HW ISR可基於全域時脈源282判定相機感測器曝光之開始時間及相機感測器曝光之終止時間。ISP管線50（例如，顯示陰影補償產生器142）可判定哪一（些）圖框與相機感測器曝光時間相關聯(326)。例如，顯示陰影補償產生器142可基於應用的時間戳記判定哪一（些）圖框與相機感測器曝光時間相關聯。例如，顯示陰影補償產生器142可將相機感測器曝光時間與時間戳記進行比較。ISP管線50（例如，顯示陰影補償產生器142）可基於係（多個）相關聯圖框的一或多個圖框之部分來判定調整矩陣(328)。在一些實例中，顯示陰影補償產生器142可藉由基於係（多個）相關聯圖框的一或多個圖框之部分選擇一或多個最佳匹配調整矩陣來判定調整矩陣。在存在多於一個相關聯圖框的情況下，顯示陰影補償產生器142可針對各相關聯圖框之部分選擇最佳匹配調整矩陣，且可執行計算（諸如時間和），以判定待由顯示陰影補償器128應用的調整矩陣。在一些實例中，調整矩陣可進一步基於預設參數144。
在其他實例中，顯示陰影補償產生器142可藉由基於係相關聯圖框的一或多個圖框之部分產生一或多個矩陣來判定調整矩陣。在存在多於一個相關聯圖框的情況中，顯示陰影補償產生器142可針對各相關聯圖框之部分產生矩陣，且可執行計算（諸如時間和），以判定待由顯示陰影補償器128應用的調整矩陣。在一些實例中，調整矩陣可進一步基於預設參數144。雖然圖15描繪以特定順序發生之步驟，但此順序僅係例示性的。所描繪的順序不應視為限制性的。
圖16係繪示根據本揭露之技術判定使用者介面之實例的流程圖。圖16之實例之技術可與圖13至圖15中之任一者之技術一起使用。影像擷取裝置102可判定環境光位準(330)。例如，一或多個處理器110可查詢環境光感測器122以判定環境光位準，且環境光感測器122可感測環境光位準。影像擷取裝置102可判定環境光位準是否低於預定臨限(334)。例如，影像擷取裝置102之一或多個處理器110可將判定的環境光位準與儲存在記憶體114中的預定臨限（例如，臨限107）進行比較，以判定環境光位準是否低於預定臨限。基於環境光位準低於預定臨限（圖16中的「是(YES)」路徑），影像擷取裝置102可顯示第一相機使用者介面(336)。例如，影像擷取裝置102可在顯示器116上顯示在相機感測器112上方的區域120中具有黑色像素的第一UI 105。
在一些實例中，環境光位準可不低於預定臨限。在彼等情況下，基於環境光位準不低於預定臨限（圖16中的「否(NO)」路徑），影像擷取裝置102可顯示第二相機使用者介面(338)。例如，影像擷取裝置102可在顯示器116上顯示在相機感測器112上方的區域120中具有非黑色像素的第二UI 108。例如，影像擷取裝置102可在相機感測器112上方的區域120中顯示內容，諸如影像、影像之一部分、圖示、圖示之一部分、或其他內容。
在一些實例中，影像擷取裝置102可啟動影像擷取應用程式。在一些實例中，影像擷取裝置102基於啟動影像擷取應用程式而判定環境光位準。
在一些實例中，當顯示第一UI 105時，影像擷取裝置102可淡入屏下式相機上方的區域中的黑色像素。換言之，影像擷取裝置102可在一段時間內將相機感測器112之上的區域120中的像素之像素值自現有非零值轉變至零值。例如，影像擷取裝置可藉由在一段時間內藉由將值自現有非零像素值減小至零像素值而自現有非零像素值轉變至零像素值。在一些實例中，影像擷取裝置102可淡出屏下式相機感測器上方的區域中的黑色像素，例如，當自顯示第一相機使用者介面轉變至顯示其他某物時。換言之，影像擷取裝置102可在一段時間內將像素值自現有零像素值轉變至非零像素值。例如，影像擷取裝置可藉由在一段時間內自現有零像素值增大至非零像素值而自現有零像素值轉變至非零像素值。例如，影像擷取裝置102可基於影像擷取應用程式關閉來淡出黑色像素。在一些實例中，影像擷取裝置102可基於由環境光感測器122感測的新環境光位準不低於預定臨限來淡出黑色像素。雖然圖15描繪以特定順序發生之步驟，但此順序僅係例示性的。所描繪的順序不應視為限制性的。
因此，以此方式藉由提供用於在低環境光情況下使用的第一UI且藉由提供顯示陰影補償器，相機感測器可位於顯示器下方，以嘗試最大化影像擷取裝置上的顯示大小而不具有原本現有的影像品質問題。藉由將相機感測器定位在螢幕下方，影像擷取裝置之螢幕大小可比使用帶凹口螢幕的相同大小的影像擷取裝置大，且影像擷取裝置之可靠性相對於使用具有可移動機械部件的彈出式相機的影像擷取裝置之可靠性提高。
圖17係繪示根據本揭露之技術判定使用者介面之另一實例的流程圖。圖17之實例之技術可與圖13至圖16中之任一者之技術一起使用。影像擷取裝置102可自感測器接收信號(350)。例如，一或多個處理器110可自環境光感測器122接收信號。在另一實例中，一或多個處理器110可自觸控感測器109接收信號。在又另一實例中，影像擷取裝置可自相機感測器112接收信號。
影像擷取裝置102可至少部分地基於信號判定使用者介面模式(352)。使用者介面模式可包括第一模式或第二模式。第一模式（例如，第一UI 105）可包括顯示器之區域中的第一數目之黑色像素，且第二模式可包括顯示器之區域中的第二數目之黑色像素。第一數目可大於第二數目。例如，第一模式可包括區域中的所有黑色像素（例如，圖8A之區域504）。例如，第二模式可包括區域中的零個黑色像素（例如，圖8B之區域514）。
影像擷取裝置102可自相機感測器112接收影像資料(354)。例如，使用者可輕觸顯示器116上的圖示以使一或多個處理器110啟動影像擷取應用程式104，且相機感測器112可擷取影像資料且將影像資料發送至一或多個處理器110。
在一些實例中，一或多個處理器110可判定信號是否低於臨限，且基於信號低於臨限，一或多個處理器可控制顯示器116以顯示第一模式（例如，第一UI 105）。在一些實例中，一或多個處理器110可自感測器接收第二信號。一或多個處理器110可判定第二信號是否低於臨限。基於第二信號不低於臨限，一或多個處理器110可控制顯示器以顯示第二模式（例如，第二UI 108）。
在一些實例中，一或多個處理器110可啟動影像擷取應用程式104。在一些實例中，一或多個處理器110可基於啟動影像擷取應用程式而判定使用者介面模式。在一些實例中，UI模式可包括第三模式，該第三模式包含第三數目之黑色像素。在某些實例中，黑色像素之第三數目大於第二數目且小於第一數目。
在一些實例中，一或多個處理器110可控制顯示器116以淡入相機感測器上方的區域120中的黑色像素。在一些實例中，一或多個處理器110可控制顯示器116以淡出相機感測器上方的區域120中的黑色像素。在一些實例中，一或多個處理器110可基於影像擷取應用程式關閉而控制顯示器116以淡出區域120中的黑色像素。在一些實例中，一或多個處理器110可基於新環境光位準不低於臨限而控制顯示器以淡出黑色像素。
本揭露之技術包括下列實例。
實例1、一種影像擷取設備，其包含：記憶體；及一或多個處理器，其耦合至一相機感測器及該記憶體且經組態以：自該相機感測器接收第一影像資料，該相機感測器經設置以透過一顯示器之至少一部分接收光；接收顯示內容之至少一部分；基於顯示內容之該至少一部分判定一調整矩陣；應用該調整矩陣至該第一影像資料以建立第二影像資料；及輸出該第二影像資料。
實例2、如實例1之設備，其中該調整矩陣包含一二維增益矩陣。
實例3、如實例1或實例2之設備，其中該調整矩陣係進一步基於預設參數。
實例4、如實例3之設備，其中該等預設參數指示一顯示器中的子像素之一形狀、大小或位置或該顯示器中的主動像素之一位置中之至少一者。
實例5、如實例1至實例4之任一組合之影像擷取裝置，其中該調整矩陣係進一步基於一老化因數。
實例6、如實例1至實例4之任一組合之影像擷取裝置，其中該一或多個處理器進一步經組態以在應用該調整矩陣之前將該調整矩陣乘以一老化因數。
實例7、如實例5或實例6之影像擷取裝置，其中該老化因數係基於該屏下式相機感測器之上的該區域中的像素之一透射率衰減比較之一統計量測。
實例8、如實例1至實例7之任一組合之設備，其中顯示內容之該至少一部分顯示在至少部分地位於該相機感測器上方的一區域中。
實例9、如實例1至實例8之任一組合之設備，其中該一或多個處理器經組態以藉由以一分段雙線性方式應用該調整矩陣來應用該調整矩陣。
實例10、如實例1至實例9之任一組合之設備，其中該顯示器中的一子像素之至少一部分設置在該相機感測器上方。
實例11、如實例1至實例10之任一組合之設備，其中該顯示器之子像素設置在該相機感測器之上且與之相鄰而不遮擋該相機感測器。
實例12、如實例1至實例11之任一組合之設備，其中該相機感測器係一第一相機感測器，該顯示器之該至少一部分係該顯示器之至少一第一部分，顯示內容之該至少一部分係顯示內容之至少一第一部分，且該調整矩陣係一第一調整矩陣，該一或多個處理器進一步經組態以：自一第二相機感測器接收第三影像資料，該第二相機感測器經設置在一顯示器之至少一部分之下且耦接至該一或多個處理器；接收顯示內容之至少一第二部分；基於顯示內容之該至少一第二部分判定一第二調整矩陣；應用該第二調整矩陣至該第三影像資料以建立第四影像資料；及輸出該第四影像資料。
實例13、如實例1至實例12之任一組合之設備，其中該一或多個處理器經組態以藉由針對各顏色通道分開應用一調整矩陣來應用該調整矩陣。
實例14、如實例1至實例13之任一組合之設備，其進一步包含：該顯示器，該顯示器經組態以顯示內容。
實例15、如實例1至實例14之任一組合之設備，其中該顯示內容係基於由該相機感測器擷取的一影像。
實例16、如實例1至實例15之任一組合之設備，其中該顯示器包含一有機發光二極體(OLED)顯示器。
實例17、如實例16之設備，其中該OLED顯示器包含一透明陽極及一透明陰極中之至少一者。
實例18、如實例16或實例17之設備，其中該一或多個處理器進一步經組態以當接收到該第一影像資料時，藉由形成該OLED顯示器之一區域的像素之至少一子集來顯示內容。
實例19、如實例1至實例18之任一組合之設備，其中該設備包含一行動電話。
實例20、如實例1至實例19之任一組合之設備，其中該一或多個處理器經組態以藉由自儲存在記憶體中的複數個調整矩陣中選擇該調整矩陣來判定該調整矩陣。
實例21、如實例20之設備，其中該一或多個處理器經組態以藉由計算一區域中的子像素值之一平均和及使用該平均和作為一索引以選擇該調整矩陣來選擇該調整矩陣。
實例22、如實例20之設備，其中該一或多個處理器進一步經組態以調整該經選擇的調整矩陣。
實例23、如實例1至實例22之任一組合之設備，其中該一或多個處理器經組態以藉由在兩個調整矩陣之間內插來選擇該調整矩陣。
實例24、如實例1至實例19之任一組合之設備，其中該一或多個處理器經組態以藉由計算該調整矩陣來判定該調整矩陣。
實例25、如實例1至實例24之任一組合之設備，其中該一或多個處理器經組態以藉由下列判定該調整矩陣：儲存該顯示內容之一或多個圖框之一部分；應用一時間戳記至該顯示內容之一或多個圖框之各部分；判定一相機感測器曝光時間；基於該應用的時間戳記，判定哪些圖框與該相機感測器曝光時間相關聯；及基於係相關聯圖框的該一或多個圖框之該等部分判定該調整矩陣。
實例26、一種影像處理之方法，其包含：在一影像擷取裝置處接收由一相機感測器擷取的第一影像資料，其中該相機感測器經設置以透過該影像擷取裝置上的一顯示器之至少一部分接收光；在該影像擷取裝置處接收顯示內容之至少一部分；在該影像擷取裝置處基於顯示內容之該至少一部分判定一調整矩陣；應用該調整矩陣至該第一影像資料以建立第二影像資料；及輸出該第二影像資料。
實例27、如實例26之方法，其中該調整矩陣包含一二維增益矩陣。
實例28、如實例26或實例27之方法，其中該調整矩陣係進一步基於預設參數。
實例29、如實例28之方法，其中該等預設參數指示該顯示器中的子像素之一形狀、大小或位置或該顯示器中的主動像素之一位置中之至少一者。
實例30、如實例26至實例29之任一組合之方法，其中該調整矩陣係進一步基於一老化因數。
實例31、如實例26至實例29之任一組合之方法，其進一步包含在應用該調整矩陣之前將該調整矩陣乘以一老化因數。
實例32、如實例30或實例31之方法，其中該老化因數係基於該相機感測器之上的一區域中的像素之一透射率衰減比較之一統計量測。
實例33、如實例26至實例32之任一組合之方法，其中該顯示內容之該至少一部分顯示在至少部分地位於該相機感測器上方的一區域中。
實例34、如實例26至實例33之任一組合之方法，其中應用該調整矩陣包含以一分段雙線性方式應用該調整矩陣。
實例35、如實例26至實例34之任一組合之方法，其中該顯示器中的一子像素之至少一部分設置在該相機感測器上方。
實例36、如實例26至實例35之任一組合之方法，其中該顯示器之子像素設置在該相機感測器之上且與之相鄰而不遮擋該相機感測器。
實例37、如實例26至實例36之任一組合之方法，其中該相機感測器係一第一相機感測器，該顯示器之該至少一部分係該顯示器之至少一第一部分，顯示內容之該至少一部分係顯示內容之至少一第一部分，且該調整矩陣係一第一調整矩陣，該方法進一步包含：在一影像擷取裝置處接收由一第二相機感測器擷取之第三影像資料，其中該第二相機感測器經設置在該影像擷取裝置上的一顯示器之至少一第二部分之下；在該影像擷取裝置處接收顯示內容之至少一第二部分；在該影像擷取裝置處基於顯示內容之該至少一第二部分判定一第二調整矩陣；應用該第二調整矩陣至該第三影像資料以建立第四影像資料；及輸出該第四影像資料。
實例38、如實例26至實例37之任一組合之方法，其中應用該調整矩陣包含針對各顏色通道分開應用一調整矩陣。
實例39、如實例26至實例38之任一組合之方法，其中該顯示內容係基於由該相機感測器擷取的一影像。
實例40、如實例26至實例39之任一組合之方法，其中該顯示器包含一有機發光二極體(OLED)顯示器。
實例41、如實例40之方法，其中該OLED顯示器包含一透明陽極及一透明陰極中之至少一者。
實例42、如實例40或實例41之方法，其進一步包含當接收到該第一影像資料時，藉由形成該OLED顯示器之一區域的像素之至少一子集來主動顯示內容。
實例43、如實例26至實例42之任一組合之方法，其中該影像擷取裝置包含一行動電話。
實例44、如實例26至實例43之任一組合之方法，其中判定該調整矩陣包含自儲存在記憶體中的複數個調整矩陣中選擇該調整矩陣。
實例45、如實例44之方法，其中選擇該調整矩陣包含計算一區域中的子像素值之一平均和及使用該平均和作為一索引以選擇該調整矩陣。
實例46、如實例44之方法，其中選擇該調整矩陣包含調整該調整矩陣。
實例47、如實例26至實例46之任一組合之方法，其中判定該調整矩陣進一步包含在兩個調整矩陣之間內插。
實例48、如實例26至實例43之任一組合之方法，其中判定該調整矩陣包含計算該調整矩陣。
實例49、如實例26至實例48之任一組合之方法，其中判定該調整矩陣包含：儲存該顯示內容之一或多個圖框之一部分；應用一時間戳記至該顯示內容之一或多個圖框之各部分；判定一相機感測器曝光時間；基於該應用的時間戳記，判定哪些圖框與該相機感測器曝光時間相關聯；及基於係相關聯圖框的該一或多個圖框之該等部分判定該調整矩陣。
實例50、一種儲存指令的非暫時性電腦可讀儲存媒體，該等指令當執行時使一或多個處理器：自一相機感測器接收第一影像資料，該相機感測器經設置以透過一顯示器之至少一部分接收光；接收顯示內容之至少一部分；基於顯示內容之該至少一部分判定一調整矩陣；應用該調整矩陣至該第一影像資料以建立第二影像資料；及輸出該第二影像資料。
實例51、一種影像擷取裝置，其包含：一顯示器，其經組態以顯示擷取的影像；一相機感測器，該相機感測器經設置以透過該顯示器之至少一部分接收光；記憶體，其經組態以儲存擷取的影像；及一或多個處理器，其耦合至該相機感測器、該顯示器、及該記憶體且經組態以：自一感測器接收一信號；至少部分地基於該信號判定一使用者介面模式，該使用者介面模式包含一第一模式或一第二模式，其中該第一模式包含該顯示器之一區域中的第一數目之黑色像素，且該第二模式包含該顯示器之該區域中的第二數目之黑色像素，該第一數目大於該第二數目；且自該相機感測器接收影像資料。
實例52、如實例51之影像擷取裝置，其中該感測器係一環境光感測器。
實例53、如實例51或實例52之影像擷取裝置，其中該一或多個處理器進一步經組態以：判定該信號是否低於一臨限；且基於該信號低於該臨限，控制該顯示器以顯示該第一模式。
實例54、如實例51至實例53之任一組合之影像擷取裝置，其中該信號係第一信號，且該一或多個處理器進一步經組態以：自該感測器接收一第二信號；判定該第二信號是否低於該臨限；且基於該第二信號不低於該臨限，控制該顯示器以顯示該第二模式。
實例55、如實例51至實例54之任一組合之影像擷取裝置，其中該一或多個處理器進一步經組態以：啟動一影像擷取應用程式，其中該一或多個處理器基於啟動該影像擷取應用程式而判定該使用者介面模式。
實例56、如實例52至實例55之任一組合之影像擷取裝置，其進一步包含一環境光感測器，該環境光感測器經組態以感測一環境光位準。
實例57、如實例51之影像擷取裝置，其中該感測器係該相機感測器。
實例58、如實例51之影像擷取裝置，其中該感測器係一觸控感測器。
實例59、如實例51之影像擷取裝置，其中該第二數目係零。
實例60、如實例51至實例59之任一組合之影像擷取裝置，其中該使用者介面模式進一步包含一第三模式，該第三模式包含第三數目之黑色像素。
實例61、如實例60之影像擷取裝置，其中黑色像素之該第三數目大於該第二數目且小於該第一數目。
實例62、如實例51至實例61之任一組合之影像擷取裝置，其中該一或多個處理器進一步經組態以控制該顯示器以淡入該相機感測器上方的該區域中的該等黑色像素。
實例63、如實例51至實例62之任一組合之影像擷取裝置，其中該一或多個處理器進一步經組態以控制該顯示器以淡出該相機感測器上方的該區域中的該等黑色像素。
實例64、如實例63之影像擷取裝置，其中該一或多個處理器進一步經組態以基於一影像擷取應用程式關閉而控制該顯示器以淡出該等黑色像素。
實例65、如實例63之影像擷取裝置，其中該一或多個處理器基於一新環境光位準不低於該臨限來控制該顯示器以淡出該等黑色像素。
實例66、一種方法，其包含：由一影像擷取裝置自一感測器接收一信號；由一影像擷取裝置且至少部分地基於該信號判定一使用者介面模式，該使用者介面模式包含一第一模式或一第二模式，其中該第一模式包含一顯示器之一區域中的第一數目之黑色像素，且該第二模式包含該顯示器之該區域中的第二數目之黑色像素，該第一數目大於該第二數目；及由該影像擷取裝置自一相機感測器接收影像資料，其中該相機感測器經設置以透過該顯示器之至少一部分接收光。
實例67、如實例66之方法，其中該感測器係一環境光感測器。
實例68、如實例66或實例67之方法，其進一步包含：由該影像擷取裝置判定該信號是否低於一臨限；及基於該信號低於該臨限，由該影像擷取裝置控制該顯示器以顯示該第一模式。
實例69、如實例66至實例68之任一組合之方法，其進一步包含：自該感測器接收一第二信號；判定該第二信號是否低於該臨限；及基於該第二信號不低於該臨限，控制該顯示器以顯示該第二模式。
實例70、如實例66至實例69之任一組合之方法，其進一步包含：由該影像擷取裝置啟動一影像擷取應用程式，其中該影像擷取裝置基於啟動該影像擷取應用程式而判定該使用者介面模式。
實例71、如實例66之方法，其中該感測器係該相機感測器。
實例72、如實例66之方法，其中該感測器係一觸控感測器。
實例73、如實例66之方法，其中該第二數目係零。
實例74、如實例66至實例73之任一組合之方法，其中該使用者介面模式進一步包含一第三模式，該第三模式包含第三數目之黑色像素。
實例75、如實例74之方法，其中黑色像素之該第三數目大於該第二數目且小於該第一數目。
實例76、如實例66至實例75之任一組合之方法，其進一步包含控制該顯示器以淡入該相機感測器上方的該區域中的該等黑色像素。
實例77、如實例66至實例76之任一組合之方法，其進一步包含控制該顯示器以淡出該相機感測器上方的該區域中的該等黑色像素。
實例78、如實例66至實例77之任一組合之方法，其進一步包含基於一影像擷取應用程式關閉而控制該顯示器以淡出該等黑色像素。
實例79、如實例66至實例78之任一組合之方法，其進一步包含基於一新環境光位準不低於該臨限而控制該顯示器以淡出該等黑色像素。
實例80、一種儲存指令的非暫時性電腦可讀儲存媒體，該等指令當執行時使一或多個處理器：自一感測器接收一信號；至少部分地基於該信號判定一使用者介面模式，該使用者介面模式包含一第一模式或一第二模式，其中該第一模式包含一顯示器之一區域中的第一數目之黑色像素，且該第二模式包含該顯示器之該區域中的第二數目之黑色像素，該第一數目大於該第二數目；及自一相機感測器接收影像資料，其中該相機感測器經設置以透過該顯示器之至少一部分接收光。
實例81、一種影像擷取裝置，其包含：用於自一感測器接收一信號的構件；用於至少部分地基於該信號判定一使用者介面模式的構件，該使用者介面模式包含一第一模式或一第二模式，其中該第一模式包含一顯示器之一區域中的第一數目之黑色像素，且該第二模式包含該顯示器之該區域中的第二數目之黑色像素，該第一數目大於該第二數目；及用於藉由該影像擷取裝置自一相機感測器接收影像資料的構件，其中該相機感測器經設置以透過該顯示器之至少一部分接收光。
在一或多個實例中，所描述的功能可實施在硬體、軟體、韌體、或其任一組合中。若在軟體中實施，則功能可作為一或多個指令或碼儲存在電腦可讀媒體上或透過電腦可讀媒體傳輸，且由基於硬體的處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於有形媒體（諸如資料儲存媒體）或通訊媒體（包括利於例如根據通訊協定將電腦程式自一處傳送至另一處的任何媒體）。以此方式，電腦可讀媒體通常可對應於(1)非暫時性的有形電腦可讀儲存媒體或(2)通訊媒體（諸如信號或載波）。資料儲存媒體可係可由一或多個電腦或一或多個處理器存取以擷取用於實施本揭露中所描述之技術的指令、碼、及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
舉實例而言，且非限制，此類電腦可讀媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器、或其他磁性儲存裝置、快閃記憶體、或其他任何媒體，該等媒體可用以儲存呈指令或資料結構之形式的所欲程式碼，且可由電腦存取。再者，任何連接適當地稱為電腦可讀媒體。例如，若使用同軸電纜、光纖電纜、雙絞線、數位用戶線(DSL)、或無線技術（諸如紅外線、無線電、及微波）自網站、伺服器、或其他遠端源傳輸指令，則同軸電纜、光纖電纜、雙絞線、DSL、或無線技術（諸如紅外線、無線電、及微波）包括在媒體之定義中。然而，應理解的是，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號、或其他暫時性媒體，而係指非暫時性、有形儲存媒體。如本文中所使用，磁碟及光碟包括壓縮光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟用雷射以光學方式再現資料。上述組合亦應被包括在電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、現場可程式化邏輯陣列(FPGA)、或其他等效積體或離散邏輯電路系統。因此，如本文中所使用，用語「處理器(processor)」可指任何前述結構或適於實施本文所述技術之任何其他結構。同樣地，該等技術可完全在一或多個電路或邏輯元件中實施。
本揭露之技術可實施於各式各樣的裝置或設備中，包括無線手機、積體電路(IC)或一組IC（例如，晶片組）。在本揭露中描述各種組件、模組、或單元以強調經組態以執行所揭示之技術的裝置的功能態樣，但不一定需要藉由不同硬體單元來實現。相反地，如上所述，各種單元可藉由包括如上文所述之一或多個處理器的互操作的硬體單元的集合結合合適的軟體及/或韌體來提供。
已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。
2:裝置 4:影像處理設備 6:影像信號處理器 8:本機記憶體 10:記憶體控制器 12:相機模組 14:外部記憶體 15:通訊匯流排 16:顯示器 20:自動曝光控制(AEC)程序 22:自動白平衡(AWB)程序 24:自動聚焦(AF)程序 26:顯示陰影補償(DSC)程序 28:鏡頭陰影補償(LSC)程序 30:固定圖案雑訊補償(FPNC)程序 50:影像信號處理(ISP)管線 102:影像擷取裝置 104:影像擷取應用程式 105:第一UI 106:影像信號處理器 107:臨限 108:第二UI 109:觸控感測器 110:一或多個處理器 111:第三UI 112:相機感測器 114:記憶體 116:顯示器 118:通訊電路系統 120:區域 122:環境光感測器 126:固定圖案雑訊(FPN)補償器 128:顯示陰影補償器 130:鏡頭陰影補償器 132:自動白平衡單元 134:不良像素校正器 136:自動曝光及自動白平衡統計單元 138:自動聚焦統計單元 140:顯示擷取器 142:顯示陰影補償產生器 144:預設參數 146:老化因數 148:環緩衝器(RB) 200:影像擷取裝置 202:顯示器 204:相機感測器 206:按鈕 210:影像擷取裝置 212:顯示器 214:相機感測器 216:凹口 220:影像擷取裝置 222:顯示器 224:相機感測器 226:彈出式相機 230:影像擷取裝置 232:顯示器 232A:區域 232B:區域 232C:區域 234:相機感測器(CS) 236:殼體 238:相機感測器 250:OLED顯示器 252:陰極層 254:有機發光材料層 256:陽極層 260:OLED顯示器 262:透明陰極層 264:有機發光材料層 266:透明陽極層 270:視圖 271:像素 272:視圖 274:組 276:佈局 277:空間 278:佈局 279:空間 280:佈局 281:空間 282:全域時脈源 284:資料處理單元硬體中斷服務請求(DPU:HW:ISR) 286:影像信號處理硬體中斷服務請求(ISP:HW:ISR) 288:顯示圖框當前寫入緩衝器0 290:顯示圖框當前寫入緩衝器1 292:顯示圖框當前寫入緩衝器2 294:顯示圖框當前寫入緩衝器N 296:相機感測器曝光時間 300:步驟 302:步驟 304:步驟 306:步驟 308:步驟 310:步驟 312:步驟 314:步驟 315:步驟 316:步驟 317:步驟 318:步驟 320:步驟 322:步驟 324:步驟 326:步驟 328:步驟 330:步驟 334:步驟 336:步驟 338:步驟 350:步驟 352:步驟 354:步驟 400:影像 402:影像 502:影像擷取裝置 504:區域 506:快門控制 512:影像擷取裝置 514:區域 516:快門控制 522:影像擷取裝置 524:區域 526:快門控制 532:影像擷取裝置 534:區域 542:影像擷取裝置 544:區域 552:影像擷取裝置 554:區域
圖1係經組態以實施本揭露之技術的例示性影像擷取裝置之方塊圖。 圖2A至圖2D係示出具有前置相機感測器及顯示器的影像擷取裝置之實例的方塊圖。 圖3係示出經組態以實施本揭露之技術的實例影像擷取裝置之分解圖的方塊圖。 圖4A至圖4B係繪示根據本揭露之技術的不同實例OLED顯示器之性質的方塊圖。 圖5係示出可與本揭露之技術一起使用的分區控制之實例的概念圖。 圖6A至圖6C係示出顯示器中的RGB子像素之可能實體佈局的概念圖。 圖7係可實施本揭露之技術的實例影像擷取裝置之方塊圖。 圖8A至圖8C係繪示根據本揭露之技術在屏下式相機感測器上方的顯示器之區域中的不同實例UI模式的概念圖。 圖9A至圖9C係繪示根據本揭露之技術的第一模式之進一步實例的概念圖。 圖10係示出根據本揭露之技術的實例影像信號處理(image signal processing, ISP)管線的方塊圖。 圖11A至圖11C係表示根據本揭露之技術判定預設參數的示意圖。 圖12係繪示用於使顯示陰影補償同步的技術的概念圖。 圖13係繪示根據本揭露的實例顯示陰影補償技術的流程圖。 圖14係繪示根據本揭露的實例顯示陰影補償技術的流程圖。 圖15係繪示根據本揭露的實例同步技術的流程圖。 圖16係繪示根據本揭露之技術判定使用者介面之實例的流程圖。 圖17係繪示根據本揭露之技術判定使用者介面之另一實例的流程圖。
102:影像擷取裝置
104:影像擷取應用程式
105:第一UI
106:影像信號處理器
107:臨限
108:第二UI
109:觸控感測器
110:一或多個處理器
111:第三UI
112:相機感測器
114:記憶體
116:顯示器
118:通訊電路系統
120:區域
122:環境光感測器

Claims (81)

  1. 一種影像擷取裝置，其包含： 記憶體；及 一或多個處理器，其耦合至一相機感測器及該記憶體且經組態以： 自該相機感測器接收第一影像資料，該相機感測器經設置以透過一顯示器之至少一部分接收光； 接收顯示內容之至少一部分； 基於顯示內容之該至少一部分判定一調整矩陣； 應用該調整矩陣至該第一影像資料以建立第二影像資料；及 輸出該第二影像資料。
  2. 如請求項1之影像擷取裝置，其中該調整矩陣包含一二維增益矩陣。
  3. 如請求項1或請求項2之影像擷取裝置，其中該調整矩陣係進一步基於預設參數。
  4. 如請求項3之影像擷取裝置，其中該等預設參數指示一顯示器中的子像素之一形狀、大小或位置或該顯示器中的主動像素之一位置中之至少一者。
  5. 如請求項1至4之任一組合之影像擷取裝置，其中該調整矩陣係進一步基於一老化因數。
  6. 如請求項1至4之任一組合之影像擷取裝置，其中該一或多個處理器進一步經組態以在應用該調整矩陣之前將該調整矩陣乘以一老化因數。
  7. 如請求項5或請求項6之影像擷取裝置，其中該老化因數係基於該相機感測器之上的一區域中的像素之一透射率衰減比較之一統計量測。
  8. 如請求項1至7之任一組合之影像擷取裝置，其中顯示內容之該至少一部分顯示在至少部分地位於該相機感測器上方的一區域中。
  9. 如請求項1至8之任一組合之影像擷取裝置，其中該一或多個處理器經組態以藉由以一分段雙線性方式應用該調整矩陣來應用該調整矩陣。
  10. 如請求項1至9之任一組合之影像擷取裝置，其中該顯示器中的一子像素之至少一部分設置在該相機感測器上方。
  11. 如請求項1至10之任一組合之影像擷取裝置，其中該顯示器之子像素設置在該相機感測器之上且與之相鄰而不遮擋該相機感測器。
  12. 如請求項1至11之任一組合之影像擷取裝置，其中該相機感測器係一第一相機感測器，該顯示器之該至少一部分係該顯示器之至少一第一部分，顯示內容之該至少一部分係顯示內容之至少一第一部分，且該調整矩陣係一第一調整矩陣，該一或多個處理器進一步經組態以： 自一第二相機感測器接收第三影像資料，該第二相機感測器設置在一顯示器之至少一部分之下且耦合至該一或多個處理器； 接收顯示內容之至少一第二部分； 基於顯示內容之該至少一第二部分判定一第二調整矩陣； 應用該第二調整矩陣至該第三影像資料以建立第四影像資料；及 輸出該第四影像資料。
  13. 如請求項1至12之任一組合之影像擷取裝置，其中該一或多個處理器經組態以藉由針對各顏色通道分開應用一調整矩陣來應用該調整矩陣。
  14. 如請求項1至13之任一組合之影像擷取裝置，其進一步包含： 該顯示器，該顯示器經組態以顯示內容。
  15. 如請求項1至14之任一組合之影像擷取裝置，其中該顯示內容係基於由該相機感測器擷取的一影像。
  16. 如請求項1至15之任一組合之影像擷取裝置，其中該顯示器包含一有機發光二極體(OLED)顯示器。
  17. 如請求項16之影像擷取裝置，其中該OLED顯示器包含一透明陽極及一透明陰極中之至少一者。
  18. 如請求項16或請求項17之影像擷取裝置，其中該一或多個處理器進一步經組態以當接收到該第一影像資料時，藉由形成該OLED顯示器之一區域的像素之至少一子集來顯示內容。
  19. 如請求項1至18之任一組合之影像擷取裝置，其中該設備包含一行動電話。
  20. 如請求項1至19之任一組合之影像擷取裝置，其中該一或多個處理器經組態以藉由自儲存在記憶體中的複數個調整矩陣中選擇該調整矩陣來判定該調整矩陣。
  21. 如請求項20之影像擷取裝置，其中該一或多個處理器經組態以藉由計算一區域中的子像素值之一平均和及使用該平均和作為一索引以選擇該調整矩陣來選擇該調整矩陣。
  22. 如請求項20之影像擷取裝置，其中該一或多個處理器進一步經組態以調整該經選擇的調整矩陣。
  23. 如請求項1至22之任一組合之影像擷取裝置，其中該一或多個處理器經組態以藉由在兩個調整矩陣之間內插來選擇該調整矩陣。
  24. 如請求項1至19之任一組合之影像擷取裝置，其中該一或多個處理器經組態以藉由計算該調整矩陣來判定該調整矩陣。
  25. 如請求項1至24之任一組合之影像擷取裝置，其中該一或多個處理器經組態以藉由下列判定該調整矩陣： 儲存該顯示內容之一或多個圖框之一部分； 應用一時間戳記至該顯示內容之一或多個圖框之各部分； 判定一相機感測器曝光時間； 基於該應用的時間戳記，判定哪些圖框與該相機感測器曝光時間相關聯；及 基於係相關聯圖框的該一或多個圖框之該部分判定該調整矩陣。
  26. 一種影像處理之方法，其包含： 在一影像擷取裝置處接收由一相機感測器擷取的第一影像資料，其中該相機感測器經設置以透過該影像擷取裝置上的一顯示器之至少一部分接收光； 在該影像擷取裝置處接收顯示內容之至少一部分； 在該影像擷取裝置處基於顯示內容之該至少一部分判定一調整矩陣； 應用該調整矩陣至該第一影像資料以建立第二影像資料；及 輸出該第二影像資料。
  27. 如請求項26之方法，其中該調整矩陣包含一二維增益矩陣。
  28. 如請求項26或請求項27之方法，其中該調整矩陣係進一步基於預設參數。
  29. 如請求項28之方法，其中該等預設參數指示該顯示器中的子像素之一形狀、大小或位置或該顯示器中的主動像素之一位置中之至少一者。
  30. 如請求項26至29之任一組合之方法，其中該調整矩陣係進一步基於一老化因數。
  31. 如請求項26至29之任一組合之方法，其進一步包含在應用該調整矩陣之前將該調整矩陣乘以一老化因數。
  32. 如請求項30或請求項31之方法，其中該老化因數係基於該相機感測器之上的一區域中的像素之一透射率衰減比較之一統計量測。
  33. 如請求項26至32之任一組合之方法，其中該顯示內容之該至少一部分顯示在至少部分地位於該相機感測器上方的一區域中。
  34. 如請求項26至33之任一組合之方法，其中應用該調整矩陣包含以一分段雙線性方式應用該調整矩陣。
  35. 如請求項26至34之任一組合之方法，其中該顯示器中的一子像素之至少一部分設置在該相機感測器上方。
  36. 如請求項26至35之任一組合之方法，其中該顯示器之子像素設置在該相機感測器之上且與之相鄰而不遮擋該相機感測器。
  37. 如請求項26至36之任一組合之方法，其中該相機感測器係一第一相機感測器，該顯示器之該至少一部分係該顯示器之至少一第一部分，顯示內容之該至少一部分係顯示內容之至少一第一部分，且該調整矩陣係一第一調整矩陣，該方法進一步包含： 在一影像擷取裝置處接收由一第二相機感測器擷取的第三影像資料，其中該第二相機感測器設置在該影像擷取裝置上的一顯示器之至少一第二部分之下； 在該影像擷取裝置處接收顯示內容之至少一第二部分； 在該影像擷取裝置處基於顯示內容之該至少一第二部分判定一第二調整矩陣； 應用該第二調整矩陣至該第三影像資料以建立第四影像資料；及 輸出該第四影像資料。
  38. 如請求項26至37之任一組合之方法，其中應用該調整矩陣包含針對各顏色通道分開應用一調整矩陣。
  39. 如請求項26至38之任一組合之方法，其中該顯示內容係基於由該相機感測器擷取的一影像。
  40. 如請求項26至39之任一組合之方法，其中該顯示器包含一有機發光二極體(OLED)顯示器。
  41. 如請求項40之方法，其中該OLED顯示器包含一透明陽極及一透明陰極中之至少一者。
  42. 如請求項40或請求項41之方法，其進一步包含當接收到該第一影像資料時，藉由形成該OLED顯示器之一區域的像素之至少一子集來主動顯示內容。
  43. 如請求項26至42之任一組合之方法，其中該影像擷取裝置包含一行動電話。
  44. 如請求項26至43之任一組合之方法，其中判定該調整矩陣包含自儲存在記憶體中的複數個調整矩陣中選擇該調整矩陣。
  45. 如請求項44之方法，其中選擇該調整矩陣包含計算一區域中的子像素值之一平均和及使用該平均和作為一索引以選擇該調整矩陣。
  46. 如請求項44之方法，其中選擇該調整矩陣包含調整該調整矩陣。
  47. 如請求項26至46之任一組合之方法，其中判定該調整矩陣進一步包含在兩個調整矩陣之間內插。
  48. 如請求項26至43之任一組合之方法，其中判定該調整矩陣包含計算該調整矩陣。
  49. 如請求項26至48之任一組合之方法，其中判定該調整矩陣包含： 儲存該顯示內容之一或多個圖框之一部分； 應用一時間戳記至該顯示內容之一或多個圖框之各部分； 判定一相機感測器曝光時間； 基於該應用的時間戳記，判定哪些圖框與該相機感測器曝光時間相關聯；及 基於係相關聯圖框的該一或多個圖框之該等部分判定該調整矩陣。
  50. 一種儲存指令的非暫時性電腦可讀儲存媒體，該等指令當執行時使一或多個處理器： 自一相機感測器接收第一影像資料，該相機感測器經設置以透過一顯示器之至少一部分接收光； 接收顯示內容之至少一部分； 基於顯示內容之該至少一部分判定一調整矩陣； 應用該調整矩陣至該第一影像資料以建立第二影像資料；及 輸出該第二影像資料。
  51. 一種影像擷取裝置，其包含： 一顯示器，其經組態以顯示擷取的影像； 一相機感測器，該相機感測器經設置以透過該顯示器之至少一部分接收光； 記憶體，其經組態以儲存擷取的影像；及 一或多個處理器，其耦合至該相機感測器、該顯示器、及該記憶體且經組態以： 自一感測器接收一信號； 至少部分地基於該信號判定一使用者介面模式，該使用者介面模式包含一第一模式或一第二模式，其中該第一模式包含該顯示器之一區域中的第一數目之黑色像素，且該第二模式包含該顯示器之該區域中的第二數目之黑色像素，該第一數目大於該第二數目；及 自該相機感測器接收影像資料。
  52. 如請求項51之影像擷取裝置，其中該感測器係一環境光感測器。
  53. 如請求項51或52之影像擷取裝置，其中該一或多個處理器進一步經組態以： 判定該信號是否低於一臨限；及 基於該信號低於該臨限，控制該顯示器以顯示該第一模式。
  54. 如請求項51至53之任一組合之影像擷取裝置，其中該信號係第一信號，且該一或多個處理器進一步經組態以： 自該感測器接收一第二信號； 判定該第二信號是否低於該臨限；及 基於該第二信號不低於該臨限，控制該顯示器以顯示該第二模式。
  55. 如請求項51至54之任一組合之影像擷取裝置，其中該一或多個處理器進一步經組態以： 啟動一影像擷取應用程式， 其中該一或多個處理器基於啟動該影像擷取應用程式而判定該使用者介面模式。
  56. 如請求項52至55之任一組合之影像擷取裝置，其進一步包含一環境光感測器，該環境光感測器經組態以感測一環境光位準。
  57. 如請求項51之影像擷取裝置，其中該感測器係該相機感測器。
  58. 如請求項51之影像擷取裝置，其中該感測器係一觸控感測器。
  59. 如請求項51之影像擷取裝置，其中該第二數目係零。
  60. 如請求項51至59之任一組合之影像擷取裝置，其中該使用者介面模式進一步包含一第三模式，該第三模式包含第三數目之黑色像素。
  61. 如請求項60之影像擷取裝置，其中黑色像素之該第三數目大於該第二數目且小於該第一數目。
  62. 如請求項51至61之任一組合之影像擷取裝置，其中該一或多個處理器進一步經組態以控制該顯示器以淡入該相機感測器上方的該區域中的該等黑色像素。
  63. 如請求項51至62之任一組合之影像擷取裝置，其中該一或多個處理器進一步經組態以控制該顯示器以淡出該相機感測器上方的該區域中的該等黑色像素。
  64. 如請求項63之影像擷取裝置，其中該一或多個處理器進一步經組態以基於一影像擷取應用程式關閉而控制該顯示器以淡出該等黑色像素。
  65. 如請求項63之影像擷取裝置，其中該一或多個處理器基於一新環境光位準不低於該臨限來控制該顯示器以淡出該等黑色像素。
  66. 一種方法，其包含： 由一影像擷取裝置自一感測器接收一信號； 由一影像擷取裝置且至少部分地基於該信號判定一使用者介面模式，該使用者介面模式包含一第一模式或一第二模式，其中該第一模式包含一顯示器之一區域中的第一數目之黑色像素，且該第二模式包含該顯示器之該區域中的第二數目之黑色像素，該第一數目大於該第二數目；及 由該影像擷取裝置自一相機感測器接收影像資料，其中該相機感測器經設置以透過該顯示器之至少一部分接收光。
  67. 如請求項66之方法，其中該感測器係一環境光感測器。
  68. 如請求項66或67之方法，其進一步包含： 由該影像擷取裝置判定該信號是否低於一臨限；及 基於該信號低於該臨限，由該影像擷取裝置控制該顯示器以顯示該第一模式。
  69. 如請求項66至68之任一組合之方法，其進一步包含： 自該感測器接收一第二信號； 判定該第二信號是否低於該臨限；及 基於該第二信號不低於該臨限，控制該顯示器以顯示該第二模式。
  70. 如請求項66至69之任一組合之方法，其進一步包含： 由該影像擷取裝置啟動一影像擷取應用程式， 其中該影像擷取裝置基於啟動該影像擷取應用程式而判定該使用者介面模式。
  71. 如請求項66之方法，其中該感測器係該相機感測器。
  72. 如請求項66之方法，其中該感測器係一觸控感測器。
  73. 如請求項66之方法，其中該第二數目係零。
  74. 如請求項66至73之任一組合之方法，其中該使用者介面模式進一步包含一第三模式，該第三模式包含第三數目之黑色像素。
  75. 如請求項74之方法，其中黑色像素之該第三數目大於該第二數目且小於該第一數目。
  76. 如請求項66至75之任一組合之方法，其進一步包含控制該顯示器以淡入該相機感測器上方的該區域中的該等黑色像素。
  77. 如請求項66至76之任一組合之方法，其進一步包含控制該顯示器以淡出該相機感測器上方的該區域中的該等黑色像素。
  78. 如請求項66至77之任一組合之方法，其進一步包含基於一影像擷取應用程式關閉而控制該顯示器以淡出該等黑色像素。
  79. 如請求項66至78之任一組合之方法，其進一步包含基於一新環境光位準不低於該臨限而控制該顯示器以淡出該等黑色像素。
  80. 一種儲存指令的非暫時性電腦可讀儲存媒體，該等指令當執行時使一或多個處理器： 自一感測器接收一信號； 至少部分地基於該信號判定一使用者介面模式，該使用者介面模式包含一第一模式或一第二模式，其中該第一模式包含一顯示器之一區域中的第一數目之黑色像素，且該第二模式包含該顯示器之該區域中的第二數目之黑色像素，該第一數目大於該第二數目；及 自一相機感測器接收影像資料，其中該相機感測器經設置以透過該顯示器之至少一部分接收光。
  81. 一種影像擷取裝置，其包含： 用於自一感測器接收一信號的構件； 用於至少部分地基於該信號判定一使用者介面模式的構件，該使用者介面模式包含一第一模式或一第二模式，其中該第一模式包含一顯示器之一區域中的第一數目之黑色像素，且該第二模式包含該顯示器之該區域中的第二數目之黑色像素，該第一數目大於該第二數目；及 用於藉由該影像擷取裝置自一相機感測器接收影像資料的構件，其中該相機感測器經設置以透過該顯示器之至少一部分接收光。
TW109139397A 2019-11-15 2020-11-11 屏下式相機系統及方法 TW202139685A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
WOPCT/CN2019/118746 2019-11-15
PCT/CN2019/118746 WO2021092887A1 (en) 2019-11-15 2019-11-15 Display shade compensation for cameras
PCT/CN2020/093726 WO2021093313A1 (en) 2019-11-15 2020-06-01 Display shade compensation for cameras
WOPCT/CN2020/093726 2020-06-01
PCT/CN2020/121393 WO2021093513A1 (en) 2019-11-15 2020-10-16 Under-display camera systems and methods
WOPCT/CN2020/121393 2020-10-16

Publications (1)

Publication Number Publication Date
TW202139685A true TW202139685A (zh) 2021-10-16

Family

ID=75911570

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109139397A TW202139685A (zh) 2019-11-15 2020-11-11 屏下式相機系統及方法

Country Status (5)

Country Link
US (1) US20230164426A1 (zh)
EP (1) EP4059213A4 (zh)
CN (1) CN115023944A (zh)
TW (1) TW202139685A (zh)
WO (3) WO2021092887A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230023498A (ko) 2021-08-10 2023-02-17 삼성전자주식회사 언더 디스플레이 카메라를 포함하는 전자 장치 및 그 동작 방법
EP4344174A4 (en) * 2021-08-10 2024-10-09 Samsung Electronics Co Ltd ELECTRONIC DEVICE AND OPERATING METHOD THEREFOR
WO2024053873A1 (en) * 2022-09-09 2024-03-14 Samsung Electronics Co., Ltd. A method and system for enhanced under-display camera imaging
EP4375863A1 (en) * 2022-11-24 2024-05-29 Nokia Technologies Oy Modification of captured images

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002374539A (ja) * 2001-06-15 2002-12-26 Olympus Optical Co Ltd ホワイトバランス補正可能なカメラ
US7767949B2 (en) * 2005-01-18 2010-08-03 Rearden, Llc Apparatus and method for capturing still images and video using coded aperture techniques
US20070002130A1 (en) 2005-06-21 2007-01-04 David Hartkop Method and apparatus for maintaining eye contact during person-to-person video telecommunication
KR100808493B1 (ko) * 2005-12-28 2008-03-03 엠텍비젼 주식회사 렌즈 셰이딩 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서
US7714923B2 (en) * 2006-11-02 2010-05-11 Eastman Kodak Company Integrated display and capture apparatus
US8154582B2 (en) * 2007-10-19 2012-04-10 Eastman Kodak Company Display device with capture capabilities
US8797441B2 (en) * 2009-01-30 2014-08-05 Apple Inc. Continuous illumination of backlit display and of subject for image capture
US8767112B2 (en) * 2009-12-18 2014-07-01 St-Ericsson Sa Luminance control of a display device
US8605167B2 (en) * 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
US20120182276A1 (en) * 2011-01-19 2012-07-19 Broadcom Corporation Automatic adjustment of display systems based on light at viewer position
US8750674B2 (en) * 2011-09-26 2014-06-10 Intellectual Ventures Fund 83 Llc Remotely controllable digital video camera system
US20130093915A1 (en) * 2011-10-12 2013-04-18 Apple Inc. Multi-Illuminant Color Matrix Representation and Interpolation Based on Estimated White Points
JP5897159B2 (ja) 2014-02-25 2016-03-30 キヤノン株式会社 表示装置及びその制御方法
US9570019B2 (en) * 2014-03-20 2017-02-14 Dell Products, Lp System and method for coordinating image capture in a camera hidden behind a display device
KR20150140514A (ko) * 2014-06-05 2015-12-16 삼성디스플레이 주식회사 투명 디스플레이 장치의 색 보상 방법
GB201516173D0 (en) * 2015-09-14 2015-10-28 Apical Ltd Adaptive shading correction
US20170084231A1 (en) * 2015-09-23 2017-03-23 Intel Corporation Imaging system management for camera mounted behind transparent display
CN105208360B (zh) * 2015-09-23 2017-07-25 青岛海信移动通信技术股份有限公司 一种智能终端的图像预览方法、装置及终端
US9754526B2 (en) * 2015-10-30 2017-09-05 Essential Products, Inc. Mobile device with display overlaid with at least a light sensor
US10102789B2 (en) * 2015-10-30 2018-10-16 Essential Products, Inc. Mobile device with display overlaid with at least a light sensor
US9767728B2 (en) * 2015-10-30 2017-09-19 Essential Products, Inc. Light sensor beneath a dual-mode display
KR102439245B1 (ko) * 2016-01-29 2022-09-01 삼성전자주식회사 전자 장치 및 그 제어 방법
US10303921B1 (en) * 2018-02-26 2019-05-28 Shenzhen GOODIX Technology Co., Ltd. On-LCD screen optical fingerprint sensing based on optical imaging with lens-pinhole module and other optical designs
US11294422B1 (en) * 2018-09-27 2022-04-05 Apple Inc. Electronic device including a camera disposed behind a display
CN109377945B (zh) * 2018-11-08 2021-01-22 京东方科技集团股份有限公司 像素补偿方法、装置及系统
KR102561172B1 (ko) * 2018-11-22 2023-07-31 삼성전자주식회사 디스플레이 내에 카메라 모듈이 포함된 전자 장치 및 상기 카메라 모듈 주변의 이미지를 보정하는 방법
CN109743430A (zh) * 2019-03-14 2019-05-10 Oppo广东移动通信有限公司 显示组件和电子装置
CN109830495B (zh) * 2019-03-21 2021-10-08 京东方科技集团股份有限公司 阵列基板及其制备方法、显示装置及其成像方法
CN110012136B (zh) * 2019-04-02 2022-10-14 北京旷视科技有限公司 显示装置、显示屏及终端设备
US11516374B2 (en) * 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
KR102676310B1 (ko) * 2019-08-29 2024-06-19 삼성디스플레이 주식회사 표시 패널 구동 방법
WO2021070867A1 (ja) * 2019-10-07 2021-04-15 ソニーセミコンダクタソリューションズ株式会社 電子機器

Also Published As

Publication number Publication date
WO2021093513A1 (en) 2021-05-20
WO2021092887A8 (en) 2021-07-08
US20230164426A1 (en) 2023-05-25
WO2021093313A1 (en) 2021-05-20
EP4059213A1 (en) 2022-09-21
WO2021092887A1 (en) 2021-05-20
CN115023944A (zh) 2022-09-06
EP4059213A4 (en) 2023-08-30

Similar Documents

Publication Publication Date Title
TW202139685A (zh) 屏下式相機系統及方法
US11729518B2 (en) Systems and methods for digital photography
JP6892549B2 (ja) カメラを備えた端末および撮影方法
CN108111717B (zh) 配置为照明源的显示器装置
TWI433533B (zh) 影像擷取裝置及其影像合成方法
KR102184916B1 (ko) 제어 장치, 제어 방법 및 전자 기기
US20170084231A1 (en) Imaging system management for camera mounted behind transparent display
CN108419023A (zh) 一种生成高动态范围图像的方法以及相关设备
US11509806B2 (en) Under-display camera synchronization with display pixel operation
US11588978B2 (en) Under-display camera systems and methods
EP3313059A1 (en) Electronic device with display-based image compensation and corresponding systems and methods
CN107533275B (zh) 用于成像设备的空间上可调节的闪光
CN117692788B (zh) 一种图像处理方法及电子设备
CN117135293B (zh) 图像处理方法和电子设备
US9736387B2 (en) Irradiation device, irradiation method, and program for switching irradiation regions
CN118102133B (zh) 一种图像传感器、图像对焦方法、电子设备及存储介质
TWI736064B (zh) 色偏校正方法及應用其之電子裝置
CN116055855B (zh) 图像处理方法及其相关设备
CN114785908A (zh) 电子设备、电子设备的图像获取方法及计算机可读存储介质