TW202241113A - 顯示器下相機系統及方法 - Google Patents

顯示器下相機系統及方法 Download PDF

Info

Publication number
TW202241113A
TW202241113A TW111105423A TW111105423A TW202241113A TW 202241113 A TW202241113 A TW 202241113A TW 111105423 A TW111105423 A TW 111105423A TW 111105423 A TW111105423 A TW 111105423A TW 202241113 A TW202241113 A TW 202241113A
Authority
TW
Taiwan
Prior art keywords
display
effective aperture
camera sensor
image
mask
Prior art date
Application number
TW111105423A
Other languages
English (en)
Inventor
尼克希 艾爾瑪
維許努華丹 卡西利亞蘇達拉山
納葛詹丹貝布 古迪凡達
達夏納普曼能 哈克
貝倫悠庫 史萊帕達
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202241113A publication Critical patent/TW202241113A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一種實例影像擷取裝置包括：記憶體；及耦合到記憶體和相機感測器的一或多個處理器。相機感測器被佈置為經由顯示器的至少一部分接收光。一或多個處理器被配置為：決定用於相機感測器的有效光圈。一或多個處理器被配置為：將遮罩應用於在顯示器的至少一部分中的一或多個圖元，其中遮罩是基於有效光圈的。一或多個處理器被配置為：使用相機感測器來擷取影像。

Description

顯示器下相機系統及方法
概括而言，本案內容涉及影像和相機處理。
影像擷取裝置（例如，數位相機）通常被併入各種各樣的設備中。在本案內容中，影像擷取裝置代表可以擷取一或多個數位影像的任何設備，包括可以擷取靜態影像的設備和可以擷取影像序列以記錄視訊的設備。舉例而言，影像擷取裝置可以包括獨立數位相機或數位攝像機、配備有相機的無線通訊設備手機（諸如行動電話（包括蜂巢或衛星無線電電話））、配備有相機的平板設備或個人數位助理（PDA）、包括相機（諸如所謂的「網路相機」）的電腦設備、或具有數位成像或視訊能力的任何設備。
影像擷取裝置能夠在各種照明條件下（例如，光源）產生影像。例如，影像擷取裝置可以在包括大量反射或飽和光的環境中以及在包括高對比的環境中操作。除了用於調整由成像訊號處理器硬體執行的處理的其他模組（例如，色調調整模組）之外，一些實例影像擷取裝置亦包括用於自動曝光控制、自動白平衡和自動聚焦的調整模組。
概括而言，本案內容描述了用於影像擷取的技術，包括決定和應用用於顯示器下相機感測器（諸如在前置相機中使用的那些感測器）的有效光圈。用於將在影像擷取裝置上的顯示尺寸最大化的一種方式是將一或多個相機感測器放置在顯示器下面。當相機感測器被放置在顯示器下方時，包括子圖元電路的顯示器的層遮擋相機感測器，使得相機感測器接收不太密集且不太準確的影像資訊（與相機感測器不在顯示器下方的情況相比）。例如，顯示器可以是液晶顯示器（LCD）、發光二極體（LED）顯示器、有機發光二極體（OLED）顯示器、主動矩陣有機發光二極體（AMOLED）（其可以是OLED顯示器的特定實例）或者其他顯示器。例如，顯示器的層可能使到達相機感測器的環境光衰減，並且在相機感測器上方的子圖元可能導致遮光，諸如空間步幅和陰影，這可能對由顯示器下相機感測器擷取的影像的影像品質產生負面影響。
子圖元包括構成圖元的元素，諸如RGB圖元的紅色、藍色和綠色元素。自然光經由顯示器傳播到相機感測器上。顯示器的自然光正在經由的區域可以具有如下的區域：具有實體圖元元素的區域和不具有實體圖元元素的區域。對於具有實體圖元元素的區域和不具有實體圖元元素的區域，透明率（或穿過顯示器的光量）可能不同。
大多數相機感測器（尤其是在諸如智慧型電話之類的等行動電話中使用的感測器）皆具有固定光圈。在相機感測器被佈置在顯示器的至少一部分下方或部分地在其下方或與顯示器相鄰減少了到達相機感測器的光量（由於顯示器遮光）的情況下，相機感測器的固定光圈可能進一步對由相機感測器擷取的影像的影像品質產生負面影響（與可變光圈相機感測器相比）。本案內容描述了如下的技術：該等技術用於決定有效光圈並且將有效光圈應用於顯示器，以補償對顯示器下相機（諸如被佈置在顯示器之下、部分地在顯示器之下或與顯示器相鄰的相機感測器）的顯示器遮光，使得光在被相機感測器接收之前穿過顯示器層。補充地或替代地，在一些實例中，本案內容描述了用於決定有效光圈並且將有效光圈應用於顯示器以實現效果模式（諸如散景模式、軟焦點模式、人像模式等）的技術。
本案內容亦描述了用於提高顯示器中的透射率的技術。這些用於提高透射率的技術是對本案內容的影像擷取技術的補充或替代，並且可以與本文揭示的影像擷取技術一起使用，或者可以單獨地使用。在一個實例中，可以應用遮罩來實現顯示器中的有效光圈。在一些實例中，遮罩可以改變在相機感測器之上的其中圖元被設置為黑色（例如，alpha值被設置為零）或未被定址的面積或區域的尺寸。在一些實例中，遮罩可以改變相機感測器之上的面積或區域中的圖元的alpha值。alpha值是對顯示的色彩的透明度的度量。在其他實例中，遮罩可以改變在相機感測器之上的其中圖元被設置為變化的alpha值的面積或區域的尺寸。在一些實例中，影像擷取裝置可以使用諸如自動曝光控制、自動聚焦及/或自動白平衡之類的配置設置來決定期望的有效光圈。
在本案內容的一個實例中，一種影像擷取裝置包括：記憶體；及耦合到該記憶體和相機感測器的一或多個處理器，該相機感測器被佈置為經由顯示器的至少一部分接收光，該一或多個處理器被配置為：決定用於該相機感測器的有效光圈；將遮罩應用於在該顯示器的該至少一部分中的一或多個圖元，其中該遮罩是基於該有效光圈的；及使用該相機感測器來擷取影像。
在另一實例中，本案內容描述了一種方法，包括：決定用於相機感測器的有效光圈，該相機感測器被佈置為經由顯示器的至少一部分接收光；將遮罩應用於在該顯示器的該至少一部分中的一或多個圖元，其中該遮罩是基於該有效光圈的；及使用該相機感測器來擷取影像。
在另一實例中，本案內容描述了一種影像擷取裝置，包括：用於決定用於相機感測器的有效光圈的單元，該相機感測器被佈置為經由顯示器的至少一部分接收光；用於將遮罩應用於該顯示器的該至少一部分中的一或多個圖元的單元，其中該遮罩是基於該有效光圈的；及用於使用該相機感測器來擷取影像的單元。
在另一實例中，本案內容描述了一種儲存指令的非暫時性電腦可讀取儲存媒體，該等指令在被執行時使得一或多個處理器進行以下操作：決定用於相機感測器的有效光圈，該相機感測器被佈置為經由顯示器的至少一部分接收光；將遮罩應用於在該顯示器的該至少一部分中的一或多個圖元，其中該遮罩是基於該有效光圈的；及使用該相機感測器來擷取影像。
在附圖和下文的描述中闡述了本案內容的一或多個態樣的細節。根據說明書、附圖以及請求項，在本案內容中描述的技術的其他特徵、目的和優勢將是顯而易見的。
本案內容描述了用於與被佈置在顯示器的至少一部分之下的相機感測器（例如，顯示器下相機感測器）一起使用的有效光圈技術。顯示器可以使用具有圖元結構的透明材料，該圖元結構被設計為使得光可以穿透顯示器到達相機感測器。以此類方式使用的相機感測器可能比其他前置「自拍」相機要大，並且可能具有較寬的固定光圈鏡頭。例如，相機感測器尺寸不需要受到在顯示器周圍邊框或外框空間的限制或約束。經由將相機感測器設立在設備上的顯示器下方，使得相機感測器可以經由顯示器的至少一部分接收光，可用顯示空間的尺寸可以擴大（當與具有在設備前面的專用於相機感測器的類似尺寸的設備相比時）。替代地，可以使用較小的形狀因數來提供相同的可用顯示尺寸。此外，經由將相機感測器設立在顯示器下方，相機感測器可以被放置在顯示器下方的任何位置。例如，相機感測器可以位於在拍攝「自拍」時使用者眼睛可能指向的位置。以這種方式，由相機感測器擷取的影像中的眼睛的注視可以看起來是在看著相機，而不是看著相機下方（如在相機感測器位於顯示器上方或在影像擷取裝置的頂部附近的情況下可能發生的）。
在許多影像擷取裝置中，可能期望將影像擷取裝置上的顯示器的尺寸最大化。對於較小的影像擷取裝置（諸如行動電話和其他行動設備），情況尤其如此。許多影像擷取裝置（例如，行動設備）包括面向行動設備的使用者的前置相機（「自拍」相機）。將在具有前置相機的影像擷取裝置上的顯示尺寸最大化並非沒有限制。前置相機已經位於影像擷取裝置的正面且在設備的邊緣與顯示器的邊緣之間。為了將在具有前置相機的影像擷取裝置上的顯示尺寸最大化，一些製造商已經擴大了顯示器並且在顯示器上引入了凹口，以避免顯示器覆蓋相機感測器。其他製造商已經擴大了顯示器以基本上覆蓋影像擷取裝置的正面，並且添加了彈出式相機，而不是將相機感測器放置在影像擷取裝置的主體上。
將顯示尺寸最大化的一種方式是將相機感測器設立在顯示器下方。然而，經由將相機感測器設立在顯示器下方，顯示器可能在由相機感測器擷取的影像訊號中引起衰減、空間步幅和陰影、光散射或漫射及/或其他不期望的影響。例如，霧度、眩光及/或偏色可能影響所擷取的影像的品質。通常，使用顯示器下相機的前述不期望的影響可以被稱為顯示器遮光。與較舊的低解析度螢幕相比，在如今的在給定區域中放置更多圖元的高解析度螢幕的情況下，由顯示器下相機感測器擷取的光量可能顯著地減少，這可能導致擷取差品質的影像。
為了更好的低光影像擷取，可以使用具有較大圖元尺寸的較大相機感測器來獲得更好的低光影像擷取。然而，在明亮的場景中，這種相機感測器可能產生過度曝光的影像。
許多影像擷取裝置（包括在行動電話中包括的絕大多數相機感測器）具有固定光圈而不是可變光圈。這可能使得更加難以在各種光照情形下擷取高品質影像。此外，固定光圈相機感測器可能使得更加難以改變焦距以產生不同效果（諸如軟焦點、人像或散景影像）。本案內容描述了用於決定和實現有效光圈的技術，儘管相機傳感器具有固定光圈，並且儘管存在顯示器遮光。有效光圈可以是在存在於顯示器的位於顯示器下相機上方的區域中的可變光圈，該可變光圈可以使用可以與要顯示的內容進行混合的軟體遮罩來建立及/或改變。本案內容亦描述了用於在不同光照情形和不同焦點情形下（諸如散景、軟焦點或人像）管理有效光圈的遮罩技術。例如，與在高光情形下相比，在低光情形下，較少的光可以穿過顯示器到達顯示器下相機感測器。本案內容描述了如下的技術：即使在顯示器下相機感測器可能具有固定光圈的情況下，用於實現可適配的有效光圈，使得相機感測器可以接收適當的光量以擷取美觀的影像。
圖1是示出可以被配置為執行本案內容的技術的設備2的方塊圖。設備2可以構成影像擷取裝置的一部分，或者能夠解碼、發送及/或接收靜態影像及/或視訊序列的數位視訊設備的一部分。舉例而言，設備2可以構成無線行動通訊設備的一部分，諸如蜂巢式電話或衛星無線電電話、智慧型電話、獨立數位相機或攝像機、個人數位助理（PDA）、平板設備、膝上型電腦、或在其中影像處理是期望的具有成像或視訊能力的任何設備。
如圖1所示，設備2包括用於儲存原始影像資料並且對這些資料執行各種處理技術的影像處理裝置4。影像處理裝置4可以包括一或多個積體電路，其包括數位訊號處理器（DSP）、片上記憶體，以及可能包括硬體邏輯或電路。更一般地，影像處理裝置4可以包括處理器、硬體、軟體或韌體的任何組合，並且影像處理裝置4的各種部件可以這樣實現。此外，若需要的話，影像處理裝置4可以包括單個整合晶片或編碼器/解碼器（CODEC）。
在圖1所示的實例中，影像處理裝置4包括本機記憶體8、記憶體控制器10和影像訊號處理器6。影像訊號處理器6可以是通用處理單元，或者可以是專門被設計用於成像應用（例如，用於手持電子設備）的處理器。如圖所示，影像訊號處理器6經由記憶體控制器10耦合到本機記憶體8和外部記憶體14。在一些實例中，本機記憶體8可以例如作為快取緩衝記憶體被併入影像訊號處理器6中。
如圖1所示，影像訊號處理器6可以被配置為執行自動曝光控制（AEC）程序20、自動白平衡（AWB）程序22、自動聚焦（AF）程序24、鏡頭陰影補償（LSC）程序28及/或固定圖案雜訊補償（FPNC）程序30。在一些實例中，影像訊號處理器6可以包括被配置為執行AEC程序20、AWB程序22、AF程序24、LSC程序28及/或FPNC程序30的硬體特定電路（例如，特殊應用積體電路（ASIC））。在其他實例中，影像訊號處理器6可以被配置為執行軟體及/或韌體以執行AEC程序20、AWB程序22、AF程序24、LSC程序28及/或FPNC程序30。當在軟體中配置時，用於AEC程序20、AWB程序22、AF程序24、LSC程序28及/或FPNC程序30的代碼可以被儲存在本機記憶體8及/或外部記憶體14中。在其他實例中，影像訊號處理器6可以使用硬體、韌體及/或軟體的組合來執行AEC程序20、AWB程序22、AF程序24、LSC程序28及/或FPNC程序30。當被配置為軟體時，AEC程序20、AWB程序22、AF程序24、LSC程序28及/或FPNC程序30可以包括將影像訊號處理器6配置為執行各種影像處理和設備管理任務（包括本案內容的有效光圈技術）的指令。
AEC程序20可以包括用於配置、計算、儲存及/或應用相機模組12的曝光設置的指令。曝光設置可以包括要用於擷取影像的快門速度和光圈設置，諸如根據本案內容的技術的有效光圈設置。根據本案內容的技術，影像訊號處理器6可以使用由相機模組12擷取的深度資訊來更好地辨識影像的物件，並且基於所辨識的對象進行曝光設置。AF程序24可以包括用於配置、計算、儲存及/或應用相機模組12的自動聚焦設置的指令。
AWB程序22可以包括用於配置、計算、儲存及/或應用AWB設置（例如，AWB增益）的指令，AWB設置可以被應用於由相機模組12擷取的一或多個影像。在一些實例中，經由AWB程序22決定的AWB增益可以被應用於根據其決定AWB增益的影像。在其他實例中，經由AWB程序22決定的AWB增益可以被應用於在根據其決定AWB增益的影像之後擷取的一或多個影像。因此，AWB增益可以被應用於在根據其決定AWB增益的第一影像之後擷取的第二影像。在一個實例中，第二影像可以是在根據其決定AWB增益的第一影像之後立即擷取的影像。亦即，若第一影像是訊框N，則對其應用AWB增益的第二影像是訊框N+1。在其他實例中，第二影像可以是在根據其決定AWB增益的第一影像之後的兩個影像擷取的影像。亦即，若第一影像是訊框N，則對其應用AWB增益的第二影像是訊框N+2。在其他實例中，AWB增益可以被應用於從第一影像開始進一步在時間上擷取的影像（例如，訊框N+3、訊框N+4等）。在其他實例中，AWB增益可以被應用於根據其決定AWB增益的第一影像。
LSC程序28可以包括用於配置、計算、儲存及/或應用鏡頭陰影補償增益的指令。例如，LSC程序28可以補償由於相機鏡頭而朝向影像的邊緣減少的光。
FPNC程序30可以包括用於配置、計算、儲存及/或應用FPN補償程序的指令。例如，FPNC程序30可以從所擷取的影像中減去主暗訊框以補償FPN。
本機記憶體8可以儲存原始影像資料，並且亦可以儲存在由影像訊號處理器6執行的任何處理之後的經處理的影像資料。本機記憶體8可以由各種非暫時性記憶體設備中的任何一種形成，諸如動態隨機存取記憶體（DRAM）（包括同步DRAM（SDRAM））、磁阻式RAM（MRAM）、電阻式RAM（RRAM）或其他類型的記憶體設備。記憶體控制器10可以控制本機記憶體8內的記憶體組織。記憶體控制器10亦可以控制從本機記憶體8到影像訊號處理器6的記憶體載入，以及從影像訊號處理器6到本機記憶體8的回寫。要由影像訊號處理器6處理的影像可以在影像擷取之後從相機模組12直接載入到影像訊號處理器6中，或者可以在影像處理期間儲存在本機記憶體8中。
如所提及的，設備2可以包括相機模組12以擷取要處理的影像，但是本案內容不一定限於這態樣。相機模組12可以包括固態感測器部件（諸如互補金屬氧化物半導體（CMOS）感測器部件、電荷耦合裝置（CCD）感測器部件等）的陣列。替代地或補充地，相機模組12可以包括一組影像或相機感測器，其包括被佈置在相應感測器的表面上的濾色器陣列（CFA）。相機模組12可以直接耦合到影像訊號處理器6，以避免影像處理中的時延。相機模組12可以被配置為擷取靜態影像或全運動視訊序列，在這種情況下，可以對視訊序列的一或多個影像訊框執行影像處理。
相機模組12可以向影像訊號處理器6發送圖元值（例如，以Bayer或RGB格式）及/或描述所擷取的影像的原始統計訊息。通常，影像訊號處理器6可以被配置為分析原始統計資料和深度資訊，以計算及/或決定成像參數，諸如感測器增益、R/G/B增益、AWB增益、快門速度、有效光圈尺寸等。所計算出的及/或決定的成像參數可以被應用於所擷取的影像，被應用於一或多個隨後擷取的影像，及/或發送回相機模組12以調整有效光圈、曝光及/或焦點設置。
設備2可以包括顯示器16，其顯示在本案內容中描述的影像處理之後的影像。在此類影像處理之後，可以將影像寫入本機記憶體8或外部記憶體14。隨後，可以將經處理的影像發送給顯示器16，以便呈現給使用者。顯示器16可以顯示其他資訊，包括被儲存在記憶體位置（例如，外部記憶體14）中的檔的視覺表示、被安裝在影像訊號處理器6中的軟體應用、使用者介面、網路可存取內容物件和其他資訊。
在一些實例中，設備2可以包括多個記憶體。例如，設備2可以包括外部記憶體14，其通常包括相對大的記憶體空間。例如，外部記憶體14可以包括DRAM或快閃記憶體。在其他實例中，外部記憶體14可以包括非揮發性記憶體或任何其他類型的資料儲存單元。與外部記憶體14相比，本機記憶體8可以包括較小且較快的記憶體空間，但是本案內容不一定限於這態樣。舉例而言，本機記憶體8可以包括SDRAM。在任何情況下，外部記憶體14和本機記憶體8僅是示例性的，並且可以組合成相同的記憶體部分，或者可以用任何數量的其他配置來實現。
設備2亦可以包括發射器（未圖示）以將經處理的影像或經編碼的影像序列發送給另一設備。實際上，本案內容的技術可以在包括數位相機功能或數位視訊能力的手持無線通訊設備（諸如智慧型電話）中使用。在這種情況下，設備亦將包括調制器-解調器（MODEM）以促進基頻訊號到載波波形上的無線調制以便促進經調制的資訊的無線傳送。
本機記憶體8、顯示器16和外部記憶體14（以及其他部件，若需要的話）可以經由通訊匯流排15耦合。在設備2中亦可以包括多個其他部件，但是為了簡單和易於說明，在圖1中沒有具體示出。在圖1中所示的架構僅是示例性的，因為本文描述的技術可以用各種其他架構來實現。
圖2A-2D是示出影像擷取裝置（諸如智慧型電話）的實例的方塊圖。每個影像擷取裝置皆被圖示為具有顯示器和前置相機感測器。在該背景下，前置相機感測器是在典型操作中面向影像擷取裝置的使用者的相機感測器。例如，前置相機感測器通常與主顯示器位於設備的同一側。每個前置相機感測器可以是相機模組的一部分，諸如相機模組12。例如，在圖2A中，影像擷取裝置200包括顯示器202、相機感測器204和按鈕206。按鈕206可以用於多種用途，諸如喚醒影像擷取裝置200、改變在顯示器202上顯示的內容等。可以看出，按鈕206和相機感測器204佔用影像擷取裝置200的前面的空間。經由將相機感測器204和按鈕206設立在影像擷取裝置200的前面，較少的區域可用於顯示器202。
另一態樣，在圖2B的實例中，影像擷取裝置210在前面沒有按鈕。在這種情況下，按鈕可以位於側面，或者按鈕的功能可以被包括在顯示器212中（例如，經由觸摸顯示介面）。影像擷取裝置210被圖示為具有相機感測器214和凹口216。凹口216可以是在組裝影像擷取裝置210之前從顯示器移除的區域。在該實例中，凹口216所覆蓋的區域因此不是顯示器212的一部分，並且不顯示內容。可以採用凹口216，以便增加影像擷取裝置210的正面的被顯示器212佔用的比率（當與圖2A的影像擷取裝置200相比時）。
在圖2C的實例中，影像擷取裝置220具有顯示器222和彈出式相機226。相機感測器224可以被包含在彈出式相機226中。在影像擷取裝置220的實例中，整個顯示器222可以顯示內容，並且不存在（諸如在圖2B的影像擷取裝置210中的）凹口。
在圖2D的實例中，影像擷取裝置230具有顯示器232和相機感測器234。在一些實例中，影像擷取裝置230可以具有一個以上的相機感測器。例如，影像擷取裝置230可以具有相機感測器234和相機感測器238。在一些實例中，相機感測器234和相機感測器238可以是固定光圈相機感測器。影像擷取裝置230可以包括或者可以是設備2的實例，並且顯示器232可以是顯示器16的實例。在圖2D的影像擷取裝置230的實例，與圖2A-2C的實例不同，相機感測器234和相機感測器238被佈置在顯示器232之下。在一些實例中，相機感測器234或相機感測器238的一部分而非全部可以被佈置在顯示器232之下。顯示器232可以包括透明層。將關於圖5、7和9進一步論述顯示器232的區域232A、顯示器232的區域232B和顯示器232的區域232C。儘管本案內容的技術整體上是參考具有被佈置在顯示器之下的相機感測器的影像擷取裝置（諸如影像擷取裝置230）來描述的，但是本案內容的技術可以與其他影像擷取裝置（諸如影像擷取裝置200、210和220或具有被部分地佈置在顯示器下方的相機感測器的影像擷取裝置）一起使用。
現在參考圖2A-2D之每一者圖，影像擷取裝置200具有與影像擷取裝置210、220和230相比更大的形狀因數，但是具有與影像擷取裝置220的顯示器222和影像擷取裝置230的顯示器232相同尺寸的顯示器202，以及具有與影像擷取裝置210的顯示器212（由於凹口216）相比稍大的顯示器202。影像擷取裝置210具有與影像擷取裝置220和230相同尺寸的形狀因數，但是由於凹口216，其在顯示器212上具有較少的可用顯示空間。此外，凹口216可能分散一些使用者的注意力。影像擷取裝置220具有與影像擷取裝置230相同的形狀因數和可用顯示尺寸，然而影像擷取裝置220在彈出式相機226中具有可移動部件。這些可移動部件可能因重複使用或因使用者將影像擷取裝置220掉到硬表面上而損壞或卡住。因此，可能期望將相機感測器設立在顯示器下文，因為將相機感測器設立在顯示器下方可以最大化顯示空間，同時避免凹口和移動機械部件。
另外，在圖2D的影像擷取裝置230的情況下，相機感測器234可以位於顯示器232下文的任何位置。在該實例中，相機感測器被示為位於顯示器232的中間。與影像擷取裝置200、影像擷取裝置210和影像擷取裝置220中的前置相機感測器的位置相比，此類位置可能是期望的。例如，嘗試拍攝 「自拍」的使用者可以著眼於在影像擷取裝置的顯示器上的自己的即時影像。相機感測器距使用者眼睛指向的位置越遠，將擷取的影像越有可能圖示遠離相機感測器的眼睛注視。這種眼睛注視現象可能導致在美學上不具吸引力的影像，其中使用者的注視看起來在可能期望他們看向的位置之下（或上方）（例如，不是朝向影像的觀看者的眼睛，而是從影像的觀看者的眼睛向下（或向上），諸如在影像的觀看者的頭部下方或之上）。
圖3是如圖2D所示的影像擷取裝置230的實例的分解側視圖的方塊圖。為了簡單起見，在圖3或其餘圖中未圖示相機感測器238，並且其可以類似於本文描述的相機感測器234執行。在圖3的實例中，影像擷取裝置230包括顯示器232、相機感測器（CS）234和殼體236。殼體236可以包括電子電路板、處理器、記憶體、電池、射頻電路、天線和其他部件。如圖所示，顯示器232被佈置在相機感測器234上方，並且相機感測器234被佈置在顯示器232之下或下文。在該實例中，如圖2D所示，相機感測器234是前置相機。相機感測器234被配置為經由擷取穿過顯示器232的環境光來擷取影像。亦即，相機感測器234可以接收在入射到相機感測器234之前穿過顯示器232的至少一部分的環境光。如本文所使用的，相機感測器位於顯示器下方、之下或下文或顯示器位於相機感測器之上意欲描述相機感測器被配置和被設立為使得經由擷取穿過顯示器（例如，顯示器232）或穿過顯示器的至少一部分的環境光來擷取影像。當顯示內容時，顯示器232可以朝向使用者發射光，並且通常遠離相機感測器234。相機感測器234可以在顯示器232主動地顯示內容的同時或時候主動地擷取影像。換句話說，當顯示器232可以向使用者發射光的同時，相機感測器234可以接收穿過顯示器232的至少一部分的環境光。
圖4A和4B是可以根據本案內容的技術使用的實例OLED顯示器的簡化圖。儘管圖4A和4B的顯示器被圖示為OLED顯示器，但是本案內容的技術可以與被配置為允許光穿過顯示器到達在顯示器下文的相機感測器的任何顯示器一起使用，諸如LCD、LED、AMOLED或其他顯示器。在圖4A和4B中，儘管實例OLED顯示器被圖示為具有三層，但是OLED顯示器可以由更多層組成。
在圖4A的實例中，OLED顯示器250包括陰極層252、有機發光材料層254和陽極層256。例如，當電流經由有機發光材料層254在陰極層252和陽極層256之間流動時，OLED顯示器250可以發射光，從而使影像出現在OLED顯示器250上。以這種方式，有機發光材料層254可以經由陰極層252朝向使用者發射光。在一些實例中，相機感測器234可以在有機發光材料層254可以發射光的同時接收環境光。在圖4A的實例中，環境光可以照射陰極層252的面。該環境光的一部分可以穿過陰極層252、有機發光材料層254和陽極層256。在該實例中，陰極層252和陽極層256可以不是透明的。此外，有機發光材料層254可以具有RGB、RGBW、WRGB（其中W為白色）、RGBG或其他子圖元，其可以阻擋、衰減或扭曲穿過有機發光材料層254的環境光。因此，穿過OLED顯示器250的環境光量可以相對小（被示為透射光）。因此，在OLED顯示器250下文接收透射光的相機感測器234可以不接收由細箭頭表示的很多透射光。這可能導致由相機感測器擷取的差影像品質的影像。
在圖4B的實例中，OLED顯示器260包括透明陰極層262、有機發光材料層264和透明陽極層266。如圖4A的實例中所示，當電流經由有機發光材料層264在透明陰極層262和透明陽極層266之間流動時，OLED顯示器260可以發射光，從而使影像出現在OLED顯示器260上。以這種方式，有機發光材料層264可以經由透明陰極層262朝向使用者發射光。在圖4B的實例中，由於透明陰極層262和透明陽極層266兩者皆是透明的，所以更多的環境光可以經由OLED顯示器260透射到相機感測器234。相機感測器234可以接收在入射到相機感測器234之前穿過OLED顯示器260的至少一部分的環境光（被示為透射光，如粗箭頭表示）。在一些實例中，相機感測器234可以在有機發光材料層264可以發射光的同時接收環境光。在圖4B的實例中，與圖4A的實例中一樣，有機發光材料層264可以包含RGB、RGBW或WRGB子圖元，其可以阻擋、衰減或扭曲穿過有機發光材料層264的環境光。整體而言，例如由於透明陰極層262和透明陽極層266是透明的，因此圖4B的實例中的衰減或扭曲可以小於圖4A。
圖5A-5C是圖示根據本案內容的技術的顯示器中的子圖元的實例佈局的概念圖。如前述，子圖元是圖元的元素，諸如RGB圖元的紅色、藍色或綠色元素。儘管圖5A-5C的實例圖示RGB子圖元，但是顯示器可以包含RGBW、WRGB或另一子圖元佈局。在圖5A的實例中，佈局276包括三列藍色（B）子圖元，如圖所示。在每一列藍色子圖元之間是一列交替的綠色（G）和紅色（R）子圖元。在子圖元之間存在空間277。在圖5B的實例中，佈局278包括兩列綠色（G）子圖元，如圖所示。在綠色子圖元列的兩側是一列交替的藍色（B）和紅色（R）子圖元。在子圖元之間存在空間279。在圖5C的實例中，佈局280包括多行圓形子圖元。該等子圖元之每一者子圖元可以是綠色（G）子圖元。在各行綠色子圖元之間是菱形形狀的交替的紅色（R）子圖元和藍色（B）子圖元。在子圖元之間是空間281。圖5A-5C僅是在顯示器中潛在的子圖元佈局的幾個實例。子圖元的形狀、尺寸和位置取決於顯示器的製造商的設計選擇。因此，子圖元的佈局可能因製造商或顯示器類型而異。可以從顯示器的製造商得到與子圖元的佈局（例如，形狀、尺寸和位置）有關的資訊。
當相機感測器（諸如相機感測器234）位於顯示器（諸如顯示器232）下文時，相機感測器234可以經由子圖元之間的空間（例如，空間277、空間279或空間281）接收環境光。例如，一或多個相機感測器可以被佈置在顯示器層的至少一部分之下或底下，使得光在被一或多個感測器接收之前穿過顯示器層。儘管光在被一或多個相機感測器（諸如相機感測器234）接收之前可以穿過顯示器層，但是子圖元可能遮擋相機感測器234的部分，並且可能在所擷取的影像中導致諸如霧度、眩光及/或偏色之類的問題。
圖6是可以實現本案內容的技術的實例影像擷取裝置的方塊圖。影像擷取裝置102可以是圖1的設備2的實例。舉例而言，影像擷取裝置102可以包括無線行動通訊設備，諸如蜂巢式電話或衛星無線電電話、智慧型電話、獨立數位相機或攝像機、個人數位助理（PDA）、平板電腦、膝上型電腦、或在其中影像處理是期望的具有成像或視訊能力的任何設備。
影像擷取裝置102可以包括一或多個處理器110、相機感測器112、影像訊號處理器106、記憶體114、顯示器116、通訊電路118、環境光感測器122、觸摸感測器124、3D深度感測器126和顯示驅動器132。相機感測器112可以是固定光圈相機感測器。顯示器116可以包括位於相機感測器112之上的區域120（其可以是圖2D的區域232B或區域232C的實例），使得相機感測器112經由區域120接收光。在一些實例中，影像訊號處理器106可以是一或多個處理器110中的一者。在一些實例中，影像訊號處理器106可以是一或多個處理器110中的一個以上的處理器。在一些實例中，如所圖示的，影像訊號處理器106可以與一或多個處理器110分離。在一些實例中，一或多個處理器110可以包括有效光圈產生器134（EAG）。
記憶體114可以包括影像擷取應用104、深度圖128和查閱資料表130。影像擷取應用104可以是由使用者用來打開影像擷取裝置102的相機功能的應用。在一些實例中，影像擷取應用104可以包括可以由一或多個處理器110及/或影像訊號處理器106執行以使得使用者能夠選擇效果（諸如散景、軟焦點、人像）或者使得使用者能夠選擇有效光圈的指令。在一些實例中，影像擷取應用可以包括可由一或多個處理器110及/或影像訊號處理器106執行以自動地選擇有效光圈並且應用遮罩以經由例如顯示處理器（其可以是一或多個處理器110中的一或多個處理器）實現有效光圈的指令。記憶體114亦可以被配置為儲存與由相機感測器112擷取的影像相關的圖元值。記憶體114可以將用於使得一或多個處理器110及/或影像訊號處理器106執行本案內容的技術的指令作為影像擷取應用104的一部分儲存，與影像擷取應用104分開儲存，或者作為影像擷取應用104和與影像擷取應用104分開的組合進行儲存。
在一些實例，一或多個處理器110可以使用深度圖128來決定期望的聚焦深度或視野深度。例如，一或多個處理器110可以追蹤主要對象，並且基於來自深度圖128的主要對象的位置來決定聚焦深度或視野深度。替代地或補充地，一或多個處理器110可以使用3D深度感測器126來決定期望的聚焦深度或視野深度。
在一些實例中，一或多個處理器110可以使用查閱資料表130來獲得有效光圈的一或多個參數。例如，查閱資料表130可以儲存不同的環境光水平和用於有效光圈的相應參數，諸如光圈尺寸及/或alpha值。例如，查閱資料表130可以儲存訊框亮度（例如，由相機感測器擷取的訊框中的光強度）和目標亮度（例如，由影像訊號處理器106的AEC程序或模組決定的光強度）之間的差以及用於有效光圈的相應參數。在一些實例中，查閱資料表130可以是儲存有效光圈的直徑和相關聯的曝光資訊的曝光/直徑表。
當被啟動時，相機感測器112可以擷取影像的圖元值。例如，當一或多個處理器110正在執行影像擷取應用104時，相機感測器112可以擷取圖元值。影像訊號處理器106可以處理由相機感測器112擷取的圖元值。
一或多個處理器110可以從影像訊號處理器106獲得圖元值，並且可以將圖元值提供給記憶體114以供儲存，提供給通訊電路118以供傳輸到另一設備，或提供給顯示器116以供向使用者顯示。當相機關閉時（例如，當一或多個處理器110不執行影像擷取應用104時），一或多個處理器110例如可以從記憶體114獲得圖元值，並且將圖元值提供給顯示器116以供顯示。
在一些實例中，根據本案內容的技術，影像擷取裝置102包括記憶體114和耦合到記憶體114和相機感測器112的一或多個處理器110。相機感測器112可以被佈置為經由顯示器116的至少一部分（例如，區域120）接收光。一或多個處理器110可以被配置為決定用於相機感測器112的有效光圈，基於有效光圈來決定遮罩，將遮罩應用於在顯示器116的至少一部分（例如，區域120）中的一或多個圖元，並且使用相機感測器112來擷取影像。例如，遮罩可以是軟體層，其可以與由顯示驅動器132顯示的內容混合，以在相機感測器112之上的區域120中實現有效光圈。
環境照度（例如，環境光）對於顯示器下相機感測器（諸如相機感測器112）可能是重要的，因為環境照度可能影響影像擷取裝置102中的自動曝光控制、自動聚焦和自動白平衡。例如，在黑暗、低勒克斯環境中，由較小的固定光圈相機感測器擷取的影像可能相對差，而在明亮、高勒克斯環境中利用適當的影像處理所擷取的影像可能在美學上是可接受的。然而，在黑暗、低勒克斯環境中，利用適當的影像處理，由較大的固定光圈相機感測器擷取的影像在美學上是可接受的，而在明亮、高勒克斯環境中擷取的影像可能褪色。因此，可能期望決定並且實現可以用於提高品質並且將諸如散景、軟焦點、人像之類的效果應用於由顯示器下相機感測器擷取的影像的可適配的有效光圈。
根據本案內容的技術，影像擷取裝置102可以在相機感測器112上方的區域120中顯示可適配數量的黑色圖元。如本文所使用的，「黑色圖元」包括具有灰階0、alpha值0、空白圖元或未被定址的圖元的圖元。經由在相機感測器112上方的區域120中顯示可適配數量的黑色圖元，可以控制區域120中的顯示器116的透射率，並且由此有利於影像擷取裝置102的自動曝光控制、自動聚焦和自動白平衡（其可以是影像訊號處理器106的一部分）。這種可適配數量的黑色圖元實際上可以形成光圈的「數位快門葉片」，以經由改變在相機感測器112上方的區域120中的黑色圖元的區域的尺寸來調整有效光圈，從而改變到達相機感測器112的光量。
根據本案內容的技術，影像擷取裝置102可以將可適配的alpha值應用於在相機感測器112上方的區域120中的圖元。經由在相機感測器112上方的區域120中顯示具有可適配的alpha值的圖元，可以控制顯示器116在區域120中的透射率，並且由此有利於影像擷取裝置102的自動曝光控制、自動聚焦和自動白平衡（其可以是影像訊號處理器106的一部分）。在相機感測器112上方的區域120中的圖元的這些可適配的alpha值實際上可以形成光圈的「數位葉片」，以經由改變在相機感測器112上方的區域120的透射率來調整有效光圈，從而改變到達相機感測器112的光量。
在一些實例中，根據本案內容的技術，影像擷取裝置102可以將可適配的alpha值應用於在相機感測器112上方的區域120中的可適配數量的圖元。經由在相機感測器112上方的區域120中以可適配的alpha值顯示可適配數量的圖元，可以控制區域120中的顯示器116的透射率。
例如，當相機開啟時（例如，當一或多個處理器110正在執行影像擷取應用104時），一或多個處理器110可以決定環境光水平。例如，一或多個處理器可以查詢環境光感測器122以決定環境光水平。環境光感測器122可以被配置為感測環境光水平。一或多個處理器110可以在查閱資料表130中檢視環境光水平，或者將公式應用於環境光水平以決定有效光圈。在一些實例中，一或多個處理器110可以決定訊框亮度，決定目標亮度以及決定訊框亮度和目標亮度之間的差。在此類實例中，一或多個處理器110可以在查閱資料表130中檢視訊框亮度和目標亮度之間的差，或者將公式應用於訊框亮度和目標亮度之間的差以決定有效光圈。
在一些實例中，使用者可以選擇可能影響有效光圈的效果模式，諸如散景模式、軟焦點模式或人像模式。例如，當啟動影像擷取應用104時，可以顯示圖示，該圖示可以例如經由觸摸感測器124在可用於使用者選擇的不同效果模式之間切換。當使用者輕擊圖示時，觸摸感測器124可以向一或多個處理器110發送訊號，並且至少部分地基於該訊號，一或多個處理器110可以決定效果模式。例如，當使用者選擇散景模式時，一或多個處理器110（及/或影像訊號處理器106）可以將有效光圈放大到超出有效光圈否則可以作為的值。這種較大的有效光圈可以使得相機感測器擷取此類影像：在背景中的項目具有更模糊呈現以及在前景中的清晰項目。
在一些實例中，一或多個處理器可以對由相機感測器112擷取的影像執行場景分析，並且可以基於場景分析選擇有效光圈。例如，若影像的物件的正面照明良好但背景是暗的，則一或多個處理器可以選擇與在整個場景是暗的或整個場景照明良好時不同的有效光圈。
在一些實例中，一或多個處理器110可以至少部分地基於閃光燈是處於自動模式、被設置為開啟還是被設置為關閉來決定有效光圈。例如，若閃光燈是關閉的，則一或多個處理器110可以決定有效光圈應當大於在閃光燈開啟或被設置為自動時的情況。在一些實例中，一或多個處理器可以進一步基於其他感測器訊號（諸如相機感測器訊號、深度感測器訊號等）來決定有效光圈。
在一些實例中，影像擷取裝置102可以可選地轉換或漸顯及/或漸隱區域120中的有效光圈，以提供更美觀的視覺效果。例如，當影像擷取應用104被啟動時，影像擷取裝置102可以將在相機感測器112上方的區域120中的實現有效光圈的圖元進行漸顯。換句話說，影像擷取裝置102可以在一段時間內將在相機感測器112上方的區域120中的圖元alpha值及/或圖元數量從現有值轉換為實現有效光圈的值。
圖7是根據本案內容的技術的實例影像擷取裝置的功能方塊圖。根據本案內容的技術，具有被佈置在顯示器306下方的固定光圈相機感測器304的影像擷取裝置102可以決定並且應用有效光圈以實現針對給定場景的目標亮度及/或目標焦距。
例如，設備310（其可以是影像擷取裝置102的一部分，並且可以包括相機模組（例如，圖1的相機模組12）、影像訊號處理器（例如，圖1的影像訊號處理器6）、環境光感測器（例如，圖6的環境光感測器122）及/或其他各種感測器）可以決定要用於決定有效光圈的參數。例如，設備310可以決定環境光水平、訊框亮度、目標亮度、閃光燈是開啟、關閉還是被設置為自動、使用者是否選擇了效果模式等。設備310可以向有效光圈產生器134發送這些輸入參數312以用於遮罩產生。在一些實例中，有效光圈產生器134可以是圖6的一或多個處理器110中的一或多個處理器。有效光圈產生器134可以基於輸入參數來決定用於有效光圈的有效光圈尺寸及/或alpha水平。例如，有效光圈產生器134可以決定要在遮罩中使用以實現有效光圈的圖元的光圈直徑、半徑、圖元數量、或面積或尺寸的其他度量、或其位置。補充地或替代地，有效光圈產生器134可以決定要在遮罩中使用以實現有效光圈的圖元的alpha值。
例如，有效光圈產生器134可以以具有距離單位（諸如毫米）的直徑來決定有效光圈。例如，有效光圈產生器134可以將透鏡的焦距（例如，以mm為單位）除以f值（亦被稱為光圈級數）。例如，有效光圈產生器134可以使用以下公式來決定有效光圈： D=F/N 其中D是有效光圈的直徑，F是焦距，並且N是f值。
在一些實例中，基於訊框亮度（例如，訊框中的光強度），可以經由開發針對不同的訊框亮度的曝光/直徑表（其可以是圖6的查閱資料表130的實例）來調諧有效光圈的直徑D。在一些實例中，該曝光/直徑表可以在實驗室經由實驗而產生。在一些實例中，該曝光/直徑表可以在操作期間由有效光圈產生器134產生。在一些實例中，曝光/直徑表可以在操作期間基於使用者輸入（諸如使用者刪除、非刪除或影像操縱）來產生。
例如，對於由相機感測器304擷取的任何特定場景，AEC程序20、AWB程序22及/或AF程序24（圖1）可以決定可以被包括在輸入參數312中的訊框亮度。此外，AEC程序20可以決定亦可以被包括在輸入參數312中的目標亮度。有效光圈產生器134可以使用曝光/直徑表或公式來決定有效光圈D。例如，有效光圈產生器134可以在（圖6的）查閱資料表130中檢視在訊框亮度和目標亮度之間的差，以決定要在遮罩中使用的有效光圈的一或多個特性。在其他實例中，有效光圈產生器134可以應用公式以決定要在遮罩中使用的有效光圈的一或多個特性。在一些實例中，針對每個相機感測器可以存在單獨的曝光/直徑表，並且可以針對每個相機感測器單獨地調諧。
遮罩層可以是例如要由影像擷取裝置102添加到顯示器的軟體定義的層。遮罩可以被應用於在相機感測器之上的區域，以便調整有效光圈。在一些實例中，遮罩可以在相機感測器之上形成「數位快門葉片」，以調整有效光圈。
在另一實例中，有效光圈產生器134可以經由使用人工智慧及/或3D深度感測器126（圖6）及/或深度圖128（圖6）追蹤場景中的主要對象來決定期望的聚焦深度或視野深度。
有效光圈產生器134可以決定要實現期望的聚焦深度或視野深度的有效光圈D。所決定的有效光圈D可以被發送給顯示驅動器132，以使在相機感測器之上僅D尺寸的顯示圖元/區域是透明的。補充地或替代地，有效光圈產生器134可以決定用於要在遮罩324中使用以實現有效光圈的圖元的alpha值。例如，有效光圈產生器134可以向顯示驅動器132（其可以是圖6的一或多個處理器110中的一或多個處理器）發送具有alpha值及/或尺寸資訊322（諸如有效光圈的半徑或直徑）的遮罩324。
在一些實例中，有效光圈產生器134可以使用來自以下文件的以下公式來決定期望的有效光圈D：Greenleaf，Allen R.，Photographic Optics，The MacMillan Company，New York，1950，第25-27頁。
超焦距
Figure 02_image001
可接受清晰度的近距離
Figure 02_image003
可接受清晰度的遠距離
Figure 02_image005
其中 H是以mm為單位的超焦距， f是以mm為單位的鏡頭焦距， s是焦距， Dn是可接受清晰度的近距離， Df是可接受清晰度的遠距離， N是f值，並且C是以mm為單位的散光圈。散光圈是由沒有進入完全聚焦的光線錐造成的點。f值經由定義N=2i/2來計算，其中對於f/1.4、f/2、f/2.8，I =1、2、3、……。為了獲得期望的視野深度D，有效光圈產生器134可以基於上述公式來計算期望的有效光圈。
許多螢幕製造商正在嘗試涉及用於顯示器下相機特徵的透明OLED顯示面板，目的在於實現無邊框的顯示螢幕幕。目前，對於一些智慧型電話，可以經由軟體來配置顯示缺口區域（可以與要顯示的內容分開定址或不分開定址的區域）。例如，可以使用Android框架和SurfaceFlinger。顯示缺口維度可以經由以下方式來配置：https://source.android.com/devices/tech/display/display-cutouts。缺口遮罩層圖元可以僅具有alpha分量，對於透明OLED面板，經由該分量，缺口透明度可以從0x00（完全透明和黑色）調整到0xFF（完全不透明和白色）。
有效光圈產生器134可以動態地啟用和禁用該遮罩層。以這種方式，在顯示器下相機感測器未處於使用時或在顯示器下相機感測器未主動地擷取影像資料的消隱期間，顯示器306可以在缺口區域中顯示正常螢幕內容。
應當注意，本案內容的可變光圈技術可以取決於螢幕硬體的透明度以及由顯示圖元實現的不透明度。例如，OLED面板可以實現較高的透明度，但是LCD面板可以更好地實現用於在光圈直徑之外的區域的不透明圖元，這是因為它們基於調制入射光（背光）的原理工作。
顯示驅動器132可以將遮罩（例如，用於在相機感測器之上的區域內的圖元的圖元值）與否則將顯示的圖元值混合。顯示驅動器132可以將經混合的顯示內容與遮罩一起發送給顯示器306以供顯示。例如，經混合的顯示內容可以經由例如改變圖元值或不定址在相機感測器304的至少一部分之上的圖元值否則將來自的圖元，從而在相機感測器304的至少一部分之上實現有效光圈。關於圖8A-8C和圖9A-9C更詳細地示出並且描述了有效光圈的不同實例。
圖8A-8C是示出根據本案內容的技術的顯示器的在顯示器下相機感測器之上的區域中的不同實例有效光圈的概念圖。圖8A圖示了包括相對大的有效光圈404的影像擷取裝置402（其可以是影像擷取裝置102的實例）的實例。在該實例中，經由將在相機感測器上方的區域（例如，圖6的在相機感測器112上方的區域120）中相對大量的圖元分配為黑色或未被定址圖元來實現有效光圈。這增加了可以到達相機感測器112的光量，從而有效地擴大了相機感測器112的光圈。儘管有效光圈404在形狀上被示為圓形，但是有效光圈404可以是任何形狀，並且在有效光圈404中包括的圖元不需要是連續的。例如，在相機感測器112之上的一行圖元可以是黑色的，之後跟隨著不是黑色的一行，之後跟隨著黑色的另一行。在一些實例中，有效光圈404可以用於低光環境。在一些實例中，當使用者選擇效果模式（諸如散景模式）時，有效光圈404可以在相對明亮的光環境中使用。
圖8B圖示了包括相對中等有效光圈414的影像擷取裝置412的實例（其可以是影像擷取裝置102的實例）。在該實例中，經由將在相機感測器上方的區域（例如，圖6的在相機感測器112上方的區域120）中相對中等數量的圖元分配為黑色或未被定址圖元來實現有效光圈。與有效光圈404相比，這減少了可以到達相機感測器112的光量，從而有效地減小了相機感測器112的光圈。儘管有效光圈414在形狀上被示為圓形，但是有效光圈414可以是任何形狀，並且在有效光圈414中包括的圖元不需要是連續的。在一些實例中，有效光圈414可以在相對正常或平均光環境中使用。在一些實例中，當使用者選擇效果模式（諸如散景模式）時，有效光圈414可以在相對明亮的光環境中使用。
圖8C圖示了包括相對小的有效光圈424的影像擷取裝置422的實例（其可以是影像擷取裝置102的實例）。在該實例中，經由將在相機感測器上方的區域（例如，圖6的在相機感測器112上方的區域120）中相對少數量的圖元分配為黑色或未被定址圖元來實現有效光圈。與有效光圈404和有效光圈414相比，這減少了可以到達相機感測器112的光量，從而進一步有效地減小了相機感測器112的光圈。儘管有效光圈424在形狀上被示為圓形，但是有效光圈424可以是任何形狀，並且在有效光圈424中包括的圖元不需要是連續的。在一些實例中，有效光圈424可以在相對明亮的光環境中使用。在一些實例中，當使用者選擇特定效果模式時，有效光圈424可以在相對較低或平均光環境中使用。
圖9A-9C是示出根據本案內容的技術的顯示器的在顯示器下相機感測器之上的區域中的有效光圈的進一步實例的概念圖。圖9A圖示了包括相對暗（例如，黑色）的有效光圈504的影像擷取裝置502（其可以是影像擷取裝置102的實例）的實例。在該實例中，經由向在相機感測器上方的區域（例如，圖6的在相機感測器112上方的區域120）中的多個圖元分配相對暗的alpha值（或多個alpha值）來實現有效光圈。這增加了可以到達相機感測器112的光量，從而有效地擴大了相機感測器112的光圈。儘管有效光圈504在形狀上被示為圓形，但是有效光圈504可以是任何形狀，並且在有效光圈504中包括的圖元不需要是連續的。例如，在相機感測器112之上的一行圖元可以是相對暗的，之後跟隨著不暗的一行，之後跟隨著相對暗的另一行。在一些實例中，有效光圈504可以在低光環境中使用。在一些實例中，當使用者選擇效果模式（諸如散景模式）時，有效光圈504可以在相對較明亮的光環境中使用。
圖9B圖示了包括相對中等有效光圈514的影像擷取裝置512（其可以是影像擷取裝置102的實例）的實例。在該實例中，經由將相對中等的alpha值（或多個alpha值）（例如，至少一個alpha值高於有效光圈504的至少一個alpha值）分配給在相機感測器上方的區域（例如，圖6的在相機感測器112上方的區域120）中的多個圖元來實現有效光圈。與有效光圈504相比，這減少了可以到達相機感測器112的光量，從而有效地減小了相機感測器112的光圈。儘管有效光圈514在形狀上被示為圓形，但是有效光圈514可以是任何形狀，並且在有效光圈514中包括的圖元不需要是連續的。在一些實例中，有效光圈514可以在相對正常或平均光環境中使用。在一些實例中，當使用者選擇效果模式（諸如散景模式）時，有效光圈514可以在相對較明亮的光環境中使用。
圖9C圖示了包括相對小的有效光圈524的影像擷取裝置522（其可以是影像擷取裝置102的實例）的實例。在該實例中，經由將相對明亮的alpha值（或多個alpha值）（例如，至少一個alpha值高於有效光圈504的至少一個alpha值和有效光圈514的至少一個alpha值）分配給在相機感測器上方的區域（例如，圖6的在相機感測器112上方的區域120）中的圖元來實現有效光圈。與有效光圈504和有效光圈514相比，這減少了可以到達相機感測器112的光量，從而進一步有效地減小了相機感測器112的光圈。儘管有效光圈524在形狀上被示為圓形，但是有效光圈524可以是任何形狀，並且在有效光圈524中包括的圖元不需要是連續的。在一些實例中，有效光圈524可以在相對明亮的光環境中使用。在一些實例中，當使用者選擇特定效果模式時，有效光圈524可以在相對較低或平均光環境中使用。
圖10是示出根據本案內容的實例有效光圈技術的流程圖。（圖6的）影像擷取裝置102可以決定用於相機感測器（例如，相機感測器112）的有效光圈（132）。例如，影像擷取裝置102可以決定環境光水平、訊框亮度、目標亮度、閃光燈開啟、關閉亦是被設置為自動、使用者是否選擇了效果模式等，以產生要用於決定有效光圈的參數。影像擷取裝置102可以使用這些參數來決定有效光圈尺寸及/或alpha水平（例如，有效光圈）。影像擷取裝置102可以將遮罩應用於在顯示器的至少一部分中的一或多個圖元，其中遮罩是基於有效光圈的（332）。例如，影像擷取裝置102可以基於有效光圈來產生軟體定義的層，該軟體定義的層可以用於將在相機感測器112之上的區域120中的圖元的圖元值從否則當顯示影像時可以使用的值改變為其他值。影像擷取裝置102可以在顯示驅動器（諸如圖7的顯示驅動器132）處應用遮罩，並且將遮罩與正被提供給顯示驅動器的圖元值（諸如表示正在擷取的影像的圖元值）進行混合。影像擷取裝置102可以使用相機感測器來擷取影像（334）。例如，相機感測器112可以從穿過顯示器的至少一部分的光擷取資料。
在一些實例中，作為應用遮罩的一部分，一或多個處理器110被配置為將為零的alpha值應用於在顯示器的至少一部分（例如，圖6的區域120）中的一或多個圖元，或者不定址在顯示器的至少一部分（例如，區域120）中的一或多個圖元。在一些實例中，有效光圈是第一有效光圈，遮罩是第一遮罩，影像是第一影像，並且一或多個圖元是第一一或多個圖元，並且其中一或多個處理器110亦被配置為決定用於相機感測器的第二有效光圈，基於第二有效光圈來決定第二遮罩，將第二遮罩應用於顯示器的至少一部分中的第二一或多個圖元，並且使用相機感測器來擷取第二影像，其中第二圖元包括與第一一或多個圖元不同的至少一個圖元。
在一些實例中，一或多個處理器110亦被配置為從相機感測器讀出第一影像，其中作為應用第二遮罩的一部分，一或多個處理器110被配置為在讀出第一影像期間應用第二遮罩的至少一部分。在一些實例中，顯示器的至少一部分（例如，區域120）是顯示器的第一部分，並且其中遮罩包括與在顯示器的第二部分（例如，顯示器的不同於區域120的一部分）中的一或多個圖元的alpha值不同的一或多個alpha值。在一些實例中，決定有效光圈是基於相機感測器的焦距和f值的。例如，一或多個處理器110可以將焦距除以f值。在一些實例中，一或多個處理器110基於亮度值來決定有效光圈。在一些實例中，一或多個處理器110基於自動曝光控制模組的輸出來決定有效光圈。
在一些實例中，一或多個處理器110亦被配置為決定視野深度，其中一或多個處理器110被配置為基於視野深度來決定有效光圈。在一些實例中，一或多個處理器110基於深度資料來決定視野深度。例如，一或多個處理器110可以被配置為在追蹤主要物件以獲取深度資料時使用3D深度感測器126、深度圖128等，並且可以在決定視野深度時使用深度資料。在一些實例中，一或多個處理器110基於使用者輸入來決定視野深度以調整視野深度效果。在一些實例中，用於調整視野深度效果的使用者輸入可以包括針對觸摸感測器124的用於選擇散景模式、軟焦點模式、人像模式、正常模式等的使用者輸入。
在一些實例中，相機感測器是第一相機感測器，顯示器的至少一部分是顯示器的第一至少一部分，有效光圈是第一有效光圈，遮罩是第一遮罩，並且影像是第一影像。在一些實例中，一或多個處理器110亦耦合到第二相機感測器（例如，圖2D的相機感測器238），第二相機感測器被佈置為經由顯示器的至少第二部分（例如，圖2D的區域232C）接收光。在一些實例中，一或多個處理器110亦被配置為決定用於第二相機感測器的第二有效光圈。在一些實例中，一或多個處理器110亦被配置為將第二遮罩應用於顯示器的至少第二部分中的一或多個圖元，其中第二遮罩是基於第二有效光圈的。在一些實例中，一或多個處理器110使用第二相機感測器來擷取第二影像。在一些實例中，第一有效光圈與第二有效光圈相同。在其他實例中，第一有效光圈不同於第二有效光圈。在一些實例中，一或多個處理器110亦被配置為融合第一影像和第二影像以建立合成影像。
經由決定有效光圈，基於有效光圈決定遮罩，並且將遮罩應用於顯示器的在相機感測器上方的至少一部分中的一或多個圖元，本案內容的技術可以促進固定光圈相機感測器的焦距的有效改變，並且可以補償由被佈置在相機感測器上方的子圖元電路引起的顯示遮光。這些技術可以改善由顯示器下相機感測器擷取的影像的影像品質，並且可以促進諸如散景模式、軟焦點模式、人像模式、正常模式等的模式的使用。
本案內容包括以下條款。
條款1、一種影像擷取裝置，包括：記憶體；及耦合到該記憶體和相機感測器的一或多個處理器，該相機感測器被佈置為經由顯示器的至少一部分接收光，該一或多個處理器被配置為：決定用於該相機感測器的有效光圈；將遮罩應用於該顯示器的該至少一部分中的一或多個圖元，其中該遮罩是基於該有效光圈的；及使用該相機感測器來擷取影像。
條款2、根據條款1之影像擷取裝置，其中作為應用該遮罩的一部分，該一或多個處理器被配置為：將為零的alpha值應用於在該顯示器的該至少一部分中的該一或多個圖元，或者不定址在該顯示器的該至少一部分中的該一或多個圖元。
條款3、根據條款2之影像擷取裝置，其中該有效光圈是第一有效光圈，該遮罩是第一遮罩，該影像是第一影像，並且該一或多個圖元是第一一或多個圖元，並且其中該一或多個處理器亦被配置為：決定用於該相機感測器的第二有效光圈；基於該第二有效光圈來決定第二遮罩；將該第二遮罩應用於在該顯示器的該至少一部分中的第二一或多個圖元；及使用該相機感測器來擷取第二影像，其中該第二一或多個圖元包括與該第一一或多個圖元不同的至少一個圖元。
條款4、根據條款3之影像擷取裝置，其中該一或多個處理器亦被配置為：從該相機感測器讀出該第一影像，其中作為應用該第二遮罩的一部分，該一或多個處理器被配置為在該第一影像的該讀出期間應用該第二遮罩的至少一部分。
條款5、根據條款1-4中任一項所述的影像擷取裝置，其中該顯示器的該至少一部分是該顯示器的第一部分，並且其中該遮罩包括與在該顯示器的第二部分中的一或多個圖元的alpha值不同的一或多個alpha值。
條款6、根據條款1-5中任一項所述的影像擷取裝置，其中決定該有效光圈是基於該相機感測器的焦距和f值的。
條款7、根據條款1-6中任一項所述的影像擷取裝置，其中該一或多個處理器基於亮度值來決定該有效光圈。
條款8、根據條款1-7中任一項所述的影像擷取裝置，其中該一或多個處理器基於自動曝光控制模組的輸出來決定該有效光圈。
條款9、根據條款1-8中任一項所述的影像擷取裝置，其中該一或多個處理器亦被配置為：決定視野深度，其中該一或多個處理器被配置為基於該視野深度來決定該有效光圈。
條款10、根據條款9之影像擷取裝置，其中該一或多個處理器基於深度資料來決定該視野深度。
條款11、根據條款9-10中任一項所述的影像擷取裝置，其中該一或多個處理器基於用於調整視野深度效果的使用者輸入來決定該視野深度。
條款12、根據條款1-11中任一項所述的影像擷取裝置，其中該影像擷取裝置是行動電話，其包括：顯示器；及該相機感測器。
條款13、根據條款1-12中任一項所述的影像擷取裝置，其中該相機感測器是第一相機感測器，該顯示器的該至少一部分是該顯示器的第一至少一部分，該有效光圈是第一有效光圈，該遮罩是第一遮罩，並且該影像是第一影像，並且該一或多個處理器亦耦合到第二相機感測器，該第二相機感測器被佈置為經由該顯示器的至少第二部分接收光，並且其中該一或多個處理器亦被配置為：決定用於該第二相機感測器的第二有效光圈；將第二遮罩應用於該顯示器的該至少第二部分中的一或多個圖元，其中該第二遮罩是基於該第二有效光圈的；及使用該第二相機感測器來擷取第二影像。
條款14、根據條款13之影像擷取裝置，其中該第一有效光圈與該第二有效光圈不同，並且其中該一或多個處理器亦被配置為：融合該第一影像和該第二影像以建立合成影像。
條款15、一種方法，包括：決定用於相機感測器的有效光圈，該相機感測器被佈置為經由顯示器的至少一部分接收光；將遮罩應用於在該顯示器的該至少一部分中的一或多個圖元，其中該遮罩是基於該有效光圈的；及使用該相機感測器來擷取影像。
條款16、根據條款15之方法，其中應用該遮罩包括：將為零的alpha值應用於在該顯示器的該至少一部分中的該一或多個圖元，或者不定址在該顯示器的該至少一部分中的該一或多個圖元。
條款17、根據條款16之方法，其中該有效光圈是第一有效光圈，該遮罩是第一遮罩，該影像是第一影像，並且該一或多個圖元是第一一或多個圖元，並且該方法亦包括：決定用於該相機感測器的第二有效光圈；基於該第二有效光圈來決定第二遮罩；將該第二遮罩應用於在該顯示器的該至少一部分中的第二一或多個圖元；及使用該相機感測器來擷取第二影像，其中該第二一或多個圖元包括與該第一一或多個圖元不同的至少一個圖元。
條款18、根據條款17之方法，亦包括：從該相機感測器讀出該第一影像，其中應用該第二遮罩包括：在該第一影像的該讀出期間應用該第二遮罩的至少一部分。
條款19、根據條款15-18中任一項所述的方法，其中該顯示器的該至少一部分是該顯示器的第一部分，並且其中該遮罩包括與該顯示器的第二部分中的一或多個圖元的alpha值不同的一或多個alpha值。
條款20、根據條款15-19中任一項所述的方法，其中決定該有效光圈是基於該相機感測器的焦距和f值的。
條款21、根據條款15-20中任一項所述的方法，其中決定該有效光圈是基於亮度值的。
條款22、根據條款15-21中任一項所述的方法，其中決定該有效光圈是基於自動曝光控制模組的輸出的。
條款23、根據條款15-22中任一項所述的方法，亦包括：決定視野深度，其中該決定該有效光圈是基於該視野深度的。
條款24、根據條款23中任一項所述的方法，其中該決定該視野深度是基於深度資料的。
條款25、根據條款23-24中任一項所述的方法，其中該決定該視野深度是基於用於調整視野深度效果的使用者輸入的。
條款26、根據條款15-25中任一項所述的方法，其中相機感測器是第一相機感測器，該顯示器的該至少一部分是該顯示器的第一至少一部分，該有效光圈是第一有效光圈，該遮罩是第一遮罩，並且該影像是第一影像，並且其中該方法亦包括：決定用於第二相機感測器的第二有效光圈，該第二相機感測器被佈置為經由該顯示器的至少第二部分接收光；將第二遮罩應用於在該顯示器的該至少第二部分中的一或多個圖元，其中該第二遮罩是基於該第二有效光圈的；及使用該第二相機感測器來擷取第二影像。
條款27、根據條款26之方法，亦包括：融合該第一影像和該第二影像以建立合成影像，其中該第一有效光圈與該第二有效光圈不同。
條款28、一種儲存指令的非暫時性電腦可讀取儲存媒體，該等指令在被執行時使得一或多個處理器進行以下操作：決定用於相機感測器的有效光圈，該相機感測器被佈置為經由顯示器的至少一部分接收光；將遮罩應用於該顯示器的該至少一部分中的一或多個圖元，其中該遮罩是基於該有效光圈的；及使用該相機感測器來擷取影像。
條款29、一種影像擷取裝置，包括：用於決定用於相機感測器的有效光圈的單元，該相機感測器被佈置為經由顯示器的至少一部分接收光；用於將遮罩應用於該顯示器的該至少一部分中的一或多個圖元的單元，其中該遮罩是基於該有效光圈的；及用於使用該相機感測器來擷取影像的單元。
在一或多個實例中，所描述的功能可以在硬體、軟體、韌體或其任何組合中實現。若在軟體中實現，則該等功能可以作為一或多個指令或代碼儲存在電腦可讀取媒體上或者經由其進行發送以及由基於硬體的處理單元執行。電腦可讀取媒體可以包括電腦可讀取儲存媒體，其對應於諸如資料儲存媒體的有形媒體或者通訊媒體，該通訊媒體包括例如根據通訊協定來促進電腦程式從一個地方傳送到另一個地方的任何媒體。以此種方式，電腦可讀取媒體通常可以對應於（1）非暫時性的有形電腦可讀取儲存媒體、或者（2）諸如訊號或載波的通訊媒體。資料儲存媒體可以是可以由一或多個電腦或者一或多個處理器存取以取得用於實現在本案內容中描述的技術的指令、代碼及/或資料結構的任何可用的媒體。電腦程式產品可以包括電腦可讀取媒體。
舉例而言而非進行限制，此類電腦可讀取儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存、磁碟儲存或其他磁存放裝置、快閃記憶體、或者能夠用於以指令或資料結構形式儲存期望的程式碼以及能夠由電腦存取的任何其他媒體。此外，任何連接被適當地稱為電腦可讀取媒體。例如，若使用同軸電纜、光纖光纜、雙絞線、數位用戶線路（DSL）或者無線技術（諸如紅外線、無線電和微波）來從網站、伺服器或其他遠端源發送指令，則同軸電纜、光纖光纜、雙絞線、DSL或者無線技術（諸如紅外線、無線電和微波）被包括在媒體的定義中。然而，應當理解的是，電腦可讀取儲存媒體和資料儲存媒體不包括連接、載波、訊號或其他暫時性媒體，而是替代地針對非暫時性的有形儲存媒體。如本文所使用的，磁碟和光碟包括壓縮光碟（CD）、鐳射光碟、光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常磁性地複製資料，而光碟利用鐳射來光學地複製資料。上述各項的組合亦應當被包括在電腦可讀取媒體的範疇之內。
指令可以由一或多個處理器來執行，諸如一或多個數位訊號處理器（DSP）、通用微處理器、特殊應用積體電路（ASIC）、現場可程式設計邏輯陣列（FPGA）、或其他等效的整合或個別邏輯電路。相應地，如本文所使用的術語「處理器」可以代表前述結構中的任何一者或者適於實現本文描述的技術的任何其他結構。此外，該等技術可以充分地在一或多個電路或邏輯部件中實現。
本案內容的技術可以在各種各樣的設備或裝置中實現，包括無線手機、積體電路（IC）或一組IC（例如，晶片組）。在本案內容中描述了各個部件、模組或單元以強調被配置為執行所揭示的技術的設備的功能性態樣，但是不一定需要經由不同的硬體單元來實現。確切而言，如前述，各個單元可以由可交互動操作的硬體單元的集合（包括如前述的一或多個處理器）結合適當的軟體及/或韌體來提供。
已經描述了各個實例。這些和其他實例在以下請求項的範疇內。
2:設備 4:影像處理裝置 6:影像訊號處理器 8:本機記憶體 10:記憶體控制器 12:相機模組 14:外部記憶體 15:通訊匯流排 16:顯示器 20:自動曝光控制（AEC）程序 22:自動白平衡（AWB）程序 24:自動聚焦（AF）程序 28:鏡頭陰影補償（LSC）程序 30:固定圖案雜訊補償（FPNC）程序 102:影像擷取裝置 104:影像擷取應用 106:影像訊號處理器 110:處理器 112:相機感測器 114:記憶體 116:顯示器 118:通訊電路 120:區域 122:環境光感測器 124:觸摸感測器 126:3D深度感測器 128:深度圖 130:查閱資料表 132:顯示驅動器 134:有效光圈產生器 200:影像擷取裝置 202:顯示器 204:相機感測器 206:按鈕 210:影像擷取裝置 212:顯示器 214:相機感測器 216:凹口 220:影像擷取裝置 222:顯示器 224:相機感測器 226:彈出式相機 230:影像擷取裝置 232:顯示器 232A:區域 232B:區域 232C:區域 234:相機感測器 236:殼體 238:相機感測器 250:OLED顯示器 252:陰極層 254:有機發光材料層 256:陽極層 260:OLED顯示器 262:透明陰極層 264:有機發光材料層 266:透明陽極層 276:佈局 277:空間 278:佈局 279:空間 280:佈局 281:空間 304:固定光圈相機感測器 306:顯示器 310:設備 312:輸入參數 322:尺寸資訊 324:遮罩 332:方塊 334:方塊 402:影像擷取裝置 404:有效光圈 412:影像擷取裝置 414:有效光圈 422:影像擷取裝置 424:有效光圈 502:影像擷取裝置 504:有效光圈 512:影像擷取裝置 514:有效光圈 522:影像擷取裝置 524:有效光圈
圖1是被配置為實現本案內容的技術的示例性影像擷取裝置的方塊圖。
圖2A-2D是示出具有前置相機感測器和顯示器的影像擷取裝置的實例的方塊圖。
圖3是示出被配置為實現本案內容的技術的實例影像擷取裝置的分解圖的方塊圖。
圖4A-4B是示出根據本案內容的技術的不同的實例OLED顯示器的特性的方塊圖。
圖5A-5C是示出顯示器中的RGB子圖元的可能的實體佈局的概念圖。
圖6是可以實現本案內容的技術的實例影像擷取裝置的方塊圖。
圖7是根據本案內容的技術的實例影像擷取裝置的功能方塊圖。
圖8A-8C是示出根據本案內容的技術的顯示器的在顯示器下相機感測器之上的區域中的不同實例有效光圈的概念圖。
圖9A-9C是示出根據本案內容的技術的顯示器的在顯示器下相機感測器之上的區域中的有效光圈的另外實例的概念圖。
圖10是示出根據本案內容的實例有效光圈技術的流程圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
102:影像擷取裝置
132:顯示驅動器
134:有效光圈產生器
304:固定光圈相機感測器
306:顯示器
310:設備
312:輸入參數
322:尺寸資訊
324:遮罩
332:方塊

Claims (28)

  1. 一種影像擷取裝置，包括： 記憶體；及 耦合到該記憶體和一相機感測器的一或多個處理器，該相機感測器被佈置為經由一顯示器的至少一部分接收光，該一或多個處理器被配置為： 決定用於該相機感測器的一有效光圈； 將一遮罩應用於在該顯示器的該至少一部分中的一或多個圖元，其中該遮罩是基於該有效光圈的；及 使用該相機感測器來擷取一影像。
  2. 根據請求項1之影像擷取裝置，其中作為應用該遮罩的一部分，該一或多個處理器被配置為：將為零的一alpha值應用於在該顯示器的該至少一部分中的該一或多個圖元，或者不定址在該顯示器的該至少一部分中的該一或多個圖元。
  3. 根據請求項2之影像擷取裝置，其中該有效光圈是一第一有效光圈，該遮罩是一第一遮罩，該影像是一第一影像，並且該一或多個圖元是一第一一或多個圖元，並且其中該一或多個處理器亦被配置為： 決定用於該相機感測器的一第二有效光圈； 基於該第二有效光圈來決定一第二遮罩； 將該第二遮罩應用於在該顯示器的該至少一部分中的一第二一或多個圖元；及 使用該相機感測器來擷取一第二影像，其中該第二一或多個圖元包括與該第一一或多個圖元不同的至少一個圖元。
  4. 根據請求項3之影像擷取裝置，其中該一或多個處理器亦被配置為： 從該相機感測器讀出該第一影像， 其中作為應用該第二遮罩的一部分，該一或多個處理器被配置為在該第一影像的該讀出期間應用該第二遮罩的至少一部分。
  5. 根據請求項1之影像擷取裝置，其中該顯示器的該至少一部分是該顯示器的一第一部分，並且其中該遮罩包括與在該顯示器的一第二部分中的一或多個圖元的一alpha值不同的一或多個alpha值。
  6. 根據請求項1之影像擷取裝置，其中決定該有效光圈是基於該相機感測器的一焦距和一f值的。
  7. 根據請求項1之影像擷取裝置，其中該一或多個處理器基於一亮度值來決定該有效光圈。
  8. 根據請求項1之影像擷取裝置，其中該一或多個處理器基於一自動曝光控制模組的一輸出來決定該有效光圈。
  9. 根據請求項1之影像擷取裝置，其中該一或多個處理器亦被配置為： 決定一視野深度， 其中該一或多個處理器被配置為基於該視野深度來決定該有效光圈。
  10. 根據請求項9之影像擷取裝置，其中該一或多個處理器基於深度資料來決定該視野深度。
  11. 根據請求項9之影像擷取裝置，其中該一或多個處理器基於用於調整一視野深度效果的一使用者輸入來決定該視野深度。
  12. 根據請求項1之影像擷取裝置，其中該影像擷取裝置是一行動電話，其包括： 顯示器；及 該相機感測器。
  13. 根據請求項1之影像擷取裝置，其中該相機感測器是一第一相機感測器，該顯示器的該至少一部分是該顯示器的一第一至少一部分，該有效光圈是一第一有效光圈，該遮罩是一第一遮罩，並且該影像是一第一影像，並且該一或多個處理器亦耦合到一第二相機感測器，該第二相機感測器被佈置為經由該顯示器的至少一第二部分接收光，並且其中該一或多個處理器亦被配置為： 決定用於該第二相機感測器的一第二有效光圈； 將一第二遮罩應用於在該顯示器的該至少一第二部分中的一或多個圖元，其中該第二遮罩是基於該第二有效光圈的；及 使用該第二相機感測器來擷取一第二影像。
  14. 根據請求項13之影像擷取裝置，其中該第一有效光圈與該第二有效光圈不同，並且其中該一或多個處理器亦被配置為： 融合該第一影像和該第二影像以建立一合成影像。
  15. 一種方法，包括以下步骤： 決定用於一相機感測器的一有效光圈，該相機感測器被佈置為經由一顯示器的至少一部分接收光； 將一遮罩應用於在該顯示器的該至少一部分中的一或多個圖元，其中該遮罩是基於該有效光圈的；及 使用該相機感測器來擷取一影像。
  16. 根據請求項15之方法，其中應用該遮罩包括：將為零的一alpha值應用於在該顯示器的該至少一部分中的該一或多個圖元，或者不定址在該顯示器的該至少一部分中的該一或多個圖元。
  17. 根據請求項16之方法，其中該有效光圈是一第一有效光圈，該遮罩是一第一遮罩，該影像是一第一影像，並且該一或多個圖元是一第一一或多個圖元，並且該方法亦包括以下步骤： 決定用於該相機感測器的一第二有效光圈； 基於該第二有效光圈來決定一第二遮罩； 將該第二遮罩應用於在該顯示器的該至少一部分中的一第二一或多個圖元；及 使用該相機感測器來擷取一第二影像，其中該第二一或多個圖元包括與該第一一或多個圖元不同的至少一個圖元。
  18. 根據請求項17之方法，亦包括： 從該相機感測器讀出該第一影像， 其中應用該第二遮罩包括：在該第一影像的該讀出期間應用該第二遮罩的至少一部分。
  19. 根據請求項15之方法，其中該顯示器的該至少一部分是該顯示器的一第一部分，並且其中該遮罩包括與在該顯示器的一第二部分中的一或多個圖元的一alpha值不同的一或多個alpha值。
  20. 根據請求項15之方法，其中決定該有效光圈是基於該相機感測器的一焦距和一f值的。
  21. 根據請求項15之方法，其中決定該有效光圈是基於一亮度值的。
  22. 根據請求項15之方法，其中決定該有效光圈是基於一自動曝光控制模組的一輸出的。
  23. 根據請求項15之方法，亦包括： 決定一視野深度， 其中該決定該有效光圈是基於該視野深度的。
  24. 根據請求項23之方法，其中該決定該視野深度是基於深度資料的。
  25. 根據請求項23之方法，其中該決定該視野深度是基於用於調整一視野深度效果的一使用者輸入的。
  26. 根據請求項15之方法，其中相機感測器是一第一相機感測器，該顯示器的該至少一部分是該顯示器的一第一至少一部分，該有效光圈是一第一有效光圈，該遮罩是一第一遮罩，並且該影像是一第一影像，並且其中該方法亦包括以下步骤： 決定用於一第二相機感測器的一第二有效光圈，該第二相機感測器被佈置為經由該顯示器的至少一第二部分接收光； 將一第二遮罩應用於在該顯示器的該至少第二部分中的一或多個圖元，其中該第二遮罩是基於該第二有效光圈的；及 使用該第二相機感測器來擷取一第二影像。
  27. 根據請求項26之方法，亦包括以下步骤： 融合該第一影像和該第二影像以建立一合成影像，其中該第一有效光圈與該第二有效光圈不同。
  28. 一種儲存指令的非暫時性電腦可讀取儲存媒體，該等指令在被執行時使得一或多個處理器進行以下操作： 決定用於一相機感測器的一有效光圈，該相機感測器被佈置為經由一顯示器的至少一部分接收光； 將一遮罩應用於在該顯示器的該至少一部分中的一或多個圖元，其中該遮罩是基於該有效光圈的；及 使用該相機感測器來擷取一影像。
TW111105423A 2021-02-19 2022-02-15 顯示器下相機系統及方法 TW202241113A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/179,822 US11588978B2 (en) 2021-02-19 2021-02-19 Under-display camera systems and methods
US17/179,822 2021-02-19

Publications (1)

Publication Number Publication Date
TW202241113A true TW202241113A (zh) 2022-10-16

Family

ID=80623514

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111105423A TW202241113A (zh) 2021-02-19 2022-02-15 顯示器下相機系統及方法

Country Status (6)

Country Link
US (1) US11588978B2 (zh)
EP (1) EP4295569A1 (zh)
KR (1) KR20230147615A (zh)
CN (1) CN116918340A (zh)
TW (1) TW202241113A (zh)
WO (1) WO2022177743A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230008943A (ko) * 2021-07-07 2023-01-17 삼성디스플레이 주식회사 광 투과 영역을 포함하는 표시 장치, 및 전자 기기
KR20230023498A (ko) * 2021-08-10 2023-02-17 삼성전자주식회사 언더 디스플레이 카메라를 포함하는 전자 장치 및 그 동작 방법
CN117319812A (zh) * 2022-06-20 2023-12-29 北京小米移动软件有限公司 图像处理方法及装置、移动终端、存储介质
CN117676298A (zh) * 2022-08-11 2024-03-08 北京小米移动软件有限公司 图像处理的方法、装置、电子设备及存储介质
WO2024092413A1 (en) * 2022-10-31 2024-05-10 Qualcomm Incorporated Dynamic, localized screen intensity reduction for under-display ambient light sensor

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7767949B2 (en) 2005-01-18 2010-08-03 Rearden, Llc Apparatus and method for capturing still images and video using coded aperture techniques
US7714923B2 (en) 2006-11-02 2010-05-11 Eastman Kodak Company Integrated display and capture apparatus
US8154582B2 (en) 2007-10-19 2012-04-10 Eastman Kodak Company Display device with capture capabilities
US7844174B2 (en) * 2008-07-31 2010-11-30 Fuji Xerox Co., Ltd. System and method for manual selection of multiple evaluation points for camera control
US8395682B2 (en) * 2011-03-08 2013-03-12 Neal Solomon System and methods for image depth-of-field modulation
US9570019B2 (en) * 2014-03-20 2017-02-14 Dell Products, Lp System and method for coordinating image capture in a camera hidden behind a display device
US9870024B2 (en) * 2015-10-30 2018-01-16 Essential Products, Inc. Camera integrated into a display
US10102789B2 (en) 2015-10-30 2018-10-16 Essential Products, Inc. Mobile device with display overlaid with at least a light sensor
US9754526B2 (en) * 2015-10-30 2017-09-05 Essential Products, Inc. Mobile device with display overlaid with at least a light sensor
US10320962B1 (en) * 2018-04-20 2019-06-11 Zte Corporation Dual screen smartphone and portable devices with a full display screen
US11095762B2 (en) * 2018-10-23 2021-08-17 International Business Machines Corporation Display device with camera embedded beneath screen
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
US11410591B2 (en) * 2019-08-01 2022-08-09 Google Llc Pixel arrangement for multi-resolution display panel
CN110752249B (zh) * 2019-11-20 2022-08-09 京东方科技集团股份有限公司 显示装置及其控制方法，显示面板

Also Published As

Publication number Publication date
WO2022177743A1 (en) 2022-08-25
US20220272246A1 (en) 2022-08-25
KR20230147615A (ko) 2023-10-23
US11588978B2 (en) 2023-02-21
CN116918340A (zh) 2023-10-20
EP4295569A1 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
TW202241113A (zh) 顯示器下相機系統及方法
US11509806B2 (en) Under-display camera synchronization with display pixel operation
CN101582985B (zh) 数码触景技术相机
WO2015025740A1 (ja) 制御装置、制御方法、および電子機器
US20120019688A1 (en) Method for decreasing depth of field of a camera having fixed aperture
WO2021093513A1 (en) Under-display camera systems and methods
EP3313059A1 (en) Electronic device with display-based image compensation and corresponding systems and methods
CN107533275B (zh) 用于成像设备的空间上可调节的闪光
WO2019019904A1 (zh) 白平衡处理方法、装置和终端
US11245852B2 (en) Capturing apparatus for generating two types of images for display from an obtained captured image based on scene luminance and exposure
JP2023529717A (ja) カメラの制御方法、装置及びアンダーディスプレイカメラ構造
EP2410377A1 (en) Method for decreasing depth of field of a camera having fixed aperture
US9736387B2 (en) Irradiation device, irradiation method, and program for switching irradiation regions
WO2021017517A1 (zh) 一种屏下摄像头拍照显示电子装置、方法及计算机可读存储介质
US11935285B1 (en) Real-time synthetic out of focus highlight rendering
JP2023154269A (ja) 撮像装置
JP2017055158A (ja) 撮像装置、撮像制御方法及び撮像制御プログラム
CN114785908A (zh) 电子设备、电子设备的图像获取方法及计算机可读存储介质
TW202143697A (zh) 行動終端、圖像獲取方法及電腦可讀儲存媒介
CN113965688A (zh) 图像传感器、摄像模组、摄像装置及控制方法
KR20220123219A (ko) 더 깊은 피사계 심도를 위한 분할 픽셀 데이터 병합
JP2012109921A (ja) 撮像装置および撮像プログラム
JP2011139159A (ja) 表示制御装置及び表示制御方法
Pfirstinger The Fujifilm X-E2: Beyond the Manual
KR20080060052A (ko) 디지털 카메라의 비네팅 효과 구현 방법