TW202143213A - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
TW202143213A
TW202143213A TW110101049A TW110101049A TW202143213A TW 202143213 A TW202143213 A TW 202143213A TW 110101049 A TW110101049 A TW 110101049A TW 110101049 A TW110101049 A TW 110101049A TW 202143213 A TW202143213 A TW 202143213A
Authority
TW
Taiwan
Prior art keywords
pixel
electronic device
signal processing
photoelectric conversion
unit
Prior art date
Application number
TW110101049A
Other languages
English (en)
Inventor
中田征志
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202143213A publication Critical patent/TW202143213A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K39/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
    • H10K39/30—Devices controlled by radiation
    • H10K39/32—Organic image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/60—OLEDs integrated with inorganic light-sensitive elements, e.g. with inorganic solar cells or inorganic photodiodes
    • H10K59/65—OLEDs integrated with inorganic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Inorganic Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Sustainable Development (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

本發明之電子機器抑制因偽影所致之畫質下降。電子機器具有：顯示部、配置於前述顯示部之與顯示面為相反側之攝像部、及信號處理部。前述攝像部具備複數個晶載透鏡、及複數個像素，前述晶載透鏡具有第1晶載透鏡，前述複數個像素具有第1像素，前述第1像素與第1晶載透鏡重疊地配置，前述第1像素具有複數個光電轉換部。前述信號處理部處理自前述複數個像素輸出之信號。

Description

電子機器
本揭示係關於一種電子機器。
最近之智慧型手機或行動電話、PC(Personal Computer，個人電腦)等之電子機器，於顯示部之框緣(bezel，邊框)搭載相機，而可輕鬆實現TV電話或動畫拍攝。由於智慧型手機或行動電話大多被放入口袋或包內隨身攜帶，因此需要將外形尺寸儘量小型化。另一方面，若顯示畫面之尺寸小，則顯示解析度愈高，所顯示之文字尺寸愈小而不易視認。因此，研究藉由減小位於顯示畫面之周圍之邊框寬度，而可在不增大電子機器之外形尺寸下，儘量增大顯示畫面之尺寸。
然而，由於在電子機器之邊框搭載有相機等的情況居多，因此無法使邊框寬度小於相機之外徑尺寸。又，當在邊框配置相機之情形下，例如在藉由TV電話進行通話時，將視線落於顯示畫面之中央附近的情況居多，因此會獲得視線自相機之光軸偏移之、視線不合之具有不適感之攝影圖像。為了避免上述之問題，提議在顯示部之與顯示面為相反側配置相機模組，藉由相機拍攝通過顯示部之被攝體光。 [先前技術文獻] [專利文獻]
[專利文獻1] 日本特開2013-211413號公報
[發明所欲解決之課題]
然而，通過顯示部之光之一部分產生反射或繞射倂入射至相機，因此受到因反射所致之炫光或繞射之影響，或者受到配置於相機之上部(顯示器之顯示面側)之配線等之影響，而存在攝影圖像之畫質因偽影而下降之問題。
本揭示之一態樣提供一種可抑制因偽影所致之畫質下降之電子機器。 [解決課題之技術手段]
根據一形態，電子機器具有：顯示部、配置於顯示部之與顯示面為相反側之攝像部、及信號處理部。攝像部具備複數個晶載透鏡、及複數個像素，晶載透鏡具有第1晶載透鏡，複數個像素具有第1像素，第1像素與第1晶載透鏡重疊地配置，第1像素具有複數個光電轉換部。信號處理部處理自複數個像素輸出之信號。
第1像素可取得特定色之資訊。例如，各個像素基於藉由拜耳排列等實現之色之配置，取得特定之色資訊。
第1像素可具備色濾光器。
第1像素可具備供屬同一第1像素之各個光電轉換部進行相同色之受光之有機光電轉換膜。如此般，藉由濾光器或有機光電轉換膜可擷取特定之色資訊。
像素可具備m×n(m、n分別係2以上之整數)個光電轉換部。例如，各個像素可具備2×2個光電轉換部、3×3個光電轉換部、4×4個光電轉換部、或者2×3等個光電轉換部。
光電轉換部具備光電轉換元件。
光電轉換元件可為光電二極體。
攝像部可具有藉由拜耳排列而著色之複數個第1像素。
透鏡可為晶載透鏡。又，亦可具備晶載微透鏡。
於顯示部與攝像部之間可具備與透鏡不同之光學系統。
光學系統可為微透鏡陣列。
信號處理部可將屬同一第1像素之光電轉換部之輸出值加算，作為像素之輸出值。
信號處理部當於形成於同一第1像素之光電轉換部中，來自各個光電轉換部之輸出值超過特定差分或特定比率之情形下，可修正第1像素之輸出值。
特定差分或特定比率可基於光電轉換部之個體差、因光電轉換部之位置而產生之相位差、或於光電轉換部中產生之雜訊、中之至少1者而決定。
信號處理部可於第1像素中，使用光電轉換部中之輸出值較低之像素，算出第1像素之輸出值。
信號處理部可使用取得位於第1像素之周邊之相同色之輸出值的第1像素之輸出值，修正第1像素之輸出值。
在包含特定之亮度以上之被攝體之情形下，信號處理部可進行第1像素之修正。
信號處理部可取得根據所取得之信號進行了炫光修正之圖像資料。
信號處理部可判定是否於所拍攝到之圖像內產生炫光。
攝像部可於顯示面中之不同之位置存在複數個，信號處理部可對於屬經判定為產生炫光之區域，基於位於不同之位置之攝像部之對應之像素區域之輸出而進行修正。
信號處理部可對屬經判定為產生炫光之區域之像素，基於已學習模型進行修正。
信號處理部可於所取得之第1像素中，基於屬該第1像素之複數個光電轉換部之輸出之平均值、屬該第1像素之光電轉換部之輸出中之感度較低之值、或將屬該第1像素之複數個光電轉換部之輸出輸入至已學習模型而得之值、之至少1者進行修正。
信號處理部可基於顯示部之電路或光學系統，對第1像素進行使用光電轉換部之修正。
信號處理部當於第1像素中進行基於顯示部之電路或光學系統之修正之情形下，可進行與其他第1像素不同之雜訊去除。
顯示部可設置於器件之兩面。
以下，參照圖式對於電子機器之實施形態進行說明。以下，以電子機器之主要之構成部分為中心進行說明，但於電子機器內可具有未被圖示或未被說明之構成部分或功能。以下之說明並非係將未被圖示或未被說明之構成部分或功能除外者。又，存在為了便於說明而變更尺寸、形狀、縱橫比等者，但該等在安裝中，具有適切之尺寸、形狀、縱橫比等。再者，於以下之說明中，所取得之信號記載為圖像資訊或攝像資訊，但該圖像資訊、攝像資訊為廣義之概念，亦為包含靜止圖像、動畫、或映像中之1訊框之圖像等之概念。又，「更大」「更小」，可分別與「以上」「以下」相互換用。
(第1實施形態) 圖1係第1實施形態之電子機器之示意性之剖視圖。圖1之電子機器1例如係智慧型手機、行動電話、平板、個人電腦等具備顯示功能與攝影功能之任意之器件。電子機器1具備顯示部2、及相機模組3。相機模組3配置於顯示部2之顯示面之背側。亦即，相機模組3經由顯示部2進行拍攝。以下，於實施形態之說明內，有時記載為該相機模組3位於顯示器下方。
圖2係圖1之電子機器1之示意性之外觀圖及其剖視圖。於圖2之例子中，顯示畫面1a擴大至電子機器1之外形尺寸之附近，而可將位於顯示畫面1a之周圍之邊框1b之寬度例如設為數mm以下。通常而言，前置相機搭載於邊框1b居多，如圖2中以虛線所示般，在顯示畫面1a內於背面側配置作為前置相機發揮功能之相機模組3。如此般，藉由將前置相機設置於顯示畫面1a之背面側，而無需在邊框1b配置前置相機，而可縮窄邊框1b之寬度。
再者，於圖2中，係於顯示畫面1a之大致中央附近之背面側配置相機模組3，只要為顯示畫面1a之背面側即可。例如，可於顯示畫面1a之周緣部之附近之背面側配置相機模組3，在用於指紋認證等之情形下，可配置於較顯示畫面1a之中央於圖2中更靠下方之背面側。如此般，於本實施形態中，相機模組3可配置於與顯示畫面1a重疊之任意之位置。再者，只要不是特別提及，則於本揭示中所謂「重疊」，例如意指配置於在圖1中之水平方向上具有共通之區域、或水平方向上之存在區域為共通，且於鉛直方向上偏移之位置。作為一例，於以顯示部2之顯示面為上方、以攝像部8為下方之情形下，意指在上下方向上偏移，在左右方向上不偏移之狀態。
於圖2中，設為在器件之一個面設置顯示部2及相機模組3，但並不限定於此。例如，亦可於器件之兩面設置顯示部2及相機模組3。
如圖1所示般，顯示部2作為顯示光學系統，係將顯示面板4、圓偏光板5、觸控面板6及保護玻璃7依次積層而成之構造體。再者，該等之排列方式並非限定於上述，可適當地調換，且相同之構成亦可具有2個以上。
顯示面板4例如可具備OLED(Organic Light Emitting Diode，有機發光二極體)、液晶、微LED(MicroLED)、及基於其他顯示原理之元件。OLED等之顯示面板4包含複數層。於顯示面板4，大多配置有彩色濾光器層等透過率較低之構件。亦可如後述般，於顯示面板4中之透過率較低之構件中，與相機模組3之配置部位相符地形成貫通孔。若使經由貫通孔的被攝體光入射至相機模組3，則可提高由相機模組3拍攝之圖像之畫質。
圓偏光板5係為了減輕晃眼，或即便在明亮之環境下亦提高顯示畫面1a之視認性等而設置。於觸控面板6組入有觸控感測器。觸控感測器具有靜電電容型、電阻膜型、感壓型等各種方式，可採用任一方式。又，亦可將觸控面板6與顯示面板4一體化。保護玻璃7為了保護顯示面板4等而設置。
相機模組3具備攝像部8、及光學系統9。光學系統9配置於攝像部8之光入射面側，亦即配置於靠近顯示部2之側，而使通過顯示部2之光集光至攝像部8。光學系統9可具備1個或複數個透鏡。
攝像部8具備複數個光電轉換部。於各光電轉換部分別配置有透鏡。該透鏡使由光學系統9適當地朝攝像部8射出之光，於構成各個像素之光電轉換部中接收。光電轉換部將經由顯示部2入射之光予以光電轉換。光電轉換部可為CMOS(Complementary Metal Oxide Semiconductor，互補式金屬氧化物半導體)感測器，亦可為CCD(Charge Coupled Device，電荷耦合元件)感測器。又，光電轉換部可具備光電二極體，亦可具備有機光電轉換膜。複數個光電轉換部可以任意之方式排列。複數個光電轉換部之排列方法，例如可為拜耳排列，亦可為行間插入排列，亦可為棋盤格排列，亦可為條帶排列，還可為其他排列。
於本揭示中，將光電轉換部之輸出值、或基於該輸出值被進行特定之轉換之值稱為像素值。
圖3A係對於圖1中之相機模組3與顯示面板4之關係更詳細地進行說明之圖。係顯示相機模組3之一例之圖。相機模組3例如具備攝像部8、及光學系統9。光學系統9配置於攝像部8之光之入射面側，亦即配置於靠近顯示部2之側。透過顯示部2之顯示面之光被光學系統9朝攝像部8傳播。
攝像部8例如具備光電二極體等受光元件、光電轉換元件。藉由光學系統9進行集光、折射、擴散等，被傳播之光被攝像部8所具備之光電轉換部接收，並輸出類比信號。光電轉換部可於各個攝像元件之入射面側例如具備拜耳排列等之彩色濾光器，亦可具備積層型之彩色濾光器。又，亦可不是設置彩色濾光器，而是設置機光電轉換膜。此外，亦可具備可代替用於取得彩色圖像之濾光器者。又，雖未圖示，但具備其他用於受光及輸出類比信號所需之元件、電路等。進而，亦可設置偏光元件等。
光學系統9可設為包含上述之、透過率較低之構件中之貫通孔即設置於顯示面板4之開口之概念。例如，作為光學系統9，可配置設置於顯示面板4之開口、及在較該開口更靠近攝像部8之位置配置透鏡。該開口例如設置於透過率較低之基板4a，具有使透過該開口部之光傳播至攝像部8之透鏡。例如，藉由該透鏡與開口，而定義各個相機模組3中之開口數Na(Numerical Aperture，數值孔徑)、或F值(F-Number)等光學性特徵。又，進而，亦可設為藉由該光學系統9而具有如相機模組3具有不同之阿貝數等其他光學性特徵。
再者，開口與透鏡係作為一例而示出者，但光學系統9之構成未必一定限定於該等之組合。又，於圖式中，對於一個開口設置1個或複數個透鏡，但並不限定於此。例如，亦可如圖3B所示般，於光學系統9中對於1個透鏡設置有複數個開口。於不具有開口之區域，例如可設置顯示面板4之發光元件，且以穿過該等之發光元件之間之方式設置開口。藉由如此般配置，而可無損顯示地設置相機模組3。
複數個相機模組3如此般，可藉由開口之形狀、透鏡之性能等而形成為具備不同之光學性特徵。在具有2個以上之相機模組3之情形下，可使與各者對應之光學系統9具有各自之光學性特徵。作為又一例，可將相機模組3分成複數個組，就每一組具有不同之光學性特徵。例如，以成為具有共通之光學性特徵之2個相機模組3、及具有不同之光學性特徵之1個相機模組3之方式，光學系統9改變其開口之形狀、方向、或透鏡之材質等而設置。
如圖3A中以箭頭所示般，自顯示部2之顯示面側入射之光，被光學系統9折射等，而於攝像部8中被接收。於不設置光學系統9之部位，可與通常之顯示器同樣地，適切地抑制反射等，而將顯示部2之顯示調整為易於觀看。例如，於顯示面板4之發光像素間設置開口，於該開口，與顯示面為相反側設置透鏡，將自顯示面側朝攝像部8入射之光射出。又，亦可於連續之發光像素之間之各者間設置開口。換言之，亦可為如於開口與開口之間設置發光像素之構成。
此處，對於電子機器1之攝像功能之一例進行說明。
圖4顯示表示與本實施形態之電子機器1之攝像動作關聯之構成之方塊圖之一例。電子機器1具備：顯示部2、複數個相機模組3、信號取得部10、信號處理部12、後處理部14、輸出部16、控制部18、及記憶部20。
如與前文中所說明之圖式同樣地，於顯示部2之與顯示面為相反側，設置相機模組3。對於1個顯示部2之顯示面，可設置複數個相機模組3。相機模組3分別具備：攝像部8、及光學系統9。
信號取得部10係處理由攝像部8輸出之類比信號之電路。信號取得部10例如具備ADC(Analog to Digital Converter，類比數位轉換器)，將所輸入之類比信號轉換為數位圖像資料。
信號處理部12自經信號取得部10轉換之數位圖像資料，取得所拍攝到之圖像。基於自相機模組3取得之數位圖像資料，而取得攝像結果。更具體而言，信號處理部12例如藉由信號處理而取得將相機模組3中所產生之炫光等偽影使用所獲得之圖像資料予以抑制的攝像結果。
後處理部14對由信號處理部12輸出之攝像結果施加適切之處理並輸出。所謂適切之處理，例如可為像素缺陷修正、邊緣強調、雜訊去除、亮度調整、色修正、白平衡調整、失真修正、自動對焦處理、等之圖像處理或信號處理。又，該適切之處理可為由使用者指定之處理。又，後處理部14無需獨立地設置，例如亦可由信號處理部12執行上述之後處理。
輸出部16朝電子機器1之外部輸出資訊。輸出部16例如具備輸出介面。輸出介面例如可為USB(Universal Serial Bus，通用串列匯流排)等輸出數位信號之介面，亦可為顯示器等之使用者介面。又，輸出部16所具備之輸出介面亦可為兼具輸入介面者。又，輸出部16可將資料儲存於設置在內部之記憶部20，如此般，所謂輸出可包含廣義之含義。
控制部18控制電子機器1之處理。控制部18例如可具備CPU(Central Processing Unit，中央處理單元)，可控制信號取得部10、信號處理部12、後處理部14、輸出部16之處理。又，亦可基於來自使用者介面之被指示之攝像時序，執行由相機模組3進行之攝影之控制。
記憶部20儲存電子機器1中之資料。記憶部20例如可為DRAM(Dynamic Random Access Memory，動態隨機存取記憶體)等記憶體、SSD(Solid State Drive，固態硬碟)等存儲器。記憶部20可為內置之記憶體，亦可為可拆卸之記憶卡等記憶體。又，記憶部20未必一定設置於電子機器1之內部，亦可為在經由輸入/輸出介面連接之外部設置之存儲器等。於記憶部20，於電子機器1中在必要之時序下適切地被輸入/輸出資訊。
如上述所說明中之、一部分或全部可形成於同一基板上。例如，相機模組3、與信號取得部10、信號處理部12、後處理部14、輸出部16、控制部18、記憶部20可形成於1個晶片上，亦可適當將該等之一部分作為另一晶片而形成。又，亦可為形成於1個晶片之同一基板上之一部分之構成，與形成於其他基板上之一部分之構成在其製造步驟中藉由CoC(Chip on Chip，晶片上晶片)、CoW(Chip on Wafer，晶片上晶圓)、WoW(Wafer on Wafer，晶圓上晶圓)等之技術積層而形成。
接著，對於攝像部8之構成進行說明。作為一例，對於拜耳排列進行說明，但如上述般，色之配置並不限定於拜耳排列，只要可適切地取得色資訊，亦可為其他排列。例如，可為由RGB之系列實現之拜耳排列，亦可為由CMY之補色系列實現之拜耳排列。亦可為混有RGB與CMY之狀態。又，以像素之形狀為正方形進行說明，但並不限定於此。例如，亦可為正方形以外之矩形，亦可為由六角形形狀組成之蜂巢構造。
圖5係示意性地顯示由攝像部8之各個攝像元件取得之色資訊之圖。圖5作為一例而顯示設置於攝像部8之8×8個攝像元件之狀態。當然，攝像元件可不是設置8×8，而是基於企圖取得之像素數、可配置之面積等設置適切之數。
攝像部8具備攝像像素80。如圖所示般，攝像像素80於攝像部8中陣列狀設置。攝像像素80於顯示部2之與顯示面為相反側設置光電轉換元件，於其上部設置透鏡。於攝像像素80之內部所記載之RGB表示顏色，分別表示：R：紅、G：綠、B：藍。該種色區分之手法可如上述般，為在光電轉換元件之顯示面側設置之色濾光器，亦可為由有機光電轉換膜形成之光電轉換元件。
於各個攝像像素80設置透鏡81。透鏡81例如為晶載透鏡，特別是可為晶載微透鏡。如此般，藉由就每一像素設置透鏡，而可提高受光強度、色再現性等之精度。該透鏡81例如可由Si形成，亦可由其他適切之材料形成。
1個攝像像素80具備複數個分割像素82。例如，於圖5之各個攝像像素80，具備2×2個分割像素82。如此般，藉由在1個像素中具備複數個分割像素，作為效果之一例，可擴大像素間之動態範圍。於本揭示中，進而，在偽影之去除上亦利用該分割像素82。如圖中作為一例而顯示般，攝像像素80配置為具有複數個分割像素82，各個攝像像素80與透鏡81一一對應地相互重疊。
圖6係將攝像像素80取出拜耳排列之1組份額之圖。如該圖6所示般，例如，攝像像素80構成為具備2×2之4個分割像素82。各個分割像素82形成為具備光電轉換元件。該光電轉換元件可為光電二極體。圖1之信號取得部10取得自具備光電轉換元件之該等分割像素82輸出之類比信號。然後，信號處理部12對來自信號取得部10之輸出執行信號處理。
攝像像素80之像素值，例如，作為將取得信號取得部10自各個攝像像素80所含之分割像素82取得之輸出值加算而算出。該加算可於類比信號之狀態下執行，亦可在轉換為數位信號之後執行。
作為一例，信號取得部10取得來自各個分割像素82之類比信號，並將該類比信號轉換為數位信號。信號處理部12將由信號取得部10輸出之每一分割像素82之數位信號，在根據需要進行修正之後加算，而取得攝像像素80之像素值。
如此之像素之分割，於一般性之數位相機等中，如上述般，為了擴大像素、亦即各色之動態範圍，且為了提高色再現性而使用。進而，信號處理部亦可藉由分割像素取得像素內之相位差。攝像裝置可將該結果用於自動對焦等。於本揭示中，藉由將該分割像素82採用於顯示器下方之相機模組3，而亦實現起因於顯示部2等之偽影之去除。
圖7係顯示攝像像素80之分割像素82之又一例之圖。
攝像像素80例如可如最上圖所示般，具備3×3個分割像素82，於其上方設置透鏡81。
攝像像素80例如可如自上起第二圖所示般，具備4×4個分割像素82，於其上方設置透鏡81。
又，攝像像素80例如亦可如最下圖所示般，具備3×4個分割像素82，於其上方設置透鏡81。
如此般，可使用2以上之整數m、n，將m×n個分割像素82陣列狀設置。該等之設定係根據攝像像素80之大小、數目、或在晶片上所容許之形成面積、體積之大小、進而用途而適切地設定。於以下之說明中，設為攝像像素80具備2×2個分割像素82，但係作為一例而示出者，如上述般並非將由除此以外之數值進行之分割除外者。
以下，對於在攝影對象具有明亮之被攝體，且將因來自該被攝體之影響所致之炫光予以去除之情形進行說明。
如圖8所示般，考量於攝像部8入射有來自明亮之被攝體之光之情形。於此種情形下，於攝像部8所具備之攝像像素80之一部分或全部之像素中，有可能產生炫光。於本實施形態中，藉由使用分割像素82而抑制該炫光之產生。
圖9係顯示圖8中之存在來自明亮之被攝體之光之入射的攝像像素80之圖。再者，雖示出1個攝像像素80，但並不限定於此，對可能會產生炫光之複數個攝像像素80執行同樣之處理。再者，所謂明亮之被攝體，例如為亮度、照度較高之光源、或被照射強光而存在強反射光之物體等。另外，所謂明亮之被攝體，例如係包含與周圍之亮度相比亮度、照度等更高，而會成為炫光之原因之物體之概念。
攝像像素80具備：具備光電轉換元件之分割像素82A、82B、82C、及82D，以及共有地形成於該等光電轉換元件之透鏡81。將來自明亮之被攝體之光設為自圖式右上方向入射。
於此種情形下，光不是自透鏡81朝全部分割像素82均等地射出，而是在相對於光之方向為前進之方向上射出具有較強之強度之光。此係因透鏡81與光之入射角度之特性所致。例如，於圖9之狀況下，於分割像素82C，較其他分割像素82入射有更強之光。其結果為，由信號取得部10取得之各個分割像素82之像素值中，分割像素82C高於其他分割像素82A、82B、82D。
基於該現象，信號處理部12抑制在攝像像素80中會產生之炫光之影響。
如上述般，可藉由使用分割像素82而取得攝像像素80內之相位差。相位差之取得，例如藉由是否在1個攝像像素80所具備之複數個分割像素82中存在特定臨限值以上之強度差而判斷。例如，當於分割像素82C中取得高於其他像素之像素值，且該分割像素82C與其他分割像素82A、82B、82D之像素值之差為特定值以上時，判斷為存在相位差。
於產生炫光之情形亦然，例如於分割像素82C之像素值高於其他分割像素82A、82B、82D之像素值時，亦可進行同樣之判斷。然而，與相位差相關之臨限值thp 、及與炫光相關之臨限值thf ，為thp ＜thf 之關係。跟與相位差相關之臨限值相比，有意將與炫光相關之臨限值設為高，而該等臨限值為可明確地予以區別者，且為可預先設定者。例如，可預先取得在未對焦之情形下之感度差之幅度。藉由將該幅度設為thp ～thf ，而可決定特定之臨限值。據此，在進行炫光之修正時，於信號處理部12中，可使用臨限值thf 進行判斷。
將分割圖像82A、82B、82C、82D之像素值分別設為xA、xB、xC、xD。作為一例，設為於該等之間存在Xc＞xD＞xA＞xB之關係。該等僅作為一例而示出，本揭示之技術並不限定於此。 [數1]
Figure 02_image001
[數2]
Figure 02_image003
例如，如(1)式所示般，將具有最高像素值之分割像素82C之像素值、與最低像素值之差跟臨限值進行比較，當差大於臨限值時，可判斷為會產生炫光。根據情況，亦可不是比較最小值min{xA,xB,xD}，而是比較最大值max{xA,xB,xC}。又，亦可如(2)式所示般，利用比進行判斷。
作為其他例，亦可考量平均。 [數3]
Figure 02_image005
[數4]
Figure 02_image007
此處，avg()係算出引數之平均之函數。在考量平均之情形下，亦可藉由差、比之任一者進行判斷。又，在求取平均之情形下，考量光與攝像像素80之邊垂直地入射之情形，而求取分割像素82A、82B、82C中之、像素值較低之2個、例如分割像素82A、82B此2個像素值之平均(xA+xB)/2。
如此般，藉由將特定臨限值用作特定差分、特定比率，對於攝像像素80中具有最大像素值之分割像素82，進行(1)式～(4)式、或與該等類似之運算，而可判定在該攝像像素80中是否有產生炫光之可能性。
於上述中，係基於與相位差相關之臨限值而決定產生炫光之臨限值(特定差分、特定比率)，但並不限定於此。例如，亦可設定對分割像素82之個體差、於分割像素82中產生之雜訊之影響之臨限值。在觀察個體差之情形下，例如，可對攝像部8拍攝不產生炫光之被攝體，信號處理部12基於拍攝該被攝體而成之圖像進行後台處理。亦即，信號處理部12可預先測定對於各個攝像像素80中之各個分割像素82之臨限值。與雜訊相關之臨限值亦可同樣地測定，進而，藉由測定複數次，而可測定經減輕各種雜訊之影響之臨限值。
在如上述般會產生炫光之情形下，信號處理部12可使用像素值變高之分割像素82C以外之分割像素82A、82B、82D算出攝像像素80之像素值，取得進行炫光之修正之圖像資料。信號處理部12例如，可使用像素值為最小之分割像素82B之像素值xB，將攝像像素80之像素值設為4×xB。信號處理部12作為另外之例，亦可使用像素值較低之2個分割像素82A、82B之像素值，設為2×(xA+xB)。信號處理部12進而亦可使用最大像素值xC以外之像素值，設為(4/3)×(xA+xB+xD)。如此般，信號處理部12使用在攝像像素80內輸出值較低之分割像素82之輸出之像素值，算出攝像像素80之像素值。
又，信號處理部12可使用經訓練之模型執行炫光修正。信號處理部12例如可基於各種狀況下之炫光之產生、與其修正之狀態，使用經機器學習而訓練之已學習模型執行修正。該情形下，信號處理部12可將分割像素82之各個值輸入至已學習模型中，而取得攝像像素80之像素值。進而，作為另外之例，信號處理部12可使用進一步輸入周邊之同色之攝像像素80之像素值之已訓練模型。
例如，模型可為統計模型。信號處理部12可統括地計算對於各種相機模組3使用何種運算予以合成為妥並預先產生模型，藉由對該模型輸入自複數個相機模組3取得之資訊而取得炫光之影響較小之圖像。
例如，模型可為藉由深度學習而訓練之神經網路模型。神經網路模型亦可藉由MLP(Multi-Layer Perceptron，多層感知機)、CNN(Convolutional Neural Network，卷積神經網路)等形成。該情形下，預先將藉由複數個教師資料訓練之參數記憶於記憶部20、或信號處理部12，信號處理部12可形成基於該被記憶之參數之神經網路模型。信號處理部12可使用所形成之已訓練模型，取得使用自複數個相機模組3輸出之資料對炫光予以抑制之圖像。
進而，在使用已訓練模型之情形下，電子機器1可使用所拍攝到之圖像進一步提高訓練精度。例如，可於電子機器1之控制部18等中執行訓練。作為另外之例，複數個電子機器1可將資料發送至位於雲端等之存儲器等，於伺服器等中執行訓練，且將再訓練後之參數反映於電子機器1中。該情形下，可以不包含含有使用者之面部資訊之隱私資訊之方式，僅發送炫光之資訊。又，來自電子機器1之資料之收發，例如可藉由選擇加入(opt-in)、選擇退出(opt-out)等而設為可由使用者予以選擇之狀態。
如此般，藉由不僅使用線性處理，而且使用非線性處理、特別是包含已訓練模型之各種模型之運算等，而信號處理部12可取得經修正炫光之圖像。
圖10係顯示本實施形態之處理之流程之流程圖。於本流程圖中，對於與炫光修正相關之處理予以記載，對於攝像、資料輸出等之處理予以省略。
首先，信號處理部12經由信號取得部10，取得各個攝像像素80中之分割像素82之輸出值(S100)。
接著，信號處理部12判定在屬同一攝像像素80之分割像素82之輸出值中，感度差是否大於相位差之感度差(S102)。亦即，基於(1)式、(3)式等，藉由臨限值thf 而判定分割像素82中之具有最大感度之分割像素、與其他分割像素之感度之差是否處於非為相位差之範圍內。再者，該處理亦可如上述之(2)式、(4)式等所示般，不是藉由差而是藉由比來執行。
在感度差大於thf 時(S102：是)，信號處理部12使用分割像素82執行炫光修正。其後，信號處理部12取得經炫光修正之值作為該攝像像素80之像素值(S106)。
在感度差為thf 以下時(S102：否)，信號處理部12進行通常之像素值之取得處理，例如將各個分割像素82之輸出值之加算值作為該攝像像素80之像素值而取得(S106)。
如以上所示般，根據本實施形態，將成為炫光之原因之強光之入射，藉由將像素予以分割，而可抑制因該強光之入射所致之像素之炫光之產生。亦即，可使將成為炫光之原因之強光之入射集中於一部分分割像素，藉由使用其他分割像素而修正像素值，而可取得抑制了炫光之影響之像素值。
(第2實施形態) 於前述第1實施形態中，作為一例，而對使用攝像像素80中之具有最小之像素值之1個分割像素82之情形進行了說明，但在如此般使用1個分割像素82之情形下，有可能強烈地受到雜訊之影響。於本實施形態中，對於減輕該雜訊之影響之情形進行說明。
圖11係用於說明本實施形態之雜訊之修正方法之圖。例如，對於在取得位於中央之綠色之強度之攝像像素80中，使用位於右上之1個分割像素82B(右上斜線之分割像素)予以炫光修正之情況進行說明。
例如，在使用(1)式、(2)式等對1分割像素彼此之像素值進行比較時，若於分割像素82B中產生雜訊，則雖然滿足該等之式，但存在雜訊之影響。例如，於分割像素82B伴有接近黑色之雜訊時，xC-xB成為較大之值，原本未產生炫光，但有時卻被判斷為產生有炫光。
為了抑制如此之雜訊之影響，可基於如下之式進行雜訊判定。 [數5]
Figure 02_image009
此處，thn 係用於判斷雜訊之臨限值。信號處理部12判定分割像素82A、82C、82D之像素值之平均與於炫光修正中所使用之分割像素82B之像素值的差是否大於該特定臨限值。用於判定雜訊之臨限值thn 例如係滿足thf ＞thn ＞thp 之臨限值。再者，雜訊判定並不限定於該(5)式，只要可適切地檢測出雜訊者即可。例如，可如(2)式般藉由比率而檢測。
在(5)式成立時，可判斷為於分割像素82B中產生有雜訊，並執行雜訊修正之處理。
信號處理部12例如亦可基於取得位於周圍之相同色之攝像像素80之像素值，將經修正炫光之像素值進行雜訊修正。信號處理部12例如可使用圖11中以左上斜線所示之像素值藉由雙線性內插、雙三次內插等手法而執行修正。例如，係使用位於前後左右之1個同色之像素值執行修正，但並不限定於此，可使用斜向上之攝像像素80之資訊，亦可相對於相同方向使用2個以上之攝像像素80之資訊。
又，於(5)式中，係使用其他分割像素82之資訊，但並不限定於此。例如，亦可將xBt 作為當前訊框之分割像素82B之輸出值，而以時間軸來考量。 [數6]
Figure 02_image011
如該(6)式所示般，雜訊檢測可藉由與訊框間之平均值之差而執行。特別是，在拍攝靜止圖像之情形下，可有效地使用該(6)式所示之手法。亦可取代(6)式而使用比率進行判斷。
在使用訊框間之資訊之情形下，可使用訊框間之資訊而執行雜訊修正。例如，可藉由以下之式修正攝像像素80之像素值。 [數7]
Figure 02_image013
於上述中，在雜訊判定及修正之兩者中，使用前後2訊框之資訊，但並不限定於此，亦可使用前後1訊框、或前後3訊框以上之資訊。
又，信號處理部12亦可使用上述已訓練之模型而執行雜訊修正。
圖12係顯示本實施形態之處理之流程圖。
S200至S204之處理與圖10中之S100至S104之處理相同，故省略說明。
在執行了炫光修正之後、或在不執行炫光修正之情形下，接著，判定炫光修正量是否大於臨限值(S206)。亦即，基於(5)式、(6)式等，藉由臨限值thn 而判定分割像素82中之於炫光修正中所使用之分割像素、與其他分割像素之感度之差是否為雜訊。
在炫光修正量大於臨限值時(S206：是)，執行雜訊修正(S208)。信號處理部12例如使用上述所示之空間方向、或時間方向之資訊執行雜訊修正。再者，修正之手法並不限定於上述所舉出之手法，可利用適切之方法。
在雜訊之修正後、或炫光修正量為thn 以下時(S206：否)，信號處理部12取得圖像資料(S210)。
如以上所述般，根據本實施形態，可除了進行炫光修正外，亦進行於該炫光修正中所使用之分割像素之輸出值是否為雜訊之判斷，且在判斷為雜訊時，進行空間性、時間性地修正並取得。特別是，在使用分割像素中之1個執行炫光修正之情形下，該手法為有效，但在其他情形下，亦可同樣地適用。例如，可將上述之(6)式、(7)式之xB用作經炫光修正之像素值。
再者，雜訊之臨限值thn 根據被攝體整體之光量、或攝像部8整體之信號之取得量、感知量而變化，因此可為適當地變化者。亦即，信號處理部12可基於周圍之狀況，適切地變更臨限值thn 並執行上述之雜訊檢測處理。
(第3實施形態) 於第1實施形態、或第2實施形態中，設為對全部被攝體執行炫光修正，但並不限定於此。例如，信號處理部12亦可檢測產生有炫光，而執行炫光修正。
信號處理部12例如可檢測包含特定之亮度以上之被攝體，而執行前述之炫光修正。又，作為另外之例，信號處理部12可基於所取得之像素值檢測炫光產生，而執行前述之炫光修正。
圖13係顯示本實施形態之炫光修正之處理之流程圖。
首先，信號處理部12取得與周圍之環境、狀態相關之資訊，或未進行炫光修正等修正之圖像資料(S300)。
接著，信號處理部12基於該資訊，判斷是否存在產生炫光之可能性，或是否產生炫光(S302)。例如，在作為被攝體而存在具有高於特定之臨限值之亮度、照度之物體時，信號處理部12判斷為存在產生炫光之可能性。又，於所取得之像素值中，基於是否存在露白之像素之區域，而判斷是否產生炫光。該等係作為一例而記載，亦可基於可適切地判定炫光產生之可能性、或炫光之產生之基準，而執行該判斷。
在判斷為存在產生炫光之可能性，或產生炫光時(S302：是)，信號處理部12執行炫光修正、雜訊修正(S304)。該子程式，例如為與圖10所示之S100～S104之處理、或圖12所示之S200～S208之處理同等之處理。
在進行了炫光修正、雜訊修正之後，或在不產生炫光、未產生炫光時(S302：否)，信號處理部12取得像素值(S306)。
如以上所述般，根據本實施形態，不是始終執行炫光修正，而是可根據需要而不執行炫光修正。在無需進行炫光修正時，像素值有可能因修正之處理而較原本之值劣化，但無如此之在炫光產生之可能性、或無炫光產生之事實之情形下，藉由避免該處理，而可取得再現性較高之圖像。又，亦可削減信號處理部12之動作。
(第4實施形態) 於本實施形態中之電子機器1中，配置為即便在產生有炫光時，但於任一相機模組3中，減弱炫光之產生。
圖14係顯示本實施形態之電子機器1之剖視圖之圖。如圖14所示般，電子機器1於顯示面板4中，具備複數個相機模組3，亦即具備複數個光學系統9與複數個攝像部8。例如，於取得圖像之相機模組3中，當在某攝像像素80中產生有炫光時，著眼於配置於不同位置之相機模組3之取得相同被攝體之位置的攝像像素80。藉由位置偏移，而於所拍攝到之圖像中之炫光之位置亦偏移，因此於表示相同被攝體之位置之攝像像素80中，即便在一者產生炫光，但在另一者未產生炫光之可能性較高。
基於此種情形，可參照取得被攝體之相同位置之其他攝像部8之攝像像素80，對於被判斷為產生有炫光之攝像像素80進行炫光修正。更具體而言，可使用與一者之攝像像素80之分割像素82對應之、另一者之攝像像素80之分割像素82之資料，執行攝像像素80之炫光修正。
如以上所述般，根據本實施形態，藉由具備複數個攝像部8，且使用對應之攝像像素80之對應之分割像素82之資料，而可提高炫光修正之精度。
再者，亦可於相機模組3間具備遮光部30，使得炫光不被顯示面板4等傳遞。遮光部30例如可為由遮光性較高之材料形成之遮光膜，亦可為由光之吸收率較高之材料形成之吸收膜。
(第5實施形態) 於前述各實施形態中，記載了對於炫光修正之應用，但本揭示之技術並不限定於該應用。於相機模組3之上方，如圖1等所示般，搭載有顯示器、觸控面板等各種模組。因此，有時入射至攝像部8之光之一部分會被該等之配線等遮擋。本實施形態之電子機器係在如此般光之一部分被遮擋之情形下，企圖藉由分割像素及信號處理修正像素值者。
圖15係顯示顯示部2及因光入射而形成於攝像部8之配線之影之圖。
上圖係示意性地顯示顯示部2之圖。例如，於顯示部2中，設置複數個顯示像素40，且設置用於驅動該顯示像素40之複數條配線41。該配線例如係將顯示器予以橫貫、縱貫等之控制線、信號線等。於設置於顯示器下方之相機模組3中，有時該配線41之影會成為問題。
下圖係示意性地顯示攝像部8之圖。實線表示攝像像素80之邊界，虛線表示分割像素82之邊界。例如，在光入射之情形下，如該下圖所示般，配線41之影83落於攝像像素80。若存在如此之影83，則在不使用分割像素82而攝像像素80分別具備1個光電元件之情形下，於影之區域內所入射之光量減少，而有作為整體可取得之亮度降低之情形。
因此，藉由利用分割像素82，可抑制該亮度之降低。即便在使用分割像素82之情形下，當存在影83時使用分割像素82之加算值作為攝像像素80之像素值，因此有亮度降低之情形。例如，於下圖之最左上之攝像像素80中，自右下之分割像素82之輸出值降低，而攝像像素80整體之亮度降低。又，於其右鄰之攝像像素80中，自下半部分之分割像素82之輸出值下降，而攝像像素80整體之亮度降低。
圖16係顯示亮度、亦即所入射之光之強度因影83而降低之分割像素82之圖。以斜線表示之分割像素82係因影83而受到影響之分割像素，於該等分割像素82中所輸出之信號之值降低，而成為使攝像像素80之亮度降低之原因。為了避免該影響，藉由使用其他分割像素82而算出因自以斜線所示之分割像素82之輸出值所致之攝像像素80之像素值之降低。
信號處理部12例如於屬攝像像素80A之分割像素82中，不考量右下之分割像素82D，而將亮度值x計算為x=(4/3)×(xA+xB+xC)。
信號處理部12例如於屬攝像像素80B之分割像素82中，不考量下半部分之分割像素82C、82D，而將亮度值x計算為x=2×(xA+xB)。
信號處理部12例如於屬攝像像素80C之分割像素82中，使用右下之分割像素82D，而將亮度值x計算為x=4×xD。
若進行匯總，則信號處理部12將亮度值x作為於自可利用之分割像素82之輸出值之和乘以就每一攝像像素80而設定之增益而得之積而算出。增益例如可由在攝像像素80內可利用之分割像素數而決定。藉由如此般進行計算，而信號處理部12可能取得將影83之影響予以抑制之攝像像素80之像素值。
再者，該情形下，雜訊之影響有可能變大。為了避免此種情況，可執行與前述之第2實施形態同樣之雜訊修正。又，亦可執行與第2實施形態不同之雜訊修正。例如，於攝像像素80C中，始終輸出基於來自1個分割像素82D之輸出之像素值，因此有時輸出值不穩定。因此，例如，信號處理部12於攝像像素80C中，若無特別指定則使用周邊之同色之攝像像素80執行內插處理，而可減輕雜訊之影響。
如以上所示般，根據本實施形態，可藉由使用產生偽影之區域、攝像像素80各者之可利用之分割像素82之輸出值、及增益，而減輕顯示部2所具備之配線等形成於攝像部8之該偽影之影響。
進而，亦可與該處理同時地執行前述實施形態中之炫光修正、雜訊修正。
如此般，於設置於顯示器下方之相機模組3中，藉由在攝像部8形成針對攝像像素80之分割像素82，而可實現由炫光、顯示器之影等引起之偽影之修正。
(第6實施形態) 於本實施形態中，電子機器1具備微透鏡陣列作為相機模組3之光學系統9。
圖17係顯示本實施形態之相機模組3之圖。相機模組3之光學系統9具備微透鏡陣列90。通過微透鏡陣列90之光，適切地入射至攝像部8，並於攝像部8中轉換成信號並被輸出。
信號取得部10可基於自攝像部8輸出之信號，將圖像再構成。信號處理部12基於該再構成之圖像，取得將前述之各實施形態中之偽影之影響予以抑制之像素值。
如以上所述般，相機模組3之光學系統9構成為除了具備覆蓋整體之透鏡以外，亦可具備微透鏡陣列。此外，亦可使用菲涅耳透鏡、波域片等。
以下，舉出幾個應用例。
(第7實施形態) 作為具備前述之實施形態中所說明之構成之電子機器1之具體之候補，可考量各種物品。例如，圖18係將各實施形態之電子機器1適用於膠囊型內視鏡50之情形下之平面圖。圖18之膠囊型內視鏡50例如於兩端面為半球狀且中央部為圓筒狀之殼體51內具備：相機(超小型相機)52，其用於拍攝體腔內之圖像；記憶體53，其用於記錄由相機52拍攝到之圖像資料；及無線發送機55，其用於在膠囊型內視鏡50被排出至受檢者之體外之後，將所記錄之圖像資料經由天線54朝外部發送。
又，於殼體51內，設置有CPU 56及線圈(磁力/電流轉換線圈)57。CPU 56控制由相機52執行之攝影、及朝記憶體53之資料蓄積動作，且控制由無線發送機55執行之自記憶體53朝殼體51外之資料接收裝置(未圖示)之資料發送。線圈57進行朝相機52、記憶體53、無線發送機55、天線54及後述之光源52b之電力供給。
進而，於殼體51，設置有磁性(磁簧)開關58，其用於在將膠囊型內視鏡50設置於資料接收裝置時，檢測該等情形。CPU 56檢測該磁簧開關58朝資料接收裝置之安裝，且在可進行資料之發送之時點，進行自線圈57朝無線發送機55之電力供給。
相機52例如具有用於拍攝體腔內之圖像之包含光學系統9之攝像元件52a、及對體腔內進行照明之複數個光源52b。具體而言，相機52例如由包含LED之CMOS感測器或CCD等構成光源52b。
前述之實施形態之電子機器1中之顯示部2係包含如圖18之光源52b般之發光體之概念。於圖18之膠囊型內視鏡50中，例如具有2個光源52b，但可將該等光源52b由具有複數個光源部之顯示板4、或具有複數個LED之LED模組構成。該情形下，藉由在顯示板4或LED模組之下方配置相機52之攝像部8，與相機52之佈局配置相關之制約減少，而可實現更小型之膠囊型內視鏡50。
(第8實施形態) 又，圖19係將前述之實施形態之電子機器1適用於數位單反相機60之情形下之後視圖。數位單反相機60或小相機，於與透鏡為相反側之背面，具備顯示預覽畫面之顯示部2。可設為於該顯示部2之與顯示面為相反側配置相機模組3，而可將攝影者之面部圖像顯示於顯示部2之顯示畫面1a。於前述之各實施形態之電子機器1中，由於在與顯示部2重疊之區域配置相機模組3，而可不必將相機模組3設置於顯示部2之框緣部分，從而可將顯示部2之尺寸儘可能地大型化。
(第9實施形態) 圖20係將前述之實施形態之電子機器1適用於頭戴式顯示器(以下為HMD)61之例子之平面圖。圖20之HMD 61可於VR(Virtual Reality，虛擬實境)、AR(Augmented Reality，擴增實境)、MR(Mixed Reality，混合實境)、或SR(Substituional Reality，替代實境)等中使用。現狀之HMD如圖21所示般，於外表面搭載相機62，而存在下述問題，即：雖然HMD之佩戴者可視認周圍之圖像，但是周圍之人卻不瞭解HMD之佩戴者之眼睛或面部之表情。
因此，於圖20中，於HMD 61之外表面設置顯示部2之顯示面，且於顯示部2之顯示面之相反側設置相機模組3。藉此，可使相機模組3所拍攝到之佩戴者之面部之表情顯示於顯示部2之顯示面，佩戴者之周圍之人可即時地掌握佩戴者之面部之表情或眼睛之動作。
圖20之情形下，由於在顯示部2之背面側設置相機模組3，因此無對相機模組3之設置場所之制約，而可提高HMD 61之設計之自由度。又，由於可將相機配置於最佳之位置，因此可防止顯示於顯示面之佩戴者之視線不合等之不良狀況。
如此般，於本實施形態中，可將前述之實施形態之電子機器1於各種用途中使用，而可提高利用價值。
再者，本技術亦可採用如以下之構成。
(1) 一種電子機器，其具有：顯示部； 攝像部，其配置於前述顯示部之與顯示面為相反側；及 信號處理部；且 前述攝像部具備： 複數個晶載透鏡，及 複數個像素，並且 前述晶載透鏡具有第1晶載透鏡， 前述複數個像素具有第1像素， 前述第1像素與第1晶載透鏡重疊地配置， 前述第1像素具有複數個光電轉換部， 前述信號處理部處理自前述複數個像素輸出之信號。
(2) 如(1)之電子機器，其中前述第1像素取得特定色之資訊。
(3) 如(2)之電子機器，其中前述第1像素具備色濾光器。
(4) 如(2)之電子機器，其中前述第1像素具備供屬同一前述第1像素之各個前述光電轉換部進行相同色之受光之有機光電轉換膜。
(5) 如(1)至(4)中任一項之電子機器，其中前述第1像素具備m×n(m、n分別為2以上之整數)個前述光電轉換部。
(6) 如(1)至(5)中任一項之電子機器，其中前述光電轉換部具備光電轉換元件。
(7) 如(6)中之電子機器，其中前述光電轉換元件為光電二極體。
(8) 如(2)或(3)之電子機器，其中前述攝像部具有藉由拜耳排列而著色之複數個前述第1像素。
(9) 如(1)至(8)中任一項之電子機器，其中前述透鏡為晶載透鏡。
(10) 如(1)至(9)中任一項之電子機器，其中於前述顯示部與前述攝像部之間具備與前述透鏡不同之光學系統。
(11) 如(10)之電子機器，其中前述光學系統為微透鏡陣列。
(12) 如(1)至(11)中任一項之電子機器，其中前述信號處理部將屬同一前述第1像素之前述光電轉換部之輸出值加算，作為前述第1像素之輸出值。
(13) 如(1)至(12)中任一項之電子機器，其中前述信號處理部當於形成於同一前述第1像素之前述光電轉換部中，來自各個前述光電轉換部之輸出值超過特定差分或特定比率之情形下，修正前述第1像素之輸出值。
(14) 如(13)之電子機器，其中前述特定差分或前述特定比率基於前述光電轉換部之個體差、因前述光電轉換部之位置而產生之相位差、或於前述光電轉換部中產生之雜訊中之至少1者而決定。
(15) 如(13)或(14)之電子機器，其中前述信號處理部於前述第1像素中，使用前述光電轉換部中之輸出值較低之像素算出前述第1像素之輸出值。
(16) 如(13)至(15)中任一項之電子機器，其中前述信號處理部使用取得位於前述第1像素之周邊之相同色之輸出值之前述第1像素之輸出值，修正前述第1像素之輸出值。
(17) 如(13)至(16)中任一項之電子機器，其中在包含特定之亮度以上之被攝體之情形下，前述信號處理部進行前述第1像素之修正。
(18) 如(13)至(17)中任一項之電子機器，其中前述信號處理部取得根據所取得之前述信號已進行炫光修正之圖像資料。
(19) 如(13)至(18)中任一項之電子機器，其中前述信號處理部判定是否於所拍攝到之圖像內產生炫光。
(20) 如(19)之電子機器，其中前述攝像部於前述顯示面內之不同之位置存在複數個，且 前述信號處理部，對於屬經判定為產生有炫光之區域之像素，基於位於不同之位置之前述攝像部之對應之像素區域之輸出而進行修正。
(21) 如(19)或(20)之電子機器，其中前述信號處理部對屬經判定為產生炫光之區域之像素，基於已學習模型進行修正。
(22) 如(13)至(21)中任一項之電子機器，其中前述信號處理部於所取得之前述第1像素中，基於屬該第1像素之複數個前述光電轉換部之輸出之平均值、屬該第1像素之前述光電轉換部之輸出中之感度較低之值、或將屬該第1像素之複數個前述光電轉換部之輸出輸入至已學習模型之值、之至少1者進行修正。
(23) 如(10)之電子機器，其中前述信號處理部基於前述顯示部之電路或前述光學系統，對於前述第1像素進行使用前述光電轉換部之修正。
(24) 如(23)之電子機器，其中前述信號處理部當於前述第1像素中進行基於前述顯示部之電路或前述光學系統之修正之情形下，進行與其他前述第1像素不同之雜訊去除。
(25) 如(1)至(24)中任一項之電子機器，其中前述顯示部設置於器件之兩面。
本揭示之態樣並不限定於上述各個實施形態，亦為包含本領域技術人員可想到之各種變化者，本揭示之效果亦不限定於上述之內容。亦即，在不脫離自申請專利範圍所規定之內容及其均等物導出之本揭示之概念性之思想及主旨之範圍內，可進行各種追加、變更及部分性削除。
1:電子機器 1a:顯示畫面 1b:邊框 2:顯示部 3:相機模組 4:顯示面板 4a:基板 5:圓偏光板 6:觸控面板 7:保護玻璃 8:攝像部 9:光學系統 10:信號取得部 12:信號處理部 14:後處理部 16:輸出部 18:控制部 20:記憶部 40:顯示像素 41:配線 50:膠囊型內視鏡 51:殼體 52:相機(超小型相機) 52a:攝像元件 52b:光源 53:記憶體 54:天線 55:無線發送機 56:CPU 57:線圈(磁力/電流轉換線圈) 58:磁性(磁簧)開關 60:數位單反相機 61:頭戴式顯示器(HMD) 62:相機 80,80A,80B,80C:攝像像素 81:透鏡 82,82A,82B,82C,82D:分割像素 83:影 90:微透鏡陣列 S100,S102,S104,S106,S200,S202,S204,S206,S208,S210,S300,S302,S304,S306:步驟
圖1係一實施形態之電子機器之示意性之剖視圖。 圖2係一實施形態之電子機器之示意性之外觀圖及其剖視圖。 圖3A係一實施形態之電子機器之示意性之剖視圖。 圖3B係一實施形態之電子機器之示意性之剖視圖。 圖4係顯示一實施形態之電子機器之概略之方塊圖。 圖5係示意性地顯示一實施形態之攝像部之圖。 圖6係示意性地顯示一實施形態之攝像像素之圖。 圖7係示意性地顯示一實施形態之攝像像素之圖。 圖8係藉由一實施形態之攝像部顯示來自明亮之被攝體之光之入射之圖。 圖9係顯示一實施形態之入射有來自明亮之被攝體之光之攝像像素之圖。 圖10係顯示一實施形態之修正之處理之流程圖。 圖11係顯示一實施形態之雜訊修正之圖。 圖12係顯示一實施形態之修正之處理之流程圖。 圖13係顯示一實施形態之修正之處理之流程圖。 圖14係顯示一實施形態之攝像部之配置例之剖視圖。 圖15係顯示因顯示部之配線所致之攝像部之圖像劣化之樣態之圖。 圖16係顯示因顯示部之配線所致之攝像部之圖像劣化之樣態之圖。 圖17示意性地顯示一實施形態之相機模組之剖視圖。 圖18係將一實施形態之電子機器應用於膠囊型內視鏡之情形下之平面圖。 圖19係將一實施形態之電子機器應用於數位單反相機之後視圖。 圖20係將一實施形態之電子機器應用於頭戴式顯示器之後視圖。 圖21係將一實施形態之電子機器應用於頭戴式顯示器之後視圖。
1:電子機器
2:顯示部
3:相機模組
4:顯示面板
4a:基板
5:圓偏光板
6:觸控面板
7:保護玻璃
8:攝像部
9:光學系統

Claims (18)

  1. 一種電子機器，其具有： 顯示部； 攝像部，其配置於前述顯示部之與顯示面為相反側；及 信號處理部；且 前述攝像部具備： 複數個晶載透鏡，及 複數個像素，並且 前述晶載透鏡具有第1晶載透鏡， 前述複數個像素具有第1像素， 前述第1像素與第1晶載透鏡重疊地配置， 前述第1像素具有複數個光電轉換部， 前述信號處理部處理自前述複數個像素輸出之信號。
  2. 如請求項1之電子機器，其中前述第1像素取得特定色之資訊。
  3. 如請求項2之電子機器，其中前述第1像素具備色濾光器，或具備供屬同一前述第1像素之各個前述光電轉換部進行相同色之受光之有機光電轉換膜。
  4. 如請求項1之電子機器，其中前述第1像素具備m×n(m、n分別為2以上之整數)個前述光電轉換部。
  5. 如請求項1之電子機器，其中前述光電轉換部具備光電二極體。
  6. 如請求項2之電子機器，其中前述攝像部具有藉由拜耳排列而著色之複數個前述第1像素。
  7. 如請求項1之電子機器，其中前述信號處理部將屬同一前述第1像素之前述光電轉換部之輸出值加算，作為前述第1像素之輸出值。
  8. 如請求項1之電子機器，其中前述信號處理部當於形成於同一前述第1像素之前述光電轉換部中，來自各個前述光電轉換部之輸出值超過特定差分或特定比率之情形下，修正前述第1像素之輸出值。
  9. 如請求項8之電子機器，其中前述特定差分或前述特定比率基於前述光電轉換部之個體差、因前述光電轉換部之位置而產生之相位差、或於前述光電轉換部中產生之雜訊中之至少1者而決定。
  10. 如請求項8之電子機器，其中前述信號處理部於前述第1像素中，使用前述光電轉換部中之輸出值較低之像素來算出前述第1像素之輸出值。
  11. 如請求項8之電子機器，其中前述信號處理部使用取得位於前述第1像素之周邊之相同色之輸出值之前述第1像素之輸出值，修正前述第1像素之輸出值。
  12. 如請求項8之電子機器，其中在包含特定之亮度以上之被攝體之情形下，前述信號處理部進行前述第1像素之修正。
  13. 如請求項8之電子機器，其中前述信號處理部取得根據所取得之前述信號已進行炫光修正之圖像資料。
  14. 如請求項8之電子機器，其中在前述信號處理部判定是否於所拍攝到之圖像內產生炫光，且判定為產生炫光之情形下，進行炫光修正。
  15. 如請求項8之電子機器，其中前述信號處理部於所取得之前述第1像素中，基於屬該第1像素之複數個前述光電轉換部之輸出之平均值、屬該第1像素之前述光電轉換部之輸出中之感度較低之值、或將屬該第1像素之複數個前述光電轉換部之輸出輸入至已學習模型之值、之至少1者進行修正。
  16. 如請求項8之電子機器，其中前述信號處理部基於前述顯示部之電路或在前述顯示部與前述攝像部之間設置之光學系統，對於前述第1像素進行使用前述光電轉換部之修正。
  17. 如請求項16之電子機器，其中前述信號處理部當於前述第1像素中進行基於前述顯示部之電路或前述光學系統之修正之情形下，進行與其他前述第1像素不同之雜訊去除。
  18. 如請求項1之電子機器，其中前述顯示部設置於器件之兩面。
TW110101049A 2020-02-03 2021-01-12 電子機器 TW202143213A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-016524 2020-02-03
JP2020016524 2020-02-03

Publications (1)

Publication Number Publication Date
TW202143213A true TW202143213A (zh) 2021-11-16

Family

ID=77199289

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110101049A TW202143213A (zh) 2020-02-03 2021-01-12 電子機器

Country Status (8)

Country Link
US (1) US20230030068A1 (zh)
EP (1) EP4102816A4 (zh)
JP (1) JPWO2021157324A1 (zh)
KR (1) KR20220135235A (zh)
CN (2) CN214381044U (zh)
DE (1) DE112021000853T5 (zh)
TW (1) TW202143213A (zh)
WO (1) WO2021157324A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114066785A (zh) * 2020-07-31 2022-02-18 北京小米移动软件有限公司 图像处理方法及装置、终端和存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298253A (ja) * 1999-04-14 2000-10-24 Seiko Epson Corp 撮像機能付き液晶表示装置、コンピュータ、テレビジョン電話およびディジタルカメラ
JP3948387B2 (ja) * 2002-10-24 2007-07-25 松下電器産業株式会社 ディジタルカメラおよびディジタルカメラ付き携帯電話装置
US8223188B2 (en) * 2008-09-16 2012-07-17 Alcatel Lucent Monitor having integral camera and method of operating the same
JP5430795B2 (ja) * 2011-04-01 2014-03-05 富士フイルム株式会社 撮影装置及びプログラム
JP2013126180A (ja) * 2011-12-15 2013-06-24 Olympus Corp 映像装置
JP5750394B2 (ja) 2012-03-30 2015-07-22 富士フイルム株式会社 固体撮像素子及び撮像装置
US9057931B1 (en) * 2012-06-14 2015-06-16 Amazon Technologies, Inc. Display integrated camera
US9749562B2 (en) * 2015-11-13 2017-08-29 Omnivision Technologies, Inc. Liquid crystal display and infrared image sensor on silicon
JP6682319B2 (ja) * 2016-03-30 2020-04-15 キヤノン株式会社 焦点検出装置およびその方法、撮像装置、プログラム、記憶媒体
US10958841B2 (en) * 2017-01-06 2021-03-23 Intel Corporation Integrated image sensor and display pixel
CN108848317A (zh) * 2018-09-25 2018-11-20 Oppo（重庆）智能科技有限公司 拍照控制方法及相关产品
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器
US11367744B2 (en) * 2019-12-05 2022-06-21 Omnivision Technologies, Inc. Image sensor with shared microlens and polarization pixel
KR20210080875A (ko) * 2019-12-23 2021-07-01 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
DE112021000853T5 (de) 2022-12-08
CN214381044U (zh) 2021-10-08
US20230030068A1 (en) 2023-02-02
EP4102816A4 (en) 2023-08-16
WO2021157324A1 (ja) 2021-08-12
EP4102816A1 (en) 2022-12-14
JPWO2021157324A1 (zh) 2021-08-12
CN113286058A (zh) 2021-08-20
KR20220135235A (ko) 2022-10-06

Similar Documents

Publication Publication Date Title
KR102257454B1 (ko) 고체 화상 센서 및 그 제조 방법, 및 전자 장치
US8049801B2 (en) Image sensor and imaging apparatus
US8325241B2 (en) Image pickup apparatus that stores adjacent and contiguous pixel data before integration of same
JP5227368B2 (ja) ３次元撮像装置
JPWO2012042963A1 (ja) 固体撮像素子及び撮像装置
US9077977B2 (en) Image sensor and imaging apparatus with sensitivity versus incident angle ranges for 2D and 3D imaging
JP5507362B2 (ja) ３次元撮像装置および光透過板
CN212727101U (zh) 电子设备
WO2021157389A1 (ja) 電子機器
TW202143213A (zh) 電子機器
JP5914881B2 (ja) ３次元撮像装置、画像処理装置、画像処理方法、およびプログラム
WO2021157237A1 (ja) 電子機器
US20220343471A1 (en) Electronic apparatus
WO2021149503A1 (ja) 電子機器
JP5406163B2 (ja) ３次元撮像装置および画像処理装置
WO2022244354A1 (ja) 撮像素子及び電子機器
WO2022239394A1 (ja) 撮像素子、撮像装置及び電子機器