KR20220072834A - 전자기기 - Google Patents

전자기기 Download PDF

Info

Publication number
KR20220072834A
KR20220072834A KR1020227010648A KR20227010648A KR20220072834A KR 20220072834 A KR20220072834 A KR 20220072834A KR 1020227010648 A KR1020227010648 A KR 1020227010648A KR 20227010648 A KR20227010648 A KR 20227010648A KR 20220072834 A KR20220072834 A KR 20220072834A
Authority
KR
South Korea
Prior art keywords
photoelectric conversion
unit
conversion units
light
polarization
Prior art date
Application number
KR1020227010648A
Other languages
English (en)
Inventor
마사시 나카타
토모히로 야마자키
준이치 카나이
유이치로 바바
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20220072834A publication Critical patent/KR20220072834A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/23229—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/288—Filters employing polarising elements, e.g. Lyot or Solc filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G02B5/3058—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state comprising electrically conductive elements, e.g. wire grids, conductive particles
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N5/217—
    • H04N5/2253—
    • H04N5/2257—
    • H04N5/3572—
    • H04N9/04557—
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

[과제] 베젤의 폭을 삭감하면서, 카메라의 촬상 화상의 화질 저하도 억제할 수 있는 전자기기를 제공한다.
[해결 수단] 전자기기는, 표시부와, 상기 표시부의 표시면과는 반대측에 배치되는 촬상부를 구비하고, 상기 촬상부는, 상기 표시부를 거쳐 입사된 광을 광전 변환하는 복수의 광전 변환부와, 상기 복수의 광전 변환부 중 적어도 하나의 광전 변환부의 광입사측에 배치되는 복수의 편광 소자를 갖는다.

Description

전자기기
본 개시는, 전자기기에 관한 것이다.
최근의 스마트폰이나 휴대전화, PC(Personal Computer) 등의 전자기기는, 표시부의 테두리(베젤)에 카메라를 탑재하여, 화상 전화나 동영상 촬영을 손쉽게 가능하도록 하고 있다. 스마트폰이나 휴대전화는, 포켓이나 가방에 넣어 가지고 다니는 경우가 많기 때문에, 외형 사이즈를 가능한 한 컴팩트하게 할 필요가 있다. 그 한편, 표시 화면의 사이즈가 작으면, 표시 해상도가 높을수록, 표시되는 문자 사이즈가 작게 되어 시인하기 어려워진다. 이 때문에, 표시 화면의 주위에 있는 베젤 폭을 작게 함으로써, 전자기기의 외형 사이즈를 크게 하지 않으면서, 표시 화면의 사이즈를 가능한 한 크게 하는 것이 검토되고 있다.
그런데, 전자기기의 베젤에는, 카메라 등이 탑재되는 경우가 많기 때문에, 카메라의 외경 사이즈보다 베젤 폭을 작게 할 수는 없다.
또한, 베젤에 카메라를 배치하는 경우, 예를 들면 화상 전화로 대화할 때에, 시선은 표시 화면의 중앙 부근에 두는 경우가 많기 때문에, 카메라의 광축으로부터 시선이 어긋나게 되어, 시선이 맞지 않는 위화감이 있는 촬영 화상을 얻게 된다.
상술한 문제를 회피하기 위해, 표시부의 표시면과는 반대측에 카메라 모듈을 배치하여, 표시부를 통과한 피사체광을 카메라로 촬영하는 것이 제안되고 있다.
특허문헌 1: 미국특허공개공보 2018/0069060
그러나, 표시부를 통과하는 광의 일부는, 반사나 회절을 일으켜 카메라에 입사되기 때문에, 반사에 의한 플레어(flare)나 회절의 영향을 받아, 촬영 화상의 화질이 저하된다고 하는 문제가 있다.
본 개시의 일 양태에서는, 베젤의 폭을 삭감하면서, 카메라의 촬상 화상의 화질 저하도 억제할 수 있는 전자기기를 제공하는 것이다.
상기의 과제를 해결하기 위해, 본 개시에서는, 표시부와,
상기 표시부의 표시면과는 반대측에 배치되는 촬상부를 구비하고,
상기 촬상부는,
상기 표시부를 거쳐 입사된 광을 광전 변환하는 복수의 광전 변환부와,
상기 복수의 광전 변환부 중 적어도 하나의 광전 변환부의 광입사측에 배치되는 복수의 편광 소자를 갖는, 전자기기가 제공된다.
상기 복수의 편광 소자에 의해 편광되어 상기 광전 변환부에서 광전 변환된 편광 정보에 기초하여 상기 복수의 광전 변환부에서 광전 변환된 촬상 화상을 보정하는 보정부를 구비하여도 된다.
상기 보정부는, 상기 표시부를 통과할 때에 발생한 반사광 및 회절광 중 적어도 일방이 상기 복수의 광전 변환부에 입사되어 촬상된 성분을 제거하여도 된다.
상기 보정부는, 상기 광전 변환부에서 광전 변환되어 디지털화된 디지털 화소 데이터에 대해, 상기 편광 정보를 디지털화한 편광 정보 데이터에 기초한 보정량의 감산 처리를 행함으로써, 상기 디지털 화소 데이터를 보정하여도 된다.
상기 표시부에 설치되고, 입사된 광을 특정 방향으로 편광시키는 편광 부재를 구비하고,
상기 복수의 편광 소자 중 적어도 하나는, 상기 편광 부재에서 편광된 광을 통과시키고,
상기 보정부는, 상기 편광 부재에서 편광되어 상기 편광 소자를 통과하여 상기 광전 변환부에서 광전 변환된 상기 편광 정보에 기초하여 상기 복수의 광전 변환부에서 광전 변환된 촬상 화상을 보정하여도 된다.
상기 표시부에 입사되는 광의 광원 종류를 추정하는 광원 추정부를 구비하고,
상기 보정부는, 상기 광원 추정부에서 추정된 광원의 종류에 기초하여 상기 복수의 광전 변환부에서 광전 변환된 촬상 화상의 보정량을 조정하여도 된다.
상기 표시부의 표시 휘도를 추정하는 휘도 추정부를 구비하고,
상기 보정부는, 상기 표시부의 표시 휘도에 따라, 상기 복수의 광전 변환부에서 광전 변환된 촬상 화상의 보정량을 조정하여도 된다.
상기 보정부에서 보정된 촬상 화상에 대해, 노광 처리, 초점 조절 처리 및 화이트 밸런스 조정 처리 중 적어도 하나를 행하는 신호 처리부를 구비하여도 된다.
상기 보정부에서 보정된 촬상 화상에 대해 적어도 1종류의 신호 처리를 행하는 신호 처리부와,
상기 보정부가 상기 촬상 화상을 보정하는 보정량에 따라, 상기 촬상 화상을 신호 처리할 때의 파라미터를 조정하는 파라미터 조정부를 구비하여도 된다.
상기 신호 처리부가 행하는 신호 처리는, 상기 촬상 화상에 포함되는 노이즈 성분을 제거하는 노이즈 저감 처리와, 상기 촬상 화상의 에지를 강조하는 에지 강조 처리 중 적어도 일방을 포함하고,
상기 파라미터 조정부는, 상기 보정량에 따라, 상기 노이즈 저감 처리 및 상기 에지 강조 처리 중 적어도 일방을 행할 때의 파라미터를 조정하여도 된다.
상기 파라미터 조정부는, 상기 보정량이 큰 촬상 화상일수록, 상기 노이즈 저감 처리에 있어서의 노이즈 제거의 정도를 보다 높게 하는 처리와, 상기 에지 강조 처리에 있어서의 에지 강조의 정도를 보다 높게 하는 처리 중 적어도 일방을 행하여도 된다.
상기 신호 처리부는, 노광 조정 처리를 포함하는 신호 처리를 행하고, 상기 노광 조정 처리를 행할 때에는, 상기 복수의 광전 변환부의 출력값이 포화하지 않도록 노광 조정을 행하여도 된다.
상기 편광 소자에 의해 편광된 광이 입사되는 상기 광전 변환부의 출력값을, 주위의 2 이상의 상기 광전 변환부의 출력값을 사용하여 보정하는 결함 보정부를 구비하여도 된다.
상기 광전 변환부와, 상기 광전 변환부에 광을 집광시키는 광학계를 갖는 촬상 장치를 구비하고,
상기 촬상 장치는, 상기 표시부의 표시면의 대략 중앙부 부근의 반대측에 배치되어도 된다.
상기 복수의 광전 변환부 중, 출력값이 포화된 광전 변환부에 대해, 해당 광전 변환부의 주변에 배치되어 있는 하나 이상의 상기 편광 소자에 의해 편광되어 상기 광전 변환부에서 광전 변환된 편광 정보에 기초하여 출력값이 포화된 광전 변환부의 출력값을 보정하는 결함 보정부를 구비하여도 된다.
상기 광전 변환부는, 복수의 분할 광전 변환부를 갖고,
상기 복수의 편광 소자에 의해 편광된 광은, 일부의 상기 광전 변환부에 있어서의 상기 복수의 분할 광전 변환부에 입사되어도 된다.
상기 광전 변환부는, 복수의 분할 광전 변환부를 갖고,
상기 편광 소자에 의해 편광된 광은, 임의의 상기 광전 변환부에 있어서의 일부의 상기 분할 광전 변환부에 입사되어도 된다.
상기 광전 변환부는, 복수의 분할 광전 변환부를 갖고,
상기 편광 소자에 의해 편광된 광은, 2 이상의 상기 광전 변환부의 일부씩 상기 분할 광전 변환부에 입사되어도 된다.
상기 복수의 광전 변환부는, 복수의 분할 광전 변환부를 갖고,
상기 복수의 광전 변환부에는, 상기 복수의 편광 소자에 의해 편광된 광이 입사되어도 된다.
상기 광전 변환부는, 한 방향으로 복수로 분할되어 위상차 정보를 검출 가능한 복수의 분할 광전 변환부를 갖고,
상기 편광 소자에 의해 편광된 광은, 임의의 상기 광전 변환부에 있어서의 상기 복수의 분할 광전 변환부에 입사되어도 된다.
도 1은 제1 실시형태에 따른 전자기기의 모식적인 단면도이다.
도 2(a)는 도 1의 전자기기의 모식적인 외관도, 도 2(b)는 도 2(a)의 A-A선 방향의 단면도이다.
도 3은 복수의 편광 화소와 복수의 비편광 화소의 화소 배열의 일례를 나타내는 평면도이다.
도 4a는 본 실시형태에 따른 촬상부의 상세한 단면 구조를 나타내는 도면이다.
도 4b는 온 칩 렌즈 위에 복수의 편광 화소를 배치하는 경우의 단면도이다.
도 5는 각 편광 화소의 상세한 구조의 일례를 나타내는 사시도이다.
도 6a는 도 1의 전자기기로 피사체를 촬영할 때에 플레어가 생긴 모습을 모식적으로 나타내는 도면이다.
도 6b는 도 6a의 촬상 화상에 포함되는 신호 성분을 나타내는 도면이다.
도 7a는 본 실시형태에 따른 보정 처리를 개념적으로 설명하는 도면이다.
도 7b는 본 실시형태에 따른 보정 처리를 개념적으로 설명하는 도면이다.
도 7c는 본 실시형태에 따른 보정 처리를 개념적으로 설명하는 도면이다.
도 8은 본 실시형태에 따른 전자기기의 내부 구성을 나타내는 블록도이다.
도 9는 본 실시형태에 따른 전자기기가 수행하는 촬영 처리의 처리 순서를 나타내는 플로우차트이다.
도 10은 본 실시형태에 따른 전자기기가 수행하는 촬영 처리의 처리 순서를 나타내는 플로우차트이다.
도 11은 제3 실시형태에 따른 복수의 편광 화소와 복수의 비편광 화소의 화소 배열의 일례를 나타내는 평면도이다.
도 12는 분할 구조의 제1 변형예를 나타내는 평면도이다.
도 13은 분할 구조의 제2 변형예를 나타내는 평면도이다.
도 14는 분할 구조의 제3 변형예를 나타내는 평면도이다.
도 15는 분할 구조의 제4 변형예를 나타내는 평면도이다.
도 16은 제4 실시형태에 따른 전자기기의 모식적인 단면도이다.
도 17은 표시부(2)의 구조에 특징을 가진 제1 변형예의 단면도이다.
도 18은 표시부(2)의 구조에 특징을 가진 제2 변형예의 단면도이다.
도 19는 제1∼제4 실시형태의 전자기기를 캡슐 내시경에 적용한 경우의 평면도이다.
도 20은 제1∼제4 실시형태의 전자기기를 디지털 SLR 카메라에 적용한 경우의 배면도이다.
도 21a는 전자기기(1)를 HMD에 적용한 예를 나타내는 도면이다.
도 21b는 현재의 HMD를 나타내는 도면이다.
도 22는 제6 실시형태에 따른 전자기기의 개략 구성을 나타내는 블록도이다.
도 23은 제6 실시형태의 일 변형예에 따른 전자기기의 개략 구성을 나타내는 블록도이다.
도 24는 제7 실시형태에 따른 전자기기에 탑재되는 카메라 모듈의 촬상부의 단면 구조를 나타내는 도면이다.
이하, 도면을 참조하여, 전자기기의 실시형태에 대해서 설명한다. 이하에서는, 전자기기의 주요한 구성 부분을 중심으로 설명하지만, 전자기기에는, 도시 또는 설명되어 있지 않은 구성 부분이나 기능이 존재할 수 있다. 이하의 설명은, 도시 또는 설명되어 있지 않은 구성 부분이나 기능을 제외하는 것은 아니다.
(제1 실시형태)
도 1은 제1 실시형태에 따른 전자기기(1)의 모식적인 단면도이다. 도 1의 전자기기(1)는, 스마트폰이나 휴대전화, 태블릿, PC 등, 표시 기능과 촬영 기능을 겸비한 임의의 전자기기이다. 도 1의 전자기기(1)는, 표시부(2)의 표시면과는 반대측에 배치되는 카메라 모듈(촬상부)을 구비하고 있다. 이와 같이, 도 1의 전자기기(1)는, 표시부(2)의 표시면의 이면측에 카메라 모듈(3)을 설치하고 있다. 따라서, 카메라 모듈(3)은, 표시부(2)를 통해 촬영을 행하게 된다.
도 2(a)는 도 1의 전자기기(1)의 모식적인 외관도, 도 2(b)는 도 2(a)의 A-A선 방향의 단면도이다. 도 2(a)의 예에서는, 전자기기(1)의 외형 사이즈의 근처까지 표시 화면(1a)이 펼쳐져 있고, 표시 화면(1a)의 주위에 있는 베젤(1b)의 폭을 수 mm 이하로 하고 있다. 통상, 베젤(1b)에는, 프론트 카메라가 탑재되는 경우가 많지만, 도 2(a)에서는, 파선으로 나타낸 바와 같이, 표시 화면(1a)의 대략 중앙부의 이면측에 프론트 카메라로서 기능하는 카메라 모듈(3)을 배치하고 있다. 이와 같이, 프론트 카메라를 표시 화면(1a)의 이면측에 설치함으로써, 베젤(1b)에 프론트 카메라를 배치할 필요가 없게 되어, 베젤(1b)의 폭을 좁힐 수 있다.
한편, 도 2(a)에서는, 표시 화면(1a)의 대략 중앙부의 이면측에 카메라 모듈(3)을 배치하고 있지만, 본 실시형태에서는, 표시 화면(1a)의 이면측이면 되고, 예를 들면 표시 화면(1a)의 주변부의 가까운 이면측에 카메라 모듈(3)을 배치하여도 된다. 이와 같이, 본 실시형태에 있어서의 카메라 모듈(3)은, 표시 화면(1a)과 중첩되는 이면측의 임의의 위치에 배치된다.
도 1에 나타낸 바와 같이, 표시부(2)는, 표시 패널(4), 원편광판(5), 터치 패널(6), 및 커버 글래스(7)를 차례로 적층한 구조체이다. 표시 패널(4)은, 예를 들면 OLED(Organic Light Emitting Device) 부이어도 되고, 액정 표시부이어도 되고, Micro LED이어도 되고, 그 밖의 표시 원리에 기초한 표시부(2)이어도 된다. OLED부 등의 표시 패널(4)은, 복수의 층으로 구성되어 있다. 표시 패널(4)에는, 컬러 필터층 등의 투과율이 낮은 부재가 설치되는 경우가 많다. 후술하는 바와 같이, 표시 패널(4)에 있어서의 투과율이 낮은 부재에는, 카메라 모듈(3)의 배치 장소에 맞추어, 관통 구멍을 형성하여도 된다. 관통 구멍을 통한 피사체광이 카메라 모듈(3)에 입사되도록 하면, 카메라 모듈(3)에 의해 촬상되는 화상의 화질을 향상시킬 수 있다.
원편광판(5)은, 눈부심을 저감시키거나, 밝은 환경 하에서도 표시 화면(1a)의 시인성을 높이기 위해 설치되어 있다. 터치 패널(6)에는, 터치 센서가 갖추어져 있다. 터치 센서에는, 정전 용량형이나 저항막형 등, 다양한 방식이 있지만, 어느 방식을 사용하여도 된다. 또한, 터치 패널(6)과 표시 패널(4)을 일체화하여도 된다. 커버 글래스(7)는, 표시 패널(4) 등을 보호하기 위해 설치되어 있다.
카메라 모듈(3)은, 촬상부(8)와, 광학계(9)를 갖는다. 광학계(9)는, 촬상부(8)의 광입사면측, 즉 표시부(2)에 가까운 측에 배치되며, 표시부(2)를 통과한 광을 촬상부(8)에 집광시킨다. 광학계(9)는, 통상은 복수의 렌즈로 구성되어 있다.
촬상부(8)는, 복수의 광전 변환부(8a)와, 복수의 편광 소자(8b)를 갖는다. 광전 변환부(8a)는, 표시부(2)를 통해 입사된 광을 광전 변환한다. 광전 변환부(8a)는, CMOS(Complementary Metal Oxide Semiconductor) 센서이어도 되고, CCD(Charge Coupled Device) 센서이어도 된다. 또한, 광전 변환부(8a)는, 포토다이오드이어도 되고, 유기 광전 변환막이어도 된다. 복수의 광전 변환부(8a)는 임의의 방식으로 배열할 수 있다. 복수의 광전 변환부(8a)의 배열 방식은, 베이어 배열(Bayer array)이어도 되고, 인터라인 배열(interline array)이어도 되고, 바둑판 배열(checkered array)이어도 되고, 스트라이프 배열(stripe array)이어도 되고, 그 밖의 배열이어도 된다.
복수의 편광 소자(8b)는, 복수의 광전 변환부(8a) 중 적어도 하나의 광전 변환부(8a)의 광입사측에 배치되어 있다. 편광 소자(8b)는, 표시부(2)를 통과하여 입사된 광을 편광시킨다. 편광 소자(8b)에 의해 편광된 광은, 대응하는 광전 변환부(8a)에 입사되어 광전 변환된다. 본 명세서에서는, 편광 소자(8b)에 의해 편광된 광을 광전 변환하는 광전 변환부(8a)의 출력값을 편광 정보라고 부르고, 편광 소자(8b)를 경유하지 않고 입사된 광을 광전 변환하는 광전 변환부(8a)의 출력값을 화소값 또는 화소 정보라고 부른다. 또한, 본 명세서에서는, 편광 소자(8b)와, 그 편광 소자(8b)에 의해 편광된 광을 광전 변환하는 광전 변환부(8a)를 합쳐 편광 화소라고 부르고, 편광 소자(8b)를 경유하지 않고 입사된 광을 광전 변환하는 광전 변환부(8a)를 비편광 화소라고 부른다.
도 3은 복수의 편광 화소(81)와 복수의 비편광 화소(82)의 화소 배열의 일례를 나타내는 평면도이다. 도 3의 예에서는, RGB의 3색용의 복수의 비편광 화소(82)가 2차원 방향으로 배치되어 있고, 복수의 비편광 화소(82) 사이에 복수의 편광 화소(81)가 각각 이격하여 배치되어 있다.
도 3은, 광입사측에서 복수의 비편광 화소(82)와 복수의 편광 화소(81)를 본 평면도이다. 도 3의 예에서는, 8×8=64개의 비편광 화소(82)의 배치 에리어 내에, 편광 방향이 다른 4종류의 편광 화소(81)가 1개씩 배치되어 있지만, 비편광 화소(82)의 수에 대한 편광 화소(81)의 수의 비율이나 편광 화소(81)의 종류, 편광 화소(81)의 배치 장소는 임의이다.
도 4a는 본 실시형태에 따른 촬상부(8)의 상세한 단면 구조를 나타내는 도면이다. 도 4a에 나타낸 바와 같이, 기판(11) 내에는 복수의 광전 변환부(8a)가 배치되어 있다. 기판(11)의 제1 면(11a) 측에는, 복수의 배선층(12)이 배치되어 있다. 복수의 배선층(12)의 주위에는 층간 절연막(13)이 배치되어 있다. 이들 배선층(12)끼리와, 배선층(12)과 광전 변환부(8a)를 접속하는 도시하지 않은 컨택트가 설치되지만, 도 4a에서는 생략하고 있다.
기판(11)의 제2 면(1lb) 측에는, 평탄화층(14)을 통해 차광층(15)이 화소의 경계 부근에 배치되고, 차광층(15)의 주위에는 하지 절연층(16)이 배치되어 있다. 하지 절연층(16) 위에, 복수의 편광 소자(8b)가 이격하여 배치되어 있다. 도 4a의 각 편광 소자(8b)는, 절연층(17)의 일부에 배치되는 라인·앤드·스페이스(line-and-space) 구조의 와이어 그리드 편광 소자이다.
도 5는 각 편광 소자(8b)의 상세한 구조의 일례를 나타내는 사시도이다. 복수의 편광 소자(8b)의 각각은, 도 5에 나타낸 바와 같이, 한 방향으로 연장하는 볼록 형상의 복수 라인부(8d)와, 각 라인부(8d) 사이의 스페이스부(8e)를 갖는다. 편광 소자(8b)에는, 라인부(8d)가 연장하는 방향이 각각 다른 복수 종류가 있다. 보다 구체적으로는, 편광 소자(8b)에는 3종류 이상이 있으며, 예를 들면, 광전 변환부(8a)의 배열 방향과 라인부(8d)의 연장 방향의 이루는 각도는 0도, 60도, 120도의 3종류이어도 된다. 또는, 광전 변환부(8a)의 배열 방향과 라인부(8d)의 연장 방향의 이루는 각도는 0도, 45도, 90도, 135도의 4종류이어도 되고, 그 이외의 각도이어도 된다. 또는, 복수의 편광 소자(8b)는, 단일 방향만의 편광을 하는 것이어도 된다. 복수의 편광 소자(8b)의 재료는, 알루미늄이나 텅스텐 등의 금속 재료이어도 되고, 유기 광전 변환막이어도 된다.
이와 같이, 각 편광 소자(8b)는, 일 방향으로 연장하는 복수의 라인부(8d)를, 일 방향과 교차하는 방향으로 이격하여 배치한 구조를 갖는다. 라인부(8d)가 연장하는 방향이 각각 다른 복수 종류의 편광 소자(8b)가 존재한다. 이들 편광 소자(8b)는, 복수의 광전 변환부(8a)의 2차원 배열의 일부와 중첩하도록 이격하여 배치되어 있다.
라인부(8d)는, 광반사층(8f)과, 절연층(8g)과, 광흡수층(8h)을 적층한 적층 구조이다. 광반사층(8f)는, 예를 들면 알루미늄 등의 금속 재료로 형성되어 있다. 절연층(8g)는, 예를 들면 SiO2 등으로 형성되어 있다. 광흡수층(8h)은, 예를 들면 텅스텐 등의 금속 재료이다.
도 4a로 돌아가, 복수의 편광 소자(8b)가 배치되는 절연층(17) 위에는, 보호층(18, 19)을 통해 평탄화층(20)이 배치되어 있다. 평탄화층(20) 위에는, 컬러 필터층(21)이 배치되어 있다. 컬러 필터층(21)은, RGB의 3색의 필터층을 갖고 있어도 되고, 그 보색인 시안, 마젠타, 옐로우의 필터층을 갖고 있어도 된다. 또는, 적외광 등의 가시광 이외의 색을 투과시키는 필터층을 갖고 있어도 되고, 멀티스펙트럼 특성을 갖는 필터층을 갖고 있어도 되고, 화이트 등의 감색(減色)의 필터층을 갖고 있어도 된다. 적외광 등의 가시광 이외의 광을 투과시킴으로써, 뎁스 정보 등의 센싱 정보를 검출할 수 있다. 컬러 필터층(21) 위에는, 온 칩 렌즈(22)가 배치되어 있다.
도 4a의 단면 구조에서는, 복수의 편광 소자(8b) 위에 온 칩 렌즈(22)를 배치하고 있지만, 도 4b에 나타낸 바와 같이, 온 칩 렌즈(22) 위에 복수의 편광 소자(8b)를 배치하여도 된다. 도 4b의 단면 구조는, 온 칩 렌즈(22)와 복수의 편광 소자(8b)의 적층 순서가 다른 것 이외에는, 도 4a와 마찬가지이다.
또한, 도 4a와 도 4b의 단면 구조의 일부 층 구성을 임의로 변경하여도 된다. 예를 들면, 도 4a에 있어서의 복수의 편광 소자(8b)가 배치되는 절연층(16)과 컬러 필터층(21)을 통합하여 하나의 층으로 하여도 된다.
다음으로, 본 실시형태에 따른 전자기기(1)의 특징적인 동작을 설명한다. 도 6a는, 도 1의 전자기기(1)로 피사체를 촬영할 때 플레어가 발생한 모습을 모식적으로 나타내는 도면이다. 플레어는, 전자기기(1)의 표시부(2)에 입사된 광의 일부가 표시부(2) 내의 임의의 부재에 의해 반사를 반복한 후, 촬상부(8)에 입사되어 촬상 화상에 비춰짐으로써 발생한다. 촬상 화상에 플레어가 발생하면, 도 6a에 나타낸 바와 같이 휘도 차나 색조의 변화가 발생하여 화질이 저하된다.
도 6b는 도 6a의 촬상 화상에 포함되는 신호 성분을 나타내는 도면이다. 도 6b에 나타낸 바와 같이, 촬영 화상에는, 피사체 신호와 플레어 성분이 포함되어 있다.
도 7a, 도 7b 및 도 7c는, 본 실시형태에 따른 보정 처리를 개념적으로 설명하는 도면이다. 도 7a에 나타낸 바와 같이, 본 실시형태에 따른 촬상부(8)는, 복수의 편광 화소(81)와 복수의 비편광 화소(82)를 갖는다. 도 7a에 나타내는 복수의 비편광 화소(82)에 의해 광전 변환되는 화소 정보에는, 도 6b에 나타낸 바와 같이, 피사체 신호와 플레어 성분을 포함하고 있다. 이에 대해, 도 7a에 나타내는 복수의 편광 화소(81)에 의해 광전 변환되는 편광 정보는 플레어 성분의 정보이다. 따라서, 복수의 비편광 화소(82)에 의해 광전 변환된 화소 정보에서, 복수의 편광 화소(81)에 의해 광전 변환된 편광 정보를 뺌으로써, 도 7b에 나타낸 바와 같이, 플레어 성분이 제거되어 피사체 신호가 얻어진다. 이 피사체 신호에 기초한 화상을 표시부(2)에 표시하면, 도 7c에 나타낸 바와 같이, 도 6a에서는 존재하고 있었던 플레어가 제거된 피사체 화상이 표시되게 된다.
도 6a∼도 6b와 도 7a∼도 7c에서는, 피사체 화상이 플레어의 영향을 받는 예를 설명하였으나, 표시부(2)에 입사된 외광은, 표시부(2) 내의 배선 패턴 등에서 회절을 일으켜, 회절광이 촬상부(8)에 입사되는 경우도 있다. 이와 같이, 촬상 화상에는, 플레어와 회절광 중 적어도 일방이 비춰질 우려가 있다.
도 8은 본 실시형태에 따른 전자기기(1)의 내부 구성을 나타내는 블록도이다. 도 8의 전자기기(1)는, 광학계(9)와, 촬상부(8)와, A/D 변환기(31)와, 클램프부(32)와, 컬러 출력부(33)와, 편광 출력부(34)와, 플레어 추출부(35)와, 플레어 보정 신호 생성부(36)와, 결함 보정부(37)와, 리니어 매트릭스부(38)와, 감마 보정부(39)와, 휘도 크로마 신호 생성부(40)와, 초점 조절부(41)와, 노광 조정부(42)와, 노이즈 저감부(43)와, 에지 강조부(44)와, 출력부(45)를 구비하고 있다.
광학계(9)는, 1이상의 렌즈(9a)와, IR(Infrared Ray) 컷(cut) 필터(9b)를 갖는다. IR컷 필터(9b)는 생략하여도 된다. 촬상부(8)는, 상술한 바와 같이, 복수의 비편광 화소(82)를 갖는 광전 변환부(8a)와, 복수의 편광 화소(81)를 갖는다.
복수의 편광 화소(81)의 출력값과 복수의 비편광 화소(82)의 출력값은, A/D 변환기(31)에 입력된다. A/D 변환기(31)는, 복수의 편광 화소(81)의 출력값을 디지털화한 편광 정보 데이터와, 복수의 비편광 화소(82)의 출력값을 디지털화한 디지털 화소 데이터를 출력한다.
클램프부(32)는, 블랙 레벨을 규정하는 처리를 행하고, 디지털 화소 데이터와 편광 정보 데이터의 각각으로부터 블랙 레벨 데이터를 감산한다. 클램프부(32)의 출력 데이터는 분기되어, 컬러 출력부(33)로부터는 RGB의 디지털 화소 데이터가 출력되고, 편광 출력부(34)로부터는 편광 정보 데이터가 출력된다. 플레어 추출부(35)는, 편광 정보 데이터로부터, 플레어 성분과 회절광 성분 중 적어도 일방을 추출한다. 본 명세서에서는, 플레어 추출부(35)에 의해 추출된 플레어 성분과 회절광 성분 중 적어도 일방을 보정량이라고 부르는 경우가 있다.
플레어 보정 신호 생성부(36)는, 컬러 출력부(33)에서 출력된 디지털 화소 데이터에 대해, 플레어 추출부(35)에서 추출된 보정량의 감산 처리를 행함으로써, 디지털 화소 데이터를 보정한다. 플레어 보정 신호 생성부(36)의 출력 데이터는, 플레어 성분 및 회절광 성분 중 적어도 일방이 제거된 디지털 화소 데이터이다. 이와 같이, 플레어 보정 신호 생성부(36)는, 편광 정보에 기초하여 복수의 비편광 화소(82)에 의해 광전 변환된 촬상 화상을 보정하는 보정부로서 기능한다.
편광 화소(81)의 화소 위치에 있어서의 디지털 화소 데이터는, 편광 소자(8b)를 통과한 만큼, 신호 레벨이 낮아져 있다. 이 때문에, 결함 보정부(37)는, 편광 화소(81)를 결함으로 간주하고, 소정의 결함 보정 처리를 행한다. 이 경우의 결함 보정 처리는, 주위의 화소 위치의 디지털 화소 데이터를 사용하여 보간하는 처리이어도 된다.
리니어 매트릭스부(38)는, RGB 등의 색 정보에 대한 행렬 연산을 행함으로써, 보다 정확한 색 재현을 행한다. 리니어 매트릭스부(38)는, 컬러 매트릭스부라고도 불린다.
감마 보정부(39)는, 표시부(2)의 표시 특성에 맞추어, 시인성이 우수한 표시가 가능하게 되도록 감마 보정을 행한다. 예를 들면, 감마 보정부(39)는, 구배를 변화시키면서 10비트에서 8비트로의 변환을 행한다.
휘도 크로마 신호 생성부(40)는, 감마 보정부(39)의 출력 데이터에 기초하여 표시부(2)에 표시시키기 위한 휘도 크로마 신호를 생성한다.
초점 조절부(41)는, 결함 보정 처리를 행한 후의 휘도 크로마 신호에 기초하여 오토 포커스 처리를 행한다. 노광 조정부(42)는, 결함 보정 처리를 행한 후의 휘도 크로마 신호에 기초하여 노광 조정을 행한다. 노광 조정을 행할 때는, 각 비편광 화소(82)의 화소값이 포화하지 않도록 상한 클립(upper limit clip)을 두고 노광 조정을 행하여도 된다. 또한, 노광 조정을 행하여도, 각 비편광 화소(82)의 화소값이 포화하는 경우에는, 그 비편광 화소(82)의 주위에 있는 편광 화소(81)의 화소값에 기초하여 포화한 비편광 화소(82)의 화소값을 추정하여도 된다.
노이즈 저감부(43)는, 휘도 크로마 신호에 포함되는 노이즈를 삭감하는 처리를 행한다. 에지 강조부(44)는, 휘도 크로마 신호에 기초하여 피사체 화상의 에지를 강조하는 처리를 행한다. 노이즈 저감부(43)에 의한 노이즈 저감 처리와, 에지 강조부(44)에 의한 에지 강조 처리는, 소정의 조건을 만족하는 경우에만 행하여져도 된다. 소정의 조건이란, 예를 들면, 플레어 추출부(35)에서 추출된 플레어 성분이나 회절광 성분의 보정량이 소정의 임계값을 초과한 경우이다. 촬상 화상에 포함되는 플레어 성분이나 회절광 성분이 많을수록, 플레어 성분이나 회절광 성분을 제거하였을 때의 화상에 노이즈가 많아지거나, 에지가 희미해진다. 이 때문에, 보정량이 임계값을 초과한 경우에만, 노이즈 저감 처리나 에지 강조 처리를 행함으로써, 노이즈 저감 처리나 에지 강조 처리를 행하는 빈도를 줄일 수 있다.
도 8의 결함 보정부(37)와, 리니어 매트릭스부(38)와, 감마 보정부(39)와, 휘도 크로마 신호 생성부(40)와, 초점 조절부(41)와, 노광 조정부(42)와, 노이즈 저감부(43)와, 에지 강조부(44) 중 적어도 일부의 신호 처리는, 촬상부(8)를 갖는 촬상 센서 내의 로직 회로에 의해 실행하여도 되고, 촬상 센서를 탑재하는 전자기기(1) 내의 신호 처리 회로에 의해 실행하여도 된다. 또는, 전자기기(1)와 네트워크를 통해 정보의 송수신을 행하는 클라우드 상의 서버 등에 의해, 도 8의 적어도 일부의 신호 처리를 실행하여도 된다. 도 8의 블록도에 도시된 바와 같이, 본 실시형태에 따른 전자기기(1)는, 플레어 보정 신호 생성부(36)에 의해, 플레어 성분 및 회절광 성분 중 적어도 일방이 제거된 디지털 화소 데이터에 대해 다양한 신호 처리를 행한다. 특히, 노광 처리, 초점 조절 처리 및 화이트 밸런스 조정 처리 등의 일부의 신호 처리는, 플레어 성분이나 회절광 성분을 포함한 상태에서 신호 처리를 행하더라도, 양호한 신호 처리 결과는 얻어지지 않기 때문이다.
도 9는 본 실시형태에 따른 전자기기(1)가 행하는 촬영 처리의 처리 순서를 나타내는 플로우차트이다. 먼저, 카메라 모듈(3)을 기동한다(스텝(S1)). 이에 의해, 촬상부(8)에 전원 전압이 공급되고, 촬상부(8)는 입사광의 촬상을 시작한다. 보다 구체적으로는, 복수의 비편광 화소(82)는 입사광을 광전 변환하고, 복수의 편광 화소(81)는 입사광의 편광 정보를 취득한다(스텝(S2)). A/D 변환기(31)는, 복수의 편광 화소(81)의 출력값을 디지털화한 편광 정보 데이터와, 복수의 비편광 화소(82)의 출력값을 디지털화한 디지털 화소 데이터를 출력한다(스텝(S3)).
다음으로, 플레어 추출부(35)는, 편광 정보 데이터에 기초하여 플레어나 회절이 발생하였는지의 여부를 판정한다(스텝(S4)). 여기에서는, 예를 들면, 편광 정보 데이터가 소정의 임계값을 초과하면, 플레어나 회절이 발생한 것으로 판정한다. 플레어나 회절이 발생한 것으로 판정되면, 플레어 추출부(35)는, 편광 정보 데이터에 기초하여 플레어 성분이나 회절광 성분의 보정량을 추출한다(스텝(S5)). 플레어 보정 신호 생성부(36)는, 디지털 화소 데이터로부터 보정량을 감산하고, 플레어 성분이나 회절광 성분이 제거된 디지털 화소 데이터를 생성한다(스텝(S6)).
다음으로, 스텝(S6)에서 보정된 디지털 화소 데이터, 또는 스텝(S4)에서 플레어나 회절이 발생하지 않았다고 판정된 디지털 화소 데이터에 대해, 각종의 신호 처리를 행한다(스텝(S7)). 보다 구체적으로는, 스텝(S7)에서는, 도 8에 나타낸 바와 같이, 결함 보정 처리, 리니어 매트릭스 처리, 감마 보정 처리, 휘도 크로마 신호 생성 처리, 노광 처리, 초점 조절 처리, 화이트 밸런스 조정 처리, 노이즈 저감 처리, 에지 강조 처리 등의 처리를 행한다. 한편, 신호 처리의 종류나 실행 순서는 임의이며, 도 8에 나타낸 일부 블록의 신호 처리를 생략하여도 되고, 도 8에 나타낸 블록 이외의 신호 처리를 행하여도 된다.
스텝(S7)의 신호 처리를 행한 디지털 화소 데이터는 출력부(45)로부터 출력되고, 도시하지 않은 메모리에 기억되어도 되고, 라이브 화상으로서 표시부(2)에 표시되어도 된다(스텝(S8)).
이와 같이, 제1 실시형태에서는, 표시부(2)의 표시면과는 반대측에 카메라 모듈(3)을 배치하고, 표시부(2)를 통과하는 광의 편광 정보를 복수의 편광 화소(81)에서 취득한다. 표시부(2)를 통과하는 광의 일부는, 표시부(2) 내에서 반사를 반복한 후에, 카메라 모듈(3) 내의 복수의 비편광 화소(82)에 입사된다. 본 실시형태에 의하면, 상술한 편광 정보를 취득함으로써, 표시부(2) 내에서 반사를 반복한 후 복수의 비편광 화소(82)에 입사되는 광에 포함되는 플레어 성분이나 회절광 성분을 간단하면서 신뢰성 높게 제거한 상태에서 촬상 화상을 생성할 수 있다. 보다 구체적으로는, 본 실시형태에서는, 편광 소자(8b)를 경유하지 않고 입사된 광을 광전 변환하는 복수의 비편광 화소(82)가 촬상하여 A/D 변환된 디지털 화소 데이터에 대해, 복수의 편광 화소(81)가 취득한 편광 정보에 기초한 보정량의 감산 처리를 행함으로써, 플레어 성분이나 회절광 성분이 제거된 디지털 화소 데이터를 생성할 수 있다.
(제2 실시형태)
도 8의 플레어 보정 신호 생성부(36)에서는, 복수의 비편광 화소(82)에 의해 촬상된 디지털 화소 데이터에 대해, 복수의 편광 화소(81)에 의해 취득된 편광 정보에 기초한 보정량의 감산 처리를 행하고 있지만, 이 감산 처리에 의해, 감산 후의 디지털 화소 데이터의 S/N비는 악화될 우려가 있다. 이는, 플레어 성분에 중첩되어 있는 광 샷 노이즈(light shot noise)는 상술한 감산 처리에서는 제거할 수 없기 때문이다.
이에, 플레어 성분이나 회절광 성분에 의한 보정량의 크기에 따라, 노이즈 저감 처리의 노이즈 제거 정도를 조정하여도 된다. 보다 구체적으로는, 보정량이 클수록, 노이즈 저감 처리의 노이즈 제거 정도를 보다 높인다. 또한, 노이즈 저감 처리의 노이즈 제거 정도를 보다 높임으로써, 에지가 선명하지 않게 되는 경우에는, 에지 강조 처리의 에지 강조 정도를 보다 높여도 된다.
도 10은 본 실시형태에 따른 전자기기(1)가 행하는 촬영 처리의 처리 순서를 나타내는 플로우차트이다. 스텝(S11)∼스텝(S16)까지의 처리는, 도 9의 스텝(S1)∼스텝(S6)과 마찬가지이기 때문에, 설명을 생략한다. 스텝(S16)에서, 디지털 화소 데이터로부터 보정량을 감산하는 처리가 종료하면, 다음으로, 스텝(S14)에서 추출된 보정량이 소정의 임계값을 초과하였는지 여부를 판정한다(스텝(S17)). 보정량이 임계값을 초과하였다고 판정되면, 노이즈 저감 처리의 노이즈 제거 정도와, 에지 강조 처리의 에지 강조 정도 중 적어도 일방을 보다 높게 한다(스텝(S18)). 즉, 플레어 성분이나 회절광 성분의 보정량이 큰 경우에는, 노이즈 제거 정도를 보다 높이거나, 에지를 보다 강조하는 처리를 행한다. 이에 의해, 디지털 화소 데이터로부터 보정량을 감산함으로써, S/N비가 저하되더라도, 노이즈 제거 처리나 에지 강조 처리를 적절하게 행함으로써, S/N비의 저하를 억제할 수 있다.
한편, 보정량이 임계값을 넘지 않았다고 판정되면, 통상의 노이즈 저감 처리와 에지 강조 처리를 행한다(스텝(S19)).
스텝(S14)에서 플레어나 회절이 발생하지 않았다고 판정된 경우, 또는 스텝(S18)의 처리가 종료된 경우, 또는 스텝(S19)의 처리가 종료된 경우는, 그 밖의 신호 처리를 행한다(스텝(S20)). 모든 신호 처리가 끝나면, 디지털 화소 데이터를 출력한다(스텝(S21)).
도 10에서는, 보정량이 임계값을 초과한 경우에, 노이즈 저감 처리와 에지 강조 처리의 정도를 향상시키는 예를 나타내었으나, 이들 처리 이외의 임의의 신호 처리에 대해서도, 보정량이 임계값을 초과한 경우와 초과하지 않은 경우에서, 신호 처리의 구체적 내용을 전환하여도 된다. 이 경우, 보정량에 따라, 임의의 신호 처리를 행할 때의 파라미터를 조정하는 파라미터 조정부를 설치하여도 된다. 신호 처리의 내용에 따라, 파라미터의 조정량이 다른 것이 생각되기 때문에, 파라미터 조정부는, 각 신호 처리를 행하는 각 부마다, 보정량에 따라 최적의 파라미터를 설정하여도 된다. 한편, 상술한 예에서는, 노이즈 저감부(43)와 에지 강조부(44)가 파라미터 조정부를 겸하고 있다. 노이즈 저감부(43)는, 노이즈 제거 정도를 결정하는 파라미터를 조정하고, 에지 강조부(44)는 에지 강조 정도를 결정하는 파라미터를 조정한다.
또한, 도 10의 스텝(S17)∼스텝(S19)에서는, 보정량이 임계값을 초과하였는지 여부에 따라, 노이즈 저감 처리와 에지 강조 처리의 정도를 2 가지로 전환하고 있지만, 플레어 성분이나 회절광 성분의 보정량이나 피사체의 상황 등에 따라, 노이즈 저감 처리나 에지 강조 처리를 행하는 정도를 3단계 이상으로 세밀하게 전환하여도 된다.
이와 같이, 제2 실시형태에서는, 플레어 성분이나 회절광 성분에 기초한 보정량을 디지털 화소 데이터로부터 감산함으로써, 감산 후의 디지털 화소 데이터의 S/N비가 저하될 우려가 있는 경우에는, 노이즈 제거 정도나 에지 강조 정도를 보다 높이는 처리를 행한다. 이에 의해, 플레어 성분이나 회절광 성분을 제거한 경우라도, 촬상 화상의 S/N비가 저하되는 우려가 없어진다.
(제3 실시형태)
제3 실시형태는, 각 화소를 분할 구조로 하는 것이다.
도 11은 제3 실시형태에 따른 복수의 편광 화소(81)와 복수의 비편광 화소(82)의 화소 배열의 일례를 나타내는 평면도이다. 도 11에 나타낸 바와 같이, 각 편광 화소(81)와 각 비편광 화소(82)는, 4개로 분할되어 있다. 보다 상세하게는, 각각의 광전 변환부(8a)는, 복수의 분할 광전 변환부를 갖고, 복수의 편광 소자(8b)에 의해 편광된 광은, 일부의 광전 변환부(8a)에 있어서의 복수의 분할 광전 변환부에 입사된다. 한편, 도 11에서는, 각 편광 화소(81)와 각 비편광 화소(82)를 4개로 분할하는 예를 나타내었으나, 2개 이상의 임의의 수로 분할하여도 된다.
복수의 편광 화소(81)는, 복수의 비편광 화소(82)의 위치 및 사이즈에 대응하여 설치되어 있고, 도 11의 예에서는, 횡방향 및 종방향의 각각에 있어서, 5개의 비편광 화소(82)에 대해 1개의 비율로 편광 화소(81)가 설치되어 있다. 각 편광 화소(81)는, 각 비편광 화소(82)와 마찬가지로, 4개로 분할되어 있다. 동일한 편광 화소(81) 내의 4개의 분할 화소의 편광 패턴은 동일하다. 도 11의 예에서는, 편광 패턴이 각각 다른 4종류의 편광 화소(81)를 구비하고 있지만, 편광 화소(81)의 종류는 3종류 이상이면, 그 종류의 수는 임의이다. 본 명세서에서는, 각 편광 화소(81) 또는 각 비편광 화소(82)를 4개로 분할한 각 화소를 분할 화소라고 부른다.
도 11의 우측 옆에 확대 도시한 바와 같이, 각 비편광 화소(82)를 구성하는 4개의 분할 화소는, 각각 별개로 온 칩 렌즈(22)를 설치하여도 된다.
도 11의 예에서는, 각 편광 화소(81)의 사이즈를 각 비편광 화소(82)의 사이즈와 같이 하고, 또한 각 편광 화소(81)를 각 비편광 화소(82)의 배치 장소에 맞추어 배치하고 있지만, 각 편광 화소(81)의 사이즈나 배치 장소를, 각 비편광 화소(82)의 사이즈나 배치 장소와 다르게 하여도 된다.
도 11의 경우, 편광 화소(81)로서 할당된 광전 변환부(8a) 내의 화소 영역에는, 대응하는 편광 소자(8b)에 의해 편광된 광이 입력되기 때문에, 이 화소 영역에서의 광전 변환부(8a)의 출력값이 작게 된다. 이 때문에, 도 8에 나타낸 결함 보정부(37)에서, 각 편광 소자(8b)의 주위의 비편광 화소(82)의 출력값을 사용하여, 편광 화소(81)의 출력값을 보정하는 결함 보정을 행할 필요가 있다.
도 12는 분할 구조의 제1 변형예를 나타내는 평면도이다. 도 12에서는, 1화소를 구성하는 4개의 분할 화소 중 3개는, 대응하는 비편광 화소(82)의 광전 변환에 이용되고, 나머지 1개는 편광 화소(81)로서 이용된다. 보다 상세하게는, 광전 변환부(8a)는, 복수의 분할 광전 변환부를 갖고, 복수의 편광 소자(8b)에 의해 편광된 광은, 어느 광전 변환부(8a)에 있어서의 일부의 분할 광전 변환부에 입사된다. 이에 의해, 각 화소의 내부에, 부분적으로 편광 화소(81)와 비편광 화소(82)가 배치되게 된다. 이 경우, 도 12의 우측 옆에 확대 도시한 바와 같이, 1화소를 구성하는 4개의 분할 화소의 각각에 대응하여, 온 칩 렌즈가 설치된다.
도 11의 예에서는, 복수의 비편광 화소(82)에 대해 1개의 비율로 편광 화소(81)가 설치되어 있지만, 도 12의 예에서는, 각 화소마다 비편광 화소(82)와 편광 화소(81)가 설치되어 있다. 따라서, 도 12의 예에서는, 도 11의 예보다, 광전 변환부(8a) 내의 편광 정보를 보다 정확하게 취득할 수 있다.
또한, 도 12의 예에서는, 4종류의 편광 패턴을 갖는 4종류의 편광 화소(81)가 균등하게 배치되어 있지만, 편광 패턴의 종류는 3종류 이상이면 되며, 4종류에 한정되지 않는다.
도 12의 경우, 각 화소마다, 종횡 2개씩의 분할 화소 중, 비편광 화소(82)로서 이용되는 3개의 분할 화소에 대한 분할 광전 변환부의 출력값에 기초하여 화소 출력값을 결정하고, 편광 화소(81)로서 이용되는 1개의 분할 화소에 대한 분할 광전 변환부의 출력값에 기초하여 보정량을 결정한다. 이와 같이, 도 12의 예에서는, 각 화소의 일부에 비편광 화소(82)가 포함되어 있기 때문에, 결함 보정을 행할 필요가 없게 되어, 신호 처리를 간략화할 수 있다.
이와 같이, 각 화소를 복수로 분할한 복수의 분할 화소에 편광 화소(81)와 비편광 화소(82)를 할당함으로써, 각 화소 내의 비편광 화소(82c)에 의해 색 정보와 편광 정보를 출력할 수 있고, 해상도가 떨어지지 않기 때문에, 결함 보정 처리가 필요없게 된다. 또한, 각 화소의 일부에 할당된 편광 화소(81)에 의해, 플레어 성분이나 회절광 성분에 기초한 보정량을 계산할 수 있고, 이 보정량을 디지털 화소 데이터로부터 감산함으로써, 촬상 화상으로부터 플레어 성분이나 회절광 성분을 제거할 수 있다.
도 12의 예에서는, 각 화소를 분할한 4개의 분할 화소 중 하나에 편광 화소(81)를 할당하기 때문에, 편광 화소(81)의 사이즈가 매우 작아진다. 편광 화소(81)는, 도 5에 나타낸 바와 같이 예를 들면 라인·앤드·스페이스부로 구성되지만, 미세 가공 기술을 이용하여, 라인부(8d)의 형상이나, 인접하는 2개의 라인부(8d)의 간격을 정밀도 높게 맞추는 것은 용이하지 않다. 이에, 편광 화소(81)의 사이즈를 비편광 화소(82)의 사이즈보다 크게 하여도 된다.
도 13은 분할 구조의 제2 변형예를 나타내는 평면도이다. 도 13에서는, 인접하여 배치된 4개의 화소에 걸치도록, 1개의 편광 화소(81)가 배치되어 있다. 보다 상세하게는, 광전 변환부(8a)는, 복수의 분할 광전 변환부를 갖고, 편광 소자(8b)에 의해 편광된 광은, 2 이상의 광전 변환부(8a)의 일부씩의 분할 변환부에 입사된다. 편광 화소(81)의 사이즈는, 화소 사이즈의 종횡 2배이며, 편광 화소(81)의 면적은, 화소의 4배이다. 도 13의 예에서는, 1화소를 구성하는 4개의 분할 화소 중 3개는, 비편광 화소(82)에 할당되어 통상의 광전 변환에 사용되고, 나머지 1개는, 편광 화소(81)에 할당되어 편광 정보의 취득에 사용된다. 따라서, 도 12과 마찬가지로, 각 화소가 비편광 화소(82)로서 이용되는 분할 화소를 갖기 때문에, 결함 보정을 행할 필요는 없다.
도 13의 우측 옆에 확대 도시한 바와 같이, 1화소를 분할한 4개의 분할 화소 중, 비편광 화소(82)로서 이용되는 3개의 분할 화소에 대해서는, 각각 별개의 온 칩 렌즈(22)가 설치된다. 나머지 1개의 분할 화소에 대해서는, 인접하는 다른 3개의 분할 화소와 함께, 1개의 큰 온 칩 렌즈(22)가 설치되어 편광 화소(81)로서 이용된다. 이와 같이, 인접 배치된 4개의 분할 화소의 영역을 이용하여 큰 편광 소자(8b)를 제작하고, 그 사이즈에 대응한 온 칩 렌즈(22)를 설치함으로써, 편광 소자(8b)의 제조가 용이해짐과 함께, 신뢰성이 높은 편광 정보를 취득할 수 있다.
도 14는 분할 구조의 제3 변형예를 나타내는 평면도이다. 도 14에서는, 전체 화소 영역에 편광 화소(81)가 배치되어 있다. 보다 상세하게는, 복수의 광전 변환부(8a)는, 복수의 분할 광전 변환부를 갖고, 복수의 광전 변환부(8a)에는, 복수의 편광 소자(8b)에 의해 편광된 광이 입사된다. 즉, 도 14의 예에서는, 편광 화소(81)만이 존재하고, 비편광 화소(82)는 존재하지 않는다. 도 14의 예에서는, 각 화소는 4개의 분할 화소로 분할되어 있지만, 어느 분할 화소도 편광 화소(81)로서 이용된다.
도 14의 경우, 어느 화소의 어느 분할 화소에도, 편광 화소(81)가 할당되어 있기 때문에, 광전 변환부(8a)의 출력값은 균일하게 작아진다. 이 때문에, 광전 변환부(8a)의 출력값을 전체적으로 높이기 위한 게인 조정 처리를 행하여도 된다. 게인 조정 처리를 행함으로써, S/N비가 저하될 우려가 있지만, 노이즈 저감 처리나 에지 강조 처리의 정도를 보다 높게 하는 등의 처리를 행함으로써, 신뢰성이 높은 디지털 화소 데이터를 생성할 수 있다.
또한, 도 14과 같이 광전 변환부(8a)의 전 영역에 대응시켜서 편광 소자(8b)를 설치함으로써, 광전 변환부(8a)의 임의의 장소에 입사된 플레어나 회절광의 영향을 고려한 편광 정보를 취득할 수 있다. 따라서, 플레어 추출부(35)에서 추출되는 보정량의 정밀도를 향상시킬 수 있다.
도 15는 분할 구조의 제4 변형예를 나타내는 평면도이다. 도 15의 예에서는, 비편광 화소(82) 사이에 편광 화소(81)가 배치되어 있는 점에서는, 도 3 등과 공통되지만, 비편광 화소(82)가 좌우 2개의 분할 화소로 분할되어 있는 점에서, 상술한 다른 분할 구조와는 다르다. 보다 상세하게는, 광전 변환부(8a)는, 일 방향으로 복수로 분할되어 위상차 정보를 검출 가능한 복수의 분할 광전 변환부를 갖고, 편광 소자(8b)에 의해 편광된 광은, 임의의 광전 변환부(8a)에 있어서의 복수의 분할 광전 변환부에 입사된다. 각 분할 화소는, 예를 들면 세로로 긴 사각형 형상이다. 2개의 분할 화소는, 위상차 정보를 검출하기 위해 사용할 수 있다. 이 위상차 정보에 기초하여 예를 들면 초점 조절을 행할 수 있다.
도 15에 있어서의 복수의 비편광 화소(82)(예를 들면, 5개의 비편광 화소(82))에 대해 1개의 비율로 설치되는 각 편광 화소(81)는, 2개의 분할 화소의 사이즈를 갖는다. 상술한 바와 같이, 편광 소자(8b)는, 라인·앤드·스페이스부를 갖기 때문에, 미세 가공이 용이하지 않지만, 도 15의 편광 소자(8b)는, 분할 화소의 2배의 사이즈를 갖기 때문에, 제조가 비교적 용이하여, 제조상의 불량도 발생하기 어렵다. 단, 편광 소자(8b)가 배치된 화소 영역에 대해서는, 광전 변환부(8a)의 출력값이 저하되기 때문에, 주위의 비편광 화소(82)에 대응하는 광전 변환부(8a)의 화소값을 사용하여 결함 보정 처리를 행할 필요가 있다.
상술한 도 11∼도 15는, 분할 구조의 대표적인 예를 제시한 것이며, 도시한 이외의 분할 구조도 있을 수 있다. 본 실시형태는, 모든 분할 구조에 적용 가능하며, 광전 변환부(8a)를 임의의 형상 및 사이즈로 분할하여도 된다. 따라서, 비편광 화소(82)의 분할 형상이나 분할 사이즈, 분할 수는 임의이다. 또한, 편광 화소(81)에 대해서는 분할하여도 되고, 분할하지 않아도 된다.
이와 같이, 제3 실시형태에서는, 적어도 비편광 화소(82)를 분할 구조로 하기 때문에, 각 화소 내의 일부의 분할 화소를 편광 화소(81)에 할당하여 편광 정보를 취득하고, 나머지의 분할 화소를 비편광 화소(82)에 할당하여 색 정보를 취득하도록 하면, 각 화소에 대해 결함 보정을 행할 필요가 없어진다.
또한, 각 화소를 분할 구조로 함으로써, 편광 정보뿐만 아니라, 위상차 정보를 검출하는 것도 가능하게 된다. 나아가, 비편광 화소(82)는 분할 구조로 하고, 편광 화소(81)는 분할 구조로 하지 않도록 하면, 편광 화소(81)의 사이즈를 비편광 화소(82)보다 크게 할 수 있기 때문에, 편광 소자(8b)의 제조가 용이하게 된다.
(제4 실시형태)
제4 실시형태는, 표시부(2)의 표시면과는 반대측에 카메라 모듈(3)을 배치한 전자기기(1)에 있어서, 표시부(2)의 구조에 특징을 가진 것이다.
상술한 바와 같이, 표시부(2)의 내부에는, 시인성을 향상시키기 위해 원편광판(5)이 설치되어 있다. 그런데, 원편광판(5)은, 적어도 일부의 광을 차광하기 때문에, 표시부(2)를 통과한 피사체광을 카메라 모듈(3)에 의해 촬상하면, 촬상 화상이 어둡게 되는 등의 불량이 발생한다. 마찬가지로, 표시부(2) 내부의 터치 센서나 OLED부 등의 표시 패널(4) 등의 투과율도 그다지 높지 않다. 이에, 본 실시형태에서는, 표시부(2) 내의 카메라 모듈(3)과 표리(表裏) 방향으로 중첩되는 영역에 관통 구멍을 설치하는 것을 특징으로 한다.
도 16은 제4 실시형태에 따른 전자기기(1)의 모식적인 단면도이다. 도 16의 전자기기(1) 내의 표시부(2)는, 카메라 모듈(3)과 표리 방향으로 중첩되는 부분에 복수의 관통 구멍(2a)을 갖는다. 이들 관통 구멍(2a)은, 표시부(2) 내의 터치 센서, 원편광판(5), 표시 패널(4) 등의 투과율이 낮은 복수층에 설치되어 있다. 관통 구멍(2a)의 직경 사이즈는 각 층 마다 다르다. 예를 들면, 원편광판(5)은, 카메라 모듈(3)의 촬상부(8)의 직경 사이즈와 같은 직경 사이즈의 관통 구멍(2a)을 갖는다. 한편, 터치 센서나 표시 패널(4)은, 표시부(2)의 표시나 터치 감도에 가능한 한 악영향을 주지 않도록, 촬상부(8)의 직경 사이즈 내에 복수의 작은 관통 구멍(2a)을 설치하여도 된다.
이들 관통 구멍(2a)을 설치함으로써, 표시부(2)의 표시 화면(1a)의 시인성이나 터치 감도에 약간의 영향이 생길 우려가 있지만, 카메라 모듈(3)의 직경 사이즈가 불과 수 mm 정도이기 때문에, 실용상은 거의 문제없다. 이들 관통 구멍(2a)을 설치함으로써, 표시부(2)를 통과하는 피사체광의 투과율이 향상되고, 카메라 모듈(3)에 의해 촬상되는 촬상 화상의 화질을 향상시킬 수 있다.
표시부(2)의 구조에 특징을 갖게 하는 예는, 도 16뿐만 아니라, 다양한 예가 생각된다. 도 17은 표시부(2)의 구조에 특징을 가진 제1 변형예의 단면도이다. 도 17의 표시부(2)는, 표시 패널(4)의 이면에, 특정한 방향으로 편광하는 편광 부재(2b)를 배치하고 있다. 도 17의 예에서는, 표시 패널(4)에 있어서의 카메라 모듈(3)과 상하로 중첩되지 않는 영역의 이면측에 편광 부재(2b)를 배치하고 있다.
표시부(2)에 입사된 광이 편광 부재(2b)에 입사되면, 반사될 때 특정한 방향으로 편광된다. 이 반사광은, 예를 들면 표시부(2)의 다른 층에서 더 반사되어, 촬상부(8)에 입사된다. 이 반사광은, 촬상부(8)에 입사될 때, 특정한 방향으로 편광되어 있기 때문에, 복수의 편광 소자(8b)의 적어도 일부에 편광 부재(2b)와 같은 편광 특성을 갖게 해두면, 편광 부재(2b)에 의해 편광된 광의 편광 정보를 확실하게 취득할 수 있다.
이와 같이, 표시부(2) 내에 특정한 방향으로 편광된 편광 부재(2b)를 설치함으로써, 촬상부(8)에 입사되는 광을 특정한 방향으로 편광시킬 수 있고, 플레어 성분이나 회절 성분을 복수의 편광 화소(81)에 의해 보다 확실하게 추출할 수 있다.
도 18은 표시부(2)의 구조에 특징을 가진 제2 변형예의 단면도이다. 도 18의 표시부(2)는, 원편광판(5)에 있어서의 카메라 모듈(3)과 표리 방향으로 중첩되는 영역에 특정한 방향으로 편광시킨 편광 부재(2b)를 설치하고 있다. 원래, 카메라 모듈(3)은, 광축에 대략 평행하게 입사되는 광을 촬상하는 것을 의도하고 있다. 이 때문에, 예를 들면 원편광판(5)의 카메라 모듈(3)과 표리 방향으로 중첩되는 영역에, 광축에 대략 평행한 방향으로 편광하는 편광 부재(2b)를 설치해 둔다. 이에 의해, 이 영역 내를 통과하는 광은, 광축에 대략 평행한 방향으로 편광된 후, 촬상부(8)에 입사된다. 촬상부(8) 내의 복수 편광 소자(8b)에, 편광 부재(2b)와 동일한 편광 특성을 갖게 해 두면, 촬상부(8)에 입사된 광은, 복수의 편광 화소(81)에 의해 확실하게 수광되게 된다.
이와 같이, 제4 실시형태에서는, 표시부(2)를 일부 가공함으로써, 표시부(2)를 광이 통과할 때의 투과율을 향상시킬 수 있고, 카메라 모듈(3)에 의해 촬상된 촬상 화상의 화질을 향상시킬 수 있다. 보다 구체적인 일례로서는, 카메라 모듈(3)과 표리 방향으로 중첩되는 영역에 개구부를 설치함으로써, 표시부(2)를 광이 통과할 때의 투과율을 향상시킬 수 있고, 카메라 모듈(3)에 의해 촬상된 촬상 화상의 화질을 향상시킬 수 있다. 또한, 표시부(2)의 적어도 일부에, 특정한 방향으로 편광된 편광 부재(2b)를 설치함으로써, 표시부(2)에서 반사를 반복하여 촬상부(8)에 입사되는 광을 특정한 방향으로 편광시킬 수 있고, 이 광을 편광 화소(81)에 의해 확실하게 수광할 수 있다.
(제5 실시형태)
상술한 제1∼제4 실시형태에서 설명한 구성을 구비한 전자기기(1)의 구체적인 후보로서는, 다양한 것이 생각된다. 예를 들면, 도 19는 제1∼제4 실시형태의 전자기기(1)를 캡슐 내시경(50)에 적용한 경우의 평면도이다. 도 19의 캡슐 내시경(50)은, 예를 들면 양단면이 반구 형상이고 중앙부가 원통 형상의 하우징(51) 내에, 체강(體腔) 내의 화상을 촬영하기 위한 카메라(초소형 카메라)(52), 카메라(52)에 의해 촬영된 화상 데이터를 기록하기 위한 메모리(53), 및, 캡슐 내시경(50)이 피험자의 체외에 배출된 후, 기록된 화상 데이터를 안테나(54)를 통해 외부에 송신하기 위한 무선 송신기(55)를 구비하고 있다.
또한, 하우징(51) 내에는, CPU(Central Processing Unit)(56) 및 코일(자력·전류변환 코일)(57)이 설치되어 있다. CPU(56)는, 카메라(52)에 의한 촬영, 및 메모리(53)에의 데이터 축적 동작을 제어하는 동시에, 메모리(53)로부터 무선 송신기(55)에 의한 하우징(51) 외의 데이터 수신 장치(도시하지 않음)로의 데이터 송신을 제어한다. 코일(57)은, 카메라(52), 메모리(53), 무선 송신기(55), 안테나(54) 및 후술하는 광원(52b)에의 전력 공급을 행한다.
또한, 하우징(51)에는, 캡슐 내시경(50)을 데이터 수신 장치에 세트하였을 때, 이를 검지하기 위한 자기(리드) 스위치(58)가 설치되어 있다. CPU(56)는, 이 리드 스위치(58)가 데이터 수신 장치에의 세트를 검지하고, 데이터의 송신이 가능하게 되는 시점에서, 코일(57)로부터의 무선 송신기(55)에의 전력 공급을 행한다.
카메라(52)는, 예를 들면 체강 내의 화상을 촬영하기 위한 대물 광학계(9)를 포함하는 촬상 소자(52a), 체강 내를 조명하는 복수의 광원(52b)을 갖고 있다. 구체적으로는, 카메라(52)는, 광원(52b)으로서, 예를 들면 LED(Light Emitting Diode)를 구비한 CMOS(Complementary Metal Oxide Semiconductor) 센서나 CCD(Charge Coupled Device) 등에 의해 구성된다.
제1∼제4 실시형태의 전자기기(1)에 있어서의 표시부(2)는, 도 19의 광원(52b)과 같은 발광체를 포함하는 개념이다. 도 19의 캡슐 내시경(50)에서는, 예를 들면 2개의 광원(52b)을 갖지만, 이 광원(52b)을, 복수의 광원부를 갖는 표시 패널(4)이나, 복수의 LED를 갖는 LED 모듈로 구성 가능하다. 이 경우, 표시 패널(4)이나 LED 모듈의 아래쪽에 카메라(52)의 촬상부(8)를 배치함으로써, 카메라(52)의 레이아웃 배치에 관한 제약이 감소되어, 보다 소형의 캡슐 내시경(50)을 실현할 수 있다.
또한, 도 20은 제1∼제4 실시형태의 전자기기(1)를 디지털 SLR 카메라(60)에 적용한 경우의 배면도이다. 디지털 SLR 카메라(60)나 컴팩트 카메라는, 렌즈와는 반대측의 배면에, 프리뷰 화면을 표시하는 표시부(2)를 구비하고 있다. 이 표시부(2)의 표시면과는 반대측에 카메라 모듈(3)을 배치하고, 촬영자의 얼굴 화상을 표시부(2)의 표시 화면(1a)에 표시할 수 있도록 하여도 된다. 제1∼제4 실시형태에 따른 전자기기(1)에서는, 표시부(2)과 중첩되는 영역에 카메라 모듈(3)을 배치할 수 있기 때문에, 카메라 모듈(3)을 표시부(2)의 테두리 부분에 설치하지 않아도 되어, 표시부(2)의 사이즈를 가능한 한 대형화할 수 있다.
도 21a는 제1∼제4 실시형태의 전자기기(1)를 헤드마운트 디스플레이(이하, HMD)(61)에 적용한 예를 나타내는 평면도이다. 도 21a의 HMD(61)는, VR(Virtual Reality), AR(Augmented Reality), MR(Mixed Reality), 또는 SR(Substitutional Reality) 등에 이용되는 것이다. 현재의 HMD는, 도 21b에 나타낸 바와 같이, 외표면에 카메라(62)를 탑재하고 있고, HMD의 장착자는, 주위의 화상을 시인할 수 있는 한편, 주위 사람에게는, HMD의 장착자의 눈이나 얼굴의 표정을 알 수 없다는 문제가 있다.
이에, 도 21a에서는, HMD(61)의 외표면에 표시부(2)의 표시면을 설치함과 함께, 표시부(2)의 표시면의 반대측에 카메라 모듈(3)을 설치한다. 이에 의해, 카메라 모듈(3)로 촬영한 장착자의 얼굴의 표정을 표시부(2)의 표시면에 표시시킬 수 있고, 장착자의 주위의 사람이 장착자의 얼굴의 표정이나 눈의 움직임을 실시간으로 파악할 수 있다.
도 21a의 경우, 표시부(2)의 이면측에 카메라 모듈(3)을 설치하기 때문에, 카메라 모듈(3)의 설치 장소에 대한 제약이 없어지고, HMD(61)의 디자인의 자유도를 높일 수 있다. 또한, 카메라를 최적의 위치에 배치할 수 있기 때문에, 표시면에 표시되는 장착자의 시선이 맞지 않는 등의 문제를 방지할 수 있다.
이와 같이, 제5 실시형태에서는, 제1∼제4 실시형태에 따른 전자기기(1)를 다양한 용도에 사용할 수 있고, 이용 가치를 높일 수 있다.
(제6 실시형태)
전자기기(1)에 입사되는 광의 광원 종류나, 표시부(2)의 표시 휘도에 따라, 플레어나 회절이 발생하기 쉬운 정도가 상이한 경우가 있다. 이 때문에, 플레어 성분이나 회절광 성분의 보정량을 계산함에 있어, 광원의 종류를 추정하여도 된다.
도 22는 제6 실시형태에 따른 전자기기(1)의 개략 구성을 나타내는 블록도이다. 도 22의 전자기기(1)는, 도 8의 구성에 더해, 광원 추정부(46)를 구비하고 있다. 광원 추정부(46)는, 표시부(2)에 입사되는 광의 광원을 추정한다. 광원 추정부(46)는, 광전 변환부(8a)에 의해 광전 변환된 RGB의 각 색의 감도 차이로 광원을 추정하여도 되고, 조도 센서나 멀티 스펙트럼 센서 등을 사용하여 광원을 추정하여도 된다. 또한, 전자기기(1)에 탑재되어 있은 GPS센서로 전자기기(1)가 실내 또는 옥외에 존재하는지를 판별하여, 광원이 태양광인지 조명광인지를 추정하여도 된다. 또한, 전자기기(1)에 탑재되어 있는 자이로 센서에 의해, 전자기기(1)의 경사 각도를 판별하고, 그 경사 각도에 기초하여 광원을 추정하여도 된다.
플레어 보정 신호 생성부(36)는, 광원 추정부(46)에 의해 추정된 광원에 기초하여 복수의 비편광 화소(82)에 의해 광전 변환된 촬상 화상의 보정량을 조정한다. 보다 구체적으로는, 광원의 종류마다, 보정량을 계산하기 위한 식을 바꾸어도 된다. 또한, 광원의 종류마다, RGB의 색마다, 보정량을 개별적으로 조정하여도 된다.
도 23은 제6 실시형태의 일 변형예에 따른 전자기기(1)의 개략 구성을 나타내는 블록도이다. 도 23의 전자기기(1)는, 도 8의 구성에 더해, 휘도 추정부(47)를 구비하고 있다. 휘도 추정부(47)는, 표시부(2)의 표시 휘도를 추정한다. 휘도 추정부(47)는, 예를 들면, 표시부(2)의 표시 제어를 행하는 도시하지 않은 표시 제어부로부터의 신호에 의해, 표시부(2)의 표시 휘도를 추정한다.
플레어 보정 신호 생성부(36)는, 휘도 추정부(47)에 의해 추정된 표시부(2)의 표시 휘도에 기초하여 복수의 비편광 화소(82)에 의해 광전 변환된 촬상 화상의 보정량을 조정한다. 보다 구체적으로는, 표시부(2)에 표시되는 RGB의 색마다의 휘도에 기초하여, 보정량을 색마다 개별적으로 조정하여도 된다.
또한, 도 22의 광원 추정부(46)와 도 23의 휘도 추정부(47)의 양쪽 모두를 구비한 전자기기(1)도 생각할 수 있다. 이 경우, 플레어 보정 신호 생성부(36)는, 광원의 종류와 표시부(2)의 표시 휘도에 기초하여 보정량을 조정한다.
이와 같이, 제6 실시형태에서는, 전자기기(1)에 입사되는 광원의 종류나, 표시부(2)의 표시 휘도를 고려하여, 플레어 성분이나 회절광 성분의 영향을 보정하기 위한 보정량을 조정하기 때문에, 보다 적절하게 촬상 화상으로부터 플레어 성분이나 회절광 성분을 제거할 수 있다.
(제7 실시형태)
제7 실시형태에 따른 전자기기(1)는, 카메라 모듈(3)의 광학계(9)가 제1∼제6 실시형태와는 다른 것이다.
도 24는 제7 실시형태에 따른 전자기기(1)에 탑재되는 카메라 모듈(3)의 촬상부(8)의 단면 구조를 나타내는 도면이다. 도 24의 촬상부(8)는, 단일의 렌즈 또는 단일의 렌즈를 광축 방향으로 나열한 렌즈군이 아닌, 마이크로렌즈 어레이(64)를 갖는다.
보다 상세하게는, 도 24의 촬상부(8)는, 케이스(63)의 저면을 따라 배치되는 광전 변환부(8a)와, 광전 변환부(8a)의 상방에 배치되는 마이크로렌즈 어레이(64)와, 인접하는 마이크로렌즈(65)의 사이에 배치되는 복수의 차광체(66)과, 마이크로렌즈 어레이(64)의 상방에 배치되는 도광판(67)을 갖는다.
이와 같이, 촬상부(8)의 광학계(9)로서, 마이크로렌즈 어레이(64)를 설치함으로써, 인접 화소에 의한 영향을 방지할 수 있고, 색의 번짐을 감소시킬 수 있다.
(제8 실시형태)
상술한 제1∼제7 실시형태에서는, 플레어나 회절광을 제거하는 예를 설명하였으나, 본 개시에 의한 전자기기(1)는, 플레어나 회절광의 제거뿐만 아니라, 예를 들면 피사체의 번들거림을 제거하는 목적으로도 적용 가능하다. 본 실시형태에 따른 전자기기(1)는, 표시부(2)의 표시면과는 반대측에 카메라 모듈(3)을 배치할 수 있기 때문에, 광각 또는 어안 렌즈를 카메라 모듈(3)에 장착한 경우에는, 표시부(2)의 표시면의 전 영역을 카메라 모듈(3)에 의해 촬상할 수 있다. 이에 의해, 기존의 터치 패널(6)에서는 오인식이 많았던, 젖은 손가락의 검출이 가능하게 됨에 더해, 젖은 손가락의 번들거림을 제거하거나, 지문의 요철을 검출할 수 있음으로써, 터치 조작이나 지문 인증도 가능하게 된다.
보다 구체적으로는, 복수의 편광 소자(8b)를 갖는 복수의 편광 화소(81)는, 피사체광에 포함되는 번들거림 성분에 기인하는 편광 정보를 취득하여도 된다. 이 경우, 도 8의 플레어 추출부(35)는, 편광 정보에 기초하여, 번들거림 성분에 기초한 보정량을 추출한다. 그리고, 플레어 보정 신호 생성부(36)는, 피사체 화상으로부터 번들거림 성분을 제거한 화상을 생성한다.
또한, 상술한 각 실시형태에서는, 표시부(2)의 표시면의 반대측에 카메라 모듈(3)을 배치하는 것을 전제로 하였으나, OLED부 등의 표시 패널(4)의 최하층에 반사판이 존재하는 경우, 반사판의 일부를 도려 내고, 그 도려 낸 부분에 카메라 모듈(3)을 배치하여도 되고, 표시 패널(4)의 일부로 파고 들어가도록 카메라 모듈(3)을 배치하여도 된다.
한편, 본 기술은 이하와 같은 구성을 취할 수 있다.
(1) 표시부와, 상기 표시부의 표시면과는 반대측에 배치되는 촬상부를 구비하고,
상기 촬상부는,
상기 표시부를 거쳐 입사된 광을 광전 변환하는 복수의 광전 변환부와,
상기 복수의 광전 변환부 중 적어도 하나의 광전 변환부의 광입사측에 배치되는 복수의 편광 소자를 갖는, 전자기기.
(2) 상기 복수의 편광 소자에 의해 편광되어 상기 광전 변환부에서 광전 변환된 편광 정보에 기초하여, 상기 복수의 광전 변환부에서 광전 변환된 촬상 화상을 보정하는 보정부를 구비하는 (1)에 기재된, 전자기기.
(3) 상기 보정부는, 상기 표시부를 통과할 때 생긴 반사광 및 회절광 중 적어도 일방이 상기 복수의 광전 변환부에 입사되어 촬상된 성분을 제거하는, (2)에 기재된 전자기기.
(4) 상기 보정부는, 상기 광전 변환부에서 광전 변환되어 디지털화된 디지털 화소 데이터에 대해, 상기 편광 정보를 디지털화한 편광 정보 데이터에 기초한 보정량의 감산 처리를 행함으로써, 상기 디지털 화소 데이터를 보정하는, (2) 또는 (3)에 기재된 전자기기.
(5) 상기 표시부에 설치되고, 입사된 광을 특정 방향으로 편광시키는 편광 부재를 구비하고, 상기 복수의 편광 소자 중 적어도 하나는, 상기 편광 부재에 의해 편광된 광을 통과시키고,
상기 보정부는, 상기 편광 부재에 의해 편광되어 상기 편광 소자를 통과하고 상기 광전 변환부에서 광전 변환된 상기 편광 정보에 기초하여, 상기 복수의 광전 변환부에서 광전 변환된 촬상 화상을 보정하는, (2) 내지 (4) 중 어느 한 항에 기재된 전자기기.
(6) 상기 표시부에 입사되는 광의 광원의 종류를 추정하는 광원 추정부를 구비하고,
상기 보정부는, 상기 광원 추정부에서 추정된 광원의 종류에 기초하여, 상기 복수의 광전 변환부에서 광전 변환된 촬상 화상의 보정량을 조정하는, (2) 내지 (4) 중 어느 한 항에 기재된 전자기기.
(7) 상기 표시부의 표시 휘도를 추정하는 휘도 추정부를 구비하고,
상기 보정부는, 상기 표시부의 표시 휘도에 따라, 상기 복수의 광전 변환부에서 광전 변환된 촬상 화상의 보정량을 조정하는, (2) 내지 (4) 중 어느 한 항에 기재된 전자기기.
(8) 상기 보정부에서 보정된 촬상 화상에 대해, 노광 처리, 초점 조절 처리 및 화이트 밸런스 조정 처리 중 적어도 하나를 행하는 신호 처리부를 구비하는, (2) 내지 (7) 중 어느 한 항에 기재된 전자기기.
(9) 상기 보정부에서 보정된 촬상 화상에 대해 적어도 1종류의 신호 처리를 행하는 신호 처리부와,
상기 보정부가 상기 촬상 화상을 보정하는 보정량에 따라, 상기 촬상 화상을 신호 처리할 때의 파라미터를 조정하는 파라미터 조정부를 구비하는, (2) 내지 (7) 중 어느 한 항에 기재된 전자기기.
(10) 상기 신호 처리부가 행하는 신호 처리는, 상기 촬상 화상에 포함되는 노이즈 성분을 제거하는 노이즈 저감 처리와, 상기 촬상 화상의 에지를 강조하는 에지 강조 처리 중 적어도 일방을 포함하고,
상기 파라미터 조정부는, 상기 보정량에 따라, 상기 노이즈 저감 처리 및 상기 에지 강조 처리 중 적어도 일방을 행할 때의 파라미터를 조정하는, (9)에 기재된 전자기기.
(11) 상기 파라미터 조정부는, 상기 보정량이 큰 촬상 화상일수록, 상기 노이즈 저감 처리에 있어서의 노이즈 제거의 정도를 보다 높게 하는 처리와, 상기 에지 강조 처리에 있어서의 에지 강조의 정도를 보다 높게 하는 처리 중 적어도 일방을 행하는, (10)에 기재된 전자기기.
(12) 상기 신호 처리부는, 노광 조정 처리를 포함하는 신호 처리를 행하고, 상기 노광 조정 처리를 행할 때에는, 상기 복수의 광전 변환부의 출력값이 포화하지 않도록 노광 조정을 행하는, (9) 내지 (11) 중 어느 한 항에 기재된 전자기기.
(13) 상기 편광 소자에 의해 편광된 광이 입사되는 상기 광전 변환부의 출력값을, 주위의 2 이상의 상기 광전 변환부의 출력값을 사용하여 보정하는 결함 보정부를 구비하는, (1) 내지 (12) 중 어느 한 항에 기재된 전자기기.
(14) 상기 광전 변환부와, 상기 광전 변환부에 광을 집광시키는 광학계를 갖는 촬상 장치를 구비하고,
상기 촬상 장치는, 상기 표시부의 표시면의 실질적으로 중앙부 부근의 반대측에 배치되는, (1) 내지 (13) 중 어느 한 항에 기재된 전자기기.
(15) 상기 복수의 광전 변환부 중, 출력값이 포화된 광전 변환부에 대해, 해당 광전 변환부의 주변에 배치되어 있는 하나 이상의 상기 편광 소자에 의해 편광되어 상기 광전 변환부에서 광전 변환된 편광 정보에 기초하여, 출력값이 포화된 광전 변환부의 출력값을 보정하는 결함 보정부를 구비하는, (1) 내지 (14) 중 어느 한 항에 기재된 전자기기.
(16) 상기 광전 변환부는, 복수의 분할 광전 변환부를 갖고,
상기 복수의 편광 소자에 의해 편광된 광은, 일부의 상기 광전 변환부에 있어서의 상기 복수의 분할 광전 변환부에 입사되는 (1) 내지 (15) 중 어느 한 항에 기재된 전자기기.
(17) 상기 광전 변환부는, 복수의 분할 광전 변환부를 갖고,
상기 편광 소자에 의해 편광된 광은, 임의의 상기 광전 변환부에 있어서의 일부의 상기 분할 광전 변환부에 입사되는, (1) 내지 (15) 중 어느 한 항에 기재된 전자기기.
(18) 상기 광전 변환부는, 복수의 분할 광전 변환부를 갖고,
상기 편광 소자에 의해 편광된 광은, 2 이상의 상기 광전 변환부의 일부씩의 상기 분할 광전 변환부에 입사되는, (1) 내지 (15) 중 어느 한 항에 기재된 전자기기.
(19) 상기 복수의 광전 변환부는, 복수의 분할 광전 변환부를 갖고,
상기 복수의 광전 변환부에는, 상기 복수의 편광 소자에 의해 편광된 광이 입사되는 (1) 내지 (15) 중 어느 한 항에 기재된 전자기기.
(20) 상기 광전 변환부는, 일 방향으로 복수로 분할되어 위상차 정보를 검출 가능한 복수의 분할 광전 변환부를 갖고,
상기 편광 소자에 의해 편광된 광은, 임의의 상기 광전 변환부에 있어서의 상기 복수의 분할 광전 변환부에 입사되는 (1) 내지 (15) 중 어느 한 항에 기재된, 전자기기.
본 개시의 양태는, 상술한 각각의 실시형태에 한정되는 것이 아니고, 당업자가 상도할 수 있는 다양한 변형도 포함하는 것이며, 본 개시의 효과도 상술한 내용에 한정되지 않는다. 즉, 특허청구의 범위에 규정된 내용 및 그 균등물로부터 도출되는 본 개시의 개념적인 사상과 취지를 일탈하지 않는 범위에서 다양한 추가, 변경 및 부분적 삭제가 가능하다.
1: 전자기기
1a: 표시 화면
1b: 베젤
2: 표시부
3: 카메라 모듈
4: 표시 패널
5: 원편광판
6: 터치 패널
7: 커버 글래스
8: 촬상부
8a: 광전 변환부
8b: 편광 소자
8d: 라인부
8f: 광반사층
8g: 절연층
8h: 광흡수층
9: 광학계
11: 기판
11a: 제1 면
1lb: 제2 면
12: 배선층
13: 층간 절연막
14: 평탄화층
15: 차광층
16: 하지 절연층
17: 절연층
31: A/D 변환기
32: 클램프부
33: 컬러 출력부
34: 편광 출력부
35: 플레어 추출부
36: 플레어 보정 신호 생성부
37: 결함 보정부
38: 리니어 매트릭스부
39: 감마 보정부
40: 휘도 크로마 신호 생성부
41: 초점 조절부
42: 노광 조정부
43: 노이즈 저감부
44: 에지 강조부
45: 출력부
81: 편광 소자
82: 비편광 화소

Claims (20)

  1. 표시부와,
    상기 표시부의 표시면과는 반대측에 배치되는 촬상부를 구비하고,
    상기 촬상부는,
    상기 표시부를 거쳐 입사된 광을 광전 변환하는 복수의 광전 변환부와,
    상기 복수의 광전 변환부 중 적어도 하나의 광전 변환부의 광입사측에 배치되는 복수의 편광 소자를 갖는, 전자기기.
  2. 제1항에 있어서,
    상기 복수의 편광 소자에 의해 편광되어 상기 광전 변환부에서 광전 변환된 편광 정보에 기초하여, 상기 복수의 광전 변환부에서 광전 변환된 촬상 화상을 보정하는 보정부를 구비하는, 전자기기.
  3. 제2항에 있어서,
    상기 보정부는, 상기 표시부를 통과할 때 생긴 반사광 및 회절광 중 적어도 일방이 상기 복수의 광전 변환부에 입사되어 촬상된 성분을 제거하는, 전자기기.
  4. 제2항에 있어서,
    상기 보정부는, 상기 광전 변환부에서 광전 변환되어 디지털화된 디지털 화소 데이터에 대해, 상기 편광 정보를 디지털화한 편광 정보 데이터에 기초한 보정량의 감산 처리를 행함으로써, 상기 디지털 화소 데이터를 보정하는, 전자기기.
  5. 제2항에 있어서,
    상기 표시부에 설치되고, 입사된 광을 특정 방향으로 편광시키는 편광 부재를 구비하고,
    상기 복수의 편광 소자 중 적어도 하나는, 상기 편광 부재에 의해 편광된 광을 통과시키고,
    상기 보정부는, 상기 편광 부재에 의해 편광되어 상기 편광 소자를 통과하고 상기 광전 변환부에서 광전 변환된 상기 편광 정보에 기초하여, 상기 복수의 광전 변환부에서 광전 변환된 촬상 화상을 보정하는 전자기기.
  6. 제2항에 있어서,
    상기 표시부에 입사되는 광의 광원의 종류를 추정하는 광원 추정부를 구비하고,
    상기 보정부는, 상기 광원 추정부에서 추정된 광원의 종류에 기초하여, 상기 복수의 광전 변환부에서 광전 변환된 촬상 화상의 보정량을 조정하는, 전자기기.
  7. 제2항에 있어서,
    상기 표시부의 표시 휘도를 추정하는 휘도 추정부를 구비하고,
    상기 보정부는, 상기 표시부의 표시 휘도에 따라, 상기 복수의 광전 변환부에서 광전 변환된 촬상 화상의 보정량을 조정하는, 전자기기.
  8. 제2항에 있어서,
    상기 보정부에서 보정된 촬상 화상에 대해, 노광 처리, 초점 조절 처리 및 화이트 밸런스 조정 처리 중 적어도 하나를 행하는 신호 처리부를 구비하는, 전자기기.
  9. 제2항에 있어서,
    상기 보정부에서 보정된 촬상 화상에 대해 적어도 1종류의 신호 처리를 행하는 신호 처리부와,
    상기 보정부가 상기 촬상 화상을 보정하는 보정량에 따라, 상기 촬상 화상을 신호 처리할 때의 파라미터를 조정하는 파라미터 조정부를 구비하는, 전자기기.
  10. 제9항에 있어서,
    상기 신호 처리부가 행하는 신호 처리는, 상기 촬상 화상에 포함되는 노이즈 성분을 제거하는 노이즈 저감 처리와, 상기 촬상 화상의 에지를 강조하는 에지 강조 처리 중 적어도 일방을 포함하고,
    상기 파라미터 조정부는, 상기 보정량에 따라, 상기 노이즈 저감 처리 및 상기 에지 강조 처리 중 적어도 일방을 행할 때의 파라미터를 조정하는, 전자기기.
  11. 제10항에 있어서,
    상기 파라미터 조정부는, 상기 보정량이 큰 촬상 화상일수록, 상기 노이즈 저감 처리에 있어서의 노이즈 제거의 정도를 보다 높게 하는 처리와, 상기 에지 강조 처리에 있어서의 에지 강조의 정도를 보다 높게 하는 처리 중 적어도 일방을 행하는, 전자기기.
  12. 제9항에 있어서,
    상기 신호 처리부는, 노광 조정 처리를 포함하는 신호 처리를 행하고, 상기 노광 조정 처리를 행할 때에는, 상기 복수의 광전 변환부의 출력값이 포화하지 않도록 노광 조정을 행하는, 전자기기.
  13. 제1항에 있어서,
    상기 편광 소자에 의해 편광된 광이 입사되는 상기 광전 변환부의 출력값을, 주위의 2 이상의 상기 광전 변환부의 출력값을 사용하여 보정하는 결함 보정부를 구비하는, 전자기기.
  14. 제1항에 있어서,
    상기 광전 변환부와, 상기 광전 변환부에 광을 집광시키는 광학계를 갖는 촬상 장치를 구비하고,
    상기 촬상 장치는, 상기 표시부의 표시면의 실질적으로 중앙부 부근의 반대측에 배치되는, 전자기기.
  15. 제1항에 있어서,
    상기 복수의 광전 변환부 중, 출력값이 포화된 광전 변환부에 대해, 해당 광전 변환부의 주변에 배치되어 있는 하나 이상의 상기 편광 소자에 의해 편광되어 상기 광전 변환부에서 광전 변환된 편광 정보에 기초하여, 출력값이 포화된 광전 변환부의 출력값을 보정하는 결함 보정부를 구비하는, 전자기기.
  16. 제1항에 있어서,
    상기 광전 변환부는, 복수의 분할 광전 변환부를 갖고,
    상기 복수의 편광 소자에 의해 편광된 광은, 일부의 상기 광전 변환부에 있어서의 상기 복수의 분할 광전 변환부에 입사되는, 전자기기.
  17. 제1항에 있어서,
    상기 광전 변환부는, 복수의 분할 광전 변환부를 갖고,
    상기 편광 소자에 의해 편광된 광은, 임의의 상기 광전 변환부에 있어서의 일부의 상기 분할 광전 변환부에 입사되는, 전자기기.
  18. 제1항에 있어서,
    상기 광전 변환부는, 복수의 분할 광전 변환부를 갖고,
    상기 편광 소자에 의해 편광된 광은, 2 이상의 상기 광전 변환부의 일부씩의 상기 분할 광전 변환부에 입사되는, 전자기기.
  19. 제1항에 있어서,
    상기 복수의 광전 변환부는, 복수의 분할 광전 변환부를 갖고,
    상기 복수의 광전 변환부에는, 상기 복수의 편광 소자에 의해 편광된 광이 입사되는 전자기기.
  20. 제1항에 있어서,
    상기 광전 변환부는, 일 방향으로 복수로 분할되어 위상차 정보를 검출 가능한 복수의 분할 광전 변환부를 갖고,
    상기 편광 소자에 의해 편광된 광은, 임의의 상기 광전 변환부에 있어서의 상기 복수의 분할 광전 변환부에 입사되는, 전자기기.
KR1020227010648A 2019-10-07 2020-10-07 전자기기 KR20220072834A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019184761 2019-10-07
JPJP-P-2019-184761 2019-10-07
PCT/JP2020/038005 WO2021070867A1 (ja) 2019-10-07 2020-10-07 電子機器

Publications (1)

Publication Number Publication Date
KR20220072834A true KR20220072834A (ko) 2022-06-02

Family

ID=74942758

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227010648A KR20220072834A (ko) 2019-10-07 2020-10-07 전자기기

Country Status (6)

Country Link
US (1) US11917306B2 (ko)
EP (1) EP4044574A4 (ko)
JP (1) JPWO2021070867A1 (ko)
KR (1) KR20220072834A (ko)
CN (2) CN112637387A (ko)
WO (1) WO2021070867A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021092887A1 (en) * 2019-11-15 2021-05-20 Qualcomm Incorporated Display shade compensation for cameras
TW202143213A (zh) * 2020-02-03 2021-11-16 日商索尼半導體解決方案公司 電子機器
JP2024092602A (ja) * 2022-12-26 2024-07-08 ソニーセミコンダクタソリューションズ株式会社 光検出素子及び電子機器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180069060A (ko) 2016-09-23 2018-06-22 애플 인크. 다층 송신기 코일 배열을 갖는 무선 충전 매트

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5156152B2 (ja) * 2005-10-17 2013-03-06 アイ２アイシー コーポレイション 組み合わせ型の映像ディスプレイおよびカメラシステム
JP4728793B2 (ja) * 2005-12-14 2011-07-20 株式会社アイ・オー・データ機器 ディスプレイ装置およびその制御方法
JP5176397B2 (ja) 2006-06-01 2013-04-03 ソニー株式会社 表示装置及びその駆動方法
WO2009157129A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 画像処理装置、画像分割プログラムおよび画像合成方法
JP5607911B2 (ja) * 2009-10-21 2014-10-15 オリンパスイメージング株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
US9013613B2 (en) 2010-09-21 2015-04-21 Sony Corporation Sensor-equipped display apparatus and electronic apparatus
JP6041495B2 (ja) * 2011-03-24 2016-12-07 キヤノン株式会社 撮像装置及び欠陥画素の判定方法
JP5831024B2 (ja) * 2011-08-04 2015-12-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8947627B2 (en) 2011-10-14 2015-02-03 Apple Inc. Electronic devices having displays with openings
WO2013175686A1 (ja) * 2012-05-22 2013-11-28 パナソニック株式会社 撮像処理装置および内視鏡
JP2014011754A (ja) 2012-07-03 2014-01-20 Sony Corp 制御装置、制御方法、及びプログラム
EP2957215B1 (en) * 2013-02-15 2020-05-06 Panasonic Intellectual Property Management Co., Ltd. Image processing device and endoscope
JP2015026937A (ja) 2013-07-25 2015-02-05 ソニー株式会社 撮像装置および撮像方法、並びにプログラム
JP6288569B2 (ja) * 2014-02-28 2018-03-07 パナソニックＩｐマネジメント株式会社 固体撮像素子及びその製造方法
US9945718B2 (en) * 2015-01-07 2018-04-17 Semiconductor Components Industries, Llc Image sensors with multi-functional pixel clusters
JP6673327B2 (ja) * 2015-02-27 2020-03-25 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
JP2016171368A (ja) * 2015-03-11 2016-09-23 株式会社東芝 撮像装置、撮像素子、及び撮像方法
JP2017005111A (ja) * 2015-06-10 2017-01-05 ソニー株式会社 固体撮像装置及び電子機器
JP6566749B2 (ja) 2015-07-01 2019-08-28 株式会社ソニー・インタラクティブエンタテインメント 撮像素子、イメージセンサ、および情報処理装置
US10298863B2 (en) * 2015-09-08 2019-05-21 Apple Inc. Automatic compensation of lens flare
WO2017085993A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 画像処理装置と画像処理方法
KR20170111827A (ko) * 2016-03-29 2017-10-12 삼성전자주식회사 디스플레이 및 카메라를 포함하는 전자 장치
JP6697680B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP7040447B2 (ja) * 2016-08-24 2022-03-23 ソニーグループ株式会社 画像処理装置および情報生成装置と情報生成方法
JP2018037722A (ja) * 2016-08-29 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
CN109923855B (zh) * 2016-11-15 2022-08-19 索尼公司 图像处理装置、图像处理方法和程序
US11424284B2 (en) * 2017-03-03 2022-08-23 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic apparatus
US11044387B2 (en) * 2017-03-24 2021-06-22 Sony Semiconductor Solutions Corporation Stacked imaging device and solid-state imaging apparatus
US10652497B2 (en) * 2017-04-21 2020-05-12 Trustees Of Dartmouth College Quanta image sensor with polarization-sensitive jots
JP7006690B2 (ja) * 2017-06-13 2022-01-24 ソニーグループ株式会社 撮像装置と撮像素子および画像処理方法
JP7105062B2 (ja) 2017-12-21 2022-07-22 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
JP7238887B2 (ja) * 2018-03-29 2023-03-14 ソニーグループ株式会社 情報処理装置、プログラム、及び、情報処理システム
CN108810201B (zh) * 2018-06-04 2020-07-17 Oppo广东移动通信有限公司 电子装置及利用电子装置拍摄照片的方法
CN112204364A (zh) * 2018-06-05 2021-01-08 索尼公司 信息生成装置、信息生成方法和程序
CN109948410B (zh) * 2018-07-20 2020-09-11 华为技术有限公司 具有纹路检测功能的电子设备
US11252362B2 (en) * 2018-08-31 2022-02-15 Sony Semiconductor Solutions Corporation Imaging element, imaging device, and imaging method
KR102534247B1 (ko) * 2018-10-01 2023-05-18 삼성전자주식회사 편광판을 포함한 3d 이미지 센서, 및 그 3d 이미지 센서를 기반으로 한 깊이 보정방법과 3d 영상 생성방법
JPWO2020085149A1 (ja) * 2018-10-22 2021-09-16 富士フイルム株式会社 撮像装置及び撮像方法
CN109348195A (zh) * 2018-11-30 2019-02-15 德淮半导体有限公司 图像传感器及其制造方法、成像方法以及成像设备
JP2020136429A (ja) * 2019-02-18 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像装置
CN113557709B (zh) * 2019-04-19 2024-08-02 索尼集团公司 成像装置、图像处理装置和图像处理方法
US11575865B2 (en) * 2019-07-26 2023-02-07 Samsung Electronics Co., Ltd. Processing images captured by a camera behind a display
KR20210050611A (ko) * 2019-10-28 2021-05-10 삼성디스플레이 주식회사 표시 장치
US11423864B2 (en) * 2020-01-21 2022-08-23 Hangzhou Single Micro Electronic Co., Ltd. Under-display sensor
WO2021172284A1 (ja) * 2020-02-28 2021-09-02 富士フイルム株式会社 撮像装置及び方法
JP7520531B2 (ja) * 2020-03-05 2024-07-23 キヤノン株式会社 撮像装置及びその制御方法
KR20210153174A (ko) * 2020-06-09 2021-12-17 삼성디스플레이 주식회사 표시 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180069060A (ko) 2016-09-23 2018-06-22 애플 인크. 다층 송신기 코일 배열을 갖는 무선 충전 매트

Also Published As

Publication number Publication date
WO2021070867A1 (ja) 2021-04-15
CN212727101U (zh) 2021-03-16
US11917306B2 (en) 2024-02-27
EP4044574A4 (en) 2022-11-09
US20210266425A1 (en) 2021-08-26
EP4044574A1 (en) 2022-08-17
CN112637387A (zh) 2021-04-09
TW202131671A (zh) 2021-08-16
JPWO2021070867A1 (ko) 2021-04-15

Similar Documents

Publication Publication Date Title
US11856291B2 (en) Thin multi-aperture imaging system with auto-focus and methods for using same
EP2589226B1 (en) Image capture using luminance and chrominance sensors
WO2015011900A1 (en) Solid state image sensor, method of manufacturing the same, and electronic device
KR20220072834A (ko) 전자기기
CN115023938B (zh) 电子装置
US20140210952A1 (en) Image sensor and imaging apparatus
CN214381044U (zh) 电子设备
TWI853102B (zh) 電子機器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal