KR20230088886A - 촬상 소자 및 전자 기기 - Google Patents

촬상 소자 및 전자 기기 Download PDF

Info

Publication number
KR20230088886A
KR20230088886A KR1020237009844A KR20237009844A KR20230088886A KR 20230088886 A KR20230088886 A KR 20230088886A KR 1020237009844 A KR1020237009844 A KR 1020237009844A KR 20237009844 A KR20237009844 A KR 20237009844A KR 20230088886 A KR20230088886 A KR 20230088886A
Authority
KR
South Korea
Prior art keywords
unit
pixel
processing
processing unit
information
Prior art date
Application number
KR1020237009844A
Other languages
English (en)
Inventor
마사시 나카타
히로타카 시노자키
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20230088886A publication Critical patent/KR20230088886A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

본 개시에 의하면, 반도체 칩으로서 구성되는 촬상 소자이며, 반도체 칩 외에 광학 부재가 마련되고, 상기 광학 부재에 관한 정보를 취득하는 취득부와, 광학 부재를 통해 입력되는 입력광의 파장에 대한 분광 특성이 각각 다른 N(N은 정수) 종류의 화소를 갖는 화소부와, 화소부의 출력 신호를 디지털의 출력 신호로 변환하는 변환부와, 정보를 이용하여, 변환부가 출력하는 출력 신호에 기초하여, 분광 특성이 각각 다른 N+1 이상의 처리 신호로 변환 처리하는 처리부와, 처리 신호에 기초하는 신호를 반도체 칩 외로 출력하는 출력부를 구비하는, 촬상 소자가 제공된다.

Description

촬상 소자 및 전자 기기
본 발명의 실시 형태는, 촬상 소자 및 전자 기기에 관한 것이다.
멀티스펙트럼(Multi Spectrum, Multispectral) 화상은, 복수의 파장대의 전자파를 기록한 화상이다. 멀티스펙트럼 화상은, 가시광선의 파장대의 전자파의 정보에 추가하여, 자외선, 적외선 및 외적외선 등의 불가시광선의 파장대의 전자파의 정보도 화상 신호로서 갖는다. 이 때문에, 멀티스펙트럼 화상은, 눈으로는 식별할 수 없는 물체를 가시화하기 위해서 사용되거나, 물체 식별이나 상태 판정하거나 하는 것에 사용되기도 한다.
즉, 일반적인 화상 촬상용 촬상 소자와 달리, 원색의 적(Red)/녹(Green)/ 청(Blue)(이후에서는 R, G, B라고 기재하는 경우가 있음)이나, 시안(Cyan), 마젠타(Magenta), 황색(Yellow)(이후에서는 C, M, Y라고 기재하는 경우가 있음)보다도 많은 분광 특성을 가질 필요가 있다. 이 때문에, 멀티스펙트럼 화상용 촬상 소자는, 용도에 따라 다르지만 일반적으로는 5개 이상의 파장 특성을 갖는다.
일본 특허 공개 제2008-136251호 공보 일본 특허 공개 제2013-45917호 공보
한편, 분광 특성(예를 들어 도 20 참조)을 세밀하게 갖기 위해서는, 그 수만큼의 필터를 마련할 필요가 있다. 이 때문에, 촬상 소자 내에 대한 탑재를 상정하면, 총 화소수에 대해서 하나의 파장 대역당 화소수는 줄어들어버려, 하나의 파장 대역에 대한 해상도가 저하될 우려가 있다.
또한, 촬상 소자로부터 각 파장 대역에 대응하는 신호를 출력한 후에 연산을 사용하여 다른 분광으로 변환하고자 하면, 연산량 등의 증대에 따라 처리 시간이 증가해버린다. 이 때문에, 스마트폰 등의 전자 기기에 있어서의 소프트웨어 처리에서는, 실시간 처리가 저해될 우려가 있다. 특히, 최종적으로 생성되는 화상 신호에 대해서 과다하게 화상 신호를 출력할 필요가 있어, 데이터양의 증대도 초래하게 된다.
또한, 멀티스펙트럼 화상용 촬상 소자(촬상 소자를 화상 센서(Image Sensor)라고 기재하는 경우가 있음)의 화소 배열은, 통상의 카메라 촬상용 촬상 소자의 2×2단위의 화소 배열(예를 들어 Bayer)과 다르다. 예를 들어, 멀티스펙트럼 화상용 촬상 소자의 화소 배열은, 2×4단위, 혹은 3×3단위 이상의 화소 출력으로 되어 있다. 이 때문에, 멀티스펙트럼 화상용 촬상 소자가 출력하는 화상 신호를 처리하는 후단의 애플리케이션 프로세서 등에서는, 그와 같은 배열 주기에 대응시킬 필요가 발생되어버린다.
상기 과제를 해결하기 위해서, 본 개시에 의하면, 반도체 칩으로서 구성되는 촬상 소자이며,
상기 반도체 칩 외에 광학 부재가 마련되고, 상기 광학 부재에 관한 정보를 취득하는 취득부와,
상기 광학 부재를 통해 입력되는 입력광의 파장에 대한 분광 특성이 각각 다른 N(N은 정수) 종류의 화소를 갖는 화소부와,
상기 화소부의 출력 신호를 디지털의 출력 신호로 변환하는 변환부와,
상기 정보를 이용하여, 상기 변환부가 출력하는 출력 신호에 기초하여, 분광 특성이 각각 다른 N+1 이상의 처리 신호로 변환 처리하는 처리부와,
상기 처리 신호에 기초하는 신호를 상기 반도체 칩 외로 출력하는 출력부
를 구비하는, 촬상 소자가 제공된다.
상기 화소부는, N종류의 필터를 통해 입력광을 상기 출력 신호로 변환하는 복수의 광전 변환 소자를 가져도 된다.
상기 N은 5 이상이어도 된다.
상기 촬상 소자는, 하나의 반도체 칩부 또는 인접하는 복수의 반도체 칩부 내에 구성되어도 된다.
상기 정보는, 상기 촬상 소자와 피사체의 사이에 있는 상기 광학 부재의 광학 특성에 관한 것이며, 투과율, 반사율, 굴절률, 발광 파장, 및 파장 의존성 중 적어도 하나에 관한 것이어도 된다.
상기 광학 부재는, 컬러 필터, 플라스몬, 및 유기 광전 변환막 중 적어도 어느 것이어도 된다.
상기 N종류의 필터는, 적색(Red)광, 녹색(Green)광, 청색(Blue)광, 시안색(Cyan)광, 마젠타색(Magenta)광, 및 황색(Yellow)광 중 어느 것을 투과하는 필터 중 4종류 이상의 필터를 가져도 된다.
상기 취득부는, 상기 반도체 칩 외로부터의 상기 정보를 기억하는 것이 가능한 메모리(EEPROM)이며, 상기 메모리가 기억한 상기 반도체 칩 외로부터의 상기 정보가 상기 처리부에 공급되어도 된다.
상기 광학 부재는 대역 통과 필터여도 된다.
상기 대역 통과 필터는, 소정의 가시광 영역과 소정의 적외색(IR) 영역의 광을 투과해도 된다.
상기 처리부는, 촬영 환경에 관련된 파라미터를 사용한 처리가 가능하며,
상기 취득부는, 광원 추정 결과에 관한 정보를 적어도 포함하는 상기 파라미터를 취득 가능해도 된다.
상기 처리부가 출력하는 상기 처리 신호는, 소정의 배열 정보에 따른 화상 데이터이며,
상기 취득부는, 상기 N+1 이상의 분광 특성에 관한 정보, 및 상기 배열 정보에 관한 정보 중 적어도 어느 것을 취득 가능해도 된다.
상기 처리 신호의 각각은, 소정의 파장 범위의 입력광에 있어서의 상기 N+1 이상의 파장 대역 각각에 광 감도의 피크를 갖고,
상기 처리부는, 상기 반도체 칩 외로부터의 파라미터 설정에 의해, 상기 N+1 이상의 파장 대역 중 적어도 어느 범위를 변경 가능해도 된다.
상기 처리부가 출력하는 상기 처리 신호는, 소정의 배열 정보에 따른 화상 데이터이며,
상기 처리부는, 상기 반도체 칩 외로부터의 파라미터 설정에 의해, 상기 화상 데이터의 화소 배열을 바꾸는 것이 가능하다.
상기 광학 부재는, 적어도 표시용 디스플레이 패널이며,
상기 처리부는, 상기 디스플레이 패널의 광학 특성에 관한 정보를 적어도 사용하여, 상기 처리 신호를 생성해도 된다.
상기 처리부는, 다른 촬상 소자가 생성하는 출력 신호에도 기초하여, 상기 처리 신호를 생성해도 된다.
상기 화소부는, 유기 광전 변환막, 및 단면 방향으로 분할된 분할 포토다이오드 중 어느 것을 가져도 된다.
상기 처리부는, 제1 프레임에 생성하는 상기 처리 신호 내의 조합과, 상기 제1 프레임의 다음에 생성되는 제2 프레임에 생성하는 상기 처리 신호 내의 조합이 달라도 된다.
상기 처리부는, 상기 N+1의 상기 처리 신호 내에 있어서의 M(M은 정수, 또한 M <N+1)개의 처리 신호를 상기 제1 프레임으로서 생성하고, 상기 N+1의 상기 처리 신호 내에 있어서의 나머지 처리 신호를 상기 제2 프레임으로서 생성해도 된다.
상기 화소부는, 프레임간, 혹은 화소간에서 다른 노광 제어가 행해져도 된다.
상기 화소부는, 상기 소정의 파장 범위의 입력광에 대해서 다른 화소의 감도를 갖는 파장대와 겹치는 광역의 파장대에서 감도를 갖는 백색(White) 화소, 및 회색(Gray) 화소 중 적어도 어느 것을 가져도 된다.
상기 N종류의 필터 분광 특성에 있어서, 투과하는 파장 대역의 1개소 이상에서 겹침이 있어도 된다.
상기 분광 특성은, 소정의 파장 범위에 있어서의 입력광에 대한 처리 신호의 크기 변동을 나타내고,
상기 처리부는, 상기 광학 부재가 대역 통과 필터(Band Pass Filter)인 경우에, 상기 N+1 이상의 처리 신호 중 적어도 어느 입력광에 있어서의 파장에 대한 처리 신호의 변동값의 반값폭을 보다 좁게 하는 처리를 행해도 된다.
상기 처리부는, 상기 제1 프레임 내의 처리 신호와, 상기 제2 프레임 내의 처리 신호에는 공통의 분광 특성을 갖는 처리 신호가 각각 적어도 하나가 포함되어도 된다.
상기 처리부는, 상기 공통의 분광 특성을 갖는 처리 신호를 사용하여, 피사체의 동태 보정을 행하는 것이 가능해도 된다.
상기 과제를 해결하기 위해서, 본 개시에 의하면, 촬상 소자를 갖는 전자 기기여도 된다.
도 1은 본 실시 형태에 따른 화소부의 기본 단위의 예를 나타내는 도면.
도 2는 화소의 분광 특성을 나타내는 도면.
도 3a는 2화소의 파장에 대한 출력값의 예를 나타내는 도면.
도 3b는 다른 2화소의 파장에 대한 출력값의 예를 나타내는 도면.
도 4는 화소의 출력 신호값에 대해서 12행 8열의 컬러 매트릭스 연산을 한 처리예를 나타내는 도면.
도 5는 본 실시 형태에 따른 촬상 소자의 구성예를 나타내는 도면.
도 6a는 본 실시 형태에 따른 촬상 모듈의 구성예를 나타내는 도면.
도 6b는 본 실시 형태에 따른 촬상 모듈의 다른 구성예를 나타내는 도면.
도 6c는 본 실시 형태에 따른 촬상 모듈의 또 다른 구성예를 나타내는 도면.
도 7은 대역 통과 필터를 사용한 경우의 촬상 소자의 출력 신호예를 나타내는 도면.
도 8a는 제3 실시 형태에 따른 촬상 모듈의 구성예를 나타내는 도면.
도 8b는 렌즈를 갖지 않는 촬상 모듈의 구성예를 나타내는 도면.
도 9는 제4 실시 형태에 따른 촬상 모듈의 구성예를 나타내는 도면.
도 10은 화소부의 기본 단위의 화소 배열예를 나타내는 도면.
도 11은 도 10과는 다른 화소부의 기본 단위의 화소 배열예를 나타내는 도면.
도 12는 또 다른 화소부의 기본 단위의 화소 배열예를 나타내는 도면.
도 13은 도 10 내지 도 12와는 다른 화소부의 기본 단위의 화소 배열예를 나타내는 도면.
도 14는 제5 실시 형태에 따른 화소부의 기본 구성의 예를 나타내는 도면.
도 15는 제5 실시 형태에 따른 화소부의 다른 기본 구성의 예를 나타내는 도면.
도 16은 아날로그적으로 가산 판독이 가능한 화소예를 나타내는 도면.
도 17은 제6 실시 형태에 따른 화소부의 단면도의 일부를 나타내는 도면.
도 18은 촬상 모듈이 전자 기기로서의 스마트폰에 적용된 예를 나타내는 도면.
도 19는 촬상 모듈이 전자 기기로서의 헤드 마운트 디스플레이에 적용된 예를 나타내는 도면.
도 20은 분광 특성의 일례를 나타내는 도면.
이하, 도면을 참조하여, 본 발명의 실시 형태에 대하여 설명한다. 또한, 본건 명세서에 첨부하는 도면에 있어서는, 도시와 이해의 용이함의 편의상, 적절히 축척 및 종횡의 치수비 등을, 실물의 그것들로부터 변경하여 과장하고 있다.
(제1 실시 형태)
도 1은, 본 실시 형태에 따른 화소부(120)의 기본 단위의 예를 나타내는 도면이다. 본 실시 형태에서는, 수광면을, 복수의 화소를 포함하는 직사각형의 화소 블록으로 분할했을 때의, 그 화소 블록을 기본 단위라고 칭한다. 도 1에서는, 기본 단위를 구성하는 화소군으로서, 4×4화소를 도시하고 있다. 본 실시 형태에 따른 화소부(120)는, 예를 들어 이와 같은 기본 단위가, 가로 및 세로로 반복해서 배열되어 있다. 또한, 본 실시 형태에 따른 화소부(120)는, 이와 같은 기본 단위를 수 백만의 오더로 갖도록 구성해도 된다.
화소 R, B, G, Y, C, IR, M, W는, 수광 파장에 대한 감도 특성에 의해 종별이 분류된다. 각 화소에는, 예를 들어 온 칩으로, 적색(R: Red), 청색(B: Blue), 녹색(G: Green), 황색(Y: Yello), 시안색(C: Cyan), 적외색(IR), 마젠타색(M: Magenta), 백색(W: White)의 컬러 필터가 형성되어 있다. 즉, 각 화소의 종별을 컬러 필터에 대응시켜, R, B, G, Y, C, IR, M, W의 부호를 붙이고 있다. 적색(R: Red), 청색(B: Blue), 녹색(G: Green), 황색(Y: Yello), 시안색(C: Cyan), 적외색(IR), 마젠타색(M: Magenta), 백색(W: White) 필터의 각각은, 적색 대역, 청색 대역, 녹색 대역, 황색 대역, 시안색 대역, 적외색 대역, 마젠타색 대역, 화이트색 대역의 광을 투과하는 특성을 갖는다.
도 1에 도시한 바와 같이, 최상단의 행에서는, 좌측부터, 녹색(G: Green), 청색(B: Blue), 황색(Y: Yello), 시안색(C: Cyan)에 대응하는 화소가 순서대로 배치된다. 또한 그 아래의 행에서는, 좌측부터 적색(R: Red), 적외색(IR, IR은 'Black'으로 표현하는 경우가 있음), 마젠타색(M: Magenta), 백색(W: White)에 대응하는 화소가 순서대로 배치된다. 또한 그 아래의 행에서는, 좌측부터 황색(Y: Yello), 시안색(C: Cyan), 녹색(G: Green), 청색(B: Blue)에 대응하는 화소가 순서대로 배치된다. 최하단의 행에서는, 좌측부터 마젠타색(M: Magenta), 백색(W: White), 적색(R: Red), 적외색(IR)에 대응하는 화소가 순서대로 배치된다.
도 2는, 화소 R, B, G, Y, C, IR, M, W의 분광 특성을 나타내는 도면이다. 종축은 양자 효과(QE)를 나타내고, 횡축은 파장(Wavelength)을 나타낸다. 양자 효과 QE는, 화소 R, B, G, Y, C, IR, M, W의 파장에 대한 수광 감도를 파장으로 나눈 값이다. 도 2에서는, 화소 R, B, G, Y, C, IR, M, W의 출력에 대응하는 8종류의 양자 효과 QE의 분광 커브가 도시되어 있다. 도 2에 도시한 바와 같이, 화소 R, B, G, Y, C, IR, M, W에 입력하는 입력광을 파장마다 측정(분광)하고, 그 광에 대한 신호값의 비율을 나타낸 것을 분광 특성(분광 분포)이라고 칭한다. 이에 의해, 화소 R, B, G, Y, C, IR, M, W의 분광 특성을 나타내는 분광 커브에 의해 어떤 파장 영역의 색을 갖고 있는 것인지, 피크의 형상이 어떻게 되어 있는지 등의 정보가 나타내어진다. 도 2에서는, 화소 R, B, G, Y, C, IR, M, W의 출력에 대응하는 8종류의 분광 커브가 도시되어 있다.
화소 R, B, G, Y, C, IR, M, W의 분광 커브의 각각은 브로드(Broad)한 분광폭(반값폭)을 갖고 있다. 본 실시 형태에서는, 소정의 파장 범위, 예를 들어 300 내지 900나노미터에 대한 신호값의 수를 분광수라고 칭한다. 예를 들어, 도 2에서는, 분광 커브는 8종류가 있으므로, 분광수는 8이다. 또한, 본 실시 형태에서는, 신호값을 화소값이라고 칭하는 경우가 있다. 신호값에는, R, B, G, Y, C, IR, M, W 등의 컬러를 나타내는 정보가 관련지어져 있다. 혹은, 신호값으로 구성되는 화상 데이터의 배열의 정보에, R, B, G, Y, C, IR, M, W 등의 컬러를 나타내는 정보가 관련지어져 있다.
도 3a는, 어떤 2화소의 파장에 대한 출력값 O22, O24의 예를 나타내는 도면이다. 종축은 출력값을 나타내고, 횡축은 파장을 나타낸다. 도 3a의 예에서는, 2화소의 파장에 대한 출력값 O22, O24에는, 겹침이 없는 예이다. 한편, 도 3b는, 다른 2화소의 파장에 대한 출력값 O26, O28의 예를 나타내는 도면이다. 종축은 출력값을 나타내고, 횡축은 파장을 나타낸다. 본 실시 형태에서는, 출력값 O26, O28과 같이 겹침이 있는 경우에, 겹침을 저감시키는 분광 생성 처리를 행한다.
예를 들어 화소 R, B, G, Y, C, IR, M, W의 출력 신호값의 조합에 계수를 승산하여 분광 특성에 따른 새로운 출력 신호를 생성한다. 보다 구체적으로는, (1) 식에 나타내는 바와 같이, Y 화소의 신호값에 계수 a를 승산하고, G 화소의 신호값에 계수-b를 승산하고, B 화소의 신호값에 계수-c를 승산하여, 가산한다. 이에 의해, 새로운 분광 특성을 갖는 출력 신호값 α를 생성할 수 있다.
Figure pct00001
이와 같이, 예를 들어 화소 R, B, G, Y, C, IR, M, W의 출력 신호값에 대해서, N행 8열의 컬러 매트릭스를 연산함으로써, N개의 새로운 분광 특성을 갖는 신호값을 얻는 것이 가능하다. 예를 들어, 컬러 매트릭스는, 제조 시의 초기 실험이나, 계산 시뮬레이션 등에 의해 사전에 설정 가능하다.
도 4는, 도 2에서 나타낸 화소 R, B, G, Y, C, IR, M, W의 출력 신호값에 대해서 12행 8열의 컬러 매트릭스 연산을 한 처리 신호의 예를 나타내는 도면이다. α는, (1) 식에 나타낸 분광 특성의 피크 위치를 나타낸다. 즉, 12행 8열의 컬러 매트릭스에 있어서, 출력 α에 대응하는 행의 행렬 파라미터인 계수는, 예를 들어 (0, -c, -b, a, 0, 0, 0, 0)이다. 보다 상세하게는, 화소 R, B, G, Y, C, IR, M, W의 출력값을 신호값 열(R, B, G, Y, C, IR, M, W)로 하면, 행 계수(0, -c, -b, a, 0, 0, 0, 0)×신호값 열(R, B, G, Y, C, IR, M, W)은, (1) 식으로 된다. 또한, 본 실시 형태에서는, 예를 들어 양자 효과(QE)에 있어서의 반값폭이 보다 넓은 W 화소를 가지므로, 폭넓은 분광 영역을 커버 가능하게 된다. 이 때문에, 다른 화소 R, B, G, Y, C, IR, M의 출력 신호와의 연산에 의해, 폭넓은 분광 영역을 커버하는, 새로운 분광 특성을 갖는 처리 신호를 얻는 것이 가능하게 된다. 또한, W 화소의 투과율을 떨어뜨린 회색(Gray)도 마찬가지이며, 회색(Gray) 화소를 사용해도 된다. 이와 같이, 본 실시 형태에 따른 화소는, 소정의 파장 범위, 예를 들어 300 내지 1000나노미터의 입력광에 대해서 다른 화소 R, B, G, Y, C, IR, M의 감도를 갖는 파장대와 겹치는 광역의 파장대에서 감도를 갖는 백색(White) 화소, 및 회색(Gray) 화소 중 적어도 어느 것을 갖는다.
또한, 화소 R, B, G, Y, C, IR, M, W의 출력 신호에 대한 연산 처리를 행함으로써, 촬상 소자의 분광 특성을 목적에 따라 변경 가능하다. 예를 들어, N행 8열의 컬러 매트릭스에 있어서, N을 8보다도 많게 하는 것이 가능하다. 이와 같이, 컬러 필터의 수를 N으로 하는 경우에, N+1 이상의 분광수를 갖는 출력을 생성하는 것이 가능하게 된다. 다시 말해 컬러 필터의 수를 억제한 상태에서, 분광 특성(예를 들어 도 20 참조)을 세밀하게 할 수 있다. 이에 의해, 해상도의 저하를 억제한 상태에서, 분광 특성을 세밀하게 하는 것이 가능하게 된다. 또한, 본 실시 형태에 있어서, 분광 특성을 세밀하게 한다고 함은, 분광 커브(도 2, 도 4 참조)의 반값폭을 처리 전보다도 좁게 하고, 또한 분광 커브의 수를 증가시키는 것을 의미한다.
여기서, 도 5를 참조하여, 본 실시 형태에 따른 촬상 소자의 기본적인 개략 구성에 대하여 설명한다. 도 5는, 본 실시 형태에 따른 촬상 소자의 구성예를 나타내는 도면이다. 도 5에 도시한 바와 같이 본 실시 형태는, 예를 들어 상기에 기재한 바와 같은 신호 처리를 행하는 처리부를, 촬상 소자(이미지 센서)(330, 340, 350) 내의 로직 회로(334, 345, 355)로 구성한다.
제1 예로서, 도 5 상단에 도시된 촬상 소자(330)는, 하나의 반도체 칩(331) 내에, 화소 영역(332), 제어 회로(333), 상술한 신호 처리 회로를 포함하는 로직 회로(334)를 탑재해서 구성된다.
제2 예로서, 도 5 중단에 도시된 촬상 소자(340)는, 제1 반도체 칩부(341)와 제2 반도체 칩부(342)로 구성된다. 제1 반도체 칩부(341)에는, 화소 영역(343)과 제어 회로(344)가 탑재되고, 제2 반도체 칩부(342)에는, 상술한 신호 처리 회로를 포함하는 로직 회로(345)가 탑재된다. 그리고, 제1 반도체 칩부(341)와 제2 반도체 칩부(342)가 서로 전기적으로 접속됨으로써, 하나의 반도체 칩으로서의 촬상 소자(340)가 구성된다.
제3 예로서, 도 5 하단에 도시된 촬상 소자(350)는, 제1 반도체 칩부(351)와 제2 반도체 칩부(352)로 구성된다. 제1 반도체 칩부(351)에는, 화소 영역(353)이 탑재되고, 제2 반도체 칩부(352)에는, 제어 회로(354)와, 상술한 신호 처리 회로를 포함하는 로직 회로(355)가 탑재된다. 그리고, 제1 반도체 칩부(351)와 제2 반도체 칩부(352)가 서로 전기적으로 접속됨으로써, 하나의 반도체 칩으로서의 촬상 소자(350)가 구성된다.
도 6a는, 본 실시 형태에 따른 촬상 모듈(110)의 구성예를 나타내는 도면이다. 촬상 모듈(110)은, 렌즈계(112)와, 광학 필터(114)와, 촬상 소자(116)와, 기억부(메모리: EEPROM)(118)를 구비한다.
렌즈계(112)는, 피사체로부터의 광을, 광학 필터(114)를 통해 화소부(120)에 결상시킨다. 광학 필터(114)는, 예를 들어 적외 커트 필터(IR-Cut Filter)이다. 또한, 광학 필터(114)는, 없어도 된다. 또한, 일반적으로 촬상 소자(116)에 대해서, 처리 목적에 따라 광학 필터(114)는 변경된다. 예를 들어, 광학 필터(114)는, 후술하는 바와 같이, 대역 통과 필터(Band Pass Filter), 플라스몬, 유기 광전 변환막 등을 사용해도 된다. 즉, 본 실시 형태에서는, 분광 형상(도 2 참조)에 영향을 미치는 물체를 필터라고 총칭한다. 이와 같이, 촬상 소자(116)가 제조된 후에 렌즈계(112) 및 광학 필터(114)가 설치되기 때문에, 이것들 렌즈계(112) 및 광학 필터(114)를 포함하는 필터의 특성을 촬상 소자(116)의 신호 처리부는 제조 시점에서는 인식할 수 없는 것이다.
또한, 본 실시 형태에서는, 2차원의 화상 데이터를 취득하는 것 전반을 촬상이라고 칭한다. 즉, 촬상은, 물체 식별이나 상태 인식 등의 센싱 데이터로서 촬상 소자(11)로부터 출력 신호를 출력시키는 것도 포함하는 것이다.
촬상 소자(116)는, 예를 들어 도 5에서 나타낸 촬상 소자(이미지 센서: Image Sensor)(330, 340, 350)에 대응하고, 화소부(120)와, AD 변환기(122)와, 광원 추정부(124)와, 분광 생성 처리부(126)와, 출력 인터페이스(128)를 갖는다. 또한, 화소부(120)는, 예를 들어 도 5에서 나타낸 화소 영역(332, 343, 353) 내에 구성된다. 또한, AD 변환기(122)와, 광원 추정부(124)와, 분광 생성 처리부(126)는, 예를 들어 도 5에서 나타낸 로직 회로(334, 345, 355) 내에 구성된다. 또한, 본 실시 형태에 따른 AD 변환기(122)가 변환부에 대응한다. 또한, 본 실시 형태에 따른 광원 추정부(124)와, 분광 생성 처리부(126)가 처리부에 대응한다. 또한, 본 실시 형태에 따른 출력 인터페이스(128)가 출력부에 대응한다.
화소부(120)는, 예를 들어 도 1에서 설명한 기본 단위로 구성된다. 렌즈계(112) 및 광학 필터(114)를 통한 피사체로부터의 반사광은, 화소부(120)의 각 화소에 의해 광전 변환된다. 즉, 여기에서의 화소부(120)는, 도 1에 도시한 화소 레이아웃이어도 되고, 혹은 다른 레이아웃이어도 된다.
AD 변환기(122)는, 화소부(120)의 각 화소의 출력 신호를 디지털의 신호값으로 변환한다. 또한, 본 실시 형태에서는, 신호값과 신호값의 배치 정보를 갖는 데이터를 화상 데이터 또는 화상이라고 칭한다. 즉, AD 변환기(122)는, 화소부(120)의 각 화소의 출력 신호를 디지털의 신호값으로 변환하고, 멀티스펙트럼(Multi Spectrum, Multispectral) 화상을 생성한다.
광원 추정부(124)는, 광원 추정 처리를 행한다. 광원 추정부(124)는, 예를 들어 AD 변환기(122)가 생성하는 멀티스펙트럼 화상에 있어서 배경 검출을 행하고, 배경 검출의 결과에 기초하여 광원 추정용 영역을 설정한다. 그리고, 광원 추정부(124)는, 광원 추정용 영역에 기초하여 멀티스펙트럼 화상이 촬상되었을 때의 광원의 종류의 추정 처리를 행한다.
촬상 소자(116)에 입력되는 입력광은, 예를 들어 피사체 반사율×광원 분광×렌즈 투과율×광학 필터 투과율×화소의 분광 특성(예를 들어 도 2 참조)으로 나타내어진다. 이 때문에, 멀티스펙트럼 화상에서 구하고 싶은 특성이 피사체 반사율인 경우, 그것을 정확하게 인식하기 위해서는 광원 분광, 즉 광원 추정부(124)의 처리 결과가 사용된다. 이때, 렌즈 투과율 및 광학 필터 투과율은 제조 시의 촬상 소자에 있어서는 미지의 특성이기 때문에, 외부로부터 렌즈 투과율 및 광학 필터 투과율 등의 정보를 포함하는 필터 특성을 촬상 소자(116)에 입력시킴으로써, 광원 추정 처리의 정밀도를 보다 높이는 것이 가능하게 된다.
분광 생성 처리부(126)는, 예를 들어 (1) 식을 포함하는 컬러 매트릭스 연산에 의해, 분광에 따른 처리 신호를 생성한다. 이때, 센서 분광을 기초로 연산 처리를 행한다. 즉, 렌즈계(112) 및 광학 필터(114)로 분광 특성이 바뀌는 경우에는, 그것을 원분광으로서 계산시킨다. 예를 들어, (1) 식을 포함하는 컬러 매트릭스 연산을 연산 처리의 베이스로 하지만, 렌즈계(112) 및 광학 필터(114)로 분광 특성이 바뀌는 경우에는, 그 광학 특성을 사용하여 (1) 식을 포함하는 컬러 매트릭스 연산의 계수를 변경한다.
또한, 본 실시 형태에 따른 분광 생성 처리부(126)는, 예를 들어 (1) 식을 포함하는 컬러 매트릭스 연산에 의해 분광에 따른 처리 신호(화소 신호 또는 화소값이라고 칭하는 경우가 있음)를 생성하지만, 이것으로 한정되지는 않는다. 예를 들어, 화소 R, B, G, Y, C, IR, M, W(도 2 참조)의 출력 신호를 입력 신호로 하고, 목적으로 하는 분광에 따른 처리 신호를 교사 신호로 하는 학습 데이터에 의해, 뉴럴 네트워크(NN)를 학습시켜도 된다. 즉, 이 학습된 뉴럴 네트워크(NN)를 사용하여, 분광 생성 처리부(126)를 구성해도 된다. 이때에도, 렌즈계(112) 및 광학 필터(114)의 특성을 입력하는 것이 바람직하다. 또한, 외부로부터는, 광학 특성으로서 분광 특성 바로 그 자체를 인풋해도 되지만, 어떠한 계산을 부가한 후의 파라미터를 인풋해도 된다. 예를 들어, 리니어 매트릭스와 같은 행렬 연산이나, 역행렬 연산에 사용하는 행렬 파라미터를 인풋해도 된다. 또한, 분광 생성 처리부(126)는, 기억부(118)로부터 공급되는 정보에 기초하여, 생성된 신호값의 배열 정보도 생성한다. 이와 같이, 분광 생성 처리부(126)는, 컬러수가 N개인 화상 데이터를, N+1 이상의 컬러수를 갖는 화상 데이터로 변환한다.
분광 생성 처리부(126)에 의해 생성된 소정의 분광 특성을 갖는 처리 신호는, 출력 IF(128)를 통해 출력된다. 또한, 후술하는 바와 같이, 화소 보간이나 화소 재배열과 같은 출력 화상의 사양을 변경하는 처리를 행한 후의 처리 신호를, 출력 IF를 통해 출력해도 된다.
분광 생성 처리부(126)의 처리는, 종래 처리에서는, 촬상 소자(116)로부터 출력한 후의 소프트웨어 처리 등으로 실행된다. 이 때문에, 종래 처리와 같이, 후단에서 처리하는 경우에는, 촬상 소자(116)로부터는 모든 화소가 출력하는 출력 신호(화상 데이터)를 출력시킬 필요가 있다. 예를 들어, 상술한 예에 있어서는, 분광 α를 얻기 위해서, 화소 Y, G, B의 적어도 3개의 출력 신호가 필요해진다. 이와 같이, 출력 신호의 데이터 사이즈가 커지면, 데이터양이 증대해서 촬상 소자의 프레임 레이트에 영향을 미치거나, 소비 전력이 증대하거나 하는 폐해가 있다. 이에 반하여, 본 실시 형태에 따른 분광 생성 처리부(126)는, 촬상 소자(116) 내로 연산 처리를 행하는 것이 가능하다. 이 때문에, 본 실시 형태에 따른 분광 생성 처리부(126)는, 데이터양의 증대를 억제하여, 촬상 소자(116)의 프레임 레이트의 영향, 및 소비 전력의 증대를 억제할 수 있다.
한편, 분광 생성 처리부(126)의 처리는, 촬상 소자(116) 내에 실장된다. 촬상 소자(116) 내에 분광 생성 처리부(126) 등의 계산 회로를 탑재시켜버리면, 제조 공정에 있어서의 편차나, 센서 제조 공정의 후공정에서 장착되는 광학 필터(114)의 특성 등 많은 분광 변동 인자를 가미할 수 없게 된다. 이 때문에, 도 6에 도시한 바와 같이, 기억부(118)는, 촬상 소자(116)의 외측부터 필터 특성 등의 정보를 입력할 수 있도록 한다. 즉, 기억부(118)는, 광원 추정부(124) 및 분광 생성 처리부(126)로 필요한 파라미터를 포함하는 정보를 공급한다. 파라미터에는, 상술한 바와 같이, 리니어 매트릭스와 같은 행렬 연산이나, 역행렬 연산에 사용하는 행렬 파라미터 등이 포함된다. 또한, 필터 특성 등의 정보의 입력 방법은 임의여도 되고, 애플리케이션 프로세서로부터 직접, 임의의 IF(I2C, I3C, SPI, MIPI 등)를 경유하여 입력시키는 것이어도 된다.
도 6b는, 본 실시 형태에 따른 촬상 모듈(110)의 다른 구성예를 나타내는 도면이다. 촬상 모듈(110)은, 렌즈계(112)와, 광학 필터(114)와, 촬상 소자(116)와, 정보 입력부(1180)를 구비한다. 정보 입력부(1180)는, 예를 들어 필터 특성이나 필요 파장 등의 조정값이나 광학 특성 정보가, 「1」, 「2」 등의 파라미터에 관련지어져 기억된다. 이에 의해, 예를 들어 애플리케이션 프로세서(1120)로부터 「1」, 「2」 등의 파라미터가 송신되면, 「1」, 「2」 등의 파라미터에 관련지어진 조정값나 광학 특성이, 광원 추정부(124) 및 분광 생성 처리부(126) 등에 설정된다.
도 6c는, 본 실시 형태에 따른 촬상 모듈(110)의 또 다른 구성예를 나타내는 도면이다. 촬상 모듈(110)은, 렌즈계(112)와, 광학 필터(114)와, 촬상 소자(116)와, 내부 기억부(OTP)(1122)를 구비한다. 내부 기억부(1122)는, 기억부(118)와 동등한 구성이다. 즉, 내부 기억부(1122)는, 광원 추정부(124) 및 분광 생성 처리부(126)로 필요한 파라미터를 포함하는 정보를 공급한다. 또한, 본 실시 형태에 따른 기억부(118), 정보 입력부(1180), 내부 기억부(1122) 및 임의의 IF(I2C, I3C, SPI, MIPI 등)가 취득부에 대응한다.
이상 설명한 바와 같이, 본 실시 형태에 따르면, 분광 생성 처리부(126)가, N개의 컬러 필터에 대응하는 화소 R, B, G, Y, C, IR, M, W의 신호값을 입력 신호로서, 소정의 분광 특성을 갖는 N+1 이상의 처리 신호를 생성하도록 하였다. 이에 의해, N+1 이상의 분광수를 갖는 신호값을 생성 가능하게 된다. 또한, 분광 생성 처리부(126)를 촬상 소자(116) 내에 구성하므로, 화상 데이터를 촬상 소자(116) 밖으로 출력하지 않고, 소정의 분광 특성을 갖는 N+1 이상의 신호값을 생성 가능하게 되어, 데이터 전송의 부하를 억제할 수 있다. 이때에, 필터 특성 등의 연산 처리에 필요한 정보를 기억부(118) 및 임의의 IF(I2C, I3C, SPI, MIPI 등) 등으로부터 입력할 수 있으므로, 촬상 소자(116)의 제조 후에 필터 특성이 변경, 또는 확정되어도 보다 정밀도가 높은 광원 추정부(124), 및 분광 생성 처리부(126)의 연산 처리를 행하는 것이 가능하게 된다.
(제2 실시 형태)
제1 실시 형태에 따른 촬상 모듈(110)은, 광학 필터(114)에 적외 커트 필터(IR-Cut Filter)를 사용하였지만, 제1 실시 형태에 따른 촬상 모듈(110)은, 광학 필터(114)에 대역 통과 필터(Band Pass Filter(BPF))를 사용한다는 점에서 상이하다. 이하에서는, 제1 실시 형태에 따른 촬상 모듈(110)과 서로 다른 점을 설명한다.
도 7은, 대역 통과 필터를 사용한 경우의 촬상 소자(116)의 출력 신호예를 나타내는 도면이다. 좌측 도면 A는, 광학 필터(114)가 없는 경우의 화소부(120)의 분광 특성을 나타내는 출력예이다. 종축은 출력값(Outpou)으로서, 예를 들어 양자 효과를 나타내고, 횡축은 파장(Wavelength)을 나타낸다. 중간 도면 B는, 대역 통과 필터의 파장 투과 특성을 나타내는 도면이다. 종축은 투과율(Transpareency)을 나타내고, 횡축은 파장(Wavelength)을 나타낸다. 우측 도면 C는, 광학 필터(114)가 있는 경우의 분광 생성 처리부(126)의 분광 특성을 나타내는 출력예이다.
좌측 도면 A에 나타낸 바와 같이, 대역 통과 필터가 없는 경우에는, 예를 들어 적외색(IR) 영역에는, 분광 피크가 적어진다. 이 때문에, 분광 생성 처리부(126)의 분광 처리 연산을 행하였다고 해도, 반값폭의 좁은 분광을 생성하는 것이 어려워진다.
중간 도면 B에 나타냔 바와 같이, 대역 통과 필터는, 적외색(IR) 영역의 투과광을 예를 들어 800-900나노미터만으로 좁히는 것이 가능하다. 마찬가지로, 이 대역 통과 필터는, 가시광 영역의 투과광을 예를 들어 400-700나노미터로 좁히는 것이 가능하다. 이에 의해, 분광 생성 처리부(126)의 분광 처리 연산을 행하면, 우측 도면 C에 나타낸 바와 같이, 적외색(IR) 영역에 있어서, 반값폭이 좁은 분광 커브를 얻을 수 있다. 마찬가지로, 가시광 영역에 있어서, 반값폭이 좁은 분광 커브를 얻을 수 있다.
이와 같은 경우에 있어서, 대역 통과 필터의 특성 정보를 포함하는 신호를 기억부(118)나 입력 계통(도 6 참조)으로부터 입력하는 것이 가능하다. 이 경우, 대역 통과 필터의 특성을 기초로 산출한 그 밖의 파라미터여도 된다. 이에 의해, 예를 들어 분광 생성 처리부(126)의 연산에서 사용하는 리니어 매트릭스의 파라미터인 계수를 대역 통과 필터의 특성에 보다 적합한 계수로 변경 가능하다. 즉, 대역 통과 필터에 대응하는 리니어 매트릭스의 파라미터가 미리 기억부(118)에 기억되어 있어도 되고, 입력 계통(도 6 참조)으로부터 입력되어도 된다. 또한, 본 실시 형태에 따른 대역 통과 필터는, 광학 필터(114)에 배치되지만, 이것으로 한정되지는 않는다. 예를 들어, 촬상 소자(116) 내에 대역 통과 필터를 구성해도 된다.
이상 설명한 바와 같이, 본 실시 형태에 따르면, 광학 필터(114)에 특정한 파장 영역(400-700㎚, 800-900㎚)의 투과 특성을 갖는 대역 통과 필터를 사용하도록 하였다. 이에 의해, 분광 생성 처리부(126)는, 특정한 파장 영역(400-700㎚, 800-900㎚)에 대응하는 파장 영역에 있어서, 반값폭의 좁은 분광 커브를 얻을 수 있다.
(제3 실시 형태)
제1 실시 형태에 따른 촬상 모듈(110)은, 화소부(120)에 있어서의 단위 유닛의 각 화소의 분광수를, 단위 유닛에 배치한 컬러 필터의 종류 N보다도 많게 하는 분광 처리를 행하였지만, 제3 실시 형태에 따른 촬상 모듈(110)은, 화소부(120)에 있어서의 단위 유닛의 각 화소의 신호 출력의 분광수를, 단위 유닛에 배치한 컬러 필터의 종류 N보다도 적게 하는 분광 처리도 가능하다는 점에서 상이하다. 이하에서는, 제1 실시 형태에 따른 촬상 모듈(110)과 서로 다른 점을 설명한다.
도 8a는, 제3 실시 형태에 따른 촬상 모듈(110)의 구성예를 나타내는 도면이다. 촬상 모듈(110)은, 파장 정보(AP)를 입력하는 제2 입력부(132)를 더 구비한다. 제2 입력부(132)는, 예를 들어 메모리로 구성된다. 혹은, 제2 입력부(132)는, 애플리케이션 프로세서로부터 직접, 임의의 IF(I2C, I3C, SPI, MIPI 등)를 경유하여 정보를 취득하는 입력 처리부로서 구성해도 된다. 이 때문에, 촬상 소자(116)의 제조 후에, 파장 정보(AP)가 변경되어도, 대응 가능하게 된다. 촬상 소자(116)는, 화소 보간 처리부(130)를 더 구비한다.
화소부(120)는, 기본 단위를 구성하는 화소군으로서 4×4화소를 갖는다. 또한, 기본 단위를 구성하는 화소군에는, 예를 들어 8종류의 컬러 필터가 온 칩으로 배치되어 있다. 이 때문에, 화소부(120)의 기본 단위를 구성하는 화소군의 분광수는 8이다.
분광 생성 처리부(126)는, 제2 입력부(132)로부터 입력되는 파장 정보(AP)에 기초하여, 예를 들어 매트릭스 연산에 사용하는 파라미터를 기억부(118)로부터 취득한다. 예를 들어, 입력된 파장 정보(AP)의 분광수가 4인 경우, 분광 생성 처리부(126)는, 4행 8열의 행렬식을 4×4화소의 출력 신호값에 대해서 연산 처리한다. 또한, 4×4화소의 출력 신호는, AD 변환부(122)에 의해 디지털의 신호값으로 변환되어 있다.
화소 보간 처리부(130)는, 분광 생성 처리부(126)의 처리 결과를 사용하여, 4×4화소의 화소값 배열을 4색만의 배열로 변환한다. 화소 보간 처리부(130)는, 4×4화소의 화소값 배열을 4색만의 배열로 변환할 때에 화소 보간 처리를 행하는 것도 가능하다. 이 화소 보간 처리에는, 종래의 카메라 신호 처리에서 사용되는 주변 화소의 정보로부터 보간하는(Demosic) 처리를 행해도 되고, 혹은, 뉴럴 네트워크를 사용한 보간 처리를 사용해도 된다. 이 때의 배열 순서에 대해서도, 화소 보간 처리부(130)는, 제2 입력부(132)로부터 입력되는 파장 정보(AP)에 기초하여, 외부로부터 입력된 정보를 기초로 배열을 행하는 것이 가능하다. 또한, 본 실시 형태에 따른 분광 생성 처리부(126)와, 화소 보간 처리부(130)가 처리부에 대응한다. 또한, 본 실시 형태에 따른 제2 입력부(132)가 취득부에 대응한다.
이와 같이, 분광 생성 처리부(126)와 화소 보간 처리부(130)의 처리에 의해, 8색의 코딩으로부터 4색의 코딩으로 변환할 수 있다. 통상의 카메라 신호 처리는 3-4색을 사용하도록 시스템이 구축되어 있는 경우가 많고, 4색 이하의 출력으로 함으로써 종래형의 신호 처리의 대부분이 유용할 수 있게 된다는 장점도 있다. 또한, 본 실시 형태에서는 4색으로 변환하였지만, 이 숫자는 임의이며, 이것으로 한정되지는 않는다. 또한, 제1 실시 형태와 마찬가지로, 분광 생성 처리부(126)는, 매트릭스 연산에 사용하는 파라미터를 변경함으로써, 컬러 필터의 종류 N보다도 많은 분광수의 출력 신호로 변경하는 것도 가능하다. 이 경우, 화소 보간 처리부(130)는, N색의 코딩으로부터 N색보다도 많은 색을 갖는 코딩으로 변환하는 것이 가능하게 된다.
도 8b는, 렌즈를 갖지 않는 촬상 모듈(110)의 구성예를 나타내는 도면이다. 도 8b에 나타낸 바와 같이, 촬상 모듈(110)은, 렌즈리스(Lens-Less)의 촬상 시스템, 예를 들어 핀홀 카메라나 핀홀 화소의 구조여도 된다.
이상 설명한 바와 같이, 본 실시 형태에 따르면, 촬상 모듈(110)은, 화소부(120)에 있어서의 단위 유닛의 각 화소의 신호 출력의 분광수를, 단위 유닛에 배치한 컬러 필터의 종류 N보다도 적게 하는 분광 처리를 행하도록 하였다. 이에 의해, 촬상 모듈(110)의 화상 데이터를 사용하여 처리를 하는 후단의 처리부의 화상 데이터 형식으로 변경하는 것이 가능하게 된다.
(제4 실시 형태)
제4 실시 형태에 따른 촬상 모듈(110)은, 2안 카메라의 출력 신호를 사용하여 새로운 분광 특성을 갖는 출력 신호를 생성한다는 점에서, 제3 실시 형태에 따른 촬상 모듈(110)과 상이하다. 이하에서는, 제3 실시 형태에 따른 촬상 모듈(110)과 서로 다른 점을 설명한다.
도 9는, 제4 실시 형태에 따른 촬상 모듈(110)의 구성예를 나타내는 도면이다. 제4 실시 형태에 따른 촬상 모듈(110)은, 제1 렌즈계(112a)와, 제1 광학 필터(114a)와, 제1 촬상 소자(Image Sensor 1)(116a)와, 제2 렌즈계(112b)와, 제2 촬상 소자(Image Sensor2)(116b)를 구비한다. 도 9에는 또한, 응용 처리 회로(Application Processor)(200)가 도시되어 있다. 도 9에서는, 제1 촬상 소자(116a)에 관한 구성에는 a를 붙이고, 제2 촬상 소자(116b)에 관한 구성에는 b를 붙이기로 한다. 또한, 상술한 구성과 마찬가지의 구성에는 동일한 번호를 붙이고, 설명을 생략한다. 즉, 제1 촬상 소자(116a)는, 화소부(120a)와, AD 변환기(122a)와, 클램프부(132a)와, 출력 인터페이스(128a)를 갖는다. 한편, 제1 촬상 소자(116b)는, 화소부(120b)와, AD 변환기(122b)와, 클램프부(132b)와, 입력 인터페이스(134b)와, 메모리부(136b)와, 광원 추정부(124)와, 분광 생성 처리부(126b)와, 화소 보간 처리부(130b)와, 출력 인터페이스(128b)와, 정보 입력부(138b)를 갖는다. 또한, 본 실시 형태에 따른 정보 입력부(138b)가 취득부에 대응한다.
도 10은, 화소부(120a)와 화소부(120b)의 기본 단위의 화소 배열예를 나타내는 도면이다. 도 10에 도시한 바와 같이, 화소부(120a)는, 4×4화소를 기본 단위로 하고, 시안색(Cyan), 마젠타색(Magenta), 황색(Yello)의 화소로 구성된다.
한편, 화소부(120b)는, 4×4화소를 기본 단위로 하고, 적색(Red), 녹색(Green), 청색(Blue), 적외색(IR)의 화소로 구성된다. 즉, 시안색(Cyan) 화소와, 적색(Red) 화소는 보색의 관계를 갖고, 마젠타색(Magenta) 화소와, 녹색(Green) 화소는 보색의 관계를 갖고, 황색(Yello) 화소와, 청색(Blue) 화소는 보색의 관계를 갖는다.
다시 도 9를 참조하여, 클램프부(132a)는, 예를 들어 화상에 있어서의 그라운드의 레벨에 관한 처리를 실행한다. 클램프부(132a)는, 예를 들어 흑색 레벨을 규정하고, 이 규정한 흑색 레벨을 AD 변환기(122a)로부터 출력된 화상 데이터로부터 감산하여 출력한다.
입력 인터페이스(134b)는, 출력 인터페이스(128a)가 출력하는 제1 화상 데이터를 입력한다. 메모리부(136b)는, 제1 화상 데이터와, 클램프부(132b)가 출력하는 제2 화상 데이터를 대응지어서 기억한다. 정보 입력부(138b)는, 응용 처리 회로(200)로부터 필터 특성 및 필요 파장에 관한 정보를 포함하는 신호를 취득하고, 광원 추정부(124) 및 분광 생성 처리부(126b)에 공급한다.
분광 생성 처리부(126b)는, 제1 화상 데이터의 각 기본 단위에 포함되는 제1 신호와, 제2 화상 데이터가 대응하는 각 기본 단위에 포함되는 제2 신호를 사용하여, 기본 단위마다의 새로운 분광 특성을 갖는 출력 신호를 생성한다. 본 실시 형태로는, 제1 신호는, 시안색(Cyan), 마젠타색(Magenta), 황색(Yello)의 화소 출력 신호를 갖고 있다. 한편, 제2 신호는, 적색(Red), 녹색(Green), 청색(Blue), 적외색(IR)의 화소 출력 신호를 갖고 있다. 이에 의해, 분광 생성 처리부(126b)는, 기본 단위마다, 7색에 대응하는 신호를 처리 가능하게 된다. 그리고, 분광 생성 처리부(126b)는, 예를 들어 M행 7열의 매트릭스 연산에 의해 M개의 새로운 분광 특성을 갖는 신호를 생성한다. 이 경우, M을 7보다도 많게 하는 것이 가능하다. 이와 같이, 복수의 촬상 모듈(110)의 출력 신호를 사용함으로써, M을 7보다도 많게 하는 것이 가능하다. 이 경우, 제1 촬상 소자(116a) 및 제2 촬상 소자(116b) 중 한쪽만을 사용하는 것 보다도, 보다 많은 파장 대역의 신호를 사용 가능하게 되어, 분광 처리의 정밀도를 보다 높이는 것이 가능하게 된다. 이러한 점에서 알 수 있는 바와 같이, 제1 촬상 소자(116a) 및 제2 촬상 소자에서 다른 광학계(112a, 112b)와, 다른 제1 필터(114a)를 사용하는 것이 가능하게 되고, 분광 생성 처리부(126b)는, 보다 많은 파장 대역의 신호를 사용 가능하게 된다.
또한, 적외색(IR)의 화소를 갖는 경우, 적외 커트 필터(IR-Cut Filter)를 사용할 수 없기 때문에, 제2 촬상 소자는 적외 커트 필터(IR-Cut Filter)를 갖지 않는 구성으로 해도 된다. 혹은, 대역 통과 필터(Band Pass Filter)를 사용해도 된다. 이와 같이, 제1 촬상 소자(116a) 및 제2 촬상 소자마다, 각각에 적합한 광학 필터나 렌즈를 사용하는 것이 가능하게 된다.
도 11은, 도 10과는 다른 화소부(120a)와 화소부(120b)의 기본 단위의 화소 배열예를 나타내는 도면이다. 도 11에 도시한 바와 같이, 화소부(120a)는, 4×4화소를 기본 단위로 하고, 시안색(Cyan), 마젠타색(Magenta), 황색(Yello)의 화소로 구성된다.
한편, 화소부(120b)는, 4×4화소를 기본 단위로 하고, 적색(Red), 녹색(Green), 청색(Blue)의 화소로 구성된다. 즉, 시안색(Cyan) 화소와, 적색(Red) 화소는 보색의 관계를 갖고, 마젠타색(Magenta) 화소와, 녹색(Green) 화소는 보색의 관계를 갖고, 황색(Yello) 화소와, 청색(Blue) 화소는 보색의 관계를 갖는다.
도 12는, 또 다른 화소부(120a)와 화소부(120b)의 기본 단위의 화소 배열예를 나타내는 도면이다. 도 12에 도시한 바와 같이, 화소부(120a)는, 4×4화소를 기본 단위로 하고, 시안색(Cyan), 마젠타색(Magenta), 황색(Yello), 녹색(Green)의 화소로 구성된다.
한편, 화소부(120b)는, 4×4화소를 기본 단위로 하고, 적색(Red), 녹색(Green), 청색(Blue)의 화소로 구성된다. 즉, 시안색(Cyan) 화소와, 적색(Red) 화소와는 보색의 관계를 갖고, 마젠타색(Magenta) 화소와, 녹색(Green) 화소와는 보색의 관계를 갖고, 황색(Yello) 화소와, 청색(Blue) 화소와는 보색의 관계를 갖는다.
도 13은, 도 10 내지 도 12와는 다른 화소부(120a)와 화소부(120b)의 기본 단위의 화소 배열예를 나타내는 도면이다. 도 13에 도시한 바와 같이, 화소부(120a)는, 4×4화소를 기본 단위로 하고, 시안색(Cyan), 마젠타색(Magenta), 황색(Yello)의 화소로 구성된다.
한편, 화소부(120b)는, 4×4화소를 기본 단위로 하고, 적색(Red), 녹색(Green), 청색(Blue), 백색(White)의 화소로 구성된다. 즉, 시안색(Cyan) 화소와, 적색(Red) 화소와는 보색의 관계를 갖고, 마젠타색(Magenta) 화소와, 녹색(Green) 화소와는 보색의 관계를 갖고, 황색(Yello) 화소와, 청색(Blue) 화소와는 보색의 관계를 갖는다.
이상 설명한 바와 같이, 본 실시 형태에 따르면, 분광 생성 처리부(126b)는, 제1 촬상 소자(116a)가 생성하는 제1 화상 데이터의 각 기본 단위에 포함되는 제1 신호와, 제2 촬상 소자(116b)가 생성하는 제2 화상 데이터가 대응하는 각 기본 단위에 포함되는 제2 신호를 사용하여, 기본 단위마다의 새로운 분광 특성을 갖는 출력 신호를 생성하는 것으로 하였다. 이에 의해, 제1 촬상 소자(116a) 및 제2 촬상 소자(116b) 중 한쪽만을 사용하는 것보다도, 보다 많은 파장 대역의 신호를 사용 가능하게 되어, 분광 처리의 정밀도를 보다 높이는 것이 가능하게 된다.
(제5 실시 형태)
도 14는, 제5 실시 형태에 따른 화소부(120)의 기본 구성의 예를 나타내는 도면이다. 도 14에 도시한 바와 같이, 기본 구성의 화소는 8×8로 구성된다. 또한, 좌우로 인접하는 화소는, 동일한 컬러 필터 M, R, Y, G, C 중 어느 것을 갖고 있다. 즉, 좌우로 분할되어 있는 직사각형은 광전 변환부(Photo Diode)에 대응한다. 이와 같이, 적용되는 화소 배열에 대해서는 임의의 것이어도 된다. 또한, 온 칩 렌즈(On Chip Lens)는, 색마다 1개 마련되어 있다. 온 칩 렌즈의 형상은 정사각의 온 칩 렌즈여도 되고, 직사각형 등 다른 형이어도 된다. 제5 실시 형태에 따른 화소부(120)는, 제1 내지 제4 실시 형태의 화소부(120)에 사용하는 것이 가능하다.
도 15는, 제5 실시 형태에 따른 화소부(120)의 다른 기본 구성의 예를 나타내는 도면이다. 도 15에 도시한 바와 같이, 기본 구성의 화소는 4×4로 구성된다. 또한, 2×2의 화소는 아날로그적으로 가산 판독이 가능하고, 가산 판독에 의해, 다른 분광을 얻을 수도 있다(특허문헌 2 참조). 즉, 좌측 상단의 2×2화소는, 화소 M, R로 구성되고, 우측 상단의 2×2화소는, 화소 Y, G로 구성되고, 좌측 하단의 2×2화소는, 화소 Y, G로 구성되고, 우측 하단의 2×2화소는, 화소 C, B로 구성된다. 그리고, 화소 M, R의 가산색 Cmr, 화소 Y, G의 가산색 Cyg, 화소 Y, G의 가산색 Cyg, 화소 C, B의 가산색 Ccb가 우측 도면에 나타낸 바와 같이 출력된다.
도 16은, 도 15와 마찬가지로 아날로그적으로 가산 판독이 가능한 화소예를 나타내는 도면이다. 도 16에 도시한 바와 같이, 기본 구성의 화소는 6×6으로 구성된다. 또한, 3×3의 화소는 아날로그적으로 가산 판독이 가능하고, 가산 판독에 의해, 다른 분광을 얻을 수도 있다. 즉, 좌측 상단의 3×3 화소는, 화소 M, R로 구성되고, 우측 상단의 3×3 화소는, 화소 Y, G로 구성되고, 좌측 하단의 3×3 화소는, 화소 Y, G로 구성되고, 우측 하단의 3×3 화소는, 화소 C, B로 구성된다. 그리고, 화소 M, R의 가산색 Cmr, 화소 Y, G의 가산색 Cyg, 화소 Y, G의 가산색 Cyg, 화소 C, B의 가산색 Ccb가 도 15의 우측 도면과 마찬가지로 출력된다. 도 15 및 도 16에 도시한 화소부(120)는, 제1 내지 제4 실시 형태의 화소부(120)에 사용하는 것이 가능하다.
(제6 실시 형태)
도 17은, 제6 실시 형태에 따른 화소부(120)의 단면도의 일부를 나타내는 도면이다. 도 17에 도시한 바와 같이, 화소부(120)는, 예를 들어 온 칩 렌즈(On Chip Lense)(400)와, 유기 광전 변환막(402, 404, 406)과, 광전 변환 소자(Photo Dide)(404, 406, 408)를 갖는다. 유기 광전 변환막(402)이 녹색(Green)광을 투과시키지 않는 컬러 필터와 동등한 기능을 갖는다. 이 때문에, 유기 광전 변환막(402)을 투과한 광으로부터는, 남은 광인 마젠타색(Magenta)광이, 광전 변환 소자(408)에 의해 광전 변환된다. 마찬가지로, 유기 광전 변환막(404)이 적색(Red)광을 투과시키지 않는 컬러 필터와 동등한 기능을 갖는다. 이 때문에, 유기 광전 변환막(404)을 투과한 광으로부터는, 남은 광인 시안색(Cyan)광이, 광전 변환 소자(410)에 의해 광전 변환된다. 마찬가지로, 유기 광전 변환막(406)이 청색(Blue)광을 투과시키지 않는 컬러 필터와 동등한 기능을 갖는다. 이 때문에, 유기 광전 변환막(404)을 투과한 광으로부터는, 남은 광인 시안색(Cyan)광이, 광전 변환 소자(410)에 의해 광전 변환된다. 도 17과 같은 케이스의 경우, 6색이 필터 특성으로서 포함되어 있다고 간주하는 것으로 한다. 즉 본 발명의 실시에 의해, 6+1의 7색 이상의 출력이 가능하게 된다. 도 17에 도시한 화소부(120)는, 제1 내지 제5 실시 형태의 화소부(120)에 사용하는 것이 가능하다.
이와 같이, 본 실시 형태에 따른 화소에 있어서는, 필터는 분광에 영향을 미치는 것 전반을 가리키고 있다. 예를 들어, 유기 광전 변환막(402, 404, 406)과, 광전 변환 소자(Photo Dide)(404, 406, 408) 자체의 분광 특성을 포함해서 필터라고 칭한다. 예를 들어, 플라스몬 공명을 이용한 플라스몬 필터, 굴절률 차를 이용한 패브리 페로를 분광에 사용한 경우에는, 필터는 플라스몬 필터, 패브리 페로를 포함하는 것이다.
(제7 실시 형태)
도 18은, 본 실시 형태에 따른 촬상 모듈(스테레오 카메라 모듈)(110a, b)이 전자 기기로서의 스마트폰(1000b)에 적용된 예를 나타내는 도면이다. 스마트폰 (1000a)은 카메라(1002a)를 디스플레이(1006a) 측에 배치하고 있다. 이 때문에, 베젤에 카메라(1002a)를 배치할 필요가 있어, 디스플레이(1006a)의 배치에 디자인상의 제약을 갖는다.
도 18에 도시한 본 실시 형태에 따른 스마트폰(1000b)은, 본 개시의 제1 내지 제6 실시 형태에 있어서 설명한 촬상 모듈(화상 생성 장치)(110)을 내장한 스마트폰이다. 촬상 모듈(110)을 2개 구비한 스테레오형의 예이다. 본 실시 형태에 따른 스마트폰(1000b)은, 촬상 모듈(110a, b)이, 부품 레이어(1004b)와 함께 디스플레이(1006b)의 배면측에 배치되고, 디스플레이(1006b)를 통해 촬상한다. 이 때문에, 디스플레이(1006b)의 디자인에 제약이 없어져서, 디스플레이(1006b)를 스마트폰(1000b)의 전체면에 배치하는 것이 가능하게 된다. 디스플레이(1006a)는, 예를 들어 OLED 패널이다.
이와 같이, 본 실시 형태에 따른 촬상 모듈(110a, b)을 스마트폰(1000a)에 배치한 경우에는, 물체 식별 등의 목적에 따른 분광 특성을 갖는 화상 신호를 생성 가능하게 된다. 이 때문에, 카메라 촬영 시에 물체 식별의 정밀도를 올릴 수 있다. 이에 의해, 물체 식별에 의해, 카메라 촬영 시의 신(scene) 판정 등의 정밀도가 올라가서, 적절한 촬영을 실시할 수 있게 된다. 또한, 본 실시 형태에 따른 촬상 모듈(110a, b)을 스마트폰(1000a)에 적용한 경우에는, 보다 데이터 효율이 높아진다. 즉, 출력하는 파장을 목적에 따라 한정할 수 있기 때문에 식별 정밀도를 높이는 효과와, 촬상 모듈(110a, b) 내에서 파장 생성 처리를 행하는 것이 가능하게 되기 때문에, 소비 전력을 억제 가능하게 된다.
또한, 도 18에 도시한 바와 같이 디스플레이 아래(터치 패널 아래)에 촬상 모듈(110a, b)을 배치함으로써, 유저의 손가락을 센싱할 수 있어, 혈행이나 산소 포화도의 검출을 할 수 있게 된다. 이 경우에는, 광원으로서도 OLED의 광원을 손가락에 조사할 수 있다. 이와 같은 예의 경우에는, 필터 특성의 입력 시에, OLED 패널의 투과율 등의 정보도 인풋하는 것이 가능하다. 또한, 광원이 기지인 점에서, OLED 광원의 파장 정보 등도 함께 넣어도 된다. 이에 의해, 촬상 모듈(110a, b)에서는, 센싱에 의해 적합한 분광 특성을 갖는 출력 신호를 생성하는 것이 가능하게 된다. 또한, 필터 특성의 입력은, 상술한 광학 필터에 관한 정보에 추가하여, 촬상 모듈(110a, b)이 수광하는 파장 정보에 관련된 전반의 것이어도 되며, 또한 광원 분광이나 제조 편차 등의 정보를 포함해도 된다.
도 19는, 본 실시 형태에 따른 촬상 모듈(화상 생성 장치)(110a, b)이 전자 기기로서의 VR/AR/MR의 HMD(헤드 마운트 디스플레이)에 적용된 예를 나타내는 도면이다. 도 19에 도시한 헤드 마운트 디스플레이는, 본 개시의 제1 내지 제6 실시 형태에 있어서 설명한 촬상 모듈(화상 생성 장치)(110)을 내장한 헤드부 장착형 디스플레이(헤드 마운트 디스플레이)이다. 도 18에 도시한 헤드 마운트 디스플레이는, 관찰자(40)의 헤드부에 장착되는 안경형의 프레임(10) 및 2개의 촬상 모듈(화상 생성 장치)(110a, b)를 구비하고 있다. 결합 부재(20)는, 관찰자(40)의 2개의 퓨필(41)의 사이에 위치하는 프레임(10)의 중앙 부분(10C)의 관찰자에 면하는 측에 설치되어 있다. 프레임(10)은, 관찰자(40)의 정면에 배치되는 프론트부(10B)와, 프론트부(10B)의 양단에 힌지(11)를 통해 회동 가능하게 설치된 2개의 템플부(12)와, 각 템플부(12)의 선단부에 설치된 모던부(13)를 포함하고, 결합 부재(20)는, 관찰자(40)의 2개의 퓨필(41)의 사이에 위치하는 프론트부(10B)의 중앙 부분(10C)에 설치되어 있다. 헤드폰부용 배선(17)이, 템플부(12) 및 모던부(13)의 내부를 통해 모던부(13)의 선단부로부터 헤드폰부(16)로 연장되어 있다. 헤드폰부용 배선(17)은, 보다 구체적으로는, 모던부(13)의 선단부로부터, 이개(이각)의 후방측을 돌아 들어가도록 하여 헤드폰부(16)로 연장되어 있다.
이와 같이, 본 개시의 제1 내지 제6 실시 형태에 있어서 설명한 촬상 모듈(110)을 내장한 전자 기기는 스마트폰으로 한정되지 않고, 도 19와 같은 VR/AR/MR의 HMD(헤드 마운트 디스플레이)여도 되고, SLR 카메라나 캡슐 내시경이어도 된다. 또한, 촬상 모듈(110)은, 반드시 사진을 촬영할 목적의 것으로 한정되지 않고, 인증 센서, 피부 해석, 헬스케어 등을 목적으로 하는 센싱을 포함해도 된다. 혹은, 촬상 모듈(110)은, 기타 목적의 센싱 기능을 갖는 것이어도 된다.
(제8 실시 형태)
본 실시 형태에 따른 촬상 모듈(110)은, 분광 생성 처리부(126)가 촬상 프레임마다 분광 처리를 변경하는 기능을 더 가질 수 있다는 점에서, 제1 내지 제7 실시 형태에 촬상 모듈(110)과 상이하다. 이하에서는, 제1 내지 제7 실시 형태에 따른 촬상 모듈(110)과 서로 다른 점을 설명한다.
분광 생성 처리부(126)는, 촬상 프레임마다, 예를 들어 리니어 매트릭스의 파라미터를 변경한다. 예를 들어, 최초 프레임에서 400, 450, 500㎚의 3파장(3색)에 대응하는 신호를 출력시키고, 다음 프레임에서는 550, 600, 650㎚의 파장에 대응하는 신호를 출력시킨다. 촬상 모듈(110) 내에서 분광 생성 처리부(126)의 연산 처리를 행하므로, 시간축 방향의 제어는 임의로 변경 가능하다. 이에 의해, 실시간으로 프레임마다 다른 분광 특성을 갖는 출력 신호를 출력 가능하게 된다. 촬상 모듈(110)의 출력 신호를 받는 애플리케이션 프로세서는, 전술한 바와 같이, 일반적으로 3 내지 4색의 배열을 수신하는 전제로 구축되어 있는 경우가 많아진다.
예를 들어, 본 실시 형태에 따른 촬상 모듈(110)은, 제1 프레임에서는, 400, 450, 500㎚의 3파장에 대응하는 신호를 출력하고, 제2 프레임에서는, 550, 600, 650㎚의 3파장에 대응하는 신호를 출력한다. 이 때문에, 예를 들어 3색의 배열을 수신하는 전제로 구축되어 있는 애플리케이션 프로세서에 대해서도, 6색의 배열을 갖는 화상 데이터를 송신 가능하게 된다. 이와 같이, 배색수의 제약이 있는 경우에, 본 실시 형태와 같이 프레임마다 다른 파장대에 대응하는 신호를 출력함으로써, 배색수의 제약을 제외하는 것이 가능하게 된다. 또한, 시간의 분할수 및 출력 신호에 대응하는 파장대는, 임의로 설정하는 것이 가능하다.
또한, 분광 생성 처리부(126)는, 프레임간에서 동일한 파장대에 대응하는 신호를 출력시켜도 된다. 또한, 분광 생성 처리부(126)는, 공통의 분광 특성을 갖는 처리 신호를 사용하여, 피사체의 동태 보정을 행하는 것이 가능하다. 예를 들어 프레임 1에서는, 400㎚, 500㎚, 600㎚의 3파장에 대응하는 신호를 출력하고, 프레임2에서는, 300㎚, 500㎚, 700㎚의 3파장에 대응하는 신호를 출력해도 된다. 즉, 프레임간에서 동일한 파장에 대응하는 신호를 출력시켜도 된다. 예를 들어 피사체가 움직이는 물체(움직임 피사체)인 경우에, 프레임간에서 동일 파장에 대응하는 신호를 출력함으로써, 동일한 피사체의 움직임을 보다 정확하게 보정하는 것이 가능하게 된다.
또한, 도 2에서 나타낸 바와 같이, 각 화소의 입력광에 대한 감도는 다르다. 특히 적외(IR, Black) 화소의 광 감도가 낮아진다. 이와 같은 색별의 감도 차를 보정하기 위해서, 촬상 모듈(110)에서는, 화소마다, 혹은 프레임마다, 촬상 모듈(110) 사이 등에서 노광 제어를 바꾸어도 된다. 또한, 컬러 필터는 복수의 컬러 필터를 겹쳐서 색을 만들고 있어도 된다. 예를 들어, Blue와 Red의 컬러 필터가 물리적으로 적층되면 Black(IR만을 투과) 컬러 필터가 된다.
이상 설명한 바와 같이, 본 실시 형태에 따르면, 분광 생성 처리부(126)가 촬상 프레임마다 분광 처리를 변경하는 기능을 더 갖도록 했다. 이에 의해, 동시에 복수의 색을 취급하는 경우에 배색수의 제약이 있는 애플리케이션 프로세서에 대해서도, 신호를 출력하는 것이 가능하게 된다.
도 20은, 분광 특성의 일례를 나타내는 도면이다. 횡축은 파장을 나타내고, 종축은 신호값의 예를 나타낸다. 신호값 O1 내지 O12는, 소정의 파장 범위, 예를 들어 300 내지 1000나노미터에 있어서의 입력광에 대한 신호의 크기의 변동을 나타낸다. 신호력값 O1 내지 O12의 각각은, 예를 들어 자외 영역에서부터 적외 영역까지를 12의 파장대로 나누고, 각각의 파장대에 신호값의 최댓값을 갖는다. 도 20에서는, 신호값(출력(Output)이라고 칭하는 경우도 있음)의 최댓값에 대응하는 파장 대역에 의해, 저파장측부터 고파장측에 대해서 순서대로, O1 내지 O12의 부호를 부여하고 있다.
또한, 본 기술은 이하와 같은 구성을 취할 수 있다.
(1)
반도체 칩으로서 구성되는 촬상 소자이며,
상기 반도체 칩 외에 광학 부재가 마련되고, 상기 광학 부재에 관한 정보를 취득하는 취득부와,
상기 광학 부재를 통해 입력되는 입력광의 파장에 대한 분광 특성이 각각 다른 N(N은 정수) 종류의 화소를 갖는 화소부와,
상기 화소부의 출력 신호를 디지털의 출력 신호로 변환하는 변환부와,
상기 정보를 이용하여, 상기 변환부가 출력하는 출력 신호에 기초하여, 분광 특성이 각각 다른 N+1 이상의 처리 신호로 변환 처리하는 처리부와,
상기 처리 신호에 기초하는 신호를 상기 반도체 칩 외로 출력하는 출력부
를 구비하는, 촬상 소자.
(2)
상기 화소부는, N종류의 필터를 통해 입력광을 상기 출력 신호로 변환하는 복수의 광전 변환 소자를 갖는, (1)에 기재된 촬상 소자.
(3)
상기 N은 5 이상인, (2)에 기재된 촬상 소자.
(4)
상기 촬상 소자는, 하나의 반도체 칩부 또는 인접하는 복수의 반도체 칩부 내에 구성되는, (1)에 기재된 촬상 소자.
(5)
상기 정보는, 상기 촬상 소자와 피사체의 사이에 있는 상기 광학 부재의 광학 특성에 관한 것이며, 투과율, 반사율, 굴절률, 발광 파장, 및 파장 의존성 중 적어도 하나에 관한, (1)에 기재된 촬상 소자.
(6)
상기 광학 부재는, 컬러 필터, 플라스몬, 및 유기 광전 변환막 중 적어도 어느 것인, (1)에 기재된 촬상 소자.
(7)
상기 N종류의 필터는, 적색(Red)광, 녹색(Green)광, 청색(Blue)광, 시안색(Cyan)광, 마젠타색(Magenta)광 및 황색(Yellow)광 중 어느 것을 투과하는 필터 중 4종류 이상의 필터를 갖는, (2)에 기재된 촬상 소자.
(8)
상기 취득부는, 상기 반도체 칩 외로부터의 상기 정보를 기억하는 것이 가능한 메모리(EEPROM)이며, 상기 메모리가 기억한 상기 반도체 칩 외로부터의 상기 정보가 상기 처리부에 공급되는, (1)에 기재된 촬상 소자.
(9)
상기 광학 부재는 대역 통과 필터인, (1)에 기재된 촬상 소자.
(10)
상기 대역 통과 필터는, 소정의 가시광 영역과 소정의 적외색(IR) 영역의 광을 투과하는, (9)에 기재된 촬상 소자.
(11)
상기 처리부는, 촬영 환경에 관련된 파라미터를 사용한 처리가 가능하며,
상기 취득부는, 광원 추정 결과에 관한 정보를 적어도 포함하는 상기 파라미터를 취득 가능한, (1)에 기재된 촬상 소자.
(12)
상기 처리부가 출력하는 상기 처리 신호는, 소정의 배열 정보에 따른 화상 데이터이며,
상기 취득부는, 상기 N+1 이상의 분광 특성에 관한 정보, 및 상기 배열 정보에 관한 정보 중 적어도 어느 것을 취득 가능한, (1)에 기재된 촬상 소자.
(13)
상기 처리 신호 각각은, 소정의 파장 범위의 입력광에 있어서의 상기 N+1 이상의 파장 대역 각각에 광 감도의 피크를 갖고,
상기 처리부는, 상기 반도체 칩 외로부터의 파라미터 설정에 의해, 상기 N+1 이상의 파장 대역 중 적어도 어느 범위를 변경 가능한, (1)에 기재된 촬상 소자.
(14)
상기 처리부가 출력하는 상기 처리 신호는, 소정의 배열 정보에 따른 화상 데이터이며,
상기 처리부는, 상기 반도체 칩 외로부터의 파라미터 설정에 의해, 상기 화상 데이터의 화소 배열을 바꾸는 것이 가능한, (1)에 기재된 촬상 소자.
(15)
상기 광학 부재는, 적어도 표시용 디스플레이 패널이며,
상기 처리부는, 상기 디스플레이 패널의 광학 특성에 관한 정보를 적어도 사용하여, 상기 처리 신호를 생성하는, (1)에 기재된 촬상 소자.
(16)
상기 처리부는, 다른 촬상 소자가 생성하는 출력 신호에도 기초하여, 상기 처리 신호를 생성하는, (1)에 기재된 촬상 소자.
(17)
상기 화소부는, 유기 광전 변환막 및 단면 방향으로 분할된 분할 포토다이오드 중 어느 것을 갖는, (1)에 기재된 촬상 소자.
(18)
상기 처리부는, 제1 프레임에 생성하는 상기 처리 신호 내의 조합과, 상기 제1 프레임의 다음에 생성되는 제2 프레임에 생성하는 상기 처리 신호 내의 조합이 다른, (1)에 기재된 촬상 소자.
(19)
상기 처리부는, 상기 N+1의 상기 처리 신호 내에 있어서의 M(M은 정수, 또한 M <N+1)개의 처리 신호를 상기 제1 프레임으로서 생성하고, 상기 N+1의 상기 처리 신호 내에 있어서의 나머지의 처리 신호를 상기 제2 프레임으로서 생성하는, (18)에 기재된 촬상 소자.
(20)
상기 화소부는, 프레임간, 혹은 화소간에서 다른 노광 제어가 행해지는, (1)에 기재된 촬상 소자.
(21)
상기 화소부는, 상기 소정의 파장 범위의 입력광에 대해서 다른 화소의 감도를 갖는 파장대와 겹치는 광역의 파장대에서 감도를 갖는 백색(White) 화소, 및 회색(Gray) 화소 중 적어도 어느 것을 갖는, (13)에 기재된 촬상 소자.
(22)
상기 N종류의 필터 분광 특성에 있어서, 투과하는 파장 대역의 1개소 이상에서 겹침이 있는, (2)에 기재된 촬상 소자.
(23)
상기 분광 특성은, 소정의 파장 범위에 있어서의 입력광에 대한 처리 신호의 크기 변동을 나타내고,
상기 처리부는, 상기 광학 부재가 대역 통과 필터(Band Pass Filter)인 경우에, 상기 N+1 이상의 처리 신호 중 적어도 어느 입력광에 있어서의 파장에 대한 처리 신호의 변동값의 반값폭을 보다 좁게 하는 처리를 행하는, (1)에 기재된 촬상 소자.
(24)
상기 처리부는, 상기 제1 프레임 내의 처리 신호와, 상기 제2 프레임 내의 처리 신호에는 공통의 분광 특성을 갖는 처리 신호가 각각 적어도 하나가 포함되는, (18)에 기재된 촬상 소자.
(25)
상기 처리부는, 상기 공통의 분광 특성을 갖는 처리 신호를 사용하여, 피사체의 동태 보정을 행하는 것이 가능한, (24)에 기재된 촬상 소자.
(26)
(1)에 기재된 촬상 소자를 갖는 전자 기기.
본 개시의 양태는, 상술한 개개의 실시 형태로 한정되는 것이 아니라, 당업자가 상도할 수 있는 다양한 변형도 포함하는 것으로, 본 개시의 효과도 상술한 내용으로 한정되지는 않는다. 즉, 청구범위에 규정된 내용 및 그 균등물로부터 도출되는 본 개시의 개념적인 사상과 취지를 일탈하지 않는 범위에서 다양하게 추가, 변경 및 부분적 삭제가 가능하다.

Claims (26)

  1. 반도체 칩으로서 구성되는 촬상 소자이며,
    상기 반도체 칩 외에 광학 부재가 마련되고, 상기 광학 부재에 관한 정보를 취득하는 취득부와,
    상기 광학 부재를 통해 입력되는 입력광의 파장에 대한 분광 특성이 각각 다른 N(N은 정수) 종류의 화소를 갖는 화소부와,
    상기 화소부의 출력 신호를 디지털의 출력 신호로 변환하는 변환부와,
    상기 정보를 이용하여, 상기 변환부가 출력하는 출력 신호에 기초하여, 분광 특성이 각각 다른 N+1 이상의 처리 신호로 변환 처리하는 처리부와,
    상기 처리 신호에 기초하는 신호를 상기 반도체 칩 외로 출하는 출력부
    를 구비하는, 촬상 소자.
  2. 제1항에 있어서,
    상기 화소부는, N종류의 필터를 통해 입력광을 상기 출력 신호로 변환하는 복수의 광전 변환 소자를 갖는, 촬상 소자.
  3. 제2항에 있어서,
    상기 N은 5 이상인, 촬상 소자.
  4. 제1항에 있어서,
    상기 촬상 소자는, 하나의 반도체 칩부 내 또는 전기적으로 접속되는 복수의 반도체 칩부 내에 구성되는, 촬상 소자.
  5. 제1항에 있어서,
    상기 정보는, 상기 화소부와 피사체의 사이에 있는 상기 광학 부재의 광학 특성에 관한 것이며, 투과율, 반사율, 굴절률, 발광 파장, 및 파장 의존성 중 적어도 하나에 관한, 촬상 소자.
  6. 제1항에 있어서,
    상기 광학 부재는, 컬러 필터, 플라스몬, 및 유기 광전 변환막 중 적어도 어느 것인, 촬상 소자.
  7. 제3항에 있어서,
    상기 N종류의 필터는, 적색(Red)광, 녹색(Green)광, 청색(Blue)광, 시안색(Cyan)광, 마젠타색(Magenta)광 및 황색(Yellow)광 중 어느 것을 투과하는 필터 중 4종류 이상의 필터를 갖는, 촬상 소자.
  8. 제1항에 있어서,
    상기 취득부는, 상기 반도체 칩 외로부터의 상기 정보를 기억하는 것이 가능한 메모리(EEPROM)이며, 상기 메모리가 기억한 상기 반도체 칩 외로부터의 상기 정보가 상기 처리부에 공급되는, 촬상 소자.
  9. 제1항에 있어서,
    상기 광학 부재는 대역 통과 필터인, 촬상 소자.
  10. 제9항에 있어서,
    상기 대역 통과 필터는, 소정의 가시광 영역과 소정의 적외색(IR) 영역의 광을 투과하는, 촬상 소자.
  11. 제1항에 있어서,
    상기 처리부는, 촬영 환경에 관련된 파라미터를 사용한 처리가 가능하며,
    상기 취득부는, 광원 추정 결과에 관한 정보를 적어도 포함하는 상기 파라미터를 취득 가능한, 촬상 소자.
  12. 제1항에 있어서,
    상기 처리부가 출력하는 상기 처리 신호는, 소정의 배열 정보에 따른 화상 데이터이며,
    상기 취득부는, 상기 N+1 이상의 분광 특성에 관한 정보, 및 상기 배열 정보에 관한 정보 중 적어도 어느 것을 취득 가능한, 촬상 소자.
  13. 제1항에 있어서,
    상기 처리 신호 각각은, 소정의 파장 범위의 입력광에 있어서의 상기 N+1 이상의 파장 대역 각각에 광 감도의 피크를 갖고,
    상기 처리부는, 상기 반도체 칩 외로부터의 파라미터 설정에 의해, 상기 N+1 이상의 파장 대역 중 적어도 어느 범위를 변경 가능한, 촬상 소자.
  14. 제1항에 있어서,
    상기 처리부가 출력하는 상기 처리 신호는, 소정의 배열 정보에 따른 화상 데이터이며,
    상기 처리부는, 상기 반도체 칩 외로부터의 파라미터 설정에 의해, 상기 화상 데이터의 화소 배열을 바꾸는 것이 가능한, 촬상 소자.
  15. 제1항에 있어서,
    상기 광학 부재는, 적어도 표시용 디스플레이 패널이며,
    상기 처리부는, 상기 디스플레이 패널의 광학 특성에 관한 정보를 적어도 사용하여, 상기 처리 신호를 생성하는, 촬상 소자.
  16. 제1항에 있어서,
    상기 처리부는, 다른 촬상 소자가 생성하는 출력 신호에도 기초하여, 상기 처리 신호를 생성하는, 촬상 소자.
  17. 제1항에 있어서,
    상기 화소부는, 유기 광전 변환막 및 단면 방향으로 분할된 분할 포토다이오드 중 어느 것을 갖는, 촬상 소자.
  18. 제1항에 있어서,
    상기 처리부는, 제1 프레임에 생성하는 상기 처리 신호 내의 조합과, 상기 제1 프레임의 다음에 생성되는 제2 프레임에 생성하는 상기 처리 신호 내의 조합이 다른, 촬상 소자.
  19. 제18항에 있어서,
    상기 처리부는, 상기 N+1의 상기 처리 신호 내에 있어서의 M(M은 정수, 또한 M <N+1)개의 처리 신호를 상기 제1 프레임으로서 생성하고, 상기 N+1의 상기 처리 신호 내에 있어서의 나머지 처리 신호를 상기 제2 프레임으로서 생성하는, 촬상 소자.
  20. 제1항에 있어서,
    상기 화소부는, 프레임간, 혹은 화소간에서 다른 노광 제어가 행해지는, 촬상 소자.
  21. 제13항에 있어서,
    상기 화소부는, 상기 소정의 파장 범위의 입력광에 대해서 다른 화소의 감도를 갖는 파장대와 겹치는 광역의 파장대에서 감도를 갖는 백색(White) 화소, 및 회색(Gray) 화소 중 적어도 어느 것을 갖는, 촬상 소자.
  22. 제2항에 있어서,
    상기 N종류의 필터 분광 특성에 있어서, 투과하는 파장 대역의 1개소 이상에서 겹침이 있는, 촬상 소자.
  23. 제1항에 있어서,
    상기 분광 특성은, 소정의 파장 범위에 있어서의 입력광에 대한 처리 신호의 크기 변동을 나타내고,
    상기 처리부는, 상기 광학 부재가 대역 통과 필터(Band Pass Filter)인 경우에, 상기 N+1 이상의 처리 신호 중 적어도 어느 입력광에 있어서의 파장에 대한 처리 신호의 변동값의 반값폭을 보다 좁게 하는 처리를 행하는, 촬상 소자.
  24. 제18항에 있어서,
    상기 처리부는, 상기 제1 프레임 내의 처리 신호와, 상기 제2 프레임 내의 처리 신호에는 공통의 분광 특성을 갖는 처리 신호가 각각 적어도 하나가 포함되는, 촬상 소자.
  25. 제24항에 있어서,
    상기 처리부는, 상기 공통의 분광 특성을 갖는 처리 신호를 사용하여, 피사체의 동태 보정을 행하는 것이 가능한, 촬상 소자.
  26. 제1항에 기재된 촬상 소자를 갖는, 전자 기기.
KR1020237009844A 2020-10-19 2021-10-04 촬상 소자 및 전자 기기 KR20230088886A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063093447P 2020-10-19 2020-10-19
US63/093,447 2020-10-19
PCT/JP2021/036646 WO2022085406A1 (ja) 2020-10-19 2021-10-04 撮像素子、及び電子機器

Publications (1)

Publication Number Publication Date
KR20230088886A true KR20230088886A (ko) 2023-06-20

Family

ID=81289618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237009844A KR20230088886A (ko) 2020-10-19 2021-10-04 촬상 소자 및 전자 기기

Country Status (8)

Country Link
US (1) US20230369358A1 (ko)
EP (1) EP4231631A4 (ko)
JP (1) JPWO2022085406A1 (ko)
KR (1) KR20230088886A (ko)
CN (1) CN116406508A (ko)
DE (1) DE112021005519T5 (ko)
TW (1) TW202220431A (ko)
WO (1) WO2022085406A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136251A (ja) 2003-11-11 2008-06-12 Olympus Corp マルチスペクトル画像撮影装置
JP2013045917A (ja) 2011-08-25 2013-03-04 Sony Corp 撮像素子、撮像装置及び生体撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4967440B2 (ja) * 2006-04-03 2012-07-04 ソニー株式会社 撮像装置およびその光源推定装置
BRPI0906069A2 (pt) * 2008-10-21 2015-06-30 Sony Corp Dispositivo de captação de imagem, de exibição e captação de imagem e eletrônico.
JP5760811B2 (ja) * 2011-07-28 2015-08-12 ソニー株式会社 固体撮像素子および撮像システム
JP7000861B2 (ja) * 2016-02-16 2022-02-04 ソニーグループ株式会社 画像処理装置、医療機器の作動方法及びプログラム
JP6789792B2 (ja) * 2016-12-13 2020-11-25 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
TWI832864B (zh) * 2018-08-07 2024-02-21 日商索尼半導體解決方案公司 攝像裝置及攝像系統
JP6746855B2 (ja) * 2018-09-28 2020-08-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像装置、制御方法、及びプログラム
JP7420137B2 (ja) * 2019-03-29 2024-01-23 ソニーグループ株式会社 信号処理装置、撮像装置、信号処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136251A (ja) 2003-11-11 2008-06-12 Olympus Corp マルチスペクトル画像撮影装置
JP2013045917A (ja) 2011-08-25 2013-03-04 Sony Corp 撮像素子、撮像装置及び生体撮像装置

Also Published As

Publication number Publication date
CN116406508A (zh) 2023-07-07
US20230369358A1 (en) 2023-11-16
JPWO2022085406A1 (ko) 2022-04-28
TW202220431A (zh) 2022-05-16
DE112021005519T5 (de) 2023-11-02
WO2022085406A1 (ja) 2022-04-28
EP4231631A4 (en) 2023-11-29
EP4231631A1 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
US10257484B2 (en) Imaging processing device and imaging processing method
CN101690242B (zh) 固态图像传感装置
CN102378015B (zh) 使用亮度和色度传感器的图像捕获
CN103703413B (zh) 使用颜色相关波前编码扩展透镜系统中景深的系统和方法
CN103430551B (zh) 使用具有纵色像差的透镜单元的成像系统及其操作方法
US8294797B2 (en) Apparatus and method of generating a high dynamic range image
US20130229544A1 (en) Image processing device
CN101076126B (zh) 成像设备和方法、以及成像装置
WO2018012492A1 (ja) 撮像装置、撮像素子、および画像処理装置
CN102204258A (zh) 图像输入装置
WO2010052593A1 (en) Camera design for the simultaneous capture of near-infrared and visible images
JP6182396B2 (ja) 撮像装置
KR20060090178A (ko) 색 신호 처리 방법
JP6969550B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
US6674473B1 (en) Image pickup apparatus
CN102801984A (zh) 彩色图像传感器及获取彩色数字图像的方法
US10446600B2 (en) Imaging system and imaging device having a random optical filter array
WO2016031922A1 (ja) マルチスペクトルカメラ
WO2022020989A1 (zh) 一种滤光阵列、移动终端以及设备
KR20230088886A (ko) 촬상 소자 및 전자 기기
WO2021157324A1 (ja) 電子機器
CN112042185B (zh) 图像传感器以及相关电子装置
CN113852735A (zh) 照相机、图像处理方法、以及记录介质
JP7009219B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
WO2022198436A1 (zh) 图像传感器、图像数据获取方法、成像设备