KR20230045461A - 화이트 밸런스를 수행하는 영상 획득 장치 및 이를 포함하는 전자 장치 - Google Patents

화이트 밸런스를 수행하는 영상 획득 장치 및 이를 포함하는 전자 장치 Download PDF

Info

Publication number
KR20230045461A
KR20230045461A KR1020210128352A KR20210128352A KR20230045461A KR 20230045461 A KR20230045461 A KR 20230045461A KR 1020210128352 A KR1020210128352 A KR 1020210128352A KR 20210128352 A KR20210128352 A KR 20210128352A KR 20230045461 A KR20230045461 A KR 20230045461A
Authority
KR
South Korea
Prior art keywords
image
sensor
basis
image sensor
processor
Prior art date
Application number
KR1020210128352A
Other languages
English (en)
Inventor
김우식
유인환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210128352A priority Critical patent/KR20230045461A/ko
Priority to CN202210604568.9A priority patent/CN115883980A/zh
Priority to US17/830,835 priority patent/US20230099629A1/en
Priority to EP22186224.6A priority patent/EP4156675A1/en
Priority to JP2022138966A priority patent/JP7504170B2/ja
Publication of KR20230045461A publication Critical patent/KR20230045461A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

실시예에 따른 영상 획득 장치는 소정의 영상을 획득하는 이미지 센서 및 주변의 환경에 따라 기저를 획득하고, 획득된 기저를 이용하여 조명 정보를 추정하고, 추정된 조명 정보를 반영하여 영상에 대한 색변환을 수행하는 프로세서를 포함함으로써, 다양한 상황에서도 정확하게 조명을 추정하고, 정확한 화이트밸런스를 수행하여 색 항상성을 유지할 수 있다.

Description

화이트 밸런스를 수행하는 영상 획득 장치 및 이를 포함하는 전자 장치{Image acquisition apparatus providing white balance function and electronic apparatus including the same}
개시된 실시 예들은 화이트밸런스를 수행하는 영상 획득 장치 및 이를 포함하는 전자 장치에 대한 것이다.
영상 센서는 피사체로부터 입사되는 빛을 수광하고, 수광된 빛을 광전 변환하여 전기적 신호를 생성하는 장치이다.
영상 센서는 컬러 표현을 위해, 통상, 적색광, 녹색광, 청색광을 선택적으로 투과시키는 필터 요소들의 어레이로 이루어진 컬러 필터를 사용하며, 각 필터 요소를 투과한 빛의 양을 센싱한 후, 영상 처리를 통해 피사체에 대한 컬러 영상을 형성한다.
영상 센서를 통해 센싱된 값은 조명에 의해 영향을 받기 때문에, 카메라로 촬영된 영상의 컬러도 조명에 의해 영향을 받게 된다. 이러한 영향을 없애고 최대한 물체 고유의 색을 촬영할 수 있도록 하는 기술을 화이트밸런스라고 한다.
종래의 화이트밸런스 기술은 RGB 영상을 촬영한 후 그 영상 내 정보를 분석하여 화이트밸런스를 수행한다. 이러한 방법은 Gray World Assumption, 즉 영상의 R, G, B 채널별 평균값이 동일하다는 가정 또는 다른 제약 사항이 있기 때문에, 그러한 제약 사항을 만족시키지 못하는 상황에서는 올바로 동작하지 않을 수 있다.
화이트 밸런스를 수행하는 영상 획득 장치 및 이를 포함하는 전자 장치에 대한 것이다.
실시 예에 따른 영상 획득 장치는 소정의 영상을 획득하는 이미지 센서; 및 주변의 환경에 따라 기저(basis)를 획득하고, 상기 획득된 기저를 이용하여 조명 정보를 추정하고, 상기 추정된 조명 정보를 반영하여 상기 영상에 대한 색변환을 수행하는 프로세서를 포함한다.
다른 실시 예에 따른 영상 획득 장치의 제어 방법은 소정의 영상을 획득하는 단계; 주변의 환경에 따라 기저(basis)를 획득하는 단계; 상기 획득된 기저를 이용하여 조명 정보를 추정하는 단계; 및 상기 추정된 조명 정보를 반영하여 상기 영상에 대한 색변환을 수행하는 단계를 포함한다.
또 다른 실시 예에 따른 상기 영상 획득 장치를 포함하는 전자 장치를 제공한다.
실시 예에 따른 영상 획득 장치는 다양한 상황에서도 정확하게 조명을 추정하고, 정확한 화이트밸런스를 수행하여 색 항상성을 유지할 수 있다.
상술한 영상 획득 장치는 다양한 전자 장치에 채용될 수 있다.
도 1은 일 실시 예에 따른 영상 획득 장치의 개략적인 구조를 보이는 블록도이다.
도 2는 도 1에 도시된 프로세서(500)의 상세 블록 도이다.
도 3은 다른 실시 예에 따른 영상 획득 장치의 상세 블록 도이다.
도 4a 및 4b는 기저(basis) 집합을 설명하기 위한 예시 도들이다.
도 5는 도 3에 도시된 영상 획득 장치의 개략적인 구조를 보이는 개념도이다.
도 6은 도 3에 도시된 영상 획득 장치에 구비되는 제1 이미지 센서, 제2 이미지 센서의 회로 구성을 도시한 도면이다.
도 7은 실시 예에 따른 영상 획득 장치에 구비되는 제1 이미지 센서에 의한 파장 스펙트럼을 도시한 도면이다.
도 8a 내지 8c는 실시 예에 따른 영상 획득 장치에 구비되는 제1 이미지 센서의 예시적인 화소 배열들을 도시한 도면이다.
도 9는 실시 예에 따른 영상 획득 장치에 구비되는 제2 이미지 센서에 의한 파장 스펙트럼을 도시한 도면이다.
도 10a 내지 도 10c는 실시 예에 다른 영상 획득 장치에 구비되는 제2 이미지 센서의 예시적인 화소 배열을 도시한 도면이다.
도 11은 다른 실시 예에 따른 영상 획득 장치의 제어 방법을 개략적으로 설명하는 흐름 도이다.
도 12는 실시 예에 따른 전자 장치의 개략적인 구조를 보이는 블록도이다.
도 13은 도 12의 전자 장치에 구비되는 카메라 모듈을 개략적으로 도시한 블록도이다.
도 14 내지 도 23은 실시 예에 따른 영상 획득 장치가 적용된 전자장치의 다양한 예를 보인다.
이하, 첨부된 도면을 참조하여 실시 예를 상세히 설명하기로 한다. 설명되는 실시 예는 단지 예시적인 것에 불과하며, 이러한 실시 예들로부터 다양한 변형이 가능하다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다.
이하에서, "상부" 나 "상"이라고 기재된 것은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 이러한 용어들은 구성 요소들의 물질 또는 구조가 다름을 한정하는 것이 아니다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 “...부”, “모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
“상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다.
방법을 구성하는 단계들은 설명된 순서대로 행하여야 한다는 명백한 언급이 없다면, 적당한 순서로 행해질 수 있다. 또한, 모든 예시적인 용어(예를 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 청구항에 의해 한정되지 않는 이상 이러한 용어로 인해 권리 범위가 한정되는 것은 아니다.
일반적으로 카메라에서 센싱되는 값은 다음 수학식 1과 같이 조명, 물체의 색상, 그리고 카메라 반응의 곱으로 나타낼 수 있다.
[수학식 1]
Figure pat00001
여기서
Figure pat00002
는 센싱된 값,
Figure pat00003
,
Figure pat00004
,
Figure pat00005
은 각각 조명, 물체의 표면반사(surface reflectance) 및 카메라 반응에 대한 스펙트럼
Figure pat00006
의 함수이다. 센싱된 값은 조명에 의해 영향을 받기 때문에 카메라로 촬영된 영상의 컬러도 조명에 의해 영향을 받게 된다. 이러한 영향을 없애고 최대한 물체 고유의 색을 촬영할 수 있도록 하는 것이 화이트밸런스이다.
일반적인 화이트밸런스 또는 오토화이트밸런스(AWB)는 크게 두 가지 방법을 이용할 수 있다. 하나는 조명 스펙트럼을 직접 추정하는 것이고, 다른 하나는 조명과 연관이 있는 파라미터를 추정하는 것이다. 전자의 경우 Maloney 등이 고안한 방법을 예로 들 수 있다. 후자의 경우 색이 골고루 분포한 장면에서, 모든 장면의 색상의 평균은 무채색이라는 가정을 이용한 Gray world 알고리즘을 예로 들 수 있다. 다음으로, 추정된 조명 정보를 이용, 이미지가 속한 장면 전체가 규범적 조명 아래 놓인 것처럼 보이도록 각 픽셀의 강도(intensity)에 곱할 k x n 행렬 T를 계산한다. 여기서 k는 채널 수, n은 픽셀 수이다. T를 이미지의 모든 픽셀에 곱함으로써 각 픽셀이 k-tuple로 이루어진 화이트밸런스가 적용된 보정된 이미지를 얻을 수 있다.
화이트밸런스를 수행하는 Gray world, Max-RGB 등의 종래 방법은 장면에 모든 파장 대역의 색이 고루 분포하지 않는 경우, 보정 결과가 규범적 조명아래 있지 않고 색을 띈 조명아래 있는 듯한 결과물을 낼 수 있다. 실시 예에서, 이러한 종래 방법의 단점을 다분광 센서가 가지는 높은 색상 분해능을 이용하여, 조명의 스펙트럼 자체를 추정함으로써 해결할 수 있다.
실시 예에서, 실제와 가깝게 조명의 스펙트럼을 비교적 작은 파장 단위 도메인, 예를 들면 5nm 이하에서 에서 추정하여, 추정한 값에서부터 색상 보정을 위한 벡터를 추정하는 것이다. 조명 스펙트럼을 추정하는 대표적인 알고리즘은 Maloney의 1986년 논문에 개시되어 있다.
조명 스펙트럼을 추정하여 사용하는 화이트밸런스에도 다음과 같은 문제가 있다. 조명 스펙트럼을 추정할 때, 알려진 조명들의 스펙트럼으로부터 주성분분석 (Principle Component Analysis, 이하 PCA라 한다)을 수행하여 구한 기저(basis) 를 사용한다. 이러한 기저의 선형 조합이 조명의 실제 스펙트럼을 구성할 수 있다는 가정을 바탕에 둔 것이다. 예를 들어, 한낮의 태양광 스펙트럼을 가장 가까운 복사 스펙트럼을 가진 흑체의 온도인 6500K에 근사한 D65조명이 속한 D계열 조명 (D illuminant series)의 경우, 도 4a에 도시된 바와 같은 세 개의 기저(201 내지 203)의 선형 조합으로 구름이 끼거나 안개 등의 다양한 영향으로 생길 수 있는 태양광 스펙트럼의 변형을 근사할 수 있다는 것이 공지되어 있다.
또한, 태양광 외의 인공 조명 등의 경우, 발광을 위해 발라 둔 형광 물질의 특성에 따라 스펙트럼에 높은 피크를 포함하는 경우가 있다. 이러한 F 계열 조명 등의 인공 조명을 포함하여 기저를 산출하면, 해당 피크들의 영향으로 태양광 등의 완만하고 비교적 평탄한 조명 스펙트럼을 추정하는 경우, 도 4b에 도시된 바와 같이, 기저의 조합(204 내지 206)에서, 존재해서는 안되는 피크값들을 포함하는 경우가 있다.
실시 예에서는, 이런 현상을 방지하기 위해, 주변 상황에 따라 적절한 기저 집합을 선정하고, 선정된 기저 집합 안에서만 조명 스펙트럼을 추정함으로써, 정확하게 조명 스펙트럼을 추정할 수 있다.
도 1을 참조하면, 영상 획득 장치는 이미지 센서(10), 센서(20), 프로세서(500) 및 저장부(600)를 포함한다. 실시 예에 따른 영상 획득 장치는 주변의 환경에 따라 기저(basis)를 획득하고, 기저를 이용하여 조명 정보를 추정하고, 추정된 조명 정보를 반영하여 영상에 대한 색변환을 수행한다. 실시 예에 따른 영상 획득 장치는, 종래의 Gray World 알고리즘을 이용하지 않고, 조명 스펙트럼을 직접 추정하는 방법을 이용하여 화이트밸런스를 수행한다. 또한, 주변 상황에 따라 적절한 기저 집합을 선정하고, 선정된 기저 집합 안에서만 조명 스펙트럼을 추정함으로써 정확하게 조명 추정을 수행할 수 있다.
이미지 센서(10)는 소정의 영상을 획득한다. 이미지 센서(10)는 다중 파장 대역의 영상을 센싱하는 멀티스펙트럴 센서일 수 있다. 이미지 센서(10)는 복수 개일 수 있으며, 하나의 RGB 센서이고, 다른 하나의 MSI 센서일 수 있다. 복수 개의 이미지 센서의 구성과 관련하여서는 도 3 등을 참조하여 후술한다.
센서(20)는 영상 획득 장치의 주변의 환경 정보를 센싱한다. 여기서, 센서(20)는 복수 개일 수 있으며, GPS, IMU, 바로미터, 마그네토미터 등의 위치 및 자세 관련 센서를 포함할 수 있다. 또한, 센서(20)는 조도 센서, 근접 센서, 거리 센서, 3D 스캐너 등일 수 있다.
센서(20)는 이미지 센서(10)를 통해 영상을 획득하기 전에, 주변 환경 정보를 센싱할 수 있다. 예를 들면, 영상을 촬영하고 있지 않을 때, 주기적 또는 비주기적으로 수행되어, 환경 정보 또는 변수, 그 변화를 추적할 수도 있다.
프로세서(500)는 이미지 센서(10) 및 센서(20)의 영상 획득 동작, 센싱 동작을 제어한다. 프로세서(500)는 센서(20)로부터 주변의 환경 정보를 획득한다. 프로세서(500)는 복수의 기저 집합 중에서, 획득된 환경 정보를 기초로 적절한 기저 집합을 선택한다. 프로세서(500)는 선택한 기저 집합을 이용하여 조명 정보를 추정하고, 추정된 조명 정보를 반영하여 이미지 센서(10)로부터 획득된 영상에 대한 색변환을 수행한다.
또한, 프로세서(500)는 이미지 센서(10)로부터 획득된 영상에 대한 영상 처리를 수행할 수 있다. 예를 들면, 프로세서(500)는 bad pixel correction, fixed pattern noise correction, crosstalk reduction, remosaicing, demosaicing, false color reduction, denoising, chromatic aberration correction 등을 수행할 수 있다. 여기서, 프로세서(500)가 영상 처리를 수행하는 것으로 설명하지만, 이에 한정되지 않고, 별도이 ISP(Image Signal Processor, 이하 ISP라 한다)를 통해 영상 처리를 수행할 수 있음은 물론이다.
저장부(600)는 조명 및 반사율을 나타내기에 적합한 특정 기저들을 저장하고 있다. 조명과 반사율을 나타내는 기저는 각각에 특화된 서로 다른 기저일 수 있다. 또는 일반적인 신호를 나타내기 위한 공통된 기저를 함께 사용할 수 있다. 저장부(600)에 저장된 기저는 스펙트럼에 대한 기저 함수 값을 샘플링하여 저장될 수 있다. 또는, 산술 연산을 통하여 기저 함수를 생성할 수 있다. 예를 들어 푸리에변환(Fourier Transform), DCT(Discrete Cosine Transform), 웨이블렛변환(Wavelet Transform) 등에 사용되는 기저 함수들을 정하여 사용할 수 있다.
환경에 대한 기저 집합의 대응 관계는 미리 지정될 수 있다. 예를 들어 실내 환경과 실외 환경, 근접 촬영과 원거리 촬영, 복잡한 장면과 단색 위주의 장면 등 여러 가지 환경에 대해 구분하고, 각각 최적의 기저 집합을 정의하여 저장한 후에 각각의 환경에 해당하는 기저 집합을 읽어들여 사용할 수도 있다.
실시 예에서, 기저 집합은 기계 학습을 통하여 지정할 수도 있다. 예를 들면, 기계 학습 방법은 shallow neural network을 이용할 수 있다. 입력을 추정된 환경 레이블로, 출력을 주성분분석을 이용하여 산출한 각 기저 집합에 대한 레이블로 두는 신경망을 설정하고, 미리 구하여 둔 (환경 레이블, 기저 레이블 리스트)의 순서쌍 집합으로 학습시킬 수 있다. 이때, 출력은 (0, 1, 1, 0, …0)과 같은 터플(tuple)을 사용하여 특정 번째의 기저가 사용되는지 여부를 0, 1로 구별하여 표현함으로써, 일대다의 대응 관계에 대한 고려를 네트워크에 포함할 수 있다. 이러한 신경망에 영상획득장치의 촬영 시점 환경 레이블을 입력으로 하여 1회 포워딩하면, 해당 문맥의 조명 추정에 필요한 기저들의 집합을 추정할 수 있다.
실시 예에서, 환경에 대한 기저 집합을 결정할 때에 조명과 반사율 기저 집합을 각각 결정할 수 있다. 또는, 환경에 대해 조명에 대한 기저 집합을 결정하고, 반사율에 대한 기저 집합은 사전에 정의된 고정된 값을 사용할 수도 있다.
프로세서(500)는 획득된 영상에 대해 환경 정보를 고려하여 선택된 기저 또는 기저 집합을 사용하여 스펙트럼분해(spectral decomposition)을 통해 조명 스펙트럼을 추정한다. 추정된 조명 스펙트럼으로부터 화이트밸런스에 필요한 변환을 만들고, 이 변환을 사용하여 촬영된 영상의 각 화소 값을 변환한다. 이때 이 변환은 조명 스펙트럼으로부터 조명을 나타내는 RGB 벡터를 생성한 후에, 각 화소의 R, G, B 값을 이 값들로 나누어 화이트밸런스를 수행할 수도 있다. 또는 조명 스펙트럼으로부터 RGB 변환을 위한 매트릭스를 생성하여 선형 변환을 통해 화이트밸런스를 수행할 수도 있다. 또는, 조명 스펙트럼을 사용하여 RGB 값을 변환하는 뉴럴 네트워크 등과 같은 비선형 변환 방법을 사용할 수도 있다.
도 2는 도 1에 도시된 프로세서(500)의 상세 블록 도이다.
도 2를 참조하면, 프로세서(500)는 영상 처리부(510), 환경 결정부(520), 기저 생성부(530), 조명 추정부(540), 및 색상 변환부(550)를 포함한다.
영상 처리부(510)는 이미지 센서(10)로부터 획득된 영상에 대한 영상 처리를 수행한다. 예를 들면, 영상 처리는 bad pixel correction, fixed pattern noise reduction, demosaicing, denoising 등을 포함할 수 있다.
환경 결정부(520)는 최적의 기저 집합을 결정하기 위해 사용할 환경 파라미터를 결정한다. 이를 위해서 영상획득장치의 이미지 센서(10) 또는 센서(20)를 포함한 다양한 센서들은 촬영 전에 주변 환경 데이터를 취득한다. 여기서, 다양한 센서는 RGB 이미지 센서, 멀티스펙트럴(multispectral)이미지 센서를 포함할 수 있다. 다양한 센서는 GPS, IMU, 바로미터, 마그네토미터 등의 위치 및 자세 관련 센서를 포함할 수 있다. 또한, 조도 센서, 근접 센서, 거리 센서, 3D 스캐너 등의 센서를 포함할 수 있다. 또한. 영상을 촬영하고 있지 않을 때 사전에 주기적으로 혹은 비주기적으로 수행되어 환경 변수 및 그 변화를 추적할 수도 있다.
환경 결정부(520)는 이미지 센서(10) 또는 센서(20)로부터 제공된 환경 정보로부터 현재 영상획득장치가 어떠한 환경 아래 있는지를 담고 있는 환경 정보를 파악한다. 파악된 환경 정보는 사전에 정의된 환경 파라미터 값으로 나타내질 수 있다. 환경 정보 또는 환경 파라미터는 촬영 장소가 실내인지 실외인지를 구분하여 나타낼 수 있다. 또는 실내 조명 환경에서 특정 대역의 LED 조명을 사용하는지를 분별하여 나타낼 수 있다. 또한, 조도 정보를 포함할 수 있다. 또한, 피사체와의 거리 정보를 포함할 수 있다. 또한, 화각 내 피사체 구성에 대한 정보를 포함할 수 있다. 또한 사용자의 위치 및 자세 정보를 포함할 수 있다.
또 다른 실시예에서 환경 결정부(520)는 촬영된 영상을 분석하여 환경 파라미터를 산출할 수 있다. 촬영된 영상은 RGB 이미지 센서 또는 멀티스렉트럴 이미지 센서로 촬영한 영상일 수 있고, 또는 두 영상을 모두 사용할 수도 있다.
기저 생성부(530)는 환경 결정부(520)로부터 제공된 환경 정보 또는 환경 파라미터로부터 적절한 기저를 생성한다. 기저들은 사전에 조명 및 반사율을 나타내기에 적합한 특정 기저들을 각각 생성한 후에 저장부(600)에 저장해 놓을 수 있다. 이어, 저장부(600)로부터 사전에 정의된 값을 읽어들여 사용할 수 있다. 이때 조명과 반사율을 나타내는 기저는 각각에 특화된 서로 다른 기저일 수 있다. 또는 일반적인 신호를 나타내기 위한 공통된 기저를 함께 사용할 수 있다. 저장된 기저는 스펙트럼에 대한 기저 함수 값을 샘플링하여 저장될 수 있다. 또는 산술 연산을 통하여 기저 함수를 생성할 수 있다.
환경에 대한 기저 집합의 대응 관계는 미리 지정될 수 있다. 예를 들어 실내 환경과 실외 환경, 근접 촬영과 원거리 촬영, 복잡한 장면과 단색 위주의 장면 등 여러 가지 환경에 대해 구분하고, 각각 최적의 기저 집합을 정의하여 저장한 후에 각각의 환경에 해당하는 기저 집합을 읽어들여 사용할 수 있다. 또한, 기계 학습을 통하여도 지정될 수 있다. 사용 가능한 기계 학습 방법의 한 예로 shallow network을 들 수 있다. 입력은 결정된 환경 레이블로 설정하고, 출력은 주성분분석을 이용하여 산출한 각 기저 집합에 대한 레이블로 설정하고, 미리 구하여 둔 환경 레이블, 기저 레이블 리스트의 순서쌍 집합으로 학습시킬 수 있다. 이때, 출력은 (0, 1, 1, 0, …0)과 같은 터플(tuple)을 사용하여 특정 번째의 기저가 사용되는지 여부를 0, 1로 구별하여 표현함으로써, 일대다의 대응 관계에 대한 고려를 네트워크에 포함할 수 있다. 이러한 신경망에 영상획득장치의 촬영 시점 환경 레이블을 입력으로 하여 1회 포워딩하면, 해당 문맥의 조명 추정에 필요한 기저들의 집합을 추정할 수 있다.
환경에 대한 기저 집합을 결정할 때에 조명과 반사율 기저 집합을 각각 결정할 수 있다. 또는 환경에 대해 조명에 대한 기저 집합을 결정하고, 반사율에 대한 기저 집합은 사전에 정의된 고정된 값을 사용할 수 있다.
조명 추정부(540)는 이미지 센서(10)를 통해 입력된 영상에 대해, 기저 생성부(530)에서 생성된 기저를 이용하여 스펙트럼 분해를 통해 조명 스펙트럼을 추정한다.
영상에서 다수의 채널로 이루어진 스펙트럼 정보를 사용하여 조명추정(illumination estimation)을 수행한다. 이를 위해 조명과 객체의 표면반사(surface reflectance)는 스펙트럼분해(spectral decomposition)을 통해, 조명(E)은 다음 수학식 2, 물체의 색상(S)은 다음 수학식 3으로 표현할 수 있다.
[수학식 2]
Figure pat00007
[수학식 3]
Figure pat00008
이 둘의 곱이 색상을 나타내고, 제2 이미지 센서(200)를 통해 센싱 된 값은 다음 수학식 4와 같이 표현할 수 있다.
[수학식 4]
Figure pat00009
Figure pat00010
여기서, m과 n은 각각 조명과 물체 색상의 스펙트럼을 스펙트럼 분해하였을 때에 사용한 기저 또는 기저 벡터(basis vector)의 수이고, x는 공간위치(spatial position), k는 센서의 각 채널 인덱스(index)를 나타낸다. 이러한 선형 방정식을 비선형 최적화 (non-linear optimization) 기법 등을 사용하여 해를 구하여 조명의 스펙트럼을 추정할 수 있다. 실시 예에서, 기저 생성부(530)에서 생성한 기저 또는 기저의 집합을 상기 수학식 4의 m과 n으로 사용함으로써 환경 변화를 반영하여 정확하게 조명 스펙트럼을 추정할 수 있다.
또한, 선택적으로, 조명 추정부(540)는 뉴럴 네트워크를 사용하여 조명 추정을 수행할 수 있다. 미리 정해진 조명 값에 대한 획득된 영상을 학습시켜 뉴럴 네트워크를 구축하고, 조명 추정을 수행한다. 학습이 된 후에는 뉴럴 네트워크의 입력으로 획득된 영상, 출력으로 조명 값을 얻는다.
색상 변환부(550)는 조명 추정부(540)에서 추정된 조명 스펙트럼으로부터 화이트밸런스에 필요한 변환을 생성하고, 이 변환을 사용하여 촬영된 영상의 각 화소 값을 변환한다. 이때, 이 변환은 조명 스펙트럼으로부터 조명을 나타내는 RGB 벡터를 생성한 후에, 각 화소의 R, G, B 값을 이 값들로 나누어 주어 화이트밸런스를 수행할 수 있다. 또는 조명 스펙트럼으로부터 RGB 변환을 위한 매트릭스를 생성하여 선형 변환을 통해 화이트밸런스를 수행할 수 있다. 또는, 조명 스펙트럼을 사용하여 RGB 값을 변환하는 뉴럴 네트워크 등과 같은 비선형 변환 방법을 사용할 수 있다.
도 3은 실시 예에 따른 영상 획득 장치의 개략적인 구조를 보이는 블록도이다. 도 3의 실시 예는, 도 1 및 2에 도시된 이미지 센서(10)를 두 개의 이미지 센서(100 및 200)로 구현하고, 제1 이미지 센서(100)는 RGB 이미지 센서이고, 제2 이미지 센서(200)는 멀티스펙트럴 이미지 센서인 경우이다. 실시 예에서는, 조명 스펙트럼을 추정하는 데, 다분광 이미지 센서로부터 획득된 영상 데이터를 이용하는 것으로 설명하고, 도 2와 동일한 구성에 대해서는 설명을 생략한다.
도 3을 참조하면, 영상 획득 장치는 제1 이미지 센서(100), 제2 이미지 센서(200) 및 프로세서(500)를 포함한다. 실시 예에 따른 영상 획득 장치는 복수의 이미지 센서를 이용하여 촬영되는 영상에 대해 화이트밸런스를 정확하게 수행한다. 제1 이미지 센서(100)는 제1 파장 대역의 제1 영상을 획득한다. 제 2 파장 대역은 제1 파장 대역을 포함하고 그보다 더 넓을 수 있다. 제2 이미지 센서(200)는 제2 파장 대역의 제2 영상을 획득한다. 여기서, 제1 이미지 센서(100)는 RGB 이미지 센서이고, 제2 이미지 센서(200)는 멀티스펙트럴이미지(Multispectral image, 이하 MSI라 한다) 센서일 수 있다. RGB 이미지 센서는 R 채널, G 채널 및 B 채널을 가진다. MSI 센서는 RGB 센서로다 더 많은 수의 채널을 가짐으로써 더 많은 파장 대역의 빛을 센싱한다.
프로세서(500)는 제1 이미지 센서(100) 및 제2 이미지 센서(200)로부터 각각 출력된 제1 영상과 제2 영상을 정합하고, 제2 영상으로부터 추정된 조명값을 이용하여 정합된 영상에 대해 색변환을 수행한다.
또한, 프로세서(500)는 제1 영상을 적어도 하나의 영역으로 분할하고, 제1 영상의 분할된 각각의 영역에 대응하는 제2 영상의 영역별로 각각의 조명값을 추정하고, 제2 영상의 영역별로 추정된 각각의 조명값을 이용하여 제1 영상의 분할된 각각의 영역에 대해 색변환을 수행할 수도 있다.
또한, 프로세서(500)는 제2 영상의 영역별로 추정된 각각의 조명값 중 인접한 영역의 조명값의 차이가 제1 임계값 이상인 경우, 차이가 제1 임계값보다 작도록 인접한 영역의 조명값 중 어느 하나의 조명값을 조정할 수 있다. 이 경우, 프로세서(500)는, 색변환을 수행하고 나서, 인접한 영역의 경계 부분에 대해 후처리(post-processing)를 수행할 수도 있다.
다시 도 3을 참조하면, 영상 획득 장치는 제1 파장 대역 기반의 제1 영상(IM1)을 획득하는 제1 이미지 센서(100), 제2 파장 대역 기반의 제2 영상(IM2)을 획득하는 제2 이미지 센서(200) 및 제1 영상(IM1)과 제2 영상(IM2)을 신호 처리하여, 제3 영상(IM3)을 생성하는 프로세서(500)를 포함한다. 여기서, 제3 영상(IM3)은 제1 이미지 센서(100)로부터 획득된 제1 영상, 또는 제1 이미지 센서(100)로부터 획득된 제1 영상과 제2 이미지 센서(200)로부터 획득된 제2 영상을 정합한 영상에 대해, 화이트밸런스가 수행된 영상이다.
제1 이미지 센서(100)는 일반적인 RGB 카메라에 채용되는 센서로서, 베이어 컬러 필터 어레이를 사용하는 CMOS 이미지센서일 수 있다. 제1 이미지 센서(100)가 획득하는 제1 영상(IM1)은 적색, 녹색, 청색 기반의 RGB 영상일 수 있다.
제2 이미지 센서(200)는 제1 이미지 센서(100)보다 더 많은 종류의 파장의 광을 센싱하는 센서이다. 제2 이미지 센서(200)는 예를 들어, 16개의 채널을 사용할 수 있고, 또는 31개의 채널, 또는 기타, 다른 개수의 채널을 사용할 수 있다. 각 채널의 대역폭은 R, G, B 대역보다 더 좁게 설정되며, 모든 채널의 대역폭을 합한 전체 대역폭은 RGB 대역폭, 즉, 가시광선 대역폭을 포함하며 이보다 넓을 수 있다. 예를 들어, 약 350nm 내지 1000nm의 대역폭을 가질 수 있다. 제2 이미지 센서(200)가 획득하는 제2 영상(IM2)은 멀티스펙트럴(multispectral) 또는 초분광(hyperspectral) 영상일 수 있으며, RGB 파장 대역보다 넓은 파장 대역, 예를 들어, 가시광선 대역을 포함하며 이보다 넓은 파장 대역인 자외선 내지 적외선 파장 대역을 16개 이상의 채널로 분할한 파장 기반의 영상일 수 있다. 제2 영상(IM2)은 제2 이미지 센서(200)의 가용한 모든 수의 채널을 활용하여 취득한 영상일 수 있고, 또는, 특정 채널을 선별하여 취득한 영상일 수도 있다. 제2 영상(IM2)의 공간 해상도는 제1 영상(IM1)의 공간 해상도보다 낮을 수 있으며, 다만, 이에 한정되지는 않는다.
실시 예에서, 제1 이미지 센서(100)는 RGB 센서이고, 제2 이미지 센서(200)는 MSI 센서일 수 있다. 이때 RGB 센서는 CMOS 이미지센서일 수 있다. RGB센서는 베이어 컬러 필터 어레이(Bayer color filter array)를 사용하여 R, G, B를 나타내는 스펙트럼을 각각 센싱한 세 가지 채널의 영상을 생성할 수 있다. 또한, 다른 종류의 컬러 필터 어레이를 사용할 수 있음은 물론이다. MSI 센서는 RGB 센서와는 다른 파장의 빛을 센싱하여 나타낸다. MSI 센서는 채널의 수를 더 많이 가짐으로써 더 많은 종류의 파장의 빛을 센싱하는 것을 특징으로 한다. 특정 예에서 채널의 수는 16개의 채널을 사용할 수 있다. 다른 예에서 31개의 채널을 사용할 수 있다. 각 채널은 원하는 대역의 빛을 센싱하도록 빛이 투과하는 대역 및 투과량, 그리고 대역폭을 조정할 수 있다. 모든 채널의 대역폭을 합하여 구성되는 전체 대역폭은 기존의 RGB 센서의 대역폭을 포함하고 그보다 더 넓을 수 있다. RGB센서와 MSI센서의 센싱 스펙트럼 또는 파장 대역은 도 7 내지 10을 참조하여 후술한다.
제1 이미지 센서(100)와 제2 이미지 센서(200)는 각각 별개의 칩으로 구성될 수 있고 또는 단일 칩으로 구성될 수도 있다.
실시 예에서, 이종 센서 간 서로 다른 해상도 및 출력 속도, 그리고 영상 정합에 필요한 영역의 크기에 따라 타이밍 제어(timing control)를 할 수 있다. 예를 들면, RGB 센서를 기준으로 동작할 때에 하나의 RGB 영상 열을 읽어들일 때, 그 영역에 해당하는 MSI 센서의 영상 열은 이미 버퍼에 저장되어 있을 수도 있고, 새로 읽어들여야 할 수도 있다. 이러한 타이밍을 계산하여 센싱된 신호들을 리드아웃(readout)할 수 있다. 또는 두 센서의 동작은 같은 동기화(synchronization) 신호를 사용하여 동기될 수 있다. 그리고 두 센서가 같은 위치의 피사체에 초점이 맞추어 지도록 초점제어를 할 수 있다.
실시 예에서, MSI 센서로 영상을 취득할 때에 모든 수의 채널, 예를 들면 16개 채널에 대해 영상을 취득하거나, 또는 특정 채널만 선별하여 취득할 수 있다. 센서 화소의 구간화(binning)를 하거나, 영상 취득 후 특정 채널을 선택 또는 합성을 통해 일부 원하는 채널만 사용할 수도 있다.
제1 메모리(300)는 제1 이미지 센서(100)로부터 리드아웃된 제1 영상(IM1)을 저장한다. 제2 메모리(310)는 제2 이미지 센서(200)로부터 리드아웃된 제2 영상(IM2)을 저장한다.
각 센서에서 영상은 라인 단위로 읽어 들여져서 순차적으로 저장된다. 제1 메모리(300) 및 제2 메모리(310)는 영상을 각 라인 단위로 저장하는 라인 메모리이거나 영상 전체를 저장하는 프레임 버퍼일 수 있다.
실시 예에서, 영상을 출력할 때에 RGB 영상만 출력하고, RGB 영상은 프레임 버퍼에 저장하고, MSI 영상은 라인 버퍼에 저장하여 라인 단위로 프로세싱한 후 프레임 버퍼에 있는 RGB 영상을 업데이트할 수도 있다. 메모리(300 및 310)는 SRAM 또는 DRAM을 사용할 수 있으나, 메모리의 종류에 한정되는 것은 아니다.
각각의 메모리(300 및 310)는 센서 외부에 위치할 수 있고, 또는 센서 내부에 집적될 수도 있다. 센서 내부에 집적할 경우, 메모리는 센서 회로와 같이 집적할 수 있는데, 이때 화소부와 그 외의 부분인 회로부와 메모리를 각각의 스택으로 구성하여 2 스택으로 집적하여 하나의 칩으로 구성할 수 있다. 또는, 화소부, 회로부, 메모리의 세 층을 갖는 3 스택으로 구현할 수도 있다.
실시 예에서, 제1 이미지 센서와 제2 이미지 센서로부터 획득된 제1 영상 및 제2 영상을 각각 다른 메모리에 저장하는 것으로 설명하였지만, 이에 한정되지 않고, 하나의 메모리에 저장할 수 있음은 물론이다.
실시 예에서, 프로세서(500)는 화이트밸런스를 정확하게 수행하기 위해 MSI 센서를 사용하여 조명과 물체의 색을 분리하여 물체의 정확한 색상을 찾은 후에, 조명값을 이용하여 RGB 센서로부터 획득된 영상 또는 정합된 영상에 대해 색변환(color conversion)을 수행하여, 화이트밸런스를 조절한다.
도 5는 실시예에 따른 영상 획득 장치의 개략적인 구조를 보이는 개념도이고, 도 6은 실시예에 따른 영상 획득 장치에 구비되는 제1 이미지 센서, 제2 이미지 센서의 회로 구성을 보인다.
영상 획득 장치(1000)는 제1 파장 대역 기반의 제1 영상(IM1)을 획득하는 제1 이미지 센서(100), 제2 파장 대역 기반의 제2 영상(IM2)을 획득하는 제2 이미지 센서(200) 및 제1 영상(IM1) 및 제2 영상(IM2)을 신호 처리하여, 제3 영상을 생성하는 프로세서(500)를 포함한다. 영상 획득 장치(1000)는 또한, 제1 영상(IM1)에 관한 데이터가 저장되는 제1 메모리(300)와, 제2 영상(IM2)에 관한 데이터가 저장되는 제2 메모리(310)를 더 포함할 수 있고, 영상을 출력하는 영상 출력부(700)를 더 포함할 수 있다.
영상 획득 장치(1000)는 또한, 제1 이미지 센서(100)에 피사체(OBJ)의 광학 상(optical image)을 형성하는 제1 이미징 광학계(190), 제2 이미지 센서(200)에 피사체(OBJ)의 광학 상을 형성하는 제2 이미징 광학계(290)를 포함할 수 있다. 제1 이미징 광학계(190)과 제2 이미징 광학계(290)는 각각 하나의 렌즈를 포함하는 것으로 도시되어 있으나, 이는 예시적인 것이며 이에 한정되지 않는다. 제1 이미징 광학계(190)와 제2 이미징 광학계(290)는 같은 초점 거리와 같은 화각을 가지도록 구성될 수 있고 이 경우, 제 3 영상(IM3)을 형성하기 위해 제1 영상(IM1)과 제2 영상(IM2)을 정합하는 과정이 보다 용이할 수 있다. 다만, 이에 한정되는 것은 아니다.
제1 이미지 센서(100)는 제1 화소 어레이(PA1)를 포함하며, 제1 화소 어레이(PA1)는 복수의 제1 센싱 요소가 어레이된 제1 센서층(110)과, 제1 센서층(110) 상에 배치된 컬러 필터(120)를 포함한다. 컬러 필터(120)는 교번 배열된 적색 필터들, 녹색 필터들, 청색 필터들을 포함할 수 있다. 제1 화소 어레이(PA1) 상에는 제1 마이크로 렌즈 어레이(130)가 배치될 수 있다. 제1 화소 어레이(PA1)에 적용되는 화소 배열의 다양한 예시는 도 8을 참조하여 후술한다.
제2 이미지 센서는 제2 화소 어레이(PA2)를 포함하며, 제2 화소 어레이(PA2)는 복수의 제2 센싱 요소가 어레이된 제2 센서층(210)과, 제2 센서층(210) 상에 배치된 분광 필터(220)를 포함한다. 분광 필터(220)는 복수의 필터 그룹을 포함하며, 복수의 필터 그룹 각각은 투과 파장 대역이 다른 복수의 유닛 필터로 이루어질 수 있다. 분광 필터(220)는 컬러 필터(120)보다 넓은 파장 대역, 예를 들어, 자외선 내지 적외선 파장 범위의 파장 대역을 컬러 필터(120)보다 세분하여 필터링하도록 구성될 수 있다. 제2 화소 어레이(PA2) 상에는 제2 마이크로 렌즈 어레이(230)가 배치될 수 있다. 제2 화소 어레이(PA2)에 적용되는 화소 배열의 예시는 도 10을 참조하여 후술한다.
제1 센서층(110), 제2 센서층(210)은 CCD(charge coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 포함할 수 있으며, 이에 한정되지는 않는다.
제1 화소 어레이(PA1)와 제2 화소 어레이(PA2)는 같은 회로 기판(SU) 상에 수평적으로, 예를 들어, X 방향으로 이격되게 배치될 수 있다.
회로 기판(SU)에는 제1 센서층(110)으로부터의 신호를 처리하는 제1 회로 요소들과, 제2 센서층(210)으로부터의 신호를 처리하는 제2 회로 요소들이 구비될 수 있다. 다만, 이에 한정되지 않으며, 제1 회로 요소들과 제2 회로 요소들은 각각 별도의 기판에 구비되는 것도 가능하다.
제1 영상(IM1)과 제2 영상(IM2)에 대한 데이터가 저장되는 메모리(300)는 회로 기판(SU)과 별개로 도시되었으나, 이는 예시적이며, 회로 기판(SU) 내에, 회로 요소들과 같은 층으로, 또는 별도의 층으로 구분되어 배치될 수도 있다. 메모리(300)는 영상을 라인 단위로 저장하는 라인 메모리일 수 있고, 영상 전체를 저장하는 프레임 버퍼일수도 있다. 메모리(300)에는 SRAM(static random access memory), 또는 DRAM(dynamic random access memory)가 사용될 수 있다.
회로 기판(SU)에 영상 획득 장치(1000)에 필요한 다양한 회로 요소들이 집적 배치될 수 있다. 예를 들어, 다양한 아날로그 회로, 디지털 회로 들을 포함하는 로직 레이어가 구비될 수 있고, 데이터가 저장되는 메모리 레이어가 구비될 수 있다. 로직 레이어와 메모리 레이어는 다른 층으로 구성되거나 또는 같은 층으로 구성될 수 있다.
도 6을 참조하면, 제1 화소 어레이(PA1)에 로우 디코더(102), 출력 회로(103), 타이밍 컨트롤러(TC)(101)가 연결된다. 로우 디코더(102)는 타이밍 컨트롤러(101)로부터 출력된 로우 어드레스 신호에 응답하여 제1 화소 어레이(PA1)의 로우들 하나를 선택한다. 출력 회로(103)는 선택된 로우를 따라 배열된 복수의 화소로부터 컬럼 단위로 광감지 신호를 출력한다. 이를 위하여, 출력 회로(103)는 컬럼 디코더와 아날로그-디지털 변환기(ADC; analog to digital converter)를 포함할 수 있다. 예를 들어, 출력 회로(103)는 컬럼 디코더와 제1 화소 어레이(PA1) 사이에서 컬럼 별로 각각 배치된 복수의 ADC, 또는, 컬럼 디코더의 출력단에 배치된 하나의 ADC를 포함할 수 있다. 타이밍 컨트롤러(101), 로우 디코더(102), 및 출력 회로(103)는 하나의 칩 또는 각각 별개의 칩으로 구현될 수 있다. 예시된 회로 요소들의 적어도 일부가 도 5의 회로 기판(SU)에 구비될 수 있다. 출력 회로(103)를 통해 출력된 제1 영상(IM1)을 처리하기 위한 프로세서가 타이밍 컨트롤러(101), 로우 디코더(102), 및 출력 회로(103)와 함께 하나의 칩으로 구현될 수도 있다.
제2 화소 어레이(PA2)에도 로우 디코더(202), 출력 회로(203), 타이밍 컨트롤러(TC)(201)가 연결되고, 상술한 바와 유사하게, 제2 화소 어레이(PA2)로부터의 신호가 처리될 수 있다. 또한, 출력 회로(203)를 통해 출력된 제2 영상(IM2)을 처리하기 위한 프로세서가 타이밍 컨트롤러(201), 로우 디코더(202), 및 출력 회로(203)와 함께 하나의 칩으로 구현될 수도 있다.
제1 화소 어레이(PA1)와 제2 화소 어레이(PA2)는 화소 크기, 개수가 같게 도시되었으나, 이는 편의상의 예시이며 이에 한정되는 것은 아니다.
서로 다른 종류의 두 센서를 동작시킴에 있어서, 서로 다른 해상도 및 출력 속도, 그리고 영상 정합에 필요한 영역의 크기에 따라 타이밍 제어(timing control)가 필요할 수 있다. 예를 들어, 제1 이미지 센서(100)를 기준으로 하나의 영상 열을 읽어 들일 때 그 영역에 해당하는 제2 이미지 센서(200)의 영상 열은 이미 버퍼에 저장되어 있을 수도 있고 새로 읽어 들여야 할 수도 있다. 또는 제1 이미지 센서(100), 제2 이미지 센서(200)의 동작은 같은 동기(synchronization) 신호를 사용하여 동기화될 수 있다. 예를 들어, 타이밍 컨트롤러(400)가 더 구비되어, 제1 이미지 센서(100), 제2 이미지 센서(200)에 동기 신호(sync.)를 전송할 수도 있다.
도 7은 실시예에 따른 영상 획득 장치에 구비되는 제1 이미지 센서에 의한 파장 스펙트럼을 보이며, 도 8a 내지 8c는 실시예에 따른 영상 획득 장치에 구비되는 제1 이미지 센서의 예시적인 화소 배열들을 보인다.
도 8a을 참조하면, 제1 화소 어레이(PA1)에 구비되는 컬러 필터(120)에는 적색(R), 녹색(G), 청색(B) 파장 대역을 필터링 하는 필터들이 베이어 패턴(Bayer pattern)으로 배열되어 있다. 즉, 하나의 단위 화소는 2×2 어레이로 배열된 서브 화소를 포함하며, 복수의 단위 화소가 2차원적으로 반복 배열된다. 단위 화소의 1행에 적색 필터, 녹색 필터가 배치되고, 2행에 녹색 필터, 청색 필터가 배치된다. 화소 배열은 베이어 패턴 외에 다른 방식으로도 가능하다.
예를 들어, 도 8b를 참조하면, 마젠타(Magenta) 화소(M), 사이안(Cyan) 화소(C), 옐로우(Yellow) 화소(Y), 및 녹색 화소(G)가 하나의 단위 화소를 구성하는 CYGM 방식의 배열도 가능하다. 또한, 도 8c를 참조하면, 녹색 화소(G), 적색 화소(R), 청색 화소(B), 및 백색 화소(W)가 하나의 단위 화소를 구성하는 RGBW 방식의 배열도 가능하다. 또한, 도시되지는 않았지만 단위 화소가 3×2 어레이 형태를 가질 수도 있다. 그 밖에도 제1 화소 어레이(PA1)의 화소들은 제1 이미지 센서(100)의 색 특성에 따라 다양한 방식으로 배열될 수 있다.
도 9는 실시예에 따른 영상 획득 장치에 구비되는 제2 이미지 센서에 의한 파장 스펙트럼을 보이며, 도 10a 내지 도 10c는 실시예에 다른 영상 획득 장치의 제2 이미지 센서의 예시적인 화소 배열을 보인다.
도 10a을 참조하면, 제2 화소 어레이(PA2)에 구비되는 분광 필터(220)는 2차원 형태로 배열되는 복수의 필터 그룹(221)을 포함할 수 있다. 여기서, 각 필터 그룹(221)은 4×4 어레이 형태로 배열되는 16개의 유닛 필터들(F1~F16)을 포함할 수 있다.
제1 및 제2 유닛 필터(F1, F2)는 자외선 영역의 중심 파장들(UV1, UV2)을 가질 수 있으며, 제3 내지 제5 유닛 필터(F3~F5)는 청색광 영역의 중심 파장들(B1~B3)을 가질 수 있다. 제6 내지 제11 유닛 필터(F6~F11)는 녹색광 영역의 중심 파장들(G1~G6)을 가질 수 있으며, 제12 내지 제14 유닛 필터(F12~F14)는 적색광 영역의 중심 파장들(R1~R3)을 가질 수 있다. 그리고 제15 및 제16 유닛 필터(F15, F16)는 근적외선 영역의 중심 파장들(NIR1, NIR2)을 가질 수 있다.
도 10b는 분광 필터(220)에 구비되는 다른 예의 필터 그룹(222) 하나에 대한 평면도를 도시하고 있다. 도 10b를 참조하면, 필터 그룹(222)은 3×3 어레이 형태로 배열되는 9개의 유닛 필터들(F1~F9)을 포함할 수 있다. 여기서, 제1 및 제2 유닛 필터(F1, F2)는 자외선 영역의 중심 파장들(UV1, UV2)을 가질 수 있으며, 제4, 제5 및 제7 유닛 필터(F4, F5, F7)는 청색광 영역의 중심 파장들(B1~B3)을 가질 수 있다. 제3 및 제6 유닛 필터(F3, F6)는 녹색광 영역의 중심 파장들(G1, G2)을 가질 수 있으며, 제8 및 제9 유닛 필터(F8, F9)는 적색광 영역의 중심 파장들(R1, R2)을 가질 수 있다.
도 10c는 분광 필터(220)에 구비되는 다른 예의 필터 그룹(223) 하나에 대한 평면도를 도시하고 있다. 도 12를 참조하면, 필터 그룹(223)은 5×5 어레이 형태로 배열되는 25개의 유닛 필터들(F1~F25)을 포함할 수 있다. 여기서, 제1 내지 제3 유닛 필터(F1~F3)는 자외선 영역의 중심 파장들(UV1~UV3)을 가질 수 있으며, 제6, 제7, 제8, 제11 및 제12 유닛 필터(F6, F7, F8, F11, F12)는 청색광 영역의 중심 파장들(B1~B5)을 가질 수 있다. 제4, 제5 및 제9 유닛 필터(F4, F5, F9)는 녹색광 영역의 중심 파장들(G1~G3)을 가질 수 있으며, 제10, 제13, 제14, 제15, 제18 및 제19 유닛 필터(F10, F13, F14, F15, F18, F19)는 적색광 영역의 중심 파장들(R1~R6)을 가질 수 있다. 그리고 제20, 제23, 제24 및 제25 유닛 필터(F20, F23, F24, F25)는 근적외선 영역의 중심 파장들(NIR1~NIR4)을 가질 수 있다.
분광 필터(220)에 구비되는 상술한 유닛 필터들은 두 개의 반사판을 가지는 공진 구조를 가질 수 있으며 공진 구조의 특성에 따라 투과되는 파장 대역이 결정될 수 있다. 반사판의 재질 및 캐비티 내 유전 물질의 재질, 캐비티 두께에 따라 투과 파장 대역이 조절될 수 있다. 이 외에도, 그레이팅을 활용한 구조, DBR(distributed bragg reflector)을 활용한 구조 등이 유닛 필터에 적용될 수 있다. 이 외에도 제2 화소 어레이(PA2)의 화소들은 제2 이미지 센서(200)의 색 특성에 따라 다양한 방식으로 배열될 수 있다.
도 11은 다른 실시예에 따른 영상 획득 장치의 제어 방법을 개략적으로 설명하는 흐름 도이다.
도 11을 참조하면, 단계 1100에서, 이미지 센서로부터 영상을 획득한다. 여기서, 이미지 센서는 멀티스펙트럴 이미지 센서일 수 있다.
단계 1102에서, 주변의 환경에 따라 기저(basis)를 획득한다. 주변의 환경을 센싱하기 위한 센서는 RGB 이미지 센서, 멀티스펙트럴 이미지 센서를 포함하는 이미지센서, GPS, IMU, 바로미터, 마그네토미터 등의 위치 및 자세 관련 센서와, 조도 센서, 근접 센서, 거리 센서, 3D 스캐너 등을 포함할 수 있다. 주변의 환경을 센싱하기 위한 센서는 단계 1100의 영상을 획득하기 전에 미리 환경 정보를 센싱한다. 또한, 영상을 획득하기 전에 주기적 또는 비주기적으로 센싱함으로써 환경 정보, 환경 정보의 변화를 추적할 수도 있다. 여기서, 환경 정보는 사전에 정의된 환경 파라미터 값으로 나타내질 수 있다. 환경 정보 또는 환경 파라미터는 촬영 장소가 실내인지 실외인지를 구분하여 나타낼 수 있다. 또는 실내 조명 환경에서 특정 대역의 LED 조명을 사용하는지를 분별하여 나타낼 수 있다. 또한 조도 정보를 포함할 수 있다. 또한 피사체와의 거리 정보를 포함할 수 있다. 또한 화각 내 피사체 구성에 대한 정보를 포함할 수 있다. 또한 사용자의 위치 및 자세 정보를 포함할 수 있다.
단계 1104에서, 획득된 기저를 이용하여 조명 정보를 추정한다. 기저를 이용한 조명 정보를 추정하는 방법은 앞선 수학식 1 내지 4를 참조하여 설명한 바와 같다. 실시 예에서는, 수학식 1 내지 4에 정의한 방법을 이용하지만, 이에 한정되지 않고, 조명 정보 또는 조명 스펙트럼을 추정하는 다양한 수치적인 방법을 이용할 수 있음은 물론이다.
단계 1106에서, 추정된 조명 정보를 반영하여 영상에 대한 색변환을 수행한다.
실시 예에 따른 영상 획득 장치의 제어 방법은 소정의 영상을 획득하고, 주변의 환경에 따라 기저를 획득하고, 획득된 기저를 이용하여 조명 정보를 추정하고, 추정된 조명 정보를 반영하여 영상에 대한 색변환을 수행함으로써, 다양한 상황에서도 정확하게 조명을 추정하고, 정확한 화이트밸런스를 수행하여 색 항상성을 유지할 수 있다.
상술한 영상 획득 장치(1000)는 다양한 고성능 광학 장치 또는 고성능 전자 장치에 채용될 수 있다. 이러한 전자 장치는, 예컨대, 스마트 폰(smart phone), 휴대폰, 핸드폰, PDA(personal digital assistant), 랩톱(laptop), PC, 다양한 휴대용 기기, 가전 제품, 보안 카메라, 의료용 카메라, 자동차, 사물인터넷(IoT;Internet of Things) 기기, 기타 모바일 또는 비모바일 컴퓨팅 장치 일 수 있고, 이에 제한되지 않는다.
전자 장치는 영상 획득 장치(1000)외에도, 이에 구비된 이미지 센서들을 제어하는 프로세서, 예를 들면, 어플리케이션 프로세서(AP: Application Processor)를 더 포함할 수 있으며, 프로세서를 통해 운영 체제 또는 응용 프로그램을 구동하여 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서는 GPU (Graphic Processing Unit) 및/또는 이미지 신호 프로세서(Image Signal Processor)를 더 포함할 수 있다. 프로세서에 이미지 신호 프로세서가 포함되는 경우, 이미지센서에 의해 획득된 이미지(또는 영상)를 프로세서를 이용하여 저장 및/또는 출력할 수 있다.
도 12는 실시예에 따른 전자 장치의 개략적인 구조를 보이는 블록도이다. 도 12를 참조하면, 네트워크 환경(ED00)에서 전자 장치(ED01)는 제1 네트워크(ED98)(근거리 무선 통신 네트워크 등)를 통하여 다른 전자 장치(ED02)와 통신하거나, 또는 제2 네트워크(ED99)(원거리 무선 통신 네트워크 등)를 통하여 또 다른 전자 장치(ED04) 및/또는 서버(ED08)와 통신할 수 있다. 전자 장치(ED01)는 서버(ED08)를 통하여 전자 장치(ED04)와 통신할 수 있다. 전자 장치(ED01)는 프로세서(ED20), 메모리(ED30), 입력 장치(ED50), 음향 출력 장치(ED55), 표시 장치(ED60), 오디오 모듈(ED70), 센서 모듈(ED76), 인터페이스(ED77), 햅틱 모듈(ED79), 카메라 모듈(ED80), 전력 관리 모듈(ED88), 배터리(ED89), 통신 모듈(ED90), 가입자 식별 모듈(ED96), 및/또는 안테나 모듈(ED97)을 포함할 수 있다. 전자 장치(ED01)에는, 이 구성요소들 중 일부(표시 장치(ED60) 등)가 생략되거나, 다른 구성요소가 추가될 수 있다. 이 구성요소들 중 일부는 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(ED76)(지문 센서, 홍채 센서, 조도 센서 등)은 표시 장치(ED60)(디스플레이 등)에 임베디드되어 구현될 수 있다. 또한, 이미지센서(1000)에 분광 기능이 포함될 경우, 센서 모듈의 일부 기능(컬러 센서, 조도 센서)이 별도의 센서 모듈이 아닌 이미지센서(1000) 자체에서 구현될 수 있다.
프로세서(ED20)는, 소프트웨어(프로그램(ED40) 등)를 실행하여 프로세서(ED20)에 연결된 전자 장치(ED01) 중 하나 또는 복수개의 다른 구성요소들(하드웨어, 소프트웨어 구성요소 등)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 데이터 처리 또는 연산의 일부로, 프로세서(ED20)는 다른 구성요소(센서 모듈(ED76), 통신 모듈(ED90) 등)로부터 수신된 명령 및/또는 데이터를 휘발성 메모리(ED32)에 로드하고, 휘발성 메모리(ED32)에 저장된 명령 및/또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(ED34)에 저장할 수 있다. 프로세서(ED20)는 메인 프로세서(ED21)(중앙 처리 장치, 어플리케이션 프로세서 등) 및 이와 독립적으로 또는 함께 운영 가능한 보조 프로세서(ED23)(그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 커뮤니케이션 프로세서 등)를 포함할 수 있다. 보조 프로세서(ED23)는 메인 프로세서(ED21)보다 전력을 작게 사용하고, 특화된 기능을 수행할 수 있다.
보조 프로세서(ED23)는, 메인 프로세서(ED21)가 인액티브 상태(슬립 상태)에 있는 동안 메인 프로세서(ED21)를 대신하여, 또는 메인 프로세서(ED21)가 액티브 상태(어플리케이션 실행 상태)에 있는 동안 메인 프로세서(ED21)와 함께, 전자 장치(ED01)의 구성요소들 중 일부 구성요소(표시 장치(ED60), 센서 모듈(ED76), 통신 모듈(ED90) 등)와 관련된 기능 및/또는 상태를 제어할 수 있다. 보조 프로세서(ED23)(이미지 시그널 프로세서, 커뮤니케이션 프로세서 등)는 기능적으로 관련 있는 다른 구성 요소(카메라 모듈(ED80), 통신 모듈(ED90) 등)의 일부로서 구현될 수도 있다.
메모리(ED30)는, 전자 장치(ED01)의 구성요소(프로세서(ED20), 센서모듈(ED76) 등)가 필요로 하는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(프로그램(ED40) 등) 및, 이와 관련된 명령에 대한 입력 데이터 및/또는 출력 데이터를 포함할 수 있다. 메모리(ED30)는, 휘발성 메모리(ED32) 및/또는 비휘발성 메모리(ED34)를 포함할 수 있다. 비휘발성 메모리(ED32)는 전자 장치(ED01) 내에 고정 장착된 내장 메모리(ED36)과 탈착 가능한 외장 메모리(ED38)를 포함할 수 있다.
프로그램(ED40)은 메모리(ED30)에 소프트웨어로 저장될 수 있으며, 운영 체제(ED42), 미들 웨어(ED44) 및/또는 어플리케이션(ED46)을 포함할 수 있다.
입력 장치(ED50)는, 전자 장치(ED01)의 구성요소(프로세서(ED20) 등)에 사용될 명령 및/또는 데이터를 전자 장치(ED01)의 외부(사용자 등)로부터 수신할 수 있다. 입력 장치(ED50)는, 마이크, 마우스, 키보드, 및/또는 디지털 펜(스타일러스 펜 등)을 포함할 수 있다.
음향 출력 장치(ED55)는 음향 신호를 전자 장치(ED01)의 외부로 출력할 수 있다. 음향 출력 장치(ED55)는, 스피커 및/또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 리시버는 스피커의 일부로 결합되어 있거나 또는 독립된 별도의 장치로 구현될 수 있다.
표시 장치(ED60)는 전자 장치(ED01)의 외부로 정보를 시각적으로 제공할 수 있다. 표시 장치(ED60)는, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 표시 장치(ED60)는 터치를 감지하도록 설정된 터치 회로(Touch Circuitry), 및/또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(압력 센서 등)를 포함할 수 있다.
오디오 모듈(ED70)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 오디오 모듈(ED70)은, 입력 장치(ED50)를 통해 소리를 획득하거나, 음향 출력 장치(ED55), 및/또는 전자 장치(ED01)와 직접 또는 무선으로 연결된 다른 전자 장치(전자 장치(ED02) 등)의 스피커 및/또는 헤드폰을 통해 소리를 출력할 수 있다.
센서 모듈(ED76)은 전자 장치(ED01)의 작동 상태(전력, 온도 등), 또는 외부의 환경 상태(사용자 상태 등)를 감지하고, 감지된 상태에 대응하는 전기 신호 및/또는 데이터 값을 생성할 수 있다. 센서 모듈(ED76)은, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(Infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 및/또는 조도 센서를 포함할 수 있다.
인터페이스(ED77)는 전자 장치(ED01)가 다른 전자 장치(전자 장치(ED02) 등)와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 또는 복수의 지정된 프로토콜들을 지원할 수 있다. 인터페이스(ED77)는, HDMI(High Definition Multimedia Interface), USB(Universal Serial Bus) 인터페이스, SD카드 인터페이스, 및/또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(ED78)는, 전자 장치(ED01)가 다른 전자 장치(전자 장치(ED02) 등)와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 연결 단자(ED78)는, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 및/또는 오디오 커넥터(헤드폰 커넥터 등)를 포함할 수 있
햅틱 모듈(ED79)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(진동, 움직임 등) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(ED79)은, 모터, 압전 소자, 및/또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(ED80)은 정지 영상 및 동영상을 촬영할 수 있다. 카메라 모듈(ED80)은 상술한 영상 획득 장치(1000)를 포함할 수 있고, 추가적인 렌즈 어렘블리 이미지 시그널 프로세서들, 및/또는 플래시들을 포함할 수 있다. 카메라 모듈(ED80)에 포함된 렌즈 어셈블리는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다.
전력 관리 모듈(ED88)은 전자 장치(ED01)에 공급되는 전력을 관리할 수 있다. 전력 관리 모듈(ED88)은, PMIC(Power Management Integrated Circuit)의 일부로서 구현될 수 있다.
배터리(ED89)는 전자 장치(ED01)의 구성 요소에 전력을 공급할 수 있다. 배터리(ED89)는, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 및/또는 연료 전지를 포함할 수 있다.
통신 모듈(ED90)은 전자 장치(ED01)와 다른 전자 장치(전자 장치(ED02), 전자 장치(ED04), 서버(ED08) 등)간의 직접(유선) 통신 채널 및/또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(ED90)은 프로세서(ED20)(어플리케이션 프로세서 등)와 독립적으로 운영되고, 직접 통신 및/또는 무선 통신을 지원하는 하나 또는 복수의 커뮤니케이션 프로세서들을 포함할 수 있다. 통신 모듈(ED90)은 무선 통신 모듈(ED92)(셀룰러 통신 모듈, 근거리 무선 통신 모듈, GNSS(Global Navigation Satellite System 등) 통신 모듈) 및/또는 유선 통신 모듈(ED94)(LAN(Local Area Network) 통신 모듈, 전력선 통신 모듈 등)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(ED98)(블루투스, WiFi Direct 또는 IrDA(Infrared Data Association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(ED99)(셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(LAN, WAN 등)와 같은 원거리 통신 네트워크)를 통하여 다른 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(단일 칩 등)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(복수 칩들)로 구현될 수 있다. 무선 통신 모듈(ED92)은 가입자 식별 모듈(ED96)에 저장된 가입자 정보(국제 모바일 가입자 식별자(IMSI) 등)를 이용하여 제1 네트워크(ED98) 및/또는 제2 네트워크(ED99)와 같은 통신 네트워크 내에서 전자 장치(ED01)를 확인 및 인증할 수 있다.
안테나 모듈(ED97)은 신호 및/또는 전력을 외부(다른 전자 장치 등)로 송신하거나 외부로부터 수신할 수 있다. 안테나는 기판(PCB 등) 위에 형성된 도전성 패턴으로 이루어진 방사체를 포함할 수 있다. 안테나 모듈(ED97)은 하나 또는 복수의 안테나들을 포함할 수 있다. 복수의 안테나가 포함된 경우, 통신 모듈(ED90)에 의해 복수의 안테나들 중에서 제1 네트워크(ED98) 및/또는 제2 네트워크(ED99)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 안테나가 선택될 수 있다. 선택된 안테나를 통하여 통신 모듈(ED90)과 다른 전자 장치 간에 신호 및/또는 전력이 송신되거나 수신될 수 있다. 안테나 외에 다른 부품(RFIC 등)이 안테나 모듈(ED97)의 일부로 포함될 수 있다.
구성요소들 중 일부는 주변 기기들간 통신 방식(버스, GPIO(General Purpose Input and Output), SPI(Serial Peripheral Interface), MIPI(Mobile Industry Processor Interface) 등)을 통해 서로 연결되고 신호(명령, 데이터 등)를 상호 교환할 수 있다.
명령 또는 데이터는 제2 네트워크(ED99)에 연결된 서버(ED08)를 통해서 전자 장치(ED01)와 외부의 전자 장치(ED04)간에 송신 또는 수신될 수 있다. 다른 전자 장치들(ED02, ED04)은 전자 장치(ED01)와 동일한 또는 다른 종류의 장치일 수 있다. 전자 장치(ED01)에서 실행되는 동작들의 전부 또는 일부는 다른 전자 장치들(ED02, ED04, ED08) 중 하나 또는 복수의 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(ED01)가 어떤 기능이나 서비스를 수행해야 할 때, 기능 또는 서비스를 자체적으로 실행시키는 대신에 하나 또는 복수의 다른 전자 장치들에게 그 기능 또는 그 서비스의 일부 또는 전체를 수행하라고 요청할 수 있다. 요청을 수신한 하나 또는 복수의 다른 전자 장치들은 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(ED01)로 전달할 수 있다. 이를 위하여, 클라우드 컴퓨팅, 분산 컴퓨팅, 및/또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 13은 도 12의 전자 장치에 구비되는 카메라 모듈(ED80)을 개략적으로 예시한 블록도이다. 카메라 모듈(ED80)은 전술한 영상 획득 장치(1000)를 포함할 수 있고, 또는 이로부터 변형된 구조를 가질 수 있다. 도 13을 참조하면, 카메라 모듈(ED80)은 렌즈 어셈블리(CM10), 플래시(CM20), 이미지 센서(CM30), 이미지 스태빌라이저(CM40), 메모리(CM50)(버퍼 메모리 등), 및/또는 이미지 시그널 프로세서(CM60)를 포함할 수 있다.
이미지 센서(CM30)은 전술한 영상 획득 장치(1000)에 구비되는 제1 이미지 센서(100), 제2 이미지 센서(200)를 포함할 수 있다. 제1 이미지 센서(100), 제2 이미지 센서(200)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(CM10)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 피사체에 대응하는 이미지를 획득할 수 있다. 제1 이미지 센서(100)는 RGB 영상을 획득하고, 제2 이미지 센서(200)는 자외선 내지 적외선 파장 범위의 초분광(hyperspectral) 영상을 획득할 수 있다.
이미지 센서(CM30)는 전술한 제1 이미지 센서(100), 제2 이미지 센서(200) 외에도, 다른 RGB 센서, BW(Black and White) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나 또는 복수의 센서들을 더 포함할 수도 있다. 이미지 센서(CM30)에 포함된 각각의 센서들은, CCD(Charged Coupled Device) 센서 및/또는 CMOS(Complementary Metal Oxide Semiconductor) 센서로 구현될 수 있다.
렌즈 어셈블리(CM10)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 카메라 모듈(ED80)은 복수의 렌즈 어셈블리(CM10)들을 포함할 수도 있으며, 이런 경우, 카메라 모듈(ED80)은, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(Spherical Camera)가 될 수 있다. 복수의 렌즈 어셈블리(CM10)들 중 일부는 동일한 렌즈 속성(화각, 초점 거리, 자동 초점, F 넘버(F Number), 광학 줌 등)을 갖거나, 또는 다른 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(CM10)는, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.
렌즈 어셈블리(CM10)는 이미지 센서(CM30)에 구비되는 두 이미지 센서가 같은 위치의 피사체의 광학 상을 형성할 수 있도록 구성될 수 있고 및/또는 포커스 제어될 수 있다.
플래시(CM20)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 플래시(CM20)는 하나 또는 복수의 발광 다이오드들(RGB(Red-Green-Blue) LED, White LED, Infrared LED, Ultraviolet LED 등), 및/또는 Xenon Lamp를 포함할 수 있다.
이미지 스태빌라이저(CM40)는 카메라 모듈(ED80) 또는 이를 포함하는 전자 장치(CM01)의 움직임에 반응하여, 렌즈 어셈블리(CM10)에 포함된 하나 또는 복수개의 렌즈 또는 이미지센서(1000)를 특정한 방향으로 움직이거나 이미지센서(1000)의 동작 특성을 제어(리드 아웃(Read-Out) 타이밍의 조정 등)하여 움직임에 의한 부정적인 영향이 보상되도록 할 수 있다. 이미지 스태빌라이저(CM40)는 카메라 모듈(ED80)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(ED80) 또는 전자 장치(ED01)의 움직임을 감지할 수 있다. 이미지 스태빌라이저(CM40)는, 광학식으로 구현될 수도 있다.
메모리(CM50)는 이미지센서(1000)를 통하여 획득된 이미지의 일부 또는 전체 데이터가 다음 이미지 처리 작업을 위하여 저장할 수 있다. 예를 들어, 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 데이터(Bayer-Patterned 데이터, 고해상도 데이터 등)는 메모리(CM50)에 저장하고, 저해상도 이미지만을 디스플레이 해준 후, 선택된(사용자 선택 등) 이미지의 원본 데이터가 이미지 시그널 프로세서(CM60)로 전달되도록 하는데 사용될 수 있다. 메모리(CM50)는 전자 장치(ED01)의 메모리(ED30)로 통합되어 있거나, 또는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(CM60)는 이미지 센서(CM30)을 통하여 획득된 이미지 또는 메모리(CM50)에 저장된 이미지 데이터에 대하여 이미지 처리들을 수행할 수 있다. 도 1 내지 도 10에서 설명한 바와 같이, 이미지 센서(CM30)에 포함되는 두 이미지 센서가 획득한 제1 영상(예를 들어, RGB 영상), 제2 영상(예를 들어, MSI 영상)을 처리하여, 화이트밸런스가 수행된 제3 영상을 생성할 수 있다. 이를 위한 프로세서(500)의 구성이 이미지 시그널 프로세서(CM60)에 포함될 수 있다.
이미지 처리들은, 이외에도, 깊이 지도(Depth Map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 및/또는 이미지 보상(노이즈 감소, 해상도 조정, 밝기 조정, 블러링(Blurring), 샤프닝(Sharpening), 소프트닝(Softening) 등)을 포함할 수 있다. 이미지 시그널 프로세서(CM60)는 카메라 모듈(ED80)에 포함된 구성 요소들(이미지 센서(CM30) 등)에 대한 제어(노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(CM60)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(CM50)에 다시 저장 되거나 카메라 모듈(ED80)의 외부 구성 요소(메모리(ED30), 표시 장치(ED60), 전자 장치(ED02), 전자 장치(ED04), 서버(ED08) 등)로 제공될 수 있다. 이미지 시그널 프로세서(CM60)는 프로세서(ED20)에 통합되거나, 프로세서(ED20)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(CM60)가 프로세서(ED20)와 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(CM60)에 의해 처리된 이미지는 프로세서(ED20)에 의하여 추가의 이미지 처리를 거친 후 표시 장치(ED60)를 통해 표시될 수 있다.
전자 장치(ED01)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(ED80)들을 포함할 수 있다. 이런 경우, 복수의 카메라 모듈(ED80)들 중 하나는 광각 카메라이고, 다른 하나는 망원 카메라일 수 있다. 유사하게, 복수의 카메라 모듈(ED80)들 중 하나는 전면 카메라이고, 다른 하나는 후면 카메라일 수 있다.
도 14 내지 도 23은 실시예에 따른 영상 획득 장치가 적용된 전자 장치의 다양한 예를 보인다.
실시예들에 따른 영상 획득 장치는 도 14에 도시된 모바일 폰 또는 스마트 폰(5100m), 도 15에 도시된 태블릿 또는 스마트 태블릿(5200), 도 16에 도시된 디지털 카메라 또는 캠코더(5300), 도 17에 도시된 노트북 컴퓨터(5400)에 또는 도 19에 도시된 텔레비전 또는 스마트 텔레비전(5500) 등에 적용될 수 있다. 예를 들어, 스마트폰(5100m) 또는 스마트 태블릿(5200)은 고해상 이미지센서가 각각 탑재된 복수의 고해상 카메라를 포함할 수 있다. 고해상 카메라들을 이용하여 영상 내 피사체들의 깊이 정보를 추출하거나, 영상의 아웃포커싱을 조절하거나, 영상 내 피사체들을 자동으로 식별할 수 있다.
또한, 영상 획득 장치(1000)는 도 19에 도시된 스마트 냉장고(5600), 도 20에 도시된 보안 카메라(5700), 도 21에 도시된 로봇(5800), 도 22에 도시된 의료용 카메라(5900) 등에 적용될 수 있다. 예를 들어, 스마트 냉장고(5600)는 영상 획득 장치(1000)를 이용하여 냉장고 내에 있는 음식을 자동으로 인식하고, 특정 음식의 존재 여부, 입고 또는 출고된 음식의 종류 등을 스마트폰을 통해 사용자에게 알려줄 수 있다. 보안 카메라(5700)는 초고해상도 영상을 제공할 수 있으며 높은 감도를 이용하여 어두운 환경에서도 영상 내의 사물 또는 사람을 인식 가능하게 할 수 있다. 로봇(5800)은 사람이 직접 접근할 수 없는 재해 또는 산업 현장에서 투입되어 고해상도 영상을 제공할 수 있다. 의료용 카메라(5900)는 진단 또는 수술을 위한 고해상도 영상을 제공할 수 있으며 시야를 동적으로 조절할 수 있다.
또한, 영상 획득 장치(1000)는 도 23에 도시된 바와 같이 차량(6000)에 적용될 수 있다. 차량(6000)은 다양한 위치에 배치된 복수의 차량용 카메라(6010, 6020, 6030, 6040)를 포함할 수 있으며. 각각의 차량용 카메라(6010, 6020, 6030, 6040)는 실시예에 따른 영상 획득 장치를 포함할 수 있다. 차량(6000)은 복수의 차량용 카메라(6010, 6020, 6030, 6040)를 이용하여 차량(6000) 내부 또는 주변에 대한 다양한 정보를 운전자에게 제공할 수 있으며, 영상 내의 사물 또는 사람을 자동으로 인식하여 자율 주행에 필요한 정보를 제공할 수 있다.
상술한 영상 획득 장치 및 이를 포함하는 전자 장치가 비록 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 권리범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 권리범위에 포함된 것으로 해석되어야 할 것이다.

Claims (20)

  1. 소정의 영상을 획득하는 이미지 센서; 및
    주변의 환경에 따라 기저(basis)를 획득하고, 상기 획득된 기저를 이용하여 조명 정보를 추정하고, 상기 추정된 조명 정보를 반영하여 상기 영상에 대한 색변환을 수행하는 프로세서를 포함하는, 영상 획득 장치.
  2. 제 1 항에 있어서,
    주변의 환경 정보를 센싱하는 적어도 하나의 센서를 더 포함하고,
    상기 프로세서는,
    상기 적어도 하나의 센서로부터 획득된 환경 정보를 기초로 미리 저장된 복수의 기저 집합으로부터 상기 기저를 선택하는, 영상 획득 장치.
  3. 제 2 항에 있어서,
    상기 프로세서는,
    상기 이미지 센서로부터 영상을 획득하기 전에, 주기적 또는 비주기적으로 상기 적어도 하나의 센서를 통해 상기 환경 정보를 획득하는, 영상 획득 장치.
  4. 제 2 항에 있어서,
    상기 적어도 하나의 센서는,
    GPS 센서, IMU 센서, 바로미터(barometer), 마그네토미터, 조도 센서, 근접 센서, 거리 센서 또는 3D 스캐너를 포함하는, 영상 획득 장치.
  5. 제 1 항에 있어서,
    상기 이미지 센서는,
    다중 파장 대역의 영상을 센싱하는 멀티스펙트럴 이미지 센서인, 영상 획득 장치.
  6. 제 2 항에 있어서,
    상기 프로세서는,
    상기 이미지 센서로부터 획득된 영상을 분석하고, 상기 분석된 영상으로부터 상기 환경 정보를 추출하고, 상기 추출된 환경 정보를 기초로 상기 복수의 기저 집합으로부터 상기 기저를 선택하는, 영상 획득 장치.
  7. 제 2 항에 있어서,
    파장에 따른 조명 및 반사율을 정의한 복수의 기저 집합을 저장하는 저장부를 더 포함하고,
    상기 제어부는,
    상기 저장된 복수의 기저 집합 중 상기 획득된 환경 정보에 매칭되는 기저 집합을 선택하는, 영상 획득 장치.
  8. 제 7 항에 있어서,
    상기 프로세서는,
    상기 획득된 영상에 대해 상기 선택된 기저 집합을 이용하여 스펙트럼 분해(spectral decomposition)를 수행함으로써 상기 조명 정보를 추정하는, 영상 획득 장치.
  9. 제 1 항에 있어서,
    상기 이미지 센서는,
    제1 파장 대역의 영상을 획득하는 제1 이미지 센서; 및
    제2 파장 대역의 영상을 획득하는 제2 이미지 센서를 포함하는, 영상 획득 장치.
  10. 제 9 항에 있어서,
    상기 제1 이미지 센서는,
    복수의 제1 센싱 요소가 어레이된 제1 센서층과
    상기 제1 센서층 상에 배치되며, 교번 배열된 적색 필터들, 녹색 필터들, 청색 필터들을 포함하는 컬러 필터를 구비하는, 제1 화소 어레이를 포함하고,
    상기 제2 이미지 센서는,
    복수의 제2 센싱 요소가 어레이된 제2 센서층과
    상기 제2 센서층 상에 배치되며, 투과 파장 대역이 다른 복수의 유닛 필터로 이루어진 필터 그룹이 반복 배열된 분광 필터를 구비하는, 제2 화소 어레이를 포함하는, 영상 획득 장치.
  11. 제 10 항에 있어서,
    상기 복수의 유닛 필터 각각의 투과 파장 대역은,
    가시광선을 포함하며 가시광선보다 넓은 범위의 파장 대역에 포함되고,
    상기 필터 그룹은 4×4 어레이 형태로 배열되는 16개의 유닛 필터들을 포함하는, 영상 획득 장치.
  12. 제 10 항에 있어서,
    상기 제1 화소 어레이와 상기 제2 화소 어레이는 같은 회로 기판상에 수평적으로 이격되게 배치되는, 영상 획득 장치.
  13. 제 12 항에 있어서,
    상기 제1 센서층으로부터의 신호를 처리하는 제1 회로 요소들과, 상기 제2 센서층으로부터의 신호를 처리하는 제2 회로 요소들이 상기 회로 기판에 구비되는, 영상 획득 장치.
  14. 제 13 항에 있어서,
    상기 제1 회로 요소들, 상기 제2 회로 요소들의 동작을 동기시키는 타이밍 컨트롤러를 더 포함하는, 영상 획득 장치.
  15. 제 12 항에 있어서,
    상기 제1 영상에 관한 데이터를 저장하는 제1 메모리; 및
    상기 제2 영상에 관한 데이터를 저장하는 제2 메모리를 더 포함하는, 영상 획득 장치.
  16. 제 15 항에 있어서,
    상기 제1 메모리 및 상기 제2 메모리가 상기 회로 기판 내에 구비되는, 영상 획득 장치.
  17. 제 9 항에 있어서,
    피사체의 광학 상을 상기 제1 이미지 센서에 형성하는 것으로 하나 이상의 렌즈를 포함하는, 제1 이미징 광학계; 및
    상기 피사체의 광학 상을 상기 제2 이미지 센서에 형성하는 것으로, 하나 이상의 렌즈를 포함하는, 제2 이미징 광학계를 더 포함하는, 영상 획득 장치.
  18. 제 17 항에 있어서,
    상기 제1 이미징 광학계와 상기 제2 이미징 광학계는 같은 초점거리와 같은 화각을 갖도록 설정되는, 영상 획득 장치.
  19. 제 1 항 내지 제 18 항 중 어느 하나의 영상 획득 장치를 포함하는 전자 장치.
  20. 영상 획득 장치의 제어 방법에 있어서,
    소정의 영상을 획득하는 단계;
    주변의 환경에 따라 기저(basis)를 획득하는 단계;
    상기 획득된 기저를 이용하여 조명 정보를 추정하는 단계; 및
    상기 추정된 조명 정보를 반영하여 상기 영상에 대한 색변환을 수행하는 단계를 포함하는, 영상 획득 장치의 제어 방법.
KR1020210128352A 2021-09-28 2021-09-28 화이트 밸런스를 수행하는 영상 획득 장치 및 이를 포함하는 전자 장치 KR20230045461A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020210128352A KR20230045461A (ko) 2021-09-28 2021-09-28 화이트 밸런스를 수행하는 영상 획득 장치 및 이를 포함하는 전자 장치
CN202210604568.9A CN115883980A (zh) 2021-09-28 2022-05-30 提供白平衡功能的图像获取装置及电子装置
US17/830,835 US20230099629A1 (en) 2021-09-28 2022-06-02 Image acquisition apparatus providing white balance function and electronic apparatus including the same
EP22186224.6A EP4156675A1 (en) 2021-09-28 2022-07-21 Image acquisition apparatus providing white balance function and electronic apparatus including the same
JP2022138966A JP7504170B2 (ja) 2021-09-28 2022-09-01 ホワイトバランスを遂行する映像獲得装置、及びそれを含む電子装置、ならびに映像獲得装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210128352A KR20230045461A (ko) 2021-09-28 2021-09-28 화이트 밸런스를 수행하는 영상 획득 장치 및 이를 포함하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20230045461A true KR20230045461A (ko) 2023-04-04

Family

ID=83006145

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210128352A KR20230045461A (ko) 2021-09-28 2021-09-28 화이트 밸런스를 수행하는 영상 획득 장치 및 이를 포함하는 전자 장치

Country Status (5)

Country Link
US (1) US20230099629A1 (ko)
EP (1) EP4156675A1 (ko)
JP (1) JP7504170B2 (ko)
KR (1) KR20230045461A (ko)
CN (1) CN115883980A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900772A (zh) * 2018-07-19 2018-11-27 维沃移动通信有限公司 一种移动终端及图像拍摄方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3713321B2 (ja) * 1995-12-19 2005-11-09 オリンパス株式会社 カラー画像記録再生システム及び画像カラー画像記録再生方法
JP2001311666A (ja) 2000-04-28 2001-11-09 Toppan Printing Co Ltd 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2005303400A (ja) 2004-04-07 2005-10-27 Ricoh Co Ltd 撮像装置、画像処理装置、照明光源及び照明装置
JP5046026B2 (ja) 2007-04-06 2012-10-10 ソニー株式会社 光源推定装置および方法、並びにプログラム
JP2009260411A (ja) 2008-04-11 2009-11-05 Olympus Corp 撮像装置
JP5253000B2 (ja) * 2008-06-03 2013-07-31 オリンパス株式会社 撮像装置
JP5426262B2 (ja) * 2009-07-17 2014-02-26 富士フイルム株式会社 複眼撮像装置
KR20110040402A (ko) * 2009-10-14 2011-04-20 삼성전자주식회사 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법
JP5816015B2 (ja) * 2011-07-15 2015-11-17 株式会社東芝 固体撮像装置及びカメラモジュール
US9106879B2 (en) * 2011-10-04 2015-08-11 Samsung Electronics Co., Ltd. Apparatus and method for automatic white balance with supplementary sensors
WO2013099644A1 (ja) 2011-12-28 2013-07-04 日本電気株式会社 分光画像処理方法、分光画像処理装置およびプログラム
JP2014116710A (ja) 2012-12-07 2014-06-26 Nec Casio Mobile Communications Ltd 撮像装置、撮影条件設定方法、及びプログラム
US9521385B2 (en) * 2014-03-27 2016-12-13 Himax Imaging Limited Image sensor equipped with additional group of selectively transmissive filters for illuminant estimation, and associated illuminant estimation method
KR101965529B1 (ko) * 2018-04-06 2019-04-03 한양대학교 산학협력단 양자점층을 포함하는 듀얼 이미지 센서
GB202011144D0 (en) * 2019-08-28 2020-09-02 ams Sensors Germany GmbH Systems for characterizing ambient illumination
US20230175889A1 (en) * 2021-12-06 2023-06-08 Viavi Solutions Inc. Optical system

Also Published As

Publication number Publication date
JP7504170B2 (ja) 2024-06-21
US20230099629A1 (en) 2023-03-30
EP4156675A1 (en) 2023-03-29
JP2023048996A (ja) 2023-04-07
CN115883980A (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
US11893771B2 (en) Image acquisition apparatus, image acquisition method, and electronic device including the same
US12032186B2 (en) Spectral filter, and image sensor and electronic device including spectral filter
US11558587B2 (en) Camera module comprising complementary color filter array and electronic device comprising same
JP7504170B2 (ja) ホワイトバランスを遂行する映像獲得装置、及びそれを含む電子装置、ならびに映像獲得装置の制御方法
EP4207099A1 (en) Image acquisition apparatus and electronic apparatus including the same
EP4142300A1 (en) Image acquisition apparatus including a plurality of image sensors, and electronic apparatus including the image acquisition apparatus
JP7482170B2 (ja) 映像獲得装置及び電子装置
KR20210130972A (ko) 전자 장치의 컬러 필터, 및 그 전자 장치
US11070751B2 (en) Electronic device and image up-sampling method for electronic device
KR20210151613A (ko) 이미지 처리 장치 및 이미지 처리 방법
KR20230105295A (ko) 영상 획득 장치 및 이를 포함하는 전자 장치
EP4436164A1 (en) Image acquisition apparatus and method of operating the same
US20240302210A1 (en) Method of performing color calibration of multispectral image sensor and image capturing apparatus
KR20240143540A (ko) 영상 획득 장치 및 그의 동작 방법
US20240323549A1 (en) Color interpolation method for multispectral filter array and image acquisition device
US20240178248A1 (en) Image sensor including multi-spectral filter and electronic device including the image sensor
US20230325995A1 (en) Method and apparatus for acquiring image using multispectral sensor
US20240244333A1 (en) Apparatus and method for obtaining image employing color separation lens array
US20230139533A1 (en) Optical sensor including nanophotonic microlens array and electronic device including the same
KR20240143585A (ko) 멀티스펙트럴 필터 어레이를 위한 컬러 보간 방법 및 이미지 획득 장치