KR20230031580A - 복수의 이미지 센서를 포함한 영상 획득 장치 및 이를 포함하는 전자 장치 - Google Patents

복수의 이미지 센서를 포함한 영상 획득 장치 및 이를 포함하는 전자 장치 Download PDF

Info

Publication number
KR20230031580A
KR20230031580A KR1020210113981A KR20210113981A KR20230031580A KR 20230031580 A KR20230031580 A KR 20230031580A KR 1020210113981 A KR1020210113981 A KR 1020210113981A KR 20210113981 A KR20210113981 A KR 20210113981A KR 20230031580 A KR20230031580 A KR 20230031580A
Authority
KR
South Korea
Prior art keywords
image
sensor
processor
image sensor
pixel
Prior art date
Application number
KR1020210113981A
Other languages
English (en)
Inventor
김우식
노영근
유인환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210113981A priority Critical patent/KR20230031580A/ko
Priority to US17/831,956 priority patent/US20230066267A1/en
Priority to CN202210633355.9A priority patent/CN115734082A/zh
Priority to JP2022129504A priority patent/JP2023033168A/ja
Priority to EP22192380.8A priority patent/EP4142300A1/en
Publication of KR20230031580A publication Critical patent/KR20230031580A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/15—Image signal generation with circuitry for avoiding or correcting image misregistration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Abstract

실시예에 따른 영상 획득 장치는 제1 파장 대역 기반의 제1 영상을 획득하는 제1 이미지 센서, 제2 파장 대역 기반의 제2 영상을 획득하는 제2 이미지 센서, 및 제1 이미지 센서 및 제2 이미지 센서로부터 각각 출력된 제1 영상과 제2 영상을 정합하고, 제2 영상으로부터 추정된 조명값을 이용하여 정합된 영상에 대해 색변환를 수행하는 프로세서를 포함한다.

Description

복수의 이미지 센서를 포함한 영상 획득 장치 및 이를 포함하는 전자 장치{Image acquisition apparatus including a plurality of image sensors and electronic apparatus including the same}
개시된 실시 예들은 복수의 이미지 센서를 포함한 영상 획득 장치 및 이를 포함하는 전자 장치에 대한 것이다.
영상 센서는 피사체로부터 입사되는 빛을 수광하고, 수광된 빛을 광전 변환하여 전기적 신호를 생성하는 장치이다.
영상 센서는 컬러 표현을 위해, 통상, 적색광, 녹색광, 청색광을 선택적으로 투과시키는 필터 요소들의 어레이로 이루어진 컬러 필터를 사용하며, 각 필터 요소를 투과한 빛의 양을 센싱한 후, 영상 처리를 통해 피사체에 대한 컬러 영상을 형성한다.
영상 센서를 통해 센싱된 값은 조명에 의해 영향을 받기 때문에, 카메라로 촬영된 영상의 컬러도 조명에 의해 영향을 받게 된다. 이러한 영향을 없애고 최대한 물체 고유의 색을 촬영할 수 있도록 하는 기술을 화이트밸런스라고 한다.
종래의 화이트밸런스 기술은 RGB 영상을 촬영한 후 그 영상 내 정보를 분석하여 화이트밸런스를 수행한다. 이러한 방법은 Gray World Assumption, 즉 영상의 R, G, B 채널별 평균값이 동일하다는 가정 또는 다른 제약 사항이 있기 때문에, 그러한 제약 사항을 만족시키지 못하는 상황에서는 올바로 동작하지 않을 수 있다.
복수의 이미지 센서를 포함한 영상 획득 장치 및 이를 포함하는 전자 장치에 대한 것이다.
실시 예에 따른 영상 획득 장치는 제1 파장 대역 기반의 제1 영상을 획득하는 제1 이미지 센서; 제2 파장 대역 기반의 제2 영상을 획득하는 제2 이미지 센서; 및 상기 제1 이미지 센서 및 상기 제2 이미지 센서로부터 각각 출력된 상기 제1 영상과 상기 제2 영상을 정합하고, 상기 제2 영상으로부터 추정된 조명값을 이용하여 상기 정합된 영상에 대해 색변환을 수행하는 프로세서를 포함한다.
상기 프로세서는, 상기 제1 영상을 적어도 하나의 영역으로 분할하고, 상기 제1 영상의 분할된 각각의 영역에 대응하는 제2 영상의 영역별로 각각의 조명값을 추정하고, 상기 제2 영상의 영역별로 추정된 각각의 조명값을 이용하여 상기 제1 영상의 분할된 각각의 영역에 대한 상기 색변환을 수행한다.
상기 프로세서는, 상기 제2 영상의 영역별로 추정된 각각의 조명값 중 인접한 영역의 조명값의 차이가 제1 임계값 이상인 경우, 상기 차이가 상기 제1 임계값보다 작도록 인접한 영역의 조명값 중 어느 하나의 조명값을 조정한다.
상기 프로세서는, 상기 색변환을 수행하고 나서, 상기 인접한 영역의 경계 부분에 대해 후처리(post-processing)를 수행한다.
상기 프로세서는, 상기 제1 이미지 센서 및 상기 제2 이미지 센서 각각의 해상도, 화각 및 초점거리 중 적어도 하나를 기초로 상기 제1 영상과 상기 제2 영상의 정합을 위한 파라미터를 산출한다.
상기 프로세서는, 상기 제2 이미지 센서로부터 출력된 복수의 채널로부터 얻어진 스펙트럼 정보를 이용하여 상기 조명값을 추정한다.
상기 프로세서는, 미리 정해진 조명값에 대한 제2 영상이 학습된 뉴럴 네트워크를 이용하여 상기 제2 이미지 센서로부터 획득된 제2 영상에 대한 상기 조명값을 추정한다.
상기 프로세서는, 상기 제1 영상 및 상기 제2 영상 각각의 특징(feature)를 추출하고, 상기 추출된 특징을 매칭시킴으로써, 상기 제1 영상과 상기 제2 영상의 정합을 수행한다.
상기 프로세서는, 상기 제1 영상 및 상기 제2 영상의 화소 그룹 단위, 화소 단위 또는 서브-화소 단위로 상기 제1 영상과 상기 제2 영상의 정합을 수행한다.
상기 제1 이미지 센서는, 복수의 제1 센싱 요소가 어레이된 제1 센서층과 상기 제1 센서층 상에 배치되며, 교번 배열된 적색 필터들, 녹색 필터들, 청색 필터들을 포함하는 컬러 필터를 구비하는, 제1 화소 어레이를 포함하고,
상기 제2 이미지 센서는, 복수의 제2 센싱 요소가 어레이된 제2 센서층과 상기 제2 센서층 상에 배치되며, 투과 파장 대역이 다른 복수의 유닛 필터로 이루어진 필터 그룹이 반복 배열된 분광 필터를 구비한다.
상기 복수의 유닛 필터 각각의 투과 파장 대역은, 가시광선을 포함하며 가시광선보다 넓은 범위의 파장 대역에 포함되고, 상기 필터 그룹은 4×4 어레이 형태로 배열되는 16개의 유닛 필터들을 포함한다.
상기 제1 화소 어레이와 상기 제2 화소 어레이는 같은 회로 기판상에 수평적으로 이격되게 배치된다.
상기 제1 센서층으로부터의 신호를 처리하는 제1 회로 요소들과, 상기 제2 센서층으로부터의 신호를 처리하는 제2 회로 요소들이 상기 회로 기판에 구비된다.
상기 영상 획득 장치는 제1 회로 요소들, 상기 제2 회로 요소들의 동작을 동기시키는 타이밍 컨트롤러를 더 포함한다.
상기 영상 획득 장치는 상기 제1 영상에 관한 데이터를 저장하는 제1 메모리; 및 상기 제2 영상에 관한 데이터를 저장하는 제2 메모리를 더 포함한다.
상기 제1 메모리 및 상기 제2 메모리가 상기 회로 기판 내에 구비된다.
상기 영상 획득 장치는 피사체의 광학 상을 상기 제1 이미지 센서에 형성하는 것으로 하나 이상의 렌즈를 포함하는, 제1 이미징 광학계; 및 상기 피사체의 광학 상을 상기 제2 이미지 센서에 형성하는 것으로, 하나 이상의 렌즈를 포함하는, 제2 이미징 광학계를 더 포함한다.
상기 제1 이미징 광학계와 상기 제2 이미징 광학계는 같은 초점거리와 같은 화각을 갖도록 설정된다.
다른 실시 예에 따른 전자 장치는 상기 영상 획득 장치를 포함한다.
또 다른 실시 예에 따른 복수의 이미지 센서를 이용한 영상 획득 장치의 제어 방법은 제1 이미지 센서 및 제2 이미지 센서로부터 각각 제1 영상 및 제2 영상을 획득하는 단계; 상기 획득된 제1 영상과 제2 영상을 정합하는 단계; 및 상기 제2 영상으로부터 추정된 조명값을 이용하여 상기 정합된 영상에 대해 색변환을 수행하는 단계를 포함한다.
실시 예에 따른 영상 획득 장치는 서로 다른 종류의 두 이미지 센서를 활용하여, 특정 제약조건 없이, 하나 이상의 조명환경의 영향하에서도 정확한 화이트밸런스를 수행할 수 있다.
상술한 영상 획득 장치는 다양한 전자 장치에 채용될 수 있다.
도 1은 실시 예에 따른 영상 획득 장치의 개략적인 구조를 보이는 블록도이다.
도 2는 도 1에 도시된 영상 획득 장치의 상세 블록도이다.
도 3은 도 1에 도시된 영상 획득 장치의 개략적인 구조를 보이는 개념도이다.
도 4는 실시 예에 따른 영상 획득 장치에 구비되는 제1 이미지 센서, 제2 이미지 센서의 회로 구성을 도시한 도면이다.
도 5는 실시 예에 따른 영상 획득 장치에 구비되는 제1 이미지 센서에 의한 파장 스펙트럼을 도시한 도면이다.
도 6 내지 도 8은 실시 예에 따른 영상 획득 장치에 구비되는 제1 이미지 센서의 예시적인 화소 배열들을 도시한 도면이다.
도 9는 실시 예에 따른 영상 획득 장치에 구비되는 제2 이미지 센서에 의한 파장 스펙트럼을 도시한 도면이다.
도 10 내지 도 12는 실시 예에 다른 영상 획득 장치에 구비되는 제2 이미지 센서의 예시적인 화소 배열을 도시한 도면이다.
도 13은 다른 실시 예에 따른 영상 획득 장치의 제어 방법을 개략적으로 설명하는 흐름 도이다.
도 14는 실시 예에 따른 전자 장치의 개략적인 구조를 보이는 블록도이다.
도 15는 도 14의 전자 장치에 구비되는 카메라 모듈을 개략적으로 도시한 블록도이다.
도 16 내지 도 25는 실시 예에 따른 영상 획득 장치가 적용된 전자장치의 다양한 예를 보인다.
이하, 첨부된 도면을 참조하여 실시 예를 상세히 설명하기로 한다. 설명되는 실시 예는 단지 예시적인 것에 불과하며, 이러한 실시 예들로부터 다양한 변형이 가능하다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다.
이하에서, "상부" 나 "상"이라고 기재된 것은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 이러한 용어들은 구성 요소들의 물질 또는 구조가 다름을 한정하는 것이 아니다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 “...부”, “모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
“상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다.
방법을 구성하는 단계들은 설명된 순서대로 행하여야 한다는 명백한 언급이 없다면, 적당한 순서로 행해질 수 있다. 또한, 모든 예시적인 용어(예를 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 청구항에 의해 한정되지 않는 이상 이러한 용어로 인해 권리 범위가 한정되는 것은 아니다.
일반적으로 카메라에서 센싱되는 값은 다음 수학식 1과 같이 조명, 물체의 색상, 그리고 카메라 반응의 곱으로 나타낼 수 있다.
[수학식 1]
Figure pat00001
여기서
Figure pat00002
는 센싱된 값,
Figure pat00003
,
Figure pat00004
,
Figure pat00005
은 각각 조명, 물체의 표면반사(surface reflectance) 및 카메라 반응에 대한 스펙트럼
Figure pat00006
의 함수이다. 센싱된 값은 조명에 의해 영향을 받기 때문에 카메라로 촬영된 영상의 컬러도 조명에 의해 영향을 받게 된다. 이러한 영향을 없애고 최대한 물체 고유의 색을 촬영할 수 있도록 하는 것이 화이트밸런스이다.
스마트폰을 포함한 영상촬영장치는 빛을 R, G, B, 세 가지 스펙트럼으로 센싱한다. 그리고 이 세 가지 센싱된 값을 사용하여 변환을 수행함으로써 표현하고자 하는 색상을 만들어낸다. 기존의 방법에서는 RGB 영상을 촬영한 후, 그 영상 내 정보를 분석하여 화이트밸런스를 수행한다. 이러한 방법에는 gray world assumption 또는 다른 제약 사항이 있기 때문에 그러한 제약 사항을 만족시키지 못하는 상황에서는 올바로 동작하지 않을 수 있다.
또한, 기존의 방법에서는 RGB 카메라를 사용하여 영상을 취득한 후 그 영상의 정보를 사용하여 화이트밸런스를 수행하였다. RGB 카메라는 기본적으로 세 가지 색상의 스펙트럼에 대해 센싱하고, 각 색상에 대해서 광대역 필터(wide band filter)를 사용하기 때문에 정확한 스펙트럼 정보를 얻는데 한계가 있다. 따라서, 정확한 화이트밸런스를 수행하는 데에도 한계가 있다. 이러한 한계는, 특히 하나 이상의 조명이 피사체에 비추어지는 경우에 발생하는데 종래 기술에서는 각각의 조명을 분리하는데 한계가 있기 때문이다. 예를 들어, 어떤 사람을 촬영할 때에 좌측 창문을 통해 자연광이 들어오고 우측에서는 실내에 또 다른 조명이 있다면 그 사람의 오른쪽과 왼쪽 얼굴의 색깔이 다르게 나타나는 현상이 발생할 수 있다. 또한, 특정 색이 씬(scene)에 도미넌트(dominant)할 경우에도 오차가 발생하는데, 예를 들어 눈을 배경으로 한 스키장 사진 등에서 눈의 색상이 실제 색상과 다르게 나타나는 경우를 볼 수 있다.
실시 예에 따른 영상 획득 장치는 화이트밸런스를 정확하게 수행하기 위해 MSI 센서를 사용하여 조명과 물체의 색을 분리하여 물체의 정확한 색상을 찾은 후에, 그 정보, 즉 조명값을 사용하여 RGB 영상에 대해 색변환 또는 컬러매핑을 하여 화이트밸런스를 수행한다.
도 1은 실시 예에 따른 영상 획득 장치의 개략적인 구조를 보이는 블록도이다.
도 1을 참조하면, 영상 획득 장치는 제1 이미지 센서(100), 제2 이미지 센서(200) 및 프로세서(500)를 포함한다. 실시 예에 따른 영상 획득 장치는 복수의 이미지 센서를 이용하여 촬영되는 영상에 대해 화이트밸런스를 정확하게 수행한다. 제1 이미지 센서(100)는 제1 파장 대역의 제1 영상을 획득한다. 제 2 파장 대역은 제1 파장 대역을 포함하고 그보다 더 넓을 수 있다. 제2 이미지 센서(200)는 제2 파장 대역의 제2 영상을 획득한다. 여기서, 제1 이미지 센서(100)는 RGB 이미지 센서이고, 제2 이미지 센서(200)는 멀티스펙트럴이미지(Multispectral image, 이하 MSI라 한다) 센서일 수 있다. RGB 이미지 센서는 R 채널, G 채널 및 B 채널을 가진다. MSI 센서는 RGB 센서로다 더 많은 수의 채널을 가짐으로써 더 많은 파장 대역의 빛을 센싱한다.
프로세서(500)는 제1 이미지 센서(100) 및 제2 이미지 센서(200)로부터 각각 출력된 제1 영상과 제2 영상을 정합하고, 제2 영상으로부터 추정된 조명값을 이용하여 정합된 영상에 대해 색변환을 수행한다.
또한, 프로세서(500)는 제1 영상을 적어도 하나의 영역으로 분할하고, 제1 영상의 분할된 각각의 영역에 대응하는 제2 영상의 영역별로 각각의 조명값을 추정하고, 제2 영상의 영역별로 추정된 각각의 조명값을 이용하여 제1 영상의 분할된 각각의 영역에 대해 색변환을 수행할 수도 있다.
또한, 프로세서(500)는 제2 영상의 영역별로 추정된 각각의 조명값 중 인접한 영역의 조명값의 차이가 제1 임계값 이상인 경우, 차이가 제1 임계값보다 작도록 인접한 영역의 조명값 중 어느 하나의 조명값을 조정할 수 있다. 이 경우, 프로세서(500)는, 색변환을 수행하고 나서, 인접한 영역의 경계 부분에 대해 후처리(post-processing)를 수행할 수도 있다.
도 2는 도 1에 도시된 영상 획득 장치의 상세 블록도이다.
도 2를 참조하면, 영상 획득 장치는 제1 파장 대역 기반의 제1 영상(IM1)을 획득하는 제1 이미지 센서(100), 제2 파장 대역 기반의 제2 영상(IM2)을 획득하는 제2 이미지 센서(200) 및 제1 영상(IM1)과 제2 영상(IM2)을 신호 처리하여, 제3 영상(IM3)을 생성하는 프로세서(500)를 포함한다. 여기서, 제3 영상(IM3)은 제1 이미지 센서(100)로부터 획득된 제1 영상, 또는 제1 이미지 센서(100)로부터 획득된 제1 영상과 제2 이미지 센서(200)로부터 획득된 제2 영상을 정합한 영상에 대해, 화이트밸런스가 수행된 영상이다.
제1 이미지 센서(100)는 일반적인 RGB 카메라에 채용되는 센서로서, 베이어 컬러 필터 어레이를 사용하는 CMOS 이미지센서일 수 있다. 제1 이미지 센서(100)가 획득하는 제1 영상(IM1)은 적색, 녹색, 청색 기반의 RGB 영상일 수 있다.
제2 이미지 센서(200)는 제1 이미지 센서(100)보다 더 많은 종류의 파장의 광을 센싱하는 센서이다. 제2 이미지 센서(200)는 예를 들어, 16개의 채널을 사용할 수 있고, 또는 31개의 채널, 또는 기타, 다른 개수의 채널을 사용할 수 있다. 각 채널의 대역폭은 R, G, B 대역보다 더 좁게 설정되며, 모든 채널의 대역폭을 합한 전체 대역폭은 RGB 대역폭, 즉, 가시광선 대역폭을 포함하며 이보다 넓을 수 있다. 예를 들어, 약 350nm 내지 1000nm의 대역폭을 가질 수 있다. 제2 이미지 센서(200)가 획득하는 제2 영상(IM2)은 멀티스펙트럴(multispectral) 또는 초분광(hyperspectral) 영상일 수 있으며, RGB 파장 대역보다 넓은 파장 대역, 예를 들어, 가시광선 대역을 포함하며 이보다 넓은 파장 대역인 자외선 내지 적외선 파장 대역을 16개 이상의 채널로 분할한 파장 기반의 영상일 수 있다. 제2 영상(IM2)은 제2 이미지 센서(200)의 가용한 모든 수의 채널을 활용하여 취득한 영상일 수 있고, 또는, 특정 채널을 선별하여 취득한 영상일 수도 있다. 제2 영상(IM2)의 공간 해상도는 제1 영상(IM1)의 공간 해상도보다 낮을 수 있으며, 다만, 이에 한정되지는 않는다.
실시 예에서, 제1 이미지 센서(100)는 RGB 센서이고, 제2 이미지 센서(200)는 MSI 센서일 수 있다. 이때 RGB 센서는 CMOS 이미지센서일 수 있다. RGB센서는 베이어 컬러 필터 어레이(Bayer color filter array)를 사용하여 R, G, B를 나타내는 스펙트럼을 각각 센싱한 세 가지 채널의 영상을 생성할 수 있다. 또한, 다른 종류의 컬러 필터 어레이를 사용할 수 있음은 물론이다. MSI 센서는 RGB 센서와는 다른 파장의 빛을 센싱하여 나타낸다. MSI 센서는 채널의 수를 더 많이 가짐으로써 더 많은 종류의 파장의 빛을 센싱하는 것을 특징으로 한다. 특정 예에서 채널의 수는 16개의 채널을 사용할 수 있다. 다른 예에서 31개의 채널을 사용할 수 있다. 각 채널은 원하는 대역의 빛을 센싱하도록 빛이 투과하는 대역 및 투과량, 그리고 대역폭을 조정할 수 있다. 모든 채널의 대역폭을 합하여 구성되는 전체 대역폭은 기존의 RGB 센서의 대역폭을 포함하고 그보다 더 넓을 수 있다. RGB센서와 MSI센서의 센싱 스펙트럼 또는 파장 대역은 도 5 및 9를 참조하여 후술한다.
제1 이미지 센서(100)와 제2 이미지 센서(200)는 각각 별개의 칩으로 구성될 수 있고 또는 단일 칩으로 구성될 수도 있다.
실시 예에서, 이종 센서 간 서로 다른 해상도 및 출력 속도, 그리고 영상 정합에 필요한 영역의 크기에 따라 타이밍 제어(timing control)를 할 수 있다. 예를 들면, RGB 센서를 기준으로 동작할 때에 하나의 RGB 영상 열을 읽어들일 때, 그 영역에 해당하는 MSI 센서의 영상 열은 이미 버퍼에 저장되어 있을 수도 있고, 새로 읽어들여야 할 수도 있다. 이러한 타이밍을 계산하여 센싱된 신호들을 리드아웃(readout)할 수 있다. 또는 두 센서의 동작은 같은 동기화(synchronization) 신호를 사용하여 동기될 수 있다. 그리고 두 센서가 같은 위치의 피사체에 초점이 맞추어 지도록 초점제어를 할 수 있다.
실시 예에서, MSI 센서로 영상을 취득할 때에 모든 수의 채널, 예를 들면 16개 채널에 대해 영상을 취득하거나, 또는 특정 채널만 선별하여 취득할 수 있다. 센서 화소의 구간화(binning)를 하거나, 영상 취득 후 특정 채널을 선택 또는 합성을 통해 일부 원하는 채널만 사용할 수도 있다.
제1 메모리(300)는 제1 이미지 센서(100)로부터 리드아웃된 제1 영상(IM1)을 저장한다. 제2 메모리(310)는 제2 이미지 센서(200)로부터 리드아웃된 제2 영상(IM2)을 저장한다.
각 센서에서 영상은 라인 단위로 읽어 들여져서 순차적으로 저장된다. 제1 메모리(300) 및 제2 메모리(310)는 영상을 각 라인 단위로 저장하는 라인 메모리이거나 영상 전체를 저장하는 프레임 버퍼일 수 있다.
실시 예에서, 영상을 출력할 때에 RGB 영상만 출력하고, RGB 영상은 프레임 버퍼에 저장하고, MSI 영상은 라인 버퍼에 저장하여 라인 단위로 프로세싱한 후 프레임 버퍼에 있는 RGB 영상을 업데이트할 수도 있다. 메모리(300 및 310)는 SRAM 또는 DRAM을 사용할 수 있으나, 메모리의 종류에 한정되는 것은 아니다.
각각의 메모리(300 및 310)는 센서 외부에 위치할 수 있고, 또는 센서 내부에 집적될 수도 있다. 센서 내부에 집적할 경우, 메모리는 센서 회로와 같이 집적할 수 있는데, 이때 화소부와 그 외의 부분인 회로부와 메모리를 각각의 스택으로 구성하여 2 스택으로 집적하여 하나의 칩으로 구성할 수 있다. 또는, 화소부, 회로부, 메모리의 세 층을 갖는 3 스택으로 구현할 수도 있다.
실시 예에서, 제1 이미지 센서와 제2 이미지 센서로부터 획득된 제1 영상 및 제2 영상을 각각 다른 메모리에 저장하는 것으로 설명하였지만, 이에 한정되지 않고, 하나의 메모리에 저장할 수 있음은 물론이다.
프로세서(500)는 영상 정합부(510), 조명추정부(520) 및 색상변환부(530)를 포함한다. 도시되지는 않았지만, 프로세서(500)는 영상신호처리부(Image Signal Processor, 이하 ISP라 한다)를 더 포함할 수 있다. 영상신호처리부는 제1 이미지 센서(100) 및 제2 이미지 센서(200)에서 각각 영상을 취득한 후, 각각의 메모리에 저장되기 전 또는 저장된 후에, 기본적인 영상처리(image processing)를 수행할 수 있다. 예를 들면, bad pixel correction, fixed pattern noise correction, crosstalk reduction, remosaicing, demosaicing, false color reduction, denoising, chromatic aberration correction 등을 수행할 수 있다. 또한, 프로세서(500) 또는 ISP는 제1 이미지 센서 및 제2 이미지 센서 모두에 동일한 영상처리를 수행하거나, 센서별로 영상처리를 다르게 수행할 수 있음은 물론이다.
실시 예에서, 프로세서(500)는 화이트밸런스를 정확하게 수행하기 위해 MSI 센서를 사용하여 조명과 물체의 색을 분리하여 물체의 정확한 색상을 찾은 후에, 조명값을 이용하여 RGB 센서로부터 획득된 영상 또는 정합된 영상에 대해 색변환(color conversion)을 수행하여, 화이트밸런스를 조절한다. 프로세서(500)의 구체적인 기능을 보다 상세하게 설명한다.
영상 정합부(510)는 제1 이미지 센서(100) 및 제2 이미지 센서(200)로부터 각각 출력된 제1 영상(IM1)과 제2 영상(IM2)을 정합한다.
영상 정합부(510)는 제1 이미지 센서(100)와 제2 이미지 센서(200) 간의 상대적 위치 정보를 활용하여 제1 영상(IM1)과 제2 영상(IM2)을 정합(image registration)할 수 있다. 영상 정합부(520)는 제1 이미지 센서(100), 제2 이미지 센서(200)에서 획득한 영상의 공간 해상도(spatial resolution), 영상 획득에 사용된 광학계의 화각(field of view), 초점 거리(focal length) 등을 고려하여 영상의 각 화소 간 위치 관계를 파악한다. 이때 한 센서의 영상을 기준으로 하여 다른 센서의 영상을 그 위에 오버레이(overlay)할 수 있다. 예를 들어 제1 이미지 센서(100)가 획득한 제1 영상(IM1)을 기준으로 하여 상기 제1 영상(IM1)의 각 화소에 대해 그에 대응하는 제2 영상(IM2)의 화소들을 찾을 수 있다. 이를 위해 제2 영상(IM2)의 화소에 대해 스케일변환(scaling), 이동변환(translation), 회전변환(rotation), 어파인변환(affine transform), 원근변환(perspective transform) 등을 수행할 수 있다.
또한, 제1 영상(IM1)의 화소에 해당하는 제2 영상(IM2)의 화소는 하나 이상일 수 있고, 복수의 제2 영상(IM2)의 화소들을 위치에 따라 일정 비율로 혼합하여 제1 영상의 화소에 해당하는 제2 영상(IM2)의 화소 값을 생성할 수 있다. 제2 영상(IM2)의 채널별 영상을 사용하여 각각 영상 정합을 수행할 수도 있다. 정합의 정밀도를 높이기 위해 서브 화소(sub-pixel) 단위로 정합을 수행할 수 있다. 서브화소 단위의 정합에서는 화소의 위치가 정수가 아니라 실수로 표현될 수 있다.
영상 정합부(510)는 초점 제어를 통하여 제1 이미지 센서(100)와 제2 이미지 센서(200)가 같은 위치의 피사체에 초점을 맞추도록 하여 정합의 효율을 높일 수 있다. 그리고 두 센서가 같은 화각(field of view)을 갖도록 하여 영상 정합 수행을 빠르고 정확하게 하도록 할 수 있다. 예를 들어 제1 이미지 센서(100)와 제2 이미지 센서(200)에 광학 상을 형성하기 위한 이미징 광학계가 같은 초점 거리와 같은 화각을 갖는 경우, 제1 영상(IM1)과 제2 영상(IM2) 간에는 평행이동만 존재하며, 관련된 변수(parameter)는 제1 이미지 센서(100)와 제2 이미지 센서(200)간 상대적 위치 및 각 광학계의 초점 거리들을 사용하여 계산될 수 있다.
제2 영상(IM2)의 공간 해상도가 제1 영상(IM1)의 공간 해상도보다 높은 경우, 제2 영상(IM2)을 다운샘플링하여 영상 정합을 수행할 수 있다. 이때 bi-lateral filtering, guided filtering과 같이 엣지 정보를 고려한 필터링을 사용하여 다운샘플링함으로써 영상 정합을 보다 정확히 수행할 수 있다.
제2 영상(IM2)의 공간 해상도보다 낮은 경우, 인터폴레이션(interpolation)을 통해 제1 영상의 각 화소 위치에 해당하는 제2 영상 샘플을 각 채널 별로 생성할 수 있다. 마찬가지로 bi-lateral filtering, guided filtering 등과 같이 엣지 정보를 고려하여 인터폴레이션을 할 수 있다.
또는, 제2 영상(IM2)의 공간 해상도를 같아지게 한 후 영상 정합을 수행할 수 있다. 두 영상의 해상도가 동일하도록 디모자이싱(demosaicing)을 수행할 수 있다. 이 경우 두 이미지 센서에 광학 상을 각각 형성하는 두 광학계가 같은 초점 거리와 화각을 가지면, 별도의 인터폴레이션없이 평행이동(translation)만 고려하여 영상 정합을 수행할 수 있다. 예를 들면 제1 이미지 센서(100)와 제2 이미지 센서(200)가 같은 초점과 같은 화각을 갖는다면, 각 센서를 사용해 취득한 영상 간에는 평행이동만 발생하게 되고, 평행이동 파라미터들은 두 센서 간 상대적 위치를 포함하는 카메라 외부 파라미터(camera extrinsic parameter)와 초점 거리를 포함하는 카메라 내부 파라미터(camera intrinsic parameter)를 사용하여 계산할 수 있다.
정합을 수행하기 전에 제1 영상(IM1), 제2 영상(IM2)에 포함된 수차를 보정할 수 있다. 즉, 제1 영상(IM1), 제2 영상(IM2)을 획득할 때 사용되는 이미징 광학계에 포함된 렌즈에 의한, 왜곡, 기하 수차, 색 수차 등의 영향을 보정(correction) 한 후에 정합을 수행할 수 있다.
영상 정합부(510)는 영상 내 엣지 특징(edge feature) 정보를 추출하고 두 영상 간 특징(feature)을 매칭(matching)할 수 있다. 피사체의 경계 영역에서 영상 정합이 어긋나는 경우, 컬러 왜곡(color distortion)이 발생할 수 있기 때문에, 엣지 정보를 추출하여 두 영상 간 엣지가 정렬(align)되도록 정합을 수행하여 경계 영역에서 왜곡이 발생하지 않도록 처리할 수 있다. 엣지 외에 코너점(corner points) 등과 같은 다른 영상 특징들을 사용하여 영상 정합을 수행할 수 있음은 물론이다.
또한, 영상 정합부(510)는 화소 단위로 영상 정합을 수행하는 대신에, 화소 그룹 단위로 영상 정합을 수행할 수 있다. 예를 들어 RGB 영상의 화소를 그룹으로 분류한 후, 각 그룹에 대응하는 MSI 영상의 그룹을 매칭하여 영상 정합을 수행할 수 있다. 여기서, 화소 그룹은 정해진 크기와 모양의 패턴을 가질 수 있다. 패턴은 예를 들면 라인 모양, 또는 사각형의 블록 모양일 수 있다. 특정 예에서 RGB 영상을 사각형 영역으로 분할한 후, 영역별로 대응되는 MSI 영역을 찾은 후, 그 영역의 MSI 정보를 사용하여 화이트밸런스를 수행하고, 그 결과로 찾은 정보를 사용하여 해당 RGB 영역 영상을 변환할 수 있다. 화소 그룹은 전경 객체(foreground object)영역과 배경(background) 영역으로 구분될 수 있다. 화소 그룹은 관심(Region of Interest, 이하 ROI라 한다)영역과 non-ROI 영역으로 구분될 수 있다. 또한, 화소 그룹은 영상 분할(image segmentation) 또는 색상 분포를 고려하여 구분될 수도 있다.
조명추정부(520)는 제2 이미지 센서(200)로부터 획득된 제2 영상으로부터 조명값을 추정한다. 조명추정부(520)는 MSI 센서의 영상에서 다수의 채널로 이루어진 스펙트럼 정보를 사용하여 조명추정(illumination estimation)을 수행한다. 이를 위해 조명과 객체의 표면반사(surface reflectance)는 스펙트럼분해(spectral decomposition)을 통해, 조명(E)은 다음 수학식 2, 물체의 색상(S)은 다음 수학식 3으로 표현할 수 있다.
[수학식 2]
Figure pat00007
[수학식 3]
Figure pat00008
이 둘의 곱이 색상을 나타내고, 제2 이미지 센서(200)를 통해 센싱 된 값은 다음 수학식 4와 같이 표현할 수 있다.
[수학식 4]
Figure pat00009
Figure pat00010
여기서, m과 n은 각각 조명과 물체 색상의 스펙트럼을 스펙트럼 분해하였을 때에 사용한 베이이스 벡터(basis vector)의 수이고, x는 공간위치(spatial position), k는 채널 인덱스(index)를 나타낸다. 이러한 선형 방정식을 비선형 최적화 (non-linear optimization) 기법 등을 사용하여 해를 구하여 조명의 스펙트럼을 추정할 수 있다.
또한, 선택적으로, 조명 추정부(520)는 뉴럴 네트워크를 사용하여 조명 추정을 수행할 수 있다. 미리 정해진 조명 값에 대한 MSI 센서 영상을 학습시켜 뉴럴 네트워크를 구축하고, 조명 추정을 수행한다. 학습이 된 후에는 뉴럴 네트워크의 입력으로 MSI 센서 영상, 출력으로 조명 값을 얻는다.
조명 추정부(520)는 영상을 화소 그룹으로 분할하고 영역별로 조명 추정을 수행할 수 있다. 이때 사용하는 화소 그룹은 영상 정합부(510)에서 사용하는 화소 그룹과 같은 화소 그룹을 사용할 수 있다.
조명 추정부(520)는 조명추정을 수행한 결과는 파장에 따른 조명의 함수로 나타날 수 있다. 또는 미리 정의된 기본함수(basis function)에 대해 파장에 따른 조명의 함수를 스펙트럼 분해하였을 때 각 기본함수의 계수(coefficient)로 나타내질 수 있다. 또한, 조명의 색온도(color temperature) 인덱스로 나타내질 수 있다. 여기서, 색온도는 광원의 빛을 수치적으로 표시하는 방법으로 표시단위는 K(Kelvin)를 사용한다. 색온도는 조명의 종류에 따라 달라지게 되며, 색온도가 낮을수록 붉은 색으로, 색온도가 높을수록 푸른색을 띠게 된다.
또한, 미리 파장에 따른 조명의 함수 집합을 정의하고, 그 중 가장 근사한 함수의 인덱스를 출력할 수 있다. 뉴럴 네트워크를 사용할 경우에도 이와 같이 출력을 정의하고, 정해진 출력에 대해 학습을 수행하여 뉴럴 네트워크를 구성할 수 있다.
또한, 조명 추정부(520)는 제1 이미지 센서로부터 획득된 제1 영상과 제2 이미지 센서로부터 획득된 제2 영상 모두를 사용하여 조명 추정을 수행할 수 있다. 이때 제1 영상과 제2 영상을 각각 따로 사용하여 조명 추정을 수행한 뒤 각각의 결과를 혼합할 수도 있다.
또는 다중 채널을 사용하여 조명 추정을 수행할 때 제2 영상의 채널과 제1 영상의 채널을 모두 고려하여 조명 추정을 수행할 수 있다.
또한, 뉴럴 네트워크를 사용할 경우 특정 조명에 대한 제1 영상, 즉 RGB 영상과 제2 영상, 즉 MSI 영상의 반응을 모두 고려하여 학습시킬 수 있다. 이 경우, 뉴럴 네트워크의 입력은 RGB 영상과 MSI 영상이 되고, 출력은 추정된 조명 값이 된다.
색상 변환부(530)는 영상 정합부(510)에서 정합된 영상에 대해 조명 추정부(520)에서 추정된 조명값을 이용하여 색변환을 수행한다.
색상 변환부(530)는 영상 정합부(510) 및 조명 추정부(520)에서 사용된 화소 그룹별로 컬러 매핑을 수행한다. 여기서, 컬러 매핑의 입력은 각 화소의 R, G, B 값이고, 출력은 입력 값이 조명을 고려하여 보정된 R', G', B' 값이다. 입력 벡터 I = [R G B]T를 출력 벡터 I' = [R' G' B']T으로 변환하기 위한 방법으로 3x3 매트릭스 연산일 수 있으며, 다음 수학식 5와 같다.
[수학식 5]
I' = MI
여기서, M은 R, G, B를 독립적으로 고려한 대각행렬(diagonal matrix)일 수 있다. 또는 R, G, B를 혼합하여 R', G', B'을 생성하는 비대각행령(non-diagonal matrix)일 수 있다. 또는 3x3 행렬 외에, R, G, B 간의 cross-term을 고려하거나 이차항을 고려한 행렬일 수 있다. 이 경우 입력 벡터 I는 R, G, B 외에 cross-term 또는 이차항을 포함하여 구성된다. 이러한 행렬은 색온도에 따라 미리 정해진 행렬을 사용할 수 있다. 또는 미리 정해진 조명 함수에 대한 인덱스에 따라 정해진 행렬을 사용할 수 있다. 또는 보다 정확한 결과를 얻기 위해 조명 함수를 사용하여 비선형최적화(non-linear optimization)을 수행하여 최적화된 행렬을 만들 수도 있다.
색상 변환부(530)는 영역별로 색상을 변환한 후에 서로 인접한 영역에서 경계 결함(boundary artifact)이 생기지 않도록 할 수 있다. 이를 위해서 인접한 영역 간에 조명 함수 차이가 미리 정해진 값보다 크지 않도록 할 수 있다. 또한, 색상 변환을 수행한 후에 경계 영역에 대해 후처리를 통해 색상 변환이 부드럽게 되도록 할 수도 있다.
도 3은 실시예에 따른 영상 획득 장치의 개략적인 구조를 보이는 개념도이고, 도 4는 실시예에 따른 영상 획득 장치에 구비되는 제1 이미지 센서, 제2 이미지 센서의 회로 구성을 보인다.
영상 획득 장치(1000)는 제1 파장 대역 기반의 제1 영상(IM1)을 획득하는 제1 이미지 센서(100), 제2 파장 대역 기반의 제2 영상(IM2)을 획득하는 제2 이미지 센서(200) 및 제1 영상(IM1) 및 제2 영상(IM2)을 신호 처리하여, 제3 영상을 생성하는 프로세서(500)를 포함한다. 영상 획득 장치(1000)는 또한, 제1 영상(IM1)에 관한 데이터가 저장되는 제1 메모리(300)와, 제2 영상(IM2)에 관한 데이터가 저장되는 제2 메모리(310)를 더 포함할 수 있고, 영상을 출력하는 영상 출력부(700)를 더 포함할 수 있다.
영상 획득 장치(1000)는 또한, 제1 이미지 센서(100)에 피사체(OBJ)의 광학 상(optical image)을 형성하는 제1 이미징 광학계(190), 제2 이미지 센서(200)에 피사체(OBJ)의 광학 상을 형성하는 제2 이미징 광학계(290)를 포함할 수 있다. 제1 이미징 광학계(190)과 제2 이미징 광학계(290)는 각각 하나의 렌즈를 포함하는 것으로 도시되어 있으나, 이는 예시적인 것이며 이에 한정되지 않는다. 제1 이미징 광학계(190)와 제2 이미징 광학계(290)는 같은 초점 거리와 같은 화각을 가지도록 구성될 수 있고 이 경우, 제 3 영상(IM3)을 형성하기 위해 제1 영상(IM1)과 제2 영상(IM2)을 정합하는 과정이 보다 용이할 수 있다. 다만, 이에 한정되는 것은 아니다.
제1 이미지 센서(100)는 제1 화소 어레이(PA1)를 포함하며, 제1 화소 어레이(PA1)는 복수의 제1 센싱 요소가 어레이된 제1 센서층(110)과, 제1 센서층(110) 상에 배치된 컬러 필터(120)를 포함한다. 컬러 필터(120)는 교번 배열된 적색 필터들, 녹색 필터들, 청색 필터들을 포함할 수 있다. 제1 화소 어레이(PA1) 상에는 제1 마이크로 렌즈 어레이(130)가 배치될 수 있다. 제1 화소 어레이(PA1)에 적용되는 화소 배열의 다양한 예시는 도 5-8를 참조하여 후술한다.
제2 이미지 센서는 제2 화소 어레이(PA2)를 포함하며, 제2 화소 어레이(PA2)는 복수의 제2 센싱 요소가 어레이된 제2 센서층(210)과, 제2 센서층(210) 상에 배치된 분광 필터(220)를 포함한다. 분광 필터(220)는 복수의 필터 그룹을 포함하며, 복수의 필터 그룹 각각은 투과 파장 대역이 다른 복수의 유닛 필터로 이루어질 수 있다. 분광 필터(220)는 컬러 필터(120)보다 넓은 파장 대역, 예를 들어, 자외선 내지 적외선 파장 범위의 파장 대역을 컬러 필터(120)보다 세분하여 필터링하도록 구성될 수 있다. 제2 화소 어레이(PA2) 상에는 제2 마이크로 렌즈 어레이(230)가 배치될 수 있다. 제2 화소 어레이(PA2)에 적용되는 화소 배열의 예시는 도 10-12를 참조하여 후술한다.
제1 센서층(110), 제2 센서층(210)은 CCD(charge coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 포함할 수 있으며, 이에 한정되지는 않는다.
제1 화소 어레이(PA1)와 제2 화소 어레이(PA2)는 같은 회로 기판(SU) 상에 수평적으로, 예를 들어, X 방향으로 이격되게 배치될 수 있다.
회로 기판(SU)에는 제1 센서층(110)으로부터의 신호를 처리하는 제1 회로 요소들과, 제2 센서층(210)으로부터의 신호를 처리하는 제2 회로 요소들이 구비될 수 있다. 다만, 이에 한정되지 않으며, 제1 회로 요소들과 제2 회로 요소들은 각각 별도의 기판에 구비되는 것도 가능하다.
제1 영상(IM1)과 제2 영상(IM2)에 대한 데이터가 저장되는 메모리(300)는 회로 기판(SU)과 별개로 도시되었으나, 이는 예시적이며, 회로 기판(SU) 내에, 회로 요소들과 같은 층으로, 또는 별도의 층으로 구분되어 배치될 수도 있다. 메모리(300)는 영상을 라인 단위로 저장하는 라인 메모리일 수 있고, 영상 전체를 저장하는 프레임 버퍼일수도 있다. 메모리(300)에는 SRAM(static random access memory), 또는 DRAM(dynamic random access memory)가 사용될 수 있다.
회로 기판(SU)에 영상 획득 장치(1000)에 필요한 다양한 회로 요소들이 집적 배치될 수 있다. 예를 들어, 다양한 아날로그 회로, 디지털 회로 들을 포함하는 로직 레이어가 구비될 수 있고, 데이터가 저장되는 메모리 레이어가 구비될 수 있다. 로직 레이어와 메모리 레이어는 다른 층으로 구성되거나 또는 같은 층으로 구성될 수 있다.
도 4를 참조하면, 제1 화소 어레이(PA1)에 로우 디코더(102), 출력 회로(103), 타이밍 컨트롤러(TC)(101)가 연결된다. 로우 디코더(102)는 타이밍 컨트롤러(101)로부터 출력된 로우 어드레스 신호에 응답하여 제1 화소 어레이(PA1)의 로우들 하나를 선택한다. 출력 회로(103)는 선택된 로우를 따라 배열된 복수의 화소로부터 컬럼 단위로 광감지 신호를 출력한다. 이를 위하여, 출력 회로(103)는 컬럼 디코더와 아날로그-디지털 변환기(ADC; analog to digital converter)를 포함할 수 있다. 예를 들어, 출력 회로(103)는 컬럼 디코더와 제1 화소 어레이(PA1) 사이에서 컬럼 별로 각각 배치된 복수의 ADC, 또는, 컬럼 디코더의 출력단에 배치된 하나의 ADC를 포함할 수 있다. 타이밍 컨트롤러(101), 로우 디코더(102), 및 출력 회로(103)는 하나의 칩 또는 각각 별개의 칩으로 구현될 수 있다. 예시된 회로 요소들의 적어도 일부가 도 3의 회로 기판(SU)에 구비될 수 있다. 출력 회로(103)를 통해 출력된 제1 영상(IM1)을 처리하기 위한 프로세서가 타이밍 컨트롤러(101), 로우 디코더(102), 및 출력 회로(103)와 함께 하나의 칩으로 구현될 수도 있다.
제2 화소 어레이(PA2)에도 로우 디코더(202), 출력 회로(203), 타이밍 컨트롤러(TC)(201)가 연결되고, 상술한 바와 유사하게, 제2 화소 어레이(PA2)로부터의 신호가 처리될 수 있다. 또한, 출력 회로(203)를 통해 출력된 제2 영상(IM2)을 처리하기 위한 프로세서가 타이밍 컨트롤러(201), 로우 디코더(202), 및 출력 회로(203)와 함께 하나의 칩으로 구현될 수도 있다.
제1 화소 어레이(PA1)와 제2 화소 어레이(PA2)는 화소 크기, 개수가 같게 도시되었으나, 이는 편의상의 예시이며 이에 한정되는 것은 아니다.
서로 다른 종류의 두 센서를 동작시킴에 있어서, 서로 다른 해상도 및 출력 속도, 그리고 영상 정합에 필요한 영역의 크기에 따라 타이밍 제어(timing control)가 필요할 수 있다. 예를 들어, 제1 이미지 센서(100)를 기준으로 하나의 영상 열을 읽어 들일 때 그 영역에 해당하는 제2 이미지 센서(200)의 영상 열은 이미 버퍼에 저장되어 있을 수도 있고 새로 읽어 들여야 할 수도 있다. 또는 제1 이미지 센서(100), 제2 이미지 센서(200)의 동작은 같은 동기(synchronization) 신호를 사용하여 동기화될 수 있다. 예를 들어, 타이밍 컨트롤러(400)가 더 구비되어, 제1 이미지 센서(100), 제2 이미지 센서(200)에 동기 신호(sync.)를 전송할 수도 있다.
도 5는 실시예에 따른 영상 획득 장치에 구비되는 제1 이미지 센서에 의한 파장 스펙트럼을 보이며, 도 6 내지 도 8은 실시예에 따른 영상 획득 장치에 구비되는 제1 이미지 센서의 예시적인 화소 배열들을 보인다.
도 6을 참조하면, 제1 화소 어레이(PA1)에 구비되는 컬러 필터(120)에는 적색(R), 녹색(G), 청색(B) 파장 대역을 필터링 하는 필터들이 베이어 패턴(Bayer pattern)으로 배열되어 있다. 즉, 하나의 단위 화소는 2×2 어레이로 배열된 서브 화소를 포함하며, 복수의 단위 화소가 2차원적으로 반복 배열된다. 단위 화소의 1행에 적색 필터, 녹색 필터가 배치되고, 2행에 녹색 필터, 청색 필터가 배치된다. 화소 배열은 베이어 패턴 외에 다른 방식으로도 가능하다.
예를 들어, 도 7을 참조하면, 마젠타(Magenta) 화소(M), 사이안(Cyan) 화소(C), 옐로우(Yellow) 화소(Y), 및 녹색 화소(G)가 하나의 단위 화소를 구성하는 CYGM 방식의 배열도 가능하다. 또한, 도 8을 참조하면, 녹색 화소(G), 적색 화소(R), 청색 화소(B), 및 백색 화소(W)가 하나의 단위 화소를 구성하는 RGBW 방식의 배열도 가능하다. 또한, 도시되지는 않았지만 단위 화소가 3×2 어레이 형태를 가질 수도 있다. 그 밖에도 제1 화소 어레이(PA1)의 화소들은 제1 이미지 센서(100)의 색 특성에 따라 다양한 방식으로 배열될 수 있다.
도 9는 실시예에 따른 영상 획득 장치에 구비되는 제2 이미지 센서에 의한 파장 스펙트럼을 보이며, 도 10 내지 도 12는 실시예에 다른 영상 획득 장치의 제2 이미지 센서의 예시적인 화소 배열을 보인다.
도 10을 참조하면, 제2 화소 어레이(PA2)에 구비되는 분광 필터(220)는 2차원 형태로 배열되는 복수의 필터 그룹(221)을 포함할 수 있다. 여기서, 각 필터 그룹(221)은 4×4 어레이 형태로 배열되는 16개의 유닛 필터들(F1~F16)을 포함할 수 있다.
제1 및 제2 유닛 필터(F1, F2)는 자외선 영역의 중심 파장들(UV1, UV2)을 가질 수 있으며, 제3 내지 제5 유닛 필터(F3~F5)는 청색광 영역의 중심 파장들(B1~B3)을 가질 수 있다. 제6 내지 제11 유닛 필터(F6~F11)는 녹색광 영역의 중심 파장들(G1~G6)을 가질 수 있으며, 제12 내지 제14 유닛 필터(F12~F14)는 적색광 영역의 중심 파장들(R1~R3)을 가질 수 있다. 그리고 제15 및 제16 유닛 필터(F15, F16)는 근적외선 영역의 중심 파장들(NIR1, NIR2)을 가질 수 있다.
도 11은 분광 필터(220)에 구비되는 다른 예의 필터 그룹(222) 하나에 대한 평면도를 도시하고 있다. 도 11을 참조하면, 필터 그룹(222)은 3×3 어레이 형태로 배열되는 9개의 유닛 필터들(F1~F9)을 포함할 수 있다. 여기서, 제1 및 제2 유닛 필터(F1, F2)는 자외선 영역의 중심 파장들(UV1, UV2)을 가질 수 있으며, 제4, 제5 및 제7 유닛 필터(F4, F5, F7)는 청색광 영역의 중심 파장들(B1~B3)을 가질 수 있다. 제3 및 제6 유닛 필터(F3, F6)는 녹색광 영역의 중심 파장들(G1, G2)을 가질 수 있으며, 제8 및 제9 유닛 필터(F8, F9)는 적색광 영역의 중심 파장들(R1, R2)을 가질 수 있다.
도 12는 분광 필터(220)에 구비되는 다른 예의 필터 그룹(223) 하나에 대한 평면도를 도시하고 있다. 도 12를 참조하면, 필터 그룹(223)은 5×5 어레이 형태로 배열되는 25개의 유닛 필터들(F1~F25)을 포함할 수 있다. 여기서, 제1 내지 제3 유닛 필터(F1~F3)는 자외선 영역의 중심 파장들(UV1~UV3)을 가질 수 있으며, 제6, 제7, 제8, 제11 및 제12 유닛 필터(F6, F7, F8, F11, F12)는 청색광 영역의 중심 파장들(B1~B5)을 가질 수 있다. 제4, 제5 및 제9 유닛 필터(F4, F5, F9)는 녹색광 영역의 중심 파장들(G1~G3)을 가질 수 있으며, 제10, 제13, 제14, 제15, 제18 및 제19 유닛 필터(F10, F13, F14, F15, F18, F19)는 적색광 영역의 중심 파장들(R1~R6)을 가질 수 있다. 그리고 제20, 제23, 제24 및 제25 유닛 필터(F20, F23, F24, F25)는 근적외선 영역의 중심 파장들(NIR1~NIR4)을 가질 수 있다.
분광 필터(220)에 구비되는 상술한 유닛 필터들은 두 개의 반사판을 가지는 공진 구조를 가질 수 있으며 공진 구조의 특성에 따라 투과되는 파장 대역이 결정될 수 있다. 반사판의 재질 및 캐비티 내 유전 물질의 재질, 캐비티 두께에 따라 투과 파장 대역이 조절될 수 있다. 이 외에도, 그레이팅을 활용한 구조, DBR(distributed bragg reflector)을 활용한 구조 등이 유닛 필터에 적용될 수 있다.
이 외에도 제2 화소 어레이(PA2)의 화소들은 제2 이미지 센서(200)의 색 특성에 따라 다양한 방식으로 배열될 수 있다.
도 13은 다른 실시예에 따른 영상 획득 장치의 제어 방법을 개략적으로 설명하는 흐름 도이다.
도 13을 참조하면, 단계 1300에서, 제1 영상 및 제2 영상을 획득한다. 여기서, 제1 영상은 일반적인 RGB 센서 또는 CMOS 이미지센서로부터 획득한 RGB 영상이다. 제2 영상은 MSI 센서로부터 획득한 영상이다. 제2 영상은 제1 영상보다 넓은 파장 대역을 가질 수 있다. 또한, 제2 영상은 제1 영상의 3개 채널, R, G, B 채널보다 많은 수의 채널을 갖는 영상이다.
단계 1302에서, 제1 영상의 영역을 분할한다. 여기서, 영역 분할은 제1 영상의 화소 그룹일 수 있으며, 소정의 크기와 모양의 패턴을 가질 수 있다. 이러한 패턴은 라인 또는 사각형일 수 있다. 또한, 화소 그룹은 전경과 배경으로 구분되거나, ROI와 non-ROI로 구분할수도 있다.
단계 1304에서, 제1 영상의 각각의 영역에 대응하는 제2 영상의 영역을 구분한다. 단계 1302에서, 제1 영상에서 분할된 영역에 대응하는 제2 영상의 영역을 구분한다. 또한, 제1 영상과 제2 영상의 영상 정합을 통해, 어느 한 영상에 정합된 다른 영상을 오버레이할 수 있다. 또한, 단계 1302 및 1304를 통해 분할된 영역 단위로 영상 정합을 수행하여, 오버레이를 수행할 수도 있다. 단계 1302 및 1304에서, 화소 그룹 단위로 영상 정합을 수행하는 것으로 설명하지만, 이에 한정되지 않고, 화소 단위 또는 서브-화소 단위로 영상 정합을 수행할 수 있음은 물론이다.
단계 1306에서, 제2 영상의 각각의 영역에 대한 조명값을 추정한다. MSI센서로부터 획득한 제2 영상에서 다수의 채널로 이루어진 스펙트럼 정보를 이용하여 조명값을 추정한다. 여기서, 단계 1302 및 1304에서, 제2 영상에서 분할된 각각의 영역에 대해 조명값을 추정한다.
단계 1308에서, 제1 영상의 각각의 영역에 추정된 조명값을 이용하여 색변환을 수행한다. 여기서, 제1 영상은 단계 1300에서, RGB 센서 또는 CMOS 이미지센서로부터 획득한 RGB 영상이거나, 단계 1302 및 1304에서, 제1 영상과 제2 영상을 정합한 정합영상일 수 있다.
실시 예에 따른 영상 획득 장치의 제어 방법은 RGB 센서와 MSI 센서를 사용하여, RGB 카메라로 촬영되는 영상에 대해 화이트밸런스를 수행한다. 화이트밸런스를 정확하게 수행하기 위해 MSI 센서를 사용하여 조명과 물체의 색을 분리하여 물체의 정확한 색상을 찾은 후에, 그 정보를 사용하여 RGB 영상에 대해 컬러 매핑하여 화이트밸런스를 수행한다.
상술한 영상 획득 장치(1000)는 다양한 고성능 광학 장치 또는 고성능 전자 장치에 채용될 수 있다. 이러한 전자 장치는, 예컨대, 스마트 폰(smart phone), 휴대폰, 핸드폰, PDA(personal digital assistant), 랩톱(laptop), PC, 다양한 휴대용 기기, 가전 제품, 보안 카메라, 의료용 카메라, 자동차, 사물인터넷(IoT;Internet of Things) 기기, 기타 모바일 또는 비모바일 컴퓨팅 장치 일 수 있고, 이에 제한되지 않는다.
전자 장치는 영상 획득 장치(1000)외에도, 이에 구비된 이미지 센서들을 제어하는 프로세서, 예를 들면, 어플리케이션 프로세서(AP: Application Processor)를 더 포함할 수 있으며, 프로세서를 통해 운영 체제 또는 응용 프로그램을 구동하여 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서는 GPU (Graphic Processing Unit) 및/또는 이미지 신호 프로세서(Image Signal Processor)를 더 포함할 수 있다. 프로세서에 이미지 신호 프로세서가 포함되는 경우, 이미지센서에 의해 획득된 이미지(또는 영상)를 프로세서를 이용하여 저장 및/또는 출력할 수 있다.
도 14는 실시예에 따른 전자 장치의 개략적인 구조를 보이는 블록도이다. 도 14를 참조하면, 네트워크 환경(ED00)에서 전자 장치(ED01)는 제1 네트워크(ED98)(근거리 무선 통신 네트워크 등)를 통하여 다른 전자 장치(ED02)와 통신하거나, 또는 제2 네트워크(ED99)(원거리 무선 통신 네트워크 등)를 통하여 또 다른 전자 장치(ED04) 및/또는 서버(ED08)와 통신할 수 있다. 전자 장치(ED01)는 서버(ED08)를 통하여 전자 장치(ED04)와 통신할 수 있다. 전자 장치(ED01)는 프로세서(ED20), 메모리(ED30), 입력 장치(ED50), 음향 출력 장치(ED55), 표시 장치(ED60), 오디오 모듈(ED70), 센서 모듈(ED76), 인터페이스(ED77), 햅틱 모듈(ED79), 카메라 모듈(ED80), 전력 관리 모듈(ED88), 배터리(ED89), 통신 모듈(ED90), 가입자 식별 모듈(ED96), 및/또는 안테나 모듈(ED97)을 포함할 수 있다. 전자 장치(ED01)에는, 이 구성요소들 중 일부(표시 장치(ED60) 등)가 생략되거나, 다른 구성요소가 추가될 수 있다. 이 구성요소들 중 일부는 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(ED76)(지문 센서, 홍채 센서, 조도 센서 등)은 표시 장치(ED60)(디스플레이 등)에 임베디드되어 구현될 수 있다. 또한, 이미지센서(1000)에 분광 기능이 포함될 경우, 센서 모듈의 일부 기능(컬러 센서, 조도 센서)이 별도의 센서 모듈이 아닌 이미지센서(1000) 자체에서 구현될 수 있다.
프로세서(ED20)는, 소프트웨어(프로그램(ED40) 등)를 실행하여 프로세서(ED20)에 연결된 전자 장치(ED01) 중 하나 또는 복수개의 다른 구성요소들(하드웨어, 소프트웨어 구성요소 등)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 데이터 처리 또는 연산의 일부로, 프로세서(ED20)는 다른 구성요소(센서 모듈(ED76), 통신 모듈(ED90) 등)로부터 수신된 명령 및/또는 데이터를 휘발성 메모리(ED32)에 로드하고, 휘발성 메모리(ED32)에 저장된 명령 및/또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(ED34)에 저장할 수 있다. 프로세서(ED20)는 메인 프로세서(ED21)(중앙 처리 장치, 어플리케이션 프로세서 등) 및 이와 독립적으로 또는 함께 운영 가능한 보조 프로세서(ED23)(그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 커뮤니케이션 프로세서 등)를 포함할 수 있다. 보조 프로세서(ED23)는 메인 프로세서(ED21)보다 전력을 작게 사용하고, 특화된 기능을 수행할 수 있다.
보조 프로세서(ED23)는, 메인 프로세서(ED21)가 인액티브 상태(슬립 상태)에 있는 동안 메인 프로세서(ED21)를 대신하여, 또는 메인 프로세서(ED21)가 액티브 상태(어플리케이션 실행 상태)에 있는 동안 메인 프로세서(ED21)와 함께, 전자 장치(ED01)의 구성요소들 중 일부 구성요소(표시 장치(ED60), 센서 모듈(ED76), 통신 모듈(ED90) 등)와 관련된 기능 및/또는 상태를 제어할 수 있다. 보조 프로세서(ED23)(이미지 시그널 프로세서, 커뮤니케이션 프로세서 등)는 기능적으로 관련 있는 다른 구성 요소(카메라 모듈(ED80), 통신 모듈(ED90) 등)의 일부로서 구현될 수도 있다.
메모리(ED30)는, 전자 장치(ED01)의 구성요소(프로세서(ED20), 센서모듈(ED76) 등)가 필요로 하는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(프로그램(ED40) 등) 및, 이와 관련된 명령에 대한 입력 데이터 및/또는 출력 데이터를 포함할 수 있다. 메모리(ED30)는, 휘발성 메모리(ED32) 및/또는 비휘발성 메모리(ED34)를 포함할 수 있다. 비휘발성 메모리(ED32)는 전자 장치(ED01) 내에 고정 장착된 내장 메모리(ED36)과 탈착 가능한 외장 메모리(ED38)를 포함할 수 있다.
프로그램(ED40)은 메모리(ED30)에 소프트웨어로 저장될 수 있으며, 운영 체제(ED42), 미들 웨어(ED44) 및/또는 어플리케이션(ED46)을 포함할 수 있다.
입력 장치(ED50)는, 전자 장치(ED01)의 구성요소(프로세서(ED20) 등)에 사용될 명령 및/또는 데이터를 전자 장치(ED01)의 외부(사용자 등)로부터 수신할 수 있다. 입력 장치(ED50)는, 마이크, 마우스, 키보드, 및/또는 디지털 펜(스타일러스 펜 등)을 포함할 수 있다.
음향 출력 장치(ED55)는 음향 신호를 전자 장치(ED01)의 외부로 출력할 수 있다. 음향 출력 장치(ED55)는, 스피커 및/또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 리시버는 스피커의 일부로 결합되어 있거나 또는 독립된 별도의 장치로 구현될 수 있다.
표시 장치(ED60)는 전자 장치(ED01)의 외부로 정보를 시각적으로 제공할 수 있다. 표시 장치(ED60)는, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 표시 장치(ED60)는 터치를 감지하도록 설정된 터치 회로(Touch Circuitry), 및/또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(압력 센서 등)를 포함할 수 있다.
오디오 모듈(ED70)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 오디오 모듈(ED70)은, 입력 장치(ED50)를 통해 소리를 획득하거나, 음향 출력 장치(ED55), 및/또는 전자 장치(ED01)와 직접 또는 무선으로 연결된 다른 전자 장치(전자 장치(ED02) 등)의 스피커 및/또는 헤드폰을 통해 소리를 출력할 수 있다.
센서 모듈(ED76)은 전자 장치(ED01)의 작동 상태(전력, 온도 등), 또는 외부의 환경 상태(사용자 상태 등)를 감지하고, 감지된 상태에 대응하는 전기 신호 및/또는 데이터 값을 생성할 수 있다. 센서 모듈(ED76)은, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(Infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 및/또는 조도 센서를 포함할 수 있다.
인터페이스(ED77)는 전자 장치(ED01)가 다른 전자 장치(전자 장치(ED02) 등)와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 또는 복수의 지정된 프로토콜들을 지원할 수 있다. 인터페이스(ED77)는, HDMI(High Definition Multimedia Interface), USB(Universal Serial Bus) 인터페이스, SD카드 인터페이스, 및/또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(ED78)는, 전자 장치(ED01)가 다른 전자 장치(전자 장치(ED02) 등)와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 연결 단자(ED78)는, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 및/또는 오디오 커넥터(헤드폰 커넥터 등)를 포함할 수 있
햅틱 모듈(ED79)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(진동, 움직임 등) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(ED79)은, 모터, 압전 소자, 및/또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(ED80)은 정지 영상 및 동영상을 촬영할 수 있다. 카메라 모듈(ED80)은 상술한 영상 획득 장치(1000)를 포함할 수 있고, 추가적인 렌즈 어렘블리 이미지 시그널 프로세서들, 및/또는 플래시들을 포함할 수 있다. 카메라 모듈(ED80)에 포함된 렌즈 어셈블리는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다.
전력 관리 모듈(ED88)은 전자 장치(ED01)에 공급되는 전력을 관리할 수 있다. 전력 관리 모듈(ED88)은, PMIC(Power Management Integrated Circuit)의 일부로서 구현될 수 있다.
배터리(ED89)는 전자 장치(ED01)의 구성 요소에 전력을 공급할 수 있다. 배터리(ED89)는, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 및/또는 연료 전지를 포함할 수 있다.
통신 모듈(ED90)은 전자 장치(ED01)와 다른 전자 장치(전자 장치(ED02), 전자 장치(ED04), 서버(ED08) 등)간의 직접(유선) 통신 채널 및/또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(ED90)은 프로세서(ED20)(어플리케이션 프로세서 등)와 독립적으로 운영되고, 직접 통신 및/또는 무선 통신을 지원하는 하나 또는 복수의 커뮤니케이션 프로세서들을 포함할 수 있다. 통신 모듈(ED90)은 무선 통신 모듈(ED92)(셀룰러 통신 모듈, 근거리 무선 통신 모듈, GNSS(Global Navigation Satellite System 등) 통신 모듈) 및/또는 유선 통신 모듈(ED94)(LAN(Local Area Network) 통신 모듈, 전력선 통신 모듈 등)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(ED98)(블루투스, WiFi Direct 또는 IrDA(Infrared Data Association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(ED99)(셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(LAN, WAN 등)와 같은 원거리 통신 네트워크)를 통하여 다른 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(단일 칩 등)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(복수 칩들)로 구현될 수 있다. 무선 통신 모듈(ED92)은 가입자 식별 모듈(ED96)에 저장된 가입자 정보(국제 모바일 가입자 식별자(IMSI) 등)를 이용하여 제1 네트워크(ED98) 및/또는 제2 네트워크(ED99)와 같은 통신 네트워크 내에서 전자 장치(ED01)를 확인 및 인증할 수 있다.
안테나 모듈(ED97)은 신호 및/또는 전력을 외부(다른 전자 장치 등)로 송신하거나 외부로부터 수신할 수 있다. 안테나는 기판(PCB 등) 위에 형성된 도전성 패턴으로 이루어진 방사체를 포함할 수 있다. 안테나 모듈(ED97)은 하나 또는 복수의 안테나들을 포함할 수 있다. 복수의 안테나가 포함된 경우, 통신 모듈(ED90)에 의해 복수의 안테나들 중에서 제1 네트워크(ED98) 및/또는 제2 네트워크(ED99)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 안테나가 선택될 수 있다. 선택된 안테나를 통하여 통신 모듈(ED90)과 다른 전자 장치 간에 신호 및/또는 전력이 송신되거나 수신될 수 있다. 안테나 외에 다른 부품(RFIC 등)이 안테나 모듈(ED97)의 일부로 포함될 수 있다.
구성요소들 중 일부는 주변 기기들간 통신 방식(버스, GPIO(General Purpose Input and Output), SPI(Serial Peripheral Interface), MIPI(Mobile Industry Processor Interface) 등)을 통해 서로 연결되고 신호(명령, 데이터 등)를 상호 교환할 수 있다.
명령 또는 데이터는 제2 네트워크(ED99)에 연결된 서버(ED08)를 통해서 전자 장치(ED01)와 외부의 전자 장치(ED04)간에 송신 또는 수신될 수 있다. 다른 전자 장치들(ED02, ED04)은 전자 장치(ED01)와 동일한 또는 다른 종류의 장치일 수 있다. 전자 장치(ED01)에서 실행되는 동작들의 전부 또는 일부는 다른 전자 장치들(ED02, ED04, ED08) 중 하나 또는 복수의 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(ED01)가 어떤 기능이나 서비스를 수행해야 할 때, 기능 또는 서비스를 자체적으로 실행시키는 대신에 하나 또는 복수의 다른 전자 장치들에게 그 기능 또는 그 서비스의 일부 또는 전체를 수행하라고 요청할 수 있다. 요청을 수신한 하나 또는 복수의 다른 전자 장치들은 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(ED01)로 전달할 수 있다. 이를 위하여, 클라우드 컴퓨팅, 분산 컴퓨팅, 및/또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 15는 도 14의 전자 장치에 구비되는 카메라 모듈(ED80)을 개략적으로 예시한 블록도이다. 카메라 모듈(ED80)은 전술한 영상 획득 장치(1000)를 포함할 수 있고, 또는 이로부터 변형된 구조를 가질 수 있다. 도 15을 참조하면, 카메라 모듈(ED80)은 렌즈 어셈블리(CM10), 플래시(CM20), 이미지 센서(CM30), 이미지 스태빌라이저(CM40), 메모리(CM50)(버퍼 메모리 등), 및/또는 이미지 시그널 프로세서(CM60)를 포함할 수 있다.
이미지 센서(CM30)은 전술한 영상 획득 장치(1000)에 구비되는 제1 이미지 센서(100), 제2 이미지 센서(200)을 포함할 수 있다. 제1 이미지 센서(100), 제2 이미지 센서(200)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(CM10)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 피사체에 대응하는 이미지를 획득할 수 있다. 제1 이미지 센서(100)는 RGB 영상을 획득하고, 제2 이미지 센서(200)는 자외선 내지 적외선 파장 범위의 초분광(hyperspectral) 영상을 획득할 수 있다.
이미지 센서(CM30)는 전술한 제1 이미지 센서(100), 제2 이미지 센서(200) 외에도, 다른 RGB 센서, BW(Black and White) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나 또는 복수의 센서들을 더 포함할 수도 있다. 이미지 센서(CM30)에 포함된 각각의 센서들은, CCD(Charged Coupled Device) 센서 및/또는 CMOS(Complementary Metal Oxide Semiconductor) 센서로 구현될 수 있다.
렌즈 어셈블리(CM10)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 카메라 모듈(ED80)은 복수의 렌즈 어셈블리(CM10)들을 포함할 수도 있으며, 이런 경우, 카메라 모듈(ED80)은, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(Spherical Camera)가 될 수 있다. 복수의 렌즈 어셈블리(CM10)들 중 일부는 동일한 렌즈 속성(화각, 초점 거리, 자동 초점, F 넘버(F Number), 광학 줌 등)을 갖거나, 또는 다른 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(CM10)는, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.
렌즈 어셈블리(CM10)는 이미지 센서(CM30)에 구비되는 두 이미지 센서가 같은 위치의 피사체의 광학 상을 형성할 수 있도록 구성될 수 있고 및/또는 포커스 제어될 수 있다.
플래시(CM20)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 플래시(CM20)는 하나 또는 복수의 발광 다이오드들(RGB(Red-Green-Blue) LED, White LED, Infrared LED, Ultraviolet LED 등), 및/또는 Xenon Lamp를 포함할 수 있다.
이미지 스태빌라이저(CM40)는 카메라 모듈(ED80) 또는 이를 포함하는 전자 장치(CM01)의 움직임에 반응하여, 렌즈 어셈블리(CM10)에 포함된 하나 또는 복수개의 렌즈 또는 이미지센서(1000)를 특정한 방향으로 움직이거나 이미지센서(1000)의 동작 특성을 제어(리드 아웃(Read-Out) 타이밍의 조정 등)하여 움직임에 의한 부정적인 영향이 보상되도록 할 수 있다. 이미지 스태빌라이저(CM40)는 카메라 모듈(ED80)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(ED80) 또는 전자 장치(ED01)의 움직임을 감지할 수 있다. 이미지 스태빌라이저(CM40)는, 광학식으로 구현될 수도 있다.
메모리(CM50)는 이미지센서(1000)를 통하여 획득된 이미지의 일부 또는 전체 데이터가 다음 이미지 처리 작업을 위하여 저장할 수 있다. 예를 들어, 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 데이터(Bayer-Patterned 데이터, 고해상도 데이터 등)는 메모리(CM50)에 저장하고, 저해상도 이미지만을 디스플레이 해준 후, 선택된(사용자 선택 등) 이미지의 원본 데이터가 이미지 시그널 프로세서(CM60)로 전달되도록 하는데 사용될 수 있다. 메모리(CM50)는 전자 장치(ED01)의 메모리(ED30)로 통합되어 있거나, 또는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(CM60)는 이미지 센서(CM30)을 통하여 획득된 이미지 또는 메모리(CM50)에 저장된 이미지 데이터에 대하여 이미지 처리들을 수행할 수 있다. 도 1 내지 도 13에서 설명한 바와 같이, 이미지 센서(CM30)에 포함되는 두 이미지 센서가 획득한 제1 영상(예를 들어, RGB 영상), 제2 영상(예를 들어, MSI 영상)을 처리하여, 화이트밸런스가 수행된 제3 영상을 생성할 수 있다. 이를 위한 프로세서(500)의 구성이 이미지 시그널 프로세서(CM60)에 포함될 수 있다.
이미지 처리들은, 이외에도, 깊이 지도(Depth Map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 및/또는 이미지 보상(노이즈 감소, 해상도 조정, 밝기 조정, 블러링(Blurring), 샤프닝(Sharpening), 소프트닝(Softening) 등)을 포함할 수 있다. 이미지 시그널 프로세서(CM60)는 카메라 모듈(ED80)에 포함된 구성 요소들(이미지 센서(CM30) 등)에 대한 제어(노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(CM60)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(CM50)에 다시 저장 되거나 카메라 모듈(ED80)의 외부 구성 요소(메모리(ED30), 표시 장치(ED60), 전자 장치(ED02), 전자 장치(ED04), 서버(ED08) 등)로 제공될 수 있다. 이미지 시그널 프로세서(CM60)는 프로세서(ED20)에 통합되거나, 프로세서(ED20)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(CM60)가 프로세서(ED20)와 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(CM60)에 의해 처리된 이미지는 프로세서(ED20)에 의하여 추가의 이미지 처리를 거친 후 표시 장치(ED60)를 통해 표시될 수 있다.
전자 장치(ED01)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(ED80)들을 포함할 수 있다. 이런 경우, 복수의 카메라 모듈(ED80)들 중 하나는 광각 카메라이고, 다른 하나는 망원 카메라일 수 있다. 유사하게, 복수의 카메라 모듈(ED80)들 중 하나는 전면 카메라이고, 다른 하나는 후면 카메라일 수 있다.
도 16 내지 도 25는 실시예에 따른 영상 획득 장치가 적용된 전자 장치의 다양한 예를 보인다.
실시예들에 따른 영상 획득 장치는 도 16에 도시된 모바일 폰 또는 스마트 폰(5100m), 도 17에 도시된 태블릿 또는 스마트 태블릿(5200), 도 18에 도시된 디지털 카메라 또는 캠코더(5300), 도 19에 도시된 노트북 컴퓨터(5400)에 또는 도 20에 도시된 텔레비전 또는 스마트 텔레비전(5500) 등에 적용될 수 있다. 예를 들어, 스마트폰(5100m) 또는 스마트 태블릿(5200)은 고해상 이미지센서가 각각 탑재된 복수의 고해상 카메라를 포함할 수 있다. 고해상 카메라들을 이용하여 영상 내 피사체들의 깊이 정보를 추출하거나, 영상의 아웃포커싱을 조절하거나, 영상 내 피사체들을 자동으로 식별할 수 있다.
또한, 영상 획득 장치(1000)는 도 21에 도시된 스마트 냉장고(5600), 도 22에 도시된 보안 카메라(5700), 도 23에 도시된 로봇(5800), 도 24에 도시된 의료용 카메라(5900) 등에 적용될 수 있다. 예를 들어, 스마트 냉장고(5600)는 영상 획득 장치(1000)를 이용하여 냉장고 내에 있는 음식을 자동으로 인식하고, 특정 음식의 존재 여부, 입고 또는 출고된 음식의 종류 등을 스마트폰을 통해 사용자에게 알려줄 수 있다. 보안 카메라(5700)는 초고해상도 영상을 제공할 수 있으며 높은 감도를 이용하여 어두운 환경에서도 영상 내의 사물 또는 사람을 인식 가능하게 할 수 있다. 로봇(5800)은 사람이 직접 접근할 수 없는 재해 또는 산업 현장에서 투입되어 고해상도 영상을 제공할 수 있다. 의료용 카메라(5900)는 진단 또는 수술을 위한 고해상도 영상을 제공할 수 있으며 시야를 동적으로 조절할 수 있다.
또한, 영상 획득 장치(1000)는 도 25에 도시된 바와 같이 차량(6000)에 적용될 수 있다. 차량(6000)은 다양한 위치에 배치된 복수의 차량용 카메라(6010, 6020, 6030, 6040)를 포함할 수 있으며. 각각의 차량용 카메라(6010, 6020, 6030, 6040)는 실시예에 따른 영상 획득 장치를 포함할 수 있다. 차량(6000)은 복수의 차량용 카메라(6010, 6020, 6030, 6040)를 이용하여 차량(6000) 내부 또는 주변에 대한 다양한 정보를 운전자에게 제공할 수 있으며, 영상 내의 사물 또는 사람을 자동으로 인식하여 자율 주행에 필요한 정보를 제공할 수 있다.
상술한 영상 획득 장치 및 이를 포함하는 전자 장치가 비록 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 권리범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 권리범위에 포함된 것으로 해석되어야 할 것이다.
1000: 영상 획득 장치
100: 제1 이미지 센서
110: 제1 센서층
120: 컬러 필터
130: 제1 마이크로 렌즈 어레이
190: 제1 이미징 광학계
200: 제2 이미지 센서
210: 제2 센서층
220: 분광 필터
230; 제2마이크로 렌즈 어레이
290: 제2 이미징 광학계

Claims (20)

  1. 제1 파장 대역 기반의 제1 영상을 획득하는 제1 이미지 센서;
    제2 파장 대역 기반의 제2 영상을 획득하는 제2 이미지 센서; 및
    상기 제1 이미지 센서 및 상기 제2 이미지 센서로부터 각각 출력된 상기 제1 영상과 상기 제2 영상을 정합하고, 상기 제2 영상으로부터 추정된 조명값을 이용하여 상기 정합된 영상에 대해 색변환을 수행하는 프로세서를 포함하는, 영상 획득 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 영상을 적어도 하나의 영역으로 분할하고,
    상기 제1 영상의 분할된 각각의 영역에 대응하는 제2 영상의 영역별로 각각의 조명값을 추정하고,
    상기 제2 영상의 영역별로 추정된 각각의 조명값을 이용하여 상기 제1 영상의 분할된 각각의 영역에 대한 상기 색변환을 수행하는, 영상 획득 장치.
  3. 제2 항에 있어서,
    상기 프로세서는,
    상기 제2 영상의 영역별로 추정된 각각의 조명값 중 인접한 영역의 조명값의 차이가 제1 임계값 이상인 경우,
    상기 차이가 상기 제1 임계값보다 작도록 인접한 영역의 조명값 중 어느 하나의 조명값을 조정하는, 영상 획득 장치.
  4. 제 3 항에 있어서,
    상기 프로세서는,
    상기 색변환을 수행하고 나서, 상기 인접한 영역의 경계 부분에 대해 후처리(post-processing)를 수행하는, 영상 획득 장치.
  5. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 이미지 센서 및 상기 제2 이미지 센서 각각의 해상도, 화각 및 초점거리 중 적어도 하나를 기초로 상기 제1 영상과 상기 제2 영상의 정합을 위한 파라미터를 산출하는, 영상 획득 장치.
  6. 제1 항에 있어서,
    상기 프로세서는,
    상기 제2 이미지 센서로부터 출력된 복수의 채널로부터 얻어진 스펙트럼 정보를 이용하여 상기 조명값을 추정하는, 영상 획득 장치.
  7. 제1 항에 있어서,
    상기 프로세서는,
    미리 정해진 조명값에 대한 제2 영상이 학습된 뉴럴 네트워크를 이용하여 상기 제2 이미지 센서로부터 획득된 제2 영상에 대한 상기 조명값을 추정하는, 영상 획득 장치.
  8. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 영상 및 상기 제2 영상 각각의 특징(feature)를 추출하고, 상기 추출된 특징을 매칭시킴으로써, 상기 제1 영상과 상기 제2 영상의 정합을 수행하는, 영상 획득 장치.
  9. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 영상 및 상기 제2 영상의 화소 그룹 단위, 화소 단위 또는 서브-화소 단위로 상기 제1 영상과 상기 제2 영상의 정합을 수행하는, 영상 획득 장치.
  10. 제1 항에 있어서,
    상기 제1 이미지 센서는,
    복수의 제1 센싱 요소가 어레이된 제1 센서층과
    상기 제1 센서층 상에 배치되며, 교번 배열된 적색 필터들, 녹색 필터들, 청색 필터들을 포함하는 컬러 필터를 구비하는, 제1 화소 어레이를 포함하고,
    상기 제2 이미지 센서는,
    복수의 제2 센싱 요소가 어레이된 제2 센서층과
    상기 제2 센서층 상에 배치되며, 투과 파장 대역이 다른 복수의 유닛 필터로 이루어진 필터 그룹이 반복 배열된 분광 필터를 구비하는, 제2 화소 어레이를 포함하는, 영상 획득 장치.
  11. 제10 항에 있어서,
    상기 복수의 유닛 필터 각각의 투과 파장 대역은,
    가시광선을 포함하며 가시광선보다 넓은 범위의 파장 대역에 포함되고,
    상기 필터 그룹은 4×4 어레이 형태로 배열되는 16개의 유닛 필터들을 포함하는, 영상 획득 장치.
  12. 제 9 항에 있어서,
    상기 제1 화소 어레이와 상기 제2 화소 어레이는 같은 회로 기판상에 수평적으로 이격되게 배치되는, 영상 획득 장치.
  13. 제12 항에 있어서,
    상기 제1 센서층으로부터의 신호를 처리하는 제1 회로 요소들과, 상기 제2 센서층으로부터의 신호를 처리하는 제2 회로 요소들이 상기 회로 기판에 구비되는, 영상 획득 장치.
  14. 제13 항에 있어서,
    상기 제1 회로 요소들, 상기 제2 회로 요소들의 동작을 동기시키는 타이밍 컨트롤러를 더 포함하는, 영상 획득 장치.
  15. 제12 항에 있어서,
    상기 제1 영상에 관한 데이터를 저장하는 제1 메모리; 및
    상기 제2 영상에 관한 데이터를 저장하는 제2 메모리를 더 포함하는, 영상 획득 장치.
  16. 제15 항에 있어서,
    상기 제1 메모리 및 상기 제2 메모리가 상기 회로 기판 내에 구비되는, 영상 획득 장치.
  17. 제1 항에 있어서,
    피사체의 광학 상을 상기 제1 이미지 센서에 형성하는 것으로 하나 이상의 렌즈를 포함하는, 제1 이미징 광학계; 및
    상기 피사체의 광학 상을 상기 제2 이미지 센서에 형성하는 것으로, 하나 이상의 렌즈를 포함하는, 제2 이미징 광학계를 더 포함하는, 영상 획득 장치.
  18. 제17 항에 있어서,
    상기 제1 이미징 광학계와 상기 제2 이미징 광학계는 같은 초점거리와 같은 화각을 갖도록 설정되는, 영상 획득 장치.
  19. 제 1 항 내지 제 18 항 중 어느 하나의 영상 획득 장치를 포함하는 전자 장치.
  20. 복수의 이미지 센서를 이용한 영상 획득 장치의 제어 방법에 있어서,
    제1 이미지 센서 및 제2 이미지 센서로부터 각각 제1 영상 및 제2 영상을 획득하는 단계;
    상기 획득된 제1 영상과 제2 영상을 정합하는 단계; 및
    상기 제2 영상으로부터 추정된 조명값을 이용하여 상기 정합된 영상에 대해 색변환을 수행하는 단계를 포함하는, 영상 획득 장치의 제어 방법.
KR1020210113981A 2021-08-27 2021-08-27 복수의 이미지 센서를 포함한 영상 획득 장치 및 이를 포함하는 전자 장치 KR20230031580A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020210113981A KR20230031580A (ko) 2021-08-27 2021-08-27 복수의 이미지 센서를 포함한 영상 획득 장치 및 이를 포함하는 전자 장치
US17/831,956 US20230066267A1 (en) 2021-08-27 2022-06-03 Image acquisition apparatus including a plurality of image sensors, and electronic apparatus including the image acquisition apparatus
CN202210633355.9A CN115734082A (zh) 2021-08-27 2022-06-07 包括多个图像传感器的图像获取装置以及包括该图像获取装置的电子装置
JP2022129504A JP2023033168A (ja) 2021-08-27 2022-08-16 複数のイメージセンサを含む映像獲得装置、それを含む電子装置、及び映像獲得装置の制御方法
EP22192380.8A EP4142300A1 (en) 2021-08-27 2022-08-26 Image acquisition apparatus including a plurality of image sensors, and electronic apparatus including the image acquisition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210113981A KR20230031580A (ko) 2021-08-27 2021-08-27 복수의 이미지 센서를 포함한 영상 획득 장치 및 이를 포함하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20230031580A true KR20230031580A (ko) 2023-03-07

Family

ID=83360992

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210113981A KR20230031580A (ko) 2021-08-27 2021-08-27 복수의 이미지 센서를 포함한 영상 획득 장치 및 이를 포함하는 전자 장치

Country Status (5)

Country Link
US (1) US20230066267A1 (ko)
EP (1) EP4142300A1 (ko)
JP (1) JP2023033168A (ko)
KR (1) KR20230031580A (ko)
CN (1) CN115734082A (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5687676B2 (ja) * 2012-10-23 2015-03-18 オリンパス株式会社 撮像装置及び画像生成方法
US10791310B2 (en) * 2018-10-02 2020-09-29 Intel Corporation Method and system of deep learning-based automatic white balancing
CN110533620B (zh) * 2019-07-19 2021-09-10 西安电子科技大学 基于aae提取空间特征的高光谱和全色图像融合方法

Also Published As

Publication number Publication date
JP2023033168A (ja) 2023-03-09
CN115734082A (zh) 2023-03-03
US20230066267A1 (en) 2023-03-02
EP4142300A1 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
KR102624107B1 (ko) 복수의 서브 픽셀들을 덮는 마이크로 렌즈를 통해 발생된 광의 경로 차에 의해 깊이 데이터를 생성하는 이미지 센서 및 그 이미지 센서를 포함하는 전자 장치
US20230246057A1 (en) Electronic device comprising image sensor for identifying an operation setting and an external environmental condition and method of operation thereof
US11558587B2 (en) Camera module comprising complementary color filter array and electronic device comprising same
EP4156675A1 (en) Image acquisition apparatus providing white balance function and electronic apparatus including the same
EP4207099A1 (en) Image acquisition apparatus and electronic apparatus including the same
US11893771B2 (en) Image acquisition apparatus, image acquisition method, and electronic device including the same
EP4152397A1 (en) Image sensor and electronic apparatus including the image sensor
KR20210087809A (ko) 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
KR20230031580A (ko) 복수의 이미지 센서를 포함한 영상 획득 장치 및 이를 포함하는 전자 장치
EP4171019A1 (en) Electronic device comprising image sensor, and method for controlling same
US11924528B2 (en) Image acquisition apparatus providing wide color gamut image and electronic apparatus including the same
US11070751B2 (en) Electronic device and image up-sampling method for electronic device
KR20230105295A (ko) 영상 획득 장치 및 이를 포함하는 전자 장치
US20230139533A1 (en) Optical sensor including nanophotonic microlens array and electronic device including the same
EP4333445A1 (en) Electronic device and control method therefor
US20230325995A1 (en) Method and apparatus for acquiring image using multispectral sensor
KR20210130972A (ko) 전자 장치의 컬러 필터, 및 그 전자 장치
KR20210151613A (ko) 이미지 처리 장치 및 이미지 처리 방법
KR20240054134A (ko) 이미지 센서의 이미지를 이용한 학습 기반 화질 개선 방법 및 이를 지원하는 전자 장치