KR20240041714A

KR20240041714A - 영상 획득 장치 및 이를 포함하는 전자 장치, 및 영상 획득 장치의 제어 방법

Info

Publication number: KR20240041714A
Application number: KR1020220121116A
Authority: KR
Inventors: 최희진
Original assignee: 삼성전자주식회사
Priority date: 2022-09-23
Filing date: 2022-09-23
Publication date: 2024-04-01
Also published as: US20240107134A1

Abstract

실시예에 따른 영상 획득 장치는 10nm 내지 1000nm의 파장 대역 기반의 적어도 4개 채널의 영상들을 획득하는 멀티스펙트럴 이미지 센서 및 4개 채널 각각의 파장별 투과도 및 파장별 양자화 효율를 기초로 4개 채널 별로 노출시간을 설정하고, 설정된 노출시간에 따라 획득된 4채 채널에 대응하는 영상신호들을 이용하여 HDR 영상을 생성하는 프로세서를 포함한다.

Description

영상 획득 장치 및 이를 포함하는 전자 장치, 및 영상 획득 장치의 제어 방법{Image acquisition apparatus and electronic apparatus including the same, and method of controling the image acquisition apparatus}

개시된 실시 예들은 영상 획득 장치 및 이를 포함하는 전자 장치, 영상 획득 장치의 제어 방법에 대한 것이다.

영상 센서는 피사체로부터 입사되는 빛을 수광하고, 수광된 빛을 광전 변환하여 전기적 신호를 생성하는 장치이다. 영상 센서는 컬러 표현을 위해, 통상, 적색광, 녹색광, 청색광을 선택적으로 투과시키는 필터 요소들의 어레이로 이루어진 컬러 필터를 사용하며, 각 필터 요소를 투과한 빛의 양을 센싱한 후, 영상 처리를 통해 피사체에 대한 컬러 영상을 형성한다.

MIS(Multispectral Imaging Sensor, 이하 MIS라 한다) 분광필터는 두 반사판사이에서 특정 빛의 파장이 일으키는 공진현상을 이용하는 Fabry-perot cavity 구조를 가진다. 이를 이용하여 특정파장대역만으로 구성된 이미지를 생성할 수 있다. 이러한 분광 채널은, 예를 들어 4×4 형태의 배열로 구성할 수 있으며, 이러한 단위필터구조가 하나의 공간정보를 나타내고, 이러한 단위필터가, 예를 들어 640×480개 존재하여, 16 채널의 다른 파장대역으로 구성된 640×480 화소의 멀티스펙트럴이미징을 가능하게 한다.

한편, 일반적으로 Fabry-perot cavity의 반사판은 파장에 따른 반사도(reflectivity)의 차이로 인해 파장별로 공진효율이 달라지고, 이는 투과도(Transmission efficiency, 이하 TE라 한다)에 영향을 미친다. 또한, CMOS 센서의 경우 파장별로 양자화효율(Quantum efficiency, 이하 QE라 한다)가 일정하지 않으며 장파장쪽으로 갈수록 낮아진다. 이 두가지 효과를 모두 고려한 QE×TE 값은 분광 채널별로 많은 차이가 나며, MIS로 이미징시 특정 파장의 채널이 다른 파장의 채널보다 쉽게 포화(saturation)되는 문제점이 발생한다.

또한, 장면(Scene) 자체의 다이내믹레인지로 인하여 하나의 노출시간으로는 장면속의 특정 피사체가 너무 어둡거나 포화될 수 있다. 이러한 경우, 노출시간이 서로 다른 여러 장의 이미지로부터 모든 피사체가 포화되지 않게 영상을 얻을 수 있는 HDR(High Dynamic Range, 이하 HDR) 이미징 방법이 있다. 하지만 이러한 기법은 여러 장의 이미지를 순차적으로 얻어야 하므로 동적 피사체에 대해서는 적용하기 어렵다.

실시 예들은 영상 획득 장치 및 이를 포함하는 전자 장치, 영상 획득 장치의 제어 방법에 대한 것이다.

실시 예에 따른 영상 획득 장치는 10nm 내지 1000nm의 파장 대역 기반의 적어도 4개 채널의 영상들을 획득하는 멀티스펙트럴 이미지 센서 및 상기 4개 채널 각각의 파장별 투과도(Transmission Efficiency) 및 파장별 양자화 효율(Quantum Efficiency)를 기초로 상기 4개 채널별로 노출시간을 설정하고, 상기 설정된 노출시간에 따라 획득된 4채 채널에 대응하는 영상신호들을 이용하여 HDR(High Dynamic Range) 영상을 생성하는 프로세서를 포함한다.

다른 실시 예에 따른 전자 장치는 상기 영상 획득 장치를 포함한다.

또 다른 실시 예에 따른 영상 획득 장치의 제어 방법은 10nm 내지 1000nm의 파장 대역 기반의 적어도 4개 채널 각각의 파장별 투과도(Transmission Efficiency) 및 파장별 양자화 효율(Quantum Efficiency)를 기초로 상기 4개 채널별로 노출시간을 설정하는 단계; 및 상기 설정된 노출시간에 따라 획득된 4채 채널에 대응하는 영상신호들을 이용하여 HDR(High Dynamic Range) 영상을 생성하는 단계를 포함한다.

실시 예에 따른 영상 획득 장치는 멀티스펙트럴 이미지 센서에서 채널별로 다른 노출시간을 적용하여 획득된 영상 신호들을 이용하여 HDR 영상을 획득할 수 있다.

또한, 정적인 피사체뿐만 아니라 동적인 피사체를 촬영하는 경우에도 안정적인 HDR 영상을 획득할 수 있다.

상술한 영상 획득 장치는 다양한 전자 장치에 채용될 수 있다.

도 1은 일 실시 예에 따른 영상 획득 장치의 개략적인 구조를 보이는 블록도들이다.
도 2는 다른 실시 예에 따른 영상 획득 장치의 개략적인 구조를 보이는 블록도이다.
도 3은 도 1에 도시된 프로세서(500)의 상세 블록도이다.
도 4는 도 1 및 도 2에 도시된 영상 획득 장치의 개략적인 구조를 보이는 개념도이고, 도 5은 도 1 및 도 2에 도시된 영상 획득 장치에 구비되는 멀티스펙트럴 이미지 센서, 이미지 센서의 회로 구성을 도시한 도면이다.
도 6은 이미지 센서에 의한 파장 스펙트럼을 도시한 도면이고, 도 7 내지 도 9는 이미지 센서의 예시적인 화소 배열들을 도시한 도면들이다.
도 10은 멀티스펙트럴 이미지 센서에 의한 파장 스펙트럼을 도시한 도면이고, 도 11 내지 도 13은 멀티스펙트럴 이미지 센서의 예시적인 화소 배열을 도시한 도면들이다.
도 14a 내지 도 14d는 멀티스펙트럴 이미지 센서에서의 파장별 투과도, 파장별 양자화 효율을 설명하기 위한 예시 도면들이다.
도 15 내지 도 18은 다양한 실시 예들에 따른 채널별 노출시간을 제어하는 것을 설명하기 위한 예시 도들이다.
도 19는 또 다른 실시 예에 따른 영상 획득 장치의 제어 방법을 설명하는 흐름 도이다.
도 20은 또 다른 실시 예에 따른 전자 장치의 개략적인 구조를 보이는 블록도이고, 도 21은 도 20의 전자 장치에 구비되는 카메라 모듈을 개략적으로 도시한 블록도이고, 도 22는 각각 다른 속성을 가진 복수의 이미지 센서를 갖는 복합 카메라 모듈의 개략적인 구조를 보이는 블록도이다.
도 23 및 도 24는 실시 예들에 따른 영상 획득 장치가 적용된 전자장치의 다양한 예시들을 보인다.

이하, 첨부된 도면을 참조하여 실시 예를 상세히 설명하기로 한다. 설명되는 실시 예는 단지 예시적인 것에 불과하며, 이러한 실시 예들로부터 다양한 변형이 가능하다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다.

이하에서, "상부" 나 "상"이라고 기재된 것은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 이러한 용어들은 구성 요소들의 물질 또는 구조가 다름을 한정하는 것이 아니다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서에 기재된 “...부”, “모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

“상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다.

방법을 구성하는 단계들은 설명된 순서대로 행하여야 한다는 명백한 언급이 없다면, 적당한 순서로 행해질 수 있다. 또한, 모든 예시적인 용어(예를 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 청구항에 의해 한정되지 않는 이상 이러한 용어로 인해 권리 범위가 한정되는 것은 아니다.

실시 예에서, HDR 또는 하이다이내믹 레인지 이미징(HDRI)은 표준 디지털 이미징 또는 사진 기술로 가능한 것보다 더 큰 동적 범위의 광도를 재현하기 위해 이미징 및 사진에 사용되는 기술이다. 인간의 눈은 광범위한 조명 조건에 적응할 수 있지만 대부분의 이미징 장치는 채널당 8비트를 사용하므로 256개의 레벨로 제한된다. 실제 장면의 사진을 찍을 때 밝은 영역은 과다 노출될 수 있지만 어두운 영역은 노출 부족될 수 있으므로 단일 노출로 모든 세부 사항을 캡처할 수는 없다. HDR 이미징은 채널당 8비트 이상(일반적으로 32비트 부동 소수점 값)을 사용하는 이미지에서 작동하므로 훨씬 더 넓은 다이나믹 레인지를 허용한다.

HDR 이미지를 얻는 방법에는 여러 가지가 있지만 가장 일반적인 방법은 다른 노출 값으로 촬영한 장면의 사진을 사용하는 것이다. 이러한 노출을 결합하려면 카메라의 응답 기능을 아는 것이 유용하며 이를 추정하는 다양한 알고리즘을 이용할 수 있다. HDR 이미지가 병합된 후에 일반적인 디스플레이에서 보려면 다시 8 비트로 변환해야 하고, 이러한 프로세스를 톤매핑이라고 한다.

실시 예에서, MSI는 패브리-페로 구조의 분광필터를 사용할 수 있다. 패브리-페로 구조는 일반적으로 두 개의 고반사율을 가지는 거울 사이에 하나의 캐비티 또는 공진층을 삽입함으로써 구성된다. 필터의 기본원리는 광섬유를 통하여 전달된 λ1, λ2, λ3, λ4, λ5,...등의 여러 파장이 필터에 입사되면, 캐비티에서 다중간섭현상을 발생시켜 특정한 파장만 투과시키고 다른 파장들은 반사시킴으로써 원하는 데이터만 선별하는 것이다. 실시 예에서, MSI는 패브리-페로 구조의 분광필터를 이용하지만, 이에 한정되지 않음은 물론이다.

도 1은 실시 예에 따른 영상 획득 장치의 개략적인 구조를 보이는 블록도이다.

도 1a를 참조하면, 영상 획득 장치는 멀티스펙트럴 이미지 센서(100) 및 프로세서(500)를 포함한다.

멀티스펙트럴 이미지 센서(100)는 10nm 내지 1000nm의 파장 대역 기반의 적어도 4개 채널의 영상들을 획득한다. 또한, 멀티스펙트럴 이미지 센서(100)는 10nm 내지 1000nm 파장 범위내에서 16개 채널의 영상들을 생성하거나, 16개 채널의 영상들을 보간하여 31개 채널의 영상들을 생성할 수도 있다. 여기서, 멀티스펙트럴 이미지 센서(100)가 획득하거나 생성할 수 있는 채널의 숫자는 4, 16, 또는 31에 한정되지 않음은 물론이다.

프로세서(500)는 멀티스펙트럴 이미지 센서(100)로부터 4개 채널 각각의 파장별 투과도 및 파장별 양자화 효율를 기초로 4개 채널별로 노출시간을 설정한다. 프로세서(500)는 설정된 노출시간에 따라 멀티스펙트럴 이미지 센서(100)의 4개의 채널의 노출시간을 제어하여, 영상신호들 획득하고, 획득된 4채 채널에 대응하는 영상신호들을 이용하여 HDR 영상을 생성한다.

여기서, 파장별 투과도는 분광필터의 파장대별 투과 비율을 의미한다. 일반적으로 패브리-페로 구조의 분광필터의 반사판은 파장에 따른 반사도(reflectivity)의 차이로 인해 파장별로 공진효율이 달라지고, 이는 투과도에 영향을 미친다. 도 14a를 참조하면, 일 실시 예에 따른 멀티스펙트럴 이미지 센서(100)의 채널별 분광필터의 투과율(TE)이 도시되어 있다.

또한, 파장별 양자화 효율은 센서의 각 픽셀 하나가 광자(photons)를 특정파장(nm)에서 전하(electrons)로 변환하는데 얼마나 효율적인지, 변환되는 비율을 의미한다. QE의 비율이 높다는 것은 빛을 감지하기 위한 감도가 더 높다는 것을 의미한다. 또한, CMOS 센서의 경우 파장별로 양자화효율이 일정하지 않으며, 장파장쪽으로 갈수록 낮아지는 경향이 있다. 도 14b를 참조하면, 일 실시 예에 따른 멀티스펙트럴 이미지 센서(100)의 파장별 양자화 효율(QE)이 도시되어 있다.

이 두가지 효과를 모두 고려한 QE×TE 값은 분광 채널별로 많은 차이가 나며, MIS센서(100)로 이미징시 특정 파장의 채널이 다른 파장의 채널보다 쉽게 포화되는 문제점이 발생한다. 도 14c를 참조하면, 파장별 또는 채널별로 투과도 및 양자화 효율을 곱한 그래프가 도시되어 있다. 여기서, QE × TE 값은 단위시간당 이미지 센서 신호의 크기를 나타낼 수 있다. 또한, QE × TE 값과 노출시간의 관계에 따라 최종적으로 이미지 센서로부터 출력되는는 신호가 결정된다.

실시 예에서는, 분광 채널별로 노출시간을 다르게 적용함으로써, 도 14c에 도시된 것처럼, 채널별로 많은 차이가 나던 것을 도 14d에 도시된 것처럼, 모든 파장별 또는 채널별로 QE×TE 값을 유사하게 만들 수 있다. 예를 들면, QE×TE 값이 큰 채널에 대해서는 짧은 노출시간을 적용하고, QE×TE 값이 작은 채널에 대해서는 긴 노출시간을 적용함으로써, 모든 채널에 대한 QE×TE 값을 등화(equalization)시킬 수 있다. 실시 예에서, 노출시간을 제어하는 것은 도 3 등을 참조하여 후술한다.

프로세서(500)는 멀티스펙트럴 이미지 센서(100)의 채널별로 노출시간을 다르게 설정할 수 있다. 프로세서(500)는 다른 노출시간에 따라 채널별로 영상신호들을 획득하고, 획득된 영상신호들을 이용하여 HDR 영상을 생성한다. 여기서, 채널별 영상신호들을 이용하여 HDR 영상을 생성하는 것은 다양한 알고리즘을 이용할 수 있다. 예를 들면, 데베백(Debevec) 알고리즘, 로버트슨(Robertson) 알고리즘, 메르텐스(Mertens) 알고리즘을 이용할 수 있다. 하지만, 실시 예에서, 채널별 영상신호들을 이용하여 HDR 영상을 생성하는 방법은 이에 한정되지 않음은 물론이다.

도 2는 다른 실시 예에 따른 영상 획득 장치의 개략적인 구조를 보이는 블록도이다.

도 2를 참조하면, 영상 획득 장치는 멀티스펙트럴 이미지 센서(100), 이미지 센서(200), 및 프로세서(500)를 포함한다. 다른 실시 예에 따른 영상 획득 장치는 복수의 이미지 센서를 이용하여 촬영되는 영상에 대해 HDR을 수행할 수 있다. 이미지 센서(200)는 제1 파장 대역의 제1 영상을 획득한다. 제 2 파장 대역은 제1 파장 대역을 포함하고 그보다 더 넓을 수 있다. 멀티스펙트럴 이미지 센서(100)는 제2 파장 대역의 제2 영상을 획득한다. 여기서, 이미지 센서(200)는 RGB 이미지 센서일 수 있다. RGB 이미지 센서는 R 채널, G 채널 및 B 채널을 가진다. MSI 센서는 RGB 센서보다 더 많은 수의 채널을 가짐으로써 더 많은 파장 대역의 빛을 센싱한다. 실시 예에서, 멀티스펙트럴 이미지 센서(100)는 10nm 내지 1000nm의 파장 대역 기반의 4개 채널 이상의 영상들을 획득할 수 있다. 또한, 멀티스펙트럴 이미지 센서(100)는 10nm 내지 1000nm 파장 범위내에서 16개 채널을 영상들을 생성하거나, 16개 채널의 영상들을 보간하여 31개 채널의 영상들을 생성할 수도 있다.

이미지 센서(200)는 일반적인 RGB 카메라에 채용되는 센서로서, 베이어 컬러 필터 어레이를 사용하는 CMOS 이미지센서일 수 있다. 이미지 센서(200)가 획득하는 제1 영상(IM1)은 적색, 녹색, 청색 기반의 RGB 영상일 수 있다.

멀티스펙트럴 이미지 센서(100)는 이미지 센서(200)보다 더 많은 종류의 파장의 광을 센싱하는 센서이다. 멀티스펙트럴 이미지 센서(100)는 예를 들어, 16개의 채널을 사용할 수 있고, 또는 31개의 채널, 또는 기타, 다른 개수의 채널을 사용할 수 있다. 각 채널의 대역폭은 R, G, B 대역보다 더 좁게 설정되며, 모든 채널의 대역폭을 합한 전체 대역폭은 RGB 대역폭, 즉, 가시광선 대역폭을 포함하며 이보다 넓을 수 있다. 예를 들어, 10nm 내지 1000nm의 대역폭을 가질 수 있다. 멀티스펙트럴 이미지 센서(100)가 획득하는 제2 영상(IM2)은 멀티스펙트럴(multispectral) 또는 초분광(hyperspectral) 영상일 수 있으며, RGB 파장 대역보다 넓은 파장 대역, 예를 들어, 가시광선 대역을 포함하며 이보다 넓은 파장 대역인 자외선 내지 적외선 파장 대역을 16개 이상의 채널로 분할한 파장 기반의 영상일 수 있다. 제2 영상(IM2)은 멀티스펙트럴 이미지 센서(100)의 가용한 모든 수의 채널을 활용하여 취득한 영상일 수 있고, 또는, 특정 채널을 선별하여 취득한 영상일 수도 있다. 제2 영상(IM2)의 공간 해상도는 제1 영상(IM1)의 공간 해상도보다 낮을 수 있으며, 다만, 이에 한정되지는 않는다.

실시 예에서, 이미지 센서(200)는 RGB 센서일 수 있다. 이때 RGB 센서는 CMOS 이미지센서일 수 있다. RGB센서는 베이어 컬러 필터 어레이(Bayer color filter array)를 사용하여 R, G, B를 나타내는 스펙트럼을 각각 센싱한 세 가지 채널의 영상을 생성할 수 있다. 또한, 다른 종류의 컬러 필터 어레이를 사용할 수 있음은 물론이다. MSI 센서는 RGB 센서와는 다른 파장의 빛을 센싱하여 나타낸다. MSI 센서는 채널의 수를 더 많이 가짐으로써 더 많은 종류의 파장의 빛을 센싱하는 것을 특징으로 한다. 특정 예에서 채널의 수는 16개의 채널을 사용할 수 있다. 다른 예에서 31개의 채널을 사용할 수 있다. 각 채널은 원하는 대역의 빛을 센싱하도록 빛이 투과하는 대역 및 투과량, 그리고 대역폭을 조정할 수 있다. 모든 채널의 대역폭을 합하여 구성되는 전체 대역폭은 기존의 RGB 센서의 대역폭을 포함하고 그보다 더 넓을 수 있다. RGB센서와 MSI센서의 센싱 스펙트럼 또는 파장 대역은 도 6및 10을 참조하여 후술한다.

도 3은 도 1에 도시된 프로세서(500)의 상세 블록도이다.

도 3을 참조하면, 프로세서(500)는 노출시간 설정부(510), 영상획득제어부(520) 및 HDR영상 생성부(530)를 포함한다. 실시 예에서, 프로세서(500)는 멀티스펙트럴 이미지 센서(100)의 채널별 서로 다른 QE × TE 값을 고려하여 최종적으로 생성되는 신호의 크기가 유사하도록 채널 별로 서로 다른 노출시간을 적용할 수 있다. 다른 실시 예에서, 프로세서(500)는 채널 별로 노출 시간은 같지만, 채널의 면적을 다르게 할 수도 있다. 또 다른 실시 예에서, 프로세서(500)는 멀티스펙트럴 이미지 센서(100)의 채널 면적과 노출 시간은 같지만, 아날로그 게인(Analog Gain)값을 달리 적용하여 ADC(Analog to Digital Conversion) 이후 신호의 값을 동일 내지 유사하게 할 수도 있다. 실시 예들에서, 프로세서(500)는 멀티스펙트럴 이미지 센서(100)를 포함하는 센서 칩에 함께 구성된 이미지 신호 프로세서(Image Signal Processor, 이하 ISP라 한다)일 수 있다.

도 3을 참조하면, 멀티스펙트럴 이미지 센서(100)는 10nm 내지 1000nm의 파장 대역 기반의 복수의 채널의 영상들을 획득한다. 여기서, 복수의 채널은 4개 이상일 수 있으나, 그 채널 수에 한정되지 않음은 물론이다.

노출시간 설정부(510)는 채널 각각의 파장별 투과도(TE) 및 파장별 양자화 효율(QE)를 기초로 채널별로 노출시간을 설정한다.

영상획득 제어부(520)는 노출시간 설정부(510)에서 설정된, 채널별 노출시간에 따라 복수의 채널에 대한 영상 신호를 획득하도록 제어한다.

도 15a를 참조하면, 멀티스펙트럴 이미지 센서(100)는 채널 1 내지 채널 16을 포함하는 16개 채널로 구성된다. 각각의 채널의 파장별 투과도와 파장별 양자화 효율을 기초로 채널 1 내지 16의 노출시간을 설정한다. 여기서, 각각의 채널에 대한 노출시간을 서로 다르게 설정할 수 있다.

도 15b를 참조하면, 각각의 채널의 노출시간과 채널의 픽셀의 활성화 상태 및 센싱 신호를 기록하는 타이밍도가 도시된다.

도 15b에 도시된 것처럼, 채널 1(Ch1) 내지 채널 16(Ch16) 각각의 노출시간, 즉 하이 상태의 길이가 서로 다르다. 여기서, 각각의 채널의 픽셀들은 하이 상태에서 활성화 상태가 된다.

프레임 트리거의 상승엣지(rising edge)에서 모든 채널의 노출이 시작되지만, 각각의 채널의 노출시간은 차이가 난다. 도시된 것처럼, 채널 1의 노출시간이 가장 짧고, 채널 16의 노출시간이 가장 길다. 리셋 신호의 상승엣지(rising edge)에서 각각의 채널에서 생성된 신호가 메모리에 기록된다.

도 16a를 참조하면, 멀티스펙트럴 이미지 센서(100)는 채널 1 내지 채널 16을 포함하는 16개 채널로 구성되고, 각각의 채널은 4개의 픽셀(a 내지 d)로 구성된다. 예를 들면 채널 1은 4개의 픽셀(1a 내지 1d), 채널 2는 4개의 픽셀(2a 내지 2d),....채널 16은 4개의 픽셀(16a 내지 16d)로 구성된다. 여기서, 각각의 채널이 4개의 픽셀, 즉 2×2 픽셀로 구성되는 것으로 설명하지만, 이에 한정되지 않고, 각각의 채널은 N×N 픽셀로 구성할 수 있으며, N은 2 이상의 자연수일 수 있다.

도 16b를 참조하면, 각각의 채널의 픽셀에 대한 노출시간을 서로 다르게 설정한다. 도시된 것처럼, 채널 1(Ch1)의 픽셀 1a 내지 1d 각각에 대한 노출시간의 길이가 다르게 설정된다. 유사하게 채널 2(Ch2) 내지 채널 16의 각각의 픽셀에 대한 노출시간의 길이도 다르게 설정된다. 리셋 신호의 상승엣지에서 각각의 채널의 픽셀들에서 생성된 신호가 메모리에 기록될 수 있다.

실시 예에서, 피사체의 밝기에 따라, 각각의 채널에서 특정 픽셀의 신호만을 추출할 수도 있다. 예를 들면, 밝은 피사체는 각각의 채널에서 가장 짧은 노출시간을 적용한 픽셀에서 신호를 추출하여 기록하고, 어두운 피사체는 각각의 채널에서 긴 노출시간을 적용한 픽셀에서 신호를 추출하여 기록할 수 있다. 도 16b를 참조하면, 밟은 피사체인 경우, 각각의 채널에서 픽셀 1(Ch1a, Ch2a, ....Ch 16a)의 신호를 추출하여 메모리에 기록할 수 있다. 어두운 피사체인 경우, 각각의 채널에서 픽셀 4(Ch1d, Ch2d....Ch16d)의 신호를 추출하여 메모리에 기록할 수 있다.

실시 예에서, 각각의 채널의 픽셀의 최대노출시간은 채널 각각의 파장별 투과도(TE)와 파장별 양자화 효율(QE)을 곱한 값을 기초로 설정될 수 있다. 예를 들면, 채널별 TE×QE 값의 최소값을 기준으로 최대노출시간을 설정할 수 있다. 여기서, TE×QE 값은 채널별 평균값, 또는 다른 기준값을 사용할 수 있음은 물론이다.

도 17a를 참조하면, 멀티스펙트럴 이미지 센서(100)는 채널 1 내지 채널 16을 포함하는 16개 채널로 구성되고, 4개의 그룹(그룹 1 내지 4)으로 그룹핑될 수 있다. 여기서, 각각의 그룹을 그룹핑하는 기준으로, 유사한 투과밴드 또는 파장밴드를 가지는 분광채널을 하나의 그룹으로 묶는 것이다. 예를 들면, 채널 1 내지 4 는 자외선 파장 대역, 채널 5 내지 8은 가시광선 파장 대역, 채널 9 내지 12는 근적외선 파장 대역 등으로 그룹핑할 수 있다. 여기서, 각각의 채널을 그룹핑하는 기준은 멀티스펙트럴 이미지 센서(100)의 분광 채널의 수, 응용 등에 따라 다양하게 그룹핑할 수 있음은 물론이다. 또한, 유사한 투과 밴드를 기준으로 4개의 채널로 그룹핑하는 것으로 설명하였지만, 이에 한정되지 않음은 물론이다.

실시 예에서, 4개의 그룹에 대해 각각 서로 다른 노출시간을 설정한다. 도 17b에 도시된 것처럼, 그룹 1(채널 1 내지 4)에 대해 가장 짧은 노출시간을 설정하고, 그룹 4(채널 13 내지 16)에 대해서 가장 긴 노출시간을 설정할 수 있다.

도 18a를 참조하면, 멀티스펙트럴 이미지 센서(100)의 각각의 채널의 크기 또는 면적을 동일하게 하지 않고, 크기 또는 면적을 다르게 구성할 수도 있다. 도 18a에 도시된 것처럼, 채널 1 내지 4의 면적, 채널 5 내지 7의 면적, 채널 8 내지 9의 면적은 서로 상이하게 설정된다.

도 18b를 참조하면, 채널 1 내지 4, 채널 5 내지 7, 채널 8 내지 9의 각각에 대한 노출시간은 동일하게 설정된다.

HDR 영상 생성부(530)는 영상획득 제어부(520)의 제어에 따라 획득된 각각의 채널별 영상 신호를 이용하여 HDR 영상을 생성한다. HDR 영상을 생성하는 것은 데베백(Debevec) 알고리즘, 로버트슨(Robertson) 알고리즘, 메르텐스(Mertens) 알고리즘을 이용할 수 있다. 하지만, 실시 예에서, 채널별 영상 신호들을 이용하여 HDR 영상을 생성하는 방법은 이에 한정되지 않음은 물론이다.

도 4는 도 1 및 도 2에 도시된 영상 획득 장치의 개략적인 구조를 보이는 개념도이고, 도 5은 도 1 및 도 2에 도시된 영상 획득 장치에 구비되는 멀티스펙트럴 이미지 센서, 이미지 센서의 회로 구성을 도시한 도면이다.

영상 획득 장치(1000)는 10nm 내지 1000nm의 제1 파장 대역 기반의 제1 영상(IM1)을 획득하는 멀티스펙트럴 이미지 센서(100), 제2 파장 대역 기반의 제2 영상(IM2)을 획득하는 이미지 센서(200) 및 제1 영상(IM1) 및 제2 영상(IM2)을 신호 처리하여, 제3 영상을 생성하는 프로세서(500)를 포함한다. 영상 획득 장치(1000)는 또한, 제1 영상(IM1)에 관한 데이터가 저장되는 제1 메모리(300)와, 제2 영상(IM2)에 관한 데이터가 저장되는 제2 메모리(310)를 더 포함할 수 있고, 영상을 출력하는 영상 출력부(700)를 더 포함할 수 있다.

영상 획득 장치(1000)는 또한, 멀티스펙트럴 이미지 센서(100)에 피사체(OBJ)의 광학 상(optical image)을 형성하는 제1 이미징 광학계(190), 이미지 센서(200)에 피사체(OBJ)의 광학 상을 형성하는 제2 이미징 광학계(290)를 포함할 수 있다. 제1 이미징 광학계(190)과 제2 이미징 광학계(290)는 각각 하나의 렌즈를 포함하는 것으로 도시되어 있으나, 이는 예시적인 것이며 이에 한정되지 않는다. 제1 이미징 광학계(190)와 제2 이미징 광학계(290)는 같은 초점 거리와 같은 화각을 가지도록 구성될 수 있다.

멀티스펙트럴 이미지 센서(100)는 제1 화소 어레이(PA1)를 포함하며, 제1 화소 어레이(PA1)는 복수의 제1 센싱 요소가 어레이된 제1 센서층(110)과, 제1 센서층(110) 상에 배치된 분광 필터(120)를 포함한다. 분광 필터(120)는 복수의 필터 그룹을 포함하며, 복수의 필터 그룹 각각은 투과 파장 대역이 다른 복수의 유닛 필터로 이루어질 수 있다. 분광 필터(120)는 컬러 필터(220)보다 넓은 파장 대역, 예를 들어, 자외선 내지 적외선 파장 범위의 파장 대역을 컬러 필터(220)보다 세분하여 필터링하도록 구성될 수 있다. 제1 화소 어레이(PA1) 상에는 제1 마이크로 렌즈 어레이(130)가 배치될 수 있다. 제1 화소 어레이(PA1)에 적용되는 화소 배열의 예시는 도 11 내지 도 13을 참조하여 후술한다.

이미지 센서(200)는 제2 화소 어레이(PA2)를 포함하며, 제2 화소 어레이(PA2)는 복수의 제2 센싱 요소가 어레이된 제2 센서층(210)과, 제2 센서층(210) 상에 배치된 컬러 필터(220)를 포함한다. 컬러 필터(220)는 교번 배열된 적색 필터들, 녹색 필터들, 청색 필터들을 포함할 수 있다. 제2 화소 어레이(PA2) 상에는 제2 마이크로 렌즈 어레이(230)가 배치될 수 있다. 제2 화소 어레이(PA2)에 적용되는 화소 배열의 다양한 예시는 도 7 내지 도 9를 참조하여 후술한다.

제1 센서층(110), 제2 센서층(210)은 CCD(charge coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 포함할 수 있으며, 이에 한정되지는 않는다.

제1 화소 어레이(PA1)와 제2 화소 어레이(PA2)는 같은 회로 기판(SU) 상에 수평적으로, 예를 들어, X 방향으로 이격되게 배치될 수 있다.

회로 기판(SU)에는 제1 센서층(110)으로부터의 신호를 처리하는 제1 회로 요소들과, 제2 센서층(210)으로부터의 신호를 처리하는 제2 회로 요소들이 구비될 수 있다. 다만, 이에 한정되지 않으며, 제1 회로 요소들과 제2 회로 요소들은 각각 별도의 기판에 구비되는 것도 가능하다.

제1 영상(IM1)과 제2 영상(IM2)에 대한 데이터가 저장되는 메모리(300)는 회로 기판(SU)과 별개로 도시되었으나, 이는 예시적이며, 회로 기판(SU) 내에, 회로 요소들과 같은 층으로, 또는 별도의 층으로 구분되어 배치될 수도 있다. 메모리(300)는 영상을 라인 단위로 저장하는 라인 메모리일 수 있고, 영상 전체를 저장하는 프레임 버퍼일수도 있다. 메모리(300)에는 SRAM(static random access memory), 또는 DRAM(dynamic random access memory)가 사용될 수 있다.

회로 기판(SU)에 영상 획득 장치(1000)에 필요한 다양한 회로 요소들이 집적 배치될 수 있다. 예를 들어, 다양한 아날로그 회로, 디지털 회로 들을 포함하는 로직 레이어가 구비될 수 있고, 데이터가 저장되는 메모리 레이어가 구비될 수 있다. 로직 레이어와 메모리 레이어는 다른 층으로 구성되거나 또는 같은 층으로 구성될 수 있다.

도 5를 참조하면, 제1 화소 어레이(PA1)에 로우 디코더(102), 출력 회로(103), 타이밍 컨트롤러(TC)(101)가 연결된다. 로우 디코더(102)는 타이밍 컨트롤러(101)로부터 출력된 로우 어드레스 신호에 응답하여 제1 화소 어레이(PA1)의 로우들 하나를 선택한다. 출력 회로(103)는 선택된 로우를 따라 배열된 복수의 화소로부터 컬럼 단위로 광감지 신호를 출력한다. 이를 위하여, 출력 회로(103)는 컬럼 디코더와 아날로그-디지털 변환기(ADC)를 포함할 수 있다. 예를 들어, 출력 회로(103)는 컬럼 디코더와 제1 화소 어레이(PA1) 사이에서 컬럼 별로 각각 배치된 복수의 ADC, 또는, 컬럼 디코더의 출력단에 배치된 하나의 ADC를 포함할 수 있다. 타이밍 컨트롤러(101), 로우 디코더(102), 및 출력 회로(103)는 하나의 칩 또는 각각 별개의 칩으로 구현될 수 있다. 출력 회로(103)를 통해 출력된 제1 영상(IM1)을 처리하기 위한 프로세서가 타이밍 컨트롤러(101), 로우 디코더(102), 및 출력 회로(103)와 함께 하나의 칩으로 구현될 수도 있다.

제2 화소 어레이(PA2)에도 로우 디코더(202), 출력 회로(203), 타이밍 컨트롤러(TC)(201)가 연결되고, 상술한 바와 유사하게, 제2 화소 어레이(PA2)로부터의 신호가 처리될 수 있다. 또한, 출력 회로(203)를 통해 출력된 제2 영상(IM2)을 처리하기 위한 프로세서가 타이밍 컨트롤러(201), 로우 디코더(202), 및 출력 회로(203)와 함께 하나의 칩으로 구현될 수도 있다.

제1 화소 어레이(PA1)와 제2 화소 어레이(PA2)는 화소 크기, 개수가 같게 도시되었으나, 이는 편의상의 예시이며 이에 한정되는 것은 아니다.

서로 다른 종류의 두 센서를 동작시킴에 있어서, 서로 다른 해상도 및 출력 속도, 그리고 영상 정합에 필요한 영역의 크기에 따라 타이밍 제어(timing control)가 필요할 수 있다. 예를 들어, 이미지 센서(200)를 기준으로 하나의 영상 열을 읽어 들일 때 그 영역에 해당하는 멀티스펙트럴 이미지 센서(100)의 영상 열은 이미 버퍼에 저장되어 있을 수도 있고 새로 읽어 들여야 할 수도 있다. 또는 이미지 센서(200), 멀티스펙트럴 이미지 센서(100)의 동작은 같은 동기(synchronization) 신호를 사용하여 동기화될 수 있다. 예를 들어, 타이밍 컨트롤러(400)가 더 구비되어, 이미지 센서(200), 멀티스펙트럴 이미지 센서(100)에 동기 신호(sync.)를 전송할 수도 있다.

도 4 및 5를 참조하여, 멀티스펙트럴 이미지 센서(100)와 이미지 센서(200)를 포함하는 이미지 획득 장치(1000)에 대해 설명하였지만, 하나의 이미지 센서(100 또는 200)를 포함하는 경우에도 유사한 구성 및 기능으로 구현할 수 있음은 물론이다.

실시 예에 따른 멀티스펙트럴 이미지 센서(100)와 프로세서(500)를 포함하는 이미지 획득 장치에 대해서도, 도 4 및 5에 도시된 이미지 센서(200)의 구성과 기능을 제외하고, 동일하게 적용할 수 있음은 물론이다.

도 6은 실시예에 따른 영상 획득 장치에 구비되는 이미지 센서에 의한 파장 스펙트럼을 보이며, 도 7 내지 도 10은 실시예에 따른 영상 획득 장치에 구비되는 이미지 센서의 예시적인 화소 배열들을 보인다.

도 6을 참조하면, 제2 화소 어레이(PA2)에 구비되는 컬러 필터(220)에는 적색(R), 녹색(G), 청색(B) 파장 대역을 필터링 하는 필터들이 베이어 패턴(Bayer pattern)으로 배열되어 있다. 즉, 하나의 단위 화소는 2×2 어레이로 배열된 서브 화소를 포함하며, 복수의 단위 화소가 2차원적으로 반복 배열된다. 단위 화소의 1행에 적색 필터, 녹색 필터가 배치되고, 2행에 녹색 필터, 청색 필터가 배치된다. 화소 배열은 베이어 패턴 외에 다른 방식으로도 가능하다.

예를 들어, 도 8을 참조하면, 마젠타(Magenta) 화소(M), 사이안(Cyan) 화소(C), 옐로우(Yellow) 화소(Y), 및 녹색 화소(G)가 하나의 단위 화소를 구성하는 CYGM 방식의 배열도 가능하다. 또한, 도 9를 참조하면, 녹색 화소(G), 적색 화소(R), 청색 화소(B), 및 백색 화소(W)가 하나의 단위 화소를 구성하는 RGBW 방식의 배열도 가능하다. 또한, 도시되지는 않았지만 단위 화소가 3×2 어레이 형태를 가질 수도 있다. 그 밖에도 제2 화소 어레이(PA2)의 화소들은 이미지 센서(200)의 색 특성에 따라 다양한 방식으로 배열될 수 있다.

도 10은 실시예에 따른 영상 획득 장치에 구비되는 멀티스펙트럴 이미지 센서에 의한 파장 스펙트럼을 보이며, 도 11 내지 도 13은 실시예에 다른 영상 획득 장치의 멀티스펙트럴 이미지 센서의 예시적인 화소 배열을 보인다.

도 11을 참조하면, 제1 화소 어레이(PA1)에 구비되는 분광 필터(120)는 2차원 형태로 배열되는 복수의 필터 그룹(121)을 포함할 수 있다. 여기서, 각 필터 그룹(121)은 4×4 어레이 형태로 배열되는 16개의 유닛 필터들(F1~F16)을 포함할 수 있다.

제1 및 제2 유닛 필터(F1, F2)는 자외선 영역의 중심 파장들(UV1, UV2)을 가질 수 있으며, 제3 내지 제5 유닛 필터(F3~F5)는 청색광 영역의 중심 파장들(B1~B3)을 가질 수 있다. 제6 내지 제11 유닛 필터(F6~F11)는 녹색광 영역의 중심 파장들(G1~G6)을 가질 수 있으며, 제12 내지 제14 유닛 필터(F12~F14)는 적색광 영역의 중심 파장들(R1~R3)을 가질 수 있다. 그리고 제15 및 제16 유닛 필터(F15, F16)는 근적외선 영역의 중심 파장들(NIR1, NIR2)을 가질 수 있다.

도 12는 분광 필터(120)에 구비되는 다른 예의 필터 그룹(122) 하나에 대한 평면도를 도시하고 있다. 도 12를 참조하면, 필터 그룹(122)은 3×3 어레이 형태로 배열되는 9개의 유닛 필터들(F1~F9)을 포함할 수 있다. 여기서, 제1 및 제2 유닛 필터(F1, F2)는 자외선 영역의 중심 파장들(UV1, UV2)을 가질 수 있으며, 제4, 제5 및 제7 유닛 필터(F4, F5, F7)는 청색광 영역의 중심 파장들(B1~B3)을 가질 수 있다. 제3 및 제6 유닛 필터(F3, F6)는 녹색광 영역의 중심 파장들(G1, G2)을 가질 수 있으며, 제8 및 제9 유닛 필터(F8, F9)는 적색광 영역의 중심 파장들(R1, R2)을 가질 수 있다.

도 13은 분광 필터(120)에 구비되는 다른 예의 필터 그룹(123) 하나에 대한 평면도를 도시하고 있다. 도 13을 참조하면, 필터 그룹(123)은 5×5 어레이 형태로 배열되는 25개의 유닛 필터들(F1~F25)을 포함할 수 있다. 여기서, 제1 내지 제3 유닛 필터(F1~F3)는 자외선 영역의 중심 파장들(UV1~UV3)을 가질 수 있으며, 제6, 제7, 제8, 제11 및 제12 유닛 필터(F6, F7, F8, F11, F12)는 청색광 영역의 중심 파장들(B1~B5)을 가질 수 있다. 제4, 제5 및 제9 유닛 필터(F4, F5, F9)는 녹색광 영역의 중심 파장들(G1~G3)을 가질 수 있으며, 제10, 제13, 제14, 제15, 제18 및 제19 유닛 필터(F10, F13, F14, F15, F18, F19)는 적색광 영역의 중심 파장들(R1~R6)을 가질 수 있다. 그리고 제20, 제23, 제24 및 제25 유닛 필터(F20, F23, F24, F25)는 근적외선 영역의 중심 파장들(NIR1~NIR4)을 가질 수 있다.

분광 필터(120)에 구비되는 상술한 유닛 필터들은 두 개의 반사판을 가지는 공진 구조를 가질 수 있으며, 공진 구조의 특성에 따라 투과되는 파장 대역이 결정될 수 있다. 반사판의 재질 및 캐비티 내 유전 물질의 재질, 캐비티 두께에 따라 투과 파장 대역이 조절될 수 있다. 이 외에도, 그레이팅을 활용한 구조, DBR(distributed bragg reflector)을 활용한 구조 등이 유닛 필터에 적용될 수 있다.

도 19는 또 다른 실시 예에 따른 영상 획득 장치의 제어 방법을 설명하는 흐름 도이다.

도 19를 참조하면, 단계 1900에서, 영상 획득 장치는 10nm 내지 1000nm의 파장 대역 기반의 적어도 4개 채널 각각의 파장별 투과도 및 파장별 양자화 효율을 기초로 4개 채널별로 노출시간을 설정한다. 여기서, 4개 채널의 영상들을 예시로 설명하지만, 이에 한정되지 않고, 4개 채널, 16개 채널, 31개 채널 등을 포함할 수 있음은 물론이다. 실시 예에서, 각각의 채널의 파장별 투과도 및 파장별 양자화 효율를 곱한 값을 기초로 채널별로 다른 노출시간을 설정할 수 있다. 여기서, 파장별 투과도 및 파장별 양자화 효율을 곱한 값은 단위시간당 출력되는 멀티스펙트럴 이미지 센서의 신호 크기일 수 있다. 또한, 노출시간의 최대값은 파장별 투과도 및 파장별 양자화 효율을 곱한 값을 기초로 설정할 수 있다. 실시 예에서, 파장별 투과도 및 파장별 양자화 효율을 곱한 값이 제1 임계값이상인 채널의 경우, 해당 채널에 제1 노출 시간을 설정하고, 파장별 투과도 및 파장별 양자화 효율을 곱한 값이 제1 임계값보다 작은 채널의 경우, 해당 채널에 제1 노출 시간보다 긴 제2 노출 시간을 설정할 수 있다. 여기서, 제1 임계값은 임의로 설정할 수 있는 값이다. 또한, 하나의 임계값을 기준으로 노출시간을 다르게 설정하는 것으로 설명하였지만, 복수의 임계값을 기준으로 노출시간을 다르게 설정할 수도 있음은 물론이다.

또한, 각각의 채널은 N×N 개의 픽셀을 포함할 수 있으며, 각각의 픽셀별로 노출시간을 설정할 수도 있다. 여기서, N은 2 이상의 자연수일 수 있다. 또한, 각각의 픽셀별로 노출시간을 다르게 설정할 수 있도 있다. 또한, 피사체의 밝기가 제1 임계값이상인 경우, N×N의 픽셀 중 가장 짧은 노출 시간을 설정한 픽셀로부터 획득된 영상 신호를 추출하거나, 피사체의 밝기가 제1 임계값보다 작은 경우, N×N의 픽셀 중 가장 긴 노출 시간을 설정한 픽셀로부터 획득된 영상 신호를 추출할 수 있다. 여기서, 피사체의 밝기는 영상획득장치에서 획득된 밝기 히스토그램, 또는 조도 센서 등으로 미리 측정할 수 있다. 또한, 제1 임계값은 임의로 설정할 수 있는 값으로, 멀티스펙트럴 이미지 센서의 구조와 응용에 따라 미리 결정할 수 있다.

단계 1902에서, 단계 1900에서 설정된 노출시간에 따라 획득된 4채 채널에 대응하는 영상신호들을 이용하여 HDR 영상을 생성한다. 여기서, 채널별 영상신호들을 이용하여 HDR 영상을 생성하는 것은 다양한 알고리즘을 이용할 수 있다. 예를 들면, 데베백(Debevec) 알고리즘, 로버트슨(Robertson) 알고리즘, 메르텐스(Mertens) 알고리즘 등을 이용할 수 있다. 또한, 채널별 영상신호은 각각의 채널을 구성하는 픽셀 또는 픽셀들로부터 획득된 신호이거나, 채널의 구성하는 복수의 픽셀들 중 어느 하나의 픽셀로부터 추출된 신호일 수 있다.

실시 예에 따른 영상 획득 장치의 제어 방법은 멀티스펙트럴 이미지 센서에서 채널별로 또는 각각의 채널을 구성하는 픽셀별로 다른 노출시간을 적용하여 획득된 영상 신호들을 이용하여 HDR 영상을 획득할 수 있다. 또한, 정적인 피사체뿐만 아니라 동적인 피사체를 촬영하는 경우에도 안정적인 HDR 영상을 획득할 수 있다.

상술한 분광 필터를 포함하는 이미지센서(1000)는 다양한 고성능 광학 장치 또는 고성능 전자 장치에 채용될 수 있다. 이러한 전자 장치는, 예컨대, 스마트 폰(smart phone), 휴대폰, 핸드폰, PDA(personal digital assistant), 랩톱(laptop), PC, 다양한 휴대용 기기, 가전 제품, 보안 카메라, 의료용 카메라, 자동차, 사물인터넷(IoT;Internet of Things) 기기, 기타 모바일 또는 비모바일 컴퓨팅 장치 일 수 있고, 이에 제한되지 않는다.

전자 장치는 이미지센서(1000) 외에도, 이미지센서를 제어하는 프로세서, 예를 들면, 어플리케이션 프로세서(AP: Application Processor)를 더 포함할 수 있으며, 프로세서를 통해 운영 체제 또는 응용 프로그램을 구동하여 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서는 GPU (Graphic Processing Unit) 및/또는 이미지 신호 프로세서(Image Signal Processor)를 더 포함할 수 있다. 프로세서에 이미지 신호 프로세서가 포함되는 경우, 이미지센서에 의해 획득된 이미지(또는 영상)를 프로세서를 이용하여 저장 및/또는 출력할 수 있다.

도 20은 이미지센서(1000)를 포함하는 전자 장치(ED01)의 일 예를 나타내는 블럭도이다. 도 20을 참조하면, 네트워크 환경(ED00)에서 전자 장치(ED01)는 다른 전자 장치(ED02)와 통신하거나, 또는 서버(ED08)와 통신할 수 있다. 전자 장치(ED01)는 프로세서(ED20), 메모리(ED30), 입력 장치(ED50), 음향 출력 장치(ED55), 표시 장치(ED60), 오디오 모듈(ED70), 센서 모듈(ED76), 인터페이스(ED77), 햅틱 모듈(ED79), 카메라 모듈(ED80), 전력 관리 모듈(ED88), 배터리(ED89), 통신 모듈(ED90), 가입자 식별 모듈(ED96), 및/또는 안테나 모듈(ED97)을 포함할 수 있다. 전자 장치(ED01)에는, 이 구성요소들 중 일부(표시 장치(ED60) 등)가 생략되거나, 다른 구성요소가 추가될 수 있다. 이 구성요소들 중 일부는 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(ED76)(지문 센서, 홍채 센서, 조도 센서 등)은 표시 장치(ED60)(디스플레이 등)에 임베디드되어 구현될 수 있다. 또한, 이미지센서(1000)에 분광 기능이 포함될 경우, 센서 모듈의 일부 기능(컬러 센서, 조도 센서)이 별도의 센서 모듈이 아닌 이미지센서(1000) 자체에서 구현될 수 있다.

프로세서(ED20)는, 소프트웨어(프로그램(ED40) 등)를 실행하여 프로세서(ED20)에 연결된 전자 장치(ED01) 중 하나 또는 복수개의 다른 구성요소들(하드웨어, 소프트웨어 구성요소 등)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 데이터 처리 또는 연산의 일부로, 프로세서(ED20)는 다른 구성요소(센서 모듈(ED76), 통신 모듈(ED90) 등)로부터 수신된 명령 및/또는 데이터를 휘발성 메모리(ED32)에 로드하고, 휘발성 메모리(ED32)에 저장된 명령 및/또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(ED34)에 저장할 수 있다.

메모리(ED30)는, 전자 장치(ED01)의 구성요소(프로세서(ED20), 센서모듈(ED76) 등)가 필요로 하는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(프로그램(ED40) 등) 및, 이와 관련된 명령에 대한 입력 데이터 및/또는 출력 데이터를 포함할 수 있다. 메모리(ED30)는, 휘발성 메모리(ED32) 및/또는 비휘발성 메모리(ED34)를 포함할 수 있다. 비휘발성 메모리(ED32)는 전자 장치(ED01) 내에 고정 장착된 내장 메모리(ED36)과 탈착 가능한 외장 메모리(ED38)를 포함할 수 있다.

프로그램(ED40)은 메모리(ED30)에 소프트웨어로 저장될 수 있으며, 운영 체제(ED42), 미들 웨어(ED44) 및/또는 어플리케이션(ED46)을 포함할 수 있다. 카메라 모듈(ED80)은 정지 영상 및 동영상을 촬영할 수 있다. 카메라 모듈(ED80)은 하나 또는 복수의 렌즈들을 포함하는 렌즈 어셈블리, 도 1의 이미지센서(1000), 이미지 시그널 프로세서들, 및/또는 플래시들을 포함할 수 있다. 카메라 모듈(ED80)에 포함된 렌즈 어셈블리는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다.

도 21은 도 20의 카메라 모듈(ED80)을 예시하는 블럭도이다. 도 20을 참조하면, 카메라 모듈(ED80)은 렌즈 어셈블리(CM10), 플래시(CM20), 이미지센서(1000), 이미지 스태빌라이저(CM40), 메모리(CM50)(버퍼 메모리 등), 및/또는 이미지 시그널 프로세서(CM60)를 포함할 수 있다. 렌즈 어셈블리(CM10)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 카메라 모듈(ED80)은 복수의 렌즈 어셈블리(CM10)들을 포함할 수도 있으며, 이런 경우, 카메라 모듈(ED80)은, 듀얼 또는 멀티 카메라, 360도 카메라, 또는 구형 카메라(Spherical Camera)가 될 수 있다. 복수의 렌즈 어셈블리(CM10)들 중 일부는 동일한 렌즈 속성(화각, 초점 거리, 자동 초점, F 넘버(F Number), 광학 줌 등)을 갖거나, 또는 다른 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(CM10)는, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다. 듀얼 또는 멀티 카메라 모듈에서 필터 어레이의 속성이 상이한 조합을 가질 수 있다.

플래시(CM20)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 플래시(CM20)는 하나 또는 복수의 발광 다이오드들(RGB(Red-Green-Blue) LED, White LED, Infrared LED, Ultraviolet LED 등), 및/또는 Xenon Lamp를 포함할 수 있다. 이미지센서(1000)는 도 1에서 설명한 이미지센서일 수 있으며, 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(CM10)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 피사체에 대응하는 이미지를 획득할 수 있다. 이미지센서(1000)는, RGB 센서, BW(Black and White) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지센서들 중 선택된 하나 또는 복수의 센서들을 포함할 수 있다. 이미지센서(1000)에 포함된 각각의 센서들은, CCD(Charged Coupled Device) 센서 및/또는 CMOS(Complementary Metal Oxide Semiconductor) 센서로 구현될 수 있다.

이미지 스태빌라이저(CM40)는 카메라 모듈(ED80) 또는 이를 포함하는 전자 장치(CM01)의 움직임에 반응하여, 렌즈 어셈블리(CM10)에 포함된 하나 또는 복수개의 렌즈 또는 이미지센서(1000)를 특정한 방향으로 움직이거나 이미지센서(1000)의 동작 특성을 제어(리드 아웃(Read-Out) 타이밍의 조정 등)하여 움직임에 의한 부정적인 영향이 보상되도록 할 수 있다. 이미지 스태빌라이저(CM40)는 카메라 모듈(ED80)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(ED80) 또는 전자 장치(ED01)의 움직임을 감지할 수 있다. 이미지 스태빌라이저(CM40)는, 광학식으로 구현될 수도 있다.

메모리(CM50)는 이미지센서(1000)를 통하여 획득된 이미지의 일부 또는 전체 데이터가 다음 이미지 처리 작업을 위하여 저장할 수 있다. 예를 들어, 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 데이터(Bayer-Patterned 데이터, 고해상도 데이터 등)는 메모리(CM50)에 저장하고, 저해상도 이미지만을 디스플레이 해준 후, 선택된(사용자 선택 등) 이미지의 원본 데이터가 이미지 시그널 프로세서(CM60)로 전달되도록 하는데 사용될 수 있다. 메모리(CM50)는 전자 장치(ED01)의 메모리(ED30)로 통합되어 있거나, 또는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.

이미지 시그널 프로세서(CM60)는 이미지센서(1000)을 통하여 획득된 이미지 또는 메모리(CM50)에 저장된 이미지 데이터에 대하여 이미지 처리들을 수행할 수 있다. 이미지 처리들은, 깊이 지도(Depth Map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 및/또는 이미지 보상(노이즈 감소, 해상도 조정, 밝기 조정, 블러링(Blurring), 샤프닝(Sharpening), 소프트닝(Softening) 등)을 포함할 수 있다. 이미지 시그널 프로세서(CM60)는 카메라 모듈(ED80)에 포함된 구성 요소들(이미지센서(1000) 등)에 대한 제어(노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(CM60)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(CM50)에 다시 저장 되거나 카메라 모듈(ED80)의 외부 구성 요소(메모리(ED30), 표시 장치(ED60), 전자 장치(ED02), 전자 장치(ED04), 서버(ED08) 등)로 제공될 수 있다. 이미지 시그널 프로세서(CM60)는 프로세서(ED20)에 통합되거나, 프로세서(ED20)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(CM60)가 프로세서(ED20)와 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(CM60)에 의해 처리된 이미지는 프로세서(ED20)에 의하여 추가의 이미지 처리를 거친 후 표시 장치(ED60)를 통해 표시될 수 있다.

전자 장치(ED01)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(ED80)들을 포함할 수 있다. 이런 경우, 복수의 카메라 모듈(ED80)들 중 하나는 광각 카메라이고, 다른 하나는 망원 카메라일 수 있다. 유사하게, 복수의 카메라 모듈(ED80)들 중 하나는 전면 카메라이고, 다른 하나는 후면 카메라일 수 있다. 또한, 카메라 모듈(ED 80)은 종래의 RGB 3색 필터를 갖는 이미지 센서와 분광 필터로 구성된 분광 이미지 센서가 조합되고 조합된 두개의 이미지 센서들의 데이터를 통합 처리하는 조합형 카메라 모듈일 수 있다.

도 22는 각각 다른 속성을 가진 복수의 이미지 센서를 갖는 복합 카메라 모듈의 개략적인 구조를 보이는 블록도이다. 여기서, 제1 이미지 센서(100)은 종래의 RGB 이미지 센서이고, 제2 이미지 센서(200)는 멀티 스펙트럼 이미지(MSI; Multispectral image) 센서일 수 있다.

이때 RGB 이미지 센서는 CMOS 이미지 센서일 수 있다. RGB 센서는 베이어 컬러 필터 어레이(Bayer color filter array)를 사용하여 R, G, B를 나타내는 스펙트럼을 각각 센싱한 세가지 채널의 영상을 생성할 수 있다. 또한, 다른 종류의 컬러 필터 어레이를 사용할 수 있음은 물론이다. MSI 센서는 RGB 이미지 센서와는 다른 파장의 빛을 센싱하여 나타낸다. MSI 센서는 채널의 수를 더 많이 가짐으로써 더 많은 종류의 파장의 빛을 센싱하는 것을 특징으로 한다.

프로세서(500)는 각 이미지 센서(100, 200)로부터 획득된 영상 정보를 처리하여 원하는 방식으로 데이터를 조합하여 이미지의 화질을 개선하거나 이미지의 대상체를 식별하는 성능을 향상시킬 수 있다.

실시예들에 따른 이미지센서(1000)는 도 23(a)에 도시된 모바일폰 또는 스마트폰(5100m), 도 23(b)에 도시된 태블릿 또는 스마트 태블릿(5200), 도 23(c)에 도시된 디지털 카메라 또는 캠코더(5300), 도 23(d)에 도시된 노트북 컴퓨터(5400)에 또는 도 23(e)에 도시된 텔레비전 또는 스마트 텔레비전(5500) 등에 적용될 수 있다. 예를 들어, 스마트폰(5100m) 또는 스마트 태블릿(5200)은 고해상 이미지센서가 각각 탑재된 복수의 고해상 카메라를 포함할 수 있다. 고해상 카메라들을 이용하여 영상 내 피사체들의 깊이 정보를 추출하거나, 영상의 아웃포커싱을 조절하거나, 영상 내 피사체들을 자동으로 식별할 수 있다.

또한, 이미지센서(1000)는 도 24(a)에 도시된 스마트 냉장고(5600), 도 24(b)에 도시된 보안 카메라(5700), 도 24(c)에 도시된 로봇(5800), 도 24(d)에 도시된 의료용 카메라(5900) 등에 적용될 수 있다. 예를 들어, 스마트 냉장고(5600)는 이미지센서를 이용하여 냉장고 내에 있는 음식을 자동으로 인식하고, 특정 음식의 존재 여부, 입고 또는 출고된 음식의 종류 등을 스마트폰을 통해 사용자에게 알려줄 수 있다. 보안 카메라(5700)는 초고해상도 영상을 제공할 수 있으며 높은 감도를 이용하여 어두운 환경에서도 영상 내의 사물 또는 사람을 인식 가능하게 할 수 있다. 로봇(5800)은 사람이 직접 접근할 수 없는 재해 또는 산업 현장에서 투입되어 고해상도 영상을 제공할 수 있다. 의료용 카메라(5900)는 진단 또는 수술을 위한 고해상도 영상을 제공할 수 있으며 시야를 동적으로 조절할 수 있다.

또한, 이미지센서(1000)는 도 24(e)에 도시된 바와 같이 차량(6000)에 적용될 수 있다. 차량(6000)은 다양한 위치에 배치된 복수의 차량용 카메라(6010, 6020, 6030, 6040)를 포함할 수 있으며. 각각의 차량용 카메라(6010, 6020, 6030, 6040)는 실시예에 따른 이미지센서를 포함할 수 있다. 차량(6000)은 복수의 차량용 카메라(6010, 6020, 6030, 6040)를 이용하여 차량(6000) 내부 또는 주변에 대한 다양한 정보를 운전자에게 제공할 수 있으며, 영상 내의 사물 또는 사람을 자동으로 인식하여 자율 주행에 필요한 정보를 제공할 수 있다.

상술한 분광 필터를 구비하는 이미지센서 및 이를 포함하는 전자 장치가 비록 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 권리범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 권리범위에 포함된 것으로 해석되어야 할 것이다.

1000: 영상 획득 장치
100: 멀티스펙트럴 이미지 센서
500: 프로세서

Claims

10nm 내지 1000nm의 파장 대역 기반의 적어도 4개 채널의 영상들을 획득하는 멀티스펙트럴 이미지 센서; 및
상기 4개 채널 각각의 파장별 투과도(Transmission Efficiency) 및 파장별 양자화 효율(Quantum Efficiency)를 기초로 상기 4개 채널별로 노출시간을 설정하고, 상기 설정된 노출시간에 따라 획득된 4채 채널에 대응하는 영상신호들을 이용하여 HDR(High Dynamic Range) 영상을 생성하는 프로세서를 포함하는, 영상 획득 장치.

제 1 항에 있어서,
상기 프로세서는,
상기 파장별 투과도 및 파장별 양자화 효율를 곱한 값을 기초로 상기 4개 채널별로 다른 노출시간을 설정하는, 영상 획득 장치.

제 1 항에 있어서,
상기 4개의 채널 각각은 N×N(N은 2 이상의 자연수)의 픽셀을 포함하고,
상기 프로세서는,
상기 N×N의 픽셀별로 노출시간을 다르게 설정하는, 영상 획득 장치.

제 3 항에 있어서,
상기 프로세서는,
피사체의 밝기가 제1 임계값이상인 경우, 상기 N×N의 픽셀 중 가장 짧은 노출 시간을 설정한 픽셀로부터 획득된 영상 신호를 추출하는, 영상 획득 장치.

제 3 항에 있어서,
상기 프로세서는,
피사체의 밝기가 제1 임계값보다 작은 경우, 상기 N×N의 픽셀 중 가장 긴 노출 시간을 설정한 픽셀로부터 획득된 영상 신호를 추출하는, 영상 획득 장치.

제 1 항에 있어서,
상기 노출시간의 최대값은 파장별 투과도 및 파장별 양자화 효율을 곱한 값을 기초로 설정되는, 영상 획득 장치.

제 1 항에 있어서,
상기 파장별 투과도 및 파장별 양자화 효율을 곱한 값은 단위시간당 출력되는 상기 멀티스펙트럴 이미지 센서의 신호 크기인, 영상 획득 장치.

제 7 항에 있어서,
상기 프로세서는,
상기 파장별 투과도 및 파장별 양자화 효율을 곱한 값이 제1 임계값이상인 채널의 경우, 해당 채널에 제1 노출 시간을 설정하고,
상기 파장별 투과도 및 파장별 양자화 효율을 곱한 값이 상기 제1 임계값보다 작은 채널의 경우, 해당 채널에 상기 제1 노출 시간보다 긴 제2 노출 시간을 설정하는, 영상 획득 장치.

제 1 항에 있어서,
상기 프로세서는,
상기 적어도 4개 채널 중 유사한 파장 대역을 갖는 채널들을 그룹화하고, 그룹화된 채널별로 다른 노출시간을 설정하는, 영상 획득 장치.

제 1 항에 있어서,
상기 멀티스펙트럴 이미지 센서의 적어도 4개의 채널 각각의 면적은 서로 상이한, 영상 획득 장치.

제 1 항에 있어서,
상기 프로세서는,
상기 적어도 4개의 채널 각각의 아날로그 게인값을 서로 다르게 설정하는, 영상 획득 장치.

제 1 항 내지 제 11 항 중 어느 하나의 영상 획득 장치를 포함하는 전자 장치.

10nm 내지 1000nm의 파장 대역 기반의 적어도 4개 채널의 각각의 파장별 투과도(Transmission Efficiency) 및 파장별 양자화 효율(Quantum Efficiency)를 기초로 상기 4개 채널별로 노출시간을 설정하는 단계; 및
상기 설정된 노출시간에 따라 획득된 4채 채널에 대응하는 영상신호들을 이용하여 HDR(High Dynamic Range) 영상을 생성하는 단계를 포함하는 영상 획득 장치의 제어 방법.

제 13 항에 있어서,
상기 설정하는 단계는,
상기 파장별 투과도 및 파장별 양자화 효율를 곱한 값을 기초로 상기 적어도 4개 채널별로 다른 노출시간을 설정하는, 영상 획득 장치의 제어 방법.

제 13 항에 있어서,
상기 4개의 채널 각각은 N×N(N은 2 이상의 자연수)의 픽셀을 포함하고,
상기 설정하는 단계는,
상기 N×N의 픽셀별로 노출시간을 다르게 설정하는, 영상 획득 장치의 제어 방법.

제 15 항에 있어서,
상기 생성하는 단계는,
피사체의 밝기가 제1 임계값이상인 경우, 상기 N×N의 픽셀 중 가장 짧은 노출 시간을 설정한 픽셀로부터 획득된 영상 신호를 추출하는 단계를 더 포함하는, 영상 획득 장치의 제어 방법.

제 15 항에 있어서,
상기 생성하는 단계는,
피사체의 밝기가 제1 임계값보다 작은 경우, 상기 N×N의 픽셀 중 가장 긴 노출 시간을 설정한 픽셀로부터 획득된 영상 신호를 추출하는 단계를 더 포함하는, 영상 획득 장치의 제어 방법.

제 13 항에 있어서,
상기 노출시간의 최대값은 파장별 투과도 및 파장별 양자화 효율을 곱한 값을 기초로 설정되는, 영상 획득 장치의 제어 방법.

제 13 항에 있어서,
상기 파장별 투과도 및 파장별 양자화 효율을 곱한 값은 단위시간당 출력되는 상기 멀티스펙트럴 이미지 센서의 신호 크기인, 영상 획득 장치의 제어 방법.

제 19 항에 있어서,
상기 설정하는 단계는,
상기 파장별 투과도 및 파장별 양자화 효율을 곱한 값이 제1 임계값이상인 채널의 경우, 해당 채널에 제1 노출 시간을 설정하고,
상기 파장별 투과도 및 파장별 양자화 효율을 곱한 값이 상기 제1 임계값보다 작은 채널의 경우, 해당 채널에 상기 제1 노출 시간보다 긴 제2 노출 시간을 설정하는, 영상 획득 장치의 제어 방법.