KR20230116909A

KR20230116909A - 희소 컬러 이미지 센서 시스템

Info

Publication number: KR20230116909A
Application number: KR1020237022691A
Authority: KR
Inventors: 스튜어트 제임스 마이런 니콜슨; 스티븐 벤자민 골드버그; 티모시 폴 보디야
Original assignee: 구글 엘엘씨
Priority date: 2021-01-21
Filing date: 2021-01-21
Publication date: 2023-08-04
Also published as: US20240073547A1; CN116601966A; WO2022159088A1; EP4281927A1; JP2024506248A

Abstract

소수의 파장-필터링 화상(picture) 요소와 나머지 대다수의 팬크로매틱(전정색) 화상 요소를 포함하는 희소 컬러 필터 어레이를 통해 캡처된 다수의 컴포넌트이미지 프레임에 존재하는 색채적으로 언더샘플링되고 시프트된 정보를 계산적으로 결합함으로써 컬러 이미지를 생성하기 위한 시스템 및 기술이 설명된다. 버스트 캡처는 복수의 서브유닛을 포함하는 컬러 필터 어레이를 통해 다수의 이미지 프레임에 대해 시작되며, 각각의 서브유닛은 소수의 하나 이상의 파장-필터링된 인접 픽셀과 대다수의 나머지 팬크로매틱 픽셀을 포함한다. 다수의 이미지 프레임 각각은 처리되어 결과 컬러 이미지를 생성한다.

Description

희소 컬러 이미지 센서 시스템

색채 정보를 캡처하고 컬러 이미지 생성을 활성화하기 위해, 모바일 및 기타 이미징(촬상) 시스템에 있는 전자 이미지 센서는 일반적으로 베이어(Bayer) 컬러 필터 어레이(CFA)와 같은 CFA를 포함하며, CFA에는 전자 이미지 센서의 개별 픽셀 위에 반복 패턴으로 배치되거나 형성된 별도의 파장별 필터가 포함되어 있다. 그러나, 이러한 색채 정보의 캡처는 이러한 파장별 필터를 통해 수신되는 광량이 크게 감소하기 때문에 광학 효율성에 상당한 비용이 소요된다. 이러한 단점은 저조도 조건에서 악화되어 노이즈 증가, 에일리어싱 증가, 공간 해상도 감소, 및 광학적 비효율을 보상하기 위해 사용될 수 있는 후처리 기술을 포함하여 기타 이미지 선명도 및 품질 저하를 초래할 수 있다.

일 예에서, 방법은 복수의 서브유닛을 포함하는 컬러 필터 어레이(CFA)를 통해 다수의 이미지 프레임의 버스트 캡처를 시작하는 단계와, 각각의 서브유닛은 하나 이상의 파장-필터링된 소수의 인접 픽셀 및 대다수의 나머지 팬크로매틱(panchromatic, 전정색) 픽셀을 포함하고; 시작에 응답하여, 다수의 이미지 프레임을 수신하는 단계와; 다수의 이미지 프레임 각각을 처리하는 단계와; 그리고 처리에 기초하여 이미지를 생성하는 단계를 포함한다.

따라서, 제안된 방법은 서브유닛을 갖는 CFA를 사용하는 단계를 포함할 수 있으며, 각 서브유닛은 결정된 범위의 파장의 광을 샘플링하기 위해 대다수의 팬크로매틱 픽셀 및 하나 이상의 인접 픽셀을 포함하고, 각 서브유닛의 대다수의 픽셀은 팬크로매틱 픽셀이다. 팬크로매틱 픽셀은 캡처된 이미지 프레임에 대한 휘도 정보를 제공하는 반면, 결정된 파장 범위의 광을 샘플링하기 위해, 예를 들어 적색, 녹색 또는 청색 광을 샘플링하기 위해 파장-필터링된 픽셀이 제공된다. 예시적인 실시예에서, 따라서 제공된 소수의 파장-필터링된 픽셀은 처리될 색채 데이터를 언더샘플링하기 위해 파장에 따라 필터링될 수 있는 반면, CFA의 대부분의 팬크로매틱 픽셀은 휘도 데이터를 제공하지만 컬러 정보는 제공하지 않는다. 따라서 버스트 캡처에서 캡처된 각각의 (컴포넌트) 이미지 프레임에 대한 소수의 파장-필터링된 픽셀로부터의 색채 데이터 및 대다수의 팬크로매틱 픽셀로부터의 휘도 데이터는 단일(완전한) 컬러 이미지를 생성하기 위해 처리될 수 있다.

서브 유닛의 픽셀에서 소수를 구성하는 하나 이상의 파장-필터링된 픽셀이 본 문맥에서 인접한다는 것은 특히 파장별로 필터링된 둘 이상의 픽셀이 공간적으로 배열되어 파장-필터링되지 않은 서브그룹의 픽셀이 서브그룹의 2개 이상의 파장-필터링된 픽셀 사이에 위치하지 않도록 하는 것을 포함한다. 본 명세서에서 단일 "인접한" 픽셀을 갖는 서브유닛에 대한 언급은 그 언급된 서브유닛이 단일 파장-필터링된 픽셀만을 포함하고 서브유닛의 나머지 픽셀은 팬크로매틱임을 나타낸다.

각 서브 유닛의 하나 이상의 파장-필터링된 인접 픽셀은 하나의 적색 파장-필터링된 픽셀, 하나의 청색 파장-필터링된 픽셀, 및 하나 이상의 녹색 파장-필터링된 픽셀의 클러스터를 포함할 수 있다.

각 서브 유닛의 하나 이상의 파장-필터링된 인접 픽셀은 단일 파장-필터링된 픽셀로 구성될 수 있다.

복수의 서브유닛의 각 서브유닛에 대한 하나 이상의 파장-필터링된 인접 픽셀은 복수의 서브유닛의 이웃하는 서브유닛 각각에 대한 하나 이상의 파장-필터링된 인접 픽셀로부터 적어도 2개의 팬크로매틱 픽셀에 의해 분리될 수 있다.

다수의 이미지 프레임 각각을 처리하는 단계는 다수의 이미지 프레임의 개별 이미지 프레임 사이의 하나 이상의 공간 오프셋을 보상하기 위해 다수의 이미지 프레임의 서브유닛을 정렬하는 단계를 포함할 수 있다. 개별 이미지 프레임 사이의 공간적 오프셋은 예를 들어 이미지 센서 및 이미지 센서에 결합된 CFA를 포함하는 디바이스의 비자발적 움직임으로 인해 발생할 수 있으, 이에 따라 버스트에서 캡처된 연속적인 이미지 프레임에 묘사된 적어도 하나의 객체가 공간적으로 오프셋된다.

복수의 서브유닛의 각 서브유닛은 1:5 미만인 파장-필터링된 픽셀 대 CFA의 전체 픽셀의 비율을 포함할 수 있다.

복수의 서브유닛의 각 서브유닛은 20% 미만의 컬러 샘플링 비율과 연관될 수 있다.

다른 예에서, 이미징 시스템은 이미지 센서와; 각각 하나 이상의 파장-필터링된 소수의 인접 픽셀과 대다수의 나머지 팬크로매틱 픽셀을 포함하는 복수의 서브유닛을 포함하는 컬러 필터 어레이(CFA)와; CFA에 결합된 이미지 센서와; 그리고 프로세서가 CFA 및 이미지 센서를 통해 다수의 이미지 프레임의 버스트 캡처를 개시하고 다수의 이미지 프레임 각각을 처리함으로써 컬러 이미지를 생성할 수 있도록 이미지 센서에 결합된 프로세서를 포함한다.

각 서브 유닛의 하나 이상의 파장-필터링된 인접 픽셀은 제1 파장에 따라 필터링된 적어도 하나의 제1 픽셀 및 다른 제2 파장에 따라 필터링된 적어도 하나의 제2 픽셀의 클러스터를 포함할 수 있다. 예를 들어, 각 서브유닛의 하나 이상의 파장-필터링된 인접 픽셀은 적색에 대해 제1 파장에 따라 필터링된 적어도 하나의 제1 픽셀 및 청색 또는 녹색에 대해 다른 파장에 따라 필터링된 적어도 하나의 제2 픽셀의 클러스터를 포함할 수 있다. 예시적인 실시예에서, 각 서브 유닛은 하나의 적색 파장-필터링된 픽셀, 하나의 청색 파장-필터링된 픽셀 및 하나 이상의 녹색 파장-필터링된 픽셀의 클러스터를 포함한다.

다수의 이미지 프레임 각각을 처리하는 것은 다수의 이미지 프레임의 대응하는 복수의 서브유닛을 정렬함으로써 다수의 이미지 프레임의 개별 이미지 프레임 사이의 하나 이상의 공간 오프셋을 보상하는 것을 포함할 수 있다.

복수의 서브유닛의 각각의 서브유닛은 전체 픽셀에 대한 파장-필터링된 픽셀의 비율이 1:5 미만일 수 있다.

다른 예에서, 컴퓨팅 디바이스는 이미지 센서와; 각각 하나 이상의 파장-필터링된 소수의 인접 픽셀과 대다수의 나머지 팬크로매틱 픽셀을 포함하는 복수의 서브유닛을 포함하는 컬러 필터 어레이(CFA)와; CFA에 결합된 이미지 센서와; CFA를 통해 이미지 센서에 광을 비추는 하나 이상의 렌즈와; 그리고 하나 이상의 프로세서가 CFA 및 이미지 센서를 통해 다수의 이미지 프레임의 버스트 캡처를 개시하고 다수의 이미지 프레임 각각을 처리함으로써 컬러 이미지를 생성할 수 있도록 이미지 센서에 결합된 하나 이상의 프로세서를 포함한다.

컬러 이미지를 생성하는 것은 다수의 이미지 프레임의 서브유닛을 공간적으로 정렬함으로써 다수의 이미지 프레임의 개별 이미지 프레임 사이의 하나 이상의 공간 오프셋을 보상하는 것을 포함할 수 있다.

복수의 서브유닛의 각각의 서브유닛은 20% 미만의 컬러 샘플링 비율을 제공할 수 있다.

컴퓨팅 디바이스는 HWD(head-wearable display)를 더 포함할 수 있다.

핸드헬드형 또는 사용자 머리에 장착된 카메라와 같은 비-고정형 이미징 시스템은 일반적으로 연속적인 이미지 캡처 사이의 "프리 모션(free motion)"에 참여한다. 본 명세서에 기술된 기술은 ("희소") 컬러 필터 어레이(CFA)를 통해 이러한 연속 이미지의 캡처된 버스트를 활용하여, 이미지 캡처 디바이스를 들고 있거나 착용하고 있을 수 있는 사용자의 비자발적 움직임으로 인해 발생하는 것과 같은 작은 공간 오프셋을 가진 비정렬된(unaligned) 이미지 프레임에 걸쳐 색채 정보를 언더샘플링함으로써 완전한 RGB 이미지를 생성한다. 특정 실시예에서, 이러한 공간적 오프셋 및 희소하게 샘플링된 색채 정보를 갖는 다수의 이미지 프레임의 버스트를 캡처한 후, 그 캡처된 이미지 프레임은 "시간적 중첩(temporal superposition)"에 사용되는데, 여기서 각 이미지 프레임은 모든 픽셀에 할당된 컬러 값(예를 들어, 적색, 녹색 및 청색 값)을 갖는 단일 이미지를 형성하기 위해 이미지 프레임을 정렬하고 병합하기 위해 계산적으로 처리된다. 다른 실시예에서, 이미지 프레임의 이러한 시간적 중첩은 주로 흑백 이미지에서 부분(희소) 컬러 데이터를 활용함으로써와 같이 생략될 수 있다.

소수의 파장-필터링된 픽셀과 나머지 대다수의 팬크로매틱 픽셀을 포함하는 희소 컬러 필터 어레이를 통해 캡처된 다수의 컴포넌트 이미지 프레임에 존재하는 색채적으로 언더샘플링되고 시프트된 정보를 계산적으로 결합함으로써 컬러 이미지를 생성하기 위한 시스템 및 기술이 설명된다. 버스트 캡처는 복수의 서브유닛을 포함하는 컬러 필터 어레이를 통해 다수의 이미지 프레임에 대해 개시될 수 있으며, 각각의 서브유닛은 소수의 하나 이상의 파장-필터링된 인접 픽셀 및 대다수의 나머지 팬크로매틱 픽셀을 포함한다. 그런 다음 다수의 이미지 프레임 각각은 처리되어 결과 컬러 이미지를 생성한다.

본 개시는 첨부된 도면을 참조함으로써 당업자에게 더 잘 이해될 수 있고, 그의 수많은 특징 및 이점이 명백해진다. 다른 도면에서 동일한 참조 기호를 사용하면 유사하거나 동일한 항목을 나타낸다.
도 1은 하나 이상의 실시예에 따른 예시적인 이미징 시스템의 블록도이다.
도 2는 하나 이상의 실시예에 따라 다수의 개별 이미지 프레임과 관련된 캡처된 이미지 데이터 버스트의 계산 처리를 도시한다.
도 3은 하나 이상의 실시예에 따른 예시적인 포인트-샘플링 컬러 필터 어레이(CFA)의 일부를 도시한다.
도 4는 하나 이상의 실시예에 따른 예시적인 클러스터-샘플링 CFA의 일부를 도시한다.
도 5는 하나 이상의 실시예에 따른 대안적인 예시적 클러스터-샘플링 CFA의 일부를 도시한다.
도 6은 하나 이상의 실시예에 따른 또 다른 예시적인 클러스터-샘플링 CFA의 일부를 도시한다.
도 7은 하나 이상의 실시예에 따른 예시적인 이미징 시스템의 동작 개요를 도시하는 블록도이다.

스마트폰이나 머리에 착용하는 디스플레이와 같은 모바일 디바이스 플랫폼 상의 이미지 캡처 시설은 일반적으로 이러한 시설의 공간 해상도를 제한하는 더 작은 센서; 집광 능력을 제한하는 더 작은 조리개; 및 신호 대 잡음비를 줄이는 더 작은 픽셀을 가지고 있다. 디바이스 센서와 함께 색채 정보를 제공하기 위해 컬러 필터 어레이(CFA)를 사용하는 솔루션은 일반적으로 많은 양의 파장-필터링된 화상(picture) 요소(픽셀)에 의해 입사광이 크게 차단되어 발생하는 광학적 비효율과 관련이 있으며, 이는 해상도를 더욱 저하시킬 수 있다. 이러한 필터 어레이의 각각의 파장-필터링된 픽셀(예를 들어, 적색, 녹색 또는 청색 파장 중 하나에 대해 필터링된 픽셀)은 해당 픽셀을 통과하는 광의 일부를 차단함으로써 픽셀의 광 효율을 상당히 감소시킨다. 게다가, 컬러 값이 잘못 부여된 픽셀 간의 크로스토크를 줄이기 위한 조항이 종종 필요하다.

본 명세서에 설명된 기술의 실시예는 이미지 캡처 디바이스를 들고 있거나 착용하고 있을 수 있는 사용자의 비자발적 움직임으로 인한 공간 오프셋을 포함하여 작은 공간 오프셋을 이용하여 비정렬된 이미지에 걸쳐 색채 데이터를 샘플링하는 것과 같이 완전한 RGB 이미지를 생성하기 위해 "희소(sparse) CFA"를 통해 이미지의 캡처된 버스트를 활용한다. 본 명세서에서 희소 CFA에 대한 참조는 색채 데이터를 언더샘플링(undersample)하기 위해 CFA의 비교적 적은 소수의 픽셀만이 파장에 따라 필터링되고, CFA의 나머지 대부분의 픽셀은 휘도 데이터를 제공하지만 컬러 정보는 제공하지 않는 팬크로매틱(panchromatic, 전정색)(종종 "흰색"이라고도 함) 픽셀을 포함함을 나타낸다. 특정 실시예에서, 그러한 오프셋 및 성기게(sparsely) 샘플링된 색채 정보를 갖는 다수의 이미지 프레임의 버스트를 캡처한 후, 그 캡처된 이미지 프레임은 계산 처리("시간적 중첩")를 통해 정렬 및 병합되어 모든 픽셀에 할당된 컬러 값(예르 들어, 적색, 녹색 및 청색 값)을 갖는 단일 이미지를 형성한다. 특정 실시예에서, 이러한 기술은 희소 CFA가 기존의 비-희소 CFA 구성(예를 들어, Bayer CFA 구성)보다 훨씬 적은 광을 차단하여 컴포넌트 이미지 프레임 중 하나보다 더 높은 유효 해상도와 더 자세한 정보를 제공한다. 따라서, 이러한 실시예에서 설명된 기술은 다수의 컴포넌트 이미지 프레임에 존재하는 색채적으로 언더샘플링되고 시프트된 정보를 계산적으로 결합하여 완전한 컬러 이미지를 생성한다.

특정 실시예에서, 이러한 시간적 중첩은 주로 흑백 이미지에서 부분 컬러 데이터를 활용함으로써 피할 수 있다. 이러한 실시예에서, 대부분의 (흑백) 픽셀은 광 감도를 최대화하는 반면, 컬러 정보 픽셀의 희소한 서브세트는 다양한 기계 학습 기술의 결과를 개선하기 위해서와 같은 추가 정보를 제공한다. 특히, 기계 학습의 특정 단계(예를 들어, 이미지 분류 및/또는 객체 검출)에서는 일반적으로 저해상도(서브샘플링된) 이미지를 사용하며, 여기서 본 명세서에 설명된 희소-컬러 CFA로부터의 컬러 정보의 가용성은 해상도를 줄이기 위한 픽셀의 분류('비닝(binning)')로 인해 증가될 수 있으며, 이는 일반적으로 분류된 컬러 정보를 갖는 픽셀이 각각의 "빈(bin)"에 포함되는 결과를 낳는다. 반면에, 기계 학습의 후반 단계(예를 들어, 객체 인식)에서는 일반적으로 고해상도 이미지를 사용할 수 있지만 세부 컬러 데이터의 존재에 덜 의존한다.

일반적으로, 이미지 신호 프로세서(ISP)는 각 픽셀이 단 하나의 원색((primary color))의 강도를 나타내는 데이터와 관련됨에도 불구하고 계산을 수행하여 캡처된 이미지의 각 픽셀에 대한 3원색의 개별 강도를 추정할 수 있다. 그러나, 본 명세서의 다른 곳에서 논의되는 바와 같이, 이러한 원색 필터는 특정 파장에 따라 각 픽셀을 필터링함으로써 사용 가능한 광의 양을 상당히 감소시켜 이미지에 대한 노이즈를 증가시킬 수 있다. 반면에, 본 명세서에 제시된 기술은 희소 CFA를 대부분 흑백 센서로 활용함으로써 강도 신호 대 잡음비를 크게 개선할 수 있으며, 감소된 데이터 처리뿐만 아니라 상응하는 감소된 계산 및 전력 요구 사항으로 추가로 수행될 수 있다. 더욱이, 이미지를 (예를 들어, 기계 학습 목적을 위해) 더 낮은 해상도로 스케일링함으로써, 고품질 강도 데이터는 사용 가능한 희소 컬러 데이터와 결합되어 향상된 강도 데이터와 향상된 컬러 데이터를 모두 제공할 수 있으며, 다시 감소된 데이터 처리가 가능하다.

따라서, 본 명세서에 제공된 예는 모든 픽셀에 할당된 컬러 값을 갖는 단일 이미지를 형성하기 위해 시간적 중첩(temporal superposition)이 활용되는 실시예를 논의할 수 있지만, 다양한 실시예에서, 희소-컬러 CFA를 통해 캡처된 이미지 및 정보가 이러한 시간적 중첩 없이 많은 애플리케이션에 활용될 수 있음을 이해할 것이다. 본 개시는 적-녹-청 RGB 컬러 모델의 관점에서 다양한 기술을 설명하고 있지만, 이러한 기술은 설명된 실시예에서 벗어나지 않고 다양한 추가 컬러 모델(예를 들어, 청록색(Cyan)-적보라색(Magenta)-황색(yellow) 또는 CMY)함께 활용될 수 있음을 추가로 이해할 것이다.

도 1은 하나 이상의 실시예에 따른 이미징(촬상) 시스템(100)의 블록도이다. 특정 실시예에서, 이미징 시스템(100)은 스마트폰, 헤드-장착 디스플레이(HWD) 또는 기타 디바이스와 같은 모바일 장치의 일부를 포함할 수 있다. 이미징 시스템은 렌즈(105), 컬러 필터 어레이(CFA)(110), 이미지 센서(115), 컨트롤러(125), 시스템 메모리(135)에 결합된 프로세서(130), 및 디스플레이(140)를 포함한다. 도시된 실시예에서, 이미징 시스템(100)은 디스플레이(140)를 통한 프리젠테이션, 나중 프리젠테이션을 위한 저장, 또는 기타 용도와 같이, 본 명세서에 설명된 기술에 따라 완전한 이미지를 생성하기 위해 다수의 이미지 프레임(120)의 버스트를 캡처하고 처리하는데 이용될 수 있다. 특정 실시예에서, 본 명세서에 설명된 컴포넌트(구성 요소) 중 하나 이상(예를 들어, CFA(110), 이미지 센서(115), 컨트롤러(125), 프로세서(130) 및 시스템 메모리(135) 중 하나 이상)은 시스템 온 칩(SOC) 또는 기타 통합 시스템과 같은 단일 통합 시스템의 요소로서 인스턴스화될 수 있다. 추가로, 다양한 실시예에서, CFA(110) 및 이미지 센서(115)는 CFA(110)의 화상 요소(픽셀)가 이미지 센서(115)의 표면 상에 형성되거나 배치되는 경우와 같이 통합될 수 있다.

동작시, 광(101)은 렌즈(105)와 CFA(110)를 통과하여 이미지 센서(115)에 의해 감지되는데, 이미지 센서는 수신된 광을 이용하여 다수의 이미지 프레임(120)을 나타내는 정보를 생성한다. 렌즈(105)는 임의의 적절한 렌즈를 포함할 수 있으며, 비제한적 예로서 직선(rectilinear) 렌즈, 광시야(또는 "어안") 렌즈, 고정 초점 거리 렌즈, 줌 렌즈, 고정 조리개 또는 가변 조리개 렌즈 등을 포함할 수 있다. 다양한 실시예에서, 이미지 센서(115)는 CMOS 이미지 센서, CCD(Charge-Coupled Device) 이미지 센서, 또는 기타 적절한 이미지 센서를 포함할 수 있다. 도시된 실시예에서, 컨트롤러(125)는 프로세서(130)의 지시에서와 같이 다수의 이미지 프레임(120) 각각과 관련된 노출 시간을 조절할 수 있다. 더욱이, 프로세서(130)는 다수의 이미지 프레임의 "버스트 캡처"를 개시함으로써 다수의 이미지 프레임(120) 중 하나 이상의 캡처를 (자율적으로 또는 사용자 입력에 응답하여) 개시할 수 있다.

자동 초점 시스템, 기계식 또는 전기 기계식 셔터 시스템 등의 하나 이상의 요소를 포함하는 것과 같이, 본 발명의 범위를 벗어나지 않고 도 1에 도시된 이미징 시스템의 많은 다양한 변형 및 특징이 이용될 수 있음을 이해할 것이다.

도 2는 하나 이상의 실시예에 따라 4개의 개별 이미지 프레임(프레임 1(210), 프레임 2(220), 프레임 3(230) 및 프레임 4(240))과 관련된 이미지 데이터의 캡처된 버스트의 계산 처리를 나타낸다. 각각의 이미지 프레임(220, 230, 240)은 각각의 대표 픽셀(실제 이미지 프레임 데이터에는 존재하지 않음)의 중앙에 예시적인 점(dot)으로 묘사되며, 사용자가 관련 이미징 시스템(예를 들어, 도 1의 이미징 시스템(100))의 실시예를 들고 있거나 착용하는 것과 같은 사용자의 비자발적 움직임으로 인해 실질적으로 랜덤화된 공간 오프셋만큼 이전 이미지 프레임으로부터 오프셋된다. 특정 실시예에서, 프레임1(210)은 나머지 이미지 프레임(240, 230, 240)을 정렬하기 위한 "기본(base) 프레임"으로 활용될 수 있다. 4개의 컴포넌트 이미지 프레임 각각의 색채 샘플링 및 휘도 데이터를 사용하여 증가된 픽셀 밀도를 제공하는 병합(된) 이미지(250)를 생성하기 위해 각 컴포넌트 이미지 프레임의 특징을 검출하고 이러한 특징을 정렬하기 위해 계산 처리가 이용된다.

도 3은 하나 이상의 실시예에 따른 예시적인 포인트-샘플링 컬러 필터 어레이(CFA)(300)의 일부를 도시한다. CFA(300)의 묘사된 부분은 각각 4×4 픽셀의 16개 서브유닛으로 분할되는 256 픽셀의 대표 그리드를 나타낸다. 도시된 실시예에서, CFA(300)의 서브유닛은 각각 하나의 파장-필터링된 픽셀을 포함한다. 예를 들어, 최상단 좌측 서브유닛(305)은 적색(R) 광을 샘플링하기 위해 파장 필터링되는 하나의 픽셀(301)을 포함하고, 서브유닛의 모든 다른 픽셀은 휘도 정보를 제공하기 위해 팬크로매틱(panchromatic, 전정색) 픽셀을 포함한다. 유사하게, 서브유닛(310)은 녹색(G) 광을 샘플링하기 위해 파장 필터링되는 단일 픽셀(306)을 포함하고, 서브유닛의 모든 다른 픽셀은 휘도 정보를 제공하기 위해 팬크로매틱 픽셀을 포함한다. 서브유닛(315)은 청색(B) 광을 샘플링하기 위해 파장 필터링되는 단일 픽셀(311)을 포함하고, 서브유닛의 다른 모든 픽셀은 휘도 정보를 제공하기 위해 팬크로매틱 픽셀을 포함한다. 명료함을 위해, CFA(300)의 나머지 서브유닛은 각각의 나머지 서브유닛이 상기 설명된 서브유닛(305, 310 및 315) 중 하나와 동일하기 때문에 도시되지만 별도로 설명되지는 않는다. 포인트-샘플링 CFA(300)의 각 서브유닛은 서브유닛의 각각의 16개 픽셀 중 하나의 파장-필터링된 픽셀만을 포함하므로 각 서브유닛은 6.25%의 컬러 샘플 비율을 포함한다는 것을 이해할 것이다.

도 4는 하나 이상의 실시예에 따른 예시적인 클러스터-샘플링 CFA(400)의 일부를 도시한다. CFA(400)의 묘사된 부분은 도 3의 CFA(300)에 의해 제시된 것과 유사한 방식으로 각각 4×4 픽셀의 16 서브유닛으로 분할된 256 픽셀의 다른 대표 그리드를 제시한다. 도시된 실시예에서, CFA(400)의 각 서브유닛은 파장-필터링된 인접 픽셀의 클러스터를 포함하고, 각 서브유닛의 모든 다른 픽셀은 휘도 정보를 제공하는 팬크로매틱 픽셀이다. CFA(400)의 모든 16개 서브유닛을 대표하는 예시적인 서브유닛(410)은 적색(R) 픽셀(412), 녹색(G) 픽셀(414) 및 청색(B) 픽셀(416)을 포함하는 파장-필터링된 픽셀의 클러스터를 포함한다. 서브 유닛(410)의 다른 모든 픽셀은 휘도 정보를 제공하는 팬크로매틱 픽셀이다. 도시된 실시예에서, CFA(400)의 "클러스터 간격"은 2개의 픽셀의 거리(418)를 포함한다. 즉, 파장-필터링된 픽셀의 각각의 클러스터는 2개의 팬크로매틱 픽셀에 의해 이웃 서브유닛의 대응하는 클러스터로부터 분리된다. 따라서, 클러스터-샘플링 CFA(400)는 각각의 서브유닛이 18.75%의 컬러 샘플 레이트를 제공하도록 16개의 픽셀 중 3개가 파장-필터링된 픽셀인 서브유닛을 포함한다.

도 5는 하나 이상의 실시예에 따른 다른 예시적인 클러스터 샘플링 CFA(500)의 일부를 도시한다. CFA(500)의 묘사된 부분은 도 4의 CFA(400)에 의해 제시된 것과 유사한 방식으로 서브유닛으로 분할된 256 픽셀의 다른 대표 그리드를 제시한다. CFA(500)의 각 서브유닛은 다시 파장-필터링된 인접 픽셀의 단일 클러스터를 포함하며, 각 서브유닛의 모든 다른 픽셀은 휘도 정보를 제공하는 팬크로매틱 픽셀이다. CFA(500)의 다른 서브유닛을 대표하는 예시적인 서브유닛(510)은 적색(R) 픽셀(512), 녹색(G) 픽셀(514) 및 청색(B) 픽셀(516)을 포함하는 파장-필터링된 픽셀의 클러스터를 포함한다. 서브 유닛(510)의 다른 모든 픽셀은 휘도 정보를 제공하는 팬크로매틱 픽셀이다. 그러나, 도시된 실시예에서, 도 4의 CFA(400)와 대조적으로, CFA(500)는 각각 25픽셀(5×5)의 서브유닛을 포함하며, 각각은 이웃 서브유닛의 대응하는 파장-필터링된 클러스터 사이의 3개의 팬크로매틱 픽셀의 클러스터-간격 거리(518)를 갖는다. 따라서, 클러스터 샘플링 CFA(500)는 각각의 서브유닛이 12%의 컬러 샘플 레이트만 제공하도록 25개의 픽셀 중 3개의 픽셀이 파장-필터링된 픽셀인 서브유닛을 포함한다.

도 6은 하나 이상의 실시예에 따른 또 다른 예시적인 클러스터 샘플링 CFA(600)의 일부를 도시한다. CFA(600)의 도시된 부분은 도 4의 CFA(400) 및 도 5의 CFA(500)에 의해 제시된 것과 유사한 방식으로 서브유닛으로 분할된 256 픽셀의 또 다른 대표 그리드를 제시한다. CFA(600)의 각 서브유닛은 다시 파장-필터링된 인접 픽셀의 단일 클러스터를 포함하며, 각 서브유닛의 모든 다른 픽셀은 휘도 정보를 제공하는 팬크로매틱 픽셀이다. CFA(600)의 다른 서브유닛을 나타내는 예시적인 서브유닛(610)은 적색(R) 픽셀(612), 녹색(G) 픽셀(614) 및 청색(B) 픽셀(616)을 포함하는 파장-필터링된 픽셀의 클러스터를 포함한다. 서브 유닛(610)의 다른 모든 픽셀은 휘도 정보를 제공하는 팬크로매틱 픽셀이다. 도시된 실시예에서, 각각 도 4 및 5의 CFA(400) 및 CFA(500)와 대조적으로, CFA(600)는 각각 36픽셀(6×6)의 서브유닛을 포함하며, 이웃 서브유닛의 대응하는 파장-필터링된 클러스터 사이에 4개의 팬크로매틱 픽셀의 클러스터-간격 거리(618)를 갖는다. 따라서, 클러스터-샘플링 CFA(600)는 각각의 서브유닛이 8.33%의 컬러 샘플 레이트만 제공하도록 36개 픽셀 중 3개 픽셀이 파장-필터링된 픽셀인 서브유닛을 포함한다.

다양한 실시예에서, 파장-필터링된 픽셀의 컬러 샘플링 클러스터의 배열은 본 명세서에 설명된 기술로부터 벗어나지 않고 다양한 방식으로 구성될 수 있음을 이해할 것이다. 특히, 특정 실시예에서 컬러-샘플링 클러스터는 추가 파장-필터링 픽셀(예를 들어, 하나 이상의 추가 녹색(G) 또는 다른 파장-특정 필터링 픽셀을 포함하기 위해)을 포함할 수 있고, 위에 묘사된 실시예들과 관련하여 예시된 것과 다른 방식으로 공간적으로 배치될 수 있다.

도 7은 하나 이상의 실시예에 따른 프로세서 기반 이미징 시스템의 작동 루틴(700)의 개요를 도시하는 블록도이다. 루틴은 예를 들어 도 1의 이미징 시스템(100)의 실시예에 의해 또는 일부 다른 실시예에 의해 수행될 수 있다.

루틴은 블록(705)에서 시작하는데, 여기서 프로세서 기반 이미징 시스템은 희소 컬러 필터 어레이를 통해 다수의 이미지 프레임의 버스트 캡처를 시작한다. 본 명세서의 다른 곳에서 논의된 바와 같이, 버스트 캡처의 시작은 하나 이상의 사용자 입력에 응답하여 또는 일부 다른 방식으로 (예를 들어 하나 이상의 정의된 기준에 기초하여) 프로세서 기반 이미징 시스템의 프로세서에 의해 자율적으로 수행될 수 있다.

루틴은 블록(710)으로 진행하며, 여기서 다수의 이미지 프레임을 나타내는 색채 샘플링된 이미지 데이터가 프로세서 기반 이미징 시스템에 의해 수신된다. 그 후 루틴은 블록(715)으로 진행한다.

블록(715)에서, 프로세서 기반 이미징 시스템은 다수의 이미지 프레임과 관련된 색채 샘플링된 이미지 데이터를 처리한다. 특정 실시예에서, 이러한 처리는 다수의 이미지 프레임의 연속적인 이미지 프레임 사이에 (예를 들어, 비자발적 사용자 움직임에 의해) 도입된 공간적 오프셋을 보상하기 위해 다수의 이미지 프레임 각각을 공간적으로 정렬하는 것을 포함할 수 있다. 그 후 루틴은 블록(720)으로 진행한다.

블록(720)에서, 프로세서 기반 이미징 시스템은 디스플레이 디바이스 상의 디스플레이, 저장 또는 기타 목적과 같은 처리된 이미지 프레임에 기초하여 단일 컬러 이미지를 생성한다.

일부 실시예에서, 전술한 기술의 특정 양태는 소프트웨어를 실행하는 처리 시스템의 하나 이상의 프로세서에 의해 구현될 수 있다. 이 소프트웨어는 비-일시적 컴퓨터 판독 가능 저장 매체에 저장되거나 유형적으로 구현된 하나 이상의 실행 가능한 명령 세트를 포함한다. 소프트웨어는 하나 이상의 프로세서에 의해 실행될 때 하나 이상의 프로세서를 조작하여 위에서 설명한 기술의 하나 이상의 양태를 수행하는 명령들 및 특정 데이터를 포함할 수 있다. 비-일시적 컴퓨터 판독 가능 저장 매체는 예를 들어 자기 또는 광학 디스크 저장 디바이스, 플래시 메모리와 같은 고체 상태 저장 디바이스, 캐시, RAM 또는 기타 비-휘발성 메모리 디바이스 또는 디바이스들을 포함할 수 있다. 비-일시적 컴퓨터 판독 가능 저장 매체에 저장된 실행 가능 명령(어)은 소스 코드, 어셈블리 언어 코드, 객체 코드 또는 하나 이상의 프로세서에 의해 해석되거나 실행 가능한 다른 명령 형식일 수 있다.

컴퓨터 판독 가능 저장 매체는 명령 및/또는 데이터를 컴퓨터 시스템에 제공하기 위해 사용하는 동안 컴퓨터 시스템에 의해 액세스 가능한 임의의 저장 매체 또는 저장 매체의 조합을 포함할 수 있다. 이러한 저장 매체는 광학 매체(예를 들어, CD, DVD, Blu-Ray 디스크), 자기 매체(예를 들어, 플로피 디스크, 자기 테이프 또는 자기 하드 드라이브), 휘발성 메모리(예를 들어, RAM 또는 캐시), 비휘발성 메모리(예를 들어, ROM 또는 플래시 메모리), 또는 MEMS(Microelectromechanical System) 기반 저장 매체를 포함할 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체는 컴퓨팅 시스템(예를 들어, 시스템 RAM 또는 ROM)에 내장되거나, 컴퓨팅 시스템(예를 들어, 자기 하드 드라이브)에 고정적으로 부착되거나, 컴퓨팅 시스템(예를 들어, 광 디스크 또는 USB 기반 플래시 메모리)에 제거 가능하게 부착되거나 유선 또는 무선 네트워크(예를 들어, NAS(Network Accessible Storage))를 통해 컴퓨터 시스템에 연결될 수 있다.

일반적인 설명으로 위에서 설명한 모든 활동 또는 요소가 필요한 것은 아니며 특정 활동 또는 디바이스의 일부가 필요하지 않을 수 있으며, 설명된 것 외에도 하나 이상의 추가 활동이 수행되거나 요소가 포함될 수 있다. 더 나아가, 활동들이 나열되는 순서가 반드시 수행되는 순서는 아니다. 또한, 개념들이 구체적인 실시예를 참조하여 설명되었다. 그러나, 당업자라면 아래의 청구범위에 기재된 바와같이 본 발명의 범위를 벗어나지 않고 다양한 수정 및 변경이 이루어질 수 있음을 이해할 것이다. 따라서, 명세서 및 도면은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 하며, 이러한 모든 변형은 본 개시의 범위 내에 포함되도록 의도된다.

이점, 다른 장점 및 문제에 대한 해결책이 특정 실시예와 관련하여 위에서 설명되었다. 그러나, 이점, 장점, 문제에 대한 솔루션 및 이점, 장점 또는 솔루션을 발생시키거나 더 뚜렷하게 만들 수 있는 모든 기능은 청구항의 일부 또는 전부의 중요, 요구, 또는 필수 기능으로 해석되어서는 안 된다. 더욱이, 위에서 개시된 특정 실시예는 단지 설명을 위한 것일 뿐이며, 개시된 주제는 상이하지만 본 명세서의 교시의 혜택을 받는 당업자에게 명백한 동등한 방식으로 수정 및 실시될 수 있다. 아래의 청구 범위에 기술된 것 외에 본 명세서에 표시된 구성 또는 설계의 세부 사항에 대한 제한은 없다. 따라서, 위에 개시된 특정 실시예가 변경되거나 수정될 수 있고 그러한 모든 변형이 개시된 주제의 범위 내에서 고려된다는 것이 명백하다. 따라서, 본 명세서에서 추구하는 보호는 아래의 청구범위에 설명된 바와 같다.

Claims

방법으로서,
복수의 서브유닛을 포함하는 컬러 필터 어레이(CFA)를 통해 다수의 이미지 프레임의 버스트 캡처를 시작하는 단계와, 각각의 서브유닛은 하나 이상의 파장-필터링된 소수의 인접 픽셀 및 대다수의 나머지 팬크로매틱((panchromatic) 픽셀을 포함하고;
시작에 응답하여, 다수의 이미지 프레임을 수신하는 단계와;
다수의 이미지 프레임 각각을 처리하는 단계와; 그리고
처리에 기초하여 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
각 서브 유닛의 하나 이상의 파장-필터링된 인접 픽셀은,
하나의 적색 파장-필터링된 픽셀, 하나의 청색 파장-필터링된 픽셀, 및 하나 이상의 녹색 파장-필터링된 픽셀의 클러스터를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
각 서브 유닛의 하나 이상의 파장-필터링된 인접 픽셀은,
단일 파장-필터링된 픽셀로 구성되는 것을 특징으로 하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
복수의 서브유닛의 각 서브유닛에 대한 하나 이상의 파장-필터링된 인접 픽셀은,
복수의 서브유닛의 이웃하는 서브유닛 각각에 대한 하나 이상의 파장-필터링된 인접 픽셀로부터 적어도 2개의 팬크로매틱 픽셀에 의해 분리되는 것을 특징으로 하는 방법.
선행하는 항들 중 어느 한 항에 있어서,
다수의 이미지 프레임 각각을 처리하는 단계는,
다수의 이미지 프레임의 개별 이미지 프레임 사이의 하나 이상의 공간 오프셋을 보상하기 위해 다수의 이미지 프레임의 서브유닛을 정렬하는 단계를 포함하는 것을 특징으로 하는 방법.
선행하는 항들 중 어느 한 항에 있어서,
복수의 서브유닛의 각 서브유닛은,
1:5 미만인 파장-필터링된 픽셀 대 CFA의 전체 픽셀의 비율을 포함하는 것을 특징으로 하는 방법.
선행하는 항들 중 어느 한 항에 있어서,
복수의 서브유닛의 각 서브유닛은,
20% 미만의 컬러 샘플링 비율과 연관되는 것을 특징으로 하는 방법.
이미징 시스템으로서,
이미지 센서와;
컬러 필터 어레이(CFA)와, 상기 CFA는 각각 하나 이상의 파장-필터링된 소수의 인접 픽셀과 대다수의 나머지 팬크로매틱 픽셀을 포함하는 복수의 서브유닛을 포함하고;
CFA에 결합된 이미지 센서와; 그리고
이미지 센서에 결합된 프로세서를 포함하고, 상기 프로세서는 CFA 및 이미지 센서를 통해 다수의 이미지 프레임의 버스트 캡처를 개시하고 다수의 이미지 프레임 각각을 처리함으로써 컬러 이미지를 생성하는 것을 특징으로 하는 이미징 시스템.
제8항에 있어서,
각 서브유닛의 하나 이상의 파장-필터링된 인접 픽셀은,
하나의 적색 파장-필터링된 픽셀, 하나의 청색 파장-필터링된 픽셀, 및 하나 이상의 녹색 파장-필터링된 픽셀의 클러스터를 포함하는 것을 특징으로 하는 이미징 시스템.
제8항에 있어서,
각 서브유닛의 하나 이상의 파장-필터링된 인접 픽셀은,
단일 파장-필터링된 픽셀로 구성되는 것을 특징으로 하는 이미징 시스템.
제8항 내지 제10항 중 어느 한 항에 있어서,
복수의 서브유닛의 각 서브유닛에 대한 하나 이상의 파장-필터링된 인접 픽셀은,
복수의 서브유닛의 이웃하는 서브유닛 각각에 대한 하나 이상의 파장-필터링된 인접 픽셀로부터 적어도 2개의 팬크로매틱 픽셀에 의해 분리되는 것을 특징으로 하는 이미징 시스템.
제8항 내지 제11항 중 어느 한 항에 있어서,
다수의 이미지 프레임 각각을 처리하는 것은,
다수의 이미지 프레임의 서브유닛을 정렬함으로써 다수의 이미지 프레임의 개별 이미지 프레임 사이의 하나 이상의 공간 오프셋을 보상하는 것을 포함하는것을 특징으로 하는 이미징 시스템.
제8항 내지 제12항 중 어느 한 항에 있어서,
복수의 서브유닛의 각 서브유닛은,
1:5 미만인 파장-필터링된 픽셀 대 CFA의 전체 픽셀의 비율을 포함하는 것을 특징으로 하는 이미징 시스템.
제8항 내지 제13항 중 어느 한 항에 있어서,
복수의 서브유닛의 각 서브유닛은,
20% 미만의 컬러 샘플링 비율과 연관되는 것을 특징으로 하는 이미징 시스템.
컴퓨팅 디바이스로서,
이미지 센서와;
컬러 필터 어레이(CFA)와, 상기 CFA는 각각 하나 이상의 파장-필터링된 소수의 인접 픽셀과 대다수의 나머지 팬크로매틱 픽셀을 포함하는 복수의 서브유닛을 포함하고;
CFA에 결합된 이미지 센서와;
CFA를 통해 이미지 센서에 광을 비추는 하나 이상의 렌즈와; 그리고
이미지 센서에 결합된 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는 CFA 및 이미지 센서를 통해 다수의 이미지 프레임의 버스트 캡처를 개시하고 다수의 이미지 프레임 각각을 처리함으로써 컬러 이미지를 생성하는 것을 특징으로 하는 컴퓨팅 디바이스.
제15항에 있어서,
각 서브유닛의 하나 이상의 파장-필터링된 인접 픽셀은,
하나의 적색 파장-필터링된 픽셀, 하나의 청색 파장-필터링된 픽셀, 및 하나 이상의 녹색 파장-필터링된 픽셀의 클러스터를 포함하는 것을 특징으로 하는 것을 특징으로 하는 컴퓨팅 디바이스.
제15항 또는 제16항에 있어서,
복수의 서브유닛의 각 서브유닛에 대한 하나 이상의 파장-필터링된 인접 픽셀은,
복수의 서브유닛의 이웃하는 서브유닛 각각에 대한 하나 이상의 파장-필터링된 인접 픽셀로부터 적어도 2개의 팬크로매틱 픽셀에 의해 분리되는 것을 특징으로 하는 컴퓨팅 디바이스.
제15항 내지 제17항 중 어느 한 항에 있어서,
상기 컬러 이미지를 생성하는 것은,
다수의 이미지 프레임의 서브유닛을 공간적으로 정렬함으로써 다수의 이미지 프레임의 개별 이미지 프레임 사이의 하나 이상의 공간 오프셋을 보상하는 것을 포함하는것을 특징으로 하는 컴퓨팅 디바이스.
제15항 내지 제18항 중 어느 한 항에 있어서,
상기 복수의 서브유닛의 각각의 서브유닛은,
20% 미만의 컬러 샘플링 비율을 제공하는 것을 특징으로 하는 컴퓨팅 디바이스.
제15항 내지 제19항 중 어느 한 항에 있어서,
HWD(head-wearable display)를 더 포함하는 것을 특징으로 하는 컴퓨팅 디바이스.