KR20150014453A - 네이티브 3-컬러 이미지 및 hdr 이미지 - Google Patents

Abstract

다양한 구현은, 예컨대, RGB 이미지 및/또는 HDR 이미지를 포함하는 컬러 이미지를 제공한다. 하나의 특정 구현에 있어서, 컬러 이미지는 다수의 센서로부터 캡처링된 제1 세트의 컬러 값을 사용하여 생성된다. 컬러 이미지의 다수의 픽셀 위치는 다수의 센서로부터 캡처링되는 3개의 컬러에 대한 컬러 값을 갖는다. 렌즈 어셈블리는 다수의 센서에 광을 패스한다. HDR 이미지는 다수의 센서로부터 캡처링된 제2 세트의 컬러 값을 사용하여 생성된다. 다른 하나의 구현은 렌즈 어셈블리 및 렌즈 어셈블리를 통해 광을 수신하도록 배열된 다수의 센서를 포함한다. 다수의 센서로부터 캡처링된 제1 세트의 컬러 값은 다수의 픽셀 위치에 대하여 3개의 컬러 값을 제공하도록 어셈블링될 수 있다. 다수의 센서로부터 캡처링된 제2 세트의 컬러 값은 HDR 이미지를 제공하도록 내삽될 수 있다.

Description

네이티브 3-컬러 이미지 및 HDR 이미지{NATIVE THREE-COLOR IMAGES AND HIGH DYNAMIC RANGE IMAGES}

관련 출원에 대한 상호 참조

본 출원은 미국 가출원 제61/688,657호(출원일: 2012년 5월 18일자, 발명의 명칭: "Apparatus to Provide Native RGB and High Dynamic Range Images with a Single Lens")의 유익을 주장하며, 이 기초 출원의 내용은 다목적으로 참조로 본 명세서에 편입된다.

기술분야

이미지 캡처링 및/또는 프로세싱에 관한 구현이 설명된다. 다양한 특정 구현은 네이티브 3-컬러 이미지 및 HDR(high dynamic range) 이미지를 챕처링 및/또는 프로세싱하는 것에 관한 것이다.

영화 프로듀서 및 다른 컨텐트 창작자는 컨텐트 캡처링에 다양한 선택이 이용가능하다. 하나의 옵션은 적색-녹색-청색("RGB") 이미지를 사용하는 것이다. RGB 이미지는, 예컨대, 내삽되거나 네이티브일 수 있다. 또 다른 옵션은 HDR 이미지를 사용하는 것이다. 빈번하게, 컨텐트 창작자는 컨텐트의 여러 다른 부분에서 여러 다른 유형의 이미지를 사용하기를 바랄 것이다. 예컨대, 영화 프로듀서는 영화에서 몇몇 선택된 장면은 HDR 이미지를 사용하여 찍기를 바랄 수 있다. 그 바램을 달성하기 위해, 컨텐트 창작자는 전형적으로는 각각의 이미지 유형에 대하여 다른 카메라(또는 카메라들)를 사용하여야 한다. 예컨대, 영화 프로듀서는 네이티브 RGB 이미지를 캡처링하기 위해 제1 카메라를 사용하고, HDR 이미지를 캡처링하기 위해 제2 카메라 및 제3 카메라를 사용할 수 있다.

일반적 태양에 의하면, 컬러 이미지는 다수의 센서로부터 캡처링된 제1 세트의 컬러값을 사용하여 생성된다. 컬러 이미지의 다수의 픽셀 위치는 3개의 컬러에 대한 컬러값을 갖는다. 3개의 컬러값은 다수의 센서로부터 캡처링되고, 렌즈 어셈블리는 다수의 센서에 광을 패스한다. HDR 이미지는 다수의 센서로부터 캡처링된 제2 세트의 컬러값을 사용하여 생성된다.

또 다른 일반적 태양에 의하면, 장치는 렌즈 어셈블리 및 렌즈 어셈블리를 통해 광을 수신하도록 배열된 다수의 센서를 포함한다. 다수의 센서로부터 캡처링된 제1 세트의 컬러값은 다수의 픽셀 위치에 대하여 3개의 컬러값을 제공하도록 어셈블링될 수 있다. 다수의 센서로부터 캡처링된 제2 세트의 컬러값은 HDR 이미지를 제공하도록 내삽될 수 있다.

하나 이상의 구현의 상세가 아래 수반 도면 및 설명에서 제시된다. 하나의 특정 방식으로 설명되어 있기는 하지만, 구현은 다양한 방식으로 구성 또는 구체화될 수 있음이 명확한 것이다. 예컨대, 구현은 방법으로 수행되거나, 연산 세트를 수행하기 위한 명령어를 저장하는 장치 또는 연산 세트를 수행하도록 구성된 장치 등과 같이 장치로서 구체화되거나, 신호로 구체화될 수 있다. 다른 태양 및 특징이 수반 도면 및 특허청구범위와 함께 고려되는 이하의 상세한 설명으로부터 명백해질 것이다.

도 1은 카메라의 일례를 묘사하는 블록 선도;
도 2는 3개의 RGB 센서의 일례를 묘사하는 도감도;
도 3은 도 2의 3개의 RGB 센서가 조합되어 있는 일례를 묘사하는 도감도;
도 4는 네이티브 RGB 화상을 형성하기 위한 프로세스의 일례를 묘사하는 흐름 선도;
도 5는 도 2로부터의 센서2와 센서3이 조합되어 있는 일례를 묘사하는 도감도;
도 6은 도 5의 조합의 더 큰 버전의 4개의 픽셀 위치에 내삽될 컬러의 일례를 묘사하는 도감도;
도 7은, 도 6에서 내삽될 컬러의 각각에 대하여, 내삽에서 사용될 수 있는 4개의 픽셀 위치의 일례를 묘사하는 도감도;
도 8은 HDR 화상을 형성하기 위한 프로세스의 일례를 묘사하는 흐름 선도;
도 9는 네이티브 RGB 화상 및 HDR 화상을 형성하기 위한 프로세스의 일례를 묘사하는 흐름 선도;
도 10은 송신 시스템의 일례를 묘사하는 블록 선도;
도 11은 수신 시스템의 일례를 묘사하는 블록 선도.

본 출원에서 설명되는 적어도 하나의 구현은 동일 렌즈 어셈블리(본 출원에서는, 단순히 렌즈라고 흔히 지칭)를 사용하여 네이티브 RGB 이미지 및 HDR 이미지를 생성하기 위한 방법 및 장치를 지향한다. 그 구현에 있어서, 렌즈 어셈블리는 3개의 센서에 광을 패스하고, 3개의 센서로부터 캡처링된 데이터는 네이티브 RGB 이미지를 발생시키는데도 그리고 HDR 이미지를 발생시키는데도 사용된다. 일 구현에서는 특히, 본 출원은, 고전적 2x2 베이어 매트릭스(Bayer matrix) 대신에, 제안된 3x2x4 매트릭스(도 2 참조) 및 3개의 센서를 사용하는 것이 어떻게, 단일 렌즈 어셈블리를 사용하여, 동일 디바이스 내에서 네이티브 RGB 이미지와 더불어 초고품질 HDR 이미지를 카메라가 제공 가능하게 하는지 설명한다.

베이어 매트릭스(또는 "베이어 패턴")는 전형적으로는 25% 적색, 50% 녹색 및 25% 청색을 갖는 필터 패턴이다. 베이어 패턴은 흔히 특정 해상도를 다루도록 필요에 따라 반복(타일링이라고도 지칭됨)되는 2x2 매트릭스이다. 일례가 도 2에서의 센서1의 최상부 2x2 부분으로 아래에 도시되어 있다. 그 2x2 부분은 1개의 적색(제1 로우 제2 칼럼에 위치결정), 2개의 녹색(제1 로우 제1 칼럼, 및 제2 로우 제2 칼럼에 위치결정) 및 1개의 청색(제1 로우 제1 칼럼에 위치결정)을 갖는다. 베이어 패턴 센서는 일반적으로는 센서에 들어가는 광을 필터링하는 베이어 패턴을 갖는 센서를 지칭한다. 베이어 패턴은, 다양한 구현에서는, 당업자에게 주지된 방식으로 센서에 적용 또는 배속되어 있다.

"네이티브 RGB"(또는 "풀 네이티브 RGB(full native RGB)") 이미지는 캡처링된 데이터가 이미지 내 모든 픽셀마다 또는 실질적으로 모든 픽셀마다 적색 성분, 녹색 성분 및 청색 성분을 포함하는 이미지를 지칭한다. 컬러 성분은 또한 "컬러값" 또는 "값들"로서 지칭된다. 컬러값들은, 다양한 구현에서는, 적색, 녹색 및 청색의 각각에 대하여 0 내지 255의 8-비트 정수이다.

용어 "네이티브"는, 예컨대 내삽되는 것과 대조적으로, 모든 성분(예컨대, R, G 및 B)이 캡처링됨을 나타낸다. 결과로서, 용어 "네이티브"는, 예를 들어, 캡처링되는 어떠한 3개의 컬러라도 지칭하는 네이티브 3-컬러 이미지와 같이 다른 유형의 이미지에 적용될 수 있다. 다른 예는 네이티브 YUV 이미지를 포함한다.

HDR 이미지는 전형적으로 가능한 것보다, 가장 밝은 영역과 가장 어두운 영역 간, 더 큰 다이내믹 레인지를 갖는 이미지를 지칭한다. 다이내믹 레인지는 전형적으로는 이미지에 대한 휘도값의 레인지를 지칭한다.

높은 다이낵믹 레인지를 갖는 소스 컨텐트는 흔히 밝은 영역에서든 또는 어두운 영역에서든 디테일 손실로 어려움을 겪는다. HDR 이미지는 그 손실된 디테일 중 일부를 제공할 수 있다. 전형적으로, HDR 이미지는 여러 다른 휘도 레벨에서 캡처링되는 컴포넌트 이미지(또는 이미지의 일부)들을 함께 봉합함으로써 발생된다.

많은 구현들은 표현될 수 있는 휘도값의 레인지를 실제로는 증가시키지 않는 HDR 이미지를 산출한다(예컨대, 휘도는 HDR 프로세싱이 사용되는지에 무관하게 8-비트 값으로 표현된다). 그렇지만, 이들 구현 중 일부는 휘도값(예컨대, 고휘도값)의 레인지를 휘도 차가 더 양호하게 표현될 수 있는 다른 휘도 레인지로 이동시키는 프로세싱 기술(예컨대, 필터링)을 사용한다. 예컨대, 고휘도는 흔히, 휘도 레인지의 고-휘도 종단(예컨대, 255) 또는 그 가까이의 휘도값이 영역 전체에 주어지게 되도록, 센서를 포화시킬 수 있다. 몇몇 구현은 휘도를 감축하는 필터를 적용하고, 그 결과는 휘도값이 더 이상 단일 번호(255) 주위에 그룹화되어 있지 않고 레인지에 걸쳐 널리 퍼져 있는 것이다. 그리하여, 더 많은 디테일이 제공된다.

풀 네이티브 RGB 이미지는 적색, 녹색 및 청색 정보를 독립적으로 각각 캡처링하는 3개의 센서를 사용하여 캡처링될 수 있다. 빔 스플리터 메커니즘은, 전형적으로 각각의 센서가 3원색의 각각에 있어서 동일한 양의 휘도를 수신하도록, 렌즈 어셈블리와 센서 사이에 적용되어 있다.

그러한 디바이스를 사용하면, 적어도, 각각의 센서에 도달하는 휘도의 레벨이 똑같게 되어 있는 경우는, HDR 이미지를 생성하는 것이 가능해 보이지 않는다. 다수의 휘도값을 갖기 위해, 여러 다른 휘도 레벨을 갖는 다수의 3-센서 디바이스가 필요한 것처럼 보일 것이다. 그렇지만, 다수의 디바이스를 사용하는 것은 비싸고 비실용적이다.

각각의 센서 앞에 다수의 ND(Neutral Density) 필터를 적용함으로써 베이어-유형 색 필터를 구비한 3개의 센서를 사용하여 단일 디바이스 내에서 그리고 단일 렌즈 어셈블리로 HDR 이미지를 생성하는 것이 또한 가능하다. 그러한 디바이스는 그 자체로 큰 가치를 갖는다. 그렇지만, 그러한 시스템이 사용되면, 동일 디바이스로 네이티브 RGB 이미지를 획득하는 것이 가능해 보이지 않는데, 베이어 패턴은 픽셀 내삽을 요건으로 하여 각각의 픽셀에 대해 풀 네이티브 RGB 조합으로 조합될 수 없기 때문이다. 즉, 3개의 베이어 패턴이 존재한다 하더라도, 그 3개의 베이어 패턴은 전부 동일하다. 제2 및 제3 베이어-패턴형 센서를 부가하는 것은 어떠한 부가적 또는 새로운 정보도 제공하지 않는다. 그보다는, 제2 및 제3 베이어-패턴형 센서는 제1 베이어-패턴형 센서로부터의 컬러 정보의 복제이다. 따라서, 주어진 픽셀 위치는 제2 및 제3 베이어-패턴형 센서로부터 어떠한 새로운 컬러 정보도 얻지 못한다. 결과로서, 베이어-패턴형 센서를 사용하면, 어떠한 픽셀 위치라도 하나보다 많은 컬러값을 가지지 못하고, 정의에 의해, 네이티브 RGB도 아니다. 그보다는, 주어진 컬러에 대하여 캡처링된 컬러값은 모든 픽셀 위치에 대하여 (주어진 컬러에 대해) 내삽된 컬러값을 제공하도록 내삽 알고리즘에서 사용된다.

그렇지만, 내삽은, 내삽된 컬러값이 캡처링된 컬러값이 아니었기 때문에, 네이티브 RGB의 결과를 초래하지 못한다.

그렇지만, 본 출원에서 설명되는 다양한 구현은, 단일 렌즈 어셈블리를 사용하여, 동일 디바이스(전형적으로는, 카메라) 내에서 HDR 능력도 그리고 네이티브 RGB 능력도 영화제작자(또는 다른 컨텐트 창작자)가 획득 가능하게 하는 디바이스를 제공한다. 이러한 능력은 이들 유형의 효과(HDR 및 네이티브 RGB)를 사용하는 것을, 2개 이상의 다른, 단일 목적 카메라들을 사용하는 것보다, 더욱 알맞고 생산성 있게 할 것이다.

도 1을 참조하면, HDR 이미지도 그리고 네이티브 RGB 이미지도 캡처링될 수 있게 하는 카메라(100)가 도시되어 있다. 카메라(100)는 렌즈 어셈블리(110)를 포함한다. 렌즈 어셈블리(110)는, 소정 구현에서는, 단일 렌즈를 포함한다. 그렇지만, 다른 구현은 렌즈 어셈블리(110)에 다수의 렌즈를 포함한다.

렌즈 어셈블리(110)는 빔 스플리터(115)에 광을 패스한다. 빔 스플리터(115)는 제1 센서(120), 제2 센서(130) 및 제3 센서(140)를 포함하는 3개의 센서에 광을 패스한다. 패스되는 광은 구현에 의해 달라질 수 있다. 그렇지만, 적어도 하나의 구현에서는, 광은 센서(120, 130, 140)의 각각에 동등한 양으로 패스된다.

카메라(100)는 빔 스플리터(115)와 제1 센서(120)의 사이에 배열된 ND 필터(145)를 포함한다. ND 필터(145)는, 여러 다른 구현에서, 여러 다른 필터링 세기를 갖는다. ND 필터는, 주지되어 있는 바와 같이, 광의 모든 파장 또는 컬러의 강도를 실질적으로 동등하게 감축 및/또는 수정한다. 다른 구현에서는 다른 필터가 사용되지만, 비-ND 필터는 전형적으로는 하측 센서(제1 센서(120) 등)에 의해 캡처링되는 컬러에 영향을 미칠 것이다.

센서(120, 130, 140)에 의해 캡처링되는 데이터는 하측 디바이스에 제공된다. 카메라(100)에 있어서 하측 디바이스는 프로세서 또는 저장 디바이스(150)로서 도시되어 있다. 카메라(100)의 소정 구현은 단지 데이터를 캡처링할 뿐이고, 그러한 구현에서 하측 디바이스는 저장 디바이스(150)이다. 다른 구현은 또한 또는 부가적으로 소정 프로세싱을 캡처링된 데이터 상에 수행하고, 그러한 구현에서는 하측 디바이스는 프로세서(150) 또는 조합 프로세서 및 저장 디바이스(150)이다.

카메라(100)는 또한 ND 필터(145)를 선택적으로 제거 및 삽입할 수 있다. 이러한 제어는 양방향 화살표(160)에 의해 나타내고 있다. 그러한 제어는, 예컨대, 카메라 조작자에 의해 ND 필터(145)가 제거 및 삽입될 슬롯을 가지거나, 또는 센서1(120)에 충돌하는 광을 필터링하는 위치로 그리고 그 밖으로 ND 필터(145)를 이동시키는 카메라(100) 내부 힌지를 가짐으로써 달성될 수 있다.

ND 필터(145)가 카메라(100)로부터 제거되어 있으면, 카메라(100)는, 도 2 내지 도 4에 관하여 더 상세하게 설명될 바와 같이, 네이티브 RGB 이미지를 생성하는데 사용가능한 데이터를 캡처링할 수 있다. 부가적으로, ND 필터(145)가 카메라(100)에 삽입되어 있으면, 카메라(100)는, 도 2 및 도 5 내지 도 8에 관하여 더 상세히 설명될 바와 같이, HDR 이미지를 생성하는데 사용가능한 데이터를 캡처링할 수 있다. RGB 이미지 또는 HDR 이미지를 발생시키는데 사용하기 위한 데이터를 선택적으로 캡처링할 수 있는 능력은 도 9에 관하여 설명되어 있다.

위에서 언급된 바와 같이, 카메라에서 풀 네이티브 RGB 및 HDR를 제공하기 위해, 도 1의 구현은 들어오는 광을 3개의 동등-강도 빔으로 분할하는 빔 스플리터 메커니즘(115)을 갖는 3개의 센서(120, 130, 140)를 사용한다. 알 수 있는 바와 같이, 카메라(100)는 단일 센서만을 포함하는 표준 카메라와는 다르다.

더욱, 카메라(100)는 단지 고전적 단일 센서, 2x2 베이어 패턴을 사용하는 표준 카메라와는 다르다. 그보다는, 카메라(100)는 새로운 3-센서, 3x2x4 색 픽셀 패턴을 사용한다.

도 2를 참조하면, 새로운 3x2x4 패턴이 도시되어 있다. "3x2x4"에서 "3"은 도 2가 제1 센서 패턴(210), 제2 센서 패턴(220) 및 제3 센서 패턴(230)을 포함하는 3개의 센서 패턴을 포함한다는 사실을 반영한다. "2x4"는 센서 패턴(210, 220, 230)이 전부 반복하는 2x4 매트릭스(또는 패턴)로 기술되고 있다는 사실을 반영한다. 그리하여, 제1 센서 패턴(210)(그리고 센서 패턴(220, 230)에 대해서 유사하게)은 센서 전체에 걸쳐 반복되는 것으로 의도된다.

예컨대, 카메라(100)의 일 구현에 있어서, 제1 센서 패턴(210)은 제1 센서(120) 전체에 걸쳐 반복되고, 제1 센서 패턴(210)은 제1 센서 패턴(210) 상에 도시된 컬러에 대응하는 파장을 갖는 광을 제1 센서(120)에 패스하는 필터로서 행동한다. 특히, 이러한 구현에서는, 제1 센서 패턴(210)은 "녹색"에 대해 G 라벨이 붙은 상부 좌측 부분(215)을 포함하고, 제2 센서 패턴(220)은 "적색"에 대해 R 라벨이 붙은 상부 좌측 부분(225)을 포함하고, 제3 센서 패턴은 "청색"에 대해 B 라벨이 붙은 상부 좌측 부분(235)을 포함한다. 이러한 구현에 있어서, (i) 제1 센서(120)는 상부 좌측 부분(215)에 의해 다뤄지는 영역에서는 녹색 광을 수신할 것이고, (ii) 제2 센서(130)는 상부 좌측 부분(225)에 의해 다뤄지는 영역에서는 적색 광을 수신할 것이고, (iii) 제3 센서(140)는 상부 좌측 부분(235)에 의해 다뤄지는 영역에서는 청색 광을 수신할 것이다. 다양한 구현에 있어서, 상부 좌측 부분(215, 225, 235)에 의해 다뤄지는 센서(120, 130, 140)의 영역은, 각각, 센서(120, 130, 140)에 의해 캡처링되는 이미지 내 픽셀에 대응할 것이다.

제1 센서 패턴(210)은 실제로는 반복하는 2x2 패턴으로 기술되고 있음이 명확한 것이다. 그렇지만, 편의상, 2x4 영역이 사용되는데, 제2 센서 패턴(220) 및 제3 센서 패턴(230)이 도 2에서 2x4 영역으로 기술되고 있기 때문이다. 또한 제1 센서 패턴(210)은 베이어 패턴임이 명확한 것이다. 그리하여, 이러한 구현에서는, 표준 카메라의 2x2 베이어 패턴이 2x2 베이어 패턴을 포함하는 3x2x4 패턴으로 교체된다.

도 3을 참조하면, 3개의 센서 패턴(210, 220, 230)이 다시 도시되어 있다. 도 3은 또한 조합형 패턴(310)을 포함한다. 조합형 패턴(310)에서는, 3개의 센서 패턴(210, 220, 230)의 대응하는 위치가 조합되어 있다. "조합"은 3개의 센서 패턴(210, 220, 230)으로부터의 컬러값들을 어셈블링 또는 수집 또는 취합하는 것을 지칭한다. 그리하여, 센서 패턴(210, 220, 230)의 상부 좌측 부분(215, 225, 235)의 각각에서의 컬러값은, 각각, 조합형 패턴(310)의 상부 좌측 부분(315)에 포함되어 있다. 상부 좌측 부분(315)은 GRB를 열거하고 있는데, 그것이 제1 센서 패턴(210)의 상부 좌측 부분(215)으로부터의 G, 제2 센서 패턴(220)의 상부 좌측 부분(225)으로부터의 R, 및 제3 센서 패턴(230)의 상부 좌측 부분(235)으로부터의 B를 포함(조합)하기 때문이다.

상부 좌측 부분(215, 225, 235)은 렌즈 어셈블리(110) 상에 입사하는 소스 이미지의 동일 영역("상부 좌측" 영역)로부터의 광을 각각 캡처링한다. 그리하여, 카메라(100)에 의해 찍히고 있는 소스 이미지 내 그 "상부 좌측" 영역은 3개의 센서(210, 220, 230)에 의해 각각 녹색, 적색 및 청색으로 캡처링된다. 조합형 패턴(310)은 상부 좌측 부분(315)에 GRB를 열거함으로써 이러한 사실을 반영한다.

조합형 패턴(310)의 다른 부분들은 유사한 방식으로 유도된다. 구체적으로, 3개의 센서 패턴(210, 220, 230) 내 대응하는 위치로부터의 컬러값들은 조합형 패턴(310)의 대응하는 위치에 조합된다. 조합형 패턴(310)을 조사하는 것으로부터, 조합형 패턴(310)의 위치마다 전부 적색, 녹색 및 청색의 3원색을 가짐은 명확하다. 그리하여, (각각 센서 패턴(210, 220, 230)을 갖는) 3개의 센서(120, 130, 140)의 각각에 의해 캡처링되는 이미지를 조합함으로써, 네이티브 RGB 이미지가 발생될 수 있다.

네이티브 RGB 이미지를 형성하도록 개개의 센서 이미지를 조합하는 프로세스는, 예컨대, 프로세서(150)에서 수행될 수 있다. 이러한 프로세스는, 예컨대, 결과적 네이티브 RGB 이미지를 디스플레이하도록 액세스될 수 있는 데이터 구조 내에 각각의 픽셀 위치에 대하여 적색, 녹색 및 청색 값 전부를 수집하는 것을 포함한다. 따라서, 위에서 설명된 바와 같이, 예컨대, 이러한 3x2x4 패턴의 색 픽셀-사이즈의 필터를 사용하여 3개의 센서 값을 조합함으로써, 우리는 각각의 조합형 픽셀이 R, G 및 B에 대한 캡처를 갖고 그래서 네이티브 RGB 캡처를 제공함을 안다.

다른 구현은 도 3에 도시된 것들과는 다른 제2 센서 패턴 및 제3 센서 패턴을 사용한다. 다양한 구현은 센서 패턴(210)에 제시된 바와 같이 표준 베이어 패턴으로부터 빠져 있는 컬러를 공급하도록 어셈블링될 수 있는 다양한 센서 패턴 중 어느 것이라도 사용한다. 다양한 구현은, 예컨대, 제2 센서 패턴(220)으로부터의 G(또는 R, 또는 B)들을 제3 센서 패턴(230) 내에 넣음에 의하는 것과 같이, 센서 패턴 전부에 대하여 3-컬러형 센서 패턴을 사용하지는 않는다. 또 다른 구현은 제2 센서 패턴이 제2 센서 패턴(220)의 상반만이고 제3 센서 패턴이 제3 센서 패턴(230)의 상반만인 2x2 센서 패턴으로 성취될 수 있다.

도 4를 참조하면, 네이티브 RGB 이미지를 형성하기 위한 프로세스(400)가 제공된다. 네이티브 RGB 이미지를 형성하기 위한 프로세스는 본질적으로는 도 2 내지 도 3에 관하여 위에서 설명되었다. 그렇지만, 이제 포괄적 프로세스에 대한 특정 프로세스 흐름이 제공된다.

프로세스(400)는 ND 필터 없이 3개의 센서로부터 센서 데이터를 캡처링하는 단계(410)를 포함한다. 적어도 하나의 구현에 있어서, 동작(410)은 ND 필터(145)가 제거되어 있는 카메라(100)에 의해 수행된다. 하나의 그러한 구현에 있어서, 동작(410)은, 각각, 센서 패턴(210, 220, 230)을 통하여, 센서(120, 130, 140)로부터 이미지 데이터를 캡처링함으로써 수행된다.

프로세스(400)는 네이티브 RGB 이미지를 형성하도록 그 캡처링된 센서 데이터를 조합하는 단계(420)를 포함한다. 동작(410)에 관하여 위에서 논의된 구현을 계속하면, 동작(420)은, 예컨대, 네이티브 RGB 이미지를 형성하도록 센서(120, 130, 140)로부터의 캡처링된 이미지 데이터를 조합함으로써 수행된다.

(앞서 설명된 도 1 내지 도 3과 더불어) 도 5 내지 도 8을 참조하여, 우리는 이제 HDR 이미지를 생성하기 위한 하나 이상의 구현을 설명한다. 다양한 그러한 구현은 카메라(100)에 ND 필터(145)가 삽입되어 있는 카메라(100)에 의해 수행될 수 있다.

제1 센서 패턴(210)을 갖는 제1 센서(120)는, 몇몇 구현에서는, "자율" 센서로서 고려된다. 이것은 제1 센서 패턴(210)을 갖는 제1 센서(120)가 내삽된 RGB 이미지를 발생시키도록 사용될 수 있기 때문이다. 이것은 제1 센서 패턴(210)이 고전적 베이어 패턴의 버전이고, 당업계에 알려져 있는 바와 같이, 픽셀 내삽을 통해 풀(그러나 네이티브는 아님) RGB 이미지를 제공할 수 있다는 사실로부터 따른다.

제2 센서(130) 및 제3 센서(140)는, 몇몇 구현에서는, "상보적" 센서로서 고려된다. 이것은 센서(130, 140)로부터의 캡처링된 이미지가, 각각, 센서 패턴(220, 230)을 사용하여, 풀 해상도 이미지를 내삽하도록 상보적 방식으로 조합될 수 있기 때문이다. 이들 캡처링된 이미지의 조합은, 다양한 구현에서는, 캡처링된 이미지를 조합함이 없이 가능할 것보다 더 양호한 내삽(예컨대, 모든 3개의 컬러에 대하여 퀸컹스 내삽(quincunx interpolation))을 허용한다.

그렇지만, 다른 구현은 제2 센서(130)를 자율 센서로서 사용하고 제2 센서(130)를 내삽하여 내삽된 풀 RGB 이미지를 발생시킨다. 유사하게, 다양한 구현에서는, 제3 센서(140)가 자율 센서이고 내삽된 풀 RGB 이미지를 발생시키도록 내삽된다.

도 5를 참조하면, 센서 패턴(220, 230)이 또다시 도시되어 있다.

부가적으로, 센서 패턴(220, 230)의 조합인 조합 패턴(510)이 제공되어 있다. 예컨대, 조합 패턴(510)의 상부 좌측 부분(515)은 "적색" 및 "청색"에 대한 컬러값 RB을 열거한다. 상부 좌측 부분(515)의 "R"은 제2 센서(220)의 상부 좌측 부분(225)이 컬러값 R을 열거하고 있기 때문에 포함된다. 상부 좌측 부분(515)의 "B"는 제3 센서(230)의 상부 좌측 부분(235)이 컬러값 B을 열거하고 있기 때문에 포함된다. 조합 패텅(510)의 다른 부분들은 유사한 방식으로 유도된다. 구체적으로, 2개의 센서 패턴(220, 230) 내 대응하는 위치로부터의 컬러값들은 조합 패턴(510)의 대응하는 위치에 조합되어 있다.

도 6을 참조하면, 확장형 패턴(600)이 제공되어 있다. 확장형 패턴(600)은 조합 패턴(510)의 2개의 반복된 어커런스(occurrence)를 포함한다. 알 수 있는 바와 같이, 조합 패턴(510)의 제1 어커런스는 확장형 패턴(600)의 좌측 2개의 칼럼을 포함하고, 조합 패턴(510)의 제2 어커런스는 확장형 패턴(600)의 우측 2개의 칼럼을 포함한다.

확장형 패턴(600)은 다양한 구현에서 개개의 픽셀에 각각 대응하는 내부 위치(620, 630, 640, 650)를 포함한다. 이러한 예에 있어서 "내부" 위치는 에지 픽셀이 아닌 픽셀 위치이다. 내부 위치(620-650)를 조사하면, 우리는 각각이 2개의 컬러값을 가짐을 안다.

그리하여, 풀 RGB 이미지를 산출하기 위해, 하나의 컬러값이 내부 위치(620-650)에 대하여 내삽될 것이다. 예시된 바와 같이, (i) 내부 위치(620)에 대하여는 G가 내삽될 것이고, (ii) 내부 위치(630)에 대하여는 B가 내삽될 것이고, (iii) 내부 위치(640)에 대하여는 R이 내삽될 것이고, (iv) 내부 위치(650)에 대하여는 G가 내삽될 것이다. 빠져 있는 컬러값을 식별하는 이러한 패턴은, 내부 위치든 아니든, 모든 위치에 대하여 계속될 수 있다.

부가적으로, 조합 패턴(510)의 더 많은 어커런스를 반복(타일링)함으로써, 확장형 패턴(600)은 어떠한 사이즈의 센서에라도 대응하도록 사이즈가 증가될 수 있다.

도 7을 참조하면, 확장형 패턴(600)의 4개의 별개 버전이 제공되고, 이들 4개의 버전은 내삽 전략을 나타낸다. 4개의 버전은 (i) 내부 위치(620)에 대응하는 제1 내삽 패턴(720), (ii) 내부 위치(630)에 대응하는 제2 내삽 패턴(730), (iii) 내부 위치(640)에 대응하는 제3 내삽 패턴(740), 및 (iv) 내부 위치(650)에 대응하는 제4 내삽 패턴(750)을 포함한다.

내삽 패턴(720-750)의 각각에 도시된 바와 같이, 내부 위치(620-650)로부터 빠져 있는 컬러값이 좌측, 우측, 상부 및 하부에 바로 인접하는 위치에 존재한다. 이것은, 내삽 패턴(720)에 대해서는, 대응하는 위치(예컨대, 픽셀) 내 G를 강조하는 원(722, 724, 726, 728)으로 도시되어 있다. 이것은, 내삽 패턴(730)에 대해서는, 대응하는 위치 내 B를 강조하는 원(732, 734, 736, 738)으로 도시되어 있다. 이것은, 내삽 패턴(740)에 대해서는, 대응하는 위치 내 R을 강조하는 원(742, 744, 746, 748)으로 도시되어 있다. 이것은, 내삽 패턴(750)에 대해서는, 대응하는 위치 내 G를 강조하는 원(752, 754, 756, 758)으로 도시되어 있다.

적어도 내삽 패턴(730, 740)에 대해서는, 대각으로 인접하는 위치를 포함하는 모든 인접하는 위치에서 빠져 있는 컬러 둘레로 원이 그려질 수 있었음이 명확하다. 즉, 예컨대, 내삽 패턴(730)에 있어서, 내부 위치(630)를 둘러싸는 모든 8개의 이웃하는 위치는 B 컬러값을 갖는다. 동일한 것이 내삽 패턴(740)에 적용되어, 거기서는 내부 위치(640)를 둘러싸는 모든 8개의 이웃하는 위치가 R 컬러값을 갖는다.

그렇지만, (조합 패턴(510)에 기반하는) 확장형 패턴(600)의 더 큰 버전, 및 그로써 내삽 패턴(720, 730, 740, 750)의 더 큰 버전에 대해서라도, 모든 내부 위치는 그들의 이웃하는 좌측, 우측, 상부 및 하부 위치에 존재하는 그들의 빠져 있는 컬러값을 가질 것임이 또한 명확하다.

그리하여, 조합 패턴(510)의 버전을 갖는 센서로부터 캡처링된 이미지 내 모든 내부 위치에 대하여 공통 내삽 알고리즘을 사용하는 것이 가능하다. 공통 내삽 알고리즘은, 예컨대, 좌측, 우측, 상부 및 하부에 인접하는 위치에 기반할 수 있다. 하나의 그러한 내삽 알고리즘은 빠져 있는 컬러값을 내삽하도록 사용될 수 있는 퀸컹스 픽셀 내삽 알고리즘이다. 그렇지만, 좌측, 우측, 상부 및 하부에 인접하는 4개의 위치를 사용하는 어떠한 알고리즘이라도 사용될 수 있다.

베이어 패턴을 사용하는 것에 비해 (도 5 내지 도 7의 패턴을 사용하는) 이러한 구현의 이점은 R, G 및 B의 각각의 빠져 있는 픽셀 값에 대하여 풀 퀸컹스 패턴이 픽셀 내삽에 이용가능하다는 것이다. 대조적으로, 베이어 패턴을 사용할 때, 풀 퀸컹스 패턴은 G에 대해서만 픽셀 내삽에 이용가능하고, R 및 B에 대해서는 아니다. 모든 3개의 컬러에 대하여 픽셀 내삽에 이용가능한 풀 퀸컹스 패턴을 갖는 것은, 베이어 패턴만을 사용하는 것에 비해, 더 높은 품질의 내삽된 이미지의 결과를 초래하는 것이다. 이러한 품질은, 다수의 내삽 알고리즘을 사용하는 구현에 비해 복잡도 이점을 또한 제공하는 단일 내삽 알고리즘을 사용하여 달성될 수 있다. 이러한 비교는 베이어 패턴을 사용하는 단일 센서와 관련되어 있지만, 전부 베이어 패턴을 갖는 3개의 센서가 사용되더라도, 그 결과는 베이어 패턴이 똑같고 어떠한 부가적 컬러 정보도 제공하지 않을 것이기 때문에 동일하다.

HDR의 경우에 있어서, 여러 다른 ND 필터가 적용되어 전체 휘도 레인지를 캡처링하는 다수의 시나리오가 가능하기는 하지만, 적어도 하나의 특정 구현이 혁신적 가능성을 허용한다. 제1 센서 패턴(210)은, 그것이 고전적 베이어 스킴으로 픽셀을 내삽하고 있기 때문에, 적어도 제2 센서 패턴(220) 및 제3 센서 패턴(230)의 조합과 비교될 때, 더 낮은 해상도로 된다. 그래서, 제1 센서 패턴(210)은 센서를 통상 포화시킬 화상의 고휘도 영역에 클리어 픽셀(즉, 디테일 및 차이가 관람자에 의해 보일 수 있게 하는 레인지에 걸쳐 분포된 유용한 휘도 정보를 갖는 픽셀 값)을 제공하도록 (휘도를 필터링해내는) 높은 값 ND 필터와 사용될 수 있다. 부가적으로, 제2 센서 패턴(220)과 제3 센서 패턴(230)의 조합은, ND 필터가 적용됨이 없이도, 카메라가 설정되는 더 높은 해상도, "참조" 이미지를 제공할 수 있다. 2개의 센서 패턴(220, 230)이 이러한 "참조" 이미지를 캡처링하도록 사용되기 대문에, 조합 패턴(510)이 발생될 수 있고, 풀 퀸컹스 픽셀 내삽이 모든 3원색에 이용가능하다.

이러한 특정 구현에 있어서, 더 낮은 해상도 이미지 및 더 높은 해상도 "참조" 이미지는 둘 다 3개의 캡처링된 이미지에 기반하여 발생된다. 그 후 이들 2개의 다른 해상도 이미지는 HDR 이미지를 형성하도록 조합된다. 이러한 조합형 HDR 이미지는 3개의 독립적 베이어-유형 센서를 사용하는 것보다 더 많은 휘도를 갖고 우수한 해상도로 될 것이다. ND 필터는 더 큰 휘도 레인지가 유의미하게 캡처링될 수 있게 하고 이미지에 대하여 더 유용한 휘도 정보를 공급하기 때문에 더 큰 휘도가 제공된다. 베이어 패턴을 사용하여 가능한 표준 내삽에 비해, 개선된 내삽 때문에 우수한 해상도가 제공된다.

도 8을 참조하면, HDR 이미지를 형성하기 위한 프로세스(800)가 제공된다. HDR 이미지를 형성하기 위한 프로세스는 본질적으로는 도 5 내지 도 7에 관하여 위에서 설명되었다. 그렇지만, 이제 포괄적 프로세스에 대한 특정 프로세스 흐름이 제공된다.

프로세스(800)는 ND 필터가 센서 중 하나에 적용되어 있는 3개의 센서로부터 센서 데이터를 캡처링하는 단계(810)를 포함한다. 적어도 하나의 구현에 있어서, 동작(810)은 ND 필터(145)가 삽입되어 있는 카메라(100)에 의해 수행된다. 하나의 그러한 구현에 있어서, 동작(810)은, 빔 스플리터(115)와 제1 센서(120) 사이에 삽입된 ND 필터(145)로, 그리고, 각각, 센서 패턴(210, 220, 230)을 통하여, 센서(120, 130, 140)로부터 이미지 데이터를 캡처링함으로써 수행된다.

프로세스(800)는 출력으로서 고-휘도-영역(higher-luminance-area)("HLA") 데이터를 형성하도록 ND-필터링된 센서로부터 캡처링된 이미지 데이터를 내삽하는 단계(820)를 포함한다. "데이터"는, 예컨대, 프레임 전체의 일부 또는 전부일 수 있다. "고-휘도-영역"은 더 높은 휘도값을 갖는, ND-필터링 전, 원래 소스 컨텐트의 영역을 지칭한다. 물론, 그들 동일 영역은 또한 원래 소스 컨텐트의 ND-필터링된 버전에서, ND-필터링된 버전의 나머지에 비해, 더 높은 휘도값을 가질 것이다. HLA "데이터"는 전형적으로는 그들 값이 이용가능한 다이내믹 레인지의 더 큰 부분을 점유하도록 HLA의 원래 컬러값의 리매핑인 것으로 생각될 수 있다.

ND 필터는 입력 소스 컨텐트의 전반적 휘도를 감축하여, 센서에 의해 캡처링되는 컬러값을 감축할 것이다. 이러한 감축은 전형적으로는 입력 소스 컨텐트의 낮은 컬러값이 센서의 다이내믹 레인지의 하단 내로 응축되게 야기한다. 이러한 감축은 또한 전형적으로는 입력 소스 컨텐트의 높은 컬러값이 센서의 다이내믹 레인지 전체에 걸쳐 퍼져나가게 야기한다.

동작(810)에 관하여 위에서 논의된 구현을 계속하면, 동작(820)은, 예컨대, 프로세서(150)에 의해 수행된다. 이러한 구현에 있어서, 프로세서(150)는, 예컨대, 베이어 패턴 이미지에 사용되는 표준 내삽 알고리즘을 수행한다. 그 내삽은, 제1 센서 패턴(210)을 통하여, 제1 센서(120)로부터의 캡처링된 이미지 또는 데이터 상에 수행된다. 출력 이미지는, 그러한 구현에서는, 내삽된 이미지 전체이다. 이러한 구현에 있어서, HLA 데이터는 내삽된 이미지의 일부분이다.

프로세스(800)는 다른 센서로부터 캡처링된 데이터를 조합하는 단계(830)를 포함한다. 동작(810-820)에 관하여 위에서 논의된 구현을 계속하면, 동작(830)은, 예컨대, 프로세서(150)에 의해 수행된다. 이러한 구현에 있어서, 프로세서(150)는, 센서 패턴(220, 230)을 통하여, 센서(130, 140)로부터의 캡처링된 이미지 데이터를 조합한다. 다른 구현이 다양한 세기의 ND 필터를 사용한다 하더라도, 센서(130) 또는 센서(140) 중 어느 것이든 앞에는 ND 필터가 사용되지 않는다. 그 결과는 조합 패턴(510)에 의해 나타낸 컬러에 대한 값을 갖는 이미지 또는 이미지 데이터이다.

프로세스(800)는, 저-휘도-영역(lower-luminance-area: "LLA") 데이터를 형성하도록, 동작(830)으로부터의 조합된 센서 데이터를 내삽하는 단계(840)를 포함한다. "데이터"는, 예컨대, 이미지 전체의 일부분 또는 단지 독립형 세트의 데이터일 수 있다. "저-휘도-영역"는 ND 필터가 없으면 캡처링된 이미지 데이터이기도 한 원래 소스 컨텐트의 영역으로서 더 낮은 휘도값을 갖는 영역을 지칭한다. 전형적 구현에 있어서, LLA는 센서의 다이내믹 레인지로 효과적으로 표현되는 컬러값을 가질 것이다.

동작(810 내지 830)에 관하여 위에서 논의된 구현을 계속하면, 동작(840)은, 예컨대, 프로세서(150)에 의해 수행된다. 이러한 구현에 있어서, 프로세서(150)는, 예컨대, 최종 HDR 이미지에 대한 참조 이미지를 산출하도록 도 7에 관하여 논의된 바와 같은 퀸컹스 내삽 알고리즘을 수행한다. 이러한 구현에 있어서, LLA 데이터는 참조 이미지의 일부분이다.

프로세스(800)는 HDR 이미지를 형성하도록 HLA 데이터와 LLA 데이터를 병합하는 단계(850)를 포함한다. HLA 데이터는 원래 컨텐트 소스 중 더 높은 휘도를 갖는 부분에 대한 리매핑(ND 필터에 기인함)된 컬러값을 포함한다. LLA 데이터는 원래 컨텐트 소스 중 더 낮은 휘도를 갖는 부분에 대한 컬러값을 포함한다. 이들 2개의 데이터 세트를 병합하는 것은 원래 소스 컨텐트 중 저-휘도 부분도 그리고 원래 소스 컨텐트 중 고-휘도 부분도 표현하는 컬러값을 갖는 이미지를 제공한다. 더욱, 고-휘도 부분은 전형적으로는 ND 필터 때문에 더 큰 다이내믹 레인지에 걸쳐 표현되어, 고-휘도 부분의 디테일이 관람자에게 더 잘 보일 수 있게 된다.

동작(810 내지 840)에 관하여 위에서 논의된 구현을 계속하면, 동작(850)은, 예컨대, 프로세서(150)에 의해 수행된다. 프로세서(150)는 각종 방식으로 동작(850)의 병합을 수행할 수 있다. 일 구현에 있어서, 프로세서(150)는 원래 컨텐트 소스 중 어느 부분이, 예컨대 하늘 또는 창으로부터의 조망과 같이, "높은" 휘도 영역인지 결정한다. 식별된 영역은, 예컨대, 특정 임계값 위의 평균 휘도를 갖는 물체 또는 피처를 포함한다. 그 후 구현은 그들 "높은" 휘도 위치로부터 HLA 데이터를 추출하고 그 추출된 데이터를 LLA 데이터의 병설된 위치로 위에 복사하여 HDR 이미지를 형성한다. 다른 구현은 LLA 데이터(비-고휘도 영역 또는 식별된 저휘도 영역 중 어느 것)로부터 데이터를 추출하고 그것을 HLA 데이터 내로 복사하여 HDR 이미지를 형성한다. 다른 구현은, 예컨대, LLA 데이터 및 HLA 데이터 둘 다로부터 데이터를 추출하고 2개의 추출을 새로운 이미지로 병합한다.

다양한 구현에 있어서, HLA 데이터 및/또는 LLA 데이터는 프레임 전체를 포함한다. 그렇지만, 다른 구현에 있어서, HLA 데이터 및/또는 LLA 데이터는 그저 프레임의 작은 부분에 불과하다.

도 9를 참조하면, 네이티브 3-컬러 이미지 및 HDR 이미지를 형성하기 위한 프로세스(900)가 제공되어 있다. 3-컬러 이미지는, 다양한 구현에서는, RGB 이미지이다. 그렇지만, 본 출원 내 다른 곳에서 논의된 바와 같이, 다른 구현에서는 다른 컬러가 사용된다. 이들 2개의 이미지를 형성하기 위한 그러한 프로세스의 일례는 본질적으로는 도 2 내지 도 8에 관하여 위에서 설명되었다. 그렇지만, 이제 포괄적 프로세스에 대한 특정 프로세스 흐름이 제공된다.

프로세스(900)는 다수의 센서 및 단일 렌즈 어셈블리로부터 네이티브 3-컬러 이미지를 생성하는 단계(910)를 포함한다. 적어도 하나의 구현에 있어서, 동작(910)은 다수의 센서로부터 캡처링된 제1 세트의 컬러값을 사용하여 RGB 이미지를 생성하는 단계를 포함한다. 이러한 구현에 있어서, RGB 이미지의 다수의 픽셀 위치는 다수의 센서로부터 캡처링되는 R, G 및 B에 대한 컬러값을 갖고, 단일 렌즈 어셈블리는 다수의 센서에 광을 패스한다.

또 다른 구현에 있어서, 동작(910)은, 센서 패턴(210, 220, 230)이 각각 센서(120, 130, 140)와 사용되고 있고, ND 필터(145)가 제거되어 있는 카메라(100)에 의해 수행된다. 카메라(100)는, 예컨대, 프로세스(400)를 사용하여 동작(910)을 수행한다.

프로세스(900)는 다수의 센서로부터 HDR 이미지를 생성하는 단계(920)를 포함한다. 적어도 하나의 구현에 있어서, 동작(920)은 다수의 센서로부터 캡처링된 제2 세트의 컬러값을 사용하여 HDR 이미지를 생성하는 단계를 포함한다. 몇몇 그러한 구현에 있어서, HDR 이미지는 고-휘도 영역 성분 및 저-휘도 영역 성분을 포함한다.

또 다른 구현에 있어서, 동작(920)은, 센서 패턴(210, 220, 230)이 각각 센서(120, 130, 140)와 사용되고 있고, ND 필터(145)가 삽입되어 있는 카메라(100)에 의해 수행된다. 카메라(100)는, 예컨대, 프로세스(800)를 사용하여 동작(920)을 수행한다. 프로세스(900)는 동일 세트의 센서로 네이티브 RGB 이미지도 그리고 HDR 이미지도 생성할 수 있다. 이것은 또한 그 세트의 센서 및 단일 렌즈 어셈블리를 포함하는 단일 카메라가 네이티브 RGB 이미지도 그리고 HDR 이미지도 캡처링하도록 사용될 수 있게 함이 명확한 것이다. 그러한 카메라는 네이티브 RGB 이미지 또는 HDR 이미지를 발생시키는데 사용을 위한 데이터를 선택적으로 캡처링할 수 있는 능력을 갖는다.

부가적 특징을 프로세스(900)에 부가하는 것을 포함하는 다양한 구현이 달성된다. 프로세스(900)의 몇몇 변형은 이하의 구현에서의 특징 중 하나 이상을 포함한다.

또 다른 구현에 있어서, 프로세스(900)는 다수의 센서가 다수의 컬러를 취득하도록 구성되어 있는 그리고 서로 다른 컬러 패턴을 갖는 필터를 사용하는 3개의 센서를 포함하게 되도록 더 정의된다.

또 다른 구현에 있어서, 프로세스(900)는 3개의 다른 컬러 패턴이 (i) 적색("R"), 녹색("G") 및 청색("B")을 포함하는 제1 패턴, (ii) R, G 및 B를 포함하는 제2 패턴, 및 (iii) R, G 및 B를 포함하는 제3 패턴을 포함하게 되도록 더 정의된다.

또 다른 구현에 있어서, 프로세스(900)는 HDR 이미지를 생성하는 단계가 HDR 이미지의 다수의 픽셀 위치에 대하여 R, G 및 B를 갖도록 제2 세트의 컬러값을 내삽하는 단계를 포함하게 되도록 더 정의된다.

또 다른 구현에 있어서, 프로세스(900)는 HDR 이미지를 생성하는 단계가 HDR 이미지의 모든 내부 픽셀 위치에 대하여 R, G 및 B를 갖도록 제2 세트의 컬러값을 내삽하는 단계를 포함하게 되도록 더 정의된다.

또 다른 구현에 있어서, 프로세스(900)는, HDR 이미지가 제1 이미지 내 대응하는 위치로부터 유도된 픽셀 값을 갖는 고-휘도 영역 성분을 포함하고, 제2 이미지 내 대응하는 위치로부터 유도된 픽셀 값을 갖는 저-휘도 영역 성분을 포함하게 되도록 더 정의된다.

또 다른 구현에 있어서, 프로세스(900)는, (i) 다수의 센서가 베이어-패턴 센서를 포함하고, (ii) 제2 세트의 컬러값이 베이어-패턴 센서로부터 캡처링된 컬러값을 포함하고, (iii) HDR 이미지를 생성하는 단계가 고-휘도 영역 성분을 생성하는 단계를 포함하고, (iv) 고-휘도 영역 성분을 생성하는 단계가 베이어-패턴 센서로부터 캡처링된 제2 세트의 컬러값 내 컬러값을 내삽하는 단계를 포함하게 되도록 더 정의된다.

또 다른 구현에 있어서, 프로세스(900)는 (i) 다수의 센서가 제1 센서 및 제2 센서를 포함하고, (ii) 제1 및 제2 센서가 다수의 컬러를 취득하도록 구성되고, (iii) HDR 이미지를 생성하는 단계가 저-휘도 영역 성분을 생성하는 단계를 포함하고, (iv) 저-휘도 영역 성분을 생성하는 단계가 퀸컹스 알고리즘을 사용하여 내삽될 수 있는 R, G 및 B 패턴을 형성하도록 제1 및 제2 센서로부터 캡처링된, 제2 세트로부터의, R, G 및 B 컬러값을 어셈블링하는 단계를 포함하게 되도록 더 정의된다.

또 다른 구현에 있어서, 프로세스(900)는 저-휘도 영역 성분을 생성하는 단계가 퀸컹스 알고리즘을 사용하여 그 형성된 R, G 및 B 패턴을 내삽하는 단계를 더 포함하게 되도록 더 정의된다.

또 다른 구현에 있어서, 프로세스(900)는 고-휘도 영역 성분을 생성하는 단계가 다수의 센서 중 적어도 하나의 앞에 ND 필터를 사용하는 단계를 더 포함하게 되도록 더 정의된다.

또 다른 구현에 있어서, 프로세스(900)는 (i) 다수의 센서가 제1 센서, 제2 센서 및 제3 센서를 포함하고, (ii) 제1 센서, 제2 센서 및 제3 센서가 다수의 컬러를 취득하도록 구성되고, (iii) 컬러 이미지를 생성하는 단계가, 적어도 다수의 픽셀 위치에 대하여, 제1 센서, 제2 센서 및 제3 센서로부터 캡처링된, 제1 세트로부터의, R, G 및 B 컬러값을 어셈블링하는 단계를 더 포함하게 되도록 더 정의된다.

또 다른 구현에 있어서, 프로세스(900)는 제1 센서가 베이어-패턴 센서가 되도록 더 정의된다.

또 다른 구현에 있어서, 프로세스(900)는 다수의 센서가 3개 이하의 센서를 포함하도록 더 정의된다.

또 다른 구현에 있어서, 프로세스(900)는 제1 세트의 컬러값이 제2 세트의 컬러값을 오버랩하게 되도록 더 정의된다.

또 다른 구현에 있어서, 프로세스(900)는 3개의 컬러가 가색적(additive)이 되도록 더 정의된다.

또 다른 구현에 있어서, 프로세스(900)는 (i) 3개의 컬러가 R, G 및 B이고, (ii) 컬러 이미지가 RGB 이미지이게 되도록 더 정의된다.

또 다른 구현에 있어서, 프로세스(900)는 렌즈 어셈블리 및 다수의 센서를 포함하는 카메라에 의해 수행된다.

또 다른 구현에 있어서는, 프로세스(900) 또는 일 변형의 프로세스(900)를 수행하도록 일괄 구성된 하나 이상의 프로세서를 포함하는 장치가 제공된다.

또 다른 구현에 있어서는, 프로세스(900) 또는 프로세스(900)의 변형의 동작을 수행하기 위한 구조를 포함하는 장치가 제공된다. 그 구조는, 예컨대, 하나 이상의 프로세서를 포함한다.

또 다른 구현에 있어서는, 프로세서 판독가능한 매체가 제공된다. 프로세서 판독가능한 매체는 하나 이상의 프로세서가 프로세스(900) 또는 프로세스(900)의 변형을 일괄 수행하게 야기하기 위한 명령어를 저장하고 있다.

또 다른 구현에 있어서, 장치는 렌즈 어셈블리, 및 렌즈 어셈블리를 통하여 광을 수신하도록 배열된 다수의 센서를 포함한다. 다수의 센서로부터 캡처링된 제1 세트의 컬러값은 다수의 픽셀 위치에 대하여 3개의 컬러값을 제공하도록 어셈블링될 수 있다. 다수의 센서로부터 캡처링된 제2 세트의 컬러값은 HDR 이미지를 제공하도록 내삽될 수 있다. 장치는, 예컨대, 프로세스(900) 또는 프로세스(900)의 변형을 수행하도록 사용될 수 있다.

일 변형에 있어서, 다수의 센서는 제1 센서, 제2 센서 및 제3 센서를 포함한다. 제1 센서는 3-컬러 패턴을 사용하여 3개의 컬러를 취득하도록 구성된다. 제2 센서는 제1 센서의 패턴과는 다른 3-컬러 패턴을 사용한다. 제3 센서는 제1 센서의 패턴 및 제2 센서의 패턴과는 다른 3-컬러 패턴을 사용한다.

일 변형에 있어서, HDR 이미지는 (i) 제1 이미지 내 대응하는 위치로부터 유도된 픽셀 값을 갖는 고-휘도 영역 성분, 및 (ii) 제2 이미지 내 대응하는 위치로부터 유도된 픽셀 값을 갖는 저-휘도 영역 성분을 포함한다. 제1 센서 패턴은 제1 센서로부터 캡처링된 컬러값이 고-휘도 영역 성분의 모든 내부 픽셀에 대하여 R, G 및 B 컬러값을 제공하도록 내삽될 수 있게 한다. 제2 센서 패턴 및 제3 센서 패턴은 제2 센서 및 제3 센서로부터 캡처링된 컬러값이 저-휘도 영역 성분의 모든 내부 픽셀에 대하여 R, G 및 B 컬러값을 제공하도록 퀸컹스 알고리즘을 사용하여 어셈블링 및 내삽될 수 있게 한다. 제2 센서 패턴 및 제3 센서 패턴은 제1 센서, 제2 센서 및 제3 센서로부터 캡처링된 컬러값이 RGB 이미지의 모든 내부 픽셀에 대하여 캡처링된 R, G 및 B 컬러값을 제공하도록 어셈블링될 수 있게 한다.

일 변형에 있어서, 제2 센서 패턴은 3/8 R, 2/8 G 및 3/8 B이다.

일 변형에 있어서, 제3 센서 패턴은 3/8 R, 2/8 G 및 3/8 B이다.

일 변형에 있어서, 제2 센서 패턴 및 제3 센서 패턴은 베이어 패턴으로부터 빠져 있는 컬러를 제공하도록 조합된다.

일 변형에 있어서, 제1 센서의 3-컬러 패턴은 베이어-패턴이다.

일 변형에 있어서, 장치는 다수의 센서 중 하나와 렌즈 어셈블리 사이에 배열된 ND 필터를 포함한다.

일 변형에 있어서, 장치는 제1 센서와 렌즈 어셈블리 사이에 배열된 ND 필터를 포함한다.

일 변형에 있어서, 3개의 컬러는 R, G 및 B이고, 컬러값은 RGB 이미지를 형성하도록 어셈블링될 수 있다.

도 10은 이미지를 프로세싱 및 송신하는데 사용을 위한 송신 시스템의 일례를 묘사하는 블록 선도를 제공하고 있다. 도 10을 이제 참조하면, 위에서 설명된 특징 및 원리가 적용될 수 있는 비디오 송신 시스템 또는 장치(1600)가 도시되어 있다. 비디오 송신 시스템 또는 장치(1600)는, 예컨대, 위성, 케이블, 전화-회선 또는 지상 방송과 같이 다양한 미디어 중 어느 것이라도 사용하여 신호를 송신하기 위한 헤드-엔드 또는 송신 시스템일 수 있다. 비디오 송신 시스템 또는 장치(1600)는 또한 또는 대안으로, 예컨대 저장을 위한 신호를 제공하도록 사용될 수 있다. 송신은 인터넷 또는 어떤 다른 네트워크를 통해 제공될 수 있다. 비디오 송신 시스템 또는 장치(1600)는 비디오 컨텐트 및, 예컨대, 메타데이터와 같은 다른 컨텐트를 발생 및 전달할 수 있다. 또한, 도 10의 블록은, 비디오 송신 시스템 또는 장치의 블록 선도를 제공하는 것에 부가하여, 비디오 송신 프로세스의 흐름 선도를 제공하는 것임이 명확한 것이다.

비디오 송신 시스템 또는 장치(1600)는 프로세서(1601)로부터 입력 비디오를 수신한다. 일 구현에 있어서, 프로세서(1601)는 단순히 프로그램으로부터의 이미지와 같은 비디오 이미지를 비디오 송신 시스템 또는 장치(1600)에 제공한다. 그렇지만, 또 다른 구현에 있어서, 프로세서(1601)는, 대안으로 또는 부가적으로, 다른 소스로부터의 컨텐트를 비디오 송신 시스템 또는 장치(1600)에 제공한다. 프로세서(1601)는 또한 메타데이터를 비디오 송신 시스템 또는 장치(1600)에 제공할 수 있고, 거기서 메타데이터는, 예컨대, 입력 이미지 중 하나 이상에 관한 것이고, 예컨대, 데이터를 인코딩하도록 사용되는 인코딩 방법의 기술을 포함할 수 있다.

비디오 송신 시스템 또는 장치(1600)는 인코딩된 신호를 송신할 수 있는 송신기(1604) 및 인코더(1602)를 포함한다. 인코더(1602)는 프로세서(1601)로부터 비디오 정보를 수신한다. 비디오 정보는, 예컨대, 비디오 이미지 및/또는 다른 컨텐트를 포함할 수 있다. 인코더(1602)는 비디오 및/또는 다른 정보에 기반하여 인코딩된 신호(들)를 발생시킨다. 인코더(1602)는, 다양한 구현에 있어서, 소스 인코더, 채널 인코더, 또는 소스 인코더와 채널 인코더의 조합이다. 다양한 구현에 있어서, 인코더(1602)는, 예컨대, AVC 인코더(본 출원 내 다른 곳에서 정의됨)이다.

인코더(1602)는, 예컨대, 여러 가지의 정보를 수신하여 저장 또는 송신을 위한 구조화된 포맷으로 어셈블링하기 위한 어셈블리 유닛을 포함하는 서브-모듈을 포함할 수 있다. 여러 가지의 정보는, 예컨대, 인코딩되거나 인코딩되지 않은 비디오, 다른 컨텐트, 메타데이터 또는 정보, 및 모션 벡터, 코딩 모드 표시자 및 구문 엘리먼트와 같은 다양한 엘리먼트를 포함할 수 있다. 일부 구현에 있어서, 인코더(1602)는 프로세서(1601)를 포함하고 그래서 프로세서(1601)의 연산을 수행한다.

송신기(1604)는 인코더(1602)로부터 인코딩된 신호(들)를 수신하고 인코딩된 신호(들)를 하나 이상의 출력 신호로 송신한다. 송신기(1604)는, 예컨대, 인코딩된 화상 및/또는 그에 관련된 정보를 표현하는 하나 이상의 비트스트림을 갖는 프로그램 신호를 송신하도록 적응될 수 있다. 전형적 송신기는, 예컨대, 에러-정정 코딩을 제공하는 것(대안으로 또는 부가적으로, 인코더(1602)에서 수행될 수 있음), 신호 내 데이터를 인터리빙하는 것(대안으로 또는 부가적으로, 인코더(1602)에서 수행될 수 있음), 신호 내 에너지를 랜덤화하는 것, 및 변조기(1606)를 사용하여 하나 이상의 반송파 상으로 신호를 변조하는 것 중 하나 이상과 같은 기능을 수행한다. 송신기(1604)는 안테나(도시하지 않음)를 포함하거나 그와 인터페이싱할 수 있다. 더욱, 송신기(1604)의 구현은 변조기(1606)로 한정될 수 있다.

비디오 송신 시스템 또는 장치(1600)는 또한 저장 유닛(1608)에 통신 결합되어 있다. 일 구현에 있어서, 저장 유닛(1608)은 인코더(1602)에 결합되고, 저장 유닛(1608)은 인코더(1602)로부터의 인코딩된 비트스트림을 저장하고, 옵션으로서, 저장된 비트스트림을 송신기(1604)에 제공한다. 또 다른 구현에 있어서, 저장 유닛(1608)은 송신기(1604)에 결합되어 있고, 송신기(1604)로부터의 비트스트림을 저장한다. 송신기(1604)로부터의 비트스트림은, 예컨대, 송신기(1604)에 의해 더 프로세싱되어 있는 하나 이상의 인코딩된 비트스트림을 포함할 수 있다. 저장 유닛(1608)은, 여러 다른 구현에서는, 표준 DVD, 블루-레이 디스크, 하드 드라이브, 또는 어떤 다른 저장 디바이스 중 하나 이상이다.

도 10은 또한 사용자 인터페이스(1610) 및 디스플레이(1620)를 포함하고, 그 둘 다는 프로세서(1601)에 통신 결합되어 있다. 프로세서(1601)는, 예컨대, 조작자로부터의 입력을 수용하기 위한 사용자 인터페이스(1610)에 통신 결합되어 있다. 프로세서(1601)는, 예컨대, 디지털 화상을 디스플레이하기 위한 디스플레이(1620)에 통신 결합되어 있다. 화상은, 다양한 구현에 있어서, 프로세서(1601)에 의해 프로세싱되기 전에, 그 동안 그리고/또는 그 후에 디스플레이된다.

디스플레이(1620)는 또한, 다양한 구현에 있어서, 사용자 인터페이스(1610)를 포함한다. 일 구현은 사용자 인터페이스(1610) 및 디스플레이(1620) 둘 다에 대해 터치 스크린을 사용한다.

도 11은 이미지를 수신 및 프로세싱하는데 사용을 위한 수신 시스템의 일례를 묘사하는 블록 선도를 제공하고 있다. 도 11을 이제 참조하면, 위에서 설명된 특징 및 원리가 적용될 수 있는 비디오 수신 시스템 또는 장치(1700)가 도시되어 있다. 비디오 수신 시스템 또는 장치(1700)는, 예컨대, 위성, 케이블, 전화-회선 또는 지상 방송과 같이 다양한 미디어를 통해 신호를 수신하도록 구성될 수 있다. 신호는 인터넷 또는 어떤 다른 네트워크를 통해 수신될 수 있다. 또한, 도 11의 블록은, 비디오 수신 시스템 또는 장치의 블록 선도를 제공하는 것에 부가하여, 비디오 수신 프로세스의 흐름 선도를 제공하는 것임이 명확한 것이다.

비디오 수신 시스템 또는 장치(1700)는, 예컨대, 인코딩된 비디오를 수신하고 예컨대 디스플레이(예컨대, 사용자에게 디스플레이)를 위해, 프로세싱을 위해, 또는 저장을 위해 디코딩된 비디오 신호를 제공하는 셀 폰, 컴퓨터, 태블릿, 라우터, 게이트웨이, 셋-톱 박스, 텔레비전 또는 다른 디바이스를 포함할 수 있다. 그리하여, 비디오 수신 시스템 또는 장치(1700)는, 예컨대, 텔레비전의 스크린, 셀 폰의 스크린, 태블릿의 스크린, 컴퓨터 모니터, (저장, 프로세싱 또는 디스플레이를 위한) 컴퓨터, 또는 어떤 다른 저장, 프로세싱 또는 디스플레이 디바이스에 그 출력을 제공할 수 있다.

비디오 수신 시스템 또는 장치(1700)는 비디오 정보를 수신 및 프로세싱할 수 있다. 비디오 정보는, 예컨대, 비디오 이미지, 다른 컨텐트 및/또는 메타데이터를 포함할 수 있다. 비디오 수신 시스템 또는 장치(1700)는, 예컨대, 본 출원의 구현에서 설명된 신호와 같은 인코딩된 신호를 수신하기 위한 수신기(1702)를 포함한다. 수신기(1702)는, 예컨대, (i) 프로그램 내 화상의 시퀀스에 대해 인코딩된 레이어를 제공하는 신호, 또는 (ii) 도 10의 비디오 송신 시스템(1600)으로부터(예컨대, 송신기(1604) 또는 저장 유닛(1608)으로부터) 출력된 신호를 수신할 수 있다.

수신기(1702)는, 예컨대, 인코딩된 화상(예컨대, 비디오 화상 또는 심도 화상)을 표현하는 복수의 비트스트림을 갖는 프로그램 신호를 수신하도록 적응될 수 있다. 전형적 수신기는, 예컨대, 변조 및 인코딩된 데이터 신호를 수신하는 것, 복조기(1704)를 사용하여 하나 이상의 반송파로부터 데이터 신호를 복조하는 것, 신호 내 에너지를 역-랜덤화하는 것, 신호 내 데이터를 역-인터리빙하는 것(대안으로 또는 부가적으로, 디코더에서 수행될 수 있음), 및 신호를 에러-정정 디코딩하는 것(대안으로 또는 부가적으로, 디코더에서 수행될 수 있음) 중 하나 이상과 같은 기능을 수행한다. 수신기(1702)는 안테나(도시하지 않음)를 포함하거나 그와 인터페이싱할 수 있다. 수신기(1702)의 구현은 복조기(1704)로 한정될 수 있다.

비디오 수신 시스템 또는 장치(1700)는 디코더(1706)를 포함한다. 디코더(1706)는, 다양한 구현에 있어서, 소스 디코더, 채널 디코더, 또는 소스 디코더와 채널 디코더의 조합이다. 일 구현에 있어서, 디코더(1706)는 도 1의 소스 디코더(160) 및 채널 디코더(155)를 포함한다.

수신기(1702)는 수신된 신호를 디코더(1706)에 제공한다. 수신기(1702)에 의해 디코더(1706)에 제공된 신호는 하나 이상의 인코딩된 비트스트림을 포함할 수 있다. 디코더(1706)는, 예컨대, 비디오 정보, 다른 컨텐트 또는 메타데이터를 포함하는 디코딩된 비디오 신호와 같은 디코딩된 신호를 출력한다. 디코더(1706)는, 예컨대, AVC 디코더(본 출원 내 다른 곳에서 정의됨)일 수 있다.

비디오 수신 시스템 또는 장치(1700)는 또한 저장 유닛(1707)에 통신 결합되어 있다. 일 구현에 있어서, 저장 유닛(1707)은 수신기(1702)에 결합되어 있고, 수신기(1702)는 저장 유닛(1707)으로부터의 비트스트림에 액세스하고, 그리고/또는 수신된 비트스트림을 저장 유닛(1707)에 저장한다. 또 다른 구현에 있어서, 저장 유닛(1707)은 디코더(1706)에 결합되어 있고, 디코더(1706)는 저장 유닛(1707)으로부터의 비트스트림에 액세스하고, 그리고/또는 디코딩된 비트스트림을 저장 유닛(1707)에 저장한다. 저장 유닛(1707)으로부터 액세스된 비트스트림은, 여러 다른 구현에서는, 하나 이상의 인코딩된 비트스트림을 포함한다. 저장 유닛(1707)은, 여러 다른 구현에서는, 표준 DVD, 블루-레이 디스크, 하드 드라이브, 또는 어떤 다른 저장 디바이스 중 하나 이상이다.

디코더(1706)로부터의 출력 비디오는, 일 구현에서는, 프로세서(1708)에 제공된다. 프로세서(1708)는, 일 구현에서는, 디코딩된 디지털 화상을 제시하도록 구성된 프로세서이다. 일부 구현에서는, 디코더(1706)는 프로세서(1708)를 포함하고 그래서 프로세서(1708)의 연산을 수행한다. 다른 구현에서는, 프로세서(1708)는, 예컨대, 셋-톱 박스 또는 텔레비전과 같은 하측 디바이스의 일부분이다.

도 11은 또한 사용자 인터페이스(1710) 및 디스플레이(1720)를 포함하고, 그 둘 다는 프로세서(1708)에 통신 결합되어 있다. 프로세서(1708)는, 예컨대, 가정에서의 사용자 또는 케이블 허브에서의 조작자로부터의 입력을 수용하기 위한 사용자 인터페이스(1710)에 통신 결합되어 있다. 프로세서(1708)는, 예컨대, 디지털 화상을 디스플레이하기 위한 디스플레이(1720)에 통신 결합되어 있다. 화상은, 다양한 구현에 있어서, 프로세서(1708)에 의해 프로세싱되기 전에, 그 동안 그리고/또는 그 후에 디스플레이된다.

디스플레이(1720)는 또한, 다양한 구현에 있어서, 사용자 인터페이스(1710)를 포함한다. 일 구현은 사용자 인터페이스(1710) 및 디스플레이(1720) 둘 다에 대해 터치 스크린을 사용한다. 더 추가적 구현은 비디오 수신 시스템(1700)에서 사용자 인터페이스(1710) 및/또는 디스플레이(1720)를 포함한다.

도 10 내지 도 11은, 다양한 구현에 있어서, 프로세스(400, 800, 및/또는 900)의 일부 또는 전부와 더불어, 프로세스(900)에 관하여 설명된 부가적 특징 중 어느 것이든 수행하도록 사용될 수 있다. 다양한 그러한 구현에 있어서, 프로세서(1601) 또는 프로세서(1708)는 프로세스(400), 프로세스(800), 및/또는 프로세스(900) 중 일부 또는 전부를 수행하도록 사용된다. 프로세서(1601) 및/또는 프로세서(1708)는 카메라로부터 이미지 정보를 수신하거나, 또는 카메라에 통합될 수 있다.

디스플레이(1620) 및/또는 디스플레이(1720)는, 다양한 구현에 있어서, 컴퓨터 디스플레이, 랩톱 디스플레이, 태블릿 디스플레이, 셀 폰 디스플레이, 텔레비전 디스플레이, 또는 본 출원에서 언급되거나 당업계에 알려져 있고, 예컨대, 벽, 천장, 바닥 또는 보도와 같은 어느 표면 상에라도 보일 수 있게 될 수 있는 투영형 디스플레이를 포함하는 다른 디스플레이 중 어느 하나 중 하나 이상을 포함한다.

사용자 인터페이스(1610) 및/또는 사용자 인터페이스(1710)는, 다양한 구현에 있어서, 마우스, 트랙 패드, 키보드, 터치 스크린, 프로세서(1601) 및/또는 프로세서(1708)에 의해 해석되는 음성 커맨드를 수용하기 위한 마이크로폰, 리모컨, 셀 폰, 원격이든 로컬이든 별개의 컴퓨터, 또는 본 출원에서 언급되거나 당업계에 알려져 있는 어느 다른 입력 디바이스 중 하나 이상을 포함한다.

저장 디바이스(1608) 및/또는 저장 디바이스(1707)는, 다양한 구현에 있어서, 본 출원에서 언급되거나 당업계에 알려져 있는 저장 디바이스 중 어느 것이라도 포함한다.

인코더(1602)는, 다양한 구현에 있어서, AVC 또는 H.264 인코더(본 출원 내 다른 곳에서 정의됨), 어느 다른 표준용 인코더, 또는 본 출원에서 언급되거나 당업계에 알려져 있는 어느 다른 인코딩 디바이스라도 포함한다.

송신기(1604)는, 다양한 구현에 있어서, 어느 집적 회로의 출력 핀, 범용 비동기식 수신기/송신기(UART), 브로드캐스트 송신기, 위성 송신기, 케이블 송신기, 또는 본 출원에서 언급되거나 또는 당업계에 알려져 있는 어느 다른 송신 디바이스라도 포함한다. 송신기(1604)는, 예컨대, 인코딩된 화상 및/또는 그에 관련된 정보를 표현하는 하나 이상의 비트스트림을 갖는 프로그램 신호를 송신하도록 적응될 수 있다. 전형적 송신기는, 예컨대, 에러-정정 코딩을 제공하는 것(대안으로 또는 부가적으로, 인코더(1602)에서 수행될 수 있음), 신호 내 데이터를 인터리빙하는 것(대안으로 또는 부가적으로, 인코더(1602)에서 수행될 수 있음), 신호 내 에너지를 랜덤화하는 것, 및 변조기를 사용하여 하나 이상의 반송파 상으로 신호를 변조하는 것 중 하나 이상과 같은 기능을 수행한다. 송신기(1604)는 안테나(도시하지 않음)를 포함하거나 그와 인터페이싱할 수 있다. 더욱, 송신기(1604)의 구현은 변조기로 한정될 수 있다.

본 출원은 도 2 내지 도 3 및 도 5 내지 도 7의 도감도, 도 4 및 도 8 내지 도 9의 흐름 선도, 및 도 1 및 도 10 내지 도 11의 블록 선도를 포함하는 다수의 도면을 제공하고 있다. 이들 도면의 각각은, 이하의 예들에 대하여 간략하게 설명되는 바와 같이, 다양한 구현에 대한 개시를 제공한다.

제1 예로서, 우리는 도감도가 틀림없이 다양한 센서 패턴의 예시를 제시함을 주목한다. 그렇지만, 또한 도감도는 하나 이상의 프로세스 흐름을 설명하고 있음이 명확한 것이다. 예컨대, 적어도 도 3 및 도 5는 또한 개개의 센서로부터 조합된 패턴을 결정하는 프로세스를 설명한다. 더욱, 적어도 도 6 내지 도 7은 또한 빠져 있는 컬러값을 내삽하는 프로세스를 설명한다.

제2 예로서, 우리는 흐름 선도가 틀림없이 흐름 프로세스를 설명함을 주목한다. 그렇지만, 또한 흐름 선도는 흐름 프로세스를 수행하기 위한 시스템 또는 장치의 기능적 블록 간 상호접속을 제공함이 명확한 것이다. 일례로서, 도 8은 또한 프로세스(800)의 기능을 수행하기 위한 블록 선도를 제시한다. 예컨대, (i) 참조 엘리먼트(810)는 또한 센서 데이터를 캡처링하는 기능을 수행하기 위한 블록을 표현하고, (ii) 참조 엘리먼트(820)는 내삽하는 기능을 수행하기 위한 블록을 표현하고, (iii) 엘리먼트(810)와 엘리먼트(820) 간 상호접속은 센서 데이터를 캡처링하기 위한 컴포넌트와 그 캡처링된 센서 데이터 상에 내삽을 수행하기 위한 컴포넌트 간 결합을 표현한다. 도 8의 다른 블록은 이 시스템/장치를 설명함에 있어서 유사하게 해석된다.

제3 예로서, 우리는 블록 선도가 틀림없이 장치 또는 시스템의 기능적 블록의 상호접속을 설명함을 주목한다. 그렇지만, 또한 블록 선도는 다양한 프로세스 흐름의 설명을 제공함이 명확한 것이다. 일례로서, 도 1은 또한 도 1의 블록의 기능을 포함하는 다양한 프로세스를 수행하기 위한 흐름 선도를 제시한다. 예컨대, (i) 센서(120, 130, 140)는 또한 센서 데이터를 캡처링하는 프로세스 동작을 수행하기 위한 블록을 표현하고, (ii) ND 필터(145)는 또한 ND 필터링의 프로세스 동작을 수행하기 위한 블록을 표현하고, (iii) ND 필터(145)와 제1 센서(120) 간 상호접속은 필터링된 이미지가 데이터 캡처링을 위한 센서에 제공되는 프로세스 동작을 표현한다. 도 1의 다른 블록은 이 흐름 프로세스를 설명함에 있어서 유사하게 해석된다.

그렇게 우리는 여러 구현을 제공하였다. 그렇지만, 설명된 구현의 변형과 더불어 부가적 애플리케이션이 고려되고 우리의 개시 내에 있다고 생각됨을 주목해야 한다.

부가적으로, 설명된 구현의 특징 및 태양이 다른 구현을 위해 적응될 수 있다.

구상 중인 소정 변형의 일례로서, 소정 구현은 단일 카메라에 2개의 별개 어레이의 센서를 포함한다. 제1 어레이의 센서는 네이티브 RGB 이미지를 발생시키기 위한 데이터를 캡처링하도록 사용된다. 제2 어레이의 센서는 HDR 이미지를 발생시키기 위한 데이터를 캡처링하도록 사용된다. 빔 스플리터는 제1 어레이의 센서 또는 제2 어레이의 센서 중 어느 것으로 광을 지향시키도록 제어가능하다.

구상 중인 소정 변형의 다른 일례로서, 소정 구현은 도 1의 구성에 하나 이상의 센서를 부가한다. 하나 이상의 부가된 센서는 HDR 이미지를 발생시키거나 네이티브 RGB 이미지를 발생시키도록, 그러나 둘 다는 아니도록 사용되는 데이터를 캡처링한다.

구상 중인 소정 변형의 다른 일례로서, 소정 구현은 네이티브 RGB인 것도 그리고 HDR인 것도 출력 이미지를 제공한다. 이것은, 예컨대, 도 1의 구성에서 제4 센서를 사용함으로써 성취된다. 제4 센서는, 예컨대, 베이어-패턴 센서이고 네이티브 RGB 이미지를 산출하도록 센서(130, 140)와 사용된다. 센서(120)는, 예컨대, 다른 3개의 센서로부터 생성된 네이티브 RGB 이미지 내로 삽입될 고-휘도 영역 성분을 제공하도록 사용된다.

구상 중인 소정 변형의 다른 일례로서, 구현 중 몇몇은 자동으로 수행되는 또는 자동화되어 있는 특징을 가리킬 수 있다. 그렇지만, 그러한 구현의 변형은 자동화되어 있지 않고 그리고/또는 그 특징 중 일부 또는 전부를 자동으로 수행하지 않는다.

구상 중인 소정 변형의 다른 일례로서, 몇몇 구현은 디지털 이미지의 맥락에서 설명되었다. 예컨대, 센서(120, 130, 140)는 디지털 이미지 데이터를 캡처링할 수 있다. 그렇지만, 다른 구현은 아날로그 포맷으로 프로세싱 및/또는 저장될 수 있는 아날로그 데이터를 캡처링하도록 센서를 사용한다. 물론, 아날로그 정보는 다양한 구현에서는 역시 디지털 정보로 변환된다.

구상 중인 소정 변형의 다른 일례로서, 다양한 구현에서는 센서 패턴 컬러 표시가 픽셀에 적용된다. 그렇지만, 다른 구현에서는, 예컨대 서브-픽셀, 파티션, 매크로블록 또는 슬라이스와 같은 다른 사이즈 구역에 컬러 표시가 적용된다.

몇몇 구현은 ND 필터를 선택적으로 삽입 또는 제거할 수 있다. 하나의 그러한 구현은 ND 필터(145)를 선택적으로 제거 및 삽입할 수 있는 카메라(100)이다. 삽입 및/또는 제거, 즉, 필터의 제어는, 예컨대, 사용자가 ND 필터(145)를 수동으로 삽입 및 제거할 수 있게 하는 슬롯을 사용함으로써 성취된다. 또 다른 구현에 있어서, ND 필터(145)는 카메라(100)와 일체형이고, 카메라(100)는 일체형 ND 필터(145)를 제어하기 위한 스위치(예컨대, 수동 또는 전자)를 포함한다. 스위치는, 예컨대, ND 필터(145)가 제1 센서(120)의 앞에 있도록 또는 그렇지 않도록 일체형 ND 필터(145)를 위치시킴으로써 동작한다. 다른 구현은 또한 유사한 방식으로 제어되는, ND 필터 이외의 다른 필터를 제공한다.

휘도 성분의 전부가 동일 시점에서 캡처링되는 HDR 이미지를 제공하는 다양한 구현이 설명되었다. 예컨대, 카메라(100)를 사용하는 동작(410)의 구현은 전형적으로는 센서(120, 130, 140)의 각각에 대해 동일 시점에 센서(120, 130, 140)에서 이미지 데이터를 캡처링할 것이다. 그 후, 전형적 구현은 고-휘도-영역 데이터를 발생시키도록 제1 센서(120)로부터의 이미지 데이터를 사용할 것이고, 저-휘도-영역 데이터를 발생시키도록 센서(130, 140)로부터의 이미지 데이터를 사용할 것이다. 그렇지만, 고-휘도-영역 데이터 및 저-휘도-영역 데이터는 동일 시점에서 캡처링된 이미지 데이터로부터 발생되기 때문에, 그때는 고-휘도-영역 데이터 및 저-휘도-영역 데이터는 또한 그 동일 시점과 연관된다. 그렇지만, 다른 구현은 다른 시점에서 HDR 이미지를 위한 이미지 데이터를 캡처링한다. 유사하게, 네이티브 RGB 이미지를 산출하도록 캡처링되는 이미지 데이터는 다양한 구현에 대해서는 동일 시점에서, 그러나 다른 구현에 대해서는 다른 시점에서 캡처링된다.

본 출원에서 설명된 구현 및 특징 중 몇몇은 AVC 표준, 및/또는 MVC(Multiview Video Coding) 익스텐션(에넥스 H)을 갖는 AVC, 및/또는 SVC(Scalable Video Coding) 익스텐션(에넥스 G)을 갖는 AVC의 맥락에서 사용될 수 있다. 부가적으로, 이들 구현 및 특징은 또 다른 표준(현존 또는 장래)의 맥락에서, 또는 표준을 관련시키지 않는 맥락에서 사용될 수 있다. AVC는 현존 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) ITU-T(standard/International Telecommunication Union, Telecommunication Sector) H.264 권고(본 문서의 곳곳에서는 "H.264/MPEG-4 AVC 표준", 또는 "AVC 표준", "H.264 표준" 또는 단순히 "AVC" 또는 "H.264"와 같은 그 변형으로 다양하게 지칭됨)를 지칭한다.

본 원리의 "하나의 실시예" 또는 "일 실시예" 또는 "하나의 구현" 또는 "일 구현"과 더불어 그 다른 변형의 지칭은 실시예와 연관하여 설명된 특정 특징, 구조, 특성 등이 본 원리의 적어도 하나의 실시예에 포함됨을 의미한다. 그리하여, 본 명세서의 곳곳에 다양한 곳에서 나타나는 문구 "하나의 실시예에 있어서" 또는 "일 실시예에 있어서" 또는 "하나의 구현에 있어서" 또는 "일 구현에 있어서"와 더불어 어떠한 다른 변형의 출현은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.

부가적으로, 본 출원 또는 그 특허청구범위는 여러 가지의 정보를 "결정"함을 가리킬 수 있다. 정보를 결정하는 것은, 예컨대, 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것 또는 메모리로부터 정보를 검색하는 것 중 하나 이상을 포함할 수 있다.

더욱, 본 출원 또는 그 특허청구범위는 여러 가지의 정보를 "액세스"함을 가리킬 수 있다. 정보에 액세스하는 것은, 예컨대, 정보를 수신하는 것, 정보를 검색하는 것(예컨대, 메모리), 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 삭제하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.

부가적으로, 본 출원 또는 그 특허청구범위는 여러 가지의 정보를 "수신"함을 가리킬 수 있다. 수신은, "액세스"에 대해서처럼, 폭넓은 용어로 의도된다. 정보를 수신하는 것은, 예컨대, 정보에 액세스하는 것 또는 (예컨대, 메모리로부터) 정보를 검색하는 것 중 하나 이상을 포함할 수 있다.

더욱, 전형적으로는, 예컨대, 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 삭제하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것과 같은 동작 동안, 일방향 또는 타방향으로, "수신"이 관련된다.

다양한 구현은 "이미지" 및/또는 "화상"을 가리킨다. 용어 "이미지" 및 "화상"은 본 문서 곳곳에서 호환가능하게 사용되고, 폭넓은 용어로 의도된다. "이미지" 또는 "화상"은, 예컨대, 프레임 또는 필드의 일부 또는 전부일 수 있다. 용어 "비디오"는 이미지(또는 화상)의 시퀀스를 지칭한다. 이미지 또는 화상은, 예컨대, 다양한 비디오 컴포넌트 또는 그 조합 중 어느 것이라도 포함할 수 있다. 그러한 컴포넌트 또는 그 조합은, 예컨대, 휘도, 색차, (YUV 또는 YCbCr 또는 YPbPr의) Y, (YUV의) U, (YUV의) V, (YCbCr의) Cb, (YCbCr의) Cr, (YPbPr의) Pb, (YPbPr의) Pr, (RGB의) 적색, (RGB의) 녹색, (RGB의) 청색, S-비디오, 및 이들 컴포넌트 중 어느 것의 네거티브 또는 포지티브를 포함한다. "이미지" 또는 "화상"은, 또한 또는 대안으로, 전형적 2-차원 비디오, 2D 비디오 화상에 대한 시차 맵, 2D 비디오 화상에 대응하는 심도 맵, 또는 에지 맵 등을 포함하는 다양한 여러 다른 유형의 컨텐트를 지칭할 수 있다. "이미지" 또는 "화상"은 또한, 예컨대, 센서에 의해 캡처링된 일 세트의 데이터, 또는 그러한 일 세트의 데이터를 프로세싱한 후의 출력을 지칭한다. 그러한 프로세싱은, 예컨대, 그 세트의 데이터를 필터링하는 것, 그 세트의 데이터를 내삽하는 것, 및/또는 그 세트의 데이터를 다른 하나의 세트의 데이터와 병합하는 것을 포함한다.

더욱, 여러 구현은 "프레임"을 가리킬 수 있다. 그렇지만, 그러한 구현은 "화상" 또는 "이미지"에 동등하게 적용가능하다고 상정된다.

부가적으로, 다양한 구현은 RGB 이미지 이외의 이미지를 제공한다. 특히, 다양한 구현은 RGB와는 다른 3개의 가색적 컬러 세트를 사용한다. 예컨대, 적색, 녹색 및 청색은 특정 주파수를 갖고, 다른 구현은 이들 주파수를 적색, 녹색 및 청색과는 다른 3개의 다른 컬러에 이르도록 편이시킨다. 또 다른 구현은 컬러 중 하나 또는 둘만을 편이시킨다. 이들 구현에 있어서, 3개의 컬러는, 흔히 RGB로 행해지는 바와 같이, 다른 컬러를 산출하도록 역시 함께 더해질 수 있다. 그렇지만, 더 추가적 구현은 감색적 컬러를 사용하고, RGB를 사용하는 대신에, 그러한 구현은 예컨대 CMY(시안, 마젠타, 옐로우)를 사용한다. 더 추가적 구현은 컬러 차이에 기반하고, RGB를 사용하는 대신에, 그러한 구현은 예컨대 YUV 또는 YPbPr을 사용한다.

"심도 맵", 또는 "시차 맵", 또는 "에지 맵", 또는 유사한 용어는 또한 폭넓은 용어로 의도된다. 맵은 일반적으로는, 예컨대, 특정 유형의 정보를 포함하는 화상을 지칭한다. 그렇지만, 맵은 그 명칭으로는 나타나지 않는 다른 유형의 정보를 포함할 수 있다. 예컨대, 심도 맵은 전형적으로는 심도 정보를 포함하지만, 비디오 또는 에지 정보 등과 같은 다른 정보를 또한 포함할 수 있다.

본 출원은 다양한 구현에서 "인코더" 및 "디코더"를 가리킨다. 인코더는, 예컨대, 소스 인코더 하나 이상(또는 없음) 및/또는 채널 인코더 하나 이상(또는 없음)과 더불어, 변조기 하나 이상(또는 없음)을 포함할 수 있음이 명확한 것이다. 유사하게, 디코더는, 예컨대, 소스 인코더 하나 이상(또는 없음) 및/또는 채널 인코더 하나 이상(또는 없음)과 더불어 변조기 하나 이상(또는 없음)을 포함할 수 있음이 명확한 것이다.

예컨대 "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나"의 경우에 있어서의 그 "/", "및/또는", 및 "중 적어도 하나" 중 어느 것의 사용은 열거된 제1 옵션(A)만의 선택, 또는 열거된 제2 옵션(B)만의 선택, 또는 옵션(A, B) 둘 다의 선택을 아우르려는 의도임을 인식해야 한다. 추가적 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 하나" 및 "A, B 또는 C 중 적어도 하나"의 경우에 있어서, 그러한 표현은 열거된 제1 옵션(A)만의 선택, 또는 열거된 제2 옵션(B)만의 선택, 또는 열거된 제3 옵션(C)만의 선택, 또는 열거된 제1 및 제2 옵션(A, B)만의 선택, 또는 열거된 제1 및 제3 옵션(A, C)만의 선택, 또는 열거된 제2 및 제3 옵션(B, C)만의 선택, 또는 모든 3개의 옵션(A, B, C)의 선택을 아우르려는 의도이다. 이것은, 당업계 및 관련 업계의 당업자에 의해 쉽게 명백한 바와 같이, 열거된 수만큼의 아이템에 대해 확장될 수 있다.

부가적으로, 여러 구현은, 예컨대, 후처리-프로세서 또는 전처리-프로세서와 같은 프로세서에서 구현될 수 있다. 본 출원에서 논의된 프로세서는, 다양한 구현에 있어서, 예컨대 프로세스, 기능 또는 동작을 수행하도록 일괄 구성되는 다수의 프로세서(서브-프로세서)를 포함한다. 예컨대, 프로세서(150, 1601, 1708)와 더불어, 인코더(1602), 송신기(1604), 수신기(1702) 및 디코더(1706) 등과 같은 다른 프로세싱 컴포넌트는, 다양한 구현에 있어서, 그 컴포넌트의 동작을 수행하도록 일괄 구성되는 다수의 서브-프로세서로 이루어진다.

본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다.

프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 태블릿, 휴대용/개인용 정보 단말기("PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.

본 명세서에서 설명된 다양한 프로세스 및 특징의 구현은 다양한 여러 다른 장비 또는 애플리케이션에서 구체화될 수 있다. 그러한 장비의 예는 카메라, 캠코더, 인코더, 디코더, 후처리-프로세서, 전처리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 텔레비전, 셋-톱 박스, 라우터, 게이트웨이, 모뎀, 랩톱, 퍼스널 컴퓨터, 태블릿, 셀 폰, PDA 및 다른 통신 디바이스를 포함한다. 명확한 것인 바와 같이, 장비는 이동식일 수 있고 이동 차량에 설치될 수도 있다.

부가적으로, 방법은 프로세서에 의해 수행되는 명령어에 의해 구현될 수 있고, 그러한 명령어(및/또는 구현에 의해 산출된 데이터 값)는, 예컨대, 집적 회로, 소프트웨어 캐리어, 또는 하드 디스크, 콤팩트 디스켓("CD"), 광학 디스크(예컨대, 흔히 디지털 다기능 디스크 또는 디지털 비디오 디스크라고 지칭되는 DVD, 또는 블루-레이 디스크 등), 램("RAM"), 롬("ROM"), USB 썸 드라이브, 또는 어떤 다른 저장 디바이스 등과 같은 다른 저장 디바이스와 같은 프로세서-판독가능 매체 상에 저장될 수 있다. 명령어는 프로세서-판독가능 매체 상에 유형적으로 구체화된 애플리케이션 프로그램을 형성할 수 있다. 명령어는, 예컨대, 하드웨어, 펌웨어, 소프트웨어 또는 그 조합에 있을 수 있다. 명령어는, 예컨대, 운영 체제, 별개 애플리케이션 또는 그 둘의 조합에서 찾아볼 수 있다. 그래서, 프로세서는, 예컨대, 프로세스를 수행하도록 구성된 디바이스로서도 그리고 프로세스를 수행하기 위한 명령어를 갖는 프로세서-판독가능 매체(저장 디바이스 등)를 포함하는 디바이스로서도 특징지어질 수 있다. 더욱, 프로세서-판독가능 매체는, 명령어에 부가하여 또는 그 대신에, 구현에 의해 산출된 데이터 값을 저장할 수 있다.

당업자에게는 명백할 바와 같이, 구현은 예컨대 저장 또는 송신될 수 있는 정보를 반송하도록 포매팅된 다양한 신호를 산출할 수 있다. 정보는, 예컨대, 방법을 수행하기 위한 명령어, 또는 설명된 구현 중 하나에 의해 산출된 데이터를 포함할 수 있다. 예컨대, 신호는, 구문을 쓰거나 읽기 위한 규칙을 데이터로서 반송하도록, 또는 구문 규칙을 사용하여 발생된 실제의 구문-값을 데이터로서 반송하도록 포매팅될 수 있다. 그러한 신호는, 예컨대, 전자기파(예컨대, 스펙트럼의 RF 부분을 사용함)로서 또는 기저대역 신호로서 포매팅될 수 있다. 포매팅은, 예컨대, 데이터 스트림을 인코딩하고 인코딩된 데이터 스트림으로 반송파를 변조하는 것을 포함할 수 있다. 신호가 반송하는 정보는 예컨대 아날로그 또는 디지털 정보일 수 있다. 신호는, 알려져 있는 바와 같이, 다양한 여러 다른 유선 또는 무선 링크를 통해 송신될 수 있다. 신호는 프로세서-판독가능 매체 상에 저장될 수 있다.

여러 구현이 설명되었다. 그렇더라도, 다양한 수정이 이루어질 수 있음을 이해할 것이다. 예컨대, 여러 다른 구현의 엘리먼트는 다른 구현을 산출하도록 조합, 보충, 수정 또는 제거될 수 있다. 부가적으로, 당업자는 개시된 것들을 다른 구조 및 프로세스가 대신할 수 있고 결과적 구현이 적어도 실질적으로 동일 방식(들)으로 적어도 실질적으로 동일 기능(들)을 수행하여 개시된 구현과 적어도 실질적으로 동일 결과(들)를 달성할 것임을 이해할 것이다. 따라서, 이들 및 다른 구현이 본 출원에 의해 고려된다.

Claims (31)

1. 방법으로서,
   다수의 센서로부터 캡처링된 제1 세트의 컬러값을 사용하여 컬러 이미지를 생성하는 단계로서, 상기 컬러 이미지의 다수의 픽셀 위치는 3개의 컬러에 대한 컬러값을 갖고, 상기 3개의 컬러값은 상기 다수의 센서로부터 캡처링되며, 렌즈 어셈블리는 상기 다수의 센서에 광을 패스하는 것인, 상기 생성하는 단계; 및
   상기 다수의 센서로부터 캡처링된 제2 세트의 컬러값을 사용하여 HDR(high dynamic range) 이미지를 생성하는 단계를 포함하는 방법.
2. 제1항에 있어서, 상기 다수의 센서는 다수의 컬러를 취득하도록 구성되어 있는, 그리고 서로 다른 컬러 패턴을 갖는 필터를 사용하는, 3개의 센서를 포함하는 것인 방법.
3. 제1항 또는 제2항에 있어서, 상기 3개의 다른 컬러 패턴은 (i) 적색("R"), 녹색("G") 및 청색("B")을 포함하는 제1 패턴, (ii) R, G 및 B를 포함하는 제2 패턴, 및 (iii) R, G 및 B를 포함하는 제3 패턴을 포함하는 것인 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 HDR 이미지를 생성하는 단계는 상기 HDR 이미지의 다수의 픽셀 위치에 대하여 R, G 및 B를 갖도록 상기 제2 세트의 컬러값을 내삽(interpolate)하는 단계를 포함하는 것인 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 HDR 이미지를 생성하는 단계는 상기 HDR 이미지의 모든 비-에지(non-edge) 픽셀 위치에 대하여 R, G 및 B를 갖도록 상기 제2 세트의 컬러값을 내삽하는 단계를 포함하는 것인 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 HDR 이미지는,
   제1 이미지 내 대응하는 위치로부터 유도된 픽셀 값을 갖는 고-휘도 영역 성분; 및
   제2 이미지 내 대응하는 위치로부터 유도된 픽셀 값을 갖는 저-휘도 영역 성분을 포함하는 것인 방법.
7. 제6항에 있어서,
   상기 다수의 센서는 베이어-패턴 센서(Bayer-parrtern sensor)를 포함하고,
   상기 제2 세트의 컬러값은 상기 베이어-패턴 센서로부터 캡처링된 컬러값을 포함하며,
   상기 HDR 이미지를 생성하는 단계는 상기 고-휘도 영역 성분을 생성하는 단계를 포함하고,
   상기 고-휘도 영역 성분을 생성하는 단계는 상기 베이어-패턴 센서로부터 캡처링된 상기 제2 세트의 컬러값 내 상기 컬러값을 내삽하는 단계를 포함하는 것인 방법.
8. 제6항 또는 제7항에 있어서,
   상기 다수의 센서는 제1 센서 및 제2 센서를 포함하고, 상기 제1 및 제2 센서는 다수의 컬러를 취득하도록 구성되며, 상기 HDR 이미지를 생성하는 단계는 상기 저-휘도 영역 성분을 생성하는 단계를 포함하고, 그리고
   상기 저-휘도 영역 성분을 생성하는 단계는 퀸컹스(quincunx) 알고리즘을 사용하여 내삽될 수 있는 R, G 및 B 패턴을 형성하도록 상기 제1 센서 및 상기 제2 센서로부터 캡처링된, 상기 제2 세트로부터의, R, G 및 B 컬러값을 어셈블링하는 단계를 포함하는 것인 방법.
9. 제8항에 있어서,
   상기 저-휘도 영역 성분을 생성하는 단계는 상기 퀸컹스 알고리즘을 사용하여 상기 형성된 R, G 및 B 패턴을 내삽하는 단계를 더 포함하는 것인 방법.
10. 제7항 내지 제9항 중 어느 한 항에 있어서, 상기 고-휘도 영역 성분을 생성하는 단계는 상기 다수의 센서 중 적어도 하나의 앞에 ND(neutral density) 필터를 사용하는 단계를 더 포함하는 것인 방법.
11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 다수의 센서는 제1 센서, 제2 센서 및 제3 센서를 포함하고,
    상기 제1 센서, 상기 제2 센서 및 상기 제3 센서는 다수의 컬러를 취득하도록 구성되며,
    상기 컬러 이미지를 생성하는 단계는, 적어도 상기 다수의 픽셀 위치에 대하여, 상기 제1 센서, 상기 제2 센서 및 상기 제3 센서로부터 캡처링된, 상기 제1 세트로부터의, R, G 및 B 컬러값을 어셈블링하는 단계를 더 포함하는 것인 방법.
12. 제11항에 있어서, 상기 제1 센서는 베이어-패턴 센서인 것인 방법.
13. 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 다수의 센서는 3개 이하의 센서를 포함하는 것인 방법.
14. 제1항 내지 제13항 중 어느 한 항에 있어서, 상기 제1 세트의 컬러값은 상기 제2 세트의 컬러값을 오버랩하는 것인 방법.
15. 제1항 내지 제14항 중 어느 한 항에 있어서, 상기 3개의 컬러는 가색적(additive)인 것인 방법.
16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 3개의 컬러는 R, G 및 B이고,
    상기 컬러 이미지는 RGB 이미지인 것인 방법.
17. 제1항 내지 제16항 중 어느 한 항에 있어서, 상기 방법은 상기 렌즈 어셈블리 및 상기 다수의 센서를 포함하는 카메라에 의해 수행되는 것인 방법.
18. 방법으로서,
    다수의 센서로부터 캡처링된 제1 세트의 컬러값을 사용하여 적색-녹색-청색("RGB") 이미지를 생성하는 단계로서, 상기 RGB 이미지의 다수의 픽셀 위치는 상기 다수의 센서로부터 캡처링되는 적색("R"), 녹색("G") 및 청색("B")에 대한 컬러값을 갖고, 렌즈 어셈블리는 상기 다수의 센서에 광을 패스하는 것인 상기 생성하는 단계; 및
    상기 다수의 센서로부터 캡처링된 제2 세트의 컬러값을 사용하여 HDR(high dynamic range) 이미지를 생성하는 단계를 포함하는 방법.
19. 하나 이상의 프로세서를 포함하는 장치로서, 상기 하나 이상의 프로세서는,
    다수의 센서로부터 캡처링된 제1 세트의 컬러값을 사용하여 컬러 이미지를 생성하는 단계로서, 상기 컬러 이미지의 다수의 픽셀 위치는 3개의 컬러에 대한 컬러값을 갖고, 상기 3개의 컬러값은 상기 다수의 센서로부터 캡처링되며, 렌즈 어셈블리는 상기 다수의 센서에 광을 패스하는 것인, 상기 생성하는 단계; 및
    상기 다수의 센서로부터 캡처링된 제2 세트의 컬러값을 사용하여 HDR 이미지를 생성하는 단계를 수행하도록 일괄 구성되는 것인 장치.
20. 장치로서,
    다수의 센서로부터 캡처링된 제1 세트의 컬러값을 사용하여 컬러 이미지를 생성하기 위한 수단으로서, 상기 컬러 이미지의 다수의 픽셀 위치는 3개의 컬러에 대한 컬러값을 갖고, 상기 3개의 컬러값은 상기 다수의 센서로부터 캡처링되며, 렌즈 어셈블리는 상기 다수의 센서에 광을 패스하는 것인, 상기 생성하기 위한 수단; 및
    상기 다수의 센서로부터 캡처링된 제2 세트의 컬러값을 사용하여 HDR 이미지를 생성하기 위한 수단을 포함하는 장치.
21. 명령어를 저장해 놓은 프로세서 판독가능 매체로서, 상기 명령어는 하나 이상의 프로세서로 하여금,
    다수의 센서로부터 캡처링된 제1 세트의 컬러값을 사용하여 컬러 이미지를 생성하는 단계로서, 상기 컬러 이미지의 다수의 픽셀 위치는 3개의 컬러에 대한 컬러값을 갖고, 상기 3개의 컬러값은 상기 다수의 센서로부터 캡처링되며, 렌즈 어셈블리는 상기 다수의 센서에 광을 패스하는 것인, 상기 생성하는 단계; 및
    상기 다수의 센서로부터 캡처링된 제2 세트의 컬러값을 사용하여 HDR 이미지를 생성하는 단계를 일괄 수행하게 하기 위한 것인 프로세서 판독가능 매체.
22. 장치로서,
    렌즈 어셈블리; 및
    상기 렌즈 어셈블리를 통해 광을 수신하도록 배열된 다수의 센서를 포함하되,
    상기 다수의 센서로부터 캡처링된 제1 세트의 컬러값은 다수의 픽셀 위치에 대하여 3개의 컬러값을 제공하도록 어셈블링될 수 있고,
    상기 다수의 센서로부터 캡처링된 제2 세트의 컬러값은 HDR 이미지를 제공하도록 내삽될 수 있는 것인 장치.
23. 제22항에 있어서,
    상기 다수의 센서는 제1 센서, 제2 센서 및 제3 센서를 포함하고,
    상기 제1 센서는 3-컬러 패턴을 사용하여 3개의 컬러를 취득하도록 구성되며,
    상기 제2 센서는 상기 제1 센서의 상기 패턴과는 다른 3-컬러 패턴을 사용하고,
    상기 제3 센서는 상기 제1 센서의 상기 패턴 및 상기 제2 센서의 상기 패턴과는 다른 3-컬러 패턴을 사용하는 것인 장치.
24. 제23항에 있어서,
    상기 HDR 이미지는 (i) 제1 이미지 내 대응하는 위치로부터 유도된 픽셀 값을 갖는 고-휘도 영역 성분, 및 (ii) 제2 이미지 내 대응하는 위치로부터 유도된 픽셀 값을 갖는 저-휘도 영역 성분을 포함하고,
    상기 제1 센서 패턴은 상기 제1 센서로부터 캡처링된 컬러값이 상기 고-휘도 영역 성분의 모든 내부 픽셀에 대하여 R, G 및 B 컬러값을 제공하도록 내삽될 수 있게 하며,
    상기 제2 센서 패턴 및 상기 제3 센서 패턴은 상기 제2 센서 및 상기 제3 센서로부터 캡처링된 컬러값이 상기 저-휘도 영역 성분의 모든 내부 픽셀에 대하여 R, G 및 B 컬러값을 제공하도록 퀸컹스 알고리즘을 사용하여 어셈블링 및 내삽될 수 있게 하고,
    상기 제2 센서 패턴 및 상기 제3 센서 패턴은 상기 제1 센서, 상기 제2 센서 및 상기 제3 센서로부터 캡처링된 컬러값이 RGB 이미지의 모든 내부 픽셀에 대하여 캡처링된 R, G 및 B 컬러값을 제공하도록 어셈블링될 수 있게 하는 것인 장치.
25. 제23항 또는 제24항에 있어서,
    상기 제2 센서 패턴은 3/8 R, 2/8 G 및 3/8 B인 것인 장치.
26. 제23항 내지 제25항 중 어느 한 항에 있어서,
    상기 제3 센서 패턴은 3/8 R, 2/8 G 및 3/8 B인 것인 장치.
27. 제23항 내지 제26항 중 어느 한 항에 있어서,
    상기 제2 센서 패턴 및 상기 제3 센서 패턴은 베이어 패턴으로부터 빠져 있는 컬러를 제공하도록 조합되는 것인 장치.
28. 제22항 내지 제27항 중 어느 한 항에 있어서,
    상기 제1 센서의 상기 3-컬러 패턴은 베이어-패턴인 것인 장치.
29. 제22항 내지 제28항 중 어느 한 항에 있어서, 상기 다수의 센서 중 하나와 상기 렌즈 어셈블리 사이에 배열된 ND(neutral density) 필터를 더 포함하는 장치.
30. 제23항 내지 제29항 중 어느 한 항에 있어서, 상기 제1 센서와 상기 렌즈 어셈블리 사이에 배열된 ND(neutral density) 필터를 더 포함하는 장치.
31. 제22항 내지 제30항 중 어느 한 항에 있어서,
    상기 3개의 컬러는 R, G 및 B이고, 상기 컬러값은 RGB 이미지를 형성하도록 어셈블링될 수 있는 것인 장치.

Images