KR100868279B1 - 컬러 이미지를 생성하는 방법, 이미징 장치 및 이미징 모듈 - Google Patents

Abstract

본원에는 적어도 3개의 이미지 캡처링 장치를 포함하는 이미징 장치가 제공되어 있다. 각각의 이미지 캡처링 장치는 렌즈 시스템 및 센서를 포함하며 이미지를 생성하도록 구성된다. 상기 이미징 장치는 컬러 이미지를 생성하도록 상기 이미지의 적어도 일부분을 서로 조합하도록 구성된 처리기를 더 포함한다. 각각의 렌즈 시스템은 상기 렌즈 시스템을 통과한 광선의 분포가 상기 센서의 위치에 민감하게 반응하지 않게끔 입사 광선의 위상을 수정하는 위상 마스크를 포함한다.

Description

컬러 이미지를 생성하는 방법, 이미징 장치 및 이미징 모듈{Method of creating colour image, imaging device and imaging module}

본 발명은 적어도 3개의 이미지 캡처링 장치를 포함하는 이미징 장치에서의 컬러 이미지의 생성에 관한 것이다.

사진촬영에 대한 대중적 인기가 계속 많아지고 있다. 이는 저렴한 디지털 카메라의 보급이 개선됨에 따라 디지털 사진 촬영에 특히 적용된다. 또한, 이동 전화에 합체된 카메라도 사진촬영에 대한 대중적 인기를 누리는데 기여하였다.

소형 카메라에 대한 요구가 늘어나는 추세이다. 소형 카메라는 카메라 제조업자에게 노력해야 할 목표가 생기게 하는데, 그 이유는 카메라의 크기가 소형화되더라도 카메라가 생성하는 이미지의 품질이 떨어지지 않게 하는 것이 바람직하기 때문이다.

카메라의 크기를 소형화할 수 있는 가능성은 렌즈릿(lenslet) 기술을 사용하는 것이다. 이러한 해결방안은 디지털 카메라에 특히 유용한다. 렌즈릿 기술에서, 카메라는 적어도 3개의 이미지 캡처링 장치로 실현되고, 각각의 이미지 캡처링 장치는 개별 렌즈 시스템을 포함한다. 상기 이미지 캡처링 장치들은 센서를 사용하여 이미지를 생성한다. 렌즈릿 카메라에서 렌즈들 및 센서 간의 거리는 종래의 카메라 와 비교해 보면 상당히 짧다. 따라서, 상기 카메라는 소형으로 설계될 수 있다. 렌즈릿 카메라와 연관된 잘 알려진 한가지 문제는 상기 렌즈릿 시스템이 제조 단계에서 높은 정밀도를 필요로 한다는 것이다. 렌즈릿 카메라는 정확한 광학 요소들 및 상기 요소들 간의 정밀한 정렬을 필요로 한다. 지금까지는, 렌즈릿 카메라에서 초점 메커니즘을 구현하는 것이 매우 어려웠다.

이미지의 품질이 모든 사진 촬영자에게는 물론 중요하다. 여러 상황에서 사진 촬영에 사용되는 정확한 매개변수들을 평가하는 것이 어렵다. 여러 경우에, 소형 카메라는 여러 매개변수를 자동으로 결정하는데, 그 이유는 상기 카메라의 사용자 인터페이스가 간단해져야 하기 때문이다. 예를 들면, 여러 카메라에는 자동 초점 시스템이 장착되어 있는데, 이 경우에 사용자는 초점에 관심을 가질 필요가 없다. 상기 카메라는 상기 카메라와 피사체 간의 거리를 측정하고 그 측정을 기반으로 하여 자동으로 초점을 맞출 수도 있고 상기 카메라의 초점은 미리 결정된 거리(실제로는 무한대)에 고정될 수도 있다. 후자의 변형예는 저렴한 카메라에 특히 보급되고 있다. 그러나, 이러한 변형예는 제조 단계에서 정밀도를 필요로 한다.

파면 부호화 기술(WaveFront Coding technology; WFC)은 피사계 심도를 증가시키기 위해 제안되었다. 예를 들면, 파면 부호화 기술(WFC)은 국제 특허공보 제WO 09052331호에 기재되어 있다. 카메라가 소정의 거리에서 피사체에 초점을 맞추게 될 때, 피사계 심도는 선명하게 나타나는 피사체의 전후 영역이다. 파면 부호화 기술(WFC)을 통해, 피사계 심도는 전형적으로 10배 만큼 증가될 수 있다. 그러나, 파면 부호화 기술(WFC)은 지금까지 단색 이미징 시스템에 주로 채용되었는데, 그 이 유는 파면 부호화 기술(WFC)이 통상의 베이어 매트릭스(Bayer matrix)를 채택하는 컬러 카메라에서의 비-최적 신호 샘플링이라는 문제에 직면하기 때문이다.

본 발명의 한 목적은 컬러 이미지들을 생성하기 위한 개선된 해결방안을 제공하는 것이다. 본 발명의 다른 한 목적은 정밀도 요건을 감소시킴으로써 카메라의 제조를 용이하게 하는 것이다.

본 발명의 한 실시태양에 의하면, 적어도 3개의 이미지 캡처링 장치를 포함하는 이미징 장치가 제공되며, 각각의 이미지 캡처링 장치는 렌즈 시스템 및 센서를 포함하며 이미지를 생성하도록 구성되고, 상기 이미징 장치는 컬러 이미지를 생성하도록 상기 이미지의 적어도 일부분을 서로 조합하도록 구성된 처리기를 더 포함한다. 각각의 렌즈 시스템은 상기 렌즈 시스템을 통과한 광선의 분포가 상기 센서의 위치에 민감하게 반응하지 않게끔 입사 광선의 위상을 수정하는 위상 마스크를 포함한다.

본 발명의 다른 한 실시태양에 의하면, 이미징 장치에서 컬러 이미지를 생성하는 방법이 제공되며, 상기 이미징 장치는 적어도 3개의 이미지 캡처링 장치를 포함하고, 각각의 이미지 캡처링 장치는 렌즈 시스템 및 센서를 포함하며 이미지를 생성하도록 구성되며, 상기 컬러 이미지는 상기 이미지의 적어도 일부분을 서로 조합함으로써 생성된다. 상기 이미징 장치에서의 컬러 이미지 생성 방법은 각각의 렌즈 시스템을 통과한 광선의 분포가 상기 센서의 위치에 민감하게 반응하지 않게끔 입사 광선의 위상을 수정하는 위상 마스크로 각각의 렌즈 시스템에서 입사 광선을 처리하는 단계; 상기 이미지로부터 상기 위상 마스크의 효과를 제거함으로써 각각의 이미지 캡처링 장치에 의해 획득된 이미지를 처리기에서 처리하는 단계; 및 각각의 이미지 캡처링 장치로 생성되는 처리된 이미지들을 서로 조합함으로써 컬러 이미지를 획득하는 단계를 포함한다.

본 발명의 다른 한 실시태양에 의하면, 적어도 3개의 이미지 캡처링 장치를 포함하는 이미징 장치 모듈이 제공되며, 각각의 이미지 캡처링 장치는 렌즈 시스템 및 센서를 포함하며 이미지를 생성하도록 구성된다. 각각의 렌즈 시스템은 상기 렌즈 시스템을 통과한 광선의 분포가 상기 센서의 위치에 민감하게 반응하지 않게끔 입사 광선의 위상을 수정하는 위상 마스크를 포함한다.

본 발명은 여러 이점을 제공한다. 한 실시예에서, 본 발명은 제조와 관련된 정밀도 요건이 회피될 수 있기 때문에 렌즈릿(lenslet) 기술이 컬러 카메라에서 사용될 수 있게 한다. 파면 부호화 기술(WFC)은 이 파면 부호화 기술(WFC)에 고유한 연장된 피사계 심도 때문에 상기 렌즈릿 카메라의 초점을 맞출 필요가 없게 한다.

상기 파면 부호화 기술(WFC)은 베이어 매트릭스 해결방안과 관련된 문제가 회피될 수 있기 때문에 컬러 렌즈릿 카메라에서 효율적으로 채용될 수 있다. 렌즈릿 카메라에서 파면 부호화 기술을 사용하면, 컬러 성분에 대한 불규칙적이고 엉성한 샘플링의 문제가 해결된다. 각각의 RGB 컬러 성분이 개별적으로 샘플링되기 때문에, 상기 샘플링은 규칙적이고 엉성하지 않다(각각의 픽셀은 동일한 스펙트럼 성분을 샘플링한다).

위상 마스크를 통해, 초점 심도 범위는 종래의 시스템과 비교해 볼 때 예를 들면 10-20배 더 크게 이루어질 수 있다. 본 발명은 렌즈릿 카메라가 초점 오차에 민감하게 반응하지 않게 한다. 이러한 방식으로, 상기 카메라는 정확하고 값비싼 광학 요소들도 카메라 시스템에 내장된 초점 메커니즘도 필요로 하지 않는다. 일반적인 사출성형과 같은 일반적인 기법들을 사용하여 렌즈릿 카메라들에 사용되는 렌즈들을 제조하는 것이 가능하다. 초점조정이 제조에 필요하지 않기 때문에, 구조는 간단하며, 견고하며, 신속하게 제조할 수 있고 저렴하다.

이하에서는 실시예들 및 첨부도면들을 참조하여 본 발명이 더 상세하게 설명될 것이다.

도 1은 한 실시예의 이미징 장치에 대한 일례를 보여주는 도면이다.

도 2a 및 도 2b는 이미지 감지 장치의 일례를 보여주는 도면이다.

도 2c는 컬러 이미지 조합의 일례를 보여주는 도면이다.

도 3a 및 도 3b는 이미지의 위상 마스킹 및 역필터링을 보여주는 도면이다.

도 4a 및 도 4b는 광선을 기반으로 한 위상 마스크 동작에 대한 일례를 보여주는 도면이다.

도 5는 신호 처리기의 동작을 보여주는 도면이다.

도 1에는 본 발명의 특정 실시예들에서 채택될 수 있는 일반화된 디지털 이미지 장치가 예시되어 있다. 여기서 유념해야 할 점은 본 발명의 실시예들이 단지 가능한 구조의 일례일 뿐인 도 1의 장치와는 다른 디지털 카메라들에서 또한 채택 될 수 있다는 것이다.

도 1의 디지털 이미지 장치는 이미지 감지 장치(100)를 포함한다. 상기 이미지 감지 장치는 렌즈 조립체 및 이미지 센서를 포함한다. 상기 이미지 감지 장치(100)의 구조는 이하에서 더 상세하게 논의될 것이다. 상기 이미지 감지 장치는 이미지를 캡처링하고 상기 캡처링된 이미지를 전기 형태로 변환한다. 상기 이미지 감지 장치(100)에 의해 생성된 전기 신호는 아날로그 신호를 디지털 형태로 변환하는 A/D 변환기(102)로 전달된다. 상기 A/D 변환기로부터 디지털화된 신호는 신호 처리기(104)로 전달된다. 상기 이미지 데이터는 이미지 파일을 생성하도록 상기 신호 처리기에서 처리된다. 상기 이미지 감지 장치(100)의 출력 신호는 화이트 밸런싱(white balancing) 및 컬러 처리와 같은 사후 처리를 필요로 하는 원래의 이미지 데이터를 포함한다. 또한, 상기 신호 처리기는 노출 제어 커맨드들(106)을 상기 이미지 감지 장치(100)로 제공하는 기능을 수행한다.

상기 디지털 이미지 장치는 상기 신호 처리기가 마무리된 이미지들을 저장할 수 있는 이미지 메모리(108), 데이터 및 프로그램의 저장을 위한 작업 메모리(work memory; 110), 디스플레이(112) 및 사용자가 상기 디지털 이미지 장치에 입력하기 위한 키보드 또는 대응 수단을 포함하는 것이 전형적인 사용자 인터페이스(114)를 더 포함할 수 있다.

도 2a는 이미지 감지 장치(100)의 일례를 보여주는 도면이다. 이러한 예에서, 상기 이미지 감지 장치는 4개의 렌즈를 지니는 렌즈릿(lenslet) 어레이를 포함하는 렌즈 조립체(200)를 포함한다. 상기 이미지 감지 장치는 이미지 센서(202), 위상 마스크 장치(203), 애퍼처 플레이트(204), 컬러 필터 장치(206) 및 적외선 필터(208)를 더 포함한다.

도 2b는 다른 관점에서 본 이미지 감지 장치의 구조를 보여주는 도면이다. 이러한 예에서, 상기 렌즈 조립체(200)는 렌즈릿 어레이에 내재하는 4개의 개별 렌즈(210-216)를 포함한다. 그에 대응하여, 상기 애퍼처 플레이트(204)는 각각의 렌즈에 대한 고정된 애퍼처(218-224)를 포함한다. 상기 애퍼처 플레이트는 상기 렌즈에 전달되는 광량을 제어한다. 여기서 유념해야 할 점은 상기 애퍼처 플레이트의 구조가 상기 실시예들과 무관하다는 것인데, 다시 말하면 각각의 렌즈의 애퍼처 값이 동일한 값이여야 할 필요가 없다는 것이다. 렌즈의 개수도 또한 4개로 한정되지 않는다.

상기 이미지 감지 장치의 위상 마스크 장치(203)는 각각의 렌즈에 대한 위상 마스크(250-256)를 포함한다. 상기 위상 마스크는 상기 렌즈를 통과한 광선의 분포가 상기 센서의 위치에 민감하게 반응하지 않게끔 입사 광선들의 위상을 수정한다. 상기 위상 마스크는 또한 상기 렌즈의 표면상의 필름 피막으로서 실현될 수 있다. 상기 위상 마스크는 이하에서 더 상세하게 설명될 것이다.

이러한 예에서, 상기 이미지 감지 장치의 컬러 필터 장치(206)는 렌즈(210-214) 전방에 각각 3개의 컬러 필터, 즉 적색 필터(226), 녹색 필터(228) 및 청색 필터(230)를 포함한다. 이러한 예에서, 상기 센서 어레이(202)는 4개의 섹션(234-239)으로 분할된다. 따라서, 이러한 예에서 상기 이미지 감지 장치는 4개의 이미지 캡처링 장치(240-246)를 포함한다. 따라서, 상기 이미지 캡처링 장치(240)는 상기 센서 어레이의 섹션(234), 렌즈(210), 위상 마스크(250), 애퍼처(218) 및 컬러 필터(226)를 포함한다. 대응해서, 상기 이미지 캡처링 장치(242)는 상기 센서 어레이의 섹션(236), 렌즈(212), 위상 마스크(252), 애퍼처(220) 및 컬러 필터(228)를 포함하며 상기 이미지 캡처링 장치(244)는 상기 센서 어레이의 섹션(238), 렌즈(214), 위상 마스크(254), 애퍼처(222) 및 컬러 필터(230)를 포함한다. 제4 이미지 캡처링 장치(246)는 상기 센서 어레이의 섹션(239), 렌즈(216), 위상 마스크(256) 및 애퍼처(224)를 포함한다. 따라서, 이러한 예에서 상기 제4 애퍼처(246)는 어떠한 컬러 필터도 포함하지 않는다.

따라서, 도 2a 및 도 2b의 이미지 감지 장치는 상기 이미지 센서(202) 상에 4개의 개별 이미지를 형성할 수 있다. 상기 이미지 센서(202)는 당업자에게 알려져 있는 전하 결합 장치(Charged Coupled Device; CCD) 또는 상보형 금속 산화물 반도체(Complementary Metal-Oxide Semiconductor; CMOS) 센서와 같은 단일의 고체 센서인 것이 전형적이지만 반드시 그러한 단일의 고체 센서일 필요는 없다. 한 실시예에서, 상기 이미지 센서(202)는 위에서 언급된 바와 같이 렌즈들 간에 분할될 수 있다. 상기 이미지 센서(202)는 또한 각각의 렌즈에 대하여 하나씩 대응하는 4개의 서로 다른 센서를 포함할 수 있다. 상기 이미지 센서(202)는 광선을 전기 신호로 변환한다. 이러한 전기 아날로그 신호는 도 1에 예시된 바와 같이 상기 이미지 캡처링 장치에서 상기 A/D 변환기(102)에 의해 디지털 형태로 변환된다. 상기 센서(202)는 소정 수의 픽셀들을 포함한다. 상기 센서에서 픽셀들의 수는 상기 센서의 해상도를 결정한다. 각각의 픽셀은 광선에 응답하여 전기 신호를 생성한다. 이 미징 장치의 센서에서의 픽셀들의 수는 설계상의 매개변수이다. 전형적으로, 저렴한 이미징 장치에서 픽셀들의 수는 센서의 긴 변 및 짧은 변을 따라 640x480일 수 있다. 이러한 해상도의 센서는 종종 VGA 센서라고 지칭된다. 일반적으로, 센서에서 픽셀들의 수가 많으면 센서에 의해 생성되는 이미지는 더 세부적으로 묘사된다.

이와 같이 상기 이미지 센서(202)는 광선에 민감하게 반응하며 광선에 노출될 경우에 전기 신호를 생성한다. 그러나, 상기 센서는 다른 컬러들을 서로 구별할 수 없다. 따라서, 그와 같은 센서는 단지 흑백 이미지들만을 생성한다. 디지털 이미징 장치가 컬러 이미지들을 생성할 수 있게 하기 위해 여러 해결방안이 제안되어 있다. 당업자에는 완전한 컬러 이미지가 이미지 캡처링 단계에서 단지 3가지 기본 컬러만을 사용하여 생성될 수 있는 것으로 잘 알려져 있다. 일반적으로 사용되고 있는 3가지 적합한 컬러들의 한 조합은 적색(Red), 녹색(Green) 및 청색(Blue)(RGB)이다. 널리 사용되고 있는 다른 한 조합은 청록색(Cyan), 자홍색(Magenta) 및 황색(Yellow)(CMY)이다. 다른 조합들도 또한 가능하다. 모든 컬러들이 3가지 컬러를 사용하여 합성될 수 있지만, 에메랄드 색이 제4 컬러로서 사용되는 경우 RGBE와 같은 다른 해결방안들도 또한 이용가능하다.

단일 렌즈 디지털 이미지 캡처링 장치에서 사용되는 한가지 해결방안은 이미지 센서의 전방에 컬러 필터 어레이를 제공하는 것이고, 상기 필터는 RGB 또는 CMY 컬러들의 3가지 컬러 패턴으로 이루어진다. 그러한 해결방안은 종종 베이어 매트릭스(Bayer matrix)라고 지칭된다. RGB 베이어 매트릭스 필터를 사용할 경우에, 각각의 픽셀은 수평 방향으로 다른 모든 픽셀이 녹색 필터로 적용되고 다른 모든 픽셀 이 다른 모든 라인 상에서 적색 필터로 적용되며 그리고 다른 모든 라인 상에서 청색 필터로 적용되도록 단일 컬러의 필터로 적용되는 것이 전형적이다. 단일의 컬러 필터는 단일 컬러의 파장에 대응하는 파장을 지니는 필터 광선을 받는 픽셀을 상기 센서에 통과시킨다. 신호 처리기는 모든 픽셀들이 3가지 모든 컬러에 대한 컬러 값을 수신하도록 상기 센서로부터 수신된 이미지 신호를 보간(interpolation)한다. 따라서, 컬러 이미지가 생성될 수 있다.

도 2a의 다중 렌즈 실시예에서, 다른 접근방안이 컬러 이미지를 생성하는데 사용된다. 상기 이미지 감지 장치는 상기 렌즈 조립체(200)의 전방에 컬러 필터 장치(206)를 포함한다. 실제로, 상기 필터 장치는 또한 상기 필터 장치의 다른 부분에, 예를 들면 상기 렌즈들 및 상기 센서 사이에 위치될 수 있다. 한 실시예에서, 상기 컬러 필터 장치(206)는 3가지 RGB 컬러 각각에 대하여 하나씩 대응하는 3개의 필터를 포함하며, 각각의 필터는 렌즈의 전방에 위치된다. 변형적으로, CMY 컬러들 또는 다른 컬러 공간들이 또한 사용될 수 있다. 도 2b의 예에서, 상기 렌즈(210)는 적색 필터와 연관되고, 상기 렌즈(212)는 녹색 필터와 연관되며 그리고 상기 렌즈(214)는 청색 필터와 연관된다. 따라서, 하나의 렌즈(216)는 어떠한 컬러 필터도 지니지 않는다. 도 2a에 예시되어 있는 바와 같이, 한 실시예에서 상기 렌즈 조립체는 상기 렌즈들과 연관된 적외선 필터(208)를 포함할 수 있다. 상기 적외선 필터는 모든 렌즈들을 반드시 적용해야 할 필요가 없는데, 그 이유는 상기 적외선 필터가 또한 다른 어떤 부분에, 예를 들면 상기 렌즈들 및 상기 센서 사이에 위치될 수 있기 때문이다.

따라서, 상기 렌즈 조립체(200)의 각각의 렌즈는 상기 센서(202)에 개별 이미지를 생성한다. 상기 센서는 상기 렌즈들에 의해 생성되는 이미지들이 오버랩(overlap)하지 않게끔 상기 렌즈들 사이에 분할된다. 상기 렌즈들에 분할된 센서의 영역은 동일할 수도 있고 상기 영역들은 실시예에 따라 다른 크기들을 지닐 수 있다. 이러한 예에서, 상기 센서(202)가 VGA 이미징 센서이고 각각의 렌즈용으로 할당된 섹션들(234-239)이 쿼터(Quarter) VGA(QVGA) 해상도(320x240)를 지니는 것으로 가정하기로 한다.

위에서 언급된 바와 같이, 상기 센서(202)에 의해 생성된 전기 신호는 디지털화되어 상기 신호 처리기(104)에 전달된다. 상기 신호 처리기는 하나의 렌즈가 단일 컬러에 대하여 필터링되게 하는 렌즈들(210-214)의 신호들로부터의 3개의 개별 서브이미지가 생성되게끔 상기 센서로부터의 신호들을 처리한다. 상기 신호 처리기는 상기 서브이미지들을 부가적으로 처리하여 상기 서브이미지들로부터의 VGA 해상도 이미지를 조합한다. 도 2c는 상기 서브이미지들로부터의 최종 이미지를 조합하는 한가지 가능한 실시예를 보여주는 도면이다. 이러한 예에서는 녹색 필터가 2개 있고, 청색 필터가 하나 있으며 적색 필터가 하나 있게끔 렌즈릿의 각각의 렌즈가 컬러 필터를 포함하는 것으로 가정된 것이다. 도 2c에는 조합된 이미지(250)의 좌측 상단 코너 및 4개의 서브이미지, 즉 녹색 서브이미지(252), 적색 서브이미지(254), 청색 서브이미지(256) 및 녹색 서브이미지(258)가 도시되어 있다. 따라서, 상기 서브이미지들 각각은 320x240 픽셀 어레이를 포함한다. 상기 서브이미지들의 좌측 상단 픽셀들은 서로 대응하며 단지 픽셀 정보를 생성하는데 사용된 컬러 필터가 다르다는 점에서만 다르다. 상기 서브이미지들은 먼저 일치된다. 일치(registering)가 의미하는 것은 어느 2개의 이미지 지점이 동일한 물리적 지점에 대응하는 것으로 확인되는 것을 의미한다. 상기 조합된 이미지의 좌측 상단 픽셀(R1C1)은 녹색1 이미지(252)로부터 취해지며, 픽셀(R1C2)은 적색 이미지(254)로부터 취해지고, 픽셀(R2C1)은 청색 이미지(256)로부터 취해지며 그리고 픽셀(R2C2)은 녹색2 이미지(258)로부터 취해진다. 이러한 프로세스는 상기 조합된 이미지(250)의 모든 픽셀들에 대해 반복된다. 이후에 상기 조합된 이미지 픽셀들은 각각의 픽셀이 3가지 RGB 컬러 모두를 지니게끔 서로 융합된다. 최종 이미지는 총 해상도에서 VGA 센서 및 대응하는 베이어 컬러 매트릭스를 지니는 단일 렌즈 시스템으로 생성된 이미지와 일치한다.

한 실시예에서, 상기 최종 이미지를 구성할 경우에, 상기 신호 처리기(104)는 서로 떨어진 렌즈들(210-214)의 거리로부터 생기는 시차 에러(parallax error)를 고려할 수 있다.

상기 센서(202)에 의해 생성된 전기 신호는 디지털화되어 상기 신호 처리기(104)에 전달된다. 상기 신호 처리기는 하나의 렌즈가 단일 컬러에 대하여 필터되게 하는 렌즈들(210-214)의 신호들로부터의 3개의 개별 서브이미지가 생성되게끔 상기 센서로부터의 신호들을 처리한다. 상기 신호 처리기는 상기 서브이미지들을 부가적으로 처리하고 상기 서브이미지들로부터 VGA 해상도 이미지를 조합한다. 따라서, 상기 서브이미지들 각각은 320x240 픽셀 어레이를 포함한다. 상기 서브이미지들의 좌측 상단 픽셀들은 서로 대응하며 단지 픽셀 정보를 생성하는데 사용되는 컬러 필터가 다르다는 점에서만 다르다. 상기 시차 에러 때문에, 상기 서브이미지들의 동일한 픽셀들은 반드시 서로 대응해야 할 필요가 없다. 상기 시차 에러는 소정의 알고리즘에 의해 보상된다. 최종 이미지 정보는 여러 단계를 포함하는 것으로 언급될 수 있는데, 먼저 3개의 서브이미지가 일치(또한 매칭(matching)이라 언급됨)된다. 일치(registering)가 의미하는 것은 어느 2개의 이미지 지점이 동일한 물리적 지점에 대응하는 것으로 확인되는 것을 의미한다. 그리고나서, 상기 서브이미지들은 보간되고 상기 보간된 서브이미지들은 RGB 컬러 이미지로 융합된다. 보간 및 융합은 또한 다른 순서로 이루어질 수 있다. 최종 이미지는 총 해상도에서 VGA 센서 어레이 및 대응하는 베이어 컬러 매트릭스를 지니는 단일 렌즈 시스템으로 생성되는 이미지에 대응한다.

3개의 이미지 캡처링 장치(240-244)에 의해 생성된 서브이미지들은 컬러 이미지를 생성하는데 사용된다. 제4 이미지 캡처링 장치(246)는 다른 장치들의 속성들과는 다른 속성들을 지닐 수 있다. 상기 애퍼처 플레이트(204)는 3개의 다른 이미지 캡처링 장치의 애퍼처들과는 다른 제4 이미지 캡처링 장치(246)에 대한 소정 크기의 애퍼처(224)를 포함할 수 있다. 상기 신호 처리기(104)는 향상된 이미지 품질을 지니는 컬러 이미지를 생성하도록 3개의 이미지 캡처링 장치(240-244)로 생성된 서브이미지들과 상기 제4 이미지 캡처링 장치로 생성된 서브이미지의 적어도 일부분을 조합하도록 구성될 수 있다. 상기 신호 처리기(104)는 상기 이미지 캡처링 장치로 생성된 이미지들을 분석하고 상기 이미지들 중 어느 부분들을 조합해야 할 지를 결정하도록 구성될 수 있다. 상기 제4 이미지 캡처링 장치는 또한 본 발명과 무관하고 본원 명세서에 설명되지 않은 다른 여러 방식으로 채용될 수 있다.

위상 마스크 장치를 고찰해 보기로 한다. 렌즈 시스템의 동작은 종종 광 전달 함수(Optical Transfer Function; OTF)를 사용하여 설명된다. 상기 광 전달 함수는 어떻게 상기 렌즈 시스템이 상기 렌즈 시스템을 통과하는 광선들에 영향을 주는지를 설명한다. 상기 광 전달 함수는 이하의 수학식 1과 같이 공간 주파수(

)의 함수로서 렌즈 시스템에서 광선들의 위상 시프트(

) 및 광선들의 감쇠(

)를 제공한다.

상기 감쇠(

)는 변조 전달 함수(Modulation Transfer Function; MTF)로 지칭될 수 있으며 상기 위상 시프트(

)는 위상 전달 함수(Phase Transfer Function; PTF)로 지칭될 수 있다. 상기 위상 마스크는 상기 렌즈 시스템의 광 전달 함수가 상기 센서의 위치에 민감하게 반응하지 않게끔 상기 렌즈 시스템의 광 전달 함수를 수정한다.

도 3a는 상기 위상 마스크 장치(203)의 동작을 보여주는 도면이다. 상기 도면에는 위상 마스크(300) 및 렌즈(302)가 도시되어 있다. 이러한 예에서, 상기 위상 마스크는 상기 렌즈의 전방에 있다. 상기 마스크는 또한 렌즈 면의 양측 상에 필름 피막으로서 구현될 수 있다. 실제로, 상기 위상 마스크의 바람직한 위치는 상기 렌즈 시스템의 개구 조리개(aperture stop) 부근이다. 이러한 예에서, 입사 광 선(304)은 먼저 상기 위상 마스크에 도달한다. 상기 위상 마스크는 입사 광선의 파면 위상을 수정한다. 파면은 렌즈(302)를 통과하고 굴절 광선은 이미지 센서(306)로 진행한다. 상기 센서는 광선을 검출하며 이러한 광선을 전기 신호로 변환시킨다. 상기 신호는 처리기(308)로 전달된다. 상기 광 전달 함수가 상기 위상 마스크에 의해 수정됨에 따라, 그러한 수정들은 선명한 이미지가 획득될 수 있게끔 보상되어야 한다. 상기 처리기는 상기 신호에 대한 필터링과 같은 이미지 재구성을 수행한다. 상기 재구성은 상기 렌즈 시스템의 대략적인 광 전달 함수의 역함수로 상기 신호를 필터링하는 단계를 포함할 수 있다.

도 3b에서는, 3개의 스포트(spot)가 렌즈(302) 및 위상 마스크(300)를 포함하는 렌즈 시스템에 의해 찍혀진다. 상기 센서는 3개의 스포트(312)를 검출한다. 상기 스포트들은 위상 마스크에 기인하여 더 크게 되고 대칭이 이루어지지 않게 된다. 그러나, 상기 스포트들은 특정 피사체 및 상기 렌즈 시스템 간의 거리와 거의 무관하게 모든 이미지의 피사계 지점에서 항상 유사하다. 상기 스포트들의 왜곡이 공지되어 있는 위상 마스크의 속성들에 의존함에 따라 그리고 역필터로 센서 출력을 처리(314)함으로써 왜곡이 제거될 수 있다. 그 결과로, 더 작은 스포트들(316)이 획득된다.

도 4a 및 도 4b는 광선을 기반으로 한 위상 마스크의 동작을 보여주는 도면이다. 도 4a에서는, 초점 길이가 50인 단일의 이상적인 고전 렌즈(classical lens)가 x-축의 0 위치에 있는 것으로 가정되어 있다. 상기 렌즈는 평행 광선들의 초점을 x=50인 이미지 면상에 맞춘다. 따라서, 선명한 이미지는 단지 상기 이미지 면상 에서만 캡처링될 수 있다. 도 4b에서는, 상기 시스템의 광 전달 함수를 수정하는 위상 마스크가 적용된다. 부채 광선(ray fan)의 폭은 x=50인 초점면 부근에서 거의 일정하다. 그러므로, 부채 광선의 폭은 상기 이미지 면의 위치에 민감하게 반응하지 않는다. 도 4b의 부채 광선의 폭으로 예시되어 있는 바와 같이, 위상 마스크를 지니는 시스템은 이 때문에 선명한 이미지를 생성하지 못한다. 그러므로, 상기 이미지는 선명한 이미지를 획득하기 위해 디지털 방식으로 처리되어야 할 필요가 있다.

도 2b를 참조하면, 각각의 이미지 캡처링 장치(240-244)는 위상 마스크(250-254)를 지닌다. 각각의 위상 마스크(250-254)는 다른 특성들을 지닐 수 있다. 각각의 이미지 캡처링 장치가 서로 다른 컬러 필터(226-230)를 지니기 때문에, 대응하는 위상 마스크는 상기 컬러 필터에 통과되는 파장을 최적 상태로 처리하도록 설계될 수 있다.

상기 센서(202)는 필터링된 광선들을 검출하며 상기 광선을 전기 신호로 변환시킨다. 상기 센서(202)에 의해 생성된 전기 신호는 디지털화되어 상기 신호 처리기(104)로 전달된다. 상기 신호 처리기는 하나의 렌즈가 단일 컬러에 대하여 필터링되게 하는 렌즈들(210-214)의 신호들로부터의 3개의 개별 서브이미지가 생성되게끔 상기 센서로부터의 신호들을 처리한다. 상기 서브이미지들을 생성할 경우에, 상기 신호 처리기(104)는 각각의 서브이미지로부터 상기 위상 마스크의 효과를 제거한다. 그리고나서, 상기 신호 처리기는 상기 서브이미지들로부터 최종 이미지를 조합할 수 있다.

각각의 서브이미지는 베이어 매트릭스 샘플링의 경우와는 달리 임의로 주어진 스펙트럼 대역에서 전체 해상도에 걸쳐 샘플링된다. 이는 비-렌즈릿 카메라와 비교해 보면 최종 이미지의 이미지 품질을 개선한다. 베이어 매트릭스 샘플링에서는, 베이어 패턴에서의 적색 및 청색 컬러들에 대한 샘플링이 규칙적이다. 그러나, 이미징 스포트들은 언더샘플링(undersampling)되는데, 그 이유는 단지 다른 모든 픽셀만이 행(row) 방향으로 그리고 열(column) 방향으로 샘플링되기 때문이다. 더군다나, 청색 컬러에 대한 샘플링은 불규칙적인데, 다른 모든 열이 수평으로 샘플링되지만, 모든 행이 2개의 인접 행에 대한 하나의 픽셀 시프트 측면 때문에 수직으로 모든 행이 샘플링된다. 상기 샘플링은 단지 대각선으로 규칙적임으로써 복잡한 샘플링 그리드를 형성한다. 결론하면, 샘플링은 적색 및 청색 컬러들에 대하여 규칙적이지만, 적색 및 청색 스포트들의 언더샘플링된 버전들을 생성한다. 녹색에 대한 샘플링 그리드는 규칙적이지만, 적색 및 녹색 컬러 샘플링 그리드들과는 매우 다르다. 이는 다른 컬러들에 대한 샘플링 레이트 변환을 필요로 한다.

그러나, 본 발명에서 언급된 방법에서는, 각각의 컬러에 대한 샘플링은 규칙적이고 완전하다. 이는 신호(이미징 스포트들)가 각각의 컬러에 대하여 완전히 샘플링되기 때문에 유리하다. 베이어 매트릭스 샘플링에서와 같이 샘플링 레이트 또는 샘플링 그리드 변환들이 전혀 필요하지 않다.

본 발명의 이점은 컬러 채널들 간의 채널간 누화가 최소화된다는 것이다. 베이어 매트릭스가 채용될 경우에는 항상 채널 간의 광 누화가 존재한다. 누화에서는, 컬러 A 픽셀로 진행하여야 하는 광선이 컬러 B 픽셀로 진행하는데 그 이유는 광선이 센서의 면에 대한 법선과 비교해 볼 때 너무 큰 각도로 컬러 A 픽셀로 진입할 때 상기 센서의 상부에 있는 마이크로렌즈들이 광을 반사할 수 없기 때문이다. 이는 상기 센서의 변조 전달 함수를 감소시키고, 컬러 잡음을 초래한다. 상기 컬러 잡음은 제거하기가 매우 어려운데, 그 이유는 광선에 대한 각 스펙트럼이 일반적으로 알려져 있지 않기 때문이다. 역필터가 이미지를 재구성하도록 적용되어 상기 재구성된 이미지에 대한 컬러 가공물(colour artefact)들을 초래할 경우에 상기 컬러 잡음이 증가된다.

그러나, 렌즈릿에서, 완전히 제거된 컬러 잡음 및 재구성된 이미지 품질은 베이어 매트릭스가 채용된 경우보다 양호하다.

본 발명의 이점은 청색 채널에 대한 더 양호한 신호 대 잡음 비가 얻어진다는 것이다. 베이어 매트릭스가 채용될 경우에, 상기 청색 채널용 필터는 대개 녹색 및 적색 컬러들에 대한 필터들보다 많은 광선을 감쇠시킨다. 대개는, 상기 센서의 감도가 또한 청색에 대하여 비교적 낮다. 그러므로, 청색 픽셀들로부터의 신호는 녹색 또는 적색 픽셀들로부터의 신호보다 낮다. 균형이 맞는 이미지를 획득하기 위해, 상기 청색 채널에 대한 이득은 증가되어야 하는데, 이는 또한 청색 채널의 잡음을 증가시킨다.

그러나, 상기 렌즈릿 카메라에서, 서로 다른 컬러들에 대한 필터들은 각각의 채널에 대하여 신중하게 튜닝될 수 있다. 그 외에도, 각각의 채널 출력은 각각의 채널에 대한 다른 애퍼처들을 사용하여 균형이 맞게 될 수 있다. 따라서, 상기 신호 대 잡음 비는 청색 채널에 대하여 개선됨으로써, 베이어 패턴형 센서의 재구성 된 이미지 품질에 비해 재구성된 이미지 품질을 개선한다.

본 발명의 또 다른 한 이점은 각각의 컬러 채널에 대한 렌즈 시스템들의 파장 튜닝이 이미지 품질을 개선한다는 것이다. 베이어 매트릭스가 채용될 경우에, 상기 카메라의 렌즈 시스템은 완전 가시 범위에 걸쳐 이미지를 형성해야 하는데, 이는 절충된 렌즈를 필요로 한다. 따라서, 결과적으로 얻어진 스포트들은 컬러 의존적임으로써, 파면 부호화 시스템들에서 스포트들의 양호한 유사성을 이루기가 가능하지 않다.

그러나, 상기 렌즈릿 카메라에서는, 각각의 채널이 단지 협대역 스펙트럼(컬러)에 대하여만 신중하게 최적화됨으로써, 각각의 채널의 스포트들이 서로에 대하여 매우 유사하게 될 수 있는데, 이는 재구성된 (역필터링된) 이미지의 품질을 개선한다.

도 5는 블록 선도로 신호 처리기의 동작에 대한 일례를 보여주는 도면이다. 상기 센서는 서브이미지를 검출하고 센서 잡음(502)이 추가된 전기 신호(500)를 생성한다. 상기 서브이미지 신호(504)는 이미지 처리(506)를 수행할 수 있는 신호 처리기에 전달된다. 상기 신호 처리기는 상기 위상 마스크의 효과를 제거함으로써 상기 신호를 필터링한다. 따라서, 선명한 이미지가 획득된다. 다음에, 상기 이미지는 상기 센서 잡음을 제거하도록 필터링(508)된다. 상기 필터링된 서브이미지(510)는 마찬가지로 처리된 다른 서브이미지(514)와 조합(512)된다. 그러한 조합은 최종 컬러 이미지(516)를 생성한다.

한 실시예에서, 본 발명은 이미징 장치 모듈에서 실현되는데, 상기 이미징 장치 모듈은 적어도 3개의 이미지 캡처링 장치를 포함하고, 각각의 이미지 캡처링 장치는 렌즈 시스템 및 센서를 포함하며 이미지를 생성하도록 구성된다. 도 1을 참조하면, 상기 이미징 장치 모듈은 처리기(104)에 동작가능하게 연결된 이미지 감지 장치(100)를 포함할 수 있다. 각각의 렌즈 시스템은 상기 렌즈 시스템을 통과한 광선들의 분포가 상기 센서의 위치에 민감하게 반응하지 않게끔 입사 광선의 위상을 수정하는 위상 마스크를 포함한다. 상기 이미징 장치 모듈은 상기 위상 마스크의 효과를 제거함으로써 상기 이미징 장치 모듈의 출력 신호를 처리하도록 구성된 처리기를 포함하는 장치에 설치될 수 있다.

비록 본 발명이 위에서 첨부도면들에 따른 예를 참조하여 설명되었지만, 분명한 점으로는 본 발명이 그에 한정되지 않고 첨부된 청구항들의 범위 내에서 여러 방식으로 수정될 수 있다는 것이다.

Claims (12)

1. 적어도 3개의 이미지 캡처링 장치를 포함하는 이미징 장치로서, 각각의 이미지 캡처링 장치는 렌즈 시스템 및 센서를 포함하며 이미지를 생성하도록 구성되고, 상기 이미징 장치는 컬러 이미지를 생성하도록 상기 이미지의 적어도 일부분을 서로 조합하도록 구성된 처리기를 더 포함하는 이미징 장치에 있어서,

   각각의 렌즈 시스템은 상기 렌즈 시스템을 통과한 광선의 분포가 상기 센서의 위치에 민감하게 반응하지 않게끔 입사 광선의 위상을 수정하는 위상 마스크를 포함하는 것을 특징으로 하는 이미징 장치.
2. 삭제
3. 제1항에 있어서, 각각의 렌즈 시스템의 각각의 위상 마스크는 다른 특성을 지니는 것을 특징으로 하는 이미징 장치.
4. 제1항에 있어서, 상기 3개의 이미지 캡처링 장치 각각은 적색, 녹색 또는 청색 필터들의 그룹으로부터 고유한 컬러 필터를 포함하는 것을 특징으로 하는 이미징 장치.
5. 제1항에 있어서, 상기 3개의 이미지 캡처링 장치 각각은 청록색, 자홍색 또는 황색 필터들의 그룹으로부터 고유한 컬러 필터를 포함하는 것을 특징으로 하는 이미징 장치.
6. 제1항에 있어서, 각각의 렌즈 시스템은 각각의 렌즈 시스템의 광 전달 함수(Optical Transfer Function; OTF)가 상기 센서의 위치에 민감하게 반응하지 않게끔 상기 각각의 렌즈 시스템의 광 전달 함수(OTF)를 수정하는 위상 마스크를 포함하는 것을 특징으로 하는 이미징 장치.
7. 이미징 장치에서 컬러 이미지를 생성하는 방법으로서, 상기 이미징 장치는 적어도 3개의 이미지 캡처링 장치를 포함하고, 각각의 이미지 캡쳐링 장치는 렌즈 시스템 및 센서를 포함하며 이미지를 생성하도록 구성되며, 상기 컬러 이미지는 상기 이미지의 적어도 일부분을 서로 조합함으로써 생성되는 이미징 장치에서의 컬러 이미지 생성 방법에 있어서,

   상기 이미징 장치에서의 컬러 이미지 생성 방법은,

   각각의 렌즈 시스템을 통과한 광선의 분포가 상기 센서의 위치에 민감하게 반응하지 않게끔 입사 광선의 위상을 수정하는 위상 마스크로 상기 각각의 렌즈 시스템에서 입사 광선을 처리하는 단계;

   상기 이미지로부터 상기 위상 마스크의 효과를 제거함으로써 각각의 이미지 캡쳐링 장치에 의해 획득된 이미지를 처리기에서 처리하는 단계; 및

   각각의 이미지 캡처링 장치로 생성되는 처리된 이미지들을 서로 조합함으로써 컬러 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미징 장치에서의 컬러 이미지 생성 방법.
8. 제7항에 있어서, 상기 이미징 장치에서의 컬러 이미지 생성 방법은 다른 특성을 지니는 위상 마스크로 각각의 렌즈 시스템에서 입사 광선을 처리하는 단계를 포함하는 것을 특징으로 하는 이미징 장치에서의 컬러 이미지 생성 방법.
9. 제7항에 있어서, 상기 이미징 장치에서의 컬러 이미지 생성 방법은 적색, 녹색 또는 청색 필터들의 그룹으로부터 고유한 컬러 필터로 각각의 렌즈 시스템에서 상기 입사 광선을 필터링하는 단계를 포함하는 것을 특징으로 하는 이미징 장치에서의 컬러 이미지 생성 방법.
10. 제7항에 있어서, 상기 이미징 장치에서의 컬러 이미지 생성 방법은 각각의 렌즈 시스템의 광 전달 함수(Optical Transfer Function; OTF)가 상기 센서의 위치에 민감하게 반응하지 않게끔 상기 각각의 렌즈 시스템의 광 전달 함수(OTF)를 수정하는 위상 마스크로 상기 각각의 렌즈 시스템에서 입사 광선을 필터링하는 단계를 포함하는 것을 특징으로 하는 이미징 장치에서의 컬러 이미지 생성 방법.
11. 적어도 3개의 이미지 캡처링 장치를 포함하는 이미징 장치 모듈로서, 각각의 이미지 캡처링 장치는 렌즈 시스템 및 센서를 포함하며 이미지를 생성하도록 구성된 이미징 장치 모듈에 있어서,

    각각의 렌즈 시스템은 상기 렌즈 시스템을 통과한 광선의 분포가 상기 센서의 위치에 민감하게 반응하지 않게끔 입사 광선의 위상을 수정하는 위상 마스크를 포함하는 것을 특징으로 하는 이미징 장치 모듈.
12. 제11항에 있어서, 상기 이미징 장치 모듈은 상기 위상 마스크의 효과를 제거함으로써 상기 이미징 장치 모듈의 출력 신호를 처리하도록 구성된 처리기에 접속되는 것을 특징으로 하는 이미징 장치 모듈.

Images