KR20120106762A

KR20120106762A - 압축 컬러 이미지 샘플링과 재구성을 위한 방법 및 시스템

Info

Publication number: KR20120106762A
Application number: KR1020127015779A
Authority: KR
Inventors: 므리튠제이 싱; 트리퓨라리 싱
Original assignee: 트리퓨라리 싱; 므리튠제이 싱
Priority date: 2009-11-20
Filing date: 2010-11-20
Publication date: 2012-09-26
Also published as: EP2502423A2; CA2781534A1; JP2013511924A; US8761525B2; WO2011063311A3; US20110142339A1; WO2011063311A2; CN102812709A; CN102812709B

Abstract

본 발명은 압축 컬러 이미지 샘플링 및 재구성을 위한 방법 및 시스템에 관한 것이다. 변환이 공간적 기준에서 실질적으로 대각선으로 수행되는, 공간적 기준에서 원래의 이미지의 광학 특성을 변환하고 샘플링하는 것에 의해 생성된 데이터의 샘플 세트가 수신된다. 압축 센싱 재구성 기술은 추론된 원래의 이미지 데이터의 세트를 생성하도록 샘플 데이터에 적용된다. 데이터 처리 장치는 데이터의 이 샘플 세트를 수신하고 이 샘플 데이터에 압축 센싱 재구성 기술을 적용하여 추론된 원래의 이미지 데이터의 세트를 생성하도록 적응된다. 바람직한 실시예에서, 이미징 시스템은 컬러들이 이미지 센서에 걸쳐 랜덤하게 또는 준 랜덤하게 배열된 컬러 필터 어레이(CFA)를 사용한다. 이미지는 압축 센싱 희소 해결 검색 기술을 사용하여 센서 데이터와 CFA 패턴으로부터 추론된다. 추론된 이미지는 동일한 개수의 센서 요소를 가지는 센서를 사용하여 현재 CFA 기반 구조를 통해 달성가능한 것보다 더 큰 해상도를 가지게 된다.

Description

압축 컬러 이미지 샘플링과 재구성을 위한 방법 및 시스템{METHOD AND SYSTEM FOR COMPRESSIVE COLOR IMAGE SAMPLING AND RECONSTRUCTION}

본 출원은 미국 가출원 제61/262,923호(출원일: 2009년 11월 20일)에 기초하고 이의 우선권의 이익을 주장하며, 해당 기초 출원은 참조로 그의 전문이 본 명세서에 포함된다.

본 발명의 실시예는 이미징에서 압축 샘플링을 하기 위한 시스템 및 방법에 관한 것이다.

종래의 샘플링

디지털 신호 분석은 제 1 단계로서 아날로그 신호를 이산 영역(discrete domain)으로 변환할 것을 요구한다. 이것은 종래에 아날로그 신호를 이 아날로그 신호의 최고 주파수 성분의 2배로 정의될 수 있는 나이키스트 속도(Nyquist rate) 이상으로 샘플링하여야 하는 것을 나타내는 샘플링 이론에 의해 지배된다. 높은 대역폭의 신호에 대해서는 이에 대응하여 높은 샘플링 속도가 획득 시스템에 많은 부하를 제공할 수 있다.

종래의 컬러 이미징

여기서 이미지는 관련 측정 기간 동안 공간적으로는 변할 수 있으나 시간적으로는 상당히 변하지 않는 강도, 컬러, 편광과 같은 일부 광학 특성을 나타낼 수 있는 진폭을 가지는 아날로그 신호인 것으로 고려될 수 있다. 컬러 이미징에서, 광 강도는 일반적으로 감광 센서 요소들에 의해 검출된다. 종래의 이미지 센서는 일반적으로 이들 개별적인 센서 요소들을 2차원적으로 규칙적으로 기울이는 것으로 구성된다. 컬러 이미징 시스템은 컬러 이미지를 합성하기 위한 적어도 3개의 기본 컬러로 이미지를 샘플링할 것을 요구한다. 본 명세서에서 "기본 컬러"(basic color)라는 용어는 원색(primary color), 제 2 차 색(secondary color) 또는 이미징 시스템이 이미지를 나타내는 컬러 공간을 형성하는 컬러들 중 임의의 적절하게 선택된 컬러 세트를 말하는 것으로 사용된다. 컬러 센싱은, 예를 들어 (a) 이미지를 3개의 동일한 복사본으로 분할하고, 각각을 기본 컬러로 개별적으로 필터링하며, 이들 각각을 별도의 이미지 센서를 사용하여 센싱하는 것이나, (b) 각 기본 컬러에서 필터링된 이미지를 동일한 이미지 센서로 전달하기 위해 회전 필터 디스크를 사용하는 것과 같은 여러 수단에 의해 달성될 수 있다.

그러나, 컬러 이미지를 캡처하는 가장 일반적인 설계는 컬러 필터 어레이("CFA": color filter array)를 그 위에 배치한 단일 센서를 사용하는 것이다. 이것은 각 출력 픽셀의 값이 각 기본 컬러에 대해 하나씩 수평이나 수직 스트립으로 통상 배열되는 3개의 센싱 요소에 의해 결정되는 간단한 설계를 포함한다.

미국 특허 제3,971,065호(발명의 명칭: "COLOR IMAGING ARRAY", 발명자: Bayer)에 기술된 널리 보급된 것을 포함하는 다른 CFA 설계는 대부분 규칙적으로 반복된 패턴으로 배열된 상이한 컬러의 필터를 사용한다. 이들 시스템은 전부 각 픽셀 위치에서 3개의 기본 컬러를 재구성하기 위해 디모자이킹(demosaicking)이라고도 알려진 디모자이킹(demosaicing)이라 불리는 공정에 의존한다. 종래의 디모자이킹 알고리즘은 일반적으로 예를 들어 이중 선형, 복조 및 필터링 및 에지 적응 알고리즘과 같은 보간 기술을 사용하는 것을 수반한다. 종래의 디모자이킹 알고리즘은 기본 컬러에서 이미지의 정밀 상세에 대응하는 고주파수가 적어도 하나의 방향으로 낮은 고주파수 에너지 컨텐츠를 가지거나 상관되는 경우에만 잘 작동한다. 이들 고주파수 특성이 없는 경우 재구성된 이미지는 결함을 나타낸다. 랜덤한 CFA는 또한 문헌[Condat, "Random patterns for color filter arrays with good spectral properties" (Research Report of the IBB, Helmholtz Zentrum Munchen, no. 08-25, Sept. 2008, Munich, Germany)]에서 연구되었으나, 재구성은 또한 종래의 디모자이킹에 의존한다. 그리하여, 재구성된 이미지는 랜덤화에 의하여 시각적으로 덜 눈에 띄는 것을 제외하고는 디모자이킹 결함을 나타낸다.

신호 압축

이미지 압축은 일반적으로 전송과 저장 동안 시스템 데이터 부하를 감소시키기 위해 디지털 이미지 획득 후에 적용된다. 이미지 압축은 자연 이미지와 많은 합성 이미지가 일부 기준(basis)에서 대략 희소(sparse)하다는 관찰에 기초한다. 이것은 퓨리에 관련 기준, 예를 들어 자연 이미지의 경험적으로 관찰되는 계층적 자체 유사성(hierarchical self similarity)에 의존하고 JPEG2000 압축 방법의 기초가 되는 JPEG 및 웨이브릿(wavelet)에 의해 사용되는 이산 코사인 변환("DCT": discrete cosine transform)을 포함한다.

일반화된 센싱

생플링되는 신호가 일부 기준에 희소하다면, 나이키스트 속도에서 샘플링하는 것이 자원을 비효율적으로 사용하게 된다. 여러 시도가 샘플링 속도를 감소시키기 위해 이 희소성을 레버리지(leverage)로 사용하기 위해 이루어졌다. 일부 기술은 예측될 것을 요구하는 파라미터의 수를 감소시키기 위해 신호의 예상되는 구조의 사전 지식을 통합하는 제한적인 신호 모델을 사용한다. 적응적 멀티 스케일 센싱은 신호의 예상되는 멀티 스케일 구조의 사전 지식을 사용한다. 이 기술은 요구되는 측정의 수를 감소시키는데 있어 상당한 효과가 있지만 일련의 측정을 요구하고 고속으로 이동하는 대상을 이미징하는데에는 바람직하지 않은 특성을 나타낸다.

압축 센싱

"압축 센싱"(compressive sensing)이라 불리는 새로운 감소된 속도 샘플링 구조가 최근에 개발되었다. 압축 센싱 재구성 기술의 목표는 "희소성 촉진"(sparsity promotion)이라고 알려져 있는 정규화 구조를 통해 불량 조건 역 문제(ill-posed inverse problem)를 구하는 것이다. 불량 조건 역 문제는 여기서 원래 신호의 변환의 샘플링된 데이터 세트로부터 원래의 신호를 재구성하는 것과 관련된 것이며, 여기서 변환은 비가역적(non-invertible)이다. 희소성 촉진은 일부 기준에서 또한 대략 희소한 불량 조건 역 문의 해를 우선적으로 검색하기 위하여 이 기준에서 원래의 신호의 희소성의 사전 통계적 지식을 사용한다. 이에 대해서는, 그 전체 내용이 본 명세서에 병합된 문헌[Candes et al., "Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information" (IEEE Trans. on Information Theory, 52(2) pp. 489-509, February 2006)]을 참조할 수 있다. 이들은 원래의 신호가 희소한 기준에 내재하는 샘플 기준에서 원래의 신호의 비적응적 샘플의 감소된 수만으로도 정보 손실이 전혀 없거나 거의 없이 신호를 복구하기에 충분하다는 것을 보여주었다. 여기서 불일치(incoherence)는 2개의 기준 사이의 비유사성(dissimilarity)의 척도이며; 보다 정확하게는, 이것은 2개의 각 기준으로부터 기준 벡터의 임의의 쌍들 사이에 내적(inner product)의 최대 크기이다. 이에 대해서는, 문헌[Candes and Romberg, "Sparsity and incoherence in compressive sampling" (Inverse Problems, 23(3) pp. 969-985, 2007)]을 참조할 수 있다. 이들은 높은 확률로 원래의 신호를 정확히 재구성하는데 필요한 샘플의 수와 기준들 사이의 불일치 사이의 역 관계를 유도하였다. 압축 센싱 기술은 이에 따라 논리적 유지와 물리적 확률의 공동 최대값을 통해 수식의 아래 결정된 시스템으로부터 원래의 신호를 재구성한다.

초기에는 계산이 과도한 조합 검색을 요구하는 L₀ 노름(norm) 최소화를 요구하는 것으로 생각되었다. 놀랍게도, 차후에는 훨씬 더 많은 계산이 쉬운 선형 프로그래밍 접근법이 또한 가능하다는 것이 보여졌다. 이 접근법은 알려진 관찰에 의해 제한된 희소 기준에서 재구성의 L₁ 노름을 최소화한다.

압축 센싱에서 역 문제를 해소하는 몇몇 형식은 "기준 추구" 및 제한된 및 제한되지 않은 볼록한 4차 프로그램을 포함하는 것이 제안되었다. 그 전체 내용이 본 명세서에 병합된 문헌[Figueiredo et al., "Gradient projection for sparse reconstruction: Application to compressed sensing and other inverse problems" (IEEE Journal on selected topics in Signal Processing, 2007)]을 참조할 수 있다.

하나의 형식은 제한되지 않는 볼록한 최적화 문제로 구성되며,

수식 (1)

여기서 x 는 단일 차원 벡터로 래스터링된 희소 기준에서의 해이고, y 는 관찰된 이미지이며 또한 래스터링된 것이고, A 는 희소 영역으로부터 공간 영역으로 기준의 변화를 나타내는 변환 매트릭스이고, 희소 표시인 x 는 y보다 더 적은 수의 요소를 가진다. 제 1 항은 관찰된 데이터로부터 편차를 페널티로 부과하는 항인 반면, 제 2 항은 덜 희소한 해를 페널티로 부과하기 위해 도시된 L₁ 노름이다. τ 는 2개의 페널티 항의 상대적인 기중치를 조절한다.

임계값 아래로 다른 것을 제한하면서 제 1 항 또는 제 2 항을 단순히 최소화하는 제한된 볼록한 최적화 문제의 형식들이 또한 존재한다.

직교 매칭 추구("OMP": orthogonal matching pursuit) 및 이것의 많은 변형예들, 예를 들어, 동시 직교 매칭 추구(Simultaneous Orthogonal Matching Pursuit), 스테이지 매칭 추구(Staged Matching Pursuit), 확장기 매칭 추구(Expander Matching Pursuit), 희소 매칭 추구(Sparse Matching Pursuit) 및 순차 희소 매칭 추구(Sequential Sparse Matching Pursuit)는 근사 해를 신속히 획득하는 일반적인 등급의 알고리즘을 형성한다. 이에 대해서는, 그 전체 내용이 본 명세서에 병합된 문헌[Candes et al., "Practical signal recovery from random projections" (IEEE Trans. Signal Processing, 2005)]을 참조할 수 있다. 재구성 알고리즘의 또 다른 등급은 잡음 제거 방법에 의해 유발되며, 변환 영역에서 반복되는 임계값을 포함한다. 후속하는 개선을 통해 지속적으로 재구성의 품질을 더 향상시키고 계산의 부담을 감소시킨다.

압축 센싱은 정보 스케일러블(scalable)하며, 즉, 너무 적은 수의 샘플이 정확한 재구성을 하기 위해 존재하는 경우에도 여러 정보 레벨이 측정의 수에 따라 추출될 수 있다.

본 명세서에서 사용되는"압축 센싱(compressive sensing)"(또한 "압축된 센싱(compressed sensing)"이라고도 알려져 있는) 이라는 용어는 일부 기준에서 또한 대략 희소한 원래의 신호의 변환의 샘플에 기초하여 불량 조건 역 문제의 해를 우선적으로 검색하기 위하여 일부 기준에서 원래의 신호의 대략 희소성의 사전 통계 지식을 사용하여 신호를 재구성하는 것을 의미한다.

수많은 희소성 촉진 해결자(sparsity promoting solver)가 이용가능하다. 일부 두드러진 것들이 아래에 나열된다:

GPSR: 이것은 그래디언트 프로젝션 알고리즘(gradient projection algorithms)을 사용하여 바운드 제한된 4차 프로그래밍 형식을 해결한다. 이것은 그 전체 내용이 본 명세서에 병합된 문헌[Figueiredo, Nowak, Wright, "Gradient projection for sparse reconstruction: Application to compressed sensing and other inverse problems" (IEEE Journal on selected topics in Signal Processing, 2007)]에 기술되어 있으며, 현재 http://www.lx.it.pt/~mtf/GPSR/에서 이용가능하다.

l1-Magic: 이것은 "선형 프로그래밍" 또는 제 2 차 "원추 프로그래밍" 형식을 해결한다. 이것은 현재 http://www.acm.caltech.edu/l1magic/에서 이용가능하거나, 문헌[Emmanuel Candes, Stanford University Department of Mathematics, 450 Serra Mall, Bldg. 380]으로부터의 요구에 의해 얻을 수 있다.

Sparsify: 이것은 OMP의 여러 변형을 포함하는 다수의 알고리즘을 포함한다. 이것은 현재 http://www.persona1.soton.ac.uk/tblm08/spafsify/sparsify.html에서 이용가능하다.

l1_ls: 이것은 내부점 방법(interior-point methods)을 사용하여 수식 (1)의 볼록한 4차 프로그래밍 형식을 해결한다. 이것은 현재 http://www.stanford.edu/~boyd/ll ls /에서 이용가능하다.

압축 이미징

불운하게도, 이미징에 압축 센싱을 적용하는 것은 단점을 가지고 있다. 임의의 특정 희소 기준으로 불일치(incoherence)를 달성하기 위해 임의의 샘플링 기준을 구현하는 것은 각 측정이 모든 픽셀 값의 선형 조합일 것을 요구할 수 있다. 모든 픽셀 값을 얻은 후에 선형 조합을 계산하는 것은 압축 센싱의 목적을 이루지 못할 수 있으므로, 포토사이트(photosite)에 의해 감지되기 전에 광학 영역에서 또는 디지털화되기 전에 아날로그 전기 영역에서 임의의 기준으로 프로젝션을 구현하는 기술이 개발되었다.

하나의 이러한 기술에서, 상이한 기준에의 프로젝션은 디지털 미러 디바이스("DMD")를 사용하여 행해지고 복수의 샘플이 직렬로 획득된다. 이에 대해서는 문헌[Duarte et al., "Single-pixel imaging via compressive sampling"(IEEE Signal Processing Magazine, 25(2), pp. 83-91, March 2008]을 참조할 수 있다. 직렬 측정은 실시간 이미징에서는 바람직하지 않은 특성이다. 이외에 센서 비용의 절감이 중요한 경우에만 DMD의 추가적인 비용이 정당화된다. 이것은 종종 일반적으로 가시 스펙트럼 자체에 대해서가 아니라 가시 스펙트럼의 에지를 넘어 측정하는 검출기에 대한 경우이다.

광학 영역에서 임의의 기준으로 프로젝션을 구현하는 다른 기술은 복굴절 구조의 마이크로 광학기계 디바이스를 사용하여 이미지를 복수회 복제하는 것과, 측정 전에 각 복제물을 상이하게 필터링하는 것을 포함한다. 이에 대해서는, 미국 특허 제7,532,772호(발명의 명칭: "CODING FOR COMPRESSIVE IMAGING", 발명자: Brady)를 참조할 수 있다. 이들 기술이 직렬 측정을 요구하지는 않으나, 광학 처리는 비용을 상당히 추가한다. 나아가, 이들은 컬러 이미지를 캡처하지 않는다.

문헌[Jacques, L., Vandergheynst, P., Bibet, A., Majidzadeh, V., Schmid, A., and Leblebici, Y., "CMOS compressed imaging by Random Convolution" (IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), April 19-24, 2009)]에 기술된 다른 기술은 공간적 기준(spatial basis)과는 다른 기준에서 전기적으로 효과적으로 샘플링하는 여러 센서 요소의 출력을 상호 연결하는 것에 의해 샘플링 단계 그 자체에서 이미지의 랜덤 콘볼류션(random convolution)을 수행한다. 이것은 공간적 기준에서 비대각선 변환에 영향을 미친다. 하드웨어에서 콘볼류션을 수행하는 특별한 하드웨어의 비용에 더하여 이 구조는 직렬 측정을 하여야 하는 단점을 가지고 있다.

따라서, 계산이 실행가능하고 실시가능하며 경제적으로 이미지 처리에 압축 센싱을 사용하는 방법 및 시스템이 요구된다.

본 발명은 이미지를 처리하는 방법을 제공한다. 본 방법에서, 원래의 이미지의 광학 특성을 공간적 기준에서 변환하고 샘플링하는 것에 의해 생성된 데이터의 샘플 세트가 수신되고 이 변환은 실질적으로 공간적 기준에서 대각선으로 수행된다. 압축 센싱 재구성 기술은 추론된 원래의 이미지 데이터 세트를 생성하기 위해 데이터의 샘플 세트에 적용된다.

나아가, 복수의 감광 센서 요소를 구비하는 이미지 센서가 광학 특성에 응답하는 복수의 변환 요소를 구비하는 광학 변환과 함께 제공될 수 있고, 여기서 광학 변환에 의해 수행되는 변환은 실질적으로 공간적 기준에서 대각선 방향이다. 이 경우에, 이미지는 광학 변환 상으로 투사(project)되며, 변환 요소의 광학 응답은 데이터의 샘플 세트를 생성하기 위해 이미지 센서에서 원래의 이미지로 센싱된다.

본 발명은 또한 이미지를 처리하는 시스템을 제공한다. 본 시스템은 원래의 이미지의 광학 특성을 공간적 기준에서 변환하고 샘플링하는 것에 의해 생성된 데이터의 샘플 세트를 수신하도록 적응된 데이터 처리 장치를 포함하며, 여기서 변환은 공간적 기준에서 실질적으로 대각선으로 수행된다. 이것은 추론된 원래의 이미지 데이터의 세트를 생성하기 위하여 데이터의 샘플 세트에 압축 센싱 재구성 기술을 적용한다.

본 시스템은 복수의 감광 센서 요소를 구비하는 이미지 센서; 광학 특성에 응답하는 복수의 변환 요소를 구비하는 광학 변환 디바이스로서, 상기 광학 변환에 의해 수행되는 변환은 실질적으로 공간적 기준에서 대각선 방향인, 광학 변환 디바이스; 및 광학 변환 디바이스로 이미지를 투사하도록 적응된 광학 이미징 디바이스를 더 포함할 수 있으며, 여기서 이미지 센서는 데이터의 샘플 세트를 생성하기 위하여 대응하는 감광 요소에서의 이미지에 대한 변환 요소의 광학 응답을 수신하기 위하여 광학 변환에 대하여 배치된다.

본 발명의 하나의 바람직한 실시예는 동일한 수의 센서 요소를 사용하는 단색 이미지 센서로서 각 컬러에 동일한 제한 이미지 해상도를 달성하는 압축 센싱에 기초하여 이미지 재구성 기술을 통해 랜덤하게 또는 준 랜덤하게 배열된 컬러와 컬러 필터 어레이를 조합한다.

본 개요는 일반적으로 도면과 상세한 설명에서 설명되는 것이 무엇인지 예시하는 수단으로서 제공된 것일 뿐 본 발명의 범위를 제한하고자 의도된 것이 전혀 아니다. 본 발명의 목적, 특징 및 이점은 첨부 도면을 참조하여 이하 상세한 설명을 고려하여 용이하게 이해될 수 있을 것이다.

도 1은 본 발명의 바람직한 실시예에 따라 압축 샘플링을 사용하여 컬러 이미지를 샘플링하고 재구성하는 방법을 도시하는 흐름도;
도 2는 본 발명의 바람직한 실시예에 따라 컬러 이미징 시스템의 개략도;
도 3은 본 발명의 바람직한 실시예에 따라 컬러 필터 어레이를 도시하는 도면;
도 4는 매트랩(Matlab)에서 수행되는 본 발명의 바람직한 실시예에 따라 압축 샘플링을 사용하여 컬러 이미지 샘플링과 재구성의 시뮬레이션의 결과를 도시하는 도면;
도 5는 본 발명의 바람직한 실시예에 사용하기에 적합한 랜덤 컬러 필터 어레이를 생성하는 매트랩(Matlab) 코드의 일부를 나열하는 도면.

종래 기술의 압축 이미징 방법 및 시스템의 한계를 해결하기 위하여, 본 발명은 공간적 기준을 직접 샘플링 기준으로 사용한다. 이 직접 공간 샘플링은, 특히 공간적 기준에서 실질적으로 대각선인 컬러 필터링과 같은 변환을 적용한 후에 이미지를 샘플링하기 때문에, 즉, 각 위치에서 변환된 값이 그 위치에서만 원래의 이미지에 의존할 뿐, 측정과 희소 기준 사이에 불일치를 달성하기 위하여 이로부터 실질적으로 제거된 위치에서는 의존하지 않기 때문에, 이미지 샘플링의 이미 언급된 기존의 기술과는 다른 것이다. 이것은 자연 신호가 대략 희소하다는 퓨리에 관련 기준과는 공간적 기준이 이미 매우 불일치하므로 잘 작동한다. 이 선택은 또한 모든 측정값이 동시에 획득되므로 각 측정값이 단순히 개별 센서 요소의 출력인 복수의 측정값을 직렬로 만들어야 하는 이미 언급된 단점을 나타내지 않는다. 광학 저역 통과 필터와 같은 공간적 기준에서 비대각선 방향인 변환에 영향을 미치는 광학 요소들이 파이프라인에는 허용되지만 원래의 이미지 - 압축 센싱 기술을 사용하여 재구성하려는 이미지 - 는 여기서 이 필터들이 적용된 후에 생성된 이미지로 정의된다는 것을 주목해야 한다. 나아가, 이러한 요소들은 불일치 개선을 위해서는 사용되지 않는다.

단색 이미지 센서의 경우에, 규칙적인 패턴으로 배열된 더 적은 개수의 센서 요소들을 가지는 센서 어레이를 선택하는 소박한 설계는 압축 센싱의 이점을 제공하지 않으며; 즉, 이 이미지 센서의 최대 공간 주파수는 감소된 나이키스트 주파수로 제한된다. 나이키스트 제한을 넘는 주파수는 공간 측정 기준에서 이들 주파수의 랜덤한 프로젝션이 에일리어스(aliase)의 것과 구별될 수 없어 추론될 수 없다. 이와 대조적으로, 일부 랜덤하거나 준 랜덤하게 선택된 센서 요소들이 턴오프된 규칙적인 단색 이미지 센서는 품질 손실이 전혀 없거나 거의 없이 최대 해상도로 이미지를 재구성하는데 충분한 정보를 여전히 제공할 수 있다. 이것이 센서 영역의 감소를 초래하지는 않으나, 이것은 판독 속도를 감소시킨다. 이것은 본 발명의 일 실시예를 형성한다.

본 발명의 바람직한 실시예는 단색 이미지 센서와 같은 개수의 센서 요소를 가지는 이미지 센서로 3개의 기본 컬러를 팩킹하기 위해 전술된 단색 이미지 센서에 희소 센서 요소들을 사용하며 이 단색 센서와 동일한 제한 해상도를 각 컬러에서 여전히 획득한다. 랜덤하게 배열된 각 기본 컬러에서 거의 동일한 개수의 필터 요소는 기본 컬러를 멀티플렉싱하는데 사용된다.

다른 실시예가 각 요소가 모든 기본 컬러에서 변하는 각도에서 투과성인 전역(panchromatic) 필터 요소를 사용한다. 여기서, 단지 그 분포가 아니라 컬러 조합이 랜덤하게 선택된다. 그러나, 이 CFA는 기본 컬러에서의 CFA보다 제조하기에 더 어렵다.

다른 실시예는 상이한 투과성을 가지는 기본 컬러의 필터를 사용하거나 일부 비-기본 컬러나 투명 필터를 가지는 CFA를 증가시킨다. 이것은 최종 센서의 동적 범위나 감도를 개선시키기 위해 행해진다.

압축 이미징의 바람직한 방법을 도시하는 흐름도가 도 1에 도시된다. 단계(110)에서, CFA는 랜덤하거나 준 랜덤하게 배열된 컬러를 구비한다. 본 명세서에 사용된 "랜덤하게" 라는 용어는 랜덤하게 뿐만 아니라 준 랜덤하게를 포함하는 것으로 해석되어야 한다. 단계(120)에서, 입사하는 이미지는 이 CFA를 통해 필터링된다. 단계(130)에서, 필터링된 이미지는 단일 측정 기간에 이미지 센서에 의해 검출된다. 단계(140)에서 최대 해상도 이미지가 압축 센싱 희소 신호 재구성 기술을 사용하여 CFA 패턴과 이미지 센서 출력으로부터 재구성된다.

본 발명의 바람직한 실시예에 따라 이미징 시스템의 개략도가 도 2에 도시된다. 이미지(210)는 렌즈(220)에 의하여 광학 변환 디바이스, 구체적으로 CFA(230)에 초점 형성된다(본 명세서에 사용된 "광학 변환 디바이스"라는 용어는 이미지의 하나 이상의 광학 특성에 기초하여 하나의 상태로부터 다른 상태로 광학 이미지를 변환하는 공간 광 변조기나 고정 컬러 필터와 같은 디바이스를 의미한다). 필터링된 이미지는 이미지 센서(240)에 의해 검출된다. 최종 복수의 센싱된 필터링된 이미지 강도 값은 도 1의 알고리즘을 구현하는 프로세서(250)로 송신되며, 여기서 최대 해상도 이미지 재구성이 수행된다.

본 발명의 바람직한 실시예에 따라 예시적인 CFA(310)는 도 3에 도시된다. 이 예에서, 거의 동일한 개수의 적색, 녹색 및 청색(집합적으로 "RGB") 필터가 랜덤화된 패턴으로 분포된다.

랜덤화된 패턴으로 배열된 거의 동일한 개수의 적색, 녹색 및 청색 필터를 가지는 CFA가 생성되는 매트랩(Matlab) 시뮬레이션이 수행되었다. 이 CFA의 생성을 위해 매트랩(Matlab) 코드가 도 5에 도시된다. 원래의 컬러 이미지는 이 CFA를 통해 필터링되며, 특정 양의 백색 잡음이 필터링된 이미지에 추가되었으며 재구성이 최종 이미지 센서 출력에 수행되었다. 2D 이산 코사인 변환("DCT") 기준이 희소 기준으로 사용되었다. GPSR 해결자(solver)가 신호 재구성을 수행하는데 사용되었다. GPSR 해결자는 이 기술 분야에 통상의 지식을 가진 자에 의해 이해될 수 있는 바와 같이 전술된 수식 (1)의 형성을 등가의 바운드 제한된 4차 프로그래밍 형성으로 변환한 후에 이 수식 (1)을 해결하기 위해 그래디언트 프로젝션 알고리즘을 사용하는 것에 의해 전술된 수식 (1)의 형성을 해결한다. 종래의 단색 센서가 동일한 개수의 센서 요소를 가지고 생성되므로 각 컬러에서 동일한 해상도로 컬러 이미지를 초래하는 시뮬레이션은 이미지 품질의 손실이 거의 없이 달성되었다. 이 시뮬레이션을 수행하는 매트랩(Matlab) 코드는 본 발명의 상세한 설명란의 종단부에 나열되어 있다.

도 4는 이 시뮬레이션의 결과를 도시한다. 이미지(410)는 원래의 컬러 이미지이다. 이미지(420)는 예시적으로 랜덤화된 RGB 필터에 의하여 필터링된 후 원래의 이미지이다. 이미지(430)는 재구성된 최대 해상도의 컬러 이미지이다. 컬러 이미지는 여기서 그레이스케일로 제공된다.

도 5는 본 발명의 간단한 실시예의 시뮬레이션에 사용되는 매트랩(Matlab) 코드를 나열한다. CFA를 생성하는 매트랩(Matlab) 코드는 이 기술 분야에 통상의 지식을 가진 자라면 GPSR 해결자를 사용하여 이들 결과를 재생성하기에 충분해야 한다. 매트랩(Matlab)는 미국, 매사추세츠주, 니틱(Natick)에 소재하는 더 매쓰 웍스사(The Math Works, Inc.)의 제품이다.

본 압축 센싱 이미징 설계는 이미지 획득 층에 압축을 통합하는 것을 가능하게 한다. 이것은 초점면(이는 광학 필드와 디지털화된 데이터 사이의 경계면이다)에서 데이터 전달 요건을 감소시키며, 감소된 포토사이트 카운트를 가지고 이미지 센서 설계를 가능하게 한다. 이것은 또한 낮은 전력, 낮은 대역폭의 이미지 센서 설계를 가능하게 한다.

전술된 바와 같이, 본 발명은 압축 센싱을 효과적으로 달성하기 위하여 자연 이미지의 희소 기준을 가지고 불일치를 이용하여 측정 기준으로서 공간적 기준을 사용한다. 이것은 각 컬러에서 이미지를 재구성하는데 필요한 샘플을 감소시키며 이는 이어서 3개의 컬러의 샘플링이 서로 멀티플렉싱될 수 있게 한다. 이 시스템은 이미지 품질을 개선시키기 위하여 재구성 기술에 여러 변형을 통해 증가될 수 있다.

3개의 기본 컬러에서 이미지들 사이의 상관은 자연 이미지들이 합성 이미지보다 더 희소한 조인트 기준으로 이미지를 표현하도록 레버리지될 수 있다. 이에 대해서는, 그 전체 내용이 본 명세서에 병합된 문헌[Nagesh et al., "Compressive imaging of color images" (IEEE Int. Conf. on Acoustics, Speech and Signal Processing (ICASSP), Taipei, Taiwan, April 2009)]을 참조할 수 있다. 조인트 기준은 모든 컬러와 컬러 특정 부분에 공통인 부분으로 희소 기준으로 기본 컬러의 이미지를 재기술한다.

전술된 바와 같이, TV 최소화는 단지 L₁의 최소화보다 더 우수한 결과를 생성한다. TV는 구배 기반 평활화 기능이다. 이에 대해서는, 그 전체 내용(IBR)이 본 명세서에 병합된 문헌[Candes et al., "Practical signal recovery from random projections" (IEEE Trans. Signal Processing, 2005)]을 참조할 수 있다. 총 변동 최소화는 그 전체 내용이 본 명세서에 병합된 문헌[S. Becker, J. Bobin and E.J. Candes, "NESTA: a fast and accurate first-order method for sparse recovery" (In Press, SIAM J. on Imaging Sciences)]에 기술된 NESTA 해결자에서 구현되며, 이는 현재 http://www.acm.caltech.edu/~nesta/에서 이용가능하거나 저자로부터의 요청에 의해 이용가능하다.

종래의 디모자이킹된 이미지는 해결자(slover)를 위한 시작점으로 사용될 수 있다. 랜덤화된 CFA 패턴을 위한 이 디모자이킹은 그 전체 내용이 본 명세서에 병합된 문헌[Condat, "Random patterns for color filter arrays with good spectral properties" (Research Report of the IBB, Helmholtz Zentrum Munchen, no. 08-25, Sept. 2008, Munich, Germany), IBR] 및 그 전체 내용이 본 명세서에 병합된 문헌[Lukac et al., "Universal demosaicing for imaging pipelines with a RGB color filter array" (Pattern Recognition, vol. 38, pp. 2208-2212, 2005) IBR]에 기술된 것을 포함하는 상이한 방법을 사용하여 수행될 수 있다. 이미지 재구성을 위한 시작점으로서 이들을 사용하면 재구성 방법을 가속시킬 수 있고 일부 구현예에서는 재구성 자체의 품질을 개선시킬 수 있다. 디모자이킹된 이미지는 또한 최대 해상도 이미지의 재구성 전에 이미지의 프리뷰(preview)로서 사용될 수 있다.

다른 CFA 패턴이 사용될 수 있다. 이들 패턴은 원색, 즉, 적색, 녹색 및 청색 대신에 기본 컬러의 다른 세트, 즉, 상이한 컬러 공간에 기준을 둘 수 있다.

동일하지 않은 개수의 기본 컬러를 가지는 CFA 패턴이 사용될 수 있다. 예를 들어, 베이어(Bayer) CFA에서 행해지는 바와 같이 적색이나 청색과 2배 많은 녹색 사이트가 사용될 수 있다. 이러한 비대칭은 잡음을 감소시키는데 유리할 수 있다.

그 전체 내용이 본 명세서에 병합된 Condat 저 "Random patterns for color filter arrays with good spectral properties"(Research Report of the IBB, Helmholtz Zentrum Munchen, no. 08-25, Sept. 2008, Munich, Germany)(IBR)에 기술된 바와 같은 컬러의 분포에 대한 특정 제한을 가지는 CFA 패턴이 사용될 수 있다. 이러한 제한은 CFA 패턴의 랜덤 특성을 여전히 유지하면서 동일한 컬러의 필터 요소의 과도한 클럼핑(clumping)을 회피할 수 있게 도와준다.

다른 웨이브릿(wavelet), 차원분열 프랙탈(fractal)이나 커브릿(curvelet) 기준 또는 이들의 조합이 희소 기준으로 사용될 수 있다. 희소 기준을 선택할 때 자연 이미지가 더 많이 희소한 기준을 선택하는 이점은 공간 측정 기준과 이 기준의 낮은 불일치의 단점과 균형을 이루어야 한다. 2D DCT 기준 대신에 희소 기준으로서 다우비시(Daubechies) 웨이브릿을 가지는 실험은 시각적으로 유사한 재구성을 초래한다.

센서 판독은 열 소스와 전기 소스로부터 포이슨 광자-샷(photon-shot) 잡음 및 가우시안 잡음을 나타낸다. 이들 분포에 대한 로그 우도함수(log likelihood)의 페널티 항(penalty term)을 포함하는 재구성 알고리즘은 원래의 잡음 없는 신호를 더 정확하게 추출할 수 있다. 현재 http :/ people . ee . duke . edu /~ zth / software /로부터 이용가능하거나 또는 저자로부터의 요청에 의하여 이용가능한 SPIRAL(문헌[Zachary T. Harmany, Roummel F. Marcia and Rebecca M. Willet, "This is SPIRAL-TAP: Sparse Poisson Intensity Reconstruction ALgorithms -- Theory and Practice"]에 기술된 것)(IEEE Transactions on Image Processing에 제출된 것)은 희소성 촉진 L₁ 및 총 변동 항에 더하여 포이슨 분포의 음의 로그 우도함수에 기초하여 페널티 항을 사용할 수 있는 하나의 해결자이다.

자연 이미지에 통계적으로 링크되는 다른 제한은 더 거친 스케일이 되는 큰 웨이브릿 계수의 가능성이다. 이것은 웨이브릿이 희소 기준으로서 선택되는 경우 재구성 방법으로 레버리지될 수 있다. 이와 유사하게 자연 이미지와 대부분의 합성 이미지의 퓨리에 변환에서 낮은 주파수가 되는 큰 진폭의 증가된 가능성이 또한 재구성 방법으로 레버리지될 수 있다.

휘도나 색차 또는 둘 모두 또는 하나 이상의 기본 컬러의 감소된 제한 해상도에서 이미지 재구성은 더 우수한 이미지 품질을 생성할 수 있다.

본 발명은 단지 정지 이미징을 위해서가 아니라 비디오를 위해서도 사용될 수 있다. 복수의 프레임으로 자명하게 확장하는 이외에 상관성을 레버리지하는 복수의 프레임의 조인트 재구성을 수행하는 알고리즘이 또한 사용될 수 있다.

시각적 스펙트럼에서 단지 컬러 이미지 대신에 본 발명은 또한 멀티 스펙트럼 이미지 센서 시스템이 기하학적 제한에 의해 제한되는 다른 상황에서도 사용될 수 있다. 본 발명은 획득 시간을 증가시킴이 없이 더 작은 개구를 요구하는 더 작은 센서로 멀티 스펙트럼 샘플링이 접힐 수(folded) 있게 한다.

본 발명은 고장나거나 오정렬된 센서 요소에 대하여 이미지 품질에 더 큰 면역을 제공한다. 이것은 센서 수율을 개선시키는데 사용될 수 있다: 수 개의 고장난 센서 요소를 가지는 이미지 센서는 버려질 필요가 없고 단순히 특성화된다.

본 발명은 이미지 스캐너에서 사용될 수 있다.

본 발명은 1D 및 3D를 포함하는 상이한 차원으로 멀티 스펙트럼의 이미지를 획득할 때 사용될 수 있다.

이하는 도 4에 도시된 시뮬레이션된 결과를 생성하는데 사용된 매트랩(Matlab) 코드이다.

본 실시예, 다른 실시예 및 특정 예시의 전술된 상세한 설명은 예시를 위해 제공된 것일 뿐, 제한하는 것으로 해석하여서는 아니된다. 나아가, 본 발명의 실시예의 범위 내에서 많은 변경과 변형이 본 발명의 사상을 벗어남이 없이 이루어질 수 있으며 본 발명은 이러한 변경과 변형을 포함한다.

전술된 명세서에서 사용되는 용어와 표현은 설명을 위한 것으로 사용된 것일 뿐 제한하는 것으로 사용된 것이 전혀 아니며, 이 용어와 표현의 사용시에 본 명세서에 설명되거나 도시된 특징이나 일부분의 균등물을 배제하려고 의도한 것은 전혀 아니므로, 본 발명의 범위는 이하 청구범위에 의해서만 한정되고 제한되는 것으로 해석해야 된다.

Claims

이미지를 처리하는 방법으로서,
원래의 이미지의 광학 특성을 공간적 기준(spatial basis)에서 변환하고 샘플링하는 것에 의해 생성된 데이터의 샘플 세트를 수신하는 단계; 및
상기 데이터의 샘플 세트에 압축 센싱 재구성 기술을 적용하여 추론된 원래의 이미지 데이터의 세트를 생성하는 단계를 포함하되,
상기 변환은 상기 공간적 기준에서 실질적으로 대각선 방향으로 수행되는 것인 이미지 처리 방법.
제 1 항에 있어서,
복수의 감광 센서 요소를 가지는 이미지 센서를 제공하는 단계;
상기 광학 특성에 응답하는 복수의 변환 요소를 구비하는 광학 변환 디바이스를 제공하는 단계;
상기 광학 변환 디바이스에 상기 이미지를 투사하는 단계; 및
상기 원래의 이미지에 상기 변환 요소의 광학 응답을 상기 이미지 센서에서 센싱하여 상기 데이터의 샘플 세트를 생성하는 단계를 더 포함하되,
상기 광학 변환 요소에 의해 수행되는 변환은 상기 공간적 기준에서 실질적으로 대각선 방향인 것인 이미지 처리 방법.
제 2 항에 있어서, 광학 변환 디바이스를 제공하는 단계는 복수의 필터 요소를 구비하는 광학 필터 어레이를 제공하는 단계를 포함하는 것인 이미지 처리 방법.
제 3 항에 있어서, 광학 필터 어레이를 제공하는 단계는 컬러에 상이한 응답을 나타내는 적어도 2개의 세트의 필터 요소들을 제공하는 단계를 포함하는 것인 이미지 처리 방법.
제 4 항에 있어서, 상기 광학 필터 요소들을 제공하는 단계는 적어도 하나의 미리 결정된 분포 상태를 만족시키는 랜덤 컬러 패턴으로 배열된 상기 광학 필터 요소들을 제공하는 단계를 포함하는 것인 이미지 처리 방법.
제 3 항에 있어서, 상기 광학 필터 어레이는 여러 기본 컬러 중 하나에 응답하는 필터 요소를 구비하고, 상기 필터 요소는 랜덤 컬러 패턴으로 배열되며, 추론되는 원래의 이미지 데이터는 모든 기본 컬러에서 생성되는 것인 이미지 처리 방법.
제 6 항에 있어서, 상기 광학 필터 어레이는 실질적으로 모든 센서 어레이 요소에 일대일 관계를 가지는 필터 요소를 구비하며, 각 센서 어레이 요소는 기본 컬러들 중 하나에 응답하며, 상기 필터 요소는 적어도 하나의 미리 결정된 분포 상태를 만족시키는 랜덤 컬러 패턴으로 배열되고, 추론되는 원래의 이미지 데이터는 모든 기본 컬러에서 생성되는 것인 이미지 처리 방법.
제 3 항에 있어서, 상기 광학 필터 어레이는 랜덤하게 구성된 전역(panchromatic) 컬러에 응답하는 필터 요소를 구비하며, 상기 필터 요소는 랜덤 패턴으로 배열되며, 추론되는 이미지 데이터는 적절한 컬러 공간의 모든 축을 따라 생성되는 것인 이미지 처리 방법.
제 3 항에 있어서, 상기 광학 필터 어레이는 랜덤하게 배열된 투과성 또는 비투과성의 필터 요소들의 패턴을 구비하는 것인 이미지 처리 방법.
제 2 항에 있어서, 상기 이미지 센서에서 하나 이상의 센서 요소는 결함이 있는 것인 이미지 처리 방법.
제 2 항에 있어서, 복수의 순차적인 데이터의 샘플 세트가 생성되며, 이로부터 복수의 순차적인, 대응하는 추론된 원래의 이미지 데이터 세트가 생성되는 것인 이미지 처리 방법.
제 1 항에 있어서, 상기 광학 특성은 랜덤 컬러 패턴으로 샘플링된 여러 컬러 중 하나의 강도이며, 추론된 원래의 이미지 데이터는 모든 기본 컬러에서 생성되는 것인 이미지 처리 방법.
제 1 항에 있어서, 상기 광학 특성은 랜덤 컬러 패턴으로 샘플링된 여러 전역 컬러 중 하나의 강도이며, 추론된 이미지 데이터는 각 추론된 원래의 이미지 데이터 요소에 대해 적절한 컬러 공간의 모든 축을 따라 생성되는 것인 이미지 처리 방법.
제 1 항에 있어서, 상기 광학 특성은 강도인 것인 이미지 처리 방법.
이미지를 처리하는 시스템으로서,
원래의 이미지의 광학 특성을 공간적 기준에서 변환하고 샘플링함으로써 생성된 데이터의 샘플 세트를 수신하도록; 그리고
상기 데이터의 샘플 세트에 압축 센싱 재구성 기술을 적용하여 추론된 원래의 이미지 데이터의 세트를 생성하도록 구성된 데이터 처리 장치를 포함하되,
상기 변환은 공간적 기준에서 실질적으로 대각선으로 수행되는 것인 이미지 처리 시스템.
제 15 항에 있어서,
복수의 감광 센서 요소를 구비하는 이미지 센서;
상기 광학 특성에 응답하는 복수의 변환 요소를 구비하는 광학 변환 디바이스; 및
필터 어레이에 이미지를 투사하도록 적응된 광학 이미징 디바이스를 포함하되,
상기 광학 변환 디바이스에 의해 수행되는 변환은 공간적 기준에서 실질적으로 대각선 방향이고, 상기 이미지 센서는 대응하는 감광 요소에 있는 이미지에 대한 변환 요소의 광학 응답을 수신하여 데이터의 샘플 세트를 생성하기 위하여 상기 광학 변환 디바이스에 대하여 배치되는 것인 이미지 처리 시스템.
제 16 항에 있어서, 상기 광학 변환 디바이스는 복수의 필터 요소를 구비하는 광학 필터 어레이를 포함하는 것인 이미지 처리 시스템
제 17 항에 있어서, 적어도 2개의 세트의 필터 요소는 컬러에 상이한 응답을 나타내는 것인 이미지 처리 시스템.
제 18 항에 있어서, 상기 광학 필터 요소는 적어도 하나의 미리 결정된 분포 상태를 만족시키는 랜덤 컬러 패턴으로 배열되는 것인 이미지 처리 시스템.
제 17 항에 있어서, 상기 필터 요소는 여러 기본 컬러 중 하나에 응답하며 랜덤 컬러 패턴으로 배열되며, 추론되는 원래 이미지 데이터는 모든 기본 컬러에서 생성되는 것인 이미지 처리 시스템.
제 20 항에 있어서, 상기 필터 요소는 실질적으로 모든 센서 어레이 요소에 일대일 관계를 가지며 한정된 개수의 컬러들 중 하나에 각각 응답하며 적어도 하나의 미리 결정된 분포 상태를 만족시키는 랜덤 컬러 패턴으로 배열되며, 추론된 원래의 이미지 데이터는 모든 기본 컬러에서 생성되는 것인 이미지 처리 시스템.
제 17 항에 있어서, 상기 필터 요소는 랜덤하게 구성된 전역 컬러에 응답하며 랜덤 패턴으로 배열되고, 추론된 이미지 데이터는 각 센서 요소에 대응하는 적절한 컬러 공간의 모든 축을 따라 생성되는 것인 이미지 처리 시스템.
제 17 항에 있어서, 상기 필터 요소는 랜덤하게 배열된 투과성 또는 비투과성의 필터 요소인 것인 이미지 처리 시스템.
제 16 항에 있어서, 상기 이미지 센서에서 하나 이상의 센서 요소는 결함이 있는 것인 이미지 처리 시스템.
제 16 항에 있어서, 상기 센서는 복수의 순차적인 데이터 샘플 세트를 생성하며 이로부터 처리 장치는 복수의 순차적인, 대응하는 추론된 원래의 이미지 데이터 세트를 생성하는 것인 이미지 처리 시스템.
제 15 항에 있어서, 상기 광학 특성은 적어도 하나의 미리 결정된 분포 상태를 만족시키는 랜덤 컬러 패턴으로 샘플링된 기본 컬러들의 강도이며, 데이터 처리 장치는 모든 기본 컬러에서 추론된 원래의 이미지 데이터를 생성하도록 적응된 것인 이미지 처리 시스템.
제 15 항에 있어서, 상기 광학 특성은 적어도 하나의 미리 결정된 분포 상태를 만족시키는 랜덤 컬러 패턴으로 샘플링된 한정된 개수의 전역 컬러들 중 하나의 강도이며, 데이터 처리 장치는 각 추론된 원래의 이미지의 데이터 요소에 대해 적절한 컬러 공간의 모든 축을 따라 추론된 이미지 데이터를 생성하도록 적응된 것인 이미지 처리 시스템.
제 15 항에 있어서, 상기 광학 특성은 강도인 것인 이미지 처리 시스템.