KR20170054418A

KR20170054418A - 다중 대역 단파 적외선 모자이크 배열 필터

Info

Publication number: KR20170054418A
Application number: KR1020177008525A
Authority: KR
Inventors: 마이클 케이 예츠바허; 마이클 윌슨
Original assignee: 더 거버먼트 오브 더 유나이트 스테이츠 오브 아메리카 애즈 레프리젠티드 바이 더 씨크리터리 오브 더 네이비
Priority date: 2014-09-13
Filing date: 2015-09-11
Publication date: 2017-05-17
Also published as: US10139531B2; US20160077253A1; WO2016040755A8; EP3192242A1; JP2017535747A; WO2016040755A1; EP3192242A4

Abstract

카메라 시스템은 스펙트럼 일치성과 공간 균일성을 보장하는 복수의 반복하는 유닛 셀을 포함하는 모자이크 광학 필터 배열을 포함한다. 복수의 반복하는 유닛 셀의 각 반복하는 유닛 셀은 최소의 초점면 배열 둘레 표준과 최소의 둘레 대 면적 비율 표준을 충족한다. 반복하는 유닛 셀 내의 대역의 공간 구성은 최근접 이웃 간의 대역간 상관관계를 최소화한다. 카메라 시스템은 모자이크 광학 컬러 필터 배열에 광학적으로 결합된 단파 적외선 검출기를 더 포함한다. 선택적으로, 모자이크 광학 컬러 필터 배열은 적어도 5개의 스펙트럼 대역을 포함한다. 복수의 반복하는 유닛 셀은 적어도 5개의 스펙트럼 대역을 포함한다.

Description

다중 대역 단파 적외선 모자이크 배열 필터{Multiple Band Short Wave Infrared Mosaic Array Filter}

본 출원은 본 명세서에서 참조되고 있는, 2014년 9월 13일자 출원된 예츠바허(Yetzbacher) 등의 "다중 대역 단파 적외선 모자이크 배열 필터" 표제의 미국 가출원 번호 62/050,117의 우선권을 주장한다.

본 발명은 멀티스펙트럼 영상 수집에 관한 것이다. 더욱 특히, 본 발명은 단파 적외선 스펙트럼 범위에서의 멀티스펙트럼 영상 수집에 관한 것이다.

멀티스펙트럼 및 하이퍼스펙트럼 영상은 식물, 미네랄, 화학 약품 및 생물학적 조직의 유형과 건강을 검출 및 확인하기 위해 이용되어 왔다. 오늘날, 대다수의 하이퍼스펙트럼 및 멀티스펙트럼 영상 시스템은 오프너(Offner) 영상 분광계 디자인을 이용하여, 라인 스캐닝(line-scanning) 방식의 푸쉬브룸(push-broom) 계기 디자인을 이용해 왔다. 어떤 디자인은 나발 리서치(Naval Research) 연구소에 의해 개발되고 브랜디와인 포토닉스(Brandywine Photonics) LLC에 의해 만들어진 MX-20SW 하이퍼스펙트럼 영상기와 같이, 라인 스캐닝 방식의 분광계가 하이퍼스펙트럼 데이터를 수집하도록 하는 특수 수정된 안정화형 짐발(gimbal) 디자인을 이용한다. 그러나 이들 계기들의 라인 스캐닝 속성은 완전한 하이퍼스펙트럼 데이터 큐브를 만드는 데에 필요한 시간으로 인해 지정된 영역에 대한 리비지트(revisit) 속도를 제한하게 된다. 반복되는 하이퍼스펙트럼 데이터와 풀 모션(full motion) 비디오 하이퍼스펙트럼 데이터에 대한 요구는, 원하는 스펙트럼을 통해 액정 필터를 스캐닝하면서 전체 장면을 근사한 비디오 속도로 반복적으로 영상화하기 위해 액정 조정 필터를 이용하는, PHIRST 라이트와 같은 대안의 디자인이 나오게 했다. 이 방법의 단점은 그 장면의 전체 스펙트럼이 한 번에 동시에 수집되지 않는다는 것이다. 컴퓨터 단층 촬영 분광계("CTIS")는 광학적 및 계산의 복잡성과 초점면 배열 부동산을 희생하면서 공간 및 스펙트럼 정보 둘 다의 단방 수집을 가능하게 한다. 더 최근의 방법은 비교적 더 간단한 광학적 요소를 가지는 플렌옵틱(plenoptic) 원리를 이용하여 증명되고 있다. 이 특수한 플렌옵틱 카메라는 대물 렌즈상의 스펙트럼 요소와 검출기상의 렌즈릿 배열을 이용하여 공간 해상도를 스펙트럼 해상도와 맞바꾸었다. 그러나 장치는 렌즈릿 배열 및 초점면 배열 디자인과 명확하게 일치하는 렌즈를 필요로 하며, 렌즈 특정 수차를 처리하기 위해 부가의 계산이 필요하다. 마지막으로, 종래의 컬러 필터 배열("CFA") 기술은 대형 초점면 배열상의 검출기 화소 블럭 위에 반복하는 또는 모자이크 패턴의 필터 요소를 위치시킨다. 이때 영상 처리가 이 모자이크 패턴 영상에 대해 실행되어 영상화된 영역 내의 다수의 위치에 완전한 하이퍼스펙트럼 데이터 세트를 형성한다. CFA 디자인에서는 모든 라인 스캐닝 및 렌즈릿 시스템에서 보이는 제한적인 렌즈 테일러링(tailoring)이 제거된다. 이것은 이 분야에서 렌즈를 바꾸고 카메라를 다양한 영상의 요구에 신속하게 적응할 수 있게 해 준다.

컬러 필터 배열은 통상 이차원 및 선형 감광성 배열을 이용하여 컬러 정보를 감지하는 데에 이용된다. 예를 들어, 본 명세서에서 참조되고 있는, 베이어(Bayer)의 미국 특허 번호 3,971,065를 참조하면 된다. 가장 상용적인 컬러 가시 카메라 시스템은 삼색 가시 컬러 필터 배열의 많은 변형이 공지되어 있긴 하지만, 개별의 적색, 청색 및 녹색의 필터 화소의 반복하는 2x2 패턴으로 이루어진다. 예를 들어, 콤프톤(Compton) 등의 미국 특허 출원 공개 번호 20070024931 및 창(Chang)의 미국 특허 출원 공개 번호 20070145273을 참조하면 되고, 이들은 둘 다 본 명세서에서 참조되고 있다. 가시 대역 컬러 필터 배열은, 이들의 필터 요소로 유전체 박막 필터 요소를 이용하는 예들이 있긴 하지만, 통상적으로 흡수성 재료를 이용한다. 예를 들어, 부취스바움(Buchsbaum)의 미국 특허 번호 7,648,808을 참조하면 된다.

컬러 필터 배열을 종래의 삼색 베이어의 필터 배열보다 더 많은 대역으로 확장시키는 관련 기술이 존재한다. 예를 들어, 고 공간 주파수 루미넌스와 저 공간 주파수의 크로미넌스를 회복하는 것을 기본으로 하여, 히라까와(Hirakawa) 및 울프(Wolfe)는 임의의 개수의 스펙트럼 대역이 베이어의 패턴의 선형 조합인 모자이크 배열 필터에 의해 성취될 수 있다는 것을 제안했다. 예를 들어, 히라카와 케이의 "최적의 영상 회복을 위한 공간 스펙트럼 컬러 필터 배열 디자인", 영상 처리에 대한 전기 및 전자 공학 회보(IEEE) 트랜잭션, Vol. 17, No.10, pp. 1876~1890(2008)를 참조하고 있으며, 이는 본 명세서에서 참조되고 있다. 그러나 단파 적외선 파장 범위에서, 컬러 채널 간의 상관관계는 보장되지 않는다. 더욱, 크로미넌스와 루미넌스는 SWIR에서는 잘 정의되지 않는데, 이는 인간의 시력 특성으로부터 유도된다. 미아오(Miao) 등은 인간의 시력과는 상관없는 멀티스펙트럼 CFA를 디자인하는 다른 방법을 제공했고; 이들은 CFA의 디자인을 대역의 출현 확률에 기본을 두었다. 미아오 엘 등의 "다중스펙트럼 필터 배열에 대한 이진 트리 기반의 일반 디모자이크(demosaiking) 알고리즘", 영상 처리에 대한 IEEE 트랜잭션, Vol.15, No.11 p.3550(2006)를 참조하고, 이는 본 명세서에도 참조되고 있다. 그러나 미아오 등의 디자인 계획은 SWIR에서는 금지되는데, 여기에서는 더 작은 영상의 라이브러리가 이용되며 대역 확률이 항상 예측될 수 있는 것이 아니다. 부가하여, 미아오 등의 디자인 알고리즘에 의해 형성된 패턴은 스펙트럼 일치성과 공간 균일성이 부족하다. 대비적으로, 쉬레스타(Shrestha) 등의 쉬레스타와 동료들은 스펙트럼 일치성과 공간 균일성을 보장하는 다중 스펙트럼 컬러 필터 배열 디자인 알고리즘을 제조했다. 예를 들어, 쉬레스타 등의 "다중 스펙트럼 영상 취득을 위한 컬러 필터 배열의 공간 구성", SPIE-IS&T 전자 영상의 회보 v.7875 p.787503(2011)를 참조하며, 이것은 본 명세서에서 참조되고 있다. 그러나 쉬레스타 등의 알고리즘은 디자인에 대역 확률 예측을 이용한다. 불리하게도, 쉬레스타의 알고리즘은 독립적인 완전한 스펙트럼 측정을 수집하는 데에 필요한 초점면 상의 거리를 최소화하면서, 스펙트럼 품질을 최대화하기 위한 제한 사항을 보장하지 못한다. 이것은 쉬레스타 등의 모자이크 유닛 셀이 조밀한 개수의 대역을 수용하는 데에 필요한 것보다 더 커지게 하고, 이는 특정 색의 정보가 없는 모자이크 배열의 볼록 영역을 초래한다. 이들 두 결과는 그 영상이 최소 둘레의 유닛 셀에 필적할만한 크기를 갖는 물체에 대해선 평균 스펙트럼 품질의 저하를 가져온다. 상기 논문에서의 논의는 가시 대역 검출기로 제한된다.

본 출원인은 평균 스펙트럼 품질의 저하가 없는 멀티스펙트럼 영상 수집 시스템이 필요하다고 판단했다.

본 출원인은 소형 멀티스펙트럼 시스템이 하이퍼스펙트럼 시스템의 것에 근접하는 성능을 갖게 하기 위해 CFA 기술을 네 개 이상의 대역으로 확장할 필요가 있다고 판단했다.

본 출원인은 또한 최소의 디모자이크 에러와 최대의 스펙트럼 품질을 위해 대역간 상관관계를 최적화하는 스펙트럼 대역의 구성이 필요하다고 판단했다.

본 발명의 일 실시예는 카메라 시스템을 포함한다. 이 카메라 시스템은 최소한 5개의 스펙트럼 대역을 포함하는, 모자이크 광학 컬러 필터 배열을 포함한다. 카메라 시스템(10)은 모자이크 광학 컬러 필터 배열과 광학적으로 결합된 표준 단파 적외선 검출기를 더 포함한다.

다른 실시예는 카메라 시스템을 포함한다. 이 카메라 시스템은 스펙트럼 일치성과 공간 균일성을 보장하는 복수의 반복하는 유닛 셀을 포함하는, 모자이크 광학 컬러 필터 배열을 포함한다. 복수의 반복하는 유닛 셀의 각 반복되는 유닛 셀은 최소의 초점면 배열 둘레 표준과 최소의 둘레 대 면적 비율 표준을 충족한다. 이 최소의 둘레 대 면적 표준은 최소의 초점면 둘레 표준 이후 충족된다. 카메라 시스템은 모자이크 광학 컬러 필터 배열과 광학적으로 결합된 단파 적외선 검출기를 더 포함한다.

본 발명의 다른 실시예는 카메라 시스템을 포함한다. 이 카메라 시스템은 스펙트럼 일치성과 공간 균일성을 보장하는 복수의 반복하는 유닛 셀을 포함하는, 모자이크 컬러 필터 배열을 포함한다. 복수의 반복하는 유닛 셀의 각 반복하는 유닛 셀은 유닛 셀 내에서 최근접 이웃 사이의 대역간 상관관계를 최소화하고 따라서 비근접 이웃 간의 대역간 상관관계를 최대화한다.

본 발명의 다른 실시예는 카메라 시스템을 포함한다. 카메라 시스템은 스펙트럼 일치성과 공간 균일성을 보장하는 복수의 반복하는 유닛 셀을 포함하는 모자이크 광학 컬러 필터 배열을 포함한다. 복수의 반복하는 유닛 셀의 각 반복하는 유닛 셀은 최소의 초점면 배열 둘레 표준과 최소의 둘레 대 면적 비율 표준을 충족한다. 최소의 둘레 대 면적 표준은 상기 최소의 초점면 둘레 표준 이후에 만족된다. 모자이크 광학 컬러 필터 배열은 적어도 6개의 스펙트럼 대역을 포함한다. 복수의 반복하는 유닛 셀은 적어도 6개의 스펙트럼 대역을 포함한다. 카메라 시스템은 모자이크 광학 컬러 필터 배열과 광학적으로 결합된 표준 가시 파장 검출기를 더 포함한다.

다른 실시예는 카메라 시스템을 포함한다. 카메라 시스템은 스펙트럼 일치성과 공간 균일성을 보장하는 복수의 반복하는 유닛 셀을 포함하는 모자이크 광학 컬러 필터 배열을 포함한다. 복수의 반복하는 유닛 셀의 각 반복하는 유닛 셀은 최소의 최근접 이웃 대역간 상관관계 표준을 충족한다. 모자이크 광학 컬러 필터 배열은 적어도 6개의 스펙트럼 대역을 포함한다. 카메라 시스템은 모자이크 광학 컬러 필터 배열과 광학적으로 결합된 검출기를 더 포함한다. 검출기는 가시 파장 검출기 또는 단파 적외선 검출기를 포함한다.

선택적으로, 단파 적외선 검출기는 1100 및 1700nm 사이의 파장을 가지는 광에 민감하다.

선택적으로, 최소의 최근접 이웃 대역 간 상관관계 표준은 각 반복되는 유닛 셀 내에서 최근접 이웃 보다 더 밀접하게 상관되는 것을 확실하게 하는 것을 포함한다.

본 발명의 일 실시예는 다음의 장점들 중 하나 이상을 갖는다:

(i) 비디오 속도 다중 대역 스펙트럼 영상을 단파 적외선으로까지 확장시킴;

(ii) 어떤 배경에서 어떤 목표의 검출과 분류에 대해 충분한 스펙트럼 해상도를 제공해 줌;

(iii) 추가적인 광학 요소나, 크기, 무게 및 파워에 대한 시스템의 요구 증가가 불필요함;

(iv) 상당한 대기량을 통한 원격 감지 또는 영상화에 이용하기 적합함;

(v) 디모자이크에 이용되는 대역 간 상관관계의 최대량을 제공하여, 디모자이크 에러를 최소화함; 및

(vi) 고 품질의 영상 스펙트럼 측정에 요구되는 최소한의 공간 확장을 제공함.

도 1은 본 발명의 적어도 하나의 실시예의 블럭도이다.
도 2는 본 발명의 9-대역 실시예의 대역 1에 대한 필터 응답 예시도이다.
도 3은 본 발명의 9-대역 실시예의 대역 2에 대한 필터 응답 예시도이다.
도 4는 본 발명의 9-대역 실시예의 대역 3에 대한 필터 응답 예시도이다.
도 5는 본 발명의 9-대역 실시예의 대역 4에 대한 필터 응답 예시도이다.
도 6은 본 발명의 9-대역 실시예의 대역 5에 대한 필터 응답 예시도이다.
도 7은 본 발명의 9-대역 실시예의 대역 6에 대한 필터 응답 예시도이다.
도 8은 본 발명의 9-대역 실시예의 대역 7에 대한 필터 응답 예시도이다.
도 9는 본 발명의 9-대역 실시예의 대역 8에 대한 필터 응답 예시도이다.
도 10은 본 발명의 9-대역 실시예의 대역 9에 대한 필터 응답 예시도이다.
도 11은 본 발명의 적어도 일 실시예의 블럭도이다.

본 출원인은 1) 스펙트럼 일치성, 2) 공간 균일성, 3) 최소의 초점면 둘레, 4) 최소의 초점면 둘레 대 면적 비율, 및 5) 최소의 디모자이크 에러라는 표준적인 디자인 원리를 인식하고 결합시켰다. 본 출원인은 처음 두 원리가 반복하는 유닛 셀을 이용하여 구성된 컬러 필터 배열을 필요로 한다는 점을 인식했다. 세 번째와 네 번째 원리는 초점면 검출기 양방향 공간 규모의 최소화에 관한 것으로 고품질의 스펙트럼 재구성에 필요한 것이다. 본 출원인은 이들 세 번째와 네 번째의 원리의 충족은 가장 작은 원하는 목표물을 스펙트럼 정확도를 가지고 이차원으로 나타내는 것이 가능한 최소의 화소 수를 가질 것을 필요로 한다고 판단했다. 본 출원인은 일반적으로 N-대역의 CFA에 대해서, 최소의 초점면 둘레와 최소의 초점면 둘레 대 넓이의 원리를 적용한다는 것은 MxP개의 유닛 셀을 이용할 것을 필요로 한다고 판단했고, 이때 M은 √N 보다 크거나 같은 최소 정수이고, P는 N/M과 같거나 더 큰 최소 정수이다.

본 출원인은 다섯 번째 원리, 최소의 디모자이크 에러가 유닛 셀 내의 필터 요소의 공간 구성을 제한한다고 판단했다. 출원인은 CFA가 상관될 수 있는 스펙트럼 대역을 가지는 장면을 공간적으로 서브샘플링한다는 것을 인식했다. 출원인은 영상 특성이 유닛 셀 크기에 필적할만한 물체를 영상화하기 위한 표준 방법에서 디모자이크 에러를 최소화하기 위해 대역 간 상관관계가 이용될 수 있다는 것을 또한 인식했다. 영상화된 장면의 스펙트럼 컨텐트에 대한 선험적 정보 없이, 광범위한 스펙트럼에 걸쳐서 컬러 상관관계를 가정하기란 쉽지 않다. 그러나 예를 들어, 가시 및 SWIR 대역에서의 고형 또는 액상 물체의 스펙트럼 특성은 흔히 넓긴 하지만 반드시 폭넓게 상관되는 것은 아니다. 따라서 출원인은 올바른 가정은 스펙트럼 특성이 이웃하는 스펙트럼 대역과의 인접성 면에서 국부적으로 상관되는 것이라고 판단했다. 즉, 출원인은 두 스펙트럼 대역이 파장에서 더 인접할수록, 이들은 더욱 상관된 영상 컨텐트의 특성을 보인다고 가정한다. 다음에, 출원인은 반복하는 유닛 셀 내에 최대의 거리를 가지도록 상관된 스펙트럼 대역을 분산시킴으로써 최소의 최근접 상관관계의 원리를 적용했다. 이것은 각 화소가 임의의 화소의 스펙트럼 대역으로부터 가능한 더 멀리 떨어진 최근접 이웃을 가져야 한다는 필요 조건을 본 발명에 따른 CFA 디자인에 도입한 것이다. 즉, 디모자이크 에러의 최소화는 최근접 이웃들 사이의 스펙트럼 거리를 최대화할 것을 요구한다. 예를 들어, 본 발명의 일 실시예에 따른 예시의 9-대역 CFA에서, 단일 대역 이상의 정보를 이용할 때 디모자이크 에러를 최소화하기 위해서, 본 출원인은 컬러 필터 배열이 공간-스펙트럼 상관관계를 이용할 수 있게 하는 것이 바람직하다고 판단했다. 이 공간-스펙트럼 상관관계는 예를 들어, 다음 최근접 이웃들(즉, 이 9-대역 CFA 디자인에서 공간적으로 대각선인 화소) 간의 스펙트럼 거리를 최소화하는 것으로 더욱 효과적일 수 있다. 상기 원리들을 적용하여, 출원인은 국부적 스펙트럼 상관관계를 이용하여 모자이크 패턴을 최적화했다.

모자이크 패턴은 가능한 한 가장 작은 밀집형 모자이크 유닛 셀을 여전히 유지하면서, 스펙트럼 이웃을 가능한 최대한으로 분산시키고 다음 근접 이웃 간의 최소한의 스펙트럼 거리를 보장함으로써 최적화될 수 있다. 이 방식으로, (자연스럽게 상관된 스펙트럼 컨텐트를 갖는) 스펙트럼 이웃의 광범위한 분산은 전체 영상 구조를 보존하게 하므로 모자이크 유닛 셀의 크기보다 작거나 같은 물리적 크기를 갖는 유효 스펙트럼 유닛 셀의 형성으로 이어진다. 이 동작은 대역의 개수와는 상관없이 스펙트럼 대역의 적당한 공간 구성으로 성취된다.

본 발명의 일 실시예는 도 1을 참조하여 도시한 것으로 설명된다. 본 발명의 이 실시예는 카메라 시스템(10)을 포함한다. 카메라 시스템(10)은 적어도 5개의 스펙트럼 대역을 포함하는, 표준 모자이크 광학 컬러 필터 배열(20)을 포함한다. 카메라 시스템(10)은 모자이크 광학 컬러 필터 배열(20)과 광학적으로 결합된 표준 단파 적외선 검출기(30)를 더 포함한다. 본 발명의 실시예에 이용하기에 수용 가능한 모자이크 컬러 필터 배열의 적어도 일 예는 본 명세서에서 참조되고 있는 부취스바움의 미국 특허 번호 6,638,668에서 논의된다.

선택적으로, 모자이크 광학 컬러 필터 배열은 검출기(30)와는 별개로 제조된다. 부가하여, 본 명세서에서 논의된 멀티스펙트럼 영상 장치 또는 카메라 시스템(10)의 제조 과정은 검출기를 구비하여 함께 제조되는 CFA에도 적용 가능하다.

선택적으로, 모자이크 광학 컬러 필터 배열(20)은 적어도 5개의 스펙트럼 대역을 포함하는 복수의 반복하는 유닛 셀을 포함한다. 당업자라면 스펙트럼 대역의 수, 이들의 폭, 및 이들의 대역 중심 파장은 응용시마다 달라진다는 것, 즉 어느 목표물이 관찰되고자 하는지에 따라 달라진다는 것을 이해할 것이다. 복수의 반복하는 유닛 셀은 스펙트럼 일치성과 공간 균일성을 보장한다. 복수의 반복하는 유닛 셀의 각 반복하는 유닛 셀은 최소의 초점면 둘레 표준과 최소의 둘레 대 면적 비율 표준을 충족한다. 실제로, 사용자는 가능한 CFA 크기를 구별하도록 최소의 초점면 둘레 표준을 적용하고, 필요하다면 가능한 CFA 크기로부터 바람직한 CFA 크기를 추려내도록 최소의 초점면 둘레 대 면적 비율 표준을 적용할 것이다. 예를 들어, 최소의 초점면 둘레 표준을 8-대역 컬러 필터 배열에 적용하는 것은 두 가능한 CFA 크기, 즉 3x3 CFA 크기와 4x2 CFA 크기의 결과를 낸다. 4x2 셀은 8-대역을 갖는 가장 작은 정수 길이의 장방형 또는 사각형이므로, 최소의 둘레를 갖는다. 3x3 셀은 또한, 8개의 대역을 갖는 정수 길이의 장방형 또는 사각형이므로 최소의 둘레를 갖는다. 최소의 둘레 대 면적 비율 표준이 이들 두 가능한 CFA 크기에 적용되므로 바람직한 CFA 크기를 결정할 수 있고, 즉 어떤 CFA 크기가 두 영상 방향에 대해 더 동일한 공간 주파수를 제공하는지를 결정할 수 있다. 둘레 대 크기 표준은 예를 들어, 3x3 크기가 4x2 CFA 크기보다 더 작은 둘레 대 면적 비율을 가지기 때문에, 4x2 CFA 크기가 아니고, 3x3 CFA 크기의 결과를 낸다. 선택적으로, 적어도 5개의 스펙트럼 대역의 각 스펙트럼 대역은 복수의 공간 최근접 이웃 및 복수의 다음 공간 근접 이웃을 포함한다. 적어도 5개의 스펙트럼 대역의 각 스펙트럼 대역은 각 스펙트럼 대역이 복수의 공간 최근접 이웃보다는 복수의 공간 다음 근접 이웃과 더 큰 상관관계를 가지도록 모자이크 광학 컬러 필터 배열에 위치된다. 선택적으로, 적어도 5개의 스펙트럼 대역의 각 스펙트럼 대역은 복수의 공간 근접 이웃이 스펙트럼으로 인접하지 않도록 모자이크 광학 컬러 필터 배열에 위치된다. 예를 들어, 예시의 9-대역 3x3 CFA에 있어서, CFA의 각 대각선이나 비대각선은 스펙트럼으로 근접하는 이웃에 의해 점유된다.

선택적으로, 적어도 5개의 스펙트럼 대역은 N개의 스펙트럼 대역을 포함한다. 복수의 유닛 셀의 각 반복하는 유닛 셀은 MxP 개의 유닛 셀을 포함하고 이때 M은 N의 제곱근과 같거나 더 큰 최소 정수이고 P는 N/M과 같거나 더 큰 최소 정수이다.

대역의 수를 변경하게 되면 상술된 멀티스펙트럼 영상 수집의 시스템과 동작의 대칭과 알고리즘의 제약을 가지는 새로운 모자이크 패턴에 이르게 된다. 상술된 원리를 따르는 예시의 CFA 크기는 표 1과 같다.

대역의 수	CFA 크기	반복된 대역의 수
5	3x2	1
6	3x2	0
7	3x3	2
8	3x3	1
9	3x3	0
10	4x3	2
11	4x3	1
12	4x3	0
13	4x4	3
14	4x4	2
15	4x4	1
16	4x4	0
17	5x4	3
18	5x4	2
19	5x4	1
20	5x4	0
21	5x5	4
22	5x5	3
23	5x5	2
24	5x5	1
25	5x5	0
26	6x5	4
27	6x5	3
28	6x5	2
29	6x5	1
30	6x5	0

예를 들어, 표 1을 9 SWIR 대역을 갖는 컬러 필터 배열에 적용하게 되면 3x3 유닛 셀의 결과를 낸다. 다른 예로, 표 1을 11 SWIR 대역을 갖는 컬러 필터 배열에 적용하게 되면 4x3 유닛 셀의 결과를 낸다.

본 발명의 일 실시예에 따른 국부적 스펙트럼 상관관계를 이용하는 방법을 설명하기 위한 다른 예는 다음과 같다. 9-대역의 경우에서 두 번째로 근접한(예를 들어, 대각선으로 인접 및 비대각선 인접) 화소에 대한 스펙트럼 거리의 최소화는 제1 최근접 이웃 화소에 대한 스펙트럼 거리의 최대화와 동일하다. 이것은 각 화소와 그 최근접 이웃 화소 간의 상관관계를 최소화하면서 각 화소를 둘러싸는 다음 근접 이웃 사이의 최대 상관관계를 확실하게 해준다. 아홉 개의 스펙트럼 대역의 경우, 본 발명의 일 실시예에 따라 개발된 패턴의 일 예를 표 2에서 나타낸다.

4	1	8
7	5	3
2	9	6

표 2를 참조하면, 각 대역의 지수는 스펙트럼 도메인의 순서를 지정한다. 이 9개의 스펙트럼 대역의 CFA 예에 이어서, 도 2-10은 대역 1-9 화소들 각각에 대한 필터 응답의 예를 나타낸다. 대역은 공간적으로 최근접 이웃으로 위치된 인접 스펙트럼 대역을 최소화하도록 유닛 셀에 배열된다. 예를 들어, 대역 3은 저 파장 측에서 대역 2와 접해 있고 고 파장 측에서 대역 4와 접해 있다. 유닛 셀이 CFA에 걸쳐 반복된다는 것을 기억한다면, 대각선을 따른 요소는 공간적으로 스펙트럼으로 국부적인 그룹의 멤버라는 것은 잘 알려져 있다. 예를 들어, 대역 2는 대역 1 및 대역 3과 동일한 대각선상에서만 보인다. 동일하게 간격된 스펙트럼 대역에 대해서, 요소가 대각선을 따른 다른 요소와 교환되는 구성의 순열은 대각 방향으로 인접한 화소에 대해 동일한 평균 스펙트럼 거리를 갖는다. 당업자라면 상기 패턴의 순환 순열, 반사 및 회전이 모두 동일하다는 것이 이해될 것이다. 또한, 당업자라면 인접하는 스펙트럼 대역의 교환, 예를 들어, 대역 8과 9의 교환은 다음 인접 또는 최근접 화소 간의 평균 대역간 상관관계에 영향을 주지 않기 때문에, 디모자이크 에러에 영향을 주지 않는다는 것이 이해될 것이다.

8개의 스펙트럼 대역의 경우, 본 발명의 일 실시예에 따라 개발된 패턴의 일 예를 표 3에서 나타낸다.

5	1	7
8	4	2
3	6	5

표 3과 관련하여, 각 대역의 지수는 스펙트럼 도메인의 순서를 나타낸다. 대역은 공간적으로 최근접 이웃 화소로 위치된 인접 스펙트럼 대역을 최소화하도록 유닛 셀에 배열된다. 당업자라면 상기 패턴의 순환 순열, 반사 및 회전이 모두 동일하다는 것을 이해할 것이다.

8개의 스펙트럼 대역의 경우, 본 발명의 다른 실시예에 따라 개발된 4x2 유닛 셀의 다른 예를 표 4에 나타낸다. 대역 간 상관관계는 두 스펙트럼 대역 간의 영상 컨텐트의 유사도 측정치가 된다. 4x2 유닛 셀은 최소의 둘레 대 면적 비율의 원리와 일치하지 않지만, 유닛 셀 내의 최근접 이웃 화소 간의 대역간 상관관계를 최소화하여 최소의 디모자이크 에러의 원리에 여전히 따른다. 이 최소화는 대역을 공간적으로 배열하여 다음 근접 이웃이 최근접 이웃 보다 더욱 상관되도록 하여 행해진다.

1	5	3	6
8	2	7	4

표 4를 참조하면, 각 대역의 지수는 스펙트럼 영역의 순서를 나타낸다. 표 4에서 나타낸 바와 같이, 대역은 공간적으로 최근접 이웃 화소로 위치되고 있는 인접 스펙트럼 대역을 최소화하도록 유닛 셀에 배열된다. 당업자라면 상기 패턴의 순환 순열, 반사 및 회전이 모두 동일하다는 것을 인식할 것이다.

본 발명의 예시의 실시예에서, CFA의 스펙트럼 대역은 InGaAs 검출기 재료의 감도로 정렬된다. 대역 중심과 폭은 대량의 대기를 통한 영상화에 이용할 수 있는 파장 공간을 균일하게 샘플링하도록 더욱 선택된다. 통상의 대기 흡수가 약간의 스펙트럼 정보를 잘라내기 때문에, 본 발명의 일 실시예에 따른 CFA는 대기로 스크린된 스펙트럼 정보에 대해서는 안 보이는 것이 바람직하다. 대역의 폭은 인접 대역 간에 최소한으로 중첩되면서 이용 가능한 대역폭을 완전히 커버하는 것이 바람직하다. 예시의 CFA의 대역 중심 파장("CWL")은 아래 표 5에서와 같이 특정된다:

대역 번호	1	2	3	4	5	6	7	8	9
CWL(nm)	920	1010	1075	1190	1240	1290	1550	1620	1690

스펙트럼 대역은 원거리 영상화를 위한 고기압 전송의 창을 균일하게 샘플링하도록 선택된다. 당업자라면 표 5에서 목록으로 나타낸 것 이외에 다른 대역 중심의 선택이 응용에 따라 달라질 수 있다는 것이 이해할 것이다. 또한, 예를 들어, InGaAs 센서와 일치하는 감도 곡선에 필적하는 특수 대역이 선택되고, 다른 대역 중심은 다른 SWIR 검출기 재료(예를 들어, HgCdTe 및 InSb)와 일치하거나, 이 경우 몇 스펙트럼 영역이 더 적거나 더 큰 대역 분리를 갖는다.

선택적으로, 복수의 반복하는 유닛 셀의 각 반복하는 유닛 셀은 적어도 5개의 스펙트럼 대역의 각 스펙트럼 대역에 대해 적어도 하나의 화소를 포함한다.

선택적으로, 모자이크 광학 컬러 필터 배열(20)은 단파 적외선 검출기에 부착되거나 단파 적외선 검출기와 거리를 두고 위치된다. 예를 들어, 모자이크 광학 컬러 필터 배열은 초점면 배열에 부착된다. 다른 디자인은 필터 배열을 검출기 배열로 재영상화하거나 필터 배열을 검출기 배열상에 직접 제조하는 것을 포함한다.

본 발명의 예시의 실시예에서, CFA는 640x512 장방형 화소 및 25미크론의 센서 피치의 2차원 포맷을 갖는 표준 InGaAs 센서에 맞는다. 필터는 0.5mm 두께의 전송 기판상에 3x3 반복하는 패턴의 화소 크기 필터로 이루어진다. 필터는 초점면 배열 센서에 아주 근접하여(~2미크론) 위치되도록 설계된다.

선택적으로, 단파 적외선 검출기(30)는 표준 초점면 배열 또는 표준 선형 검출기 배열을 포함한다.

선택적으로, 적어도 5개의 스펙트럼 대역은 대기 흡수의 영향을 받지 않는다. 즉, 본 발명의 이 선택적 실시예에 따르면, CFA는 대기를 통해 전송될 수 있는 광을 수용하기만 한다.

선택적으로, 단파 적외선 검출기(30)는 1100와 1700nm 사이의 파장을 갖는 광에 민감하다.

본 발명의 다른 실시예를 도 1을 참조하여 예시로 도시한다. 본 실시예는 카메라 시스템(10)을 포함한다. 카메라 시스템(10)은 스펙트럼 일치성과 공간 균일성을 보장하는 복수의 반복하는 유닛 셀을 포함하는, 모자이크 광학 컬러 필터 배열(20)을 포함한다. 복수의 반복하는 유닛 셀의 각 반복하는 유닛 셀은 최소의 초점면 둘레 표준과 최소의 둘레 대 면적 비율 표준을 충족한다. 카메라 시스템(10)은 모자이크 광학 컬러 필터 배열과 광학적으로 결합된 단파 적외선 검출기(30)를 더 포함한다.

선택적으로, 모자이크 광학 컬러 필터 배열(20)은 적어도 5개의 스펙트럼 대역을 포함한다. 복수의 반복하는 유닛 셀은 적어도 5개의 스펙트럼 대역을 포함한다. 적어도 5개의 스펙트럼 대역의 각 스펙트럼 대역은 복수의 공간 최근접 이웃 및 복수의 다음 공간 인접 이웃을 포함한다. 적어도 5개의 스펙트럼 대역의 각 스펙트럼 대역은 상기 각 스펙트럼 대역이 상기 복수의 공간 최근접 이웃 보다 상기 복수의 공간 다음 근접 이웃과 더 큰 상관관계를 갖도록 모자이크 광학 컬러 필터 배열에 위치된다.

선택적으로, 적어도 5개의 스펙트럼 대역의 각 스펙트럼 대역은 복수의 공간 최근접 이웃이 스펙트럼으로 비인접하도록 모자이크 광학 컬러 필터 배열에 위치된다.

선택적으로, 적어도 5개의 스펙트럼 대역은 N개의 스펙트럼 대역을 포함하고, 상기 복수의 반복하는 유닛 셀의 각 반복하는 유닛 셀은 MxP 유닛 셀을 포함하고 이때 M은 적어도 N의 제곱근과 같은 최소 정수이고 P는 N/M과 적어도 같은 최소 정수이다

선택적으로, 모자이크 광학 컬러 필터 배열(20)은 단파 적외선 검출기(30)에 부착되거나 단파 적외선 검출기(30)로부터 일정 거리 떨어져 위치된다.

선택적으로, 적어도 5개의 스펙트럼 대역은 대기 흡수의 영향을 받지 않는다.

선택적으로, 단파 적외선 검출기는 1100과 1700nm 사이의 파장을 가지는 광에 민감하다.

본 발명의 다른 실시예는 도 10을 참조한 예시로 다음과 같이 설명된다. 본 실시예는 카메라 시스템(10)을 포함한다. 카메라 시스템(10)은 스펙트럼 일치성과 공간 균일성을 보장하는 복수의 반복하는 유닛 셀을 포함하는 모자이크 광학 컬러 필터 배열(20)을 포함한다. 복수의 반복하는 유닛 셀의 각 반복하는 유닛 셀은 최소의 초점면 둘레 표준과 최소의 둘레 대 면적 비율 표준을 충족한다. 모자이크 광학 컬러 필터 배열은 적어도 6개의 스펙트럼 대역을 포함한다. 복수의 반복하는 유닛 셀은 적어도 6개의 스펙트럼 대역을 포함한다. 카메라 시스템(10)은 모자이크 광학 컬러 필터 배열(20)에 광학적으로 결합된 표준 가시 파장 검출기(40)를 더 포함한다.

선택적으로, 적어도 6개의 스펙트럼 대역의 각 스펙트럼 대역은 복수의 공간 최근접 이웃과 복수의 공간 다음 근접 이웃을 포함하고, 상기 5개의 스펙트럼 대역의 각 스펙트럼 대역은 상기 각 스펙트럼 대역이 상기 복수의 공간 최근접 이웃 보다 상기 복수의 공간 다음 근접 이웃과 더 큰 상관관계를 갖도록 모자이크 광학 컬러 필터 배열에 위치된다.

다른 실시예는 도 1 및 도 10을 예시로 참조하여 다음과 같이 설명된다. 카메라 시스템(10)은 스펙트럼 일치성과 공간 균일성을 보장하는 복수의 반복하는 유닛 셀을 포함하는 모자이크 광학 컬러 필터 배열(20)을 포함한다. 전체 대역간 상관관계는 스펙트럼 대역의 선택으로 고정된다. 최근접 이웃 대역간 상관관계 및 다음 근접 이웃 대역간 상관관계는 각 반복하는 유닛 셀 내의 스펙트럼 대역의 위치에 따라 달라진다. 최근접 이웃 대역간 상관관계를 최소화하여 디모자이크 프로세스에 더 강한 다음 근접 이웃 대역간 상관관계를 이용하도록 한다. 따라서, 복수의 반복하는 유닛 셀의 각 반복하는 유닛 셀은 최소의 최근접 이웃 대역간 상관관계 표준을 충족한다. 모자이크 광학 컬러 필터 배열(20)은 적어도 6개의 스펙트럼 대역을 포함한다. 복수의 반복하는 유닛 셀은 적어도 6개의 스펙트럼 대역을 포함한다. 복수의 반복하는 유닛 셀은 적어도 6개의 스펙트럼 대역을 포함한다. 카메라 시스템은 모자이크 광학 컬러 필터 배열(20)에 광학적으로 결합된 검출기를 포함한다. 검출기는 가시 파장 검출기(40) 또는 단파 적외선 검출기(30)를 포함한다.

선택적으로, 단파 적외선 검출기(30)는 1100와 1700nm 간의 파장을 가지는 광에 민감하다.

선택적으로, 최소의 최근접 이웃 대역간 상관관계 표준은 다음 최근접 이웃이 각 반복하는 유닛 셀 내의 최근접 이웃 보다 더욱 밀접하게 상관되는 것을 확실하게 하는 것을 포함한다.

본 명세서의 특정한 형태가 몇 가지 구현예들 중 하나만을 참조하여 도시 및 설명되고 있지만, 이런 특성은 임의의 또는 특정한 응용에 바람직하고 장점이 있다면 다른 구현예의 하나 이상의 다른 특성과 결합될 수 있다. 또한, 용어 "가지고", "갖고", "구비하고" 또는 그 변형이 상세한 설명 및/또는 청구범위에서 사용되는 한, 이런 용어들은 용어 "포함하고"에 유사한 방식으로 포함되는 것으로 한다.

본 상세한 설명은 본 발명의 최상의 모드를 기재하고 있으며 본 발명을 설명하고 당업자가 본 발명을 실행하고 이용할 수 있게 하는 예시를 제공한다. 본 상세한 설명은 본 발명을 기재한 특정한 용어에만 제한하는 것은 아니다. 따라서, 본 발명이 상술된 예시와 관련하여 상세하게 설명되고 있지만, 당업자라면 본 발명의 영역에서 벗어나지 않고 예시들에 대해 변경, 수정 및 변형을 실행할 수 있다.

이들 및 그 외 구현예들은 다음 청구범위의의 범위 내에 있다.

Claims

적어도 5개의 스펙트럼 대역을 포함하는 모자이크 광학 컬러 필터 배열; 및
상기 모자이크 광학 컬러 필터 배열에 광학적으로 결합된 단파 적외선 검출기
를 포함하는 장치.
제1항에 있어서, 상기 모자이크 광학 컬러 필터 배열은 상기 적어도 5개의 스펙트럼 대역을 포함하는 복수의 반복하는 유닛 셀을 포함하고, 상기 복수의 반복하는 유닛 셀은 스펙트럼 일치성 및 공간 균일성을 보장하고, 상기 복수의 유닛 셀의 각 반복되는 유닛 셀은 최소의 초점면 둘레 표준과 최소의 둘레 대 면적 표준을 충족하고, 상기 최소의 둘레 대 면적 표준은 상기 최소의 초점면 둘레 표준 이후 충족되는 장치.
제2항에 있어서, 상기 적어도 5개의 스펙트럼 대역의 각 스펙트럼 대역은 복수의 공간 최근접 이웃과 복수의 공간 다음 근접 이웃을 포함하고, 상기 적어도 5개의 스펙트럼 대역의 상기 각 스펙트럼 대역은 상기 각 스펙트럼 대역이 상기 복수의 공간 최근접 이웃 보다 상기 복수의 공간 다음 근접 이웃과 더 큰 상관관계를 가지도록 상기 모자이크 광학 필터 배열에 위치되는 장치.
제3항에 있어서, 상기 적어도 5개의 스펙트럼 대역의 상기 각 스펙트럼 대역은 상기 복수의 공간 최근접 이웃이 스펙트럼으로 비인접하도록 상기 모자이크 광학 컬러 배열에 위치되는 장치.
제2항에 있어서, 상기 적어도 5개의 스펙트럼 대역은 N개의 스펙트럼 대역을 포함하고, 상기 복수의 반복하는 유닛 셀의 상기 각 반복하는 유닛 셀은 MxP개의 유닛 셀을 포함하고 이때 M은 N의 제곱근과 적어도 같은 최소 정수이고 P는 N/M과 적어도 같은 최소 정수인 장치.
제2항에 있어서, 상기 복수의 반복하는 유닛 셀의 상기 각 반복하는 유닛 셀은 상기 적어도 5개의 스펙트럼 대역의 각 스펙트럼 대역에 대해 적어도 하나의 화소를 포함하는 장치.
제1항에 있어서, 상기 모자이크 광학 컬러 필터 배열은 상기 단파 적외선 검출기에 부착되거나 상기 단파 적외선 검출기로부터 일정 거리 떨어져 위치되는 것 중 하나인 장치.
제1항에 있어서, 상기 단파 적외선 검출기는 초점면 배열과 선형 검출기 배열 중 하나를 포함하는 장치.
제2항에 있어서, 상기 적어도 5개의 스펙트럼 대역은 대기 흡수의 영향을 받지 않는 장치.
제1항에 있어서, 상기 단파 적외선 검출기는 1100과 1700nm 사이의 파장을 가지는 광에 민감한 장치.
스펙트럼 일치성과 공간 균일성을 보장하는 복수의 반복하는 유닛 셀을 포함하는 모자이크 광학 컬러 필터 배열 - 상기 복수의 반복하는 유닛 셀의 각 반복하는 유닛 셀은 최소의 초점면 둘레 표준과 최소 둘레 대 면적 표준을 충족하고, 상기 최소의 둘레 대 면적 표준은 상기 최소의 초점면 둘레 표준 이후 충족됨 - ; 및
상기 모자이크 광학 컬러 필터 배열과 광학적으로 결합된 단파 적외선 검출기
를 포함하는 장치.
제11항에 있어서, 상기 모자이크 광학 컬러 필터 배열은 적어도 5개의 스펙트럼 대역을 포함하고, 상기 복수의 반복하는 유닛 셀은 상기 적어도 5개의 스펙트럼 대역을 포함하는 장치.
제12항에 있어서, 상기 적어도 5개의 스펙트럼 대역의 각 스펙트럼 대역은 복수의 공간 최근접 이웃과 복수의 공간 다음 근접 이웃을 포함하고, 상기 5개의 스펙트럼 대역의 상기 각 스펙트럼 대역은 상기 각 스펙트럼 대역이 상기 복수의 공간 최근접 이웃보다 상기 복수의 공간 다음 근접 이웃과 더 큰 상관관계를 갖도록 상기 모자이크 광학 컬러 필터 배열에 위치되는 장치.
제13항에 있어서, 상기 적어도 5개의 스펙트럼 대역의 상기 각 스펙트럼 대역은 상기 복수의 공간 최근접 이웃이 스펙트럼으로 비인접하도록 상기 모자이크 광학 컬러 필터 배열에 위치되는 장치.
제12항에 있어서, 상기 적어도 5개의 스펙트럼 대역은 N개의 스펙트럼 대역을 포함하고, 상기 복수의 반복하는 유닛 셀의 상기 각 반복하는 유닛 셀은 MxP개의 유닛 셀을 포함하고 이때 M은 N의 제곱근과 적어도 같은 최소 정수이고 P는 N/M과 적어도 같은 최소 정수인 장치.
제12항에 있어서, 상기 복수의 반복하는 유닛 셀의 상기 각 반복하는 유닛 셀은 상기 적어도 5개의 스펙트럼 대역의 각 스펙트럼 대역에 대해 적어도 하나의 화소를 포함하는 장치.
제11항에 있어서, 상기 모자이크 광학 컬러 필터 배열은 상기 단파 적외선 검출기에 부착되거나 상기 단파 적외선 검출기로부터 일정 거리 떨어져 위치되는 것 중 하나인 장치.
제11항에 있어서, 상기 단파 적외선 검출기는 초점면 배열과 선형 검출기 배열 중 하나를 포함하는 장치.
제12항에 있어서, 상기 적어도 5개의 대역은 대기 흡수의 영향을 받지 않는 장치.
제11항에 있어서, 상기 단파 적외선 검출기는 1100과 1700nm 사이의 파장을 가지는 광에 민감한 장치.
스펙트럼 일치성과 공간 균일성을 보장하는 복수의 반복하는 유닛 셀을 포함하는 모자이크 광학 컬러 필터 배열 - 상기 복수의 반복하는 유닛 셀의 각 반복하는 유닛 셀은 최소의 초점면 둘레 표준과 최소의 둘레 대 면적 표준을 충족하고, 상기 최소의 초점면 둘레 대 면적 표준은 상기 최소의 초점면 둘레 표준 이후 충족되고, 상기 모자이크 광학 컬러 필터 배열은 적어도 6개의 스펙트럼 대역을 포함하고, 상기 복수의 반복하는 유닛 셀은 상기 적어도 6개의 스펙트럼 대역을 포함함 - ; 및
상기 모자이크 광학 컬러 필터 배열과 광학적으로 결합된 가시 파장 검출기
를 포함하는 장치.
제21항에 있어서, 상기 적어도 6개의 스펙트럼 대역의 각 스펙트럼 대역은 복수의 공간 최근접 이웃과 복수의 공간 다음 근접 이웃을 포함하고, 상기 6개의 스펙트럼 대역의 상기 각 스펙트럼 대역은 상기 각 스펙트럼 대역이 상기 복수의 공간 최근접 이웃보다 상기 복수의 공간 다음 근접 이웃과 더 큰 상관관계를 갖도록 상기 모자이크 광학 컬러 필터 배열에 위치되는 장치.
스펙트럼 일치성과 공간 균일성을 보장하는 복수의 반복하는 유닛 셀을 포함하는 모자이크 광학 컬러 필터 배열 - 상기 복수의 반복하는 유닛 셀의 각 반복하는 유닛 셀은 최소의 최근접 이웃 대역 간 상관관계 표준을 충족하고, 상기 모자이크 광학 컬러 필터 배열은 적어도 6개의 스펙트럼 대역을 포함하고, 상기 복수의 반복하는 유닛 셀은 상기 6개의 스펙트럼 대역을 포함함 - ; 및
상기 모자이크 광학 컬러 필터 배열과 광학적으로 결합되는 가시 파장 검출기
를 포함하는 장치.
제22항에 있어서, 상기 최소의 최근접 이웃 대역 간 상관관계 표준은 다음 근접 이웃이 상기 각 반복하는 유닛 셀 내의 최근접 이웃보다 더 밀접하게 상관되는 것을 확실하게 하는 것을 포함하는 장치.