KR20140134694A

KR20140134694A - 통합 적외선 이미징 모듈을 구비한 웨어러블 장치

Info

Publication number: KR20140134694A
Application number: KR1020147028165A
Authority: KR
Inventors: 윌리엄 에이. 테르; 앤드류 시. 테이치; 지오반니 레포르; 니콜라스 호가스텐; 테오도르 알. 휄터; 카트린 스트랜디마르
Original assignee: 플리어 시스템즈, 인크.
Priority date: 2012-03-19
Filing date: 2013-03-14
Publication date: 2014-11-24
Also published as: EP2829056B1; EP2829056A2; KR101668544B1; CN204615945U; CA2867895A1; WO2013184220A2; WO2013184220A3; CA2867895C

Abstract

통합된 적외선 이미징 모듈을 가진 웨어러블 장치를 제공하는 다양한 기술이 개시된다. 일 실시예에서, 자급식 호흡장치(SCBA)로서 구현되는 웨어러블 장치는 사용자를 외부환경으로부터 보호하기 위한 실드, 사용자가 볼 수 있는 열 이미지를 실드의 표면 위에 투사하기 위한 1개 이상의 적외선 이미징 모듈, 프로젝터, 프로세서, 및 통신모듈을 포함한다. 그와 같은 적외선 이미징 모듈은 위험한 외부환경으로부터 보호를 위해 SCBA 내부에 위치될 수 있다. 또 다른 실시예에서, 용접 마스크로서 구현된 웨어러블 장치는, 거친 용접 환경으로부터 용접공의 얼굴과 상기 구성 요소들을 보호하는 동시에 사용자가 볼 수 있는 열 이미지를 용접 마스크의 실드의 표면 위에 투사하기 위해, 1개 이상의 적외선 이미징 모듈, 프로젝터, 프로세서, 및 통신모듈을 포함할 수 있다.

Description

통합 적외선 이미징 모듈을 구비한 웨어러블 장치{WEARABLE APPARATUS WITH INTEGRATED INFRARED IMAGING MODULE}

(관련문헌의 참조)

본 출원은 미국 임시특허출원 제61/612,794호(출원일자: 2012. 3. 19.) 및 미국 특허출원 제13/802,615호(출원일자: 2013. 3. 13.; 발명의 명칭: "WEARABLE APPARATUS WITH INTEGRATED INFRARED IMAGING MODULE")호에 대하여 우선권의 이익을 주장하며, 상기 문헌의 전체 내용은 참조를 위해 본 명세서에 통합된다.

본 출원은 국제특허출원 PCT/US2012/041744 (출원일자: 2012. 6. 8.; 발명의 명칭: "LOW POWER AND SMALL FORM FACTOR INFRARED IMAGING")의 부분계속출원으로서, 이 문헌의 전체 내용은 참조를 위해 본 명세서에 통합된다.

국제특허출원 PCT/US2012/041744는 미국 임시특허출원 제61/656,889호(출원일자: 2012. 6. 7.; 발명의 명칭: "LOW POWER AND SMALL FORM FACTOR INFRARED IMAGING")에 대하여 우선권의 이익을 주장하며, 이 문헌의 전체 내용은 참조를 위해 본 명세서에 통합된다.

국제특허출원 PCT/US2012/041744는 미국 임시특허출원 제61/545,056호(출원일자: 2011. 10. 7; 발명의 명칭: "NON-UNIFORMITY CORRECTION TECHNIQUES FOR INFRARED IMAGING DEVICES")에 대하여 우선권의 이익을 주장하며, 이 문헌의 전체 내용은 참조를 위해 본 명세서에 통합된다.

국제특허출원 PCT/US2012/041744는 미국 임시특허출원 제61/495,873호(출원일자: 2011. 6. 10.; 발명의 명칭: "INFRARED CAMERA PACKAGING SYSTEMS AND METHODS")에 대하여 우선권의 이익을 주장하며, 이 문헌의 전체 내용은 참조를 위해 본 명세서에 통합된다.

국제특허출원 PCT/US2012/041744는 미국 임시특허출원 제61/495,879호(출원일자: 2011. 6. 10; 발명의 명칭: "INFRARED CAMERA SYSTEM ARCHITECTURES")에 대하여 우선권의 이익을 주장하며, 이 문헌의 전체 내용은 참조를 위해 본 명세서에 통합된다.

국제특허출원 PCT/US2012/041744는 미국 임시특허출원 제61/495,888호(출원일자: 2011. 6. 10; 발명의 명칭: "INFRARED CAMERA CALIBRATION TECHNIQUES")에 대하여 우선권의 이익을 주장하며, 이 문헌의 전체 내용은 참조를 위해 본 명세서에 통합된다.

본 출원은 국제특허출원 PCT/US2012/041749 (출원일자: 2012. 6. 8.; 발명의 명칭: "NON-UNIFORMITY CORRECTION TECHNIQUES FOR INFRARED IMAGING DEVICES")의 부분계속출원이며, 이 문헌의 전체 내용은 참조를 위해 본 명세서에 통합된다.

국제특허출원 PCT/US2012/041749는 미국 임시특허출원 제61/545,056호(출원일자: 2011. 10. 7.; 발명의 명칭: "NON-UNIFORMITY CORRECTION TECHNIQUES FOR INFRARED IMAGING DEVICES")에 대하여 우선권의 이익을 주장하며, 이 문헌의 전체 내용은 참조를 위해 본 명세서에 통합된다.

국제특허출원 PCT/US2012/041749는 미국 임시특허출원 제61/495,873호(출원일자: 2011. 6. 10.; 발명의 명칭: "INFRARED CAMERA PACKAGING SYSTEMS AND METHODS")에 대하여 우선권의 이익을 주장하며, 이 문헌의 전체 내용은 참조를 위해 본 명세서에 통합된다.

국제특허출원 PCT/US2012/041749는 미국 임시특허출원 제61/495,879호(출원일자: 2011. 6. 10.; 발명의 명칭: "INFRARED CAMERA SYSTEM ARCHITECTURES")에 대하여 우선권의 이익을 주장하며, 이 문헌의 전체 내용은 참조를 위해 본 명세서에 통합된다.

국제특허출원 PCT/US2012/041749는 미국 임시특허출원 제61/495,888호(출원일자: 2011. 6. 10.; 발명의 명칭: "INFRARED CAMERA CALIBRATION TECHNIQUES")에 대하여 우선권의 이익을 주장하며, 이 문헌의 전체 내용은 참조를 위해 본 명세서에 통합된다.

본 출원은 국제특허출원 PCT/US2012/041739(출원일자: 2012. 6. 8.; 발명의 명칭: "INFRARED CAMERA SYSTEM ARCHITECTURES")의 부분계속출원이며, 이 문헌의 전체 내용은 참조를 위해 본 명세서에 통합된다.

국제특허출원 PCT/US2012/041739는 미국 임시특허출원 제61/495,873호(출원일자: 2011. 6. 10.; 발명의 명칭: "INFRARED CAMERA PACKAGING SYSTEMS AND METHODS")에 대하여 우선권의 이익을 주장하며, 이 문헌의 전체 내용은 참조를 위해 본 명세서에 통합된다.

국제특허출원 PCT/US2012/041739는 미국 임시특허출원 제61/495,879호(출원일자: 2011. 6. 10.; 발명의 명칭: "INFRARED CAMERA SYSTEM ARCHITECTURES")에 대하여 우선권의 이익을 주장하며, 이 문헌의 전체 내용은 참조를 위해 본 명세서에 통합된다.

국제특허출원 PCT/US2012/041739는 미국 임시특허출원 제61/495,888호(출원일자: 2011. 6. 10.; 발명의 명칭: "INFRARED CAMERA CALIBRATION TECHNIQUES")에 대하여 우선권의 이익을 주장하며, 이 문헌의 전체 내용은 참조를 위해 본 명세서에 통합된다.

(기술분야)

본 발명은 일반적으로 열 이미징 장치, 더욱 구체적으로는 예를 들면 열 이미징 장치용 웨어러블 기기(wearable devices)에 관한 것이다.

위험한 환경에서 사용자를 보호하기 위해 다양한 웨어러블 장치들이 개발되어 왔다. 예를 들면, 자급식 호흡장치(SCBA: self-contained breathing apparatus)는 호흡할 수 있는 공기를 공급하기 위해 및 위험한 환경에서 작업할 때 열, 화염, 잔해, 및 다른 유해한 요소들로부터 얼굴을 보호하기 위해 소방관들과 다른 응급요원들에 의해 널리 이용된다. 또 다른 실시예에서, 용접(welding) 동안 발생할 수 있는 강한 빛, 열, 스파크(sparks), 및 다른 유해한 요소들로부터 얼굴을 보호하기 위해 용접공들은 용접 마스크를 착용한다.

이들 및 다른 조건에서, 시야(visibility)가 손상될 때, 가시광 이미징 센서(예컨대, CCD-기반 또는 CMOS-기반 센서)는 통상 주변 환경의 유용한 이미지를 캡처하는 것이 불가능하다. 종래의 적외선 카메라(예컨대, 열 이미지를 캡처하기 위해 사용됨) 역시 적당하지 않을 수 있는데, 이는 그와 같은 카메라들이 통상 너무 크고 무거우며, 일반적으로 손으로 잡거나 아니면 사용자 외부에 위치되기 때문이다. 또한, 외부에 탑재된 적외선 카메라(예컨대, 사용자의 헬멧 위에 탑재됨)가 완벽하게 정렬되지 않고 사용자의 머리 움직임을 정밀하게 추적하지 않기 때문에, 종래의 적외선 카메라가 향하는 곳과 사용자가 보고 있는 곳 사이에 시계(field of view) 불일치 및 오정렬 문제가 일어날 수 있다. 또한, 위험한 외부 환경으로부터 종래의 적외선 카메라를 보호하기 위해 외부 하우징이 필요할 수 있다. 그와 같은 하우징은 무게와 규모를 더욱 크게 할 수 있으며, 따라서 종래의 적외선 카메라가 위험한 환경에서 사용하는 것을 더욱 적당하지 않게 할 수 있다.

또한, 사용자는 위험한 환경에 노출되는 동안 이미지를 보는 것이 종종 어렵다. 예를 들면, 어떤 종래의 디스플레이(예컨대, 사용자가 직접 또는 스코프(scope)를 통해 볼 수 있도록 이미지를 제공하는 LCD 스크린)는 위험한 환경에서 사용될 때 종종 문제가 있을 수 있다. 이와 관련하여, 외부 핸드헬드(handheld) 디스플레이 스크린은 다루기 불편할 수 있으며 사용자의 활동 능력을 제한할 수 있다. 만일 웨어러블 장치의 마스크 내에 제공된다면, 종래의 디스플레이는 실제로 사용자의 시야를 방해할 수 있으며 사용자가 스크린 위치를 조정하거나 주변 외부 환경을 동시에 관찰하는 것을 어렵게 할 수 있다. 또한, 사용자의 마스크의 외부 가장자리에 종래의 디스플레이(예컨대, 스크린, 스코프, 및/또는 접안렌즈(eyepieces)의 탑재는 웨어러블 장치의 무게 중심을 앞으로 불리하게 이동시킬 수 있으며 이것은 사용자를 거추장스럽게 하고 피로하게 할 수 있다.

사용자가 볼 수 있는 외부환경의 열 이미지를 실드(shield)의 표면 위에 투사하기 위해 실드, 적외선 이미징 모듈, 프로젝터를 가지는 웨어러블 장치를 제공하기 위한 다양한 기술이 개시된다. 예를 들면, SCBA는 외부환경으로부터 사용자를 보호하기 위한 실드, 이 실드의 표면 위에 사용자가 볼 수 있는 열 이미지를 투사하기 위한 1개 이상의 적외선 이미징 모듈, 프로젝터, 프로세서, 및 통신모듈을 포함할 수 있다. 그와 같은 적외선 이미징 모듈은 위험한 환경과 같은 외부환경으로부터 보호되도록 SCBA 내부에 위치될 수 있다. 또 다른 실시예에서, 용접 마스크는, 거친 용접 환경으로부터 용접공의 얼굴과 상기 구성 요소들을 보호하는 동시에 사용자가 볼 수 있는 열 이미지를 용접 마스크의 실드의 표면 위에 투사하기 위해, 1개 이상의 적외선 이미징 모듈, 프로젝터, 프로세서, 및 통신모듈을 포함할 수 있다.

일 실시예에서, 웨어러블 장치는, 외부환경으로부터 사용자의 얼굴의 전부 또는 일부를 보호하는 실드; 상기 외부환경의 열 이미지를 캡처하는 초점평면 어레이(FPA)를 포함하는 적외선 이미징 모듈; 상기 열 이미지를 상기 외부환경의 사용자가 볼 수 있는 이미지로 변환하는 프로세서; 및 상기 장치를 착용한 사용자가 볼 수 있도록 상기 사용자가 볼 수 있는 이미지를 상기 실드 위에 투사하는 프로젝터를 포함한다.

또 다른 실시예에서, 웨어러블 장치를 동작시키는 방법은, 상기 웨어러블 장치의 적외선 이미징 모듈의 초점평면 어레이(FPA)에서, 외부환경의 열 이미지를 캡처하는 단계; 상기 열 이미지를 상기 외부환경의 사용자가 볼 수 있는 이미지로 변환하는 단계; 및 사용자가 볼 수 있도록 상기 사용자가 볼 수 있는 이미지를 상기 웨어러블 장치의 실드의 내부면 위에 투사하는 단계를 포함한다.

또 다른 실시예에서, 웨어러블 장치를 제조하는 방법은, 외부환경으로부터 사용자의 얼굴의 전부 또는 일부를 보호하는 실드를 제공하는 단계; 상기 실드에 대하여 적외선 이미징 모듈을 위치시키는 단계; 상기 실드에 대하여 프로젝터를 위치시키는 단계; 및 상기 적외선 이미징 모듈과 상기 프로젝터를 통신 가능하게 연결하는 단계를 포함하고, 상기 적외선 이미징 모듈은 사용자가 상기 장치를 착용하고 있는 동안 상기 외부환경의 열 이미지를 캡처하는 초점평면 어레이(FPA)를 포함하고, 상기 프로젝터는 사용자가 상기 장치를 착용하고 있는 동안 사용자가 볼 수 있도록 상기 실드의 내부면 위에 상기 외부환경의 사용자가 볼 수 있는 이미지를 투사하는 것을 특징으로 한다.

본 발명의 범위는 청구항들에 의해 정해지며, 청구항들은 참조에 의해 본 명세서에 포함된다. 당해 기술분야의 숙련자는 1개 이상의 실시예에 대한 다음의 상세한 설명을 고려함으로써 본 발명에 대한 더 완전한 이해와 추가적인 이점을 인식할 것이다. 이하에서 먼저 간단히 설명되는 첨부된 도면들을 참조할 것이다.

도 1은 본 발명의 일 실시예에서 호스트 장치(host device) 내에 구현되는 적외선 이미징 모듈을 도시하고,
도 2는 본 발명의 일 실시예에서 조립된 적외선 이미징 모듈을 도시하고,
도 3은 본 발명의 일 실시예에서 소켓(socket) 위에 나란히 놓인 적외선 이미징 모듈의 분해도이고,
도 4는 본 발명의 일 실시예에서 적외선 센서들의 어레이를 포함하는 적외선 센서 어셈블리의 블럭도이고,
도 5는 본 발명의 일 실시예에서 비균일 보정(NUC: non-uniformity correction)을 결정하기 위한 다양한 동작들의 흐름도이고,
도 6은 본 발명의 일 실시예에서 이웃하는 픽셀들 사이의 차이를 도시하고,
도 7은 본 발명의 일 실시예에서 플랫 필드 보정(flat field correction) 기술을 도시하고,
도 8은 본 발명의 일 실시예에서 이미지 처리 파이프라인(pipeline)에 적용된 다른 동작들 및 도 5의 다양한 이미지 처리 기술을 도시하고,
도 9는 본 발명의 일 실시예에서 일시적인 노이즈 감소 프로세스(temporal noise reduction process)를 도시하고,
도 10은 본 발명의 일 실시예에서 도 8의 이미지 처리 파이프라인의 몇 개의 프로세스에 대한 구체적인 구현 상세를 도시하고,
도 11은 본 발명의 일 실시예에서 이웃하는 픽셀들의 공간적으로 상호관련된 고정 패턴 노이즈(FPN: fixed pattern noise)를 도시하고,
도 12는 본 발명의 일 실시예에서 웨어러블 장치의 블럭도이고,
도 13a 내지 도 13c는 본 발명의 일 실시예에서 자급식 호흡장치(SCBA)로서 구현된 웨어러블 장치의 다양한 측면에 본 도면이고,
도 14a 및 도 14b는 본 발명의 일 실시예에서 용접 마스크로 구현된 몇 개의 웨어러블 장치의 측면도를 도시하고,
도 15는 본 발명의 일 실시예에서 웨어러블 장치에 사용자가 볼 수 있는 열 이미지를 제공하는 프로세스를 도시한다.
본 발명의 실시예와 그 이점은 아래의 상세한 설명을 참조하면 가장 잘 이해할 수 있을 것이다. 도면들 중 1개 이상에서 도시된 유사한 요소들을 식별하기 위해 유사한 도면부호가 사용될 것이다.

도 1은 본 발명의 일 실시예에서 호스트 장치(102) 내에 구현되는 적외선 이미징 모듈(100)(예컨대, 적외선 카메라 또는 적외선 이미징 장치)을 도시한다. 적외선 이미징 장치(100)는, 1개 이상의 실시예를 위해, 웨이퍼 레벨 패키징 기술 또는 다른 패키징 기술에 따라 그리고 소형 폼 팩터(form factor)를 가지고 구현될 수 있다.

일 실시예에서, 적외선 이미징 모듈(100)은 이동 전화기, 태블릿 컴퓨터, 랩탑 컴퓨터, PDA, 가시광 카메라, 음악 재생기, 또는 어떤 다른 적당한 모바일 장치와 같은 소형 휴대형 호스트 장치(102) 내에 구현될 수 있다. 이와 관련하여, 적외선 이미징 모듈(100)은 호스트 장치(100)에 적외선 이미징 피처(features)를 제공하기 위해 사용될 수 있다. 예를 들면, 적외선 이미징 모듈(100)은 적외선 이미지를 캡처, 처리, 및/또는 관리하고 그와 같은 적외선 이미지를 호스트 장치(102)에 제공하여 임의의 원하는 방식(예컨대, 추가적인 처리를 위해, 메모리에 저장하거나, 디스플레이하거나, 호스트 장치(102)에서 실행되는 다양한 애플리케이션에서 사용하거나, 다른 장치로 보내거나, 그 밖의 용도)으로 사용하도록 할 수 있다.

다양한 실시예에서, 적외선 이미징 모듈(100)은 낮은 전압 레벨에서 넓은 온도 범위에 걸쳐 동작할 수 있다. 예를 들면, 일 실시예에서, 적외선 이미징 모듈(100)은 대략 2.4 V, 2.5 V, 2.8 V, 또는 더 낮은 전압의 전원을 사용하여 동작할 수 있으며, 약 -20℃ 내지 약 +60℃의 온도 범위에 걸쳐 동작할 수 있다(예를 들면, 약 80℃의 주변 온도 범위에 대하여 적당한 동적 범위(dynamic range)를 제공함). 일 실시예에서, 적외선 이미징 모듈(100)을 낮은 전압 레벨에서 동작시킴으로써, 적외선 이미징 모듈(100)은 다른 종류의 적외선 이미징 장치와 비교하여 자체 발열량이 감소할 수 있다. 그 결과, 적외선 이미징 모듈(100)은 그와 같은 자체 발열을 보상하기 위한 수단을 감소하여 동작할 수 있다.

도 1에 도시한 것과 같이, 호스트 장치(102)는 소켓(104), 셔터(105), 모션 센서(194), 프로세서(195), 메모리(196), 디스플레이(197), 및 다른 부품(198)들 중 1개 이상을 포함할 수 있다. 소켓(104)은 화살표(101)로 표시된 것과 같이 적외선 이미징 모듈(100)을 수용한다. 이와 관련하여, 도 2는 본 발명의 일 실시예에 있어서 소켓(104)에 조립된 적외선 이미징 모듈(100)을 도시한다.

모션 센서(194)는 1개 이상의 가속도계, 자이로스코프(gyroscope), 또는 호스트 장치(102)의 움직임을 검출하기 위해 사용될 수 있는 다른 적당한 장치에 의해 구현될 수 있다. 처리모듈(160) 또는 프로세서(195) 모션을 검출하기 위해 모션 센서(194)를 모니터링하여 정보를 얻을 수 있다. 다양한 실시예에서, 모션 센서(194)는 호스트 장치(102)(도 1 참조), 적외선 이미징 모듈(100), 또는 호스트 장치(102)에 부착되거나 아니면 접속된 다른 장치들의 일부로서 구현될 수 있다.

프로세서(195)는 메모리(196)에 제공된 소프트웨어 명령과 같은 적절한 명령을 수행하기 위해 호스트 장치(102)에 의해 사용되는 임의의 적절한 처리장치(예컨대, 로직 디바이스, 마이크로컨트롤러, 프로세서, 특정 용도 집적회로(ASIC), 기타 장치)로서 구현될 수 있다. 디스플레이(197)는 캡처된 적외선 이미지, 처리된 적외선 이미지, 및 다른 이미지 중 1개 이상, 데이터, 또는 정보를 표시하기 위해 사용될 수 있다. 다른 부품(198)은 다양한 응용(예컨대, 시계, 온도 센서, 가시광 카메라, 또들 다른 부품)에 요구될 수 있는 호스트 장치(102)의 임의의 기능을 구현하기 위해 사용될 수 있다. 또한, 메모리(196)에 로딩하여 프로세서(195)에 의해 실행시키기 위해 비일시적 명령을 저장하는 기계로 판독 가능한 매체(193)가 제공될 수 있다.

다양한 실시예에서, 적외선 이미징 모듈(100)과 소켓(104)은, 예를 들면 이동전화기 또는 다른 장치들(예컨대, 소형 폼 팩터를 요구하는)에서 구현을 위한 것과 같이, 다량 응용을 용이하게 하기 위해 대량 생산을 위해 구현될 수 있다. 일 실시예에서, 적외선 이미징 모듈(100)이 소켓(104 내에 설치되지만 적외선 이미징 모듈(100)과 소켓(104)의 조합은 전체 크기가 약 8.5 mm x 8.5 mm x 5.9 mm가 될 수 있다.

도 3은 본 발명의 일 실시예에 있어서 소켓(104) 위에 나란히 놓인 적외선 이미징 모듈(100)의 분해도를 도시한다. 적외선 이미징 모듈(100)은 렌즈 통(10), 하우징(120), 적외선 센서 조립체(128), 회로기판(170), 베이스(150), 및 처리모듈(160)을 포함할 수 있다.

렌즈 통(110)은 광학요소(180)(예컨대, 렌즈)를 전부 또는 일부를 에워쌀 수 있으며 도 3에서 상기 광학요소(180)는 렌즈 통(110)의 개구(aperture)(112)를 통해 부분적으로 볼 수 있다. 렌즈 통(110)은 실질적으로 원통형인 연장부(114)를 포함할 수 있으며 이것은 렌즈 통(110)과 하우징(120)의 개구(122)를 접속하기 위해 사용될 수 있다.

적외선 센서 조립체(128)는 예를 들면, 기판(140) 위에 탑재된 캡(130)(예컨대, 리드(lid))에 의해, 구현될 수 있다. 적외선 센서 조립체(128)는 기판(140) 위에 어레이 또는 다른 형식으로 구현되고 캡(130)으로 덮인 복수의 적외선 센서(132)(예컨대, 적외선 검출기)를 포함할 수 있다. 예를 들면, 일 실시예에서, 적외선 센서 조립체(128)는 초점평면 어레이(FPA)로 구현될 수 있다. 그와 같은 초점평면 어레이는 예를 들면 진공 패키지 조립체(예컨대, 캡(130) 및 기판(140)에 의해 밀봉됨)로서 구현될 수 있다. 일 실시예에서, 적외선 센서 조립체(128)는 웨이퍼 레벨 패키지로서 구현될 수 있다(예컨대, 적외선 센서 조립체(128)는 웨이퍼 위에 제공된 한 세트의 진공 패키지 조립체로부터 싱귤레이션(singulation) 될 수 있다). 일 실시예에서, 적외선 센서 조립체(128)는 약 2.4 V, 2.5 V, 2.8 V 등의 전원을 사용하여 동작하도록 구현될 수 있다.

적외선 센서(132)는 대상 장면으로부터 예컨대, 중간 파장 적외선 파장 대역(MWIR), 장파장 적외선 파장 대역(LWIR), 및/또는 특정 구현에서 요구될 수 있는 다른 열 이미징 대역을 포함하는 적외선(예컨대, 적외선 에너지)을 검출하도록 구성될 수 있다. 일 실시예에서, 적외선 센서 조립체(128)는 파장 레벨 패키징 기술에 따라 제공될 수 있다.

적외선 센서(132)는 예를 들면, 마이크로볼로미터(microbolometer) 또는 복수의 픽셀을 제공하기 위해 임의의 원하는 어레이 패턴으로 배열된 다른 종류의 열 이미징 적외선 센서로서 구현될 수 있다. 일 실시예에서, 적외선 센서(132)는 17 ㎛ 픽셀 피치를 가진 바나듐 산화물(VO_x) 검출기로서 구현될 수 있다. 다양한 실시예에서, 약 32x32 적외선 센서(132) 어레이, 약 64x64 적외선 센서(132) 어레이, 약 80x64 적외선 센서(132) 어레이, 또는 다른 어레이 크기가 사용될 수 있다.

기판(140)은 다양한 회로를 포함할 수 있으며, 일 실시예에서 약 5.5 mm x 5.5 mm 미만의 크기를 가진 판독집적회로(ROIC)를 예로 들 수 있다. 기판(140)은 또한 본드 패드(142)를 포함할 수 있으며, 이것들은 적외선 이미징 모듈(100)이 도 5a 내지 도 5c에 도시한 것과 같이 조립될 때 하우징(120)의 내부 표면에 위치한 상보 접속부를 접촉하기 위해 사용될 수 있다. 일 실시예에서, ROIC는 적외선 센서 조립체(128)에 생긴 전원 노이즈를 감소시켜 개선된 PSRR(power supply rejection ratio)을 제공하도록 전압 레귤레이션을 수행하기 위해 LDO(low dropout) 레귤레이터를 가지고 구현될 수 있다. 또한, ROIC를 가지고 LDO를 구현함으로써(예컨대, 웨이퍼 레벨 패키지 내에), 더 적은 다이 면적이 소비될 것이며 더 적은 개별 다이(또는 칩)가 필요할 것이다.

도 4는 본 발명의 일 실시예에 있어서 적외선 센서(132) 어레이를 포함하는 적외선 센서 조립체(128)의 블록도를 도시한다. 도시된 실시예에서, 적외선 센서(132)는 ROIC(402)의 단위 셀 어레이의 일부로서 제공된다. ROIC(402)는 바이어스 발생 및 타이밍 제어회로(404), 칼럼(column) 증폭기(405), 칼럼 멀티플렉서(406), 로우(row) 멀티플렉서(408), 및 로우 증폭기(410)를 포함한다. 적외선 센서(132)에 의해 캡처된 이미지 프레임(예컨대, 열 이미지)은 전술한 다양한 처리 기술을 수행하기 위해 출력 증폭기(410)에 의해 처리모듈(160), 프로세서(195), 및 다른 어떤 적절한 부품들 중 1개 이상에 제공된다. 도 4에는 8x8 어레이가 도시되어 있지만, 다른 실시예에서는 임의의 원하는 어레이 구성을 사용할 수 있다. ROIC와 적외선 센서에 대한 추가의 설명은 2000년 2월 22일 등록된 미국 특허 제6,028,309호에서 찾을 수 있으며, 이 특허문헌의 내용은 참조에 의해 그 전체가 본 명세서에 포함된다.

적외선 센서 조립체(128)는 이미지(예컨대, 이미지 프레임)를 캡처하여 그 이미지를 자신의 ROIC로부터 다양한 속도로 제공할 수 있다. 처리모듈(160)은 캡처된 적외선 이미지의 적절한 처리를 수행하기 위해 사용될 수 있으며 임의의 적절한 아키텍처에 따라 구현될 수 있다. 일 실시예에서, 처리모듈(160)은 ASIC으로 구현될 수 있다. 이와 관련하여, 그러한 ASIC은 높은 성능 및 높은 효율의 1개 이상으로 이미지 처리를 수행하도록 구성될 수 있다. 또 다른 실시예에서, 처리모듈(160)은 범용 중앙처리장치(CPU)를 가지고 구현될 수 있으며, 이것은 이미지 처리를 수행하고, 다양한 이미지 처리 블록을 가진 이미지 처리를 조정 및 수행하고, 처리모듈(160)과 호스트 장치(102) 사이의 인터페이스를 조정하고, 및/또는 다른 동작을 수행하는 적절한 소프트웨어 명령을 실행하도록 구성될 수 있다. 또 다른 실시예에서, 처리모듈(160)은 FPGA(field programmable gate array)로 구현될 수 있다. 처리모듈(160)은 당해 기술분야의 숙련자라면 이해할 수 있는 다른 실시예들에서 다른 종류의 처리 회로 및 로직 회로 중 1개 이상으로 구현될 수 있다.

이것들 및 다른 실시예에서, 처리모듈(160)은 또한 다른 부품들 예를 들면 휘발성 메모리, 비휘발성 메모리, 및 1개 이상의 인터페이스(예컨대, 적외선 검출기 인터페이스, 집적회로간(I2C) 인터페이스, 모바일 산업 프로세서 인터페이스(MIPI: Mobile Industry Processor Interface), JTAG(Joint Test Action Group) 인터페이스(예컨대, IEEE 1149.1 표준 테스트 액세스 포트 및 경계-스캔 아키텍처), 및 기타 인터페이스들 중 1개 이상) 중 1개 이상으로 구현될 수 있다.

어떤 실시예들에서는, 적외선 모듈(100)은 적외선 센서 조립체(128)에 의해 캡처된 적외선 이미지 프레임의 초점을 조정하기 위해 사용될 수 있는 1개 이상의 액츄에이터(19)를 더 포함할 수 있다. 예를 들면, 액츄에이터(199)는 여기서 설명된 기술에 따라 선택적으로 적외선 이미지 프레임을 집속(focusing)하거나 탈초점(defocusing)하기 위해 서로에 대해 광학요소(180), 적외선 센서(132), 및 다른 부품들 중 1개 이상을 이동시키기 위해 사용될 수 있다. 액츄에이터(199)는 임의의 타입의 모션-유도 장치 또는 메커니즘에 따라 구현될 수 있으며, 다양한 응용에 적합하도록 적외선 이미징 모듈(100) 내부 또는 외부의 임의의 위치에 위치될 수 있다.

적외선 이미징 모듈(100)이 조립될 때, 하우징(120)은 적외선 센서 조립체(128), 베이스(150), 및 처리모듈(160)을 실질적으로 수용할 수 있다. 하우징(120)은 적외선 이미징 모듈(100)의 다양한 부품들의 연결을 용이하게 할 수 있다. 예를 들면, 일 실시예에서, 하우징(120)은 추가로 설명되는 다양한 부품들을 연결하기 위한 전기 접속부(126)를 제공할 수 있다.

전기 접속부(126)(예컨대, 전도성 전기 경로, 트레이스(trace), 또는 다른 종류의 접속부)는 적외선 이미징 모듈(100)이 조립될 때 본드 패드(142)와 전기적으로 접속될 수 있다. 다양한 실시예에서, 전기 접속부(126)는 하우징(120)에 매립될 수 있으며, 하우징(120)의 내부 표면에 제공되고, 및/또는 하우징(120)에 의해 제공될 수 있다. 전기 접속부(126)는 도 3에서와 같이 하우징(120)의 바닥 표면으로부터 돌출하는 접속부(124)에서 종료할 수 있다. 접속부(124)는 적외선 이미징 모듈(100)이 조립될 때 회로기판(170)과 접속할 수 있다(예컨대, 하우징(120)은 다양한 실시예에서 회로기판(17)의 상부에 위치할 수 있다). 처리모듈(160)은 적절한 전기 접속부를 통해서 회로기판(170)과 전기적으로 접속될 수 있다. 그 결과, 적외선 센서 조립체(128)는 예를 들면, 본드 패드(142), 하우징(120)의 내부 표면 위에의 상보 접속부, 하우징(120)의 전기 접속부(126), 접속부(124), 및 회로기판(170)에 의해 제공된 전도성 전기 경로를 통해, 처리모듈(160)과 전기적으로 접속될 수 있다. 유리하게도, 그와 같은 구성이 적외선 센서 조립체(128)와 처리모듈(160) 사이에 와이어 본드가 제공될 필요 없이 구현될 수 있다.

다양한 실시예에서, 하우징(120) 내의 전기 접속부(126)는 임의의 원하는 재료(예컨대, 구리 또는 어떤 다른 적절한 전도성 재료)로 만들어질 수 있다. 일 실시예에서, 전기 접속부(126)는 적외선 이미징 모듈(100)로부터 열을 발산하는데 도움이 될 수 있다.

다른 실시예들에서는 다른 접속부가 사용될 수 있다. 예를 들면, 일 실시예에서, 센서 조립체(128)는, 와이어 본드에 의해 센서 조립체(128)에 접속하고 볼 그리드 어레이(BGA)에 의해 처리모듈(160)에 접속하는 세라믹 보드를 통해, 처리모듈(160)에 부착될 수 있다. 또 다른 실시예에서, 센서 조립체(128)는 그리드 플렉시블 보드 위에 직접 탑재되고 와이어 본드로 전기적으로 접속되며, 처리모듈(160)은 와이어 본드 또는 BGA에 의해 경질 플렉시블 보드에 탑재되어 접속될 수 있다.

여기서 제시되는 적외선 이미징 모듈(100) 및 호스트 장치(102)의 다양한 실시예들은 예시를 목적으로 제공되는 것이며 한정하려는 것은 아니다. 이와 관련하여, 여기서 설명되는 다양한 기술들 중 어느 것이든 임의의 적외선 카메라 시스템, 적외선 촬영기(imager), 또는 적외선/열 촬영을 수행하기 위한 다른 장치에 적용될 수 있다.

적외선 센서 조립체(128)의 기판(140)은 베이스(150) 위에 탑재될 수 있다. 다양한 실시예에서, 베이스(150)(예컨대, 받침대)는 예를 들면 금속 주입 성형(MIM)에 의해 형성된 구리로 만들어지고 흑색 산화물 피막(black oxide finish) 또는 니켈-피복 피막이 제공될 수 있다. 다양한 실시예에서, 베이스(150)는, 특정 응용을 위해 필요에 따라, 임의의 원하는 재료, 예를 들면 아연, 알루미늄, 또는 마그네슘으로 만들어질 수 있으며, 특정 응용을 위해 필요에 따라, 임의의 원하는 적용 가능한 프로세스, 예를 들면 알루미늄 주조, MIM, 또는 자연 급속 주조에 의해 형성될 수 있다. 다양한 실시예에서, 베이스(150)는 구조적 지지, 다양한 회로 경로, 열 히트싱크 속성, 및 상황에 맞게 다른 기능을 제공하도록 구현될 수 있다. 일 실시예에서, 베이스(150)는 전부 또는 일부 세라믹 재료를 사용하여 구현된 다층 구조체일 수 있다.

다양한 실시예에서, 회로기판(170)은 하우징(120)을 지지할 수 있고 따라서 적외선 이미징 모듈(100)의 다양한 부품들을 물리적으로 지지할 수 있다. 다양한 실시예에서, 회로기판(170)은 인쇄회로기판(예컨대, FR4 회로기판 또는 다른 종류의 회로기판들), 경질 또는 플렉시블 상호접속(예컨대, 테이프 또는 다른 종류의 상호접속), 플렉시블 회로기판, 플렉시블 플라스틱 기판, 또는 다른 적당한 구조체로 구현될 수 있다. 다양한 실시예에서, 베이스(150)는 회로기판(170)에 대해 설명된 다양한 기능 및 속성을 가지고 구현될 수 있으며, 그 반대의 경우도 가능하다.

소켓(104)은 적외선 이미징 모듈(100)을 수납하도록 (예컨대, 도 2에서 조립도로 도시된 것과 같이) 구성된 캐비티(106)를 포함할 수 있다. 적외선 이미징 모듈(100) 및 소켓(104) 중 1개 이상은 적절한 탭(tab), 아암(arm), 핀(pin), 체결구(fastener), 또는 마찰, 장력, 접착력, 및 다른 어떤 적절한 방식 중 1개 이상을 사용하여 소켓(104)에 적외선 이미징 모듈(100)을 고정하기 위해 사용될 수 있는 다른 어떤 적절한 체결 부재를 포함할 수 있다. 소켓(104)은 적외선 이미징 모듈(100)이 소켓(104)의 캐비티(106) 내에 삽입될 때 하우징(120)의 표면(109)을 체결하는 체결 부재(107)를 포함할 수 있다. 다른 실시예에서는 다른 종류의 체결 부재들이 사용될 수도 있다.

적외선 이미징 모듈(100)은 적절한 접속부(예컨대, 접점, 핀, 와이어, 또는 어떤 다른 적절한 접속부)를 통해 소켓(104)과 전기적으로 접속될 수 있다. 예를 들면, 소켓(104)은 적외선 이미징 모듈(100)의 대응하는 전기 접속부(예컨대, 상호접속 패드, 접점, 또는 회로기판(170)의 측면 또는 바닥 표면 위의 다른 전기 접속부, 본드 패드(142) 또는 베이스(150) 위의 다른 전기 접속부, 또는 다른 접속부들)에 접촉할 수 있는 전기 접속부(108)를 포함할 수 있다. 전기 접속부(108)는 임의의 원하는 재료(예컨대, 구리 또는 다른 어떤 적절한 전도성 재료)로 만들 수 있다. 일 실시예에서, 전기 접속부(108)는 적외선 이미징 모듈(100)이 소켓(104)의 캐비티(106) 안으로 삽입될 때 적외선 이미징 모듈(100)의 전기 접속부를 누르도록 기계적으로 편향될 수 있다. 일 실시예에서, 전기 접속부(108)는 적외선 이미징 모듈(100)을 소켓(104) 내에 전부 또는 일부 고정할 수 있다. 다른 실시예들에서는 다른 종류의 전기 접속부가 사용될 수도 있다.

소켓(104)은 유사한 종류의 전기 접속부를 통해 호스트 장치(102)와 전기적으로 접속될 수 있다. 예를 들면, 일 실시예에서, 호스트 장치(102)는 개구(190)를 통과하여 전기 접속부(108)와 접속하는 전기 접속부(예컨대, 납땜된 접속부, 스냅-인(snap-in) 접속부, 또는 다른 접속부)를 포함할 수 있다. 다양한 실시예에서, 그와 같은 전기 접속부는 소켓(104)의 측면 및 바닥 중 전부 또는 일부에 만들어질 수 있다.

적외선 이미징 모듈(100)의 다양한 부품들은, 와이어 본드 접속을 위해 통상 필요한 추가의 여유 없이 회로기판에 직접 부품들을 탑재하기 위해 사용될 수 있는 플립 칩(flip chip) 기술에 의해 구현될 수 있다. 플립 칩 접속은 예를 들면, 콤팩트한 고형 폼 팩터 응용에서 사용할 수 있도록 적외선 이미징 모듈(100)의 전체 크기를 감소시키기 위해 사용될 수 있다. 예를 들면, 일 실시예에서, 처리모듈(160)은 플립 칩 접속을 사용하여 회로기판(170)에 탑재될 수 있다. 예를 들면, 적외선 이미징 모듈(100)은 그와 같은 플립 칩 구성을 가지고 구현될 수 있다.

다양한 실시예에서, 적외선 이미징 모듈(100) 및 관련 부품들 중 1개 이상은 2010년 7월 27일자 미국 특허출원 제12/844,124호, 및 2011년 3월 30일자 미국 임시 특허출원 제61/469,651호에 제시된 것과 같은 다양한 기술(예컨대, 웨이퍼 레벨 패키징 기술)에 의하여 구현될 수 있으며, 상기 문헌들의 전체 내용은 참조에 의해 본 명세서에 포함된다. 또한, 1개 이상의 실시예들에서, 적외선 이미징 모듈(100) 및 관련 부품들 중 1개 이상은, 2008년 12월 30일자 등록된 미국 특허 제7,470,902호, 2000년 2월 22일자 등록된 미국 특허 제6,028,309호, 2004년 11월 2일자 등록된 미국 특허 제6,812,465호, 2006년 4월 25일자 등록된 미국 특허 제7,034,301호, 2010년 3월 16일자 등록된 미국 특허 제7,679,048호, 2008년 12월 30일자 등록된 미국 특허 제7,470,904호, 2008년 9월 2일자 미국 특허출원 제12/202,880호, 및 2008년 9월 2일자 미국 특허출원 제12/202,896호에 제시된 것과 같은 다양한 기술들에 따라 구현, 보정, 시험, 또는 사용될 수 있으며, 상기 문헌들의 전체 내용은 참조에 의해 본 명세서에 포함된다.

다시 도 1을 참조하면, 다양한 실시예에서, 호스트 장치(102)는 셔터(105)를 포함할 수 있다. 이와 관련하여, 셔터(105)는 소켓(104) 내에(예컨대, 화살표(103)로 표시된 것과 같이) 선택적으로 위치될 수 있는 반면 적외선 이미징 모듈(100)은 그 내부에 설치될 수 있다. 이와 관련하여, 셔터(105)는 예를 들면 사용하지 않을 때 적외선 이미징 모듈(100)을 보호하기 위해 사용될 수 있다. 셔터(105)는 또한 적외선 모듈(100)에 대한 보정 프로세스(예컨대, NUC 프로세스 또는 다른 보정 프로세스들)의 일부로서 온도 기준으로서 사용될 수도 있으며 이것은 당해 기술분야의 숙련자라면 이해할 수 있을 것이다.

다양한 실시예에서, 셔터(105)는 다양한 재료, 예컨대 폴리머, 유리, 알루미늄(페인트 칠한 또는 양극 산화된), 또는 다른 재료로 만들어질 수 있다. 다양한 실시예에서, 셔터(105)는 전자기 방사선을 선택적으로 여과하고 및/또는 셔터의 다양한 광학 특성을 조정하기 위해 1개 이상의 코팅을 포함할 수 있다(예컨대, 균일한 흑체 코팅 또는 반사성 골드 코팅).

또 다른 실시예에서, 셔터(105)는 적외선 이미징 모듈(100)을 항상 보호하는 위치에 고정될 수 있다. 이 경우에, 셔터(105) 또는 셔터(105)의 일부는 원하는 적외선 파장을 실질적으로 여과하지 않는 적절한 재료(예를 들면, 폴리머 또는 적외선 투과 재료, 예컨대 실리콘, 게르마늄, 셀렌화 아연, 또는 칼코게니드)로 만들 수 있다. 또 다른 실시예에서, 적외선 이미징 모듈(100)의 일부로서(적외선 이미징 모듈(100)의 렌즈 통 또는 다른 부품들의 내부에 또는 일부로서) 셔터가 구현될 수 있으며, 당해 기술분야의 숙련자라면 이를 이해할 것이다.

대안으로, 또 다른 실시예에서, 셔터(예를 들면, 셔터(105) 또는 다른 종류의 외부 또는 내부 셔터)는 제공될 필요가 없고, NUC 프로세스 또는 다른 종류의 보정이 셔터 없는 기술을 사용하여 수행될 수 있다. 또 다른 실시예에서, NUC 프로세스 또는 셔터 없는 기술을 사용하는 다른 종류의 보정이 셔터-기반 기술과 함께 실행될 수 있다.

적외선 이미징 모듈(100) 및 호스트 장치(102)는 2011년 6월 10일자 미국 임시 특허출원 제61/495,873호, 2011년 6월 10일자 미국 임시 특허출원 제61/495,879호, 및 2011년 6월 10일자 미국 임시 특허출원 제61/495,888호에 제시된 다양한 기술들 중 어느 것에 따라서 구현될 수 있으며, 상기 문헌의 전체 내용은 참조에 의해 본 명세서에 포함된다.

다양한 실시예에서, 호스트 장치(102) 및 적외선 이미징 모듈(100)의 부품들은 유선 및 무선 네트워크 중 1개 이상을 통해 부품들이 서로 통신하는 로컬 또는 분산 시스템으로서 구현될 수 있다.

도 5는 본 발명의 일 실시예 있어서 NUC 조건을 결정하기 위한 다양한 동작들의 흐름도를 도시한다. 어떤 실시예들에서는, 도 5의 동작이 적외선 센서(132)에 의해 캡처된 이미지 프레임에 대해 동작하는 처리모듈(160) 또는 프로세서(195)(양자는 일반적으로 프로세서라고도 함)에 의해 수행될 수 있다.

블록 505에서, 적외선 센서(132)는 장면의 이미지 프레임의 캡처를 개시한다. 통상, 상기 장면은 호스트 장치(102)가 현재 위치하고 있는 실제 환경일 것이다. 이와 관련하여, 셔터(105)는 (만일 옵션으로 제공된다면) 적외선 이미징 모듈(100)이 상기 장면으로부터 적외선을 수신하는 것을 허용하기 위해 개방될 것이다. 적외선 센서(132)는 도 5에 도시한 모든 동작 동안에 이미지 프레임 캡처를 계속할 것이다. 이와 관련하여, 계속해서 캡처된 이미지 프레임들은 추가로 설명되는 다양한 동작들에서 사용될 것이다. 일 실시예에서, 상기 캡처된 이미지 프레임들은 시간적으로 필터링되며(예컨대, 도 8에 대해서 여기서 추가로 설명되는 블록(826)의 프로세스에 따라) 도 5에 도시한 동작들에서 사용되기 전에 다른 조건들에 의해(예컨대, 도 8에 대해서 추가로 설명되는, 공장 이득 조건(812), 공장 오프셋 조건(816), 이전에 결정된 NUC 조건(817), 칼럼 FPN 조건(820), 및 로우 FPN 조건(824)) 처리될 것이다.

블록 510에서, 이벤트를 개시하는 NUC 프로세스가 검출된다. 일 실시예에서, NUC 프로세스는 호스트 장치(102)의 물리적 움직임에 반응하여 개시될 것이다. 그와 같은 움직임은 예를 들어, 프로세스에 의해 조회되는 모션 센서(194)에 의해, 검출될 수 있다. 일 실시예에서, 사용자는 호스트 장치(102)를 특정한 방식으로, 예를 들면 "삭제" 또는 "스와이프(swipe)" 움직임으로 호스트 장치(102)를 앞뒤로 의도적으로 흔들어서, 호스트 장치(102)를 움직일 수 있다. 이와 관련하여, 사용자는 미리 결정된 빠르기 및 방향(속도)에 따라, 예를 들면 상하로, 측면에서 측면으로, 또는 다른 패턴으로 호스트 장치(102)를 움직여 NUC 프로세스를 개시할 수 있다. 이 실시예에서, 그와 같은 움직임의 사용은 캡처된 이미지 프레임 내 노이즈의 "삭제"를 시뮬레이션하기 위해 사용자가 호스트 장치(102)를 직관적으로 동작시키는 것을 가능하게 할 것이다.

또 다른 실시예에서, NUC 프로세스는 모션이 문턱 값을 초과하면(예컨대, 통상 사용에 예상되는 것보다 큰 모션) 호스트 장치(102)에 의해 개시될 것이다. NUC 프로세스를 개시하기 위해 호스트 장치(102)의 임의의 원하는 종류의 공간 이동이 사용될 수 있음을 생각할 수 있다.

또 다른 실시예에서, 이전에 수행된 NUC 프로세스 이후에 최소 시간이 경과하면 호스트 장치(102)에 의해 NUC 프로세스가 개시될 수도 있다. 또 다른 실시예에서, 이전에 수행된 NUC 프로세스 이후에 적외선 이미징 모듈(100)이 최소 온도 변화를 확인하면 호스트 장치(102)에 의해 NUC 프로세스가 개시될 수도 있다. 또 다른 실시예에서, NUC 프로세스는 계속해서 개시되고 반복될 수도 있다.

블록 515에서, NUC 프로세스 개시 이벤트가 검출된 후, NUC 프로세스가 실제로 수행되어야 하는지 판정된다. 이와 관련하여, NUC 프로세스는 1개 이상의 추가 조건이 충족되는지 여부에 기초하여 선택적으로 개시될 수 있다. 예를 들면, 일 실시예에서, NUC 프로세스는 이전에 수행된 NUC 프로세스 이후에 최소 시간이 경과하지 않았다면 수행되지 않을 것이다. 또 다른 실시예에서, 적외선 이미징 모듈(100)이 이전에 수행된 NUC 프로세스 이후에 최소 온도 변화를 겪지 않았다면 NUC 프로세스는 수행되지 않을 수 있다. 다른 실시예에서는 다른 기준 또는 조건이 사용될 수 있다. 만일 적절한 기준 또는 조건이 충족되었다면, 흐름도는 블록 520으로 진행할 것이다. 그렇지 않으면, 흐름도는 블록 505로 복귀할 것이다.

NUC 프로세스에서, FPN에 대해 정정하기 위해 캡처된 이미지에 적용될 수 있는 NUC 조건을 결정하기 위해 블러링된(blurred) 이미지 프레임이 사용될 수 있다. 설명한 바와 같이, 일 실시예에서, 블러링된 이미지는 움직이는 장면의 복수 이미지 프레임을 축적함으로써 얻어질 수 있다(예를 들면, 장면 및 열 촬영기 중 1개 이상이 움직이는 동안 캡처됨). 또 다른 실시예에서, 상기 블러링된 이미지 프레임은 열 촬영기의 광학요소 또는 다른 부품을 탈초점하여 얻어질 수 있다.

따라서, 블록 520에서 어느 하나의 접근법이 선택된다. 만일 모션-기반 접근이 사용되면, 흐름도는 블록 525로 진행한다. 만일 탈초점(defocusing)-기반 접근이 사용되면, 흐름도는 블록 530으로 진행한다.

이제 모션-기반 접근을 참조하면, 블록 525에서 모션이 검출된다. 예를 들면, 일 실시예에서, 모션은 적외선 센서(132)에 의해 캡처된 이미지 프레임에 기초하여 검출될 수 있다. 이와 관련하여, 모션이 존재하는지(예컨대, 정지 또는 움직이는 이미지 프레임이 캡처되었는지 여부)를 판정하기 위해 적절한 모션 검출 프로세스(예컨대, 이미지 등록 프로세스, 프레임간 차이 산출, 또는 다른 적절한 프로세스)가 캡처된 이미지 프레임에 적용될 것이다. 예를 들면, 일 실시예에서, 연속 이미지 프레임들의 픽셀들 주위의 픽셀 또는 지역이 사용자가 정의한 양(예컨대, 비율 및 문턱 값 중 1개 이상)보다 많이 변화했는지 판정될 수 있다. 만일 적어도 소정의 비율의 픽셀이 적어도 사용자가 정의한 양만큼 변화했다면, 블록 535로 진행하기에 충분한 확실성을 가지고 모션이 검출될 것이다.

또 다른 실시예에서, 모션은 픽셀 단위로 판정될 수 있으며, 이 경우에 현저한 변화를 나타내는 픽셀들만이 누적되어 상기 블러링된 이미지 프레임을 제공한다. 예를 들면, 각 픽셀을 위한 카운터가 제공되며, 이것은 동일한 개수의 픽셀 값들이 각 픽셀에 대해 누적되는 것을 확실히 하기 위해 사용되거나, 각 픽셀에 대해 실제로 누적된 픽셀 값들의 개수에 기초하여 픽셀 값들의 평균을 구하기 위해 사용된다. 라돈(Radon) 변환을 수행하는 것과 같은 다른 종류의 이미지-기반 모션 검출이 수행될 수 있다.

또 다른 실시예에서, 모션은 모션 센서(194)에 의해 제공된 데이터에 기초하여 검출될 수도 있다. 일 실시예에서, 그와 같은 모션 검출은 호스트 장치(102)가 공간을 통과하여 비교적 직선의 탄도를 따라 움직이고 있는지 검출하는 것을 포함할 수 있다. 예를 들면, 만일 호스트 장치(102)가 비교적 직선의 탄도를 따라 움직이고 있다면, 촬영된 장면에서 보이는 어떤 물체(예컨대, 상기 직선 탄도에 정렬되거나 실질적으로 나란히 이동하는 장면 내의 물체)가 충분히 블러링되지 않은 것일 수도 있다. 따라서, 그와 같은 실시예에서, 모션 센서(194)에 의해 검출된 모션은 호스트 장치(102)에서 특정 탄도를 보이거나 보이지 않는 것으로 조정될 수 있다.

또 다른 실시예에서, 모션 검출 프로세스 및 모션 센서(194) 양자가 사용될 수 있다. 따라서, 이 다양한 실시예들 중 어느 하나를 사용하면, 상기 장면의 적어도 일부 또는 호스트 장치(102)가 서로에 대해 움직이고 있는 동안에 (예컨대, 상기 움직임은 장면에 대해 움직이는 호스트 장치(102)에 의해, 또는 호스트 장치(102)에 대해 움직이는 장면의 전부 또는 일부에 의해, 또는 양자에 의해 초래될 수 있음) 각 이미지 프레임이 캡처되었는지 여부에 대한 판정이 이루어질 수 있다.

모션이 검출된 이미지 프레임들은 상기 장면 움직임과 상호작용하는 적외선 센서(132)의 열 시간 상수(예컨대, 마이크로볼로미터 열 시간 상수)로 인해 상기 캡처된 장면의 어떤 이차적인 블러링(예컨대, 상기 장면과 연관된 블러링된 열 이미지 데이터)을 보일 것이 예상된다.

블록 535에서, 모션이 검출된 이미지 프레임들이 누적된다. 예를 들면, 만일 연속된 일련의 이미지 프레임들에 대해 모션이 검출되면, 상기 이미지 프레임들이 누적된다. 또 다른 예로서, 만일 단지 일부 이미지 프레임에 대해 모션이 검출되면, 움직이지 않는 이미지 프레임들은 건너뛰고 누적에 포함되지 않을 것이다. 따라서, 검출된 모션에 기초하여 이미지 프레임들의 연속 또는 비연속 세트가 선택되어 누적될 것이다.

블록 540에서, 블러링된 이미지 프레임을 제공하기 위해 상기 누적된 이미지 프레임들이 평균화된다. 상기 누적된 이미지 프레임들은 움직이는 동안 캡처되었기 때문에, 실제 장면 정보는 이미지 프레임들 사이에서 변할 것이며 따라서 상기 장면 정보는 생성된 이미지 프레임에서 추가로 블러링될 것으로 예상된다(블록 545).

반면, (예컨대, 적외선 이미징 모듈(100)의 1개 이상의 부품들에 의해 초래된) FPN은 적어도 짧은 시간 동안 및 움직이는 동안 장면 조도의 적어도 제한적인 변화에 대해 고정될 것이다. 그 결과, 움직이는 동안 시간상 및 공간상 근접하여 캡처된 이미지 프레임들은 동일한 또는 적어도 매우 유사한 FPN을 겪을 것이다. 따라서, 장면 정보는 연속된 이미지 프레임들에서 변할 수 있지만, FPN은 기본적으로 일정하게 유지될 것이다. 평균화에 의하여, 움직이는 동안에 캡처된 복수의 이미지 프레임들은 장면 정보를 모호하게 만들지만, FPN을 모호하게 하지 않을 것이다. 그 결과, FPN은 상기 장면 정보보다 블록 545에서 제공된 블러링된 이미지 프레임에서 더욱 명확히 정의될 것이다.

일 실시예에서, 블록 535 및 540에서 32개 이상의 이미지 프레임이 누적되어 평균화된다. 다른 실시예에서는 임의의 원하는 개수의 이미지 프레임이 사용될 수 있지만, 프레임 수가 감소함에 따라 정정 정확도는 일반적으로 감소한다.

이제 탈초점-기반 접근을 참조하면, 블록 530에서, 적외선 센서(132)에 의해 캡처된 이미지 프레임들을 의도적으로 탈초점하기 위해 탈초점 동작이 수행될 수 있다. 예를 들면, 일 실시예에서, 적외선 센서(132)가 장면의 블러링된(예컨대, 초점이 맞지 않은) 이미지 프레임들을 캡처하도록 하기 위해 적외선 이미징 모듈(100)의 광학요소(180), 적외선 센서 조립체(128), 및 다른 부품들 중 1개 이상을 조정, 이동, 또는 병진 이동시키기 위해 사용될 수 있다. 예를 들어 수동(예컨대, 사용자-기동된) 탈초점과 같이 적외선 이미지 프레임들을 의도적으로 탈초점하기 위한 다른 비-액츄에이터 기반 기술 역시 고려할 수 있다.

상기 장면이 이미지 프레임에서 블러링되어 보일 수 있지만, (예컨대, 적외선 이미징 모듈(100)의 1개 이상의 부품들에 의해 초래된) FPN은 상기 탈초점 동작에 의해 영향을 받지 않을 것이다. 그 결과, 상기 장면의 블러링된 이미지 프레임이 제공될 것이며(블록 545) FPN은 상기 장면 정보보다 상기 블러링된 이미지 프레임에서 더욱 명확히 정의될 것이다.

상기 설명에서, 탈초점-기반 접근은 단일의 캡처된 이미지 프레임에 대하여 설명되었다. 또 다른 실시예에서, 탈초점-기반 접근은 적외선 이미징 모듈(100)이 탈초점되어 있는 동안 복수의 이미지 프레임을 누적하는 단계와 시간적 잡음(temporal noise)의 영향을 제거하고 블록 545에서 블러링된 이미지 프레임을 제공하기 위해 상기 탈초점 이미지 프레임들을 평균화하는 단계를 포함한다.

따라서, 블록 545에서는 모션-기반 접근에 의해 또는 탈초점-기반 접근에 의해 블러링된 이미지 프레임이 제공될 수 있음을 이해할 것이다. 상기 장면 정보의 상당한 부분이 모션, 탈초점, 또는 둘 다에 의해 모호해질 수 있기 때문에, 상기 블러링된 이미지 프레임은 실질적으로는 장면 정보에 있어서 원래의 캡처된 이미지 프레임의 저역통과 필터링(low pass filtered) 형태로 간주될 수 있다.

블록 550에서, 갱신된 로우 및 칼럼 FPN 조건을 결정하기 위해 상기 블러링된 이미지 프레임이 처리된다(예컨대, 만일 로우 및 칼럼 FPN 조건이 이전에 결정되지 않았다면 상기 갱신된 로우 및 칼럼 FPN은 블록 550의 제1 반복에서 새로운 로우 및 칼럼 FPN이 될 것이다). 본 명세서에서는, 용어 로우 및 칼럼은 적외선 이미징 모듈(100)의 적외선 센서(132) 및 부품들 중 1개 이상의 방향에 따라 상호 교환적으로 사용될 것이다.

일 실시예에서, 블록 550은 상기 블러링된 이미지 프레임의 각각의 로우에 대한 공간 FPN 정정 조건을 결정하는 단계(예컨대, 각각의 로우는 자신의 공간 FPN 정정 조건을 가질 수 있음), 및 상기 블러링된 이미지 프레임의 각각의 칼럼에 대한 공간 FPN 정정 조건을 결정하는 단계(예컨대, 각각의 칼럼은 자신의 공간 FPN 정정 조건을 가질 수 있음)를 포함한다. 그와 같은 처리는, 예를 들면, ROIC(402)의 증폭기들의 1/f 노이즈 특성에 의해 초래된 열 이미지들에 내재하는, 공간의 서서히 변하는 (1/f) 로우 및 칼럼 FPN을 감소시키기 위해 사용될 수 있으며, 그것은 이미지 프레임에서 수직 및 수평 줄무늬로 나타날 수 있다.

유리하게도, 상기 블러링된 이미지 프레임을 사용하여 공간 로우 및 칼럼 FPN 조건을 결정함으로써, 실제 촬영된 장면에서 수직 및 수평 물체가 로우 및 칼럼 노이즈로 오해받는 위험을 감소시킬 수 있다(예컨대, FPN이 블러링되지 않고 유지되는 동안 실제 장면 내용은 블러링될 것이다).

일 실시예에서, 로우 및 칼럼 FPN 조건은 상기 블러링된 이미지 프레임의 이웃하는 픽셀들 사이의 차이를 고려함으로써 결정될 수 있다. 예를 들면, 도 6은 본 발명의 일 실시예에 있어서 이웃하는 픽셀들 사이의 차이를 도시한다. 구체적으로는, 도 6에서, 픽셀(610)은 가장 근접한 8개의 이웃과 비교된다: 한 측면의 d0~d3와 다른 측면의 d4~d7. 상이 이웃 픽셀들과의 차이에 대한 평균을 구하여 상기 예시된 그룹의 픽셀들의 오프셋 에러의 추정치를 얻을 수 있다. 로우 또는 칼럼의 각 픽셀에 대해 오프셋 에러가 계산되며 상기 평균 결과는 전체 로우 또는 칼럼을 정정하기 위해 사용될 것이다.

실제 장면 데이터가 노이즈로 오해되는 것을 방지하기 위해, 상한 및 하한 문턱 값이 사용될 것이다(thPix 및 -thPix). 이 문턱 값들의 밖에 있는 픽셀 값들(이 예에서는 d1 및 d4)은 상기 오프셋 에러를 얻는데 사용되지 않는다. 또한, 로우 및 칼럼 FPN 정정의 최대 양은 이 문턱 값들에 의해 제한될 것이다.

공간 로우 및 칼럼 FPN 정정 처리를 수행하는 추가의 기술들이 2009년 3월 2일 출원된 미국 특허출원 제12/396,340호에 기재되어 있으며, 이 문헌의 전체 내용은 참조에 의해 본 명세서에 포함된다.

도 5를 다시 참조하면, 블록 550에서 결정된 갱신된 로우 및 칼럼 FPN 조건은 저장되고(블록 552) 블록 545에서 제공된 블러링된 이미지 프레임에 적용된다(블록 555). 이 조건들이 적용된 후, 상기 블러링된 이미지 프레임 내의 공간 로우 및 칼럼 FPN의 일부가 감소될 것이다. 그러나, 그와 같은 조건들은 일반적으로 로우 및 칼럼에 적용되기 때문에, 픽셀간 드리프트(pixel to pixel drift) 또는 다른 원인과 관련된 공간적으로 상관없는 FPN으로 유지될 수 있다. 공간적으로 상관된 FPN의 이웃 역시 개개의 로우 및 칼럼과 직접적인 관련이 없을 수 있다. 따라서, 이하에서 설명되는 것과 같이 NUC 조건을 결정하기 위해 추가의 처리가 수행될 수 있다.

블록 560에서, 상기 블러링된 이미지 프레임 내 로컬 콘트라스트 값들(예컨대, 인접한 또는 작은 그룹의 픽셀들 사이의 변화도의 절대값 또는 에지)이 결정된다. 만일 상기 블러링된 이미지 프레임 내의 장면 정보가 상당히 블러링되지 않은 대비를 이루는 영역을 포함한다면(예컨대, 원래 장면 데이터 내의 높은 콘트라스트 에지(contrast edge), 그와 같은 특징들은 블록 560에서 콘트라스트 결정 프로세스에 의해 식별될 것이다.

예를 들면, 상기 블러링된 이미지 프레임 내의 로컬 콘트라스트 값이 산출되거나, 임의의 다른 원하는 종류의 에지 검출 프로세스가 상기 블러링된 이미지 프레임 내의 어떤 픽셀들을 로컬 콘트라스트 영역의 일부로서 식별하기 위해 적용될 수 있다. 이 방식으로 표시된 픽셀들은 FPN으로 해석될 수 있는 과도하게 높은 공간 주파수 장면 정보를 포함하는 것으로 간주될 수 있다(예를 들면, 그와 같은 영역들은 충분히 블러링되지 않은 장면의 부분들에 대응할 수 있다). 따라서, 이 픽셀들은 NUC 조건들의 추가 결정에서 사용되지 않고 배제될 것이다. 일 실시예에서, 그와 같은 콘트라스트 검출 처리는 FPN과 관련된 예상 콘트라스트 값보다 더 높은 문턱에 좌우될 것이다(예를 들면, 상기 문턱보다 높은 콘트라스트 값을 나타내는 픽셀들은 장면 정보가 되는 것으로 간주될 수 있으며, 상기 문턱보다 낮은 것들은 FPN을 나타내는 것으로 간주될 수 있다).

일 실시예에서, 블록 560의 콘트라스트 결정은 로우 및 칼럼 FPN 조건이 상기 블러링된 이미지 프레임에 적용된 후에 상기 블러링된 이미지 프레임에 대해 수행될 수 있다(예컨대, 도 5 참조). 또 다른 실시예에서, 블록 560은 로우 및 칼럼 FPN 조건이 결정되기 전에 콘트라스트를 결정하기 위해 블록 550에 앞서서 수행될 것이다(예를 들면, 장면 기반 콘트라스트가 그와 같은 조건의 결정에 기여하는 것을 방지하기 위해).

블록 540 이후에, 일반적으로, 상기 블러링된 이미지 프레임에 잔류하는 어떤 높은 공간 주파수 콘텐트는 공간적으로 상관없는 FPN에 기인하는 것으로 예상된다. 이와 관련하여, 블록 560 이후에, 다른 노이즈 또는 실제 원하는 장면 기반 정보의 많은 부분이 상기 블러링된 이미지 프레임으로부터 제거되거나 배제되었으며, 이것은 이미지 프레임을 의도적으로 블러링되게 하고(예컨대, 블록 520 내지 545에서 모션 또는 탈초점에 의해), 로우 및 칼럼 FPN 조건을 적용하고(블록 555), 및 콘트라스트의 결정(블록 560) 덕분이다.

따라서, 블록 560 이후에, 임의의 잔류하는 높은 공간 주파수 콘텐트(예컨대, 상기 블러링된 이미지 프레임에서 콘트라스트 영역 또는 차이로서 보이는)는 공간적으로 상관없는 FPN에 기인하는 것으로 예상될 수 있다. 따라서, 블록 565에서, 상기 블러링된 이미지 프레임의 고역통과 필터링이 실시된다. 일 실시예에서, 이것은 상기 블러링된 이미지 프레임에서 높은 공간 주파수 콘텐트를 추출하기 위해 고역통과 필터를 적용하는 것을 포함할 수 있다. 또 다른 실시예에서, 이것은, 상기 높은 공간 주파수 콘텐트를 얻기 위해, 상기 블러링된 이미지 프레임에 저역통과 필터를 적용하고 저역 통과 필터링된 이미지 프레임과 필터링되지 않은 블러링된 이미지 프레임 사이의 차이를 취하는 것을 포함할 수 있다. 본 발명의 다양한 실시예에 있어서, 고역통과 필터는 센서 신호(예컨대, 픽셀 값)와 그 이웃들 사이의 평균 차이를 산출함으로써 실시될 수 있다.

블록 570에서, 갱신된 NUC 조건을 결정하기 위해 상기 고역통과 필터링된 블러링된 이미지 프레임에 대해 플랫-필드 보정 프로세스가 수행된다(예를 들어, 만일 NUC 프로세스가 이전에 수행되지 않았다면 상기 갱신된 NUC 조건들은 블록 570의 제1 반복에서 새로운 NUC 조건이 될 수 있다).

예를 들면, 도 7은 본 발명의 일 실시예에 있어서 플랫 필드 보정 기술(700)을 도시한다. 도 7에서, 상기 블러링된 이미지 프레임의 각 픽셀(710)에 대해 그 이웃하는 픽셀들(712 ~ 726)의 값을 사용하여 NUC 조건이 결정될 수 있다. 각 픽셀에 대해, 다양한 인접 픽셀의 값들 사이의 절대적인 차이를 기초로 여러 개의 변화도(gradient)가 결정될 수 있다. 예를 들면, 픽셀(712, 714) 사이(좌에서 우로 대각선 변화도, 픽셀(716, 718) 사이(위에서 아래로 수직 변화도), 픽셀(720, 722) 사이(우에서 좌로 대각선 변화도), 및 픽셀(724, 726) 사이(좌에서 우로 수평 변화도)에 절대값 차이가 결정될 수 있다.

이들 절대값 차이는 픽셀(700)에 대한 변화도 합계를 제공하기 위해 합산될 것이다. 상기 변화도 합계에 반비례하는 가중치가 픽셀(710)에 대해 결정될 것이다. 이 프로세스는 각 픽셀(710)에 대해 가중치가 제공될 때까지 상기 블러링된 이미지 프레임의 모든 픽셀(710)에 대해 수행될 것이다. 낮은 변화도를 가진 영역들(예컨대, 블러링되거나 낮은 콘트라스트를 가진 영역들)의 경우, 상기 가중치는 1에 가까울 것이다. 반대로, 높은 변화도를 가진 영역들의 경우, 상기 가중치는 0이거나 0에 가까울 것이다. 상기 고역통과 필터에 의해 추정된 것과 같은 NUC 조건에 대한 갱신은 상기 가중치와 곱해진다.

일 실시예에서, NUC 조건 내에 장면 정보를 도입할 위험은 NUC 조건 결정 프로세스에 약간의 시간적 댐핑(temporal damping)을 적용함으로써 더욱 감소될 수 있다. 예를 들면, 저장된 새로운 NUC 조건(NUC_NEW)가 과거 NUC 조건(NUC_OLD)과 추정된 갱신 NUC 조건(NUC_UPDATE)의 가중 평균이 되도록 0과 1 사이의 시간 댐핑 인자(λ)가 선택될 수 있다. 일 실시예에서, 이것은 NUC_NEW = λ·NUC_OLD + (1-λ)·(NUC_OLD + NUC_UPDATE).

지금까지 NUC 조건의 결정이 변화도와 관련하여 설명되었지만, 상황에 따라서는 로컬 콘트라스트 값이 대신 사용될 수 있다. 예를 들면 표준편차 계산과 같은 다른 기술이 사용될 수도 있다. 예를 들어 2000년 2월 22일 등록된 미국 특허 제6,028,309호, 2004년 11월 2일 등록된 미국 특허 제6,812,465호, 및 2008년 5월 5일 출원된 미국 특허출원 제12/114,865호에 개시된 다양한 프로세스를 포함하는 다른 종류의 플랫 필드 보정 프로세서가 NUC를 결정하는데 사용될 수 있으며, 이 문헌들의 전체 내용은 참조를 위해 본 명세서에 포함된다.

도 5를 다시 참조하면, 블록 570은 상기 NUC 조건들의 추가 처리를 포함할 수 있다. 예를 들면, 일 실시예에서, 상기 장면 신호 평균을 유지하기 위해, 각 NUC 조건으로부터 상기 NUC 조건 평균을 감산함으로써 모든 NUC 조건들의 합이 0으로 정상화될 수 있다. 또한 블록 570에서, 로우 및 칼럼 노이즈가 NUC 조건에 영향을 미치는 것을 피하기 위해, 각각의 로우 및 칼럼에 대해 각 로우 및 칼럼의 평균 값이 NUC 조건으로부터 감산될 수 있다. 그 결과, 블록 550에서 결정된 로우 및 칼럼 FPN 조건을 사용하는 로우 및 칼럼 FPN 필터는 상기 NUC 조건이 캡처된 이미지에 적용된 후(예컨대, 블록 580에서 추가로 설명됨) 추가 반복에서 로우 및 칼럼 노이즈를 더욱 잘 걸러낼 수 있을 것이다(예컨대, 도 8에서 추가 도시됨). 이와 관련하여, 로우 및 칼럼 FPN 필터는 로우마다 및 칼럼마다의 오프셋 계수(예컨대, 로우 및 칼럼 FPN 조건)를 계산하기 위해 일반적으로 더 많은 데이터를 사용할 것이며 따라서 공간적으로 상관없는 노이즈를 캡처하기 위해 고역통과 필터에 기초하는 NUC 조건보다 공간적으로 상관된 FPN 조건을 감소시키기 위한 더 강력한 대안을 제공할 수 있다.

블록 571 ~ 573에서, 로우 및 칼럼 FPN 조건에 의해 이전에 제거된 것보다 더 낮은 공간 주파수를 가진 공간적으로 상관된 FPN을 제거하기 위해 추가의 고역통과 필터링과 추가의 갱신 NUC 조건의 결정이 선택적으로 수행될 수 있다. 이와 관련하여, 적외선 이미징 모듈(100)의 적외선 센서(132) 또는 다른 부품들의 어떤 가변성은 로우 또는 칼럼 노이즈로 쉽게 모형화될 수 없는 공간적으로 상관된 FPN 노이즈를 발생시킬 수 있다. 그와 같은 공간적으로 상관된 FPN은 예를 들면, 이웃하는 적외선 센서(132)보다 조도에 다르게 반응하는 적외선 센서(132)들의 집단 또는 센서 패키지 상의 윈도우 결함(window defects)를 포함할 수 있다. 일 실시예에서, 그와 같은 공간적으로 상관된 FPN은 오프셋 보정으로 완화될 수 있다. 만일 그와 같은 공간적으로 상관된 FPN의 양이 상당하다면, 상기 블러링된 이미지 프레임에서 노이즈 역시 검출될 수 있을 것이다. 이런 종류의 노이즈는 픽셀들의 이웃에 영향을 미칠 수 있기 때문에, 작은 커널(kernel)을 가진 고역통과 필터는 이웃에서 FPN을 검출하지 못할 수도 있다(예컨대, 고역통과 필터에서 사용된 모든 값들은 영향을 받은 픽셀들의 이웃에서 취해질 수 있으며 따라서 똑같은 오프셋 에러에 의해 영향을 받을 수 있다). 예를 들어, 만일 블록 565의 고역통과 필터링이 작은 커널을 가지고 수행되면(예컨대, 공간적으로 상관된 FPN에 의해 영향을 받는 픽셀들의 이웃 내에 속하는 바로 인접한 픽셀들만 고려함), 넓게 분산된 공간적으로 상관된 FPN은 검출될 수 없을 것이다.

예를 들면, 도 11은 본 발명의 일 실시예에 있어서 이웃 픽셀들에서 공간적으로 상관된 FPN을 도시한다. 샘플 이미지 프레임(1100)에 도시한 것과 같이, 이웃하는 픽셀(1110)들은 개개의 로우 및 칼럼에 정확히 상관되지 않은 공간적으로 상관된 FPN을 보여주며 이웃하는 수개의 픽셀들에 걸쳐 분포한다(예컨대, 본 실시예에서는 이웃하는 약 4x4 픽셀들). 샘플 이미지 프레임(1100)은 또한 필터링 계산에서 사용되지 않는 실질적으로 균일한 응답을 보여주는 한 세트의 픽셀(1120), 및 상기 이웃하는 픽셀(1110)들에 대한 저역통과 값을 추정하기 위해 사용되는 한 세트의 픽셀(1130)들을 포함한다. 일 실시예에서, 픽셀(1130)들은 효율적인 하드웨어 또는 소프트웨어 계산을 용이하게 하기 위해 2개 나눌 수 있는 복수의 픽셀일 수 있다.

다시 도 5를 참조하면, 블록 571 ~ 573에서, 픽셀(1110)에 의해 표시된 것과 같은 공간적으로 상관된 FPN을 제거하기 위해 추가의 고역통과 필터링 및 갱신 NUC 조건의 추가 결정이 선택적으로 수행될 수 있다. 블록 571에서, 블록 570에서 결정된 갱신 NUC 조건은 상기 블러링된 이미지 프레임에 적용된다. 따라서, 이 시점에서, 상기 블러링된 이미지 프레임은 공간적으로 상관된 FPN을 위해 초기에 보정될 것이며(예컨대, 블록 555에서 상기 갱신된 로우 및 칼럼 FPN 조건의 적용에 의해), 또한 공간적으로 상관되지 않은 FPN을 위해 초기에 보정될 것이다(예컨대, 블록 571에서 상기 갱신된 NUC 조건의 적용에 의해).

블록 572에서, 블록 565에서 사용된 것보다 큰 커널을 가진 고역통과 필터가 추가로 적용되고, 블록 573에서 추가로 갱신된 NUC 조건이 결정될 수 있다. 예를 들면, 픽셀(1110)에 존재하는 상기 공간적으로 상관된 FPN을 검출하기 위해, 블록 572에서 적용된 고역통과 필터는, 영향을 받지 않은 픽셀(예컨대, 픽셀(1120))들과 영향을 받은 픽셀(예컨대, 픽셀(1110))들 사이에서 차이가 결정될 수 있도록, 충분히 큰 이웃 픽셀들로부터의 데이터를 포함할 것이다. 예를 들면, 큰 커널을 가진 저역통과 필터가 사용될 수 있으며(예컨대, 3x3 픽셀보다 훨씬 더 큰 NxN 커널) 그 결과는 적절한 고역통과 필터링을 수행하기 위해 감산될 것이다.

일 실시예에서, 연산의 효율성을 위해서, NxN 이웃 내부의 소수의 이웃하는 픽셀들만이 사용되도록 희소한 커널이 사용될 수도 있다. 떨어져 있는 이웃들을 사용하는(예컨대, 큰 커널) 어떤 소정의 고역통과 필터 동작의 경우, 실제의(블러링될 수 있는 가능성이 있는) 장면 정보를 공간적으로 상관된 FPN으로 모형화하는 위험이 존재한다. 따라서, 일 실시예에서, 시간 댐핑 인자(λ)는 블록 573에서 결정된 갱신 NUC 조건에 대해 1에 가깝게 설정될 수 있다.

다양한 실시예에서, 블록 571~573은, 원하는 이웃 크기의 공간적으로 상관된 FPN에 대한 추가 보정을 위해 추가로 갱신된 NUC 조건을 제공하기 위해 커널 크기를 증가시키면서 고역통과 필터링을 반복하여 수행하기 위해, 반복(예컨대, 캐스캐이드)될 수 있다. 일 실시예에서, 그와 같은 반복을 수행하는 결정은 공간적으로 상관된 FPN이 블록 571~573의 이전 수행으로 갱신된 NUC 조건에 의해 제거되었는지 여부에 의해서 결정될 것이다.

블록 571~573이 종료된 후에, 상기 갱신된 NUC 조건을 캡처된 이미지 프레임에 적용할지 여부에 관한 결정이 이루어진다(블록 574). 예를 들어, 만일 전체 이미지 프레임에 대한 NUC 조건의 절대값의 평균이 최소 문턱 값보다 작거나, 최대 문턱 값보다 크면, 상기 NUC 조건이 허위의(spurious) 의미 있는 보정을 제공할 가능성이 없는 것으로 간주된다. 대안으로, 어느 픽셀들이 갱신된 NUC 조건을 수신할지를 결정하기 위해 개별 픽셀들에 문턱 기준(thresholding criteria)이 적용될 수 있다. 일 실시예에서, 상기 문턱 값들은 새로 계산된 NUC 조건과 이전에 계산된 NUC조건 사이의 차이에 반응할 것이다. 또 다른 실시예에서, 상기 문턱 값들은 이전에 계산된 NUC 조건에 독립적일 수 있다. 상기 NUC 조건이 적용되어야 할지 여부를 결정하기 위해 다른 테스트가 적용될 수 있다(예컨대, 공간 상관 테스트).

만일 NUC 조건이 의미 있는 보정을 제공할 가능성이 없거나 허위인 것으로 간주되면, 흐름도는 블록 505로 복귀한다. 그렇지 않으면, 새로 결정된 NUC 조건은 이전 NUC 조건(예컨대, 도 5에서 이전에 수행된 반복에 의해 결정된)을 대체하기 위해 저장되고(블록 575) 또한 캡처된 이미지 프레임들에 적용된다(블록 580).

도 8은 본 발명의 일 실시예에 있어서 도 5의 다양한 이미지 처리 기술과 이미지 처리 파이프라인(800)에 적용된 다른 동작들을 도시한다. 이와 관련하여, 파이프라인(800)은 적외선 이미징 모듈(100)에 의해 제공된 이미지 프레임을 보정하기 위한 전체적인 반복 이미지 처리 방안의 맥락에서 도 5의 다양한 동작들을 확인한다. 어떤 실시예들에서는, 파이프라인(800)은 적외선 센서(132)에 의해 캡처된 이미지 프레임들에 작용하는 처리모듈(160) 또는 프로세서(195)에 의해 제공될 수 있다.

적외선 센서(132)에 의해 캡처된 이미지 프레임들은, 개선된 신호대잡음비를 가진 이미지 프레임(802)을 제공하기 위해 복수의 이미지 프레임들을 통합하는 프레임 평균화기(804)에 제공된다. 프레임 평균화기(804)는 적외선 센서(132), ROIC(402), 및 높은 이미지 캡처 레이트를 지원하도록 구현되는 적외선 센서 조립체(128)의 기타 부품들에 의해 효과적으로 제공된다. 예를 들면, 일 실시예에서, 적외선 센서 조립체(128)는 240 Hz의 프레임 레이트(예컨대, 초당 240개 이미지)로 적외선 이미지 프레임을 캡처할 수 있다. 이 실시예에서, 그와 같이 높은 프레임 레이트는, 예를 들면, 적외선 센서 조립체(128)를 비교적 낮은 전압에서 동작시킴으로써(예컨대, 이동전화기 전압에 상당한) 및 적외선 센서(132)들의 비교적 작은 어레이를 사용함으로써(예컨대, 일 실시예에서 64x64 적외선 센서 어레이), 구현될 수 있다.

일 실시예에서, 그와 같은 적외선 이미지 프레임들은 높은 프레임 레이트(예컨대, 240 Hz 또는 다른 프레임 레이트)로 적외선 센서 조립체(128)로부터 처리모듈(160)로 제공될 수 있다. 또 다른 실시예에서, 적외선 센서 조립체(128)는, 통합된(예컨대, 평균화된) 적외선 이미지 프레임을 더 낮은 프레임 레이트(예컨대, 30 Hz, 9 Hz 또는 기타 프레임 레이트)로 처리모듈(160)에 제공하기 위해, 더 긴 시간 주기 동안, 또는 복수의 시간 주기 동안 통합할 수 있다. 높은 이미지 캡처 레이트를 제공하기 위해 사용될 수 있는 실시에 대한 추가 정보는 본 명세서에서 이전에 참조된 미국 임시 특허출원 제61/495,879호에서 찾을 수 있다.

이미지 프레임(802)들은 파이프라인(800)을 통해 전달되며 다양한 조건에 의해 조정되고, 시간적으로 여과되고, 상기 다양한 조정 조건을 결정하기 위해 사용되며, 이득이 보상된다.

블록 810 및 814에서, 제조 및 시험 중에 결정된, 적외선 이미징 모듈(100)의 다양한 적외선 센서(132) 및 다른 부품들 사이에서 이득 및 오프셋 차이를 각각 보상하기 위해, 공장 이득 조건(812) 및 공장 오프셋 조건(816)이 이미지 프레임(802)에 적용된다.

블록 580에서, 설명한 것과 같이 FPN에 대해 정정하기 위해 NUC 조건(817)이 이미지 프레임(802)에 적용된다. 일 실시예에서, 만일 NUC 조건(817)이 아직 결정되지 않은 경우라면(예컨대, NUC 프로세스가 개시되기 전이라면), 블록 580이 수행되지 않거나, 이미지 데이터의 변경을 일으키지 않는(예컨대, 모든 픽셀에 대한 오프셋이 0이 될 수 있는) 초기화 값들이 NUC 조건(817)을 위해 사용될 것이다.

블록 818과 822에서, 칼럼 FPN 조건(820) 및 로우 FPN 조건(824)는 각각 이미지 프레임(820)에 적용된다. 칼럼 FPN 조건(820) 및 로우 FPN 조건(824)은 설명된 것과 같이 블록 550에 따라서 결정될 수 있다. 일 실시예에서, 만일 칼럼 FPN 조건(820) 및 로우 FPN 조건(824)이 아직 결정되지 않았다면(예컨대, NUC 프로세스가 개시되기 전이라면), 블록 818 및 822이 수행되지 않거나, 이미지 데이터의 변경을 일으키지 않는(예컨대, 모든 픽셀에 대한 오프셋이 0이 될 수 있는) 초기화 값들이 칼럼 FPN 조건(820) 및 로우 FPN 조건(824)을 위해 사용될 것이다.

블록 826에서, 시간 노이즈 감소(TNR: temporal noise reduction) 프로세스에 따라서 이미지 프레임(802)에 시간 필터링이 수행된다. 도 9는 본 발명의 일 실시예에 있어서 TNR 프로세스를 도시한다. 도 9에서, 새로운 시간 필터링된 이미지 프레임(802e)을 결정하기 위해 현재 수신된 이미지 프레임(802a)과 이전 시간 필터링된 이미지 프레임(802b)이 처리된다. 이미지 프레임(802a, 802b)은 중심 픽셀(805a, 805b) 주위에 로컬 이웃 픽셀(803a, 803b)을 각각 포함한다. 이웃(803a, 803b)은 이미지 프레임(802a, 802b) 내의 동일한 위치에 대응하며 이미지 프레임(802a, 802b) 내의 전체 픽셀의 부분집합(subset)이다. 도시된 실시예에서, 이웃(803a, 803b)은 5x5 픽셀들의 영역을 포함한다. 다른 실시예에서는 다른 크기의 이웃 크기가 사용될 수 있다.

픽셀(805a, 805b)에 대응하는 위치에 대한 평균 델타 값(805c)을 제공하기 위해 이웃(803a, 803b)의 대응하는 픽셀들 사이의 차이가 결정되고 평균화된다. 평균 델타 값(805c)은 이미지 프레임(802a, 802b)의 픽셀(805a, 805b)에 적용될 가중치를 결정하기 위해 블록 807에서 사용될 수 있다.

일 실시예에서, 그래프 808로 도시한 것과 같이, 블록 807에서 결정된 가중치는 평균 델타 값(805c)에 반비례하며 가중치는 이웃(803a, 803b) 사이에 큰 차이가 있을 때 0을 향해 급속히 떨어진다. 이와 관련하여, 이웃(803a, 803b) 사의 큰 차이는 장면에 변화가 발생한 것을 가리키며(예컨대, 움직임에 의해) 픽셀(802a, 802b)은, 일 실시예에서, 프레임간 장면 변화에 블러링(blurring)를 도입하는 것을 피하기 위해 적절히 가중처리될 수 있다.

이미지 프레임(802e)의 대응하는 픽셀(805e)에 대한 값을 결정하기 위해 블록 807에서 결정된 가중치가 픽셀(805a, 805b)에 적용될 수 있다(블록 811). 이와 관련하여, 픽셀(805e)은 픽셀(805a, 805b)의 가중 평균(또는 다른 조합)인 값을 가질 수 있으며, 이것은 평균 델타 값(805c)과 블록 807에서 결정된 가중치에 의존한다.

예를 들어, 시간 필터링된 이미지 프레임(802e)의 픽셀(805e)은 이미지 프레임(802a, 802b)의 픽셀(805a, 805b)의 가중 합계일 수 있다. 만일 픽셀(805a, 805b) 사이의 평균 차이가 노이즈에 의한 것이라면, 이웃(805a, 805b) 사이의 평균은 0에 가까울 것으로 예상될 수 있다(예컨대, 상관없는 변화들의 평균에 해당함). 그와 같은 환경하에서, 이웃(805a, 805b) 사이의 차이의 합계는 0에 가까울 것으로 예상될 수 있다. 이 경우에, 이미지 프레임(802a)의 픽셀(805a)은 픽셀(805e)의 값에 기여하도록 둘 다 적절히 가중처리된다.

그러나, 만일 그와 같은 차이의 합계가 0이라면(예컨대, 일 실시예에서 적은 양이라도 0과 다르다면), 상기 변화는 노이즈가 아니라 움직임에 기여하는 것으로 해석될 수 있다. 따라서, 움직임은 이웃(805a, 805b)에 의해 나타난 평균 변화에 기초하여 검출될 수 있다. 이들 환경하에서, 이미지 프레임(802a)의 픽셀(805a)은 무겁게 가중처리되는 반면, 이미지 프레임(802b)의 픽셀(805b)은 가볍게 가중처리될 수 있다.

다른 실시예들도 고려될 수 있다. 예를 들면, 평균 델타 값(805c)은 이웃(805a, 805b)에 기초하여 결정되는 것으로 설명했지만, 다른 실시예에서 평균 델타 값(805c)은 원하는 기준에 기초하여 결정될 수 있다(예컨대, 개개의 픽셀 또는 다른 종류의 픽셀 세트들의 그룹에 기초하여).

상기 실시예에서, 이미지 프레임(802a)은 현재 수신된 이미지 프레임으로 설명했고 이미지 프레임(802b)은 이전에 시간 필터링된 이미지 프레임으로 설명했다. 또 다른 실시예에서, 이미지 프레임(802a, 802b)은 시간 필터링되지 않은 적외선 이미징 모듈(100)에 의해 캡처된 제1 및 제2 이미지 프레임일 수 있다.

도 10은 블록 826의 TNR 프로세스에 관련된 추가의 실행 상세를 도시한다. 도 10에 도시한 것과 같이, 이미지 프레임(802a, 802b)은 라인 버퍼(1010a, 1010b) 안으로 각각 읽혀지고, 이미지 프레임(802b)(예컨대, 이전 이미지 프레임)은 라인 버퍼(1010a) 안으로 읽혀지기 전에 프레임 버퍼(1020)에 저장될 수 있다. 일 실시예에서, 라인 버퍼(1010a, 1010b)와 프레임 버퍼(1020)는 적외선 이미징 모듈(100) 또는 호스트 장치(102)의 어떤 적절한 부품에 의해 제공된 랜덤 액세스 메모리(RAM)의 블록에 의해 구현될 수 있다.

다시 도 8을 참조하면, 이미지 프레임(802e)은, 필요에 따라 호스트 장치(102)에 의해 사용될 수 있는 결과 이미지 프레임(830)을 제공하기 위한 추가 처리를 위해, 자동 이득 보상 블록 828에 전달될 것이다.

도 8은 로우 및 칼럼 FPN 조건 및 NUC 조건을 결정하기 위해 수행될 수 있는 다양한 동작들을 도시한다. 일 실시예에서, 이 동작들은 도 8에 도시한 것과 같은 이미지 프레임(802e)을 사용할 수 있다. 이미지 프레임(802e)은 이미 시간 필터링되었기 때문에, 전부 또는 일부의 시간 노이즈는 제거될 것이고 따라서 로우 및 칼럼 FPN 조건(824, 820) 및 NUC 조건(817)의 결정에 우연히 영향을 주지는 않을 것이다. 또 다른 실시예에서, 비-시간(non-temporally) 필터링된 이미지 프레임(802)이 사용될 수 있다.

도 8에서, 도 5의 블록 510, 515 및 520은 함께 집합적으로 표시된다. 설명한 바와 같이, NUC 프로세스는 다양한 NUC 프로세스 개시 이벤트에 응답하여 그리고 다양한 기준 또는 조건에 기초하여 선택적으로 개시되거나 수행될 수 있다. 또한 설명한 것과 같이, NUC 프로세스는, 블러링된 이미지 프레임을 제공하기 위해(블록 545) 모션-기반 접근(블록 525, 535, 540) 또는 탈초점-기반 접근(블록 530)에 따라서 수행될 수 있다. 도 8은 도 5와 관련하여 이전에 설명한 다양한 추가 블록들(550, 552, 555, 560, 565, 570, 571, 572, 573, 575)을 더 도시한다.

도 8에 도시한 것과 같이, 로우 및 칼럼 FPN 조건(820, 824) 및 NUC 조건(817)은, 이전 조건이 이미 적용된 이미지 프레임(802)을 사용하여 갱신 조건이 결정되도록, 반복 형식으로 결정되고 적용될 수 있다. 그 결과, 도 8의 전체 프로세스는 호스트 장치(102)에 의해 사용될 이미지 프레임(830) 내의 노이즈를 계속 감소시키기 위해 그와 같은 조건을 반복적으로 갱신하고 적용할 것이다.

다시 도 10을 참조하여, 파이프라인(800)에 관련된 도 8 및 도 5의 다양한 블록들에 대한 추가 실행이 상세히 설명된다. 예를 들면, 블록 525, 535 및 540은 파이프라인(800)에 의해 수신된 이미지 프레임(802)의 정상 프레임 레이트에서 동작하는 것으로 도시되어 있다. 도 10에 도시한 실시예에서, 블록 525에서 이루어지는 판정은, 다른 이미지 프레임에 추가되어 누적되고(블록 535는 이 실시예에서 화살표로 표시됨) 평균화되면(블록 540) 상기 블러링을 강화시키는 이미지 프레임으로 간주되도록, 주어진 이미지 프레임(802)이 충분히 변화했는지 여부를 판정하기 위해 사용되는 판정 마름모로서 표현된다.

또한 도 10에서, 칼럼 FPN 조건(820)의 판정(블록 550)은, 이 실시예에서 블록 540에서 수행된 평균화로 인해 센서 프레임 레이트(정상 프레임 레이트)의 1/32인 갱신 레이트로 동작하는 것으로 도시되어 있다. 다른 실시예에서는 다른 갱신 레이트가 사용될 수 있다. 칼럼 FPN 조건(820)만이 도 10에서 도시되어 있지만, 로우 FPN 조건도 감소된 프레임 레이트에서 유사한 방식으로 구현될 수 있다.

도 10은 또한 블록 570의 NUC 결정 프로세스에 관련된 추가 실행을 상세히 도시한다. 이와 관련하여, 상기 블러링된 이미지 프레임을 라인 버퍼(1030)로 읽어 들인다(예컨대, 적외선 이미징 모듈(100) 또는 호스트 장치(102)의 임의의 적절한 부품에 의해 제공되는 RAM 블록에 의해 구현됨). 도 7의 플랫 필드 보정 기술(700)이 상기 블러링된 이미지 프레임에 대해 수행될 수 있다.

본 발명을 고려하면, 본 명세서에 설명된 기술들이 공간적으로 상관된 로우 및 칼럼 FPN 및 공간적으로 상관없는 FPN과 같은 다양한 종류의 FPN(예컨대, 매우 높은 진폭 FPN을 포함하는)을 제거하기 위해 사용될 것으로 평가할 수 있다.

다른 실시예들도 고려될 수 있다. 예를 들면, 일 실시예에서, 로우 및 칼럼 FPN 조건 및/또는 NUC 조건이 갱신되는 레이트는 상기 블러링된 이미지 프레임 내의 블러링의 추정된 양 및/또는 로컬 콘트라스트 값(예컨대, 블록 560에서 결정된 것)의 크기에 반비례하는 것이 가능하다.

다양한 실시예에서, 전술한 기술들은 종래의 셔터-기반 노이즈 보정 기술에 비해 유리할 수 있다. 예를 들면, 셔터 없는 프로세스를 사용함으로써, 셔터(예컨대, 셔터(105))는 제공될 필요가 없고, 따라서 크기, 무게, 원가, 및 기계적 복잡성이 감소될 수 있을 것이다. 적외선 이미징 모듈(100)에 공급되거나 적외선 이미징 모듈(100)에 의해 발생된 파워 및 최대 전압 역시 셔터를 기계적으로 동작시킬 필요가 없다면 감소될 수 있다. 잠재적 고장 발생지인 셔터를 제거함으로써 신뢰성이 향상될 것이다. 셔터 없는 프로세스는 또한 셔터에 의해 촬영된 장면의 일시적 차단에 의해 초래되는 잠재적인 이미지 중단을 제거한다.

또한, (셔터에 의해 제공되는 균일한 장면이 아닌) 실제 장면으로부터 캡처한, 의도적으로 블러링된 이미지 프레임을 사용하여 노이즈에 대한 보정을 함으로써, 촬영하고 싶은 실제 장면과 유사한 조도 레벨을 가진 이미지 프레임에 대해 노이즈 보정이 수행될 것이다. 이것은 전술한 다양한 기술들에 따라서 결정되는 노이즈 보정 조건의 정확성과 효과성을 향상시킬 수 있다.

이제 도 12를 참조하면, 본 발명의 일 실시예에 따른 웨어러블 장치(1200)의 블럭도가 도시되어 있다. 웨어러블 장치(1200)는 실드(1202), 1개 이상의 적외선 이미징 모듈(1204), 프로젝터(1206), 프로세서(1208), 메모리(1210), 통신모듈(1212), 모션 센서(1214), 및 기타 부품 및 하드웨어(1216)를 포함할 수 있다. 다양한 실시예에서, 적외선 이미징 모듈(1204), 프로세서(1208), 메모리(1210) 및 모션 센서(1214)는 도 1의 호스트 장치(102)의 대응하는 구성요소들과 같은 유사한 방식으로 구현될 수 있다. 또한, 웨어러블 장치(1200)의 다양한 구성요소들은 다양한 NUC 프로세스와 본 명세서에서 설명된 다른 프로세스들을 수행한다.

실드(1202)는 사용자가 웨어러블 장치(1200)를 착용하고 있는 동안 외부장치(1230)로부터 사용자의 얼굴의 전부 또는 일부를 보호한다(도 12에서 도면부호 '1203'으로 일반적으로 식별됨). 실드(1202)는 폴리머(예컨대, 폴리카보네이트), 금속, 또는 외부환경(1230)으로부터의 열, 강한 광선, 잔해, 및/또는 기타 유해한 요소들에 대한 보호 장벽을 제공하기에 충분히 견딜 수 있는 어떤 다른 적당한 재료들로 만들어질 수 있다. 실드(1202)는 그와 같은 유해한 요소들에 대한 보호를 강화하거나 제공하기 위해 1개 이상의 적당한 보호층을 포함하거나 그러한 보호층으로 코팅될 수 있다.

다양한 실시예에서, 실드(1202)는 또한 웨어러블 장치(1200)의 다양한 구성요소들을 위해 외부환경(1230)에 대한 보호 장벽을 제공할 수 있다. 예를 들면, 적외선 이미징 모듈(1204), 프로젝터(1206), 프로세서(1208), 메모리(1210), 통신모듈(1212), 모션 센서(1214), 및/또는 웨어러블 장치(1200)의 어떤 적당한 구성요소들은, 실드(1202)가 사용자의 얼굴의 전부 또는 일부를 보호하는 것에 추가로 상기 구성요소들에 대해 보호를 제공하도록, 웨어러블 장치(1200)의 내부에 위치될 수 있다(예컨대, 실드(1202)의 후방에 외부환경(1230)으로부터 멀리).

실드(1202)는 도 12에서 한정된 길이를 가지는 것으로 도시되어 있지만, 실드(1202)는 임의의 원하는 크기로 구현될 수 있다. 또한, 웨어러블 장치(1200)는 사용자의 얼굴, 머리, 또는 사용자(1203)의 임의의 원하는 부분을 부분적으로 또는 완전히(원한다면, 사용자(1203)의 전체를 포함) 에워싸는 1개 이상의 구조 부재(1201)를 포함할 수 있다.

일 실시예에서, 실드(1202)는 사용자(1203)가 실드(1202)를 통해 외부환경(1230)을 볼 수 있도록 전부 또는 일부의 가시광을 통과시킬 수 있으며, 동시에 유해한 복사(radiation)(예컨대, 적당한 타입의 적외선 복사, 자외선 복사 등), 잔해, 및/또는 기타 요소들로부터 사용자를 보호한다. 또 다른 실시예에서, 실드(1202)의 일부, 대부분, 또는 전체는 불투명할 수 있다(예컨대, 실드(1202)가 금속으로 만들어진 경우). 어떤 실시예들에서는, 실드(1202)의 표면은 프로젝터(1206)로부터 이미지가 투사되는 플레이트(plate)를 포함할 수 있다.

적외선 이미징 모듈(1204)은 본 명세서에서 개시된 다양한 실시예들에 따라 구현된 소형 폼 팩터 적외선 이미징 장치 또는 소형 폼 팩터 적외선 카메라일 수 있다. 적외선 이미징 모듈(1204)은, 예를 들면 본 명세서에서 개시된 다양한 실시예들과 상황에 따른 다른 것들에 맞게 구현된 FPA를 포함할 수 있다.

따라서, 조명된 물체로부터 반사된 제한된 단파장 적외(SWIR: short wave infrared) 광선(예컨대, 근적외광)을 겨우 검출하는 특정 CCD-기반 또는 CMOS-기반 이미징 센서와 달리, 적외선 이미징 모듈(1204)은 장파장 적외 복사(LWIR: long wave infrared radiation), 중간 파장 적외 복사(MWIR), 및/또는 필요에 따라 열 대역 내의 다른 복사를 검출 및 캡처할 수 있다. 따라서, 적외선 이미징 모듈(1204)은 암흑 속에서도 외부환경(1230)의 열 이미지(예컨대, 열 복사 데이터를 포함하는 이미지)를 캡처, 처리, 및/또는 관리하고, 그와 같은 이미지 및 데이터를 프로세서(1208)에 제공할 수 있다. 예를 들면, 적외선 이미징 모듈(1204)에 의해 제공된 열 이미지들은 가스 누출, 열점(thermal hot spot) 등과 같은 눈에 보이지 않는 위험을 보이게 할 수 있다. 그와 같은 열 이미지는 상기 이미지 내 각각의 픽셀의 정확한 온도 판독을 포함할 수 있다. 이와 관련하여, 적외선 이미징 모듈(1204)에 의해 캡처되어 제공되는 열 이미지는 종래의 광 증강장치(light intensifier)(예컨대, 야간 식별(NV: night vision) 장치)에 의해 제공되는 증폭된 가시광 및 SWIR 복사의 이미지보다 훨씬 더 유용하다.

일 실시예에서, 웨어러블 장치(1200)는 외부환경(1230)의 입체(stereo-graphic) 열 이미지를 캡처하기 위해 복수의 적외선 이미징 모듈(1204)을 포함할 수 있다. 또 다른 실시예에서, 복수의 적외선 이미징 모듈(1204)의 1개 이상은 서로 백업으로서 역할을 함으로써 장애대책을 제공할 수 있다.

다양한 실시예에서, 적외선 이미징 모듈(1204)과 프로세서(1208) 중 1개 이상은 외부환경의 온도 레벨 및 적외선 강도의 변화에 순응하기 위해 (예컨대, 신호 이득, 카메라 애퍼처, 및 셔터 속도 중 1개 이상을 제어함으로써) 자동 노출 제어를 제공한다.

다양한 실시예에서, 1개 이상의 적외선 이미징 모듈(1204)은 실드(1202)에 의해 외부환경(1230)으로부터 보호되도록 실드(1202) 후방에 위치될 수 있다. 그와 같은 실시예에서, 실드(1202)는 적외선 이미징 모듈(1204)까지 적외선(1232)을 통과시킬 수 있는 윈도우 조립체(1218)로 밀폐된 개구(1217)를 포함할 수 있다. 윈도우 조립체(1218)는, 실드(1202)가 사용자(1203) 및 웨어러블 장치(1200)의 다양한 구성요소들 중 1개 이상을 위해 적외광을 차단하는 동안 외부환경(12300)으로부터 방출된 적외광이 적외선 이미징 모듈(1204)에 도달하도록, 적외광에 대해 높은 투과성을 가지는 재료(예컨대, 실리콘 또는 다른 재료)로 만들어질 수 있다. 어떤 실시예들에서는, 윈도우 조립체(1218)는 원하는 파장 범위의 적외광만 통과하도록 적당한 재료로 도핑될 수 있다. 윈도우 조립체(1218)는 도 13c를 참조하여 본 명세서에서 추가로 설명되는 다양한 타입의 구조체에 따라 구현될 수 있다.

프로세서(1208)는 도 1의 프로세서(195)에 대해서 설명한 것과 같은 임의의 적당한 처리 장치로서 구현될 수 있다. 어떤 실시예들에서는, 프로세서(1208)의 전부 또는 일부는 적외선 이미징 모듈(1204) 및 프로젝터(1206) 중 1개 이상의 일부로서 구현될 수 있다.

프로세서(1208)는 적외선 이미징 모듈(1204)에 의해 캡처된 1개 이상의 열 이미지를 수신하고, 상기 열 이미지를 처리하여 외부환경(1230)의, 사용자가 볼 수 있는 열 이미지(예컨대, 서머그램(thermogram))를 생성한다. 일 실시예에서, 프로세서(1208)는 정보 및/또는 알람(예컨대, 온도 판독, 가스 검출 알람, 마스크 압력 판독 및 알람, 산소 탱크 판독 및 알람 등)을 생성하여 사용자가 볼 수 있는 이미지 위에 놓는다. 어떤 실시예들에서는, 프로세서(1208)는 2개 이상의 적외선 이미징 모듈(1204)로부터 1개 이상의 열 이미지를 수신하고, 상기 열 이미지들을 적당히 결합하여 그것으로부터 외부환경(1230)의, 사용자가 볼 수 있는 이미지(예컨대, 3차원 서머그램)를 생성한다.

프로젝터(1206)는 "피코(pico)" 또는 "마이크로(micro)" 프로젝터로 알려진 것들을 포함하는 임의의 적절한 소형 폼 팩터로 구현될 수 있다. 예를 들면, 일 실시예에서, 프로젝터(1206)는 이동전화기 또는 디지털 카메라와 같은 개인용 전자장치 내부에 실장되도록 충분히 작은 크기가 될 수 있다. 다양한 실시예에서, 프로젝터(1206)는 다양한 기술, 예컨대 디지털 광 처리(DLP: digital light processing), 실리콘 상의 액청(LCoS: liquid crystal on silicon), 레이저 빔 스티어링(LBS: laser beam steering), 홀로그램 레이저 투사(HLP: holographic laser projection), 및 상황에 따라 다른 기술에 의해 구현될 수 있다.

프로젝터(1206)는 사용자가 볼 수 있는 이미지를 실드(1202)의 내부면 위에 선택적으로 투사하도록 위치될 수 있다. 예를 들면, 프로젝터(1206)는 웨어러블 장치(1200)를 착용하고 있는 동안 사용자(1203)이 시선 내에 편안하게 들어오는 실드(1202)의 내부면의 전부 또는 일부 위에 사용자가 볼 수 있는 이미지를 투사하도록 켜질 수 있고, 사용자(1203)가 실드(1202)를 통해 깨끗한 시야를 원할 때는 꺼질 수 있다. 또한, 프로젝터(1206)로부터 빔의 방향은 사용자가 볼 때, 예컨대 실드(1202) 위에 투사된 이미지를 볼 때, 및 실드(1202)를 통해 외부환경(1230)을 동시에 볼 때 편안한 실드(1202)의 영역 위에 사용자가 볼 수 있는 열 이미지를 투사하도록 조정 가능하다. 반면, 종래의 고정식 디스플레이, 예컨대 고정된 LCD 스크린(예컨대, 스코프 또는 대물 렌즈를 통해 직접 볼 때)은 사용되지 않을 때조차도 사용자의 시야를 방해할 수 있으며, 사용자가 스크린의 위치를 조정하거나 외부환경으로부터의 가시광을 실시간으로 동시에 보는 것을 어렵게 할 수 있다.

다양한 실시예에서, 프로젝터(1206)는, 사용자가 볼 수 있는 이미지가 비스듬한 각도로 및/또는 실드(1202)의 굽은 표면 위에 투사되더라도 평탄하고 기하구조적으로 정학하게 보이도록, 실드(1202)의 표면 위에 투사된, 사용자가 볼 수 있는 이미지의 왜곡 보정을 수행하도록 설정될 수 있다. 어떤 실시예에서는, 프로젝터(1206)는 렌즈, 프리즘, 및 미러와 같은 광학 소자들을 사용하여 광학적으로 왜곡을 보정할 것이다.

프로젝터(1206)가 HLP 기술로 구현되는 실시예에서, 왜곡은 프로젝터(1206) 및 프로세서(1208)의 1개 이상에 의해 수행되는 적절한 동작을 통해 보정될 것이다. 이와 관련하여, 그와 같은 HLP 기술은 이미지 자체 대신에 이미지의 간섭 패턴 또는 회절 패턴을 생성하기 위해 홀로그램 프로세스를 실행할 수 있으며, 집속된 레이저 빔은 광학 소자에 의존하지 않고 원하는 대로 광을 조향하기 위해 그와 같은 간섭 패턴을 통해 투사될 수 있다.

어떤 실시예에서는, 프로젝터(1206)는 전술한 바와 같이 외부환경의, 사용자가 볼 수 있는 입체 이미지를 제공하기 위해 2개 이상의 광빔을 투사하도록 설정될 수 있다. 프로젝터(1206)는 HLP 기술을 사용하여 사용자가 볼 수 있는 3차원 이미지를 투사하도록 설정될 수 있다.

통신모듈(1212)은 웨어러블 장치(1200)의 다양한 구성요소들 사이의 내부 통신을 처리하도록 설정된다. 예를 들면, 적외선 이미징 모듈(1204), 프로젝터(1206), 및 기타 센서들과 같은 구성요소들은 통신모듈(1212)을 통해서 프로세서(1208) 사이에서 데이터를 송수신하며, 상기 통신모듈은 상기 다양한 구성요소들 사이의 유선 및/또는 무선 접속을 (예컨대, 독점 RF 링크를 통해 및/또는 IEEE 802.11 WiFi 표준 및 Bluetooth^TM과 같은 표준 무선 통신 프로토콜을 통해) 관리한다.

어떤 실시예에서는, 통신모듈(1212)은 웨어러블 장치(1200) 외부의 장치와의 통신을 처리하도록 추가로 설정될 수 있다. 예를 들면, 통신모듈(1212)은 프로세서(1208)에 의해 생성된 사용자가 볼 수 있는 이미지를 다른 웨어러블 장치 또는 모니터링 스테이션과의 사이에서 송수신하여 상기 사용자가 볼 수 있는 이미지가 공유될 수 있도록 한다. 또 다른 실시예에서, 통신모듈(1212)은 웨어러블 장치(1200)의 사용자들 사이의 무선통신과 같은 종래의 통신을 처리할 수 있다.

기타 구성요소들 및 하드웨어(1216)는 다양한 응용을 위해 요구될 수 있는 웨어러블 장치(1200)의 임의의 기능을 구현하기 위해 사용될 수 있다. 예를 들면, 기타 구성요소들은 다양한 센서, 음성 통신을 위한 마이크로폰 및 스피커, 타이머, 플래시라이트, 및 가시광 카메라를 포함할 수 있다. 기타 하드웨어는 마스크 프레임, 후드(hood), 스트랩(straps), 패스너(fasteners), 하네스(harness), 커넥터, 호스(hose), 및 웨어러블 장치(1200)의 특정 응용에서 요구될 수 있는 기타 다양한 하드웨어 및 보호용 장비 및 복장을 포함할 수 있다.

따라서, 웨어러블 장치(1200)는 외부환경(1230)으로부터 사용자의 얼굴의 전부 또는 일부를 보호하기 위해 실드(1202)를 포함하는 임의의 타입의 웨어러블 장치, 기기, 기어, 마스크, 헬멧, 의류 및/또는 복장으로서 구현될 수 있다.

도 13a 내지 도 13c는 본 발명의 실시예들에 따라 자급식 호흡장치(SCBA)(1300)로서 구현된 웨어러블 장치(1200)의 다양한 도면을 도시한다. 특히, 도 13a 및 도 13b는 본 발명의 실시예들에 따라 적외선 이미징 모듈(1304) 및 프로젝터(1306)를 구비하고 사용자(1203)에 의해 착용된 SCBA(1300)의 측면도 및 정면도를 각각 도시한다. 도 13c는 본 발명의 일 실시예에서 도 13b의 선(C-C')을 따라 취해진 SCBA(1300)의 윈도우 조립체(1318)의 단면도를 도시한다.

일 실시예에서, SCBA(1300)는 소방관이나 위험한 환경에서 작업하는 다른 응급요원에 의해 사용되는 안면 보호구로서 구현될 수 있다. 이와 관련하여, SCBA(1300)는 휴대용 공기 공급장치(예컨대, 1개 이상의 고압 공기 탱크)에 부착되도록 구현될 수 있으며 착용자의 얼굴을 위험한 외부환경으로부터 보호하는 동시에 공기 공급장치에의 흡입 연결부(예컨대, 마우스피스 또는 구비 덮개 및 호스 커텍터)를 추가로 포함할 수 있다. 또 다른 실시예에서, SCBA(1300)는 스쿠버(SCUBA: self-contained underwater breathing apparatus)로서 수중에서 사용하도록 구성될 수 있다.

SCBA(1300)는 실드(1302), 1개 이상의 적외선 이미징 모듈(1304), 프로젝터(1306), 프로세서(1308), 및 통신모듈(1312)를 포함할 수 있으며, 이것들 모두는 도 12를 참조하여 전술한 웨어러블 장치(1200)의 다양한 대응하는 구성요소들과 동일하거나 유사한 방식으로 구현될 수 있다.

SCBA(1300)는 실드(1302)가 밀폐 고정되는 마스크 프레임(1301)(도 12의 구조 부재(1201)에 대응함)을 추가로 포함할 수 있다. 마스크 프레임(1301)은 사용자의 얼굴 윤곽에 순응적으로 맞물리는 에지를 포함할 수 있으며, 따라서 사용자의 얼굴과 SCBA(1300)는 외부환경으로부터 실질적으로 밀폐되는 내부 공간을 형성한다. 어떤 실시예들에서는, SCBA(1300)의 내부 공간은 내부 누출을 방지하기 위해 양압(즉, 외부보다 SCBA(1300) 내부 압력이 더 높음)을 유지할 수 있다.

실드(1302)는 투명한 폴리머(예컨대, 폴리카보네이트)로 만들어지거나, 또는 열, 화염, 강한 적외선 및 자외선, 잔해, 및/또는 외부환경으로부터의 다른 유해 요소들에 대한 보호 장벽을 제공하는 동시에 사용자(1203)가 통해서 볼 수 있도록 하는 다른 유사한 적당한 재료로 만들어질 수 있다.

실드(1302) 또는 마스크 프레임(1301) 후방에 그리고 SCBA(1300)의 내부에 1개 이상의 적외선 이미징 모듈(1304)이 위치될 수 있다. 마찬가지로, SCBA(1300)d의 내부에(예컨대, 실드(1302) 후방에 및 마스크 프레임(1301) 후방 또는 내부에) 프로젝터(1306), 프로세서(1308), 통신모듈(1312), 및 기타 구성요소들이 놓일 수 있다. 따라서 이들 다양한 구성요소들은 SCBA(1300), 별도의 보호용 외부 하우징의 필요 없이, 자체의 실드(1302) 및 마스크 프레임(1301)에 의해 보호될 수 있음을 이해할 것이다. 또한 적외선 이미징 모듈(1304)은 크기 및 무게가 작기 때문에 상기 구성요소들을 SCBA(1300) 내부에 위치시키는 것이 가능하다. 반면, 종래의 적외선 카메라들은 보통 너무 크고 무겁기 때문에 그와 같이 위치시킬 수 없으므로, 무게와 크기를 한 층 더하는 별도의 보호용 하우징으로 구현되어야 하며, 사용자의 얼굴 또는 머리에 착용되는 장치에서 상기 카메라들은 적당하지 않게 된다. 또 다른 실시예에서, 1개 이상의 적외선 이미징 모듈(1304)은 SCBA(1304)에 놓이거나 그 외부에 부착된다.

실드(1302)는 대응하는 윈도우 조립체(1318)들에 의해 밀폐된 1개 이상의 개구(1317)를 포함할 수 있으며, 상기 윈도우 조립체(1318)들은 마스크 프레임(1301) 후방, 마스크 프레임(1301) 내부, 및실드(1302) 후방 중 한 곳 이상에 위치된 대응하는 적외선 이미징 모듈(1304)들까지 적외선 복사를 통과시킬 수 있다.

일 실시예에서, 그와 같은 윈도우 조립체(1318)는 윈도우(1319) 및 프레임(1320)을 포함할 수 있다. 윈도우(1319)는 적외선 복사를 통과시키도록 구성된다. 예를 들면, 윈도우(1319)는 실리콘 및/또는 적외선 복사를 통과시키기에 적당한 다른 재료를 포함할 수 있다. 프레임(1320)은 윈도우(1319)를 유지하고 윈도우(1319)로 개구(1317)를 밀폐한다. 또 다른 실시예에서, 윈도우 조립체(1318)는 프레임(1320) 없이 윈도우(1319) 단독으로 구현될 수 있다. 또 다른 실시예에서, 적외선 이미징 모듈(1304)은 윈도우 조립체(1318)에 의해 밀폐가 이루어지지 않으면 외부환경에 사용자가 노출되는 것을 방지하기 위해(예컨대, 가스, 액체, 복사, 및/또는 다른 요소들이 SCBA(1300) 내부로 내부 누출되는 것을 방지하기 위해) 개구(1317)를 밀폐하도록 구성된다.

도 12의 프로젝터(1206)를 참조하여 전술한 것과 같이, 프로젝터(1306)는 예를 들어, 사용자가 볼 수 있는 투사된 열 이미지(1340) 및 드(1302)를 통한 외부환경을 사용자(1203)가 동시에 볼 수 있도록 사용자가 볼 수 있는 투사된 열 이미지(1340)의 위치를 사용자로 하여금 선택적으로 온/오프시키고 조정하도록 할 수 있다. 왜곡 보정은, 전술한 것과 같이, 실드(1302)의 굽은 표면 위에 투사되거나 비스듬한 각도로 투사되는, 사용자가 볼 수 있는 열 이미지(1340)에 대해 프로젝터(1306) 및 프로세서(1308) 중 1개 이상에 의해 수행될 수 있다. 다른 실시예에서, 프로젝터(1306는 실드(1302)의 바깥면과 실드(1302)의 표면의 도금된 부분 중 1개 이상의 위에 사용자가 볼 수 있는 열 이미지(1340)를 투사할 수 있다.

따라서, SCBA(1300)는 사용자(1203)(예컨대, 소방관, 응급요원, 다이버, 또는 외부환경으로부터 보호를 위해 SCBA(1300)를 착용하는 누구든지)가 편안하게 사용자가 볼 수 있는 열 이미지(1340)를 볼 수 있도록 하며, 상기 열 이미지(1340)는 사용자(1203)가 육안으로 또는 CCD-기반 또는 CMOS-기반 센서를 통해 볼 수 있는 것보다 외부환경에 대해 더 많은 것을 인식하도록 도와주며, 동시에 사용자의 얼굴과 다양한 구성요소들을 보호하기도 한다(예컨대, 크기 무거운 보호용 외부 하우징의 필요 없이 적외선 이미징 모듈(1304), 프로젝터(1306), 프로세서(1308) 등을 보호함).

도 14a 및 도 14b는 본 발명의 다양한 실시예들에 따라 용접 마스크(1400, 1401)로서 구현된 웨어러블 장치(1200)의 측면도이다. 용접 마스크(1400, 1401)는 사용자(1203)에 의해 착용되고, 실드(1402), 1개 이상의 적외선 이미징 모듈(1404), 프로젝터(1406) 및 프로세서(1408)를 포함하며, 이것들 모두는 전술한 웨어러블 장치 및 SCBA(1300)의 대응하는 다양한 구성요소들과 동일하거나 유사한 방식으로 구현될 수 있다. 도 14a의 용접 마스크(1400)에서, 프로젝터(1406)는 상측에 탑재되며 실드(1402)는 사용자가 볼 수 있는 개구부가 없다. 도 14b의 용접 마스크(1401)에서, 프로젝터(1406)는 하측에 탑재되며 실드(1402)는 사용자가 볼 수 있는 개구부(1405)를 가진다.

실드(1402)는 용접 동안에 발생될 수 있는 열, 스파크, 및 다른 잔해뿐만 아니라 강한 빛(예컨대, 적외선 및 자외선을 포함)으로부터 사용자의 얼굴을 보호하기 위해 불투명하거나 실질적으로 투명하지 않은 1개 이상의 내구성 재료 층으로 만들어질 수 있다. 도 14b의 실시예에서, 투시 윈도우(1405)는 사용자(1203)에게 여전히 시야를 제공하면서 사용자의 눈에 도달하는 빛의 강도를 감쇠시키기 위해 (예컨대, 엷게 색조 처리된(tinted) 유리 시트, 편광 렌즈, 자동 LCD 셔터, 또는 다른 적절히 엷게 색조 처리된 재료를 사용하여) 엷게 색조 처리될 수 있다.

도 12 및 도 13a 내지 도 12c를 참조하여 설명한 것과 같이, 다양한 구성요소들이 용접 마스크(1400, 1401)의 실드(1402)에 의해 보호될 수 있다. 도 14b에 도시한 것과 같이, 실드(1402)는 윈도우 조립체(1418)로 밀폐된 1개 이상의 개구(1417)를 포함하여, 상기 개구(1417)를 통해 적외광을 실드(1402)의 내부에 위치하는 대응하는 적외선 이미징 모듈(1404)까지 통과시킬 수 있으며, 상기 윈도우 조립체(1418)는 전술한 윈도우 조립체(1218, 1318)와 동일하거나 유사한 방식으로 구현될 수 있다.

프로젝터(1406)는, 도 14a 및 도 14b에 도시한 것과 같이, 사용자가 편안히 볼 수 있는 실드(1402)의 표면의 일부 위에 사용자가 볼 수 있는, 용접 환경의 열 이미지를 투사하도록 구성될 수 있다. 또한 실드(1402)의 표면은 원한다면 투시 윈도우(1405)의 표면을 포함할 수도 있다.

사용자가 볼 수 있는 열 이미지(1440)는, 용접시 발생되는 눈부시게 강한 가시광 복사가 실질적으로 보이지 않기 때문에, 사용자(1203)가 용접 장면을 더욱 잘 식별하도록 도울 수 있다. 도 12를 참조하여 전술한 것과 같이, 적외선 이미징 모듈(1404) 및 프로세서(1408) 중 1개 이상은, 용접 장면에서의 적외선 강도 및 오도 레벨에 바람직하게 조정되는 사용자가 볼 수 있는 열 이미지(1440)를 생성하기 위해, 자동 노출 제어를 제공하도록 구성된다. 노출-조정된 사용자가 볼 수 있는 열 이미지(1440)는 상기 적외선 강도 및 온도 레벨이 변할 때(예컨대, 사용자(1203)가 적당한 용접 장비의 용접 팁을 조정하기 위해 용접 아크를 끌 때)에도 용접 장면의 선명한 뷰를 제공하며, 따라서 사용자(1203)는 더 잘 보기 위해 용접 마스크(1400, 1401)를 올리거나, 치우거나, 아니면 조정할 필요 없이 용접 장면을 볼 수 있다.

또한, 프로세서(1408)는 실드(1402)의 표면 위에 투사되는 사용자가 볼 수 있는 열 이미지(1440) 위에 온도 판독 및/또는 온도 눈금을 오버레이(overlay)하도록 구성될 수 있다. 그와 같은 온도 판독 및/또는 온도 눈금은 용접 아크 및/또는 용접 풀(pool)의 온도가 용접 작업에 적합한지 판정하는 것을 도울 수 있다.

따라서, 용접 마스크(1400, 1401)는 용접 환경의 위험한 요소로부터 용접 마스크(1400, 1401)의 다양한 요소들뿐만 아니라 용접공의 얼굴을 보호하는 동시에, 용접 재료의 온도 판독과 같은 유용한 정보와 함께 용접 환경을 더욱 선명하게 볼 수 있게 하고 그렇지 않으면 볼 수 없는 대상(예컨대, 가스 누출)을 볼 수 있도록 하는 사용자가 볼 수 있는 열 이미지(1440)를 용접공에게 제시한다.

도 15는 본 발명의 일 실시예에 따른 웨어러블 장치(1200) 위에 사용자가 볼 수 있는 열 이미지를 제시하는 프로세스를 도시한다. 이와 관련하여, 도 15의 프로세스는 일반적으로 웨어러블 장치(1200)에 적용되며 SCBA(1300), 용접 마스크(1400/1401), 및 다른 적당한 응용들과 같은 웨어러블 장치(1200)의 특정한 예들에도 역시 적용될 수 있다.

단계 1502에서, 사용자(1203)는 외부환경(1230)으로부터 사용자의 얼굴의 전부 또는 일부를 보호하도록 구성된 실드(1202, 1302, 1402)를 가진 웨어러블 장치(1200)를 착용한다. 예를 들면, 소방관은 불로부터 얼굴을 보호하기 위해 SCBA(1300)를 착용하고, 다이버는 수중에 다이빙할 때 SCBA(1300)를 착용하며, 용접공은 위험한 용접 환경으로부터 얼굴을 보호하기 위해 용접 마스크(1400, 1401)를 착용할 수 있다.

단계 1504에서, 외부환경(1230)의 1개 이상의 열 이미지가 1개 이상의 적외선 이미징 모듈(1204, 1304, 1404)에 의해 캡처될 수 있다. 상기 1개 이상의 열 이미지들은 예를 들면 프로세서(1208, 1308, 1408)에서 수신될 수 있으며, 상기 프로세서(1208, 1308, 1408)는 1개 이상의 적외선 이미징 모듈(1204, 1304, 1404)에 유선 또는 무선 링크를 통해 통신가능하게 여결된다. 단계 1506에서, 예를 들면 전술한 다양한 NUC 기술에 의해 상기 열 이미지로부터 노이즈를 제거하기 위해 NUC 프로세스가 수행될 것이다.

단계 1508에서, 프로세서(1208, 1308, 1408)에 의해 상기 열 이미지로부터 사용자가 볼 수 있는 이미지(예컨대, 서머그램)가 생성된다. 단계 1508에서, 다양한 실시예에 있어서, 추가 정보 및/또는 알람이 프로세서(1208, 1308, 1408)에 의해 상기 사용자가 볼 수 있는 이미지 위에 놓일 수 있다. 또한 단계 1508에서, 만일 프로세서(1208, 1308, 1408)가 2개 이상의 적외선 이미징 모듈(1204, 1304, 1404)로부터 1개 이상의 열 이미지를 수신하도록 구성된다면, 외부환경(1230)의 사용자가 볼 수 있는 입체 이미지가 프로세서(1208, 1308, 1408)에 의해 생성될 것이다.

단계 1510에서, 프로젝터(1206, 1306, 1406) 및/또는 프로세서(1208, 1308, 1408)에 의해 상기 사용자가 볼 수 있는 이미지에 대해 왜곡 보정이 수행된다. 예를 들면, 프로젝터(1206, 1306, 1406)는, 굽은 표면 위에 투사되거나 비스듬한 각도로 투사되는 상기 사용자가 볼 수 있는 이미지의 왜곡을, 광학적으로 보정할 수 있다. 또 다른 예에서, 프로젝터(1206, 1306, 1406) 및/또는 프로세서(1208, 1308, 1408)는 그와 같은 왜곡을 간섭/회절 패턴에 기초하여 프로젝터(1206, 1306, 1406)를 위한 적절한 홀로그램 프로세스를 사용하여 계산으로 보정할 수 있다.

단계 1512에서, 상기 보정된 사용자가 볼 수 있는 이미지는 웨어러블 장치(1200), SCBA(1300) 또는 용접 마스크(1400)을 착용한 사용자가 볼 수 있도록 프로젝터(1206, 1306, 1406)에 의해 실드(1202, 1302, 1402)의 표면 위에 투사된다. 상기 사용자가 볼 수 있는 이미지는, 예를 들면 투사된 이미지와 실드(1202, 1302, 1402)를 통한 외부환경을 사용자가 동시에 보기에 편안한 실드(1202, 1302, 1402)의 영역 위에 투사될 수 있다.

경우에 따라서는, 본 명세서에 의해 제공된 다양한 실시예들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 사용하여 구현될 수 있다. 또한 경우에 따라서는, 본 명세서에서 제시된 다양한 하드웨어 구성요소 및/또는 소프트웨어 구성요소는 본 발명의 사상을 벗어나지 않으면서 소프트웨어, 하드웨어 및/또는 양자를 포함하는 합성 구성요소로 결합될 수 있다. 경우에 따라서는, 본 명세서에서 제시된 다양한 하드웨어 구성요소 및/또는 소프트웨어 구성요소는 본 발명의 사상을 벗어나지 않으면서 소프트웨어, 하드웨어 및/또는 양자를 포함하는 세부-구성요소로 분리될 수 있다. 또한, 경우에 따라서는, 소프트웨어 구성요소는 하드웨어 구성요소로서 구현될 수 있고, 그 반대의 경우도 가능할 것이다.

비-일시적 명령, 프로그램 코드, 및/또는 데이터와 같은 본 발명에 따른 소프트웨어는, 1개 이상의 기계에 의해 판독 가능한 비일시적 매체에 저장될 수 있다. 또한, 여기서 확인된 소프트웨어는 1개 이상의 범용 또는 전용 컴퓨터 및/또는 컴퓨터 시스템, 네트워크로 연결된 장치 등을 사용하여 구현될 수 있다. 여건이 된다면, 여기서 설명된 다양한 단계들의 순서는 여기서 설명된 기능들을 제공하기 위해 변경될 수 있고, 종합 단계로 결합될 수 있고, 및/또는 세부-단계들로 분할될 수 있다.

전술한 실시예들은 본 발명을 단지 예시하기 위한 것이며 한정하는 것은 아니다. 또한 본 발명의 원리에 따라서 다수의 수정 및 변경이 가능함을 인식해야 할 것이다. 따라서, 본 발명의 범위는 첨부되는 청구항들에 의해서만 한정된다.

Claims

외부환경으로부터 사용자의 얼굴의 전부 또는 일부를 보호하는 실드;
상기 외부환경의 열 이미지를 캡처하는 초점평면 어레이(FPA)를 포함하는 적외선 이미징 모듈;
상기 열 이미지를 상기 외부환경의 사용자가 볼 수 있는 이미지로 변환하는 프로세서; 및
상기 장치를 착용한 사용자가 볼 수 있도록 상기 사용자가 볼 수 있는 이미지를 상기 실드 위의 내부 표면에 투사하는 프로젝터를 포함하는, 웨어러블 장치.
제 1 항에 있어서,
상기 적외선 이미징 모듈은 상기 외부환경으로부터 상기 적외선 이미징 모듈을 보호하기 위해 상기 실드 후방에 위치되는, 웨어러블 장치.
제 2 항에 있어서,
상기 실드 내의 개구; 및
상기 개구를 밀폐하고 상기 외부환경으로부터의 적외선 복사를 상기 적외선 이미징 모듈까지 통과시키는 윈도우 조립체를 추가로 포함하는, 웨어러블 장치.
제 3 항에 있어서,
상기 윈도우 조립체는:
실리콘을 포함하고 상기 적외선 복사를 통과시키는 윈도우; 및
상기 윈도우를 유지하고, 상기 윈도우로 상기 개구를 밀폐하는 프레임을 포함하는, 웨어러블 장치.
제 3 항에 있어서,
상기 적외선 이미징 모듈은 상기 윈도우 조립체에 의해 밀폐가 이루어지지 않으면 사용자가 상기 외부환경에 노출되는 것을 방지하기 위해 상기 개구를 밀폐하는, 웨어러블 장치.
제 1 항에 있어서,
상기 장치는, 상기 실드에 밀폐 결합되고 사용자에 밀착되는 마스크 프레임을 추가로 포함하는 자급식 호흡장치(SCBA)이고,
상기 실드는 사용자가 상기 실드를 통해 상기 외부환경을 볼 수 있도록 상기 외부환경으로부터의 전부 또는 일부의 가시광을 통과시키는, 웨어러블 장치.
제 1 항에 있어서,
상기 장치는 용접 마스크이고,
상기 실드의 전부 또는 일부는 실질적으로 불투명하고 상기 외부환경으로부터의 가시광을 실질적으로 차단하는, 웨어러블 장치.
제 1 항에 있어서,
상기 적외선 이미징 모듈은 제1 적외선 이미징 모듈이고,
상기 열 이미지는 제1 열 이미지이고,
상기 장치는 상기 외부환경의 제2 열 이미지를 캡처하는 제2 적외선 이미징 모듈을 추가로 포함하고, 및
상기 사용자가 볼 수 있는 이미지는 상기 제1 및 제2 열 이미지에 기초한 상기 외부환경의 입체(stereoscopic) 이미지인, 웨어러블 장치.
제 1 항에 있어서,
상기 프로젝터는 상기 실드의 내부면의 형상 및 투사 각도 중 적어도 하나를 보상하기 위해 상기 사용자가 볼 수 있는 이미지의 왜곡 보정을 추가로 수행하는, 웨어러블 장치.
제 1 항에 있어서,
상기 프로젝터는 홀로그래피 프로젝터인, 웨어러블 장치.
제 1 항에 있어서,
상기 열 이미지는 상기 외부환경의 블러링(blurring)되지 않은 열 이미지이고,
상기 적외선 이미징 모듈은 상기 외부환경의 의도적으로 블러링된 열 이미지를 추가로 캡처하고, 및
상기 프로세서는 추가로, 상기 의도적으로 블러링된 열 이미지에 기초하여 복수의 비균일 보정(NUC) 조건을 결정하고, 상기 블러링되지 않은 열 이미지로부터 노이즈를 제거하기 위해 상기 NUC 조건을 상기 블러링되지 않은 열 이미지에 적용하고, 및 상기 블러링되지 않은 이미지를 상기 사용자가 볼 수 있는 이미지로 변환하는, 웨어러블 장치.
웨어러블 장치에 사용자가 볼 수 있는 이미지를 제시하는 방법에 있어서,
상기 웨어러블 장치의 적외선 이미징 모듈의 초점평면 어레이(FPA)에서, 외부환경의 열 이미지를 캡처하는 단계;
상기 열 이미지를 상기 외부환경의 사용자가 볼 수 있는 이미지로 변환하는 단계; 및
사용자가 볼 수 있도록 상기 사용자가 볼 수 있는 이미지를 상기 웨어러블 장치의 실드의 내부면 위에 투사하는 단계를 포함하고,
상기 실드는 상기 사용자가 상기 웨어러블 장치를 착용하는 동안, 상기 사용자의 얼굴의 전부 또는 일부는 보호하는, 방법.
제 12 항에 있어서,
상기 적외선 이미징 모듈은 상기 외부환경으로부터 상기 적외선 이미징 모듈을 보호하기 위해 상기 실드 후방에 위치되는, 방법.
제 13 항에 있어서,
상기 캡처 단계는 상기 실드 내 개구를 통해서 및 상기 개구를 밀폐하는 윈도우 조립체를 통해서 상기 외부환경으로부터의 적외선 복사를 수신하는 단계를 추가로 포함하는, 방법.
제 14 항에 있어서,
상기 윈도우 조립체는 실리콘을 포함하고 상기 적외선 복사를 통과시키는 윈도우; 및
상기 윈도우를 유지하고 상기 윈도우로 상기 개구를 밀폐하는 프레임을 포함하는, 방법.
제 14 항에 있어서,
상기 윈도우 조립체에 의해 밀폐가 이루어지지 않으면 사용자가 상기 외부환경에 노출되는 것을 방지하기 위해 상기 적외선 이미징 모듈에 의해 상기 개구를 밀폐하는 단계를 추가로 포함하는, 방법.
제 12 항에 있어서,
상기 장치는 자급식 호흡장치(SCBA)이고,
상기 방법은,
상기 장치의 마스크 프레임을 사용자에 밀착시키는 단계; 및
상기 실드를 통해 사용자가 상기 외부환경을 볼 수 있도록 상기 외부환경으로부터 전부 또는 일부의 가시광을 상기 실드를 통해 사용자까지 통과시키는 단계;를 추가로 포함하고,
상기 마스크 프레임은 상기 실드에 밀폐 결합되는, 방법.
제 12 항에 있어서,
상기 장치는 용접 마스크이고,
상기 실드의 전부 또는 일부는 실질적으로 불투명하고,
상기 방법은 상기 외부환경으로부터의 가시광을 상기 실드에 의해 실질적으로 차단하는 단계를 추가로 포함하는, 방법.
제 12 항에 있어서,
상기 적외선 이미징 모듈은 제1 적외선 이미징 모듈이고,
상기 열 이미지는 제1 열 이미지이고,
상기 방법은,
상기 웨어러블 장치의 제2 적외선 이미징 모듈에서 상기 외부환경의 제2 열 이미지를 캡처하는 단계를 추가로 포함하고,
상기 사용자가 볼 수 있는 이미지는 상기 제1 및 제2 열 이미지에 기초한 상기 외부환경의 입체 이미지인, 방법.
제 12 항에 있어서,
상기 실드의 내부면의 형상 및 투사 각도 중 적어도 하나를 보상하기 위해 상기 사용자가 볼 수 있는 이미지의 왜곡 보정을 추가로 수행하는 단계를 추가로 포함하는, 방법.
제 12 항에 있어서,
상기 투사 단계는 홀로그래피 프로젝터에 의해 수행되는, 방법.
제 12 항에 있어서,
상기 열 이미지는 블러링되지 않은 열 이미지이고,
상기 방법은,
상기 외부환경의 의도적으로 블러링된 열 이미지를 캡처하는 단계;
상기 의도적으로 블러링된 열 이미지에 기초하여 복수의 비균일 보정(NUC) 조건을 결정하는 단계;
상기 블러링되지 않은 열 이미지로부터 노이즈를 제거하기 위해 상기 NUC 조건을 상기 블러링되지 않은 열 이미지에 적용하는 단계; 및
상기 블러링되지 않은 이미지를 상기 사용자가 볼 수 있는 이미지로 변환하는 단계를 추가로 포함하는, 방법.
웨어러블 장치를 제조하는 방법에 있어서,
외부환경으로부터 사용자의 얼굴의 전부 또는 일부를 보호하는 실드를 제공하는 단계;
상기 실드에 대하여 적외선 이미징 모듈을 위치시키는 단계;
상기 실드에 대하여 프로젝터를 위치시키는 단계; 및
상기 적외선 이미징 모듈과 상기 프로젝터에 프로세서를 통신 가능하게 연결하는 단계를 포함하고,
상기 적외선 이미징 모듈은 사용자가 상기 장치를 착용하고 있는 동안 상기 외부환경의 열 이미지를 캡처하는 초점평면 어레이(FPA)를 포함하고,
상기 프로젝터는 사용자가 상기 장치를 착용하고 있는 동안 사용자가 볼 수 있도록 상기 실드의 내부면 위에 상기 외부환경의 사용자가 볼 수 있는 이미지를 투사하는, 웨어러블 장치 제조 방법.
제 23 항에 있어서,
상기 실드 내에 개구를 제공하는 단계; 및
상기 외부환경으로부터의 적외선 복사를 상기 적외선 이미징 모듈로 통과시키는 윈도우 조립체로 상기 개구를 밀폐하는 단계;를 포함하는, 웨어러블 장치 제조 방법.