KR20160105513A - 듀얼 밴드 영상화 센서를 갖는 부착장치 - Google Patents

듀얼 밴드 영상화 센서를 갖는 부착장치 Download PDF

Info

Publication number
KR20160105513A
KR20160105513A KR1020167021120A KR20167021120A KR20160105513A KR 20160105513 A KR20160105513 A KR 20160105513A KR 1020167021120 A KR1020167021120 A KR 1020167021120A KR 20167021120 A KR20167021120 A KR 20167021120A KR 20160105513 A KR20160105513 A KR 20160105513A
Authority
KR
South Korea
Prior art keywords
thermal
image
attachment device
imaging module
infrared
Prior art date
Application number
KR1020167021120A
Other languages
English (en)
Other versions
KR102418369B1 (ko
Inventor
퍼 엘름포스
미카엘 켄트
Original Assignee
플리어 시스템즈, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/US2013/078551 external-priority patent/WO2014106276A2/en
Priority claimed from US14/246,006 external-priority patent/US9674458B2/en
Priority claimed from US14/281,883 external-priority patent/US9900478B2/en
Priority claimed from US14/299,987 external-priority patent/US9083897B2/en
Priority claimed from PCT/US2014/059200 external-priority patent/WO2015051344A1/en
Application filed by 플리어 시스템즈, 인크. filed Critical 플리어 시스템즈, 인크.
Publication of KR20160105513A publication Critical patent/KR20160105513A/ko
Application granted granted Critical
Publication of KR102418369B1 publication Critical patent/KR102418369B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/0205—Mechanical elements; Supports for optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/025—Interfacing a pyrometer to an external device or network; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/0275—Control or determination of height or distance or angle information for sensors or receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/04—Casings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/07—Arrangements for adjusting the solid angle of collected radiation, e.g. adjusting or orienting field of view, tracking position or encoding angular position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/08—Optical arrangements
    • G01J5/0803—Arrangements for time-dependent attenuation of radiation signals
    • G01J5/0804—Shutters
    • G01J5/0834—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/08—Optical arrangements
    • G01J5/0846—Optical arrangements having multiple detectors for performing different types of detection, e.g. using radiometry and reflectometry channels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/08—Optical arrangements
    • G01J5/0893—Arrangements to attach devices to a pyrometer, i.e. attaching an optical interface; Spatial relative arrangement of optical elements, e.g. folded beam path
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/08—Optical arrangements
    • G01J5/0896—Optical arrangements using a light source, e.g. for illuminating a surface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/80—Calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0254—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets comprising one or a plurality of mechanically detachable modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • G01J2005/0048—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Radiation Pyrometers (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

모바일 폰 또는 다양한 포터블 전자 장치에 적외선 영상화 기능을 제공하며 탈착가능하게 부착하도록 구성된 부착 장치를 제공하기 위한 다양한 기술이 개시된다. 이 같은 부착 장치는 이미지를 캡쳐하고 처리하기 위해 적외선 영상화 모듈 그리고 부착 장치 내 비-열 영상화 모듈 그리고 부착 장치 내 광원 중 하나 이상과 협력하는 비-열 영상화 모듈을 포함할 수 있다.

Description

듀얼 밴드 영상화 센서를 갖는 부착장치{DEVICE ATTACHMENT WITH DUAL BAND IMAGING SENSOR}
본 발명 출원은 "듀얼 밴드 영상화 센서를 갖는 부착장치(DEVICE ATTACHMENT WITH DUAL BAND IMAGING SENSOR)"이라는 명칭으로 2014년 1월 5일 제출된 미국 가출원 61/923,732호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
본발명 출원은 "적외선 영상화 센서를 갖는 부착장치(DEVICE ATTACHMENT WITH INFRARED IMAGING SENSOR)"이라는 명칭으로 2014년 5월 19 제출된 미국 출원 4/281,883호의 CIP 출원이며, 그 전체를 원용한다.
본발명 출원은 "적외선 영상화 센서를 갖는 부착장치(DEVICE ATTACHMENT WITH INFRARED IMAGING SENSOR)"이라는 명칭으로 2013년 9월 27 제출된 국제출원 PCT/US2013/062433의 CIP 출원이며, 그 전체를 원용한다.
국제출원 PCT/US2013/062433은 "적외선 영상화 센서를 갖는 부착장치(DEVICE ATTACHMENT WITH INFRARED IMAGING SENSOR)"이라는 명칭으로 2013년 9월 20일 제출된 미국 가출원 61/880,827호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
국제출원 PCT/US2013/062433은 "적외선 영상화 센서를 갖는 부착장치(DEVICE ATTACHMENT WITH INFRARED IMAGING SENSOR)"이라는 명칭으로 2013년 5월 23일 제출된 미국 출원 13/901,428호의 CIP 출원이며, 그 전체를 원용한다.
미국 출원 13/901,428호는 "적외선 영상화 센서를 갖는 부착장치(DEVICE ATTACHMENT WITH INFRARED IMAGING SENSOR)"이라는 명칭으로 2012년 5월 25일 제출된 미국 가출원 61/652,075호를 우선권 주장의 기초로하며, 그 전체를 원용한다.
미국출원 13/901,428호는 "카메라가 있는 부착장치(DEVICE ATTACHMENT WITH CAMERA)"라는 명칭으로 2012년 5월 25 제출된 미국 출원 29/423,027호의 CIP 출원이며, 그 전체를 원용한다.
본발명 출원은 "셔터를 갖는 적외선 영상화 장치(INFRARED IMAGING DEVICE HAVING A SHUTTER)"라는 명칭으로 2013년 12월 31 제출된 PCT/US2013/78551의 CIP 출원이며, 그 전체를 원용한다.
국제출원 PCT/US2013/78551은 "셔터를 갖는 적외선 영상화 장치(INFRARED IMAGING DEVICE HAVING A SHUTTER)"라는 명칭으로 2013년 12월 31 제출된 미국 가출원 61/747,789를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
국제출원 PCT/US2013/78551은 "금속화 표면을 갖는 적외선 카메라 시스템 하우징(INFRARED CAMERA SYSTEM HOUSING WITH METALIZED SURFACE)"이라는 명칭으로 2013년 8월 13일 제출된 미국 출원 13/966,052의 CIP 출원이며, 그 전체를 원용한다.
미국출원 13/966,052는 "금속화 표면을 갖는 적외선 카메라 시스템 하우징(INFRARED CAMERA SYSTEM HOUSING WITH METALIZED SURFACE)"이라는 명칭으로 2012년 8월 14일 제출된 미국 가출원 61/683,124호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
본발명 출원은 "내구력 있는 콤팩트 멀티센서 관찰 디바이스(DURABLE COMPACT MULTISENSOR OBSERVATION DEVICES)"라는 명칭으로 2014년 10월 3일 제출된 PCT/US2014/59200의 CIP 출원이며, 그 전체를 원용한다.
국제출원 PCT/US2014/59200은 "저 파워 및 작은 폼 팩터 적외선 영상화(LOW POWER AND SMALL FORM FACTOR INFRARED IMAGING)"라는 명칭으로 2013년 12월 9일 제출된 미국 출원 14/101,245호의 CIP 출원이며, 그 전체를 원용한다.
미국출원 14/101,245는 "저 파워 및 작은 폼 팩터 적외선 영상화(LOW POWER AND SMALL FORM FACTOR INFRARED IMAGING)"라는 명칭으로 2012년 6월 8일 제출된 국제출원 PCT/US2012/041744의 계속 출원이며, 그 전체를 원용한다.
국제출원 PCT/US2012/041744는 "저 파워 및 작은 폼 팩터 적외선 영상화(LOW POWER AND SMALL FORM FACTOR INFRARED IMAGING)"라는 명칭으로 2012년 6월 7일 제출된 미국 가출원 61/656,889호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
국제출원 PCT/US2012/041744는 "적외선 영상화 장치를 위한 불-균일 교정 기술(NON-UNIFORMITY CORRECTION TECHNIQUES FOR INFRARED IMAGING DEVICES)"이라는 명칭으로 2011년 10월 7일 제출된 미국 가출원 61/545,056호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
국제출원 PCT/US2012/041744는 "적외선 카메라 패키징 시스템 및 방법(INFRARED CAMERA PACKAGING SYSTEMS AND METHODS)"이라는 명칭으로 2011년 6월 10일 제출된 미국 가출원 61/495,873호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
국제출원 PCT/US2012/041744는 "적외선 카메라 시스템 아키텍쳐(INFRARED CAMERA SYSTEM ARCHITECTURES)"라는 명칭으로 2011년 6월 10일 제출된 미국 가출원 61/495,879호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
국제출원 PCT/US2012/041744는 "적외선 카메라 캘리브레이션 기술(INFRARED CAMERA CALIBRATION TECHNIQUES)"이라는 명칭으로 2011년 6월 10일 제출된 미국 가출원 61/495,888호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
국제출원 PCT/US2014/59200은 "적외선 영상화 장치를 위한 불-균일 교정 기술(NON-UNIFORMITY CORRECTION TECHNIQUES FOR INFRARED IMAGING DEVICES)"이라는 명칭으로 2013년 12월 6일 제출된 미국 출원 14/099,818호의 CIP 출원이며, 그 전체를 원용한다.
미국 출원 14/099,818은 "적외선 영상화 장치를 위한 불-균일 교정 기술(NON-UNIFORMITY CORRECTION TECHNIQUES FOR INFRARED IMAGING DEVICES)"이라는 명칭으로 2012년 6월 8일 제출된 국제출원 PCT/US2012/041749의 계속 출원이며, 그 전체를 원용한다.
국제출원 PCT/US2012/041749는 "적외선 영상화 장치를 위한 불-균일 교정 기술(NON-UNIFORMITY CORRECTION TECHNIQUES FOR INFRARED IMAGING DEVICES)"이라는 명칭으로 2011년 10월 7일 제출된 미국 가출원 61/545,056호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
국제출원 PCT/US2012/041749는 "적외선 카메라 패키징 시스템 및 방법(INFRARED CAMERA PACKAGING SYSTEMS AND METHODS)"이라는 명칭으로 2011년 6월 10일 제출된 미국 가출원 61/495,873호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
국제출원 PCT/US2012/041749는 "적외선 카메라 시스템 아키텍쳐(INFRARED CAMERA SYSTEM ARCHITECTURES)"이라는 명칭으로 2011년 6월 10일 제출된 미국 가출원 61/495,879호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
국제출원 PCT/US2012/041749는 "적외선 카메라 캘리브레이션 기술(INFRARED CAMERA CALIBRATION TECHNIQUES)"이라는 명칭으로 2011년 6월 10일 제출된 미국 가출원 61/495,888호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
국제출원 PCT/US2012/041749는 "적외선 카메라 시스템 아키텍쳐(INFRARED CAMERA SYSTEM ARCHITECTURES)"라는 명칭으로 2013년 12월 9일 제출된 미국 출원 14/101,258호의 CIP 출원이며, 그 전체를 원용한다.
미국 출원 14/101,258은 "적외선 카메라 시스템 아키텍쳐(INFRARED CAMERA SYSTEM ARCHITECTURES)"라는 명칭으로 2012년 6월 8일 제출된 국제 출원 PCT/US2012/041739의 계속 출원이며, 그 전체를 원용한다.
국제출원 PCT/US2012/041739는 "적외선 카메라 패키징 시스템 및 방법(INFRARED CAMERA PACKAGING SYSTEMS AND METHODS)"이라는 명칭으로 2011년 6월 10일 제출된 미국 가출원 61/495,873호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
국제출원 PCT/US2012/041739는 "적외선 카메라 패키징 시스템 및 방법(INFRARED CAMERA PACKAGING SYSTEMS AND METHODS)"이라는 명칭으로 2011년 6월 10일 제출된 미국 가출원 61/495,873호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
국제출원 PCT/US2012/041739는 "적외선 카메라 캘리브레이션 기술(INFRARED CAMERA CALIBRATION TECHNIQUES)"이라는 명칭으로 2011년 6월 10일 제출된 미국 가출원 61/495,888호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
국제출원 PCT/US2014/59200은 "퓨젼을 갖는 콤팩트 멀티-스펙트럼 영상화(COMPACT MULTI-SPECTRUM IMAGING WITH FUSION)"라는 명칭으로 2013년 12월 21일 제출된 미국 출원 14/138,058호의 CIP출원이며, 그 전체를 원용한다.
미국 출원 14/138,058은 "퓨젼을 갖는 콤팩트 멀티-스펙트럼 영상화(COMPACT MULTI-SPECTRUM IMAGING WITH FUSION)"라는 명칭으로 2012년 12월 31일 제출된 미국 가출원 61/748,018호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
본 발명 출원은 "듀얼 센서 애플리케이션을 위한 적외선 카메라 시스템 및 방법(INFRARED CAMERA SYSTEMS AND METHODS FOR DUAL SENSOR APPLICATIONS)"이라는 명칭으로 2014년 6월 9일 제출된 미국 출원 14/299,987호의 CIP출원이며, 그 전체를 원용한다.
미국 출원 14/299,987은 "듀얼 센서 애플리케이션을 위한 적외선 카메라 시스템 및 방법(INFRARED CAMERA SYSTEMS AND METHODS FOR DUAL SENSOR APPLICATIONS)"이라는 명칭으로 2009년 6월 3일 제출된 미국 출원 12/477,828호의 CIP출원이며, 그 전체를 원용한다.
국제 출원 PCT/US2014/59200은 "타임 스페이스 적외선 이미지 인핸스먼트(TIME SPACED INFRARED IMAGE ENHANCEMENT)"라는 명칭으로 2013년 12월 21일 제출된 미국 출원 14/138,040호의 CIP출원이며, 그 전체를 원용한다.
미국 출원 14/138,040은 "타임 스페이스 적외선 이미지 인핸스먼트(TIME SPACED INFRARED IMAGE ENHANCEMENT)"라는 명칭으로 2013년 3월 15일 제출된 미국 가출원 61/792,582호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
미국 출원 14/138,040은 "타임 스페이스 적외선 이미지 인핸스먼트(TIME SPACED INFRARED IMAGE ENHANCEMENT)"라는 명칭으로 2012년 12월 26일 제출된 미국 가출원 61/746,069 호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
국제 출원 PCT/US2014/59200은 "퓨젼을 갖는 적외선 영상화 인핸스먼트(INFRARED IMAGING ENHANCEMENT WITH FUSION)"라는 명칭으로 2013년 12월 21일 제출된 미국 출원 14/138,052호의 CIP 출원이며, 그 전체를 원용한다.
미국 출원 14/138,052는 "퓨젼을 갖는 적외선 영상화 인핸스먼트(INFRARED IMAGING ENHANCEMENT WITH FUSION)"라는 명칭으로 2013년 3월 15일 제출된 미국 가출원 61/793,952호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
미국 출원 14/138,052는 또한 "퓨젼을 갖는 적외선 영상화 인핸스먼트(INFRARED IMAGING ENHANCEMENT WITH FUSION)"라는 명칭으로 2012년 12월 26일 제출된 미국 가출원 61/746,074호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
본 발명 출원은 "스마트 감시 카메라 시스템 및 방법(SMART SURVEILLANCE CAMERA SYSTEMS AND METHODS)"이라는 명칭으로 2014년 4월 4일 제출된 미국 출원 14/246,006호의 CIP 출원이며, 그 전체를 원용한다.
미국 출원 14/246,006는 "퓨젼을 갖는 적외선 해상도 및 콘트라스트 인핸스먼트(INFRARED RESOLUTION AND CONTRAST ENHANCEMENT WITH FUSION)"라는 명칭으로 2012년 4월 2일 제출된 미국 출원 13/437,645호의 CIP 출원이며, 그 전체를 원용한다.
미국 출원 13/437,645는 "퓨젼을 갖는 적외선 해상도 및 콘트라스트 인핸스먼트(INFRARED RESOLUTION AND CONTRAST ENHANCEMENT WITH FUSION)"라는 명칭으로 2011년 5월 11일 제출된 미국 출원 13/105,765호의 CIP 출원이며, 그 전체를 원용한다.
미국 출원 13/437,645는 "퓨젼을 갖는 적외선 해상도 및 콘트라스트 인핸스먼트(INFRARED RESOLUTION AND CONTRAST ENHANCEMENT WITH FUSION)"라는 명칭으로 2011년 4월 8일 제출된 미국 출원 61/473,207호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
미국 출원 13/437,645는 "퓨젼을 갖는 적외선 해상도 및 콘트라스트 인핸스먼트(INFRARED RESOLUTION AND CONTRAST ENHANCEMENT WITH FUSION)"라는 명칭으로 2010년 4월 23일 제출된 미국 출원 12/766,739호를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
미국 출원 13/105,765는 "퓨젼을 갖는 적외선 해상도 및 콘트라스트 인핸스먼트(INFRARED RESOLUTION AND CONTRAST ENHANCEMENT WITH FUSION)"라는 명칭으로 2011년 4월 21일 제출된 국제 출원 PCT/EP2011/056432호의 계속 출원이며, 그 전체를 원용한다.
미국 출원 13/105,765는 미국 출원 12/766,739의 CIP 출원이며, 그 전체를 원용한다.
국제 출원 PCT/EP2011/056432는 미국 출원 12/766,739의 CIP 출원이며, 그 전체를 원용한다.
국제 출원 PCT/EP2011/056432는 미국 가출원 61/473,207를 우선권 주장의 기초로 하며, 그 전체를 원용한다.
본 발명 출원은 "열 이미지 내 행렬 노이즈 감소(ROW AND COLUMN NOISE REDUCTION IN THERMAL IMAGES)"라는 명칭으로 2013년 9월 17일 제출된 미국 출원 14/029,716호의 CIP 출원이며, 그 전체를 원용한다.
미국 출원 14/029,716은 "열 이미지 내 행렬 노이즈 감소(ROW AND COLUMN NOISE REDUCTION IN THERMAL IMAGES)"라는 명칭으로 2012년 12월 21일 제출된 미국 가출원 61/745,489호를 우선권 주장의 기초로하며, 그 전체를 원용한다.
미국 출원 14/029,716은 "열 이미지 내 픽셀-와이즈 잡음 감소(PIXEL-WISE NOISE REDUCTION IN THERMAL IMAGES)"라는 명칭으로 2012년 12월 21일 제출된 미국 가출원 61/745,504호를 우선권 주장의 기초로하며, 그 전체를 원용한다.
미국 출원 14/029,716은 "적외선 이미지를 처리하기 위한 시스템 및 방법(SYSTEMS AND METHODS FOR PROCESSING INFRARED IMAGES)"이라는 명칭으로 2012년 9월 18일 제출된 미국 출원 13/622,178호의 CIP출원이며, 그 전체를 원용한다.
미국 출원 13/622,178은 "적외선 이미지를 처리하기 위한 시스템 및 방법(SYSTEMS AND METHODS FOR PROCESSING INFRARED IMAGES)"이라는 명칭으로 2012년 6월 21일 제출된 미국 출원 13/529,772호의 CIP출원이며, 그 전체를 원용한다.
미국 출원 13/529,772는 "적외선 이미지를 처리하기 위한 시스템 및 방법(SYSTEMS AND METHODS FOR PROCESSING INFRARED IMAGES)"이라는 명칭으로 2009년 3월 2일 제출된 미국 출원 12/396,340호의 계속 출원이며, 그 전체를 원용한다.
본 발명의 하나 이상의 실시 예는 적외선 영상화 장치에 대한 것이며, 특히 포터블 장치를 위한 적외선 영상화 장치에 대한 것이고, 적외선 영상화 장치를 사용하는 멀티-스펙트럼 영상화를 위한 시스템 및 방법에 대한 것이다.
스마트 폰, 셀 폰, 태블릿 디바이스, 포터블 미디어 플레이어, 포터블 게임 디바이스, 디지털 카메라, 그리고 랩탑 컴퓨터와 같은, 다앙한 종류의 포터블 전자 장치가 널리 사용되고 있다. 이들 장치는 사용자가 정지 사진 또는 비디오 클립을 찍도록 하는 가시광선 이미지 센서 또는 카메라를 포함한다.
이 같이 내장된 카메라의 인기를 증가시키기 위한 한 가지 이유는 모바일 폰 그리고 다른 포터블 전자 장치의 유비쿼터스 특징이다. 즉, 사용자는 모바일 폰 그리고 다른 포터블 전자 장치를 지니고 다니며, 그와 같이 내장된 카메라는 사용자가 필요할 때 항상 가까이 있게된다.
인기를 증가시키는 또 다른 이유는 모바일 폰 및 다른 포터블 전자 장치를 사용하여, 증가된 처리 파워, 저장 용량, 및/또는 디스플레이 기능이 존재하여서 충분히 빠른 캡쳐링, 처리 및 품질 이미지 저장을 허용하도록 한다는 것이다.
그러나 이들 포터블 전자 장치에서 사용된 이미지 센서는 대개 CCD-기반 또는 CMOS-기반 센서이며 가시광선 이미지 캡쳐링이 제한된다. 따라서, 이들 센서는 가시광선에 근사한(예를들면 , 물체가 근 적외선 내 광선으로 조명되는 때에는 근적외선 스펙트럼) 매우 제한된 범위의 가시광선 또는 파장만을 검출할 수 있을 뿐이다. 결과적으로, 포터블 전자 장치 폼팩터 내 적외선 영상화 기능을 제공하기 위한 기술이 필요하다.
다양한 기술이 모바일 폰 또는 다른 포터블 전자 디바이스로 탈착가능하게 부착되어 적외선 영상화 기능을 제공하도록 구성된 부착 장치를 제공하기 위한 다양한 기술이 개시된다. 예를들면 , 부착 장치는 사용자 디바이스를 적어도 부분적으로 수용하도록 형상이 만들어지며 후방 표면에서 부분적인 인클로져(예를들면 , 터브 또는 커트아웃)를 갖는 하우징, 하우징 내에 비치되며 적외선 이미지 데이터 및 가시광선 이미지 데이터를 캡쳐하도록 구성된 멀티-파장 이미지 센서, 그리고 멀티-파장 센서 어셈블리에 통신할 수 있도록 연결되고 적외선 이미지 데이터 및/또는 가시광선 이미지 데이터를 사용자 디바이스로 전송하도록 구성된 처리 모듈을 포함할 수 있다.
부착 장치는 이미지 데이터를 캡쳐하고 처리하기 위해 스마트폰과 같은 부착된 디바이스의 하나 이상의 컴포넌트와 협동하도록 구성된다. 가령, 부착 장치로 부착된 스마트 폰에 추가의 가시광선 카메라가 사용되어 부착 장치 내에 가시광선 이미지 센서를 사용하여 캡쳐된 가시광선 이미지와 함께, 사용될 수 있는 추가의 가시광선 이미지를 캡쳐하도록 사용되며, 두 가시광선 이미지 센서 사이에서 물체의 시차를 사용하여 장면 내 물체 까지의 거리를 측정하도록 한다.
측정된 거리는 가시광선 영상화 모듈로부터 가시광선 이미지와 적외선 이미지 센서로부터 적외선 이미지를 정렬하고 결합하도록 사용될 수 있다. 또 다른 예로서, 부착 장치에 부착된 스마트 폰은 결합된 적외선 및 가시광선 이미지에서 사용하기 위해 부착 장치 내 영상화 모듈에 의해 영상화 되도록 장면의 일부 또는모두를 조명하도록 동작될 수 있다.
타이머가 사용되어 언제 부착 장치 내 열 영상화 모듈이 이미지된 물체의 캘리브레이트된 온도를 결정하기 위해 사용되는 되는 가를 결정하도록 한다.
본 발명의 범위는 청구범위에 의해 정해진다. 본 발명 실시의 더욱 완전한 이해는 하나 이상의 실시 예에 대한 다음 상세한 설명으로부터 제공될 수 있다. 도면에 대한 설명이 먼저 간단히 제공된다.
도 1은 본발명 실시예에 따른 부착 장치의 정면 사시도.
도 2는 본발명 실시예에 따라, 부착장치의 슬라이더 모듈을 도시한 도면.
도 2는 본발명 실시예에 따른 부착 장치의 후방 사시도.
도 4는 본 발명의 실시 예에 따라 부착 장치 및 부착된 디바이스로부터의 비-열 이미지 데이터가 부착 장치로부터 비-열 및 열 이미지 데이터를 어떻게 통합하는 가를 도시하는 부착 자치 및 부착된 디바이스를 도시한 도면.
도 5는 본 발명의 실시 예에 따라 부착 장치로부터 비-열 및 열 이미지 데이터를 통함에 있어 부착 장치 및 부착된 장치로부터의 비-열 이미지 데이터를 사용하기 위한 다양한 동작에 대한 흐름도.
도 6은 본 발명의 실시 예에 따라 부착 장치로부터 비-열 및 열 이미지 데이터를 통합함에 있어 나중 사용을 위해 부착 장치와 부착된 디바이스로부터 비-열 이미지 데이터를 캘리브레이팅하기 위한 다양한 동작에 대한 흐름도.
도 7은 본 발명의 실시 예에 따라 캘리브레이트된 이미지-기반 온도가 결정될 수 있는 가를 결정하기 위해 캘리브레이션 이후 시간을 사용하기 위한 다양한 동작에 대한 흐름도.
도 8은 본 발명의 실시 예에 따라 한 장면의 영상화를 향상기키기 위해 다양한 동작의 흐름도를 도시한 도면.
도 9는 본 발명의 실시 예에 따라 사용자 입력에 기초한 한 장면의 영상화를 향상시키기 위한 다양한 동작에 대한 흐름도.
본 발명의 실시 예 그리고 이들이 장점이 다음의 상세한 설명으로부터 잘 이해될 것이다. 여러 도면에서 유사 부분은 유사 도면 부호를 사용하여 표기한다.
도 1 및 2와 관련하여, 적외선 영상화 모듈(7000) 및 비-열 카메라 모듈(7002)을 갖는 부착 장치(1250)이 도시된 다양한 도면이 도시된다. 적외선 영상화 모듈(7000)과 같은 적외선 이미지 센서는 절대 온도 0도 이상의 온도를 갖는 모든 물체로부터 방출되는 열 에너지 방사선의 이미지를 캡쳐할 수 있으며, 따라서 사람의 신체 온도 비정상(가령, 질병을 검출하기 위해), 눈으로 볼 수 없는 가스를 검출하거나, 누수 구조 및 손상된 절연을 검사하거는 것과 같이, 적외선 검사가 유용한 정보를 제공하는, 광선 세기가 낮은 또는 전혀 없는 조건에서 볼 수 있도록 함을 포함하는 다양한 상황에서 유용하게 사용될 수 있는 적외선 이미지(가령, 서모그램)를 발생하도록 사용될 수 있다.
부착 장치(1250)는 사용자 디바이스(1200)와 같은 적절한 전자 장치를 수용하도록 구성될 수 있다. 도 1의 실시 예에서, 부착 장치의 후방 사시도는 애플 사의 디바이스(스마트폰)(1200)(예를들면 , iPhone™ 디바이스, iPad™ 디바이스, 또는 iPod Touch™ 디바이스)를 수용하기 위한 형상을 가짐을 도시한다. 그러나 이 같은 실시는 설명 목적을 갖는 것에 불과한다. 이 같은 부착 장치(1250)는 필요에 따라 삼성 전자로부터의 디바이스(예를들면 , Galaxy Tab™ 디바이스, 다른 Galaxy™ 디바이스, 또는 삼성전자로부터의 다른 디바이스) 또는 다른 제조사로부터의 스마트폰, 태블릿 또는 포터블 전자장치를 수용하는 데 적합한 형상을 가질 수 있다.
도 1에서 도시한 바와 같이, 부착 장치(125)는 디바이스 카메라(101)(예를들면 , 가시광선 카메라 모듈과 같은 비-열 카메라 모듈)가 이를 통해 이미지를 캡쳐할 수 있는 카메라 윈도우(1240)를 포함하며, 디바이스 광원(103)(예를들면 , 카메라 플래시 또는 플래시 라이트)이 장면의 일부 또는 전부를 조명할 수 있고, 디바이스(1200)의 다른 센서(105)가 라이트를 수신하거나 방출할 수 있다. 부착 장치(1250)는 적외선 영상화 모듈(imaging module)(7000) 그리고 비-열 카메라 모듈(7002)과 같은 다수의 영상화 컴포넌트를 포함하며, 배터리(1208)와 같은 하나 이상의 내부 전자 컴포넌트 또는 처리기와 같은 다른 내부 컴포넌트, 또는 통신 컴포넌트(일례로서)를 포함한다.
필요에 따라, 부착 장치(1250)는 또한 사용자 동작가능 셔터와 같은 기계적인 셔터를 포함할 수 있다. 사용자 동작가능 셔터는 버튼(7004)을 슬라이딩함에 의해 버튼(7004)에 부착된 내부 셔텨 멤버와 함께 영상화 컴포넌트(7000, 7002)를 선택적으로 차단하거나 차단하지 않도록, 부착 장치의 사용자에 의해 이동될 수 있다.
도 2는 오프닝(252, 254)을 갖는 셔터 멤버(250) 그리고 버튼(7004)을 갖는 슬라이더 어셈블리(248)의 사시도이다. 버튼(7004)은 도 1의 영상화 모듈(7000, 7002) 정면에서 오픈닝(252, 254)을 선택적으로 이동시키기 위해, 화살표(256)로 표시된 방향을 따라 셔터 멤버(250)를 푸시하도록 사용될 수 있다. 오픈닝(252, 254)이 영상화 모듈(7000, 7002) 정면에 있는 때, 영상화 모듈(7000, 7002)은 이미지 캡쳐 동작을 위해 오픈닝(252, 254)을 통하여 장면으로부터 빛을 수신할 수 있다. 셔터 멤버(250)의 일부가 영상화 모듈(7000, 7002)을 차단하도록 버튼(7004)이 이동되는 때, 장면으로부터의 광선영상화 모듈(7000, 7002)에 도달하지 못하도록 차단된다. 실시 예에서, 버튼(7004)은 부착 장치(1250)에 전원을 공급하거나 차단하도록 구성되며 영상화 컴포넌트(7000, 7002)를 차단하거나 차단하지 않도록 셔터 멤버(250)를 이동시킨다.
실시 예에서, 셔터 멤버가 사용되어, 사용하지 않는 때 영상화 컴포넌트(7000)를 보호하도록 한다. 셔터(250)는 또한 당업자라면 알 수 있는 바와 같이, 적외선 영상화 모듈(7000)을 위한 캘리브레이션 처리(예를들면 , '방사선 캘리브레이션 처리'라는 명칭으로 2013년 12월 6일 출원된 미국 출원 14/099,818 에서 설명한 바와 같은, 불균일 교정(NUC) 처리 또는 다른 캘리브레이션 처리)의 일부로서 온도 기준으로서 사용될 수 있기도 하다. 부착 장치(1250)는 전방 부분(7007) 그리고 후방 부분(7009)을 포함한다. 전방 부분(7007)은 배터리, 커넥터, 영상화 컴포넌트, 처리기, 메모리, 통신 컴포넌트, 및/또는 본원 명세서에서 설명되는 부착 장치의 다른 컴포넌트와 같은 부착 장치의 기능 컴포넌트를 포함하는 하우징으로부터 형성된다. 후방 부분(7009)은 사용자 장치(1200)가 탈착가능하도록 부착될 수 있도록 구성된 리세스를 형성하는 형상을 갖는 하우징 부분일 수 있다.
도 3는 디바이스를 적어도 부분적으로 둘러싸는 후방 벽 그리고 적어도 하나의 측벽으로부터 형성된 부착 장치를 위해 하우징 내 리세스 속으로 디바이스를 삽입함에 의해, 디스플레이(201)를 갖는 애플 사의 사용자 디바이스(1200)가 어떻게 탈착가능하게 부착되는 가를 도시하는, 도 1의 부착 장치 정면 사시도이다.
부착 장치(1250)는 부탁되는 때 사용자 디바이스(1200)로 그리고 이로부터 다양한 신호 및/또는 전기적 파워를 주고 받는 디바이스 커넥터(8012)를 포함한다. 디바이스 커넥터는 사용자 디바이스(1200)의 대응하는 디바이스 커넥터 리셉터클 또는 소켓과 적절히 정렬된 위치에 배치되어서, 부착 장치(1250)가 사용자 디바이스(1200)에 부착되는 때 디바이스 커넥터가 사용자 디바이스(1200)의 대응하는 디바이스 커넥터 리셉터클 또는 소켓에 속박될 수 있도록한다. 예를 들면, 사용자 디바이스(1200)에 저부 측면 표면상에 커넥터 리셉터클이 장치되면, 장치 커넥터는 부착 장치(1250)의 저부 측면 벽 상의 적절한 위치에 위치할 수 있다. 장치 커넥터는 또한 사용자 디바이스(1200)를 지지하고 정렬하도록 사용된 기계적 고정구(가령, 잠금/래치 커넥터 플러그)를 포함할 수 있기도 하다.
디바이스 커넥터(8012)는 사용자 디바이스(1200)의 타입과 관련된 커넥터 세부내역에 따라 실시될 수 있다. 예를들면 , 디바이스 커넥터는 커넥터(iPod™ 및 iPhone™의 경우 Apple® dock connector 또는 Lightning™ connector) 또는 스탠다드 커넥터(예를들면 , Universal Serial Bus (USB) 커넥터 여러 버젼, Portable Digital Media Interface (PDMI), 또는 사용자 디바이스에서 제공된 다른 스탠다드 커넥터)이다.
한 실시 예에서, 디바이스 커넥터는 교체할 수 있도록 제공되어서 부착 장치(1250)가 상이한 디바이스 커넥터를 받아들이는 상이한 종류의 사용자 디바이스를 수용할 수 있도록 한다. 가령, 다양한 종류의 디바이스 커넥터 플러그가 베이스 커넥터 부착 장치(1250)에 부착될 수 있도록 제공되고 구성될 수 있으며, 사용자 디바이스(1200)와 호환성있는 커넥터 플러그가 부착 장치(1250)를 사용자 장치(1200)에 부탁하기 전에 베이스 커넥터에 부착될 수 있도록 한다. 다른 실시 예에서, 디바이스 커넥터는 고정하여 제공될 수 있기도 하다.
부착 장치(150)는 또한 무선 연결을 통하여 사용자 디바이스(1200)과 통신할 수 있기도하다. 이와 관련하여, 부착 장치(1250)는 사용자 디바이스(1200)와 부착 장치(1250) 사이의 무선 통신을 가능하게 하도록 구성된 무선 통신 모듈을 포함할 수 있다. 다양한 실시 예에서, 무선 통신 모듈은 IEEE 802.11 WiFi 스탠다드, Bluetooth™ 스탠다드, ZigBee™ 스탠다드, 또는 다른 적절한 단거리 무선 통신 스탠다드를 지원할 수 있다. 따라서, 부착 장치(1250)는 디바이스 커넥터를 통한 연결이 이용될 수 없거나 바람직하지 않다면, 디바이스 커넥터에 의존하지 않고 사용자 디바이스(1200)와 함께 사용될 수 있다.
적외선 영상화 모듈(700)은 작은 폼 팩터를 가지며 웨이퍼 레벨 패키징 기술또는 다른 패키징 기술에 따라 실시된다. 적외선 영상화 모듈(7000)은 렌즈 배럴, 하우징, 적외선 선서 어셈블리, 회로 기판, 베이스, 그리고 처리 모듈을 포함한다.
적외선 센서 어셈블리는 기판 상에서 한 어레이로 또는 다른 형태로 실시된 그리고 캡에 의해 커버된 다수의 적외선 센서(예를들면 , 적외선 검출기)를 포함한다. 예를 들면, 한 실시 예에서, 적외선 센서 어셈블리는 포컬 플레인 에레이(FPA)로서 실시될 수 있다. 이 같은 포컬 플레인 어레이는 예를들면 진공 패키지 어셈블리로서 실시될 수 있다.
한 실시 예에서, 적외선 센서 어셈블리는 웨이퍼 레벨 패키지(예를들면 , 웨이퍼 상에 제공된 한 세트의 진공 패키지 어셈블리로부터 싱귤레이트 된다)로 실시된다. 한 실시 예에서, 적외선 센서 어셈블리는 2.4 볼트, 2.5 볼트, 또는 이와 유사한 전압의 전원을 사용하여 동작하도록 실시된다.
적외선 영상화 모듈(7000) 내 적외선 센서는 특정 실시에서 요구되는 중파 적외선 파장 대역(MWIR), 장파 적외선 파장 대역(LWIR), 및/또는 다른 열 영상화 대역을 포함하는 표적 장면으로부터 적외선 방사선(예를들면 , 적외선 에너지)를 검출하도록 구성된다. 적외선 센서는 다수의 픽셀을 제공하기 위해 바람직한 어레이 패턴으로 배열된 적외선 열영상측정기 또는 다른 종류의 열 영상화 적외선 센서로서 실시된다.
사용자 장치(1200)는 비-열 영상화 모듈(7002)로부터 가시광선 이미지와 같은 적외선 센서 어셈블리(7000)에 의해 캡쳐된 적외선 이미지 및/또는 비-열 이미지를 수신하기 위해 부착 장치(1250)와 통신하도록 구성되는 포터블 전자 디바이스이다.
적외선 영상화 모듈(7000)에 의해 캡쳐된 적외선 이미지 데이터 및/또는 비-열 영상화 모듈(7002)에 의해 캡쳐된 가시광선 이미지 데이터와 같은 비-열 이미지 데이터는 추가 처리를 위해 부착 장치(1250) 및/또는 디바이스(1200)의 처리 모듈로 제공된다.
처리 모듈은 캡쳐된 적외선 이미지 데이터의 적절한 처리를 수행하고, 처리되지 않은 및/또는 처리된 적외선 이미지 데이터를 사용자 디바이스(1200)로 전송하도록 구성된다. 예를들면 , 부착 장치(1250)가 사용자 디바이스(1200)에 부착되는 때, 처리 모듈은 유선 디바이스 커넥터를 통해 또는 적절한 무선 컴포넌트를 통해 무선으로 처리되지 않은 및/또는 처리된 적외선 이미지 데이터를 사용자 디바이스(1200)로 전송한다.
따라서, 예를들면 , 사용자 디바이스(1200)는 디스플레이(201) 상에서 사용자에게 사용자-볼수있는 적외선 이미지(예를들면 , 서모그램)를 디스플레이하고 사용자가 적외선 이미지 데이터, 비-열 이미지 데이터, 멀티-파장 이미지 데이터, 및/또는 사용자-볼수있는 적외선 이미지를 저장하도록 허용하기 위해, 부착 장치(1250)로부터 적외선 이미지 데이터(예를들면 , 열 이미지 데이터) 및/또는 비-열 이미지 데이터를 수신하도록 적절히 구성된다.
즉, 사용자 디바이스(1200)는 사용자가 적외선, 비-적외선, 및/또는 컴바인 스틸 이미지, 비디오 또는 이들 모두를 프레임하고 사용할 수 있도록 하는 적외선 카메라로서 작용하기 위해서, 적절한 소프트웨어 명령(예를들면 , 스마트 폰 "애플리케이션")을 실행하도록 구성될 수 있다. 부착 장치(1250) 그리고 사용자 디바이스(1200)는 적외선 이미지 데이터 내에 포함된 서모그래픽 데이터(예를들면 , 온도 정보)를 저장하고 분석하는 것과 같은, 다른 적외선 영상화 기능을 수행하도록 수성될 수 있다.
부착 장치(1250)는 또한 배터리(1208)(도 1 참조)를 포함할 수 있다. 배터리(1208)는 부착 장치(1250)의 내부 컴포넌트를 위한 전원으로서 사용될 수 있도록 구성되어서, 부착되었을 때 사용자 디바이스(1200)의 배터리를 고갈시키지 않도록 한다. 또한, 부착 장치(1250)의 배터리(1208)는 예를들면 디바이스 커넥터를 통하여 사용자 디바이스(1200)로 전원을 제공하다록 구성될 수 있다.
따라서, 배터리(1208)는 사용자 디바이스(1200)가 이로부터 충전되도록 하는 백업 파워를 제공할 수 있다. 반대로, 부착 장치(1250)의 다양한 컴포넌트는, 부착 장치(1250)의 배터리가 고갈된 때 부착 장치(1250)의 기능을 사용자가 사용하고자 한다면, 사용자 디바이스(1200)의 배터리로부터 (예를들면 , 디바이스 커넥터를 통하여) 전원을 사용하도록 구성될 수 있다.
일부 실시예에서, 디바이스(1200)의 비-열 카메라 모듈(101)이 부착 장치(1250)의 비-열 카메라 모듈(7002)과 함께 사용될 수 있다. 적외선(가령, 열) 및 비-열(가령, 가시광) 비디오 이미지를 합할 때, 2개의 이미지가 서로에게 화소 단위로 매핑될 수 있다. 두 카메라 간의 차이(가령, 왜곡, 시차, 지향각, 등)가 보상될 수 있다. 이미징 모듈(7000, 7002)은 이미징 모듈을 이용하여 캡처된 이미지들 간의 시차 차이를 감소시키도록 서로 가까이 장착될 수 있다. 특히, 이미지 내 매우 가까운 물체들에 대한, 어느 나머지 시차 차이에 대한 교정을 제공하기 위해, 디바이스(1200) 내 비-열 카메라(101)가 비-열 카메라 모듈(7002)과 연계하여 사용되어, 장면 내 물체까지의 거리를 결정할 수 있다. 결정된 거리는 그 후, 가변 장면 거리에서도 적외선(가령, 열) 및 비-열(가령, 가시광) 비디오 이미지의 정렬을 조정하는데 사용될 수 있다.
도 4에 도시되는 바와 같이, 비-열 카메라 모듈(7002) 및 비-열 카메라 모듈(101) 각각은 거리 측정 엔진(301)과 같은 프로세싱 회로에 장면의 비-열(가령, 가시광) 이미지를 제공할 수 있다. 거리 측정 엔진(301)은 비-열 카메라 모듈(7002) 및 비-열 카메라 모듈(101)에 의해 제공되는 이미지 내 장면 물체의 위치의 측정된 시프트와, 비-열 카메라 모듈(7002)과 비-열 카메라 모듈(101) 간의 알려진 거리 D를 이용하여 장면 물체까지의 거리를 결정할 수 있다.
측정 거리, 비-열 이미징 모듈(7002)에 의해 캡처된 비-열 이미지, 및 열 이미징 모듈(7000)로부터의 열 이미지(가령, 적외선 이미지)가 병합 엔진(merge engine)(303)과 같은 프로세싱 회로에 제공될 수 있다. 병합 엔진(303)은 측정 거리를 이용하여 열 이미지와 비-열 이미지 간의 임의의 시차 차이를 교정할 수 있어서, 열 이미지 및 비-열 이미지가 조합되어 사용자에게 디스플레이를 위해 디스플레이(201)에 제공될 수 있다. 거리 측정 엔진(301) 및 병합 엔진(303)은 로직 디바이스에 의해 수행되는 알고리즘을 나타낼 수 있다.
도 5는 부착 장치 내 열 이미징 모듈과 부착된 디바이스 내 비-열 이미징 모듈에 의해 캡처되는 이미지들의 시차 교정을 제공하기 위해 부착 장치 내 비-열 이미징 모듈과 부착 장치 내 비-열 이미징 모듈을 이용하기 위한 예시적 작동들의 순서도다.
블록(400)에서, 제 1 비-열 이미지가 부착 장치 내 비-열 이미지 센서를 이용하여 캡처될 수 있고, 그리고, 선택적으로, 열 이미지가 부착 장치 내 열 이미지 센서를 이용하여 캡처될 수 있다.
블록(402)에서, 제 2 비-열 이미지가 카메라 장치 내 비-열 이미지 센서를 이용하여 캡처될 수 있다.
블록(404)에서, (가령, 제 1 및 제 2 비-열 이미지 내 물체의 시차-유도 시프트를 결정하여, 디바이스 내 비-열 이미지 센서와 부착 장치 내 비-열 이미지 센서의 알려진 상대적 위치와, 결정된 시피트를 이용하여 물체까지의 거리를 삼각측량함으로써) 제 1 및 제 2 비-열 이미지를 이용하여 장면 물체까지의 거리를 결정할 수 있다. 알려진 상대적 위치는, 부착 장치 내 디바이스의 알려진 위치 및 각자의 디바이스 내 비-열 이미지 센서의 알려진 위치에 기초하여, 및/또는, 두 비-열 이미지 센서 모두를 이용하여 알려진 거리의 물체의 이미지를 캡처함으로써, 그리고, 알려진 거리 및 물체의 이미지를 이용하여 비-열 이미지 센서의 상대적 위치를 결정함으로써, 수행되는 교정 작동에 기초하여, 결정될 수 있다.
일부 실시예에서, 비-열 이미지의 캡처는 제 1 및 제 2 비-열 이미지 간의 시차-유도 시프트 결정의 정확도를 개선시키도록 제어될 수 있고, 이는 물론 결정되는 거리 및 시차 교정의 정확도를 향상시킬 것이다. 예를 들어, 사용자 및/또는 물체가 움직이고 있을 때 제 1 및 제 2 비-열 이미지가 캡처될 경우, 시차-유도 시프트 결정의 정확도는 모션에 의해 야기되는 이미지 내 물체의 흔들림 및/또는 시프트로 이해 영향받을 수 있다. 이러한 모션-유도 시프트는, 예를 들어, 제 1 및 제 2 비-열 이미지 센서에 의한 캡처 타이밍이 적절히 동기화되지 않을 경우, 발생할 수 있다.
따라서, 일 실시예에서, 도 5의 작동은 (가령, 디바이스 및/또는 부착 장치에서 제공되는 가속계 또는 다른 유형의 모션 검출기에 의해) 디바이스 및/또는 부착 장치의 움직임의 검출과, (가령, 당 업자에 의해 이해되듯이 캡처되는 이미지를 처리함으로써) 장면 내 표적 물체의 움직임 검출을 수반할 수 있다. 본 실시예에서, 비-열 이미지는, 캡처되는 움직임이 요망 임계치 미만일 때 및/또는 캡처되는 이미지가 모션에 의해 덜 영향받는 비-열 이미지를 얻도록 동기화될 때, 캡처될 수 있다.
다른 실시예에서, 도 5의 작동은 장면의 전부 또는 일부를 플래싱(가령, 짧은 시간 주기 동안 조명)하도록 광원(가령, 사용자 디바이스(1200)의 광원(103))을 작동시키면서, 제 1 및 제 2 비-열 이미지 센서에 의해 비-열 이미지들의 복수의 프레임을 캡처하는 과정을 수반할 수 있다. 제 1 비-열 이미지 센서에 의해 캡처되는 프레임들은 플래싱된 장면의 이미지를 지닌 프레임을 검출 및 선택하도록 처리될 수 있다. 마찬가지로, 플래싱된 장면의 이미지를 지닌 프레임(가령, 플래시 이벤트의 시작, 중간, 또는 종료 시의 프레임)이 검출 및 선택될 수 있다. 예를 들어, 이러한 방식으로, 장면이 조명될 때, 선택된 프레임들이 해당 순간(또는 시간 상의 소정의 순간)에 실질적으로 동기화될 수 있고, 따라서, 모션-유도 시프트의 효과를 감소시킬 수 있다(해당될 경우)(가령, 캡처 이미지의 충분한 동기화를 실현할 수 있다).
블록(406)에서, 열 이미지 및 제 1 비-열 이미지가 물체까지의 결정된 거리를 이용하여 (가령, 결정된 거리를 이용하여 열 이미지와 제 1 비-열 이미지 간의 시차 교정을 수행함으로써) 조합될 수 있다.
부착 장치 내 비-열 카메라 모듈과 디바이스 내 비-열 카메라 모듈을 이용하여 결정된 시차 교정을 향상시키기 위해, 부착 장치 내 비-열 카메라 모듈과 디바이스 내 비-열 카메라 모듈 간의 임의의 왜곡 및 정렬 오류가 교정(calibration)될 수 있다. 예를 들어, 부착 장치 내 비-열 카메라 모듈과, 부착 장치 내 열 이미징 모듈과, 디바이스 내 비-열 카메라 모듈을 이용하여 열적으로 그리고 시각적으로 균일한 백그라운드의 앞에 손과 같은 물체의 이미지가 캡처될 수 있다. 프로세싱 회로(가령, 디바이스 프로세서 상에서 구동되는 스마트폰 앱)를 이용하여 모두 3개의 이미지 내 손의 에지를 매칭시킬 수 있고, 2개의 비-열 카메라 모듈 간의 정렬을 부착 장치 내 비-열 카메라 모듈과 부착 장치 내 열 이미징 모듈 간의 공장-출하시 교정 정렬에 상관시킬 수 있다.
도 6은 부착 장치 내 비-열 카메라 모듈과 디바이스 내 비-열 카메라 모듈 간의 왜곡 및/또는 정렬을 교정(calibration)하기 위한 작동의 순서도다.
블록(500)에서, 이미지는 부착 장치 내 열 이미지 센서, 부착 장치 내 비-열 이미지 센서, 및 부착된 디바이스 내 비-열 이미지 센서 각각을 이용하여 공통된 시간에 물체(가령, 손)의 이미지가 캡처될 수 있다.
블록(502)에서, 각각의 캡처된 이미지 내 물체의 에지가 검출될 수 있다.
블록(504)에서, 부착 장치 내 비-열 이미지 센서와 부착된 디바이스 내 비-열 이미지 센서 간의 정렬 및 왜곡 교정이, 검출되는 에지의 이미지 내 위치에 기초하여 결정될 수 있다.
블록(506)에서, 부착 장치 내 열 이미지 센서 및 비-열 이미지 센서를 이용하여 캡처된 이미지들 간의 시차 교정을 위한 거리 측정에 사용하기 위해 정렬 및 왜곡 교정이 (가령, 부착 장치에 또는 디바이스에) 저장될 수 있다.
도 5 및 도 6을 참조하여 앞서 예시된 다양한 실시예가 사용자 디바이스(가령, 폰 카메라) 내 비-열 이미지 센서와, 부착 장치 내 열 이미지 센서 및 비-열 이미지 센서의 이용과 관련하여 설명되었으나, 본 발명의 원리 및 사상은 사용자 디바이스 및/또는 부착 장치 내 이미지 센서들의 다른 적절한 임의의 조합에도 적용될 수 있다. 예를 들어, 열 이미지 센서가 사용자 디바이스에 추가로 또는 대안으로 제공될 수 있고, 사용자 디바이스의 비-열 이미지 센서 및 사용자 디바이스를 위한 부착 장치의 비-열 이미지 센서를 이용하여, 사용자 디바이스의 열 이미지 센서와, 사용자 디바이스 또는 부착 장치의 비-열 이미지 센서 간의 시차 교정을 제공할 수 있다. 다른 예에서, (가령, 스테레오스코픽 이미징 또는 기타 용도로) 2개 이상의 비-열 이미지 센서를 포함할 수 있는 사용자 디바이스의 경우에, 사용자 디바이스의 비-열 이미지 센서를 이용하여, 디바이스(및/또는 존재할 경우 부착 장치)의 이미지 센서에 대한 시차 교정을 제공할 수 있다.
일부 실시예에서, (가령, 당 업자 수준에서, 하나 이상의 교정된 열 이미지를 캡처함으로써, 그리고, 열 이미지 내 물체의 강도 및/또는 스펙트럼으로부터 물체의 온도를 결정함으로써) 열 이미징 모듈(7000)을 이용하여 물체의 이미지-기반 교정 온도를 결정할 수 있다. 이러한 유형의 이미지-기반 온도 측정의 정확도는 이미지-기반 온도 측정이 이루어질 때 열 이미징 모듈이 최근에 교정되었음을 보장함으로써 향상될 수 있다.
도 7은 이미지-기반 온도 측정이 일워질 때 열 이미징 모듈이 최근에 교정되었음을 보장하기 위한 예시적 작동들의 순서도다.
블록(600)에서, 열 이미지 센서 및 부착된 디바이스를 가진 부착 장치를 포함하는 시스템과 같은 시스템은, (가령, 셔터를 닫음으로써, 그리고, 열 이미지 센서를 이용하여 셔터의 하나 이상의 이미지를 캡처함으로써) 닫힌 셔터를 이용하여 부착 장치 내 열 이미지 센서와 같은 열 이미지 센서의 교정을 수행할 수 있다.
블록(602)에서, 시스템은 열 이미지 센서의 최종 교정 이래 경과한 시간을 (가령, 부착 장치 내 프로세서 또는 부착된 디바이스 내 프로세서에 의해) 모니터링할 수 있다.
블록(604)에서, 시스템은 사용자로부터 이미지-기반 온도 결정 요청을 수신할 수 있다.
블록(606)에서, 시스템은 교정 이래 경과 시간이 모니터링된 시간을 이용하여 최대 허용가능 시간보다 작은지 여부를 결정할 수 있다. 최대 허용 시간은 예를 들어, 최종 교정 이래 20초 미만, 최종 교정 이래 10초 미만, 최종 교정 이래 1분 미만, 또는, 최종 교정 이래 30초 미만일 수 있다. 최종 교정 이래 경과 시간이 최대 허용가능 시간 미만이라고 결정됨에 응답하여, 시스템은 블록(608)으로 진행될 수 있다.
블록(608)에서, 물체의 하나 이상의 열 이미지 및/또는 적외선 스펙트럼이 캡처될 수 있다.
블록(610)에서, 시스템은 열 이미지로부터 및/또는 적외선 스펙트럼으로부터 물체의 온도를 결정할 수 있다.
최종 교정 이래 경과 시간이 최대 허용가능 시간보다 크다고 블록(606)에서 결정되면, 시스템은 블록(612)으로 진행될 수 있다.
블록(612)에서, 시스템은 후속 온도 측정이 정확함을 보장하기 위해 닫힌 셔터를 이용하여 열 이미징 모듈의 새 교정을 수행하도록 사용자에게 지시할 수 있다.
실시 예에서, 열 영상화 모듈을 갖는 부착 장치에 부착된 포터블 전자 장치 내 광원이 열 영상화 모듈 그리고 비-열 영상화 모듈과 협력하여 사용되어서, 장면의 영상화를 향상시키도록 할 수 있다. 가령, 디바이스(1200)의 광원(103)(도 1 참조)은 하나 이상의 영상화 모듈(7000, 7002)(101)에 의해 감지된 스펙트럼으로 장면의 일부분을 조명하도록 사용된다. 조명(103)은 플래시 라이트 모드로 플래시되거나 동작되어서 이미지 캡쳐가 영상화 모듈(7000, 7002)을 사용하여 동작하는 동안 장면의 전부 또는 일부를 조명하도록 한다. 광원(103)은 사용자 입력에 응답하여 켜지거나 플래시될 수 있거나, 영상화 모듈(7002), 디바이스 카메라(101) 또는 다른 광 센서를 사용하여 결정된 광 레벨에 기초하여 자동으로 켜지거나 플래시될 수 있다.
도 8은 한 실시 예에 따라 열 이미지를 사용하여 장면의 영상화 그리고 장면의 활성 조명을 향상시키기 위한 다양한 동작에 대한 흐름도를 도시한다.
단계(800)에서, 열 이미지 데이터는 부착 장치 내 열 이미지 센서를 사용하여 캡쳐될 수 있으며 비-열 이미지 데이터는 부착 장치 내 비-열 이미지 센서를 사용하여 캡쳐될 수 있다. 필요하다면, 추가의 비-열 이미지 데이터가 부착 장치 내 카메라를 사용하여 캡쳐될 수 있다.
단계(802)에서, 부착 장치를 사용하여 열 이미지 데이터 그리고 비-열 이미지 데이터를 캡쳐하는 동안, 부착 장치의 광원이 동작될 수 있다. 광원은 가령, 사용자 입력 또는 자동으로 결정된 광 레벨에 기초하여 이미지 캡쳐 동작 중에 동작될 수 있다(가령, 플래시되거나 유지됨). 광원을 사용하여 장면을 조명하는 것은 부착 장치 내 비-열 이미지 센서에 의해 캡쳐된 비-열 이미지를 향상시킬 수 있다.
단계(804)에서, 부착 장치로부터의 캡쳐된 열 이미지 데이터 그리고 캡쳐된 비-열 이미지 데이터가 열 이미지 데이터 그리고 활성적으로 조명된 비-열 이미지 데이터 모두 또는 일부를 포함하는 향상된 출력 이미지를 형성하도록 결합될 수 있다. 실시 예에서, 열 및 비-열이미지는 높은 콘트라스트 처리를 사용하여 결합된 이미지를 발생시키도록 처리될 수 있다.
높은 콘트라스트 처리와 관련하여, 높은 공간 주파수 콘텐츠가 하나 이상의 열 및 비-열 이미지로부터 얻어질 수 있다(가령, 높은 패스 필터링, 상이한 영상화 및/또는 다른 기술을 수행함에 의해). 결합된 이미지는 블랜딩 파라미터에 따라 높은 공간 주파수 콘텐트와 블랜드된 장면의 적외선(가령, 열) 특징을 포함하는 열 이미지 및 블랜드 컴포넌트의 라디오메트릭 컴포넌트를 포함할 수 있다.
실시 예에서, 비-열 이미지로부터 높은 공간 주파수 콘텐트는 열 이미지로 높은 공간 주파주 콘텐트를 겹침에 의해 열 이미지와 블랜드될 수 있으며, 높은 공간 주파수 콘텐트가 높은 공간 주파수 콘텐트가 존재하는 것에 해당하는 열 이미지 부분을 대체시킨다. 가령, 높은 공간 주파수 콘텐트는 장면의 이미지 내 도시된 물체의 에지를 포함할 수 있으나, 단지 뒤에가서 컴바인된 이미지의 하나 이상의 컴포넌트 내로 인코드될 수 있는 높은 공간 주파수 콘텐트를 포함할 수 있기도 하다.
가령, 열 이미지의 라디오메트릭 컴포넌트는 열 이미지의 크로미넌스 컴포넌트일 수 있으며, 높은 공간 주파수 콘텐트는 비-열 이미지의 루미넌스 및/또는 크로미넌스로부터 유도될 수 있다. 이 같은 실시 예에서, 결합된 이미지는 결합된 이미지의 코로미넌스 컴포넌트 내로 인코드된 라디오메트릭 컴포넌트(가령, 열 이미지의 크로미넌스 컴포넌트) 그리고 결합된 이미지의 루미넌스 컴포넌트 내로 직접 인코드된 높은 공간 주파수 콘텐트 (가령, 열 이미지 기여를 갖지 않는 블랜드된 이미지 데이터로서)를 포함할 수 있다.
이와 같이 함에 의해, 열 이미지의 라디오메트릭 컴포넌트의 라디오메트릭 캘리브레이션이 얻어질 수 있다. 유사한 실시 예에서, 블랜드된 이미지 데이터는 열 이미지의 루미넌스 컴포넌트로 추가된 높은 공간 주파수 콘텐트 그리고 결과의 결합된 이미지의 루미넌스 컴포넌트 내로 인코드된 결과의 블랜드된 데이터를 포함할 수 있다. 비-열 이미지는 비-열 이미지 생성장치(imager) 타입으로부터 발생되며, 가령, 가시광선 이미저, 로우 가시광선 하이 이미저, CCD 영상화 장치, EMCCD 영상화 장치, CMOS 영상화 장치, CMOS 영상화 장치, NIR 영상화 장치, SWIR 영상화 장치, 또는 다른 타입의 비-열 이미저를 포함한다(가령, 당업자가 알 수 있는 바와 같이 수동 또는 능동 조명을 포함)
가령, 다음 출원에서 개시된 기술들은 다양한 실시 예에서 사용될 수 있다:
2009년 6월 3일 제출된 미국 출원 12/477,828 ; 201년 4월 23일 제출된 미국 출원 12/766,739; 2011년 5월 11일 제출된 미국 출원 13/105,765; 2012년 4월 2일 제출된 미국 출원 13/437,645; 2011년 4월 8일 제출된 미국 출원 61/473,207; 2012년 12월 26일 제출된 미국 출원 61/746,069; 2012년 12월 26일 제출된 미국 출원 61/746,074; 2012년 12월 31일 제출된 미국 출원 61/748,018; 2013년 3월 15일 제출된 미국 출원 61/792,582; 2013년 3월 15일 제출된 미국 출원 61/793,952; 그리고 2011년 4월 21일 제출된 국제 출원 PCT/EP2011/056432.
실시 예에서, 부착 장치(1250) 또는 디바이스(1200) 중 하나가 제1 영상화 모듈(가령, 적외선 영상화 모듈(7000))에 의해 이미지될 부분을 나타내는 사용자 입력을 수신하고, 제2 영상화 모듈(가령, 가시 스펙트럼 영상화 모듈(7002)(101))에 의해 감지된 스펙트럼 내 적어도 관심 있는 부분을 조명하기 위해 광원(103)을 조정하며, 제2 영상화 모듈로부터 관심 부분의 조명된 캡쳐된 이미지를 수신하고, 그리고 조명된 캡쳐된 이미지로부터 유도된 장면의 조명 특징을 포함하는 결합된 이미지를 발생시키도록 구성될 수 있다. 실시 예에서, 열 이미지는 회로 브레이커 박스의 이미지와 같은 이미지 내 "핫" 장소를 검출하도록 사용될 수 있다.
도 9는 본발명 실시 예에 따라 사용자 입력에 기초하여 장명의 영상화를 향상기키기 위해 다양한 동작에 대한 흐름도를 설명한다. 가령, 하나 이상의 처리 부분(5800)이 부착 장치(1250), 장치(1200) 및/또는 영상화 모듈(7000, 7002) 각각에 의해 수행되며 설명된 바의 컴포넌트를 사용한다. 어떠한 단계, 서브 단계, 서브 처리 또는 처리(5800)의 블록도 도 9에서 설명된 실시와는 다른 순서 또는 배치로 수행될 수 있음을 이해하여야 한다.
실시 예에서, 처리(5800)의 어느 부분도 루프로 실시되어서, 비디오장면과 같이, 일련의 적외선 및/또는 가시광선 스펙트럼 이미지로 계속해서 동작하도록 할 수 있다. 다른 실시 예에서, 처리(5800)는 중간 처리(가령, 적외선 및/또는 가시광선 스펙트럼 이미지를 수신하고, 이미지를 서로에게 등록하며, 조명되거나 결합된 이미지를 발생시키고, 또는 처리(5800)의 다른 처리를 수행하는 동안, 또는 그 후)의 디스플레이를 포함하는, 및/또는 중간 처리 단계로 향하여진 사용자 입력과 같은 사용자 입력을 수신함을 포함하는, 부분적인 피드백 루프에서 실시될 수 있다. 또한, 실시 예에서, 처리(5800)는 하나 이상의 단계, 서브 단계, 서브 처리, 또는 본원 발명 명세서에서 설명된 다른 처리 어는 것의 차단을 포함할 수 있다.
블록(5810)에서, 부착 장치(1250)는 장면의 가시광선 스펙트럼 이미지를 발생시킨다. 가령, 영상화 모듈(7002)은 장면에 대한 하나 이상의 가시광선 스펙트럼 이미지를 발생시키도록 구성될 수 있다. 실시 예에서, 블록(5810)은 도 5-8의 처리와 관련하여 설명된 하나 이상의 동작을 포함할 수 있다. 필요하다면, 카메라(101)와 같은 디바이스 카메라(101)가 가시광선 스펙트럼 이미지를 캡쳐할 수 있기도 하다.
블록(5812)에서, 선택적으로 블록(5810)에서와 동시에, 부착 장치(1250)가 장면의 적외선 이미지를 발생시킨다. 가령, 영상화 모듈(7000)은 장면 중 하나 이상의 적외선 이미지를 발생시키도록 구성될 수 있다. 일정 실시 예에서, 블록(5812)은 도 5-8의 처리와 관련하여 설명된 하나 이상의 동작을 포함할 수 있다.
블록(5820)에서, 부착 장치(1250)는 발생된 이미지에 상응하는 데이터 출력 신호를 발생시킨다. 가령, 영상화 모듈(7000, 7002) 및/또는 처리기은 블록(5810, 5812)에서 발생된 이미지에 상응하는 데이터 출력 신호를 발생시키도록 적용될 수 있다. 일정 실시 예에서, 출력 신호는 가령, MIPI®와 같은 특정 인터페이스 스탠다드를 충실히 지킬 수 있다.
블록(5830)에서, 부착 장치(1250) 및/또는 디바이스(1200)는 공통 데이터 포맷에 따라 데이터를 저장한다. 가령, 데이터는 공통 데이터 포맷에 따라 바람직한 데이터 파일 내에 저장될 수 있다.
블록(5840)에서, 부착 장치(1250) 및/또는 디바이스(1200)는 서로 이미지를 등록한다. 가령, 부착 장치(1250) 및/또는 디바이스(1200)는 이미지 내 매치스페셜 콘텐트에 대한 하나 이상의 이미지에 대하여 보간법, 스케일링, 크로핑, 회전 변환, 모핑, 및/또는 필터링 동작 중 하나 이상을 수행함에 의해 발생된 이미지의 어느 하나를 발생된 이미지의 다른 하나로 등록하도록 적용될 수 있다.
블록(5850)에서, 부착 장치(1250) 및/또는 디바이스(1200)는 장면의 관심있는 부분을 나타내는 사용자 입력을 수신한다. 가령, 부착 장치(1250) 및/또는 디바이스(1200)는 하나 이상의 다른 컴포넌트, 터치 스크린 디스플레이, 이미 영상화 된 장면의 관심있는 부분을 나타내는 다른 장치에 의해 제공된 사용자 입력을 수신하도록 적용될 수 있다. 사용자 입력은 관심 있는 부분에 상응하는 픽셀 또는 픽셀 그룹을 지정하도록 사용될 수 있다. 일정 실시 예에서, 사용자 입력은 블록(5840) 내에서 수행된 등록 동작의 선택과 결합도이서 다양한 캡쳐 이미지에서 상응하는 픽셀을 결정하도록 할 수 있다.
블록(5852)에서, 디바이스(1200)의 광원(103)과 같은 광원이 관심있는 부분을 조명한다. 가령, 부착 장치(1250) 및/또는 디바이스(1200)의 어느 하나가 광원(103)을 조정하도록 적용되어서 특정 장면의 관심있는 부분 또는 모두를 조명하도록 할 수 있다. 일정 실시 예에서, 장면의 일부분 및/또는 특정 스펙트럼이 MEMS 렌즈 및/또는 조명 모듈과 결합된 또는 연결된 다른 시스템을 조정함에 의해 선택될 수 있다.
블록(5854)에서, 부착 장치(1250) 및/또는 디바이스(1200)는 관심 부분의 조명된 이미지를 발생시킨다. 가령, 블록(5852) 내에서 조명된 스펙트럼에 민감한 영상화 모듈(7000, 7002) 또는 (101) 중 어느 하나는 광원(103)이 지정된 블록(5850) 내 지정된 관심 부분을 조명하는 동안 캡쳐된 조명된 이미지를 발생시키도록 적용될 수 있다.
블록(5860)에서, 부착 장치(1250) 및/또는 디바이스(1200)는 가시광선 이미지, 적외선 이미지, 및/또는 조명된 이미지로부터 장면의 결합된 이미지를 발생시킨다. 한 실시 예에서, 결합된 이미지는 가시광선 데이터의 픽셀 각각에 대한 적외선 이미지 데이터에 상응하는 삽입된 데이터를 갖는 가시광선 이미지를 포함할 수 있다. 이 같은 결합된 이미지가 디스플레이 되는 때, 사용자는 사용자 인터페이스로 픽셀 또는 픽셀 그룹을 선택할 수 있으며 적외선 이미지에 상응하는 텍스트가 가령, 텍스트 박스 또는 레전드 내에서와 같이, 가시광선 이미지를 따라 디스플레이 될 수 있다. 일정 실시 예에서, 영상화 모듈(7000, 7002)(101) 중 어느 하나가 본원 명세서에서 설명된 처리 중 하나 이상을 사용하여 결합된 이미지를 발생시키도록 적용될 수 있으며, 도 5-8과 관련하여 설명된 처리를 포함한다.
블록(5870)에서, 디바이스(1200)는 발생된 이미지 중 하나 이상을 디스플레이한다. 가령, 디바이스(1200)는 디스플레이(가령, 도 2에서 디스플레이(201))를 사용하도록 적용되어서 처리(5800)에서 발생된 하나 이상의 이미지를 디스플레이 하도록 한다. 일정 실시 예에서, 블록(5870)은 도 4-6의 처리와 관련하여 설명된 하나 이상의 동작을 포함한다. 상기 설명된 실시 예는 본발명을 제한하지 않는다. 다양한 수정 및 변경이 본발명의 사상에 따라 가능함을 이해하여야 한다. 따라서 본 발명의 범위는 다음 청구항에 의해서만 한정된다.
다양한 실시 예가 부착 장치와 관련하여 설명되었으나, 본 발명의 하나 이상의 실시 예는 부착 장치와의 결합되어 또는 단독으로 디바이스에 적용가능하다. 가령, 열 이미지 센서가 디바이스(즉, 디바이스(1200))에 직접 실시될 수 있으며, 선택적으로 추가의 비-열 이미지 센서가 디바이스 내에서 실시 될 수 있기도하다. 결과적으로, 본원 명세서에서 설명되는 원리는 디바이스 내에서 실시된 센서에 기초하여 적용될 수 있다.
본 발명이 제한된 수의 실시 예와 관련하여 상세히 설명되었으나, 본 발명은 그와 같은 개시된 실시로 제한되지 않음을 이해하여야 한다. 본 발명은 본원 명세서에서 설명되지 않은 그러나 본원 발명의 사상에 합당한 변경, 수정, 대체 또는 등가 장치를 사용하여 수정될 수 있다. 따라서 본 발명의 다양한 실시가 설명되었으나, 본 발명의 특징은 설명된 실시 예의 일부만을 포함한다는 것을 이해하여야 한다. 따라서 본 발명은 첨부된 청구범위에 의해서만 한정되며 상세한 설명에 의해서는 한정되지 않는다.

Claims (20)

  1. 열 영상화 모듈 및 비-열 영상화 모듈을 갖는 부착 장치; 그리고
    비-열 영상화 모듈로부터 제1 비-열 이미지 그리고 부착 장치에 부착된 디바이스의 카메라로부터 제2 비-열 이미지에 기초하여 열 영상화 모듈 그리고 비-열 영상화 모듈을 위한 시차 수정을 결정하도록 구성된 처리기를 포함하는 시스템.
  2. 제1항에 있어서, 처리기가:
    비-열 영상화 모듈로부터의 제1 비-열 이미지 그리고 카메라로부터의 제2 비-열 이미지를 사용하여 물체까지의 거리를 결정하고; 그리고
    상기 결정된 거리에 기초하여 열 영상화 모듈 그리고 비-열 영상화 모듈을 위한 시차 수정을 결정하도록 구성됨을 특징으로 하는 시스템.
  3. 제2항에 있어서, 처리기가 제1 및 제2 비-열 이미지 내 물체의 시차-유도 시프트에 기초하여 그리고 부착 장치의 비-열 영상화 모듈 그리고 디바이스의 카메라 사이 알려진 거리에 기초하여 상기 거리를 결정하도록 구성됨을 특징으로 하는 시스템.
  4. 제3항에 있어서, 처리기가 부착 장치의 처리기를 포함함을 특징으로 하는 시스템.
  5. 제3항에 있어서, 부착 장치에 부착된 디바이스를 더욱 포함함을 특징으로 하는 시스템.
  6. 제5항에 있어서, 처리기가 디바이스의 처리기를 포함함을 특징으로 하는 시스템.
  7. 제6항에 있어서, 디바이스가 모바일 폰을 포함함을 특징으로 하는 시스템.
  8. 제1항에 있어서, 처리기가 상기 결정된 시차 수정을 사용하여 열 영상화 모듈로부터의 열 이미지를 제1 비-열 이미지와 결합하도록 구성됨을 특징으로 하는 시스템.
  9. 포터블 전자 디바이스 내 카메라를 사용하여 제1 비-열 이미지를 캡쳐하고;
    포터블 전자 디바이스에 부착된 부착 장치 내 비-열 영상화 모듈을 사용하여 제2 비-열 이미지를 캡쳐하며;
    제1 및 제2 비-열 이미지를 사용하여 물체까지의 거리를 결정하고;
    부착 장치 내 열 영상화 모듈을 사용하여 열 이미지를 캡쳐하며;
    상기 결정에 기초하여 열 이미지 또는 제1 비-열 이미지 중 하나 이상에 대하여 시차 수정을 수행하고;
    상기 수행에 이어서, 향상된 출력 이미지를 형성하기 위해 열 이미지 및 제2 비-열 이미지를 결합시킴을 포함하는 방법.
  10. 제9항에 있어서, 부착 장치 내 배터리로부터 포터블 전자 디바이스로 파워를 제공함을 더욱 포함함을 특징으로 하는 방법.
  11. 제9항에 있어서,
    포터블 전자 디바이스의 광원을 동작시키고; 그리고
    상기 동작에 기초하여 제1 및 제2 비-열 이미지의 캡쳐링을 동기화함을 더욱 포함함을 특징으로 하는 방법.
  12. 제9항에 있어서,
    포터블 전자 디바이스 및 부착 장치의 이동을 모니터하고; 그리고
    상기 이동이 기준 이하인 때 제1 및 제2 비-열 이미지를 캡쳐함을 더욱 포함함을 특징으로 하는 방법.
  13. 제9항에 있어서,
    카메라, 비-열 영상화 모듈, 그리고 열 영상화 모듈을 사용하여 추가 물체의 추가 이미지를 캡쳐하고;
    추가 이미지 각각에서의 추가 물체의 에지를 검출하며; 그리고
    시차 수정의 수행에서 사용하기 위해 카메라와 비-열 영상화 모듈 사이 정렬 및 왜곡 교정을 결정함을 더욱 포함함을 특징으로 하는 방법.
  14. 사용자 디바이스에 부착된 부착 장치 내 열 영상화 모듈을 위한 캘리브레이션 동작을 수행하고;
    사용자로부터 이미지-기반의 온도 결정 요구를 수신하며;
    상기 수행이 있은 후 시간이 허용된 최대 시간 이하인가를 결정하고; 그리고
    상기 수행이 있은 후 시간이 허용된 최대 시간 이하임이 결정되면 열 영상화 모듈을 사용하여 열 이미지를 캡쳐함을 포함하는 방법.
  15. 제14항에 있어서, 상기 수행이 열 영상화 모듈을 사용하여 부착 장치의 폐쇄된 셔터의 하나 이상의 이미지를 캡쳐함을 포함함을 특징으로 하는 방법.
  16. 제15항에 있어서,
    상기 수행이 허용된 최대 시간 이상임이 결정되면, 사용자에게 셔터를 폐쇄하도록 명령을 제공하여 열 영상화 모듈의 새로운 캘리브레이션을 수행하도록 함을 특징으로 하는 방법.
  17. 부착 장치가:
    하우징;
    하우징 내의 적외선 센서 어셈블리로서, 적외선 이미지 데이터를 캡쳐하도록 구성된 적외선 센서 어셈블리;
    하우징 내 비-열 카메라 모듈로서, 비-열 이미지 데이터를 캡쳐하도록 구성된 비-열 카메라 모듈; 그리고
    부착 장치의 하우징에 탈착 가능토록 부착된 사용자 디바이스를 포함하며;
    상기 사용자 디바이스가:
    비-열 카메라 모듈; 그리고
    광원을 포함하고, 처리 모듈이 적외선 센서 어셈블리, 부착 장치 내 비-열 카메라 모듈 그리고 사용자 디바이스 내 비-열 카메라 모듈 또는 이미지를 캡쳐하고 처리하기 위한 광원 중 하나 이상과 협동하도록 구성되는 시스템.
  18. 제17항에 있어서, 적외선 이미지 데이터와 비-열 이미지 데이터가 적외선 센서 어셈블리, 부착 장치 내 비-열 카메라 모듈 그리고 이미지를 캡쳐하고 처리하기 위한 광원과 협동하도록 캡쳐되는 동안, 상기 처리 모듈이 광원을 동작시키도록 구성됨을 특징으로 하는 시스템.
  19. 제18항에 있어서, 광원이 향상된 출력 이미지를 형성하도록 동작되는 동안, 상기 처리 모듈 적외선 이미지 데이터와 비-열 이미지 데이터를 결합하도록 구성됨을 특징으로 하는 시스템.
  20. 제17항에 있어서, 상기 처리 모듈이:
    적외선 이미지 데이터, 비-열 이미지 데이터, 그리고 추가의 비-열 이미지 데이터를 사용자 디바이스 내 비-열 카메라 모듈로부터 수신하고; 그리고
    비-열 이미지 데이터와 추가의 비-열 이미지 데이터를 사용하여 결정된 교정에 기초하여 적외선 이미지 데이터와 비-열 이미지 데이터를 결합하여, 이미지를 캡쳐하고 처리하기 위해 적외선 센서 어셈블리, 부착 장치 내 비-열 카메라 모듈 그리고 사용자 디바이스 내 비-열 카메라 모듈과 협동하도록 함을 특징으로 하는 시스템.
KR1020167021120A 2013-12-31 2014-12-31 듀얼 밴드 영상화 센서를 갖는 부착장치 KR102418369B1 (ko)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
USPCT/US2013/078551 2013-12-31
PCT/US2013/078551 WO2014106276A2 (en) 2012-12-31 2013-12-31 Infrared imaging device having a shutter
US201461923732P 2014-01-05 2014-01-05
US61/923,732 2014-01-05
US14/246,006 2014-04-04
US14/246,006 US9674458B2 (en) 2009-06-03 2014-04-04 Smart surveillance camera systems and methods
US14/281,883 2014-05-19
US14/281,883 US9900478B2 (en) 2003-09-04 2014-05-19 Device attachment with infrared imaging sensor
US14/299,987 2014-06-09
US14/299,987 US9083897B2 (en) 2009-06-03 2014-06-09 Infrared camera systems and methods for dual sensor applications
PCT/US2014/059200 WO2015051344A1 (en) 2013-10-03 2014-10-03 Durable compact multisensor observation devices
USPCT/US2014/059200 2014-10-03
PCT/US2014/073096 WO2015103446A2 (en) 2013-12-31 2014-12-31 Device attachment with dual band imaging sensor

Publications (2)

Publication Number Publication Date
KR20160105513A true KR20160105513A (ko) 2016-09-06
KR102418369B1 KR102418369B1 (ko) 2022-07-08

Family

ID=53494229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167021120A KR102418369B1 (ko) 2013-12-31 2014-12-31 듀얼 밴드 영상화 센서를 갖는 부착장치

Country Status (3)

Country Link
KR (1) KR102418369B1 (ko)
CN (1) CN106068446B (ko)
WO (1) WO2015103446A2 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106031630A (zh) * 2015-03-12 2016-10-19 沈渊瑶 用于体温检测的手持行动通讯装置及其体温检测方法
KR102525937B1 (ko) * 2018-03-20 2023-04-28 삼성전자주식회사 복수의 광원을 포함하는 전자 장치
CN111193821B (zh) * 2020-03-03 2021-04-13 覃立 具有红外成像测温功能的手机及其测温方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633231B1 (en) * 1999-06-07 2003-10-14 Horiba, Ltd. Communication device and auxiliary device for communication
JP2005338359A (ja) * 2004-05-26 2005-12-08 Constec Engi Co 撮像装置
JP2010117587A (ja) * 2008-11-13 2010-05-27 Ftc:Kk 工事用カメラシステム及びカメラ付き携帯電話機用ストロボ装置
JP2013235532A (ja) * 2012-05-11 2013-11-21 Azone Co Ltd 端末用アダプタ
US20130342691A1 (en) * 2009-06-03 2013-12-26 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014105241A1 (en) * 2012-12-26 2014-07-03 Flir Systems, Inc. Device attachment with infrared imaging sensor
US7820967B2 (en) * 2007-09-11 2010-10-26 Electrophysics Corp. Infrared camera for locating a target using at least one shaped light source
US9235023B2 (en) * 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
KR102217655B1 (ko) * 2013-03-14 2021-02-18 디알에스 네트워크 앤드 이미징 시스템즈, 엘엘씨 열 이미지 촬영 및 서모그래피 카메라를 위한 시스템 아키텍처

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633231B1 (en) * 1999-06-07 2003-10-14 Horiba, Ltd. Communication device and auxiliary device for communication
JP2005338359A (ja) * 2004-05-26 2005-12-08 Constec Engi Co 撮像装置
JP2010117587A (ja) * 2008-11-13 2010-05-27 Ftc:Kk 工事用カメラシステム及びカメラ付き携帯電話機用ストロボ装置
US20130342691A1 (en) * 2009-06-03 2013-12-26 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
JP2013235532A (ja) * 2012-05-11 2013-11-21 Azone Co Ltd 端末用アダプタ

Also Published As

Publication number Publication date
WO2015103446A3 (en) 2015-08-27
CN106068446A (zh) 2016-11-02
WO2015103446A2 (en) 2015-07-09
CN106068446B (zh) 2019-10-25
KR102418369B1 (ko) 2022-07-08

Similar Documents

Publication Publication Date Title
US11297264B2 (en) Device attachment with dual band imaging sensor
US10321031B2 (en) Device attachment with infrared imaging sensor
US9986175B2 (en) Device attachment with infrared imaging sensor
CN205449295U (zh) 装置附件
KR102157675B1 (ko) 촬영 장치 및 그 촬영 방법
US11022546B2 (en) Optical gas imaging systems and methods
US9769443B2 (en) Camera-assisted two dimensional keystone correction
US10232237B2 (en) Thermal-assisted golf rangefinder systems and methods
JP6679577B2 (ja) ３ｄパノラマイメージ生成のための映像生成装置及び方法
US20140240492A1 (en) Depth sensor using modulated light projector and image sensor with color and ir sensing
WO2015130226A1 (en) Image sensor modules including primary high-resolution imagers and secondary imagers
WO2016118313A1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
US10298858B2 (en) Methods to combine radiation-based temperature sensor and inertial sensor and/or camera output in a handheld/mobile device
EP2923187A1 (en) Hybrid infrared sensor array having heterogeneous infrared sensors
CN108476295B (zh) 从多个图像生成图像的方法、热成像相机以及介质
JP2017535755A (ja) 動画カメラフォーカス用途における距離測定デバイス
KR102418369B1 (ko) 듀얼 밴드 영상화 센서를 갖는 부착장치
CN113039417B (zh) 温度估计装置、温度估计方法、计算机可读存储介质和计算机程序产品
KR20160123757A (ko) 이미지 촬영 장치 및 이미지 촬영 방법
CN204996085U (zh) 确定高尔夫球场上距离的设备、系统及旗杆
KR100766995B1 (ko) 3차원 카메라 모듈장치
US20240107177A1 (en) Techniques for Correcting Images in Flash Photography
US20200408603A1 (en) Image processing arrangement
KR20160039494A (ko) 커버 촬영 장치, 휴대용 단말 장치 및 커버 촬영 장치의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant