KR101831486B1 - 스마트 감시 카메라 시스템 및 방법 - Google Patents
스마트 감시 카메라 시스템 및 방법 Download PDFInfo
- Publication number
- KR101831486B1 KR101831486B1 KR1020147011549A KR20147011549A KR101831486B1 KR 101831486 B1 KR101831486 B1 KR 101831486B1 KR 1020147011549 A KR1020147011549 A KR 1020147011549A KR 20147011549 A KR20147011549 A KR 20147011549A KR 101831486 B1 KR101831486 B1 KR 101831486B1
- Authority
- KR
- South Korea
- Prior art keywords
- scene
- camera
- light source
- images
- desired object
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 134
- 230000004044 response Effects 0.000 claims abstract description 25
- 238000005286 illumination Methods 0.000 claims description 39
- 238000003860 storage Methods 0.000 claims description 24
- 230000000875 corresponding effect Effects 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims 6
- 238000001514 detection method Methods 0.000 abstract description 34
- 238000012544 monitoring process Methods 0.000 abstract description 21
- 238000001931 thermography Methods 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 73
- 238000003331 infrared imaging Methods 0.000 description 68
- 230000033001 locomotion Effects 0.000 description 62
- 238000012545 processing Methods 0.000 description 49
- 238000004891 communication Methods 0.000 description 38
- 230000002596 correlated effect Effects 0.000 description 20
- 238000012937 correction Methods 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 13
- 241000238631 Hexapoda Species 0.000 description 12
- 238000013459 approach Methods 0.000 description 11
- 238000001914 filtration Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 241000239290 Araneae Species 0.000 description 8
- 241001465754 Metazoa Species 0.000 description 8
- 239000000758 substrate Substances 0.000 description 8
- 239000000463 material Substances 0.000 description 7
- 230000006855 networking Effects 0.000 description 7
- 239000000872 buffer Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 238000003705 background correction Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000000576 coating method Methods 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 229910052782 aluminium Inorganic materials 0.000 description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 3
- 229910052802 copper Inorganic materials 0.000 description 3
- 239000010949 copper Substances 0.000 description 3
- 238000013016 damping Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 238000001454 recorded image Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000005282 brightening Methods 0.000 description 2
- 238000005266 casting Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PFNQVRZLDWYSCW-UHFFFAOYSA-N (fluoren-9-ylideneamino) n-naphthalen-1-ylcarbamate Chemical compound C12=CC=CC=C2C2=CC=CC=C2C1=NOC(=O)NC1=CC=CC2=CC=CC=C12 PFNQVRZLDWYSCW-UHFFFAOYSA-N 0.000 description 1
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 1
- XHCLAFWTIXFWPH-UHFFFAOYSA-N [O-2].[O-2].[O-2].[O-2].[O-2].[V+5].[V+5] Chemical compound [O-2].[O-2].[O-2].[O-2].[O-2].[V+5].[V+5] XHCLAFWTIXFWPH-UHFFFAOYSA-N 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 229910010293 ceramic material Inorganic materials 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 229920002457 flexible plastic Polymers 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000001746 injection moulding Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910052749 magnesium Inorganic materials 0.000 description 1
- 239000011777 magnesium Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 229910001935 vanadium oxide Inorganic materials 0.000 description 1
- 229910052725 zinc Inorganic materials 0.000 description 1
- 239000011701 zinc Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/19—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using infrared-radiation detection systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19697—Arrangements wherein non-video detectors generate an alarm themselves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
Abstract
감시 장면의 조명 및 모니터링을 지능적으로 제어하기 위해 열 촬영을 사용하는 스마트 감시 카메라 시스템 및 방법에 대한 다양한 기술을 개시한다. 예를 들면, 스마트 카메라 시스템은 열 촬영기, IR 조명기, 가시광 조명기, 가시광/NIR 카메라, 및 프로세서를 포함할 수 있다. 카메라 시스템은 열 촬영기를 사용하여 장면의 열 이미지를 캡처하고, 그 열 이미지를 분석하여 장면 내에 물체의 존재 및 속성을 검출한다. 검출에 반응하여, 적당한 종류의 광원으로, 적당한 빔 각도로, 또는 다른 바람직한 방식으로 필요할 때만 또는 원할 때만 물체를 조명하기 위해 다양한 광원을 선택적으로 동작시킬 수 있다. 또한 관심 물체를 포함하는 감시 이미지를 캡처하거나 기록하기 위해 가시광/NIR 카메라를 검출에 기초하여 선택적으로 동작시킬 수 있다.
Description
본 발명은 일반적으로는 열 촬영 장치에 관한 것이고, 더 구체적으로는 예를 들면 감시 카메라 시스템의 조명과 모니터링 동작을 지능적으로 제어하기 위한 열 이미지(thermal images)의 사용에 관한 것이다.
감시 카메라와 같은 종래의 다수 카메라는 가시 광원 또는 적외선 광원에 의한 일정한 능동 조명(active illumination)을 사용한다. 안타깝게도, 그와 같은 광원은 다양한 종류의 곤충을 유인하여, 장면(scene)에 대한 유용한 이미지를 제공하는 그와 같은 카메라의 품질과 성능을 현저히 저하시킬 수 있다. 예를 들면, 거미줄이 카메라의 근처나 정면에 모일 수 있고, 이러한 거미줄은 더 나아가 곤충 및/또는 잔해물을 유인 및 유지할 수 있다. 따라서, 곤충과 거미줄에 의한 간섭과 방해로 인하여 종종 감시 이미지의 품질이 저하된다. 게다가, 이 물체들의 존재나 움직임은 감시 카메라 시스템에 의해 움직임으로 해석될 수 있고 따라서 종래의 비디오 모션 검출(VMD: video motion detection) 시스템과 같은 어떤 시스템으로 하여금 계속해서 기록하게 할 수 있다. 예를 들면, 바람에 흔들리는 거미줄, 이리저리 펄럭이는 나방, 또는 거미줄을 치는 거미들만의 길고 의미 없는 기록만으로 끝나는 게 흔한 일이다.
이러한 문제는, 다수의 종래 카메라 시스템이 대상이 아닌 물체(예컨대, 곤충 또는 거미줄) 또는 환경 변화(예컨대, 조명 조건, 기상 조건, 또는 배경의 다른 변화)로부터 실제 관심 있는 물체(예컨대, 사람, 차량)을 식별하는데 있어서 효과적이지 않다는 사실에 의해 악화된다.
감시 장면의 모니터링과 조명을 지능적으로 제어하기 위해 열 촬영(thermal imaging)을 사용하는 스마트 감시 카메라 시스템 및 방법을 위한 다양한 기술이 개시된다. 예를 들면, 스마트 카메라 시스템은 열 촬영기(thermal imager), 적외선(IR) 조명기, 가시광 조명기, 가시광/근적외선(NIR) 카메라, 및 프로세서를 포함할 수 있다. 카메라 시스템은 열 촬영기를 사용하여 장면의 열 이미지를 캡처하고, 장면 내에 물체의 존재 및 속성을 검출하기 위해 상기 열 이미지를 분석한다. 상기 검출에 반응하여, 카메라 시스템의 다양한 광원을, 적당한 종류의 광원으로, 적당한 빔 각도 및 폭으로, 또는 다른 바람직한 방식으로, 필요하거나 원할 때만 물체를 조명하기 위해, 선택적으로 동작시킬 수 있다. 가시광/NIR 카메라는 또한 관심 물체를 포함하는 감시 이미지를 캡처하거나 기록하기 위해 상기 검출에 기초하여 선택적으로 동작시킬 수 있다.
일 실시예에서, 카메라 시스템은 장면의 열 이미지를 캡처하는 초점평면 어레이(FPA: focal plane array); 상기 장면을 조명하는 광원; 상기 장면의 추가 이미지를 캡처하는 카메라; 및 상기 장면 내의 물체와 관련된 속성을 결정하기 위해 상기 열 이미지를 분석하고, 상기 물체의 속성에 기초하여 상기 광원 및 상기 카메라를 선택적으로 동작시키는 프로세서를 포함한다.
또 다른 실시예에서, 본 발명의 방법은 열 촬영기의 초점평면 어레이(FPA)에서 장면의 열 이미지를 캡처하는 단계; 상기 장면 내 물체와 관련된 속성을 결정하기 위해 상기 열 이미지를 분석하는 단계; 및 상기 물체의 속성에 기초하여 광원 및 카메라를 선택적으로 동작시키는 단계를 포함하고, 상기 광원은 상기 장면을 조명하고, 상기 카메라는 상기 장면의 추가 이미지를 캡처하도록 설정된다.
본 발명의 범위는 청구항들에 의해 정해지며, 청구항들은 참조에 의해 본 명세서에 포함된다. 당해 기술분야의 숙련자는 1개 이상의 실시예에 대한 다음의 상세한 설명을 고려함으로써 본 발명에 대한 더 완전한 이해와 추가적인 이점을 인식할 것이다.
도 1은 본 발명의 일 실시예에 따른 호스트 장치에서 구현되는 적외선 촬영 모듈을 도시한다.
도 2는 본 발명의 일 실시예에 따른 조립된 적외선 촬영 모듈을 도시한다.
도 3은 본 발명의 일 실시예에 있어서 소켓 위에 나란히 놓인 적외선 촬영 모듈의 분해도를 도시한다.
도 4는 본 발명의 일 실시예에 있어서 적외선 센서 어레이를 포함하는 적외선 센서 조립체의 블록도를 도시한다.
도 5는 본 발명의 일 실시예 있어서 NUC 조건(non-uniform correction terms)을 판정하기 위한 다양한 동작들의 흐름도를 도시한다.
도 6은 본 발명의 일 실시예에 있어서 이웃하는 픽셀들 사이의 차이를 도시한다.
도 7은 본 발명의 일 실시예에 있어서 플랫 필드 보정(flat field correction) 기술을 도시한다.
도 8은 본 발명의 일 실시예에 있어서 도 5의 다양한 이미지 처리 기술과 이미지 처리 파이프라인에 적용되는 다른 동작들을 도시한다.
도 9는 본 발명의 일 실시예에 있어서 TNR(temporal noise reduction) 프로세스를 도시한다.
도 10은 본 발명의 일 실시예에 있어서 도 6의 이미지 처리 파이브라인의 몇 가지 처리의 구체적인 구현 상세를 도시한다.
도 11은 본 발명의 일 실시예에 있어서 이웃 픽셀들에서 공간적으로 상관된 FPN을 도시한다.
도 12는 본 발명의 일 실시예에 있어서 열 촬영기를 가진 스마트 감시 카메라 시스템의 블록도를 도시한다.
도 13은 본 발명의 일 실시예에 있어서 열 촬영기를 가진 스마트 감시 카메라 시스템의 정면도를 도시한다.
도 14는 본 발명의 일 실시예에 있어서 열 촬영기를 가진 스마트 감시 카메라 시스템의 정면도를 도시한다.
도 15는 본 발명의 또 다른 실시예에 있어서 용이하게 배치될 수 있는 모듈로서 구현된 스마트 감시 카메라 시스템의 사시도를 도시한다.
도 16은 본 발명의 일 실시예에 있어서 감시 장면의 스마트 조명 및 모니터링을 수행하기 위한 프로세스를 도시한다.
도 2는 본 발명의 일 실시예에 따른 조립된 적외선 촬영 모듈을 도시한다.
도 3은 본 발명의 일 실시예에 있어서 소켓 위에 나란히 놓인 적외선 촬영 모듈의 분해도를 도시한다.
도 4는 본 발명의 일 실시예에 있어서 적외선 센서 어레이를 포함하는 적외선 센서 조립체의 블록도를 도시한다.
도 5는 본 발명의 일 실시예 있어서 NUC 조건(non-uniform correction terms)을 판정하기 위한 다양한 동작들의 흐름도를 도시한다.
도 6은 본 발명의 일 실시예에 있어서 이웃하는 픽셀들 사이의 차이를 도시한다.
도 7은 본 발명의 일 실시예에 있어서 플랫 필드 보정(flat field correction) 기술을 도시한다.
도 8은 본 발명의 일 실시예에 있어서 도 5의 다양한 이미지 처리 기술과 이미지 처리 파이프라인에 적용되는 다른 동작들을 도시한다.
도 9는 본 발명의 일 실시예에 있어서 TNR(temporal noise reduction) 프로세스를 도시한다.
도 10은 본 발명의 일 실시예에 있어서 도 6의 이미지 처리 파이브라인의 몇 가지 처리의 구체적인 구현 상세를 도시한다.
도 11은 본 발명의 일 실시예에 있어서 이웃 픽셀들에서 공간적으로 상관된 FPN을 도시한다.
도 12는 본 발명의 일 실시예에 있어서 열 촬영기를 가진 스마트 감시 카메라 시스템의 블록도를 도시한다.
도 13은 본 발명의 일 실시예에 있어서 열 촬영기를 가진 스마트 감시 카메라 시스템의 정면도를 도시한다.
도 14는 본 발명의 일 실시예에 있어서 열 촬영기를 가진 스마트 감시 카메라 시스템의 정면도를 도시한다.
도 15는 본 발명의 또 다른 실시예에 있어서 용이하게 배치될 수 있는 모듈로서 구현된 스마트 감시 카메라 시스템의 사시도를 도시한다.
도 16은 본 발명의 일 실시예에 있어서 감시 장면의 스마트 조명 및 모니터링을 수행하기 위한 프로세스를 도시한다.
도 1은 본 발명의 일 실시예에 따른 호스트 장치(102) 내에 구현되는 적외선 촬영 모듈(100)(예컨대, 적외선 카메라 또는 적외선 촬영장치)을 도시한다. 적외선 촬영 모듈(100)은 1개 이상의 실시예에서 소형 폼 팩터에 의해 그리고 웨이퍼 수준 패키징 기술 또는 다른 패키징 기술에 따라 구현될 수 있다.
일 실시예에서, 적외선 촬영 모듈(100)은 작은 휴대형 호스트 장치(102), 예컨대 이동 전화기, 태블릿 컴퓨터, 랩톱 컴퓨터, PDA, 가시광선 카메라, 음악 재생기, 또는 어떤 다른 적절한 모바일 장치에서 구현될 수 있다. 이 점에 있어서, 적외선 촬영 모듈(100)은 호스트 장치(102)에 적외선 촬영 기능(feature)을 제공하기 위해 사용될 수 있다. 예를 들면, 적외선 촬영 모듈(100)은 적외선 이미지를 캡처, 처리, 및/또는 관리하고 그와 같은 적외선 이미지를 호스트 장치(102)에 제공하여 임의의 원하는 방식(예컨대, 추가적인 처리를 위해, 메모리에 저장하거나, 디스플레이하거나, 호스트 장치(102)에서 실행되는 다양한 애플리케이션에서 사용하거나, 다른 장치로 보내거나, 그 밖의 용도)으로 사용하도록 할 수 있다.
다양한 실시예에서, 적외선 촬영 모듈(100)은 낮은 전압 레벨에서 넓은 온도 범위에 걸쳐 동작할 수 있다. 예를 들면, 일 실시예에서, 적외선 촬영 모듈(100)은 대략 2.4 V, 2.5 V, 2.8 V, 또는 더 낮은 전압의 전원을 사용하여 동작할 수 있으며, 약 -20℃ 내지 약 +60℃의 온도 범위에 걸쳐 동작할 수 있다(예를 들면, 약 80℃의 주변 온도 범위에 대하여 적당한 다이내믹 레인지(dynamic range)를 제공함). 일 실시예에서, 적외선 촬영 모듈(100)을 낮은 전압 레벨에서 동작시킴으로써, 적외선 촬영 모듈(100)은 다른 종류의 적외선 촬영 장치와 비교하여 자체 발열량이 감소할 수 있다. 그 결과, 적외선 촬영 모듈(100)은 그와 같은 자체 발열을 보상하기 위한 수단을 감소하여 동작할 수 있다.
도 1에 도시한 것과 같이, 호스트 장치(102)는 소켓(104), 셔터(105), 모션 센서(194), 프로세서(195), 메모리(196), 디스플레이(197), 및 다른 부품(198)들 중 적어도 하나를 포함할 수 있다. 소켓(104)은 화살표(101)로 표시된 것과 같이 적외선 촬영 모듈(100)을 수용한다. 이와 관련하여, 도 2는 본 발명의 일 실시예에 있어서 소켓(104)에 조립된 적외선 촬영 모듈(100)을 도시한다.
모션 센서(194)는 1개 이상의 가속도계, 자이로스코프(gyroscope), 또는 호스트 장치(102)의 움직임을 검출하기 위해 사용될 수 있는 다른 적당한 장치에 의해 구현될 수 있다. 처리모듈(160) 또는 프로세서(195) 모션을 검출하기 위해 모션 센서(194)를 모니터링하여 정보를 얻을 수 있다. 다양한 실시예에서, 모션 센서(194)는 호스트 장치(102)(도 1 참조), 적외선 촬영 모듈(100), 또는 호스트 장치(102)에 부착되거나 아니면 접속된 다른 장치들의 일부로서 구현될 수 있다.
프로세서(195)는 메모리(196)에 제공된 소프트웨어 명령과 같은 적절한 명령을 수행하기 위해 호스트 장치(102)에 의해 사용되는 임의의 적절한 처리장치(예컨대, 로직 디바이스, 마이크로컨트롤러, 프로세서, 특정 용도 집적회로(ASIC), 기타 장치)로서 구현될 수 있다. 디스플레이(197)는 캡쳐된 적외선 이미지, 처리된 적외선 이미지, 및 다른 이미지 중 적어도 하나, 데이터, 또는 정보를 표시하기 위해 사용될 수 있다. 다른 부품(198)은 다양한 응용(예컨대, 시계, 온도 센서, 가시광 카메라, 또들 다른 부품)에 요구될 수 있는 호스트 장치(102)의 임의의 기능을 구현하기 위해 사용될 수 있다. 또한, 메모리(196)에 로딩하여 프로세서(195)에 의해 실행시키기 위해 비일시적 명령을 저장하는 기계로 판독 가능한 매체(193)가 제공될 수 있다.
다양한 실시예에서, 적외선 촬영 모듈(100)과 소켓(104)은, 예를 들면 이동전화기 또는 다른 장치들(예컨대, 소형 폼 팩터를 요구하는)에서 구현을 위한 것과 같이, 다량(high volume) 응용을 용이하게 하기 위해 대량 생산을 위해 구현될 수 있다. 일 실시예에서, 적외선 촬영 모듈(100)이 소켓(104 내에 설치되지만 적외선 촬영 모듈(100)과 소켓(104)의 조합은 전체 크기가 약 8.5 mm x 8.5 mm x 5.9 mm가 될 수 있다.
도 3은 본 발명의 일 실시예에 있어서 소켓(104) 위에 나란히 놓인 적외선 촬영 모듈(100)의 분해도를 도시한다. 적외선 촬영 모듈(100)은 렌즈 통(10), 하우징(120), 적외선 센서 조립체(128), 회로기판(170), 베이스(150), 및 처리모듈(160)을 포함할 수 있다.
렌즈 통(110)은 광학요소(180)(예컨대, 렌즈)를 적어도 부분적으로 에워쌀 수 있으며 도 3에서 상기 광학요소(180)는 렌즈 통(110)의 애퍼처(112)를 통해 부분적으로 볼 수 있다. 렌즈 통(110)은 실질적으로 원통형인 연장부(114)를 포함할 수 있으며 이것은 렌즈 통(110)과 하우징(120)의 애퍼처(122)를 접속하기 위해 사용될 수 있다.
적외선 센서 조립체(128)는 예를 들면, 기판(140) 위에 탑재된 캡(130)(예컨대, 리드(lid))에 의해, 구현될 수 있다. 적외선 센서 조립체(128)는 기판(140) 위에 어레이 또는 다른 형식으로 구현되고 캡(130)으로 덮인 복수의 적외선 센서(132)(예컨대, 적외선 검출기)를 포함할 수 있다. 예를 들면, 일 실시예에서, 적외선 센서 조립체(128)는 초점평면 어레이(FPA)로 구현될 수 있다. 그와 같은 초점평면 어레이는 예를 들면 진공 패키지 조립체(예컨대, 캡(130) 및 기판(140)에 의해 밀봉됨)로서 구현될 수 있다. 일 실시예에서, 적외선 센서 조립체(128)는 웨이퍼 레벨 패키지로서 구현될 수 있다(예컨대, 적외선 센서 조립체(128)는 웨이퍼 위에 제공된 한 세트의 진공 패키지 조립체로부터 싱귤레이션(singulation) 될 수 있다). 일 실시예에서, 적외선 센서 조립체(128)는 약 2.4 V, 2.5 V, 2.8 V 등의 전원을 사용하여 동작하도록 구현될 수 있다.
적외선 센서(132)는 대상 장면으로부터 예컨대, 중간 파장 적외선 파장 대역(MWIR), 장파장 적외선 파장 대역(LWIR), 및/또는 특정 구현에서 요구될 수 있는 다른 열 이미징 대역을 포함하는 적외선(예컨대, 적외선 에너지)을 검출하도록 구성될 수 있다. 일 실시예에서, 적외선 센서 조립체(128)는 파장 레벨 패키징 기술에 따라 제공될 수 있다.
적외선 센서(132)는 예를 들면, 마이크로볼로미터(microbolometer) 또는 복수의 픽셀을 제공하기 위해 임의의 원하는 어레이 패턴으로 배열된 다른 종류의 열 이미징 적외선 센서로서 구현될 수 있다. 일 실시예에서, 적외선 센서(132)는 17 ㎛ 픽셀 피치를 가진 바나듐 산화물(VOx) 검출기로서 구현될 수 있다. 다양한 실시예에서, 약 32x32 적외선 센서(132) 어레이, 약 64x64 적외선 센서(132) 어레이, 약 80x64 적외선 센서(132) 어레이, 또는 다른 어레이 크기가 사용될 수 있다.
기판(140)은 다양한 회로를 포함할 수 있으며, 일 실시예에서 약 5.5 mm x 5.5 mm 미만의 크기를 가진 판독집적회로(ROIC)를 예로 들 수 있다. 기판(140)은 또한 본드 패드(142)를 포함할 수 있으며, 이것들은 적외선 촬영 모듈(100)이 도 5a 내지 도 5c에 도시한 것과 같이 조립될 때 하우징(120)의 내부 표면에 위치한 상보 접속부를 접촉하기 위해 사용될 수 있다. 일 실시예에서, ROIC는 적외선 센서 조립체(128)에 생긴 전원 노이즈를 감소시켜 개선된 PSRR(power supply rejection ratio)을 제공하도록 전압 레귤레이션을 수행하기 위해 LDO(low dropout) 레귤레이터를 가지고 구현될 수 있다. 또한, ROIC를 가지고 LDO를 구현함으로써(예컨대, 웨이퍼 레벨 패키지 내에), 더 적은 다이 면적이 소비될 것이며 더 적은 개별 다이(또는 칩)가 필요할 것이다.
도 4는 본 발명의 일 실시예에 있어서 적외선 센서(132) 어레이를 포함하는 적외선 센서 조립체(128)의 블록도를 도시한다. 도시된 실시예에서, 적외선 센서(132)는 ROIC(402)의 단위 셀 어레이의 일부로서 제공된다. ROIC(402)는 바이어스 발생 및 타이밍 제어회로(404), 칼럼(column) 증폭기(405), 칼럼 멀티플렉서(406), 로우(row) 멀티플렉서(408), 및 로우 증폭기(410)를 포함한다. 적외선 센서(132)에 의해 캡쳐된 이미지 프레임(예컨대, 열 이미지)은 전술한 다양한 처리 기술을 수행하기 위해 출력 증폭기(410)에 의해 처리모듈(160), 프로세서(195), 및 다른 어떤 적절한 부품들 중 적어도 하나에 제공된다. 도 4에는 8x8 어레이가 도시되어 있지만, 다른 실시예에서는 임의의 원하는 어레이 구성을 사용할 수 있다. ROIC와 적외선 센서에 대한 추가의 설명은 2000년 2월 22일 등록된 미국 특허 제6,028,309호에서 찾을 수 있으며, 이 특허문헌의 내용은 참조에 의해 그 전체가 본 명세서에 포함된다.
적외선 센서 조립체(128)는 이미지(예컨대, 이미지 프레임)를 캡처하여 그 이미지를 자신의 ROIC로부터 다양한 속도로 제공할 수 있다. 처리모듈(160)은 캡처된 적외선 이미지의 적절한 처리를 수행하기 위해 사용될 수 있으며 임의의 적절한 아키텍처에 따라 구현될 수 있다. 일 실시예에서, 처리모듈(160)은 ASIC으로 구현될 수 있다. 이와 관련하여, 그러한 ASIC은 높은 성능 및 높은 효율의 적어도 하나로 이미지 처리를 수행하도록 구성될 수 있다. 또 다른 실시예에서, 처리모듈(160)은 범용 중앙처리장치(CPU)를 가지고 구현될 수 있으며, 이것은 이미지 처리를 수행하고, 다양한 이미지 처리 블록을 가진 이미지 처리를 조정 및 수행하고, 처리모듈(160)과 호스트 장치(102) 사이의 인터페이스를 조정하고, 및/또는 다른 동작을 수행하는 적절한 소프트웨어 명령을 실행하도록 구성될 수 있다. 또 다른 실시예에서, 처리모듈(160)은 FPGA(field programmable gate array)로 구현될 수 있다. 처리모듈(160)은 당해 기술분야의 숙련자라면 이해할 수 있는 다른 실시예들에서 다른 종류의 처리 회로 및 로직 회로 중 적어도 하나로 구현될 수 있다.
이것들 및 다른 실시예에서, 처리모듈(160)은 또한 다른 부품들 예를 들면 휘발성 메모리, 비휘발성 메모리, 및 1개 이상의 인터페이스(예컨대, 적외선 검출기 인터페이스, 집적회로간(I2C) 인터페이스, 모바일 산업 프로세서 인터페이스(MIPI: Mobile Industry Processor Interface), JTAG(Joint Test Action Group) 인터페이스(예컨대, IEEE 1149.1 표준 테스트 액세스 포트 및 경계-스캔 아키텍처), 및 기타 인터페이스들 중 적어도 하나) 중 적어도 하나로 구현될 수 있다.
어떤 실시예들에서는, 적외선 모듈(100)은 적외선 센서 조립체(128)에 의해 캡처된 적외선 이미지 프레임의 초점을 조정하기 위해 사용될 수 있는 1개 이상의 액츄에이터(19)를 더 포함할 수 있다. 예를 들면, 액츄에이터(199)는 여기서 설명된 기술에 따라 선택적으로 적외선 이미지 프레임을 포커싱(focusing)하거나 디포커싱(defocusing)하기 위해 서로에 대해 광학요소(180), 적외선 센서(132), 및 다른 부품들 중 적어도 하나를 이동시키기 위해 사용될 수 있다. 액츄에이터(199)는 임의의 타입의 모션-유도 장치 또는 메커니즘에 따라 구현될 수 있으며, 다양한 응용에 적합하도록 적외선 촬영 모듈(100) 내부 또는 외부의 임의의 위치에 위치될 수 있다.
적외선 촬영 모듈(100)이 조립될 때, 하우징(120)은 적외선 센서 조립체(128), 베이스(150), 및 처리모듈(160)을 실질적으로 수용할 수 있다. 하우징(120)은 적외선 촬영 모듈(100)의 다양한 부품들의 연결을 용이하게 할 수 있다. 예를 들면, 일 실시예에서, 하우징(120)은 추가로 설명되는 다양한 부품들을 연결하기 위한 전기 접속부(126)를 제공할 수 있다.
전기 접속부(126)(예컨대, 전도성 전기 경로, 트레이스(trace), 또는 다른 종류의 접속부)는 적외선 촬영 모듈(100)이 조립될 때 본드 패드(142)와 전기적으로 접속될 수 있다. 다양한 실시예에서, 전기 접속부(126)는 하우징(120)에 매립될 수 있으며, 하우징(120)의 내부 표면에 제공되고, 및/또는 하우징(120)에 의해 제공될 수 있다. 전기 접속부(126)는 도 3에서와 같이 하우징(120)의 바닥 표면으로부터 돌출하는 접속부(124)에서 종료할 수 있다. 접속부(124)는 적외선 촬영 모듈(100)이 조립될 때 회로기판(170)과 접속할 수 있다(예컨대, 하우징(120)은 다양한 실시예에서 회로기판(17)의 상부에 위치할 수 있다). 처리모듈(160)은 적절한 전기 접속부를 통해서 회로기판(170)과 전기적으로 접속될 수 있다. 그 결과, 적외선 센서 조립체(128)는 예를 들면, 본드 패드(142), 하우징(120)의 내부 표면 위에의 상보 접속부, 하우징(120)의 전기 접속부(126), 접속부(124), 및 회로기판(170)에 의해 제공된 전도성 전기 경로를 통해, 처리모듈(160)과 전기적으로 접속될 수 있다. 유리하게도, 그와 같은 구성이 적외선 센서 조립체(128)와 처리모듈(160) 사이에 와이어 본드가 제공될 필요 없이 구현될 수 있다.
다양한 실시예에서, 하우징(120) 내의 전기 접속부(126)는 임의의 원하는 재료(예컨대, 구리 또는 어떤 다른 적절한 전도성 재료)로 만들어질 수 있다. 일 실시예에서, 전기 접속부(126)는 적외선 촬영 모듈(100)로부터 열을 발산하는데 도움이 될 수 있다.
다른 실시예들에서는 다른 접속부가 사용될 수 있다. 예를 들면, 일 실시예에서, 센서 조립체(128)는, 와이어 본드에 의해 센서 조립체(128)에 접속하고 볼 그리드 어레이(BGA)에 의해 처리모듈(160)에 접속하는 세라믹 보드를 통해, 처리모듈(160)에 부착될 수 있다. 또 다른 실시예에서, 센서 조립체(128)는 그리드 플렉시블 보드 위에 직접 탑재되고 와이어 본드로 전기적으로 접속되며, 처리모듈(160)은 와이어 본드 또는 BGA에 의해 경질 플렉시블 보드에 탑재되어 접속될 수 있다.
여기서 제시되는 적외선 촬영 모듈(100) 및 호스트 장치(102)의 다양한 실시예들은 예시를 목적으로 제공되는 것이며 한정하려는 것은 아니다. 이와 관련하여, 여기서 설명되는 다양한 기술들 중 어느 것이든 임의의 적외선 카메라 시스템, 적외선 촬영기, 또는 적외선/열 촬영을 수행하기 위한 다른 장치에 적용될 수 있다.
적외선 센서 조립체(128)의 기판(140)은 베이스(150) 위에 탑재될 수 있다. 다양한 실시예에서, 베이스(150)(예컨대, 받침대)는 예를 들면 금속 주입 성형(MIM)에 의해 형성된 구리로 만들어지고 흑색 산화물 피막(black oxide finish) 또는 니켈-피복 피막이 제공될 수 있다. 다양한 실시예에서, 베이스(150)는, 특정 응용을 위해 필요에 따라, 임의의 원하는 재료, 예를 들면 아연, 알루미늄, 또는 마그네슘으로 만들어질 수 있으며, 특정 응용을 위해 필요에 따라, 임의의 원하는 적용 가능한 프로세스, 예를 들면 알루미늄 주조, MIM, 또는 자연 급속 주조에 의해 형성될 수 있다. 다양한 실시예에서, 베이스(150)는 구조적 지지, 다양한 회로 경로, 열 히트싱크 속성, 및 상황에 맞게 다른 기능을 제공하도록 구현될 수 있다. 일 실시예에서, 베이스(150)는 적어도 부분적으로 세라믹 재료를 사용하여 구현된 다층 구조체일 수 있다.
다양한 실시예에서, 회로기판(170)은 하우징(120)을 지지할 수 있고 따라서 적외선 촬영 모듈(100)의 다양한 부품들을 물리적으로 지지할 수 있다. 다양한 실시예에서, 회로기판(170)은 인쇄회로기판(예컨대, FR4 회로기판 또는 다른 종류의 회로기판들), 경질 또는 플렉시블 상호접속(예컨대, 테이프 또는 다른 종류의 상호접속), 플렉시블 회로기판, 플렉시블 플라스틱 기판, 또는 다른 적당한 구조체로 구현될 수 있다. 다양한 실시예에서, 베이스(150)는 회로기판(170)에 대해 설명된 다양한 기능 및 속성을 가지고 구현될 수 있으며, 그 반대의 경우도 가능하다.
소켓(104)은 적외선 촬영 모듈(100)을 수납하도록 (예컨대, 도 2에서 조립도로 도시된 것과 같이) 구성된 캐비티(106)를 포함할 수 있다. 적외선 촬영 모듈(100) 및 소켓(104) 중 적어도 하나는 적절한 탭(tab), 아암(arm), 핀(pin), 체결구(fastener), 또는 마찰, 장력, 접착력, 및 다른 어떤 적절한 방식 중 적어도 하나를 사용하여 소켓(104)에 적외선 촬영 모듈(100)을 고정하기 위해 사용될 수 있는 다른 어떤 적절한 체결 부재를 포함할 수 있다. 소켓(104)은 적외선 촬영 모듈(100)이 소켓(104)의 캐비티(106) 내에 삽입될 때 하우징(120)의 표면(109)을 체결하는 체결 부재(107)를 포함할 수 있다. 다른 실시예에서는 다른 종류의 체결 부재들이 사용될 수도 있다.
적외선 촬영 모듈(100)은 적절한 접속부(예컨대, 접점, 핀, 와이어, 또는 어떤 다른 적절한 접속부)를 통해 소켓(104)과 전기적으로 접속될 수 있다. 예를 들면, 소켓(104)은 적외선 촬영 모듈(100)의 대응하는 전기 접속부(예컨대, 상호접속 패드, 접점, 또는 회로기판(170)의 측면 또는 바닥 표면 위의 다른 전기 접속부, 본드 패드(142) 또는 베이스(150) 위의 다른 전기 접속부, 또는 다른 접속부들)에 접촉할 수 있는 전기 접속부(108)를 포함할 수 있다. 전기 접속부(108)는 임의의 원하는 재료(예컨대, 구리 또는 다른 어떤 적절한 전도성 재료)로 만들 수 있다. 일 실시예에서, 전기 접속부(108)는 적외선 촬영 모듈(100)이 소켓(104)의 캐비티(106) 안으로 삽입될 때 적외선 촬영 모듈(100)의 전기 접속부를 누르도록 기계적으로 편향될 수 있다. 일 실시예에서, 전기 접속부(108)는 적외선 촬영 모듈(100)을 소켓(104) 내에 적어도 부분적으로 고정할 수 있다. 다른 실시예들에서는 다른 종류의 전기 접속부가 사용될 수도 있다.
소켓(104)은 유사한 종류의 전기 접속부를 통해 호스트 장치(102)와 전기적으로 접속될 수 있다. 예를 들면, 일 실시예에서, 호스트 장치(102)는 애퍼처(190)를 통과하여 전기 접속부(108)와 접속하는 전기 접속부(예컨대, 납땜된 접속부, 스냅-인(snap-in) 접속부, 또는 다른 접속부)를 포함할 수 있다. 다양한 실시예에서, 그와 같은 전기 접속부는 소켓(104)의 측면 및 바닥 중 적어도 하나에 만들어질 수 있다.
적외선 촬영 모듈(100)의 다양한 부품들은, 와이어 본드 접속을 위해 통상 필요한 추가의 여유 없이 회로기판에 직접 부품들을 탑재하기 위해 사용될 수 있는 플립 칩(flip chip) 기술에 의해 구현될 수 있다. 플립 칩 접속은 예를 들면, 콤팩트한 고형 폼 팩터 응용에서 사용할 수 있도록 적외선 촬영 모듈(100)의 전체 크기를 감소시키기 위해 사용될 수 있다. 예를 들면, 일 실시예에서, 처리모듈(160)은 플립 칩 접속을 사용하여 회로기판(170)에 탑재될 수 있다. 예를 들면, 적외선 촬영 모듈(100)은 그와 같은 플립 칩 구성을 가지고 구현될 수 있다.
다양한 실시예에서, 적외선 촬영 모듈(100) 및 관련 부품들 중 적어도 하나는 2010년 7월 27일자 미국 특허출원 제12/844,124호, 및 2011년 3월 30일자 미국 임시 특허출원 제61/469,651호에 제시된 것과 같은 다양한 기술(예컨대, 웨이퍼 레벨 패키징 기술)에 의하여 구현될 수 있으며, 상기 문헌들의 전체 내용은 참조에 의해 본 명세서에 포함된다. 또한, 1개 이상의 실시예들에서, 적외선 촬영 모듈(100) 및 관련 부품들 중 적어도 하나는, 2008년 12월 30일자 등록된 미국 특허 제7,470,902호, 2000년 2월 22일자 등록된 미국 특허 제6,028,309호, 2004년 11월 2일자 등록된 미국 특허 제6,812,465호, 2006년 4월 25일자 등록된 미국 특허 제7,034,301호, 2010년 3월 16일자 등록된 미국 특허 제7,679,048호, 2008년 12월 30일자 등록된 미국 특허 제7,470,904호, 2008년 9월 2일자 미국 특허출원 제12/202,880호, 및 2008년 9월 2일자 미국 특허출원 제12/202,896호에 제시된 것과 같은 다양한 기술들에 따라 구현, 보정, 시험, 또는 사용될 수 있으며, 상기 문헌들의 전체 내용은 참조에 의해 본 명세서에 포함된다.
다시 도 1을 참조하면, 다양한 실시예에서, 호스트 장치(102)는 셔터(105)를 포함할 수 있다. 이와 관련하여, 셔터(105)는 소켓(104) 내에(예컨대, 화살표(103)로 표시된 것과 같이) 선택적으로 위치될 수 있는 반면 적외선 촬영 모듈(100)은 그 내부에 설치될 수 있다. 이와 관련하여, 셔터(105)는 예를 들면 사용하지 않을 때 적외선 촬영 모듈(100)을 보호하기 위해 사용될 수 있다. 셔터(105)는 또한 적외선 모듈(100)에 대한 보정 프로세스(예컨대, NUC 프로세스 또는 다른 보정 프로세스들)의 일부로서 온도 기준으로서 사용될 수도 있으며 이것은 당해 기술분야의 숙련자라면 이해할 수 있을 것이다.
다양한 실시예에서, 셔터(105)는 다양한 재료, 예컨대 폴리머, 유리, 알루미늄(페인트 칠한 또는 양극 산화된), 또는 다른 재료로 만들어질 수 있다. 다양한 실시예에서, 셔터(105)는 전자기 방사선을 선택적으로 여과하고 및/또는 셔터의 다양한 광학 특성을 조정하기 위해 1개 이상의 코팅을 포함할 수 있다(예컨대, 균일한 흑체 코팅 또는 반사성 골드 코팅).
또 다른 실시예에서, 셔터(105)는 적외선 촬영 모듈(100)을 항상 보호하는 위치에 고정될 수 있다. 이 경우에, 셔터(105) 또는 셔터(105)의 일부는 원하는 적외선 파장을 실질적으로 여과하지 않는 적절한 재료(예를 들면, 폴리머 또는 적외선 투과 재료, 예컨대 실리콘, 게르마늄, 셀렌화 아연, 또는 칼코게니드)로 만들 수 있다. 또 다른 실시예에서, 적외선 촬영 모듈(100)의 일부로서(적외선 촬영 모듈(100)의 렌즈 통 또는 다른 부품들의 내부에 또는 일부로서) 셔터가 구현될 수 있으며, 당해 기술분야의 숙련자라면 이를 이해할 것이다.
대안으로, 또 다른 실시예에서, 셔터(예를 들면, 셔터(105) 또는 다른 종류의 외부 또는 내부 셔터)는 제공될 필요가 없고, NUC 프로세스 또는 다른 종류의 보정이 셔터 없는 기술을 사용하여 수행될 수 있다. 또 다른 실시예에서, NUC 프로세스 또는 셔터 없는 기술을 사용하는 다른 종류의 보정이 셔터-기반 기술과 함께 실행될 수 있다.
적외선 촬영 모듈(100) 및 호스트 장치(102)는 2011년 6월 10일자 미국 임시 특허출원 제61/495,873호, 2011년 6월 10일자 미국 임시 특허출원 제61/495,879호, 및 2011년 6월 10일자 미국 임시 특허출원 제61/495,888호에 제시된 다양한 기술들 중 어느 것에 따라서 구현될 수 있으며, 상기 문헌의 전체 내용은 참조에 의해 본 명세서에 포함된다.
다양한 실시예에서, 호스트 장치(102) 및 적외선 촬영 모듈(100)의 부품들은 유선 및 무선 네트워크 중 적어도 하나를 통해 부품들이 서로 통신하는 로컬 또는 분산 시스템으로서 구현될 수 있다.
도 5는 본 발명의 일 실시예 있어서 NUC 조건을 결정하기 위한 다양한 동작들의 흐름도를 도시한다. 어떤 실시예들에서는, 도 5의 동작이 적외선 센서(132)에 의해 캡처된 이미지 프레임에 대해 동작하는 처리모듈(160) 또는 프로세서(195)(양자는 일반적으로 프로세서라고도 함)에 의해 수행될 수 있다.
블록 505에서, 적외선 센서(132)는 장면의 이미지 프레임의 캡처를 개시한다. 통상, 상기 장면은 호스트 장치(102)가 현재 위치하고 있는 실제 환경일 것이다. 이와 관련하여, 셔터(105)는 (만일 옵션으로 제공된다면) 적외선 촬영 모듈(100)이 상기 장면으로부터 적외선을 수신하는 것을 허용하기 위해 개방될 것이다. 적외선 센서(132)는 도 5에 도시한 모든 동작 동안에 이미지 프레임 캡처를 계속할 것이다. 이와 관련하여, 계속해서 캡처된 이미지 프레임들은 추가로 설명되는 다양한 동작들에서 사용될 것이다. 일 실시예에서, 상기 캡처된 이미지 프레임들은 시간적으로 여과되며(예컨대, 도 8에 대해서 여기서 추가로 설명되는 블록(826)의 프로세스에 따라) 도 5에 도시한 동작들에서 사용되기 전에 다른 조건들에 의해(예컨대, 도 8에 대해서 추가로 설명되는, 공장 이득 조건(812), 공장 오프셋 조건(816), 이전에 결정된 NUC 조건(817), 칼럼 FPN 조건(820), 및 로우 FPN 조건(824)) 처리될 것이다.
블록 510에서, 이벤트를 개시하는 NUC 프로세스가 검출된다. 일 실시예에서, NUC 프로세스는 호스트 장치(102)의 물리적 움직임에 반응하여 개시될 것이다. 그와 같은 움직임은 예를 들어, 프로세스에 의해 조회되는 모션 센서(194)에 의해, 검출될 수 있다. 일 실시예에서, 사용자는 호스트 장치(102)를 특정한 방식으로, 예를 들면 "삭제" 또는 "스와이프(swipe)" 움직임으로 호스트 장치(102)를 앞뒤로 의도적으로 흔들어서, 호스트 장치(102)를 움직일 수 있다. 이와 관련하여, 사용자는 미리 결정된 빠르기 및 방향(속도)에 따라, 예를 들면 상하로, 측면에서 측면으로, 또는 다른 패턴으로 호스트 장치(102)를 움직여 NUC 프로세스를 개시할 수 있다. 이 실시예에서, 그와 같은 움직임의 사용은 캡처된 이미지 프레임 내 노이즈의 "삭제"를 시뮬레이션하기 위해 사용자가 호스트 장치(102)를 직관적으로 동작시키는 것을 가능하게 할 것이다.
또 다른 실시예에서, NUC 프로세스는 모션이 문턱 값을 초과하면(예컨대, 통상 사용에 예상되는 것보다 큰 모션) 호스트 장치(102)에 의해 개시될 것이다. NUC 프로세스를 개시하기 위해 호스트 장치(102)의 임의의 원하는 종류의 공간 이동이 사용될 수 있음을 생각할 수 있다.
또 다른 실시예에서, 이전에 수행된 NUC 프로세스 이후에 최소 시간이 경과하면 호스트 장치(102)에 의해 NUC 프로세스가 개시될 수도 있다. 또 다른 실시예에서, 이전에 수행된 NUC 프로세스 이후에 적외선 촬영 모듈(100)이 최소 온도 변화를 확인하면 호스트 장치(102)에 의해 NUC 프로세스가 개시될 수도 있다. 또 다른 실시예에서, NUC 프로세스는 계속해서 개시되고 반복될 수도 있다.
블록 515에서, NUC 프로세스 개시 이벤트가 검출된 후, NUC 프로세스가 실제로 수행되어야 하는지 판정된다. 이와 관련하여, NUC 프로세스는 1개 이상의 추가 조건이 충족되는지 여부에 기초하여 선택적으로 개시될 수 있다. 예를 들면, 일 실시예에서, NUC 프로세스는 이전에 수행된 NUC 프로세스 이후에 최소 시간이 경과하지 않았다면 수행되지 않을 것이다. 또 다른 실시예에서, 적외선 촬영 모듈(100)이 이전에 수행된 NUC 프로세스 이후에 최소 온도 변화를 겪지 않았다면 NUC 프로세스는 수행되지 않을 수 있다. 다른 실시예에서는 다른 기준 또는 조건이 사용될 수 있다. 만일 적절한 기준 또는 조건이 충족되었다면, 흐름도는 블록 520으로 진행할 것이다. 그렇지 않으면, 흐름도는 블록 505로 복귀할 것이다.
NUC 프로세스에서, FPN에 대해 정정하기 위해 캡처된 이미지에 적용될 수 있는 NUC 조건을 결정하기 위해 흐릿한 이미지 프레임이 사용될 수 있다. 설명한 바와 같이, 일 실시예에서, 흐릿한 이미지는 움직이는 장면의 복수 이미지 프레임을 축적함으로써 얻어질 수 있다(예를 들면, 장면 및 열 촬영기 중 적어도 하나가 움직이는 동안 캡처됨). 또 다른 실시예에서, 상기 흐릿한 이미지 프레임은 열 촬영기의 광학요소 또는 다른 부품을 디포커싱하여 얻어질 수 있다.
따라서, 블록 520에서 어느 하나의 접근법이 선택된다. 만일 모션-기반 접근이 사용되면, 흐름도는 블록 525로 진행한다. 만일 디포커스-기반 접근이 사용되면, 흐름도는 블록 530으로 진행한다.
이제 모션-기반 접근을 참조하면, 블록 525에서 모션이 검출된다. 예를 들면, 일 실시예에서, 모션은 적외선 센서(132)에 의해 캡처된 이미지 프레임에 기초하여 검출될 수 있다. 이와 관련하여, 모션이 존재하는지(예컨대, 정지 또는 움직이는 이미지 프레임이 캡처되었는지 여부)를 판정하기 위해 적절한 모션 검출 프로세스(예컨대, 이미지 등록 프로세스, 프레임간 차이 산출, 또는 다른 적절한 프로세스)가 캡처된 이미지 프레임에 적용될 것이다. 예를 들면, 일 실시예에서, 연속 이미지 프레임들의 픽셀들 주위의 픽셀 또는 지역이 사용자가 정의한 양(예컨대, 비율 및 문턱 값 중 적어도 하나)보다 많이 변화했는지 판정될 수 있다. 만일 적어도 소정의 비율의 픽셀이 적어도 사용자가 정의한 양만큼 변화했다면, 블록 535로 진행하기에 충분한 확실성을 가지고 모션이 검출될 것이다.
또 다른 실시예에서, 모션은 픽셀 단위로 판정될 수 있으며, 이 경우에 현저한 변화를 나타내는 픽셀들만이 누적되어 상기 흐릿한 이미지 프레임을 제공한다. 예를 들면, 각 픽셀을 위한 카운터가 제공되며, 이것은 동일한 개수의 픽셀 값들이 각 픽셀에 대해 누적되는 것을 확실히 하기 위해 사용되거나, 각 픽셀에 대해 실제로 누적된 픽셀 값들의 개수에 기초하여 픽셀 값들의 평균을 구하기 위해 사용된다. 라돈(Radon) 변환을 수행하는 것과 같은 다른 종류의 이미지-기반 모션 검출이 수행될 수 있다.
또 다른 실시예에서, 모션은 모션 센서(194)에 의해 제공된 데이터에 기초하여 검출될 수도 있다. 일 실시예에서, 그와 같은 모션 검출은 호스트 장치(102)가 공간을 통과하여 비교적 직선의 탄도를 따라 움직이고 있는지 검출하는 것을 포함할 수 있다. 예를 들면, 만일 호스트 장치(102)가 비교적 직선의 탄도를 따라 움직이고 있다면, 촬영된 장면에서 보이는 어떤 물체(예컨대, 상기 직선 탄도에 정렬되거나 실질적으로 나란히 이동하는 장면 내의 물체)가 충분히 흐릿하지 않은 것일 수도 있다. 따라서, 그와 같은 실시예에서, 모션 센서(194)에 의해 검출된 모션은 호스트 장치(102)에서 특정 탄도를 보이거나 보이지 않는 것으로 조정될 수 있다.
또 다른 실시예에서, 모션 검출 프로세스 및 모션 센서(194) 양자가 사용될 수 있다. 따라서, 이 다양한 실시예들 중 어느 하나를 사용하면, 상기 장면의 적어도 일부 또는 호스트 장치(102)가 서로에 대해 움직이고 있는 동안에 (예컨대, 상기 움직임은 장면에 대해 움직이는 호스트 장치(102)에 의해, 또는 호스트 장치(102)에 대해 움직이는 장면의 적어도 일부에 의해, 또는 양자에 의해 초래될 수 있음) 각 이미지 프레임이 캡처되었는지 여부에 대한 판정이 이루어질 수 있다.
모션이 검출된 이미지 프레임들은 상기 장면 움직임과 상호작용하는 적외선 센서(132)의 열 시간 상수(예컨대, 마이크로볼로미터 열 시간 상수)로 인해 상기 캡처된 장면의 어떤 이차적인 흐릿함(예컨대, 상기 장면과 연관된 흐릿해진 열 이미지 데이터)을 보일 것으로 예상된다.
블록 535에서, 모션이 검출된 이미지 프레임들이 누적된다. 예를 들면, 만일 연속된 일련의 이미지 프레임들에 대해 모션이 검출되면, 상기 이미지 프레임들이 누적된다. 또 다른 예로서, 만일 단지 일부 이미지 프레임에 대해 모션이 검출되면, 움직이지 않는 이미지 프레임들은 건너뛰고 누적에 포함되지 않을 것이다. 따라서, 검출된 모션에 기초하여 이미지 프레임들의 연속 또는 비연속 세트가 선택되어 누적될 것이다.
블록 540에서, 흐릿한 이미지 프레임을 제공하기 위해 상기 누적된 이미지 프레임들이 평균화된다. 상기 누적된 이미지 프레임들은 움직이는 동안 캡처되었기 때문에, 실제 장면 정보는 이미지 프레임들 사이에서 변할 것이며 따라서 상기 장면 정보는 생성된 이미지 프레임에서 추가로 흐릿해질 것으로 예상된다(블록 545).
반면, (예컨대, 적외선 촬영 모듈(100)의 1개 이상의 부품들에 의해 초래된) FPN은 적어도 짧은 시간 동안 및 움직이는 동안 장면 조도의 적어도 제한적인 변화에 대해 고정될 것이다. 그 결과, 움직이는 동안 시간상 및 공간상 근접하여 캡처된 이미지 프레임들은 동일한 또는 적어도 매우 유사한 FPN을 겪을 것이다. 따라서, 장면 정보는 연속된 이미지 프레임들에서 변할 수 있지만, FPN은 기본적으로 일정하게 유지될 것이다. 평균화에 의하여, 움직이는 동안에 캡처된 복수의 이미지 프레임들은 장면 정보를 모호하게 만들지만, FPN을 모호하게 하지 않을 것이다. 그 결과, FPN은 상기 장면 정보보다 블록 545에서 제공된 흐릿해진 이미지 프레임에서 더욱 명확히 정의될 것이다.
일 실시예에서, 블록 535 및 540에서 32개 이상의 이미지 프레임이 누적되어 평균화된다. 다른 실시예에서는 임의의 원하는 개수의 이미지 프레임이 사용될 수 있지만, 프레임 수가 감소함에 따라 정정 정확도는 일반적으로 감소한다.
이제 디포커스-기반 접근을 참조하면, 블록 530에서, 적외선 센서(132)에 의해 캡처된 이미지 프레임들을 의도적으로 디포커싱하기 위해 디포커스 동작이 수행될 수 있다. 예를 들면, 일 실시예에서, 적외선 센서(132)가 장면의 흐릿해진(예컨대, 초점이 맞지 않은) 이미지 프레임들을 캡처하도록 하기 위해 적외선 촬영 모듈(100)의 광학요소(180), 적외선 센서 조립체(128), 및 다른 부품들 중 적어도 하나를 조정, 이동, 또는 병진 이동시키기 위해 사용될 수 있다. 예를 들어 수동(예컨대, 사용자-기동된) 디포커싱과 같이 적외선 이미지 프레임들을 의도적으로 디포커싱하기 위한 다른 비-액츄에이터 기반 기술 역시 고려할 수 있다.
상기 장면이 이미지 프레임에서 흐릿하게 보일 수 있지만, (예컨대, 적외선 촬영 모듈(100)의 1개 이상의 부품들에 의해 초래된) FPN은 상기 디포커싱 동작에 의해 영향을 받지 않을 것이다. 그 결과, 상기 장면의 흐릿한 이미지 프레임이 제공될 것이며(블록 545) FPN은 상기 장면 정보보다 상기 흐릿해진 이미지 프레임에서 더욱 명확히 정의될 것이다.
상기 설명에서, 디포커스-기반 접근은 단일의 캡처된 이미지 프레임에 대하여 설명되었다. 또 다른 실시예에서, 디포커스-기반 접근은 적외선 촬영 모듈(100)이 디포커스되어 있는 동안 복수의 이미지 프레임을 누적하는 단계와 시간적 잡음(temporal noise)의 영향을 제거하고 블록 545에서 흐릿해진 이미지 프레임을 제공하기 위해 상기 디포커스 이미지 프레임들을 평균화하는 단계를 포함한다.
따라서, 블록 545에서는 모션-기반 접근에 의해 또는 디포커스-기반 접근에 의해 흐릿해진 이미지 프레임이 제공될 수 있음을 이해할 것이다. 상기 장면 정보의 상당한 부분이 모션, 디포커싱, 또는 둘 다에 의해 모호해질 수 있기 때문에, 상기 흐릿해진 이미지 프레임은 실질적으로는 장면 정보에 있어서 원래의 캡처된 이미지 프레임의 저역통과 필터링(low pass filtered) 형태로 간주될 수 있다.
블록 550에서, 갱신된 로우 및 칼럼 FPN 조건을 결정하기 위해 상기 흐릿해진 이미지 프레임이 처리된다(예컨대, 만일 로우 및 칼럼 FPN 조건이 이전에 결정되지 않았다면 상기 갱신된 로우 및 칼럼 FPN은 블록 550의 제1 반복에서 새로운 로우 및 칼럼 FPN이 될 것이다). 본 명세서에서는, 용어 로우 및 칼럼은 적외선 촬영 모듈(100)의 적외선 센서(132) 및 부품들 중 적어도 하나의 방향에 따라 상호 교환적으로 사용될 것이다.
일 실시예에서, 블록 550은 상기 흐릿해진 이미지 프레임의 각각의 로우에 대한 공간 FPN 정정 조건을 결정하는 단계(예컨대, 각각의 로우는 자신의 공간 FPN 정정 조건을 가질 수 있음), 및 상기 흐릿해진 이미지 프레임의 각각의 칼럼에 대한 공간 FPN 정정 조건을 결정하는 단계(예컨대, 각각의 칼럼은 자신의 공간 FPN 정정 조건을 가질 수 있음)를 포함한다. 그와 같은 처리는, 예를 들면, ROIC(402)의 증폭기들의 1/f 노이즈 특성에 의해 초래된 열 이미지들에 내재하는, 공간의 서서히 변하는 (1/f) 로우 및 칼럼 FPN을 감소시키기 위해 사용될 수 있으며, 그것은 이미지 프레임에서 수직 및 수평 줄무늬로 나타날 수 있다.
유리하게도, 상기 흐릿해진 이미지 프레임을 사용하여 공간 로우 및 칼럼 FPN 조건을 결정함으로써, 실제 촬영된 장면에서 수직 및 수평 물체가 로우 및 칼럼 노이즈로 오해받는 위험을 감소시킬 수 있다(예컨대, FPN이 흐릿해지지 않고 유지되는 동안 실제 장면 내용은 흐릿해질 것이다).
일 실시예에서, 로우 및 칼럼 FPN 조건은 상기 흐릿해진 이미지 프레임의 이웃하는 픽셀들 사이의 차이를 고려함으로써 결정될 수 있다. 예를 들면, 도 6은 본 발명의 일 실시예에 있어서 이웃하는 픽셀들 사이의 차이를 도시한다. 구체적으로는, 도 6에서, 픽셀(610)은 가장 근접한 8개의 이웃과 비교된다: 한 측면의 d0~d3와 다른 측면의 d4~d7. 상이 이웃 픽셀들과의 차이에 대한 평균을 구하여 상기 예시된 그룹의 픽셀들의 오프셋 에러의 추정치를 얻을 수 있다. 로우 또는 칼럼의 각 픽셀에 대해 오프셋 에러가 계산되며 상기 평균 결과는 전체 로우 또는 칼럼을 정정하기 위해 사용될 것이다.
실제 장면 데이터가 노이즈로 오해되는 것을 방지하기 위해, 상한 및 하한 문턱 값이 사용될 것이다(thPix 및 -thPix). 이 문턱 값들의 밖에 있는 픽셀 값들(이 예에서는 d1 및 d4)은 상기 오프셋 에러를 얻는데 사용되지 않는다. 또한, 로우 및 칼럼 FPN 정정의 최대 양은 이 문턱 값들에 의해 제한될 것이다.
공간 로우 및 칼럼 FPN 정정 처리를 수행하는 추가의 기술들이 2009년 3월 2일 출원된 미국 특허출원 제12/396,340호에 기재되어 있으며, 이 문헌의 전체 내용은 참조에 의해 본 명세서에 포함된다.
도 5를 다시 참조하면, 블록 550에서 결정된 갱신된 로우 및 칼럼 FPN 조건은 저장되고(블록 552) 블록 545에서 제공된 흐릿한 이미지 프레임에 적용된다(블록 555). 이 조건들이 적용된 후, 상기 흐릿한 이미지 프레임 내의 공간 로우 및 칼럼 FPN의 일부가 감소될 것이다. 그러나, 그와 같은 조건들은 일반적으로 로우 및 칼럼에 적용되기 때문에, 픽셀간 드리프트(pixel to pixel drift) 또는 다른 원인과 관련된 공간적으로 상관없는 FPN으로 유지될 수 있다. 공간적으로 상관된 FPN의 이웃 역시 개개의 로우 및 칼럼과 직접적인 관련이 없을 수 있다. 따라서, 이하에서 설명되는 것과 같이 NUC 조건을 결정하기 위해 추가의 처리가 수행될 수 있다.
블록 560에서, 상기 흐릿한 이미지 프레임 내 로컬 콘트라스트 값들(예컨대, 인접한 또는 작은 그룹의 픽셀들 사이의 변화도의 절대값 또는 에지)이 결정된다. 만일 상기 흐릿한 이미지 프레임 내의 장면 정보가 상당히 흐릿해지지 않은 대비를 이루은 영역을 포함한다면(예컨대, 원래 장면 데이터 내의 높은 콘트라스트 에지(contrast edge), 그와 같은 특징들은 블록 560에서 콘트라스트 결정 프로세스에 의해 식별될 것이다.
예를 들면, 상기 흐릿한 이미지 프레임 내의 로컬 콘트라스트 값이 산출되거나, 임의의 다른 원하는 종류의 에지 검출 프로세스가 상기 흐릿한 이미지 프레임 내의 어떤 픽셀들을 로컬 콘트라스트 영역의 일부로서 식별하기 위해 적용될 수 있다. 이 방식으로 표시된 픽셀들은 FPN으로 해석될 수 있는 과도하게 높은 공간 주파수 장면 정보를 포함하는 것으로 간주될 수 있다(예를 들면, 그와 같은 영역들은 충분히 흐릿해지지 않은 장면의 부분들에 대응할 수 있다). 따라서, 이 픽셀들은 NUC 조건들의 추가 결정에서 사용되지 않고 배제될 것이다. 일 실시예에서, 그와 같은 콘트라스트 검출 처리는 FPN과 관련된 예상 콘트라스트 값보다 더 높은 문턱에 좌우될 것이다(예를 들면, 상기 문턱보다 높은 콘트라스트 값을 나타내는 픽셀들은 장면 정보가 되는 것으로 간주될 수 있으며, 상기 문턱보다 낮은 것들은 FPN을 나타내는 것으로 간주될 수 있다).
일 실시예에서, 블록 560의 콘트라스트 결정은 로우 및 칼럼 FPN 조건이 상기 흐릿한 이미지 프레임에 적용된 후에 상기 흐릿한 이미지 프레임에 대해 수행될 수 있다(예컨대, 도 5 참조). 또 다른 실시예에서, 블록 560은 로우 및 칼럼 FPN 조건이 결정되기 전에 콘트라스트를 결정하기 위해 블록 550에 앞서서 수행될 것이다(예를 들면, 장면 기반 콘트라스트가 그와 같은 조건의 결정에 기여하는 것을 방지하기 위해).
블록 540 이후에, 일반적으로, 상기 흐릿한 이미지 프레임에 잔류하는 어떤 높은 공간 주파수 콘텐트는 공간적으로 상관없는 FPN에 기인하는 것으로 예상된다. 이와 관련하여, 블록 560 이후에, 다른 노이즈 또는 실제 원하는 장면 기반 정보의 많은 부분이 상기 흐릿한 이미지 프레임으로부터 제거되거나 배제되었으며, 이것은 이미지 프레임을 의도적으로 흐릿하게 하고(예컨대, 블록 520 내지 545에서 모션 또는 디포커싱에 의해), 로우 및 칼럼 FPN 조건을 적용하고(블록 555), 및 콘트라스트의 결정(블록 560) 덕분이다.
따라서, 블록 560 이후에, 임의의 잔류하는 높은 공간 주파수 콘텐트(예컨대, 상기 흐릿한 이미지 프레임에서 콘트라스트 영역 또는 차이로서 보이는)는 공간적으로 상관없는 FPN에 기인하는 것으로 예상될 수 있다. 따라서, 블록 565에서, 상기 흐릿한 이미지 프레임의 고역통과 필터링이 실시된다. 일 실시예에서, 이것은 상기 흐릿한 이미지 프레임에서 높은 공간 주파수 콘텐트를 추출하기 위해 고역통과 필터를 적용하는 것을 포함할 수 있다. 또 다른 실시예에서, 이것은, 상기 높은 공간 주파수 콘텐트를 얻기 위해, 상기 흐릿한 이미지 프레임에 저역통과 필터를 적용하고 저역 통과 필터링된 이미지 프레임과 필터링되지 않은 흐릿한 이미지 프레임 사이의 차이를 취하는 것을 포함할 수 있다. 본 발명의 다양한 실시예에 있어서, 고역통과 필터는 센서 신호(예컨대, 픽셀 값)와 그 이웃들 사이의 평균 차이를 산출함으로써 실시될 수 있다.
블록 570에서, 갱신된 NUC 조건을 결정하기 위해 상기 고역통과 필터링된 흐릿한 이미지 프레임에 대해 플랫-필드 보정 프로세스가 수행된다(예를 들어, 만일 NUC 프로세스가 이전에 수행되지 않았다면 상기 갱신된 NUC 조건들은 블록 570의 제1 반복에서 새로운 NUC 조건이 될 수 있다).
예를 들면, 도 7은 본 발명의 일 실시예에 있어서 플랫 필드 보정 기술(700)을 도시한다. 도 7에서, 상기 흐릿한 이미지 프레임의 각 픽셀(710)에 대해 그 이웃하는 픽셀들(712 ~ 726)의 값을 사용하여 NUC 조건이 결정될 수 있다. 각 픽셀에 대해, 다양한 인접 픽셀의 값들 사이의 절대적인 차이를 기초로 여러 개의 변화도(gradient)가 결정될 수 있다. 예를 들면, 픽셀(712, 714) 사이(좌에서 우로 대각선 변화도, 픽셀(716, 718) 사이(위에서 아래로 수직 변화도), 픽셀(720, 722) 사이(우에서 좌로 대각선 변화도), 및 픽셀(724, 726) 사이(좌에서 우로 수평 변화도)에 절대값 차이가 결정될 수 있다.
이들 절대값 차이는 픽셀(700)에 대한 변화도 합계를 제공하기 위해 합산될 것이다. 상기 변화도 합계에 반비례하는 가중치가 픽셀(710)에 대해 결정될 것이다. 이 프로세스는 각 픽셀(710)에 대해 가중치가 제공될 때까지 상기 흐릿한 이미지 프레임의 모든 픽셀(710)에 대해 수행될 것이다. 낮은 변화도를 가진 영역들(예컨대, 흐릿하거나 낮은 콘트라스트를 가진 영역들)의 경우, 상기 가중치는 1에 가까울 것이다. 반대로, 높은 변화도를 가진 영역들의 경우, 상기 가중치는 0이거나 0에 가까울 것이다. 상기 고역통과 필터에 의해 추정된 것과 같은 NUC 조건에 대한 갱신은 상기 가중치와 곱해진다.
일 실시예에서, NUC 조건 내에 장면 정보를 도입할 위험은 NUC 조건 결정 프로세스에 약간의 시간적 댐핑(temporal damping)을 적용함으로써 더욱 감소될 수 있다. 예를 들면, 저장된 새로운 NUC 조건(NUCNEW)가 과거 NUC 조건(NUCOLD)과 추정된 갱신 NUC 조건(NUCUPDATE)의 가중 평균이 되도록 0과 1 사이의 시간 댐핑 인자(λ)가 선택될 수 있다. 일 실시예에서, 이것은 NUCNEW = λ·NUCOLD + (1-λ)·(NUCOLD + NUCUPDATE).
지금까지 NUC 조건의 결정이 변화도와 관련하여 설명되었지만, 상황에 따라서는 로컬 콘트라스트 값이 대신 사용될 수 있다. 예를 들면 표준편차 계산과 같은 다른 기술이 사용될 수도 있다. 예를 들어 2000년 2월 22일 등록된 미국 특허 제6,028,309호, 2004년 11월 2일 등록된 미국 특허 제6,812,465호, 및 2008년 5월 5일 출원된 미국 특허출원 제12/114,865호에 개시된 다양한 프로세스를 포함하는 다른 종류의 플랫 필드 보정 프로세서가 NUC를 결정하는데 사용될 수 있으며, 이 문헌들의 전체 내용은 참조를 위해 본 명세서에 포함된다.
도 5를 다시 참조하면, 블록 570은 상기 NUC 조건들의 추가 처리를 포함할 수 있다. 예를 들면, 일 실시예에서, 상기 장면 신호 평균을 유지하기 위해, 각 NUC 조건으로부터 상기 NUC 조건 평균을 감산함으로써 모든 NUC 조건들의 합이 0으로 정상화될 수 있다. 또한 블록 570에서, 로우 및 칼럼 노이즈가 NUC 조건에 영향을 미치는 것을 피하기 위해, 각각의 로우 및 칼럼에 대해 각 로우 및 칼럼의 평균 값이 NUC 조건으로부터 감산될 수 있다. 그 결과, 블록 550에서 결정된 로우 및 칼럼 FPN 조건을 사용하는 로우 및 칼럼 FPN 필터는 상기 NUC 조건이 캡처된 이미지에 적용된 후(예컨대, 블록 580에서 추가로 설명됨) 추가 반복에서 로우 및 칼럼 노이즈를 더욱 잘 걸러낼 수 있을 것이다(예컨대, 도 8에서 추가 도시됨). 이와 관련하여, 로우 및 칼럼 FPN 필터는 로우마다 및 칼럼마다의 오프셋 계수(예컨대, 로우 및 칼럼 FPN 조건)를 계산하기 위해 일반적으로 더 많은 데이터를 사용할 것이며 따라서 공간적으로 상관없는 노이즈를 캡처하기 위해 고역통과 필터에 기초하는 NUC 조건보다 공간적으로 상관된 FPN 조건을 감소시키기 위한 더 강력한 대안을 제공할 수 있다.
블록 571 ~ 573에서, 로우 및 칼럼 FPN 조건에 의해 이전에 제거된 것보다 더 낮은 공간 주파수를 가진 공간적으로 상관된 FPN을 제거하기 위해 추가의 고역통과 필터링과 추가의 갱신 NUC 조건의 결정이 선택적으로 수행될 수 있다. 이와 관련하여, 적외선 촬영 모듈(100)의 적외선 센서(132) 또는 다른 부품들의 어떤 가변성은 로우 또는 칼럼 노이즈로 쉽게 모형화될 수 없는 공간적으로 상관된 FPN 노이즈를 발생시킬 수 있다. 그와 같은 공간적으로 상관된 FPN은 예를 들면, 이웃하는 적외선 센서(132)보다 조도에 다르게 반응하는 적외선 센서(132)들의 집단 또는 센서 패키지 상의 윈도우 결함(window defects)를 포함할 수 있다. 일 실시예에서, 그와 같은 공간적으로 상관된 FPN은 오프셋 보정으로 완화될 수 있다. 만일 그와 같은 공간적으로 상관된 FPN의 양이 상당하다면, 상기 흐릿한 이미지 프레임에서 노이즈 역시 검출될 수 있을 것이다. 이런 종류의 노이즈는 픽셀들의 이웃에 영향을 미칠 수 있기 때문에, 작은 커널(kernel)을 가진 고역통과 필터는 이웃에서 FPN을 검출하지 못할 수도 있다(예컨대, 고역통과 필터에서 사용된 모든 값들은 영향을 받은 픽셀들의 이웃에서 취해질 수 있으며 따라서 똑같은 오프셋 에러에 의해 영향을 받을 수 있다). 예를 들어, 만일 블록 565의 고역통과 필터링이 작은 커널을 가지고 수행되면(예컨대, 공간적으로 상관된 FPN에 의해 영향을 받는 픽셀들의 이웃 내에 속하는 바로 인접한 픽셀들만 고려함), 넓게 분산된 공간적으로 상관된 FPN은 검출될 수 없을 것이다.
예를 들면, 도 11은 본 발명의 일 실시예에 있어서 이웃 픽셀들에서 공간적으로 상관된 FPN을 도시한다. 샘플 이미지 프레임(1100)에 도시한 것과 같이, 이웃하는 픽셀(1110)들은 개개의 로우 및 칼럼에 정확히 상관되지 않은 공간적으로 상관된 FPN을 보여주며 이웃하는 여러 개의 픽셀들에 걸쳐 분포한다(예컨대, 본 실시예에서는 이웃하는 약 4x4 픽셀들). 샘플 이미지 프레임(1100)은 또한 필터링 계산에서 사용되지 않는 실질적으로 균일한 응답을 보여주는 한 세트의 픽셀(1120), 및 상기 이웃하는 픽셀(1110)들에 대한 저역통과 값을 추정하기 위해 사용되는 한 세트의 픽셀(1130)들을 포함한다. 일 실시예에서, 픽셀(1130)들은 효율적인 하드웨어 또는 소프트웨어 계산을 용이하게 하기 위해 2개 나눌 수 있는 복수의 픽셀일 수 있다.
다시 도 5를 참조하면, 블록 571 ~ 573에서, 픽셀(1110)에 의해 표시된 것과 같은 공간적으로 상관된 FPN을 제거하기 위해 추가의 고역통과 필터링 및 갱신 NUC 조건의 추가 결정이 선택적으로 수행될 수 있다. 블록 571에서, 블록 570에서 결정된 갱신 NUC 조건은 상기 흐릿한 이미지 프레임에 적용된다. 따라서, 이 시점에서, 상기 흐릿한 이미지 프레임은 공간적으로 상관된 FPN을 위해 초기에 보정될 것이며(예컨대, 블록 555에서 상기 갱신된 로우 및 칼럼 FPN 조건의 적용에 의해), 또한 공간적으로 상관되지 않은 FPN을 위해 초기에 보정될 것이다(예컨대, 블록 571에서 상기 갱신된 NUC 조건의 적용에 의해).
블록 572에서, 블록 565에서 사용된 것보다 큰 커널을 가진 고역통과 필터가 추가로 적용되고, 블록 573에서 추가로 갱신된 NUC 조건이 결정될 수 있다. 예를 들면, 픽셀(1110)에 존재하는 상기 공간적으로 상관된 FPN을 검출하기 위해, 블록 572에서 적용된 고역통과 필터는, 영향을 받지 않은 픽셀(예컨대, 픽셀(1120))들과 영향을 받은 픽셀(예컨대, 픽셀(1110))들 사이에서 차이가 결정될 수 있도록, 충분히 큰 이웃 픽셀들로부터의 데이터를 포함할 것이다. 예를 들면, 큰 커널을 가진 저역통과 필터가 사용될 수 있으며(예컨대, 3x3 픽셀보다 훨씬 더 큰 NxN 커널) 그 결과는 적절한 고역통과 필터링을 수행하기 위해 감산될 것이다.
일 실시예에서, 연산의 효율성을 위해서, NxN 이웃 내부의 소수의 이웃하는 픽셀들만이 사용되도록 희소한 커널이 사용될 수도 있다. 떨어져 있는 이웃들을 사용하는(예컨대, 큰 커널) 어떤 소정의 고역통과 필터 동작의 경우, 실제의(흐릿해질 수 있는 가능성이 있는) 장면 정보를 공간적으로 상관된 FPN으로 모형화하는 위험이 존재한다. 따라서, 일 실시예에서, 시간 댐핑 인자(λ)는 블록 573에서 결정된 갱신 NUC 조건에 대해 1에 가깝게 설정될 수 있다.
다양한 실시예에서, 블록 571~573은, 원하는 이웃 크기의 공간적으로 상관된 FPN에 대한 추가 보정을 위해 추가로 갱신된 NUC 조건을 제공하기 위해 커널 크기를 증가시키면서 고역통과 필터링을 반복하여 수행하기 위해, 반복(예컨대, 캐스캐이드)될 수 있다. 일 실시예에서, 그와 같은 반복을 수행하는 결정은 공간적으로 상관된 FPN이 블록 571~573의 이전 수행으로 갱신된 NUC 조건에 의해 제거되었는지 여부에 의해서 결정될 것이다.
블록 571~573이 종료된 후에, 상기 갱신된 NUC 조건을 캡처된 이미지 프레임에 적용할지 여부에 관한 결정이 이루어진다(블록 574). 예를 들어, 만일 전체 이미지 프레임에 대한 NUC 조건의 절대값의 평균이 최소 문턱 값보다 작거나, 최대 문턱 값보다 크면, 상기 NUC 조건이 허위의(spurious) 의미 있는 보정을 제공할 가능성이 없는 것으로 간주된다. 대안으로, 어느 픽셀들이 갱신된 NUC 조건을 수신할지를 결정하기 위해 개별 픽셀들에 문턱 기준(thresholding criteria)이 적용될 수 있다. 일 실시예에서, 상기 문턱 값들은 새로 계산된 NUC 조건과 이전에 계산된 NUC조건 사이의 차이에 반응할 것이다. 또 다른 실시예에서, 상기 문턱 값들은 이전에 계산된 NUC 조건에 독립적일 수 있다. 상기 NUC 조건이 적용되어야 할지 여부를 결정하기 위해 다른 테스트가 적용될 수 있다(예컨대, 공간 상관 테스트).
만일 NUC 조건이 의미 있는 보정을 제공할 가능성이 없거나 허위인 것으로 간주되면, 흐름도는 블록 505로 복귀한다. 그렇지 않으면, 새로 결정된 NUC 조건은 이전 NUC 조건(예컨대, 도 5에서 이전에 수행된 반복에 의해 결정된)을 대체하기 위해 저장되고(블록 575) 또한 캡처된 이미지 프레임들에 적용된다(블록 580).
도 8은 본 발명의 일 실시예에 있어서 도 5의 다양한 이미지 처리 기술과 이미지 처리 파이프라인(800)에 적용된 다른 동작들을 도시한다. 이와 관련하여, 파이프라인(800)은 적외선 촬영 모듈(100)에 의해 제공된 이미지 프레임을 보정하기 위한 전체적인 반복 이미지 처리 방안의 맥락에서 도 5의 다양한 동작들을 확인한다. 어떤 실시예들에서는, 파이프라인(800)은 적외선 센서(132)에 의해 캡처된 이미지 프레임들에 작용하는 처리모듈(160) 또는 프로세서(195)에 의해 제공될 수 있다.
적외선 센서(132)에 의해 캡처된 이미지 프레임들은, 개선된 신호대잡음비를 가진 이미지 프레임(802)을 제공하기 위해 복수의 이미지 프레임들을 통합하는 프레임 평균화기(804)에 제공된다. 프레임 평균화기(804)는 적외선 센서(132), ROIC(402), 및 높은 이미지 캡처 레이트를 지원하도록 구현되는 적외선 센서 조립체(128)의 기타 부품들에 의해 효과적으로 제공된다. 예를 들면, 일 실시예에서, 적외선 센서 조립체(128)는 240 Hz의 프레임 레이트(예컨대, 초당 240개 이미지)로 적외선 이미지 프레임을 캡처할 수 있다. 이 실시예에서, 그와 같이 높은 프레임 레이트는, 예를 들면, 적외선 센서 조립체(128)를 비교적 낮은 전압에서 동작시킴으로써(예컨대, 이동전화기 전압에 상당한) 및 적외선 센서(132)들의 비교적 작은 어레이를 사용함으로써(예컨대, 일 실시예에서 64x64 적외선 센서 어레이), 구현될 수 있다.
일 실시예에서, 그와 같은 적외선 이미지 프레임들은 높은 프레임 레이트(예컨대, 240 Hz 또는 다른 프레임 레이트)로 적외선 센서 조립체(128)로부터 처리모듈(160)로 제공될 수 있다. 또 다른 실시예에서, 적외선 센서 조립체(128)는, 통합된(예컨대, 평균화된) 적외선 이미지 프레임을 더 낮은 프레임 레이트(예컨대, 30 Hz, 9 Hz 또는 기타 프레임 레이트)로 처리모듈(160)에 제공하기 위해, 더 긴 시간 주기 동안, 또는 복수의 시간 주기 동안 통합할 수 있다. 높은 이미지 캡처 레이트를 제공하기 위해 사용될 수 있는 실시에 대한 추가 정보는 본 명세서에서 이전에 참조된 미국 임시 특허출원 제61/495,879호에서 찾을 수 있다.
이미지 프레임(802)들은 파이프라인(800)을 통해 전달되며 다양한 조건에 의해 조정되고, 시간적으로 여과되고, 상기 다양한 조정 조건을 결정하기 위해 사용되며, 이득이 보상된다.
블록 810 및 814에서, 제조 및 시험 중에 결정된, 적외선 촬영 모듈(100)의 다양한 적외선 센서(132) 및 다른 부품들 사이에서 이득 및 오프셋 차이를 각각 보상하기 위해, 공장 이득 조건(812) 및 공장 오프셋 조건(816)이 이미지 프레임(802)에 적용된다.
블록 580에서, 설명한 것과 같이 FPN에 대해 정정하기 위해 NUC 조건(817)이 이미지 프레임(802)에 적용된다. 일 실시예에서, 만일 NUC 조건(817)이 아직 결정되지 않은 경우라면(예컨대, NUC 프로세스가 개시되기 전이라면), 블록 580이 수행되지 않거나, 이미지 데이터의 변경을 일으키지 않는(예컨대, 모든 픽셀에 대한 오프셋이 0이 될 수 있는) 초기화 값들이 NUC 조건(817)을 위해 사용될 것이다.
블록 818과 822에서, 칼럼 FPN 조건(820) 및 로우 FPN 조건(824)는 각각 이미지 프레임(820)에 적용된다. 칼럼 FPN 조건(820) 및 로우 FPN 조건(824)은 설명된 것과 같이 블록 550에 따라서 결정될 수 있다. 일 실시예에서, 만일 칼럼 FPN 조건(820) 및 로우 FPN 조건(824)이 아직 결정되지 않았다면(예컨대, NUC 프로세스가 개시되기 전이라면), 블록 818 및 822이 수행되지 않거나, 이미지 데이터의 변경을 일으키지 않는(예컨대, 모든 픽셀에 대한 오프셋이 0이 될 수 있는) 초기화 값들이 칼럼 FPN 조건(820) 및 로우 FPN 조건(824)을 위해 사용될 것이다.
블록 826에서, 시간 노이즈 감소(TNR: temporal noise reduction) 프로세스에 따라서 이미지 프레임(802)에 시간 필터링이 수행된다. 도 9는 본 발명의 일 실시예에 있어서 TNR 프로세스를 도시한다. 도 9에서, 새로운 시간 필터링된 이미지 프레임(802e)을 결정하기 위해 현재 수신된 이미지 프레임(802a)과 이전 시간 필터링된 이미지 프레임(802b)이 처리된다. 이미지 프레임(802a, 802b)은 중심 픽셀(805a, 805b) 주위에 로컬 이웃 픽셀(803a, 803b)을 각각 포함한다. 이웃(803a, 803b)은 이미지 프레임(802a, 802b) 내의 동일한 위치에 대응하며 이미지 프레임(802a, 802b) 내의 전체 픽셀의 부분집합(subset)이다. 도시된 실시예에서, 이웃(803a, 803b)은 5x5 픽셀들의 영역을 포함한다. 다른 실시예에서는 다른 크기의 이웃 크기가 사용될 수 있다.
픽셀(805a, 805b)에 대응하는 위치에 대한 평균 델타 값(805c)을 제공하기 위해 이웃(803a, 803b)의 대응하는 픽셀들 사이의 차이가 결정되고 평균화된다. 평균 델타 값(805c)은 이미지 프레임(802a, 802b)의 픽셀(805a, 805b)에 적용될 가중치를 결정하기 위해 블록 807에서 사용될 수 있다.
일 실시예에서, 그래프 808로 도시한 것과 같이, 블록 807에서 결정된 가중치는 평균 델타 값(805c)에 반비례하며 가중치는 이웃(803a, 803b) 사이에 큰 차이가 있을 때 0을 향해 급속히 떨어진다. 이와 관련하여, 이웃(803a, 803b) 사의 큰 차이는 장면에 변화가 발생한 것을 가리키며(예컨대, 움직임에 의해) 픽셀(802a, 802b)은, 일 실시예에서, 프레임간 장면 변화에 블러(blur)를 도입하는 것을 피하기 위해 적절히 가중처리될 수 있다.
이미지 프레임(802e)의 대응하는 픽셀(805e)에 대한 값을 결정하기 위해 블록 807에서 결정된 가중치가 픽셀(805a, 805b)에 적용될 수 있다(블록 811). 이와 관련하여, 픽셀(805e)은 픽셀(805a, 805b)의 가중 평균(또는 다른 조합)인 값을 가질 수 있으며, 이것은 평균 델타 값(805c)과 블록 807에서 결정된 가중치에 의존한다.
예를 들어, 시간 필터링된 이미지 프레임(802e)의 픽셀(805e)은 이미지 프레임(802a, 802b)의 픽셀(805a, 805b)의 가중 합계일 수 있다. 만일 픽셀(805a, 805b) 사이의 평균 차이가 노이즈에 의한 것이라면, 이웃(805a, 805b) 사이의 평균은 0에 가까울 것으로 예상될 수 있다(예컨대, 상관없는 변화들의 평균에 해당함). 그와 같은 환경하에서, 이웃(805a, 805b) 사이의 차이의 합계는 0에 가까울 것으로 예상될 수 있다. 이 경우에, 이미지 프레임(802a)의 픽셀(805a)은 픽셀(805e)의 값에 기여하도록 둘 다 적절히 가중처리된다.
그러나, 만일 그와 같은 차이의 합계가 0이라면(예컨대, 일 실시예에서 적은 양이라도 0과 다르다면), 상기 변화는 노이즈가 아니라 움직임에 기여하는 것으로 해석될 수 있다. 따라서, 움직임은 이웃(805a, 805b)에 의해 나타난 평균 변화에 기초하여 검출될 수 있다. 이들 환경하에서, 이미지 프레임(802a)의 픽셀(805a)은 무겁게 가중처리되는 반면, 이미지 프레임(802b)의 픽셀(805b)은 가볍게 가중처리될 수 있다.
다른 실시예들도 고려될 수 있다. 예를 들면, 평균 델타 값(805c)은 이웃(805a, 805b)에 기초하여 결정되는 것으로 설명했지만, 다른 실시예에서 평균 델타 값(805c)은 원하는 기준에 기초하여 결정될 수 있다(예컨대, 개개의 픽셀 또는 다른 종류의 픽셀 세트들의 그룹에 기초하여).
상기 실시예에서, 이미지 프레임(802a)은 현재 수신된 이미지 프레임으로 설명했고 이미지 프레임(802b)은 이전에 시간 필터링된 이미지 프레임으로 설명했다. 또 다른 실시예에서, 이미지 프레임(802a, 802b)은 시간 필터링되지 않은 적외선 촬영 모듈(100)에 의해 캡처된 제1 및 제2 이미지 프레임일 수 있다.
도 10은 블록 826의 TNR 프로세스에 관련된 추가의 실행 상세를 도시한다. 도 10에 도시한 것과 같이, 이미지 프레임(802a, 802b)은 라인 버퍼(1010a, 1010b) 안으로 각각 읽혀지고, 이미지 프레임(802b)(예컨대, 이전 이미지 프레임)은 라인 버퍼(1010a) 안으로 읽혀지기 전에 프레임 버퍼(1020)에 저장될 수 있다. 일 실시예에서, 라인 버퍼(1010a, 1010b)와 프레임 버퍼(1020)는 적외선 촬영 모듈(100) 또는 호스트 장치(102)의 어떤 적절한 부품에 의해 제공된 랜덤 액세스 메모리(RAM)의 블록에 의해 구현될 수 있다.
다시 도 8을 참조하면, 이미지 프레임(802e)은, 필요에 따라 호스트 장치(102)에 의해 사용될 수 있는 결과 이미지 프레임(830)을 제공하기 위한 추가 처리를 위해, 자동 이득 보상 블록 828에 전달될 것이다.
도 8은 로우 및 칼럼 FPN 조건 및 NUC 조건을 결정하기 위해 수행될 수 있는 다양한 동작들을 도시한다. 일 실시예에서, 이 동작들은 도 8에 도시한 것과 같은 이미지 프레임(802e)을 사용할 수 있다. 이미지 프레임(802e)은 이미 시간 필터링되었기 때문에, 적어도 일부의 시간 노이즈는 제거될 것이고 따라서 로우 및 칼럼 FPN 조건(824, 820) 및 NUC 조건(817)의 결정에 우연히 영향을 주지는 않을 것이다. 또 다른 실시예에서, 비-시간(non-temporally) 필터링된 이미지 프레임(802)이 사용될 수 있다.
도 8에서, 도 5의 블록 510, 515 및 520은 함께 집합적으로 표시된다. 설명한 바와 같이, NUC 프로세스는 다양한 NUC 프로세스 개시 이벤트에 응답하여 그리고 다양한 기준 또는 조건에 기초하여 선택적으로 개시되거나 수행될 수 있다. 또한 설명한 것과 같이, NUC 프로세스는, 흐릿한 이미지 프레임을 제공하기 위해(블록 545) 모션-기반 접근(블록 525, 535, 540) 또는 디포커스-기반 접근(블록 530)에 따라서 수행될 수 있다. 도 8은 도 5와 관련하여 이전에 설명한 다양한 추가 블록들(550, 552, 555, 560, 565, 570, 571, 572, 573, 575)을 더 도시한다.
도 8에 도시한 것과 같이, 로우 및 칼럼 FPN 조건(820, 824) 및 NUC 조건(817)은, 이전 조건이 이미 적용된 이미지 프레임(802)을 사용하여 갱신 조건이 결정되도록, 반복 형식으로 결정되고 적용될 수 있다. 그 결과, 도 8의 전체 프로세스는 호스트 장치(102)에 의해 사용될 이미지 프레임(830) 내의 노이즈를 계속 감소시키기 위해 그와 같은 조건을 반복적으로 갱신하고 적용할 것이다.
다시 도 10을 참조하여, 파이프라인(800)에 관련된 도 8 및 도 5의 다양한 블록들에 대한 추가 실행이 상세히 설명된다. 예를 들면, 블록 525, 535 및 540은 파이프라인(800)에 의해 수신된 이미지 프레임(802)의 정상 프레임 레이트에서 동작하는 것으로 도시되어 있다. 도 10에 도시한 실시예에서, 블록 525에서 이루어지는 판정은, 다른 이미지 프레임에 추가되어 누적되고(블록 535는 이 실시예에서 화살표로 표시됨) 평균화되면(블록 540) 상기 블러를 강화시키는 이미지 프레임으로 간주되도록, 주어진 이미지 프레임(802)이 충분히 변화했는지 여부를 판정하기 위해 사용되는 판정 마름모로서 표현된다.
또한 도 10에서, 칼럼 FPN 조건(820)의 판정(블록 550)은, 이 실시예에서 블록 540에서 수행된 평균화로 인해 센서 프레임 레이트(정상 프레임 레이트)의 1/32인 갱신 레이트로 동작하는 것으로 도시되어 있다. 다른 실시예에서는 다른 갱신 레이트가 사용될 수 있다. 칼럼 FPN 조건(820)만이 도 10에서 도시되어 있지만, 로우 FPN 조건도 감소된 프레임 레이트에서 유사한 방식으로 구현될 수 있다.
도 10은 또한 블록 570의 NUC 결정 프로세스에 관련된 추가 실행을 상세히 도시한다. 이와 관련하여, 상기 흐릿한 이미지 프레임을 라인 버퍼(1030)로 읽어 들인다(예컨대, 적외선 촬영 모듈(100) 또는 호스트 장치(102)의 임의의 적절한 부품에 의해 제공되는 RAM 블록에 의해 구현됨). 도 7의 플랫 필드 보정 기술(700)이 상기 흐릿한 이미지 프레임에 대해 수행될 수 있다.
본 발명을 고려하면, 본 명세서에 설명된 기술들이 공간적으로 상관된 로우 및 칼럼 FPN 및 공간적으로 상관없는 FPN과 같은 다양한 종류의 FPN(예컨대, 매우 높은 진폭 FPN을 포함하는)을 제거하기 위해 사용될 것으로 평가할 수 있다.
다른 실시예들도 고려될 수 있다. 예를 들면, 일 실시예에서, 로우 및 칼럼 FPN 조건 및/또는 NUC 조건이 갱신되는 레이트는 상기 흐릿한 이미지 프레임 내의 블러의 추정된 양 및/또는 로컬 콘트라스트 값(예컨대, 블록 560에서 결정된 것)의 크기에 반비례하는 것이 가능하다.
다양한 실시예에서, 전술한 기술들은 종래의 셔터-기반 노이즈 보정 기술에 비해 유리할 수 있다. 예를 들면, 셔터 없는 프로세스를 사용함으로써, 셔터(예컨대, 셔터(105))는 제공될 필요가 없고, 따라서 크기, 무게, 원가, 및 기계적 복잡성이 감소될 수 있을 것이다. 적외선 촬영 모듈(100)에 공급되거나 적외선 촬영 모듈(100)에 의해 발생된 파워 및 최대 전압 역시 셔터를 기계적으로 동작시킬 필요가 없다면 감소될 수 있다. 잠재적 고장 발생지인 셔터를 제거함으로써 신뢰성이 향상될 것이다. 셔터 없는 프로세스는 또한 셔터에 의해 촬영된 장면의 일시적 차단에 의해 초래되는 잠재적인 이미지 중단을 제거한다.
또한, (셔터에 의해 제공되는 균일한 장면이 아닌) 실제 장면으로부터 캡처한, 의도적으로 흐릿해진 이미지 프레임을 사용하여 노이즈에 대한 보정을 함으로써, 촬영하고 싶은 실제 장면과 유사한 조도 레벨을 가진 이미지 프레임에 대해 노이즈 보정이 수행될 것이다. 이것은 전술한 다양한 기술들에 따라서 결정되는 노이즈 보정 조건의 정확성과 효과성을 향상시킬 수 있다.
이제 도 12~도 16을 다시 참조하면서, 열 촬영기를 사용하는 스마트 감시 카메라 시스템 및 방법을 설명한다. 본 발명의 다양한 실시예에 의하면, 스마트 감시 카메라 시스템은 열 촬영기(예컨대, 도 1의 적외선 촬영 모듈(100))에 의해 캡처된 감시 장면의 열 이미지를 처리 및 분석함으로써, 감시 장면의 스마트 조명 및 기록을 제공한다. 일 실시예에서, 스마트 감시 카메라 시스템은 적외선(IR) 조명기, 가시광선 조명기, 가시광선 및 반사된 근적외선(NIR)(예컨대, IR 조명기에 의해 조명된 물체로부터), 열 촬영기, 및 프로세서를 포함할 수 있다. 일 실시예에서, 상기 열 촬영기 및/또는 프로세서는 장면에서 관심 있는 물체(예컨대, 사람, 차량)를 검출하고, 이 검출에 기초하여 IR 조명기, 가시광선 조명기들, 및/또는 상기 가시광/NIR 카메라를 제어하도록 구성될 수 있다.
예를 들면, 관심 있는 물체가 시야(FOV: Field Of View)에 들어가면, 스마트 감시 카메라는 상기 IR 조명기 및/또는 상기 가시광선 조명기를 작동시킬 것이다. 그와 같은 작동은 물체의 종류 및/또는 속성에 의존할 것이다. 따라서, 시간에 따라 뜨거워질 수 있는 이 조명기들은, 필요 시 또는 원할 때만 의도적으로 작동될 수 있다. 그와 같은 스마트 조명은 종래의 감시 카메라의 성능에 부정적으로 영향을 주는 거미줄의 누적을 방지하는 이점 외에 여기서 설명된 다른 이점을 제공할 수 있다. 다양한 종래 카메라 시스템들은 능동 조명기가 낮은 조명 상황(예컨대, 밤시간 또는 흐릿한 조명의 실내) 일정하게 계속적으로 작동하는 것을 필요로 하며, 이것은 곤충을 유인하고 카메라 근처에 거미줄의 형성을 초래하며, 그리하여 카메라가 의미 없는 이미지를 계속 기록하게 작동할 수 있다. 반면, 스마트 감시 카메라 시스템은 우선 필요 시에만 간헐적으로 조명기를 작동시킴으로써 곤충과 거미줄의 유인을 감소시키고, 거미줄 또는 곤충과 같은 불필요한 물체가 존재하더라도, 카메라는 감시 장면의 열 이미지를 캡처하고 분석하여 불필요한 물체를 검출할 수 있기 때문에 의미 없는 이미지를 계속해서 기록하지 않는다. 이와 같이, 스마트 감시 카메라 시스템은 조명기 및 카메라에 의한 전력 소모를 줄일 수 있어 유리하고, 또한 의미 없는 비디오 이미지의 긴 클립을 검토하는데 소비되는 시간과 노력을 절약할 수 있다.
다양한 실시예에서, 스마트 감시 카메라 시스템은, 물체의 검출된 존재 및/또는 속성을 기초로, 가시광/NIR 카메라를 사용하여 감시 장면의 이미지를 선택적으로 캡처할 수 있다(예컨대, 로컬 또는 원격 모니터링 스테이션에 전송함). 스마트 감시 카메라 시스템은 그와 같은 이미지를 상기 검출에 기초하여 예를 들면 로컬 또는 원격 저장장치에 선택적으로 기록할 수 있다. 전술한 바와 같이, 다양한 광원(예컨대, 가시광선 조명기, IR 조명기)이 상기 검출에 기초하여 선택적으로 작동되어, 상기 가시광/NIR 카메라를 위해 감시 장면을 조명하거나, 상기 가시광/NIR 카메라에 독립적일 수 있다. 인정될 수 있는 것과 같이, 스마트 조명과 기록 동작의 다수의 유용한 조합이 스마트 감시 카메라 시스템에 의해 제공될 수 있다.
이와 관련하여, 스마트 감시 카메라 시스템은 스마트 조명 및 기록 동작들을 추가로 정의하거나, 원하는 대로 바꾸거나, 아니면 구성하는 것을 가능하게 한다. 사용자들은 상기 검출된 물체의 종류에 따라서 특정 조명 및 기록 동작을 수행하도록 상기 카메라 시스템을 구성할 수 있다.
예를 들면, 어떤 실시예들에서, 만일 사람이 검출되면, 특정 방향으로 광을 비추도록 각각 방향설정된 가시광선 조명기를 선택적으로 온/오프 조작함으로써, 또는 상기 가시광선 조명기로부터의 광 출력 방향을 기계적으로 조정함으로써, FPV 내에서, 상기 가시광선 조명기가 그 사람을 추적하는 스폿 광으로서 이용된다. 또 다른 실시예에서, 만일 차량 또는 다른 큰 물체가 검출되면, 원하는 만큼 많은 가시광선 조명기가 물체를 적절히 조명하기 위해 켜질 수 있다(예컨대, 투광조명을 생성하기 위해). 또 다른 실시예에서, 동물이나 허위 아닌 물체가 검출되면, 물체가 FOV 내에 있는 동안 IR 조명기가 켜진다. 또 다른 실시예에서, 만일 허위 물체(예를 들면, 거미줄, 곤충, 회전초, 또는 감시 목적 대상이 아닌 다른 물체)가 검출되면, 조명기는 켜지지 않는다.
이러한 그리고 다른 실시예에서, 사용자는, 다양한 조명기를 작동시키거나 작동시키기 않고서, 감시 장면의 로컬 기록 및/또는 원격 기록/보기를 위해 이미지(예컨대, 가시광/NIR 카메라 및/또는 열 촬영기로부터의 비디오 피더(feeder) 또는 정지 이미지와 같은 가시광/NIR 이미지 프레임 및/또는 열 이미지 프레임)를 선택적으로 제공하도록, 카메라 시스템을 구성할 수 있다. 어떤 실시예들에서는, 카메라 시스템은 사용자에게 높은 콘트라스트와 고 해상도의 사용자가 볼 수 있는 열 이미지를 기록하는 옵션을 제공할 수 있으며, 이것은 상기 이미지가 낮은 조명 상황에서(예컨대, 밤시간 감시) 캡처될 때라도 유용한 상세를 제공할 수 있다. 그와 같은 혼합된 열 이미지들은 어떤 실시예에서는 열 촬영기에 의해 캡처된 열 이미지를 가시광선 카메라에 의해 캡처된 NIR 이미지와 혼합함으로써 생성될 수 있다. 그와 같은 실시예에서, 사용자들은 예를 들면, 검출된 허위의 물체 움직임을 무시하도록 카메라 시스템을 구성하기보다는(예컨대, 조명기들과 가시광선 카메라를 오프 상태로 둠으로써), IR 조명기를 작동시키고, 상기 검출된 허위의 물체 움직임의 있을 수 있는 원인(예컨대, 사람이 숲 뒤에 숨음)을 결정하는데 유용할 수 있는 혼합된 열 이미지를 기록하도록, 카메라 시스템을 설정할 수 있다.
다양한 실시예들에서, 카메라 시스템은 다른 외부 장치들과 접속하고 통신하기 위한 통신모듈을 추가로 포함할 수 있다. 상기 통신모듈은 홈 네트워킹(예컨대, X10 표준), 감시 카메라 네트워킹(예컨대, Open Network Video Interface Forum (ONVIF) 표준), 무선 네트워킹(예컨대, IEEE 802.11 WiFi 표준, BluetoothTM 표준, ZigBeeTM 표준), 일반 유선 네트워킹(예컨대, Ethernet, HomePlugTM 규격), 및/또는 다른 종류의 네트워킹을 위한 다양한 통신 표준 및 프로토콜을 지원하도록 구성될 수 있다. 따라서, 예를 들면, 카메라 시스템은 또한, 차량이 검출되는 게이트 및 차고 도어를 열거나, 관심 물체가 검출되면 보안등을 켜거나, 다른 감시 카메라로부터 기록하고, 및/또는 아니면 감시 장면의 물체의 검출에 기초하여 다른 연결된 장치들을 제어할 수 있다.
도 12는 본 발명의 일 실시예에 따른 스마트 감시 카메라 시스템(1200)의 블록 다이어그램을 도시한다. 카메라 시스템(1200)은 열 촬영기(1202), 가시광/NIR 카메라(1204), 1개 이상의 IR 조명기(1206), 1개 이상의 가시광선 조명기(1208A, 1208B), 프로세서(1210), 통신모듈(1212), 저장장치(1214), 및/또는 기타 부품들(1216)을 포함할 수 있다. 카메라 시스템(1200)은, 낮 시간 또는 밤 시간에 장면의 이미지를 기록하거나, 원격 관찰/기록을 위해 전송하거나, 아니면 제공함으로써, 장면(예컨대, 장면(1230))의 감시를 제공하기 위해 원하는 위치에 부착되거나, 탑재되거나, 아니면 설치될 수 있다. 다양한 실시예에서, 카메라 시스템(1200)의 부품들은 도 1의 호스트 장치(102)의 대응하는 부품들과 같거나 유사한 방식으로 구현될 수 있다. 또한, 카메라 시스템(1200)의 부품들은 다양한 NUC 프로세스 및 여기서 설명된 다른 프로세스들을 수행하도록 설정될 수 있다.
어떤 실시예들에서는, 카메라 시스템(1200)의 다양한 부품들은 분산되고 네트워크(1260)를 통해 서로 통신할 수 있다. 그와 같은 실시예에서, 부품들은 카메라 시스템(1200)의 특정 응용을 위해 원한다면 복제될 수도 있다. 즉, 같거나 유사한 동작을 위해 설정된 부품들이 네트워크를 통해 분산될 수 있다. 또한, 상기 다양한 부품들의 어느 하나의 전부 또는 일부는 원한다면 원격 장치(1262)(예컨대, 종래의 원격 디지털 비디오 리코더(DVR), 원격 모니터링 스테이션, 및/또는 다른 장치)의 적절한 부품을 사용하여 구현될 수 있다. 따라서, 예를 들면, 프로세서(1210)의 일부 또는 전부 및/또는 저장장치(1214)의 일부 또는 전부는 원격장치(1262)에 구현되거나 복제될 수 있으며, 본 명세서에서 추가로 설명된 것과 같이 감시 이미지를 기록하거나 기록하는 것을 제어하도록 설정될 수 있다. 또 다른 실시예에서, 카메라 시스템(1200)은 하우징(1250)에서 분리되어 원격 위치된 또 하나의 가시광/NIR 카메라(1220)를 포함할 수 있으며, 상기 하우징(1250)에는 열 촬영기(1202), 가시광/NIR 카메라(1204), 및/또는 프로세서(1210)가 수납될 수 있다. 본 발명의 범위와 사상을 벗어나지 않고서, 카메라 시스템(1200)의 분산된 구현방법들의 많은 다른 조합이 가능함을 인식할 것이다.
열 촬영기(1202)는 도 1의 적외선 촬영 모듈(100)이나 열 이미지를 캡처하기에 적합한 적당한 다른 적외선 촬영 장치들을 가지고 구현될 수 있다. 열 촬영기(1202)는 예를 들면, 본 명세서에서 개시된 다양한 실시예들과 상황에 맞는 다른 것들에 따라서 구현된 FPA를 포함할 수 있다. 열 촬영기(1202)는 장면(1230)의 열 이미지를 캡처하고, 처리하고, 및/또는 관리하도록 설정될 수 있다. 열 촬영기(1202)에 의해 캡처, 처리, 및/또는 관리된 열 이미지들은 방사측정으로(radio-metrically) 정상화된 이미지들일 수 있다. 즉, 상기 캡처된 이미지를 형성하는 픽셀들은 보정된(calibrated) 열 데이터(즉, 온도)를 포함할 수 있다. 도 1의 적외선 촬영 모듈(100)과 관련하여 설명한 것과 같이, 열 촬영기(1202) 및/또는 관련된 부품들은 열 촬영기(1202)에 의해 캡처된 이미지가 적절히 보정된 열 이미지가 되도록 적당한 기술을 사용하여 보정될 수 있다. 어떤 실시예에서는, 열 촬영기(1202)(및 그것에 의해 촬영된 열 이미지들)가 적당한 보정을 유지할 수 있도록, 적절한 보정 프로세스가 열 촬영기(1202) 및/또는 프로세서(1210)에 의해 주기적으로 수행될 수 있다.
방사측정 정상화에 의하여 열 촬영기(1202) 및/또는 프로세서(1210)는 열 이미지로부터 특정 범위의 온도를 가진 물체를 효율적으로 검출하는 것이 가능하다. 열 촬영기(1202) 및/또는 프로세서(1210)는 그와 같은 물체를 효율적이고 효과적으로 검출할 수 있는데, 이는 특정 온도를 가진 물체의 열 이미지를 배경 및 다른 물체로부터 쉽게 식별할 수 있는 반면, 조명 상황에 영향을 덜 받고 덜 모호하게 하기 때문이다. 반면, 가시광선 이미지 또는 정상화되지 않은 적외선 이미지(예컨대, CMOS 또는 CCD 센서에 의해 캡처된 NIR 반사 이미지)에 대해 수행된 물체 검출 조작들(예를 들면 그와 같은 이미지에 대해 에지 검출 및/또는 패턴 인식 알고리즘을 수행하는 것과 같은)은 연산상으로는 복잡하고 비효율적일 수 있다.
예를 들면, 일 실시예에서, 열 촬영기(1202) 및/또는 프로세서(1210)는 옷을 입은 사람의 대략 온도 범위, 예를 들면 약 75℉(예컨대, 옷 입은 신체 부분)와 약 110℉(예컨대, 얼굴이나 손과 같이 노출된 신체 부분) 범위를 가진 인접한 픽셀 영역("블롭(blob)" 또는 "따뜻한 블롭(warm blob)"이라고도 함)들을 열 이미지로부터 검출하도록 설정될 수 있다. 그와 같은 "따뜻한 부분"은 장면(1230) 내에 사람의 존재(예컨대, 사람(1232))를 가리킬 수 있고, 여기서 설명되는 것과 같이 1 이상의 사람의 존재를 확신하기 위해 추가서 분석될 것이다. 열 촬영기(1202) 및/또는 프로세서(1210)는 관심 있는 물체의 전형적인 온도를 가진 물체를 검출 및 분석함으로써 동물, 차량(예컨대, 차량(1234)), 또는 장면(1230) 내의 관심 있는 다른 물체를 유사하게 검출할 수 있다. 따라서, 카메라 시스템(1200)에 의한 사람, 모터 차량, 동물, 또는 장면(1230) 내의 관심 있는 다른 물체들의 검출은 효율적이지만, 바람에 펄럭이는 거미줄과 같은 허위 물체의 허위 검출 가능성은 작다.
또한, 다양한 실시예에 있어서 상기 캡처된 열 이미지는 스케일(scale) 및/또는 시각(perspective) 보정된 열 이미지일 수 있다. 즉, 실제 장면에서 물체들의 기하학적 특성(예컨대, 크기 및 위치)은 열 이미지 내 물체의 픽셀 좌표로부터 도출하는 것이 가능하다. 스케일/시각 보정은 알려진 기술을 사용하여 수동으로 또는 자동으로 수행될 수 있으며 이때 카메라 시스템(1200)은 먼저 원하는 위치에 설치된다. 어떤 실시예들에서는, 설치 후에 알려진 기술을 사용하여 주기적으로 자동 재보정이 수행될 수도 있다. 따라서, 예를 들면, 상기 열 이미지로부터 도출된 물체의 대략 위치에 기초하여 어느 조명기 및/또는 가시광/NIR 카메라를 작동시킬 것인지 결정하도록 프로세서(1210)를 설정할 수 있다.
다양한 실시예에서, 열 촬영기(1202)는 장면(1230)으로부터 적외선 광을 적당히 수집하여 열 촬영기(1202)의 FPA로 유도하는 1개 이상의 광학 요소(예컨대, 적외선-투과 렌즈, 적외선-투과 프리즘, 적외선-반사 거울, 적외선 광섬유, 및/또는 다른 요소들)를 포함할 수 있다. 광학 요소(1203)는 또한 열 촬영기(1202)의 FOV(1205)를 정의할 수 있다. 일 실시예에서, FOV(1205)는, 장면(1230)이 가시광/NIR 카메라(1204)의 FOV(1207) 또는 조명기(1206, 1208A, 1208B) 각각의 조명 영역에 의해 덮이는 영역보다 더 큰 영역을 덮도록, 넓을 수 있다. 어떤 원하는 넓은 및/또는 좁은 FOV(1205, 1207)라도 사용할 수 있으며, FOV(1205, 1207)은 임의의 원하는 만큼 중첩할 수 있다. 예를 들면, FOV(1205, 1207)는 서로에 대해 다른 것보다 더 넓거나 좁을 수 있고, 실질적으로 동일한 크기일 수 있으며, 부분적으로, 상당히 또는 완전히 서로 중첩할 수 있다.
이것과 다른 실시예들에 있어서, 장면(1230)의 열 이미지는 가시광/NIR 카메라(1204)의 FOV(1207)에 의해 덮이지 않는 장면(1230) 내의 영역을 덮는 FOV를 가진 1개 이상의 다른 가시광/NIR 카메라를 작동 및/또는 제어하기 위해 분석될 수 있다. 예를 들면, 카메라 시스템(1200)은 장면(1230) 내의 차량(1234)이 가시광/NIR 카메라(1204)로부터 이동하여 원격 가시광/NIR 카메라(1220)의 FOV(1221) 안으로 들어가고 있는 것을 검출할 수 있다. 그와 같은 경우에서, 카메라 시스템(1200)은 가시광/NIR 카메라(1204)를 끄고 및/또는 기록을 중지하며 원격 가시광/NIR 카메라(1220)를 켜고 및/또는 기록을 시작할 수 있다. 다양한 실시예에서, 카메라 시스템(1200)은 특정 응용을 위해 원하는 대로 임의의 개수의 로컬(예컨대, 열 촬영기와 같은 곳에 위치하는) 및 원격 카메라를 포함할 수 있으며, 임의의 개수의 그와 같은 로컬 및 원격 카메라를 사용하여 전술한 그리고 본 명세서의 다른 곳에서 설명된 캡처 동작 및/또는 기록 동작의 지능적 제어를 수행하도록 설정될 수 있다.
다른 실시예에서, 광학요소(1203)는 스위칭 FOV(예컨대, 줌 렌즈)를 옵션으로 제공할 수 있으며, 이것은 열 촬영기(1202) 및/또는 프로세서(1210)에 의해 선택될 수 있다. 또한, 열 촬영기(1202), 가시광/NIR 카메라(1204), 및/또는 카메라 시스템 하우징(1250)은 카메라 시스템(1200)에 패닝(panning) 및 틸팅(tilting) 기능을 제공하는 적절한 구동 메커니즘(1218)(예컨대, 액츄에이터, 모터, 및/또는 다른 적절한 메커니즘 또는 장치들)을 옵션으로 포함할 수 있다. 즉, 어떤 실시예들에서는, 카메라 시스템(1200)은 당해 기술분야에서 PTZ 기능으로 보통 알려진 팬-틸트-줌 기능을 옵션으로 제공할 수 있다.
가시광/NIR 카메라(1204)는 가시광선 및 NIR 이미지를 캡처하기에 적합한 종래 이미지 센서를 가지고 구현될 수 있다. 예를 들면, 종래의 CCD(charge-coupled device) 센서 및 CMOS(complementary metal-oxide semiconductor) 센서는 보통 가시광선 스펙트럼뿐만 아니라 NIR 스펙트럼(약, 0.7~1.0㎛ 파장)의 광에 민감하다. 따라서, 이 종래의 이미지 센서들은 만일 능동 IR 조명이 가용하다면 낮은 가시광 상황에서 반사된 NIR 광의 이미지를 캡처할 수 있다.
가시광/NIR 카메라(1204)는 장면(1230)의 적어도 일부의 가시광/NIR 이미지를 캡처하도록 설정될 수 있다. 가시광/NIR 카메라(1204)는 장면(1230) 내 물체의 검출에 기초하여, 및 다른 실시예에서는, 추가로 사용자-정의된 파라미터에 기초하여, 켜지거나 아니면 가시광/NIR 이미지를 캡처하도록 작동될 수 있다. 예를 들면, 가시광/NIR 카메라(1204)는, 관심 물체(예컨대, 사람(1232), 차량(1234))가 가시광/NIR 카메라(1204)의 FOV(1207) 내에 존재하거나 진입할 것으로 예상되는 때, 본 명세서에서 추가로 설명되는 열 촬영기(1202)에 의해 캡처된 장면(1230)의 열 이미지(1230) 분석에 기초하여, 켜지거나 아니면 작동될 것이다. 이와 관련하여, 가시광/NIR 카메라(1204)는 열 촬영기(1202)와 같은 곳에 위치될 것이며 열 촬영기(1202)에 의해 캡처된 장면(1230) 내에 FOV(1207)의 적어도 일부를 배치하기 위해 방향설정될 수 있다.
또한, 카메라 시스템(1200)은, 예를 들면 넓은 감시 영역을 커버하기 위해, 원하는 만큼 임의의 개수의 가시광/NIR 카메라(1204)를 포함할 수 있다. 전술한 것과 같이, 어떤 실시예에서는, 1개 이상의 가시광/NIR 카메라(1220)가 가시광/NIR 카메라(1204)에 추가하여 또는 대신에 열 촬영기(1202)와 분리되어 원격지에 위치될 수 있다. 가시광/NIR 카메라(1220)는 자체 하우징 내에 수납될 것이며, 자체 IR 조명기(1224) 및 가시광 조명기(1226)를 포함할 수 있다. 다른 측면에서, 가시광/NIR 카메라(1220)는 가시광/NIR 카메라(1204)와 유사한 방식으로 구현될 수 있다.
어떤 실시예에서는, 가시광/NIR 카메라(1204, 1220)는 밤시간 감시와 같은 낮은 조명 상황에서 유용한 이미지를 캡처하기 위해 가시광(예컨대, 가시광 조명기(1208A, 1208B, 1226)에 의해 제공됨) 및/또는 IR 광(예컨대, IR 조명기(1206, 1224)에 의해 제공됨)의 능동 조명을 사용할 수 있다. 다양한 실시예에서, 카메라 시스템(1200)은 부적절한 주변 광으로 인해 능동 조명이 필요한지 여부를 결정할 수 있다(예컨대, 프로세서(1210)에서). 예를 들면, 가시광/NIR 카메라(1204, 1220)의 표시를 기초로 능동 조명에 대한 필요 여부가 결정될 수 있으며, 가시광/NIR 카메라(1204, 1220)는 디지털 이미징에서의 종래의 기술을 사용하여 적당량의 광이 유용한 이미지를 캡처하기 위해 가용한지 여부를 감지하도록 설정될 수 있다. 또 다른 실시예에서는, 주변 광의 양을 검출하는 별도의 포토셀(photocell)에 의해 부적당한 주변 광의 표시가 생성될 수 있다. 또 다른 실시예에서, 하루 중의 시간과 같은 다른 파라미터가 능동 조명의 필요를 결정하는데 고려될 수 있다.
다양한 실시예에서, 가시광/NIR 카메라(1204, 1220)는 적어도 제1 부분(예컨대, NIR 광) 및 제2 부분(예컨대, 가시광)을 포함하는 스펙트럼에 민감할 수 있으며, 상기 부분의 각각은 선택적으로 방식으로 능동 조명될 수 있다. 예를 들면, 능동 조명은 상기 스펙트럼의 NIR 광 부분(예컨대, IR 조명기(1206, 1224)에 의해 제공된 NIR 광)에 대해 제공될 수 있는 반면, 상기 스펙트럼의 가시광 부분(예컨대, 가시광 조명기(1208A, 1208B, 1226)에 의해 제공된 가시광)에 대해서는 능동 조명이 제공되지 않는다. 또 다른 실시예에서, 능동 조명은 상기 스펙트럼의 NIR 광 부분과 가시광 부분 모두에 대해 제공될 수 있다. 또 다른 실시예에서, 능동 조명이 제공되지 않을 수도 있다.
전술한 것과 같이, 가시광/NIR 카메라(1204, 1220)는 NIR 광 및 가시광 모두에 민감할 수 있다. 따라서, 가시광/NIR 카메라(1204, 1220)는 NIR 광 및 가시광 모두에 반응하여 이미지를 캡처할 것이다. 따라서, 가시광/NIR 카메라(1204, 1220)에 의해 캡처된 이미지 내에 표시되거나 아니면 상기 이미지에 관련된 광의 스펙트럼은 NIR 광 및/또는 가시광에 대응할 수 있으며, NIR 광 및/또는 가시광의 각각은 상기 캡처된 이미지 내에 표시되거나 아니면 상기 이미지에 관련된 스펙트럼의 원하는 부분을 향상시키고 및/또는 강화시키기 위해 선택적인 방법으로 능동 조명될 수 있다.
어떤 실시예들에서는, 가시광/NIR 카메라(1204, 1220)는 IR 필터를 포함할 수 있으며, 이것은 IR 광을 차단하여 낮시간 이미지 캡처에서 색과 콘트라스트를 개선하기 위해 광 경로의 적당한 곳으로(예컨대, 이미지 센서 앞에) 선택적으로 이동될 수 있다. 예를 들면, 상기 IR 필터는, 가시광/NIR 카메라(1204, 1220) 및/또는 프로세서(1210)로부터의 제어신호에 반응하여 광 경로로부터 IR 필터를 치우도록 적응된 액츄에이터에 부착될 수 있으며, 가시광/NIR 카메라(1204, 1220) 및/또는 프로세서(1210)는 낮은 조명 상황에서 능동 IR 조명을 위해 IR 조명기(1206, 1224)가 작동될 때 IR 필터를 제거하는 제어신호를 발생시킬 것이다.
IR 조명기(1206, 1224)는 NIR 스펙트럼의 IR 광을 포함하는 IR 광을 생성하는 적절한 광원 또는 광 방출기를 가지고 구현될 수 있다. 일 실시예에서, IR 조명기(1206, 1224)는 VCSEL(vertical-cavity surface-emitting laser)을 사용하여 구현될 수 있으며, 이것은 IR 생성을 위한 다른 기술에 비해 고효율, 고신뢰성, 및 고집속 스펙트럼을 제공할 수 있다. 알려진 바와 같이, VCSEL을 사용하여 IR 조명기를 구현하는 것은 카메라 시스템(1200)의 요구 전력을 감소시킬 수 있으며, 이것에 의해 카메라 시스템(1200)의 일부 또는 전부를 배터리 및/또는 태양전지 패널에 의해 전력 공급하는 것이 가능하다. 다른 실시예에서, IR 조명기(1206, 1224)는 LED(light-emitting diodes), 할로겐 IR 램프, 또는 다른 종래의 IR 광원으로 구현될 수 있다.
다양한 실시예에서, IR 조명기(1206, 1224)는 열 촬영기(1202) 및/또는 프로세서(1210)로부터의 제어신호에 반응하여 IR 광으로 감시 장면(예컨대, 장면(1230))의 적어도 일부를 조명하도록 켜지거나 아니면 작동될 수 있다. 열 촬영기(1202) 및/또는 프로세서(1210)는 장면(1230) 내 관심 물체의 검출에 반응하여, 그리고 다른 실시예에서는, 전술한 것과 같이 사용자-정의된 파라미터에 기초하여, IR 조명기(1206, 1224)를 작동시킬 수 있다. 예를 들면, IR 조명기(1206, 1224)는, 주변 광의 양이 부적당한 것으로 판정되는 때, 가시광/NIR 카메라(1204, 1220)의 작동과 함께 작동될 수 있다. 이와 관련하여, 카메라 시스템(1200)은 장면(1230)의 적절한 IR 조명을 제공하기 위해 필요하거나 원하는 만큼 임의의 개수의 IR 조명기(1206, 1224)를 포함할 수 있다. 가시광 조명기(1208A, 1208B, 1226) 대신에 IR 조명기(1206, 1224)를 작동시킴으로써, 감시 대상(예컨대, 사람 또는 동물) 모르게 감시 이미지가 은밀히 캡처되고 및/또는 기록될 수 있는데, 이는 사람 또는 대부분의 동물이 통상적으로 IR 광을 감지할 수 없기 때문이다.
가시광 조명기(1208A, 1208B, 1226)는 임의의 적합한 가시광 소스 또는 광 방출 장치를 가지고 구현될 수 있다. 일 실시예에서, 가시광 조명기(1208A, 1208B, 1226)를 구현하기 위해 LED가 사용될 수 있다. 다른 실시예에서는, 백열등, EL 램프(electroluminescent lamp), 형광 램프, 및 무전극 램프와 같은 다른 광원이 가시광 조명기(1208A, 1208B, 1226)를 구현하기 위해 사용될 수 있다.
어떤 실시예에서, 상기 복수의 가시광 조명기들 각각은, 가시광 조명기가 특정 순서로 온/오프 될 때 생성된 광 빔이 움직이는 스폿 광을 생성하도록, 특정 방향으로 가시광을 조사하도록 방향 설정될 수 있다. 예를 들면, 사람(1232)이 장면(1230)을 가로질러 지나갈 때 가시광 조명기(1208A)가 켜지거나 점점 밝아져서 사람(1232)의 움직임을 추적하는 스폿 광을 생성하는 동안, 가시광 조명기(1208B)는 상반되게 소등되거나 점점 어두워질 수 있다. 이와 관련하여, 카메라 시스템(1200)은 임의의 방향으로 장면(1230)을 가로질러 부드럽게 추적하는 스폿 광을 생성하기 위해 필요한 만큼 많은 가시광 조명기를 포함할 수 있다. 그와 같은 조명의 전부 또는 많은 부분은, 예를 들어 큰 영역을 조명할 필요가 있을 때, 스폿 광 대신에 투광 조명을 생성하도록 켜질 수 있다. 또 다른 실시예에서, 장면 내 물체의 종류 또는 크기에 기초하여, 스폿 광, 투광 조명, 또는 임의의 크기의 조명 영역을 생성하는데 필요한 만큼 조명 영역을 증가 또는 감소시키기 위해 임의의 개수의 그와 같은 가시광 조명기가 켜지거나 꺼질 수 있다.
다른 실시예들에서는, 가시광 조명기(1208A, 1208B, 1226)는 가시광 조명기(1208A, 1208B, 1226)의 방향을 패닝, 틸팅, 또는 변경하는 구동 메커니즘(1218)(예컨대, 액츄에이터, 모터)을 포함할 수 있다. 그와 같은 실시예에서, 구동 메커니즘(12128)은 움직이는 스폿 광을 생성하기 위해 사용될 수 있다. 다양한 실시예에서, 카메라 시스템(1200)은 전체 광 출력 및/또는 조명 영역을 증가시키는데 필요한 만큼 많은 그와 같은 가시광 조명기를 포함할 수 있다. 그와 같은 가시광 조명기의 전부 또는 상당한 부분은, 예를 들어 큰 영역을 조명할 필요가 있을 때, 스폿 광 대신에 투광 조명을 생성하기 위해 켜질 수 있다. 또 다른 실시예에서, 장면 내 물체의 종류 또는 크기에 기초하여 조명 영역을 생성하는데 필요한 만큼 임의의 개수의 그와 같은 가시광 조명기가 켜질 수 있다. 어떤 실시예에서는, 가시광 조명기(1208A, 1208B, 1226)는, 스폿 광, 투광 조명, 또는 임의의 크기의 조명 영역을 생성하기 위해 필요한 만큼 조명 영역을 증가 또는 감소시키기 위해, 예를 들면 조정 가능한 반사체를 사용하여, 조정 가능한 빔 각도(예컨대, 광 빔의 지름 또는 폭)를 제공할 수 있다.
가시광 조명기(1208A, 1208B, 1226)는 열 촬영기(1202) 및/또는 프로세서(1210)로부터의 제어신호에 반응하여 투광조명 모드, 추적 스폿 광 모드, 또는 다른 원하는 조명 모드로 작동될 수 있다. 열 촬영기(1202) 및/또는 프로세서(1210)는 장면(1230) 물체의 검출에 따라, 그리고 어떤 실시예에서는 추가로, 본 명세서에서 설명한 사용자-정의된 파라미터에 따라서, 가시광 조명기(1208A, 1208B, 1226)의 동작을 작동 및/또는 제어할 수 있다. 예를 들면, 가시광 조명기(1208A, 1208B, 1226)는, 운전자, 보행자, 또는 다른 사람들의 안전을 위한 영역을 조명하기 위해, 및/또는 작동하는 투광조명 또는 추적하는 스폿 광으로 비양심적인 무단출입자를 단념시키기 위해, 가시광/NIR 카메라(1204)로 감시 이미지를 캡처하기 위한 능동 조명을 제공하도록 작동될 수 있다.
프로세서(1210)는 도 1의 프로세서(195)와 관련하여 설명한 것과 같은 임의의 적절한 처리 장치로서 구현될 수 있다. 어떤 실시예들에서는, 여기서 설명된 프로세서(1210)의 적어도 일부분 또는 일부 동작은, 예를 들면 도 1을 참조하여 전술한 처리모듈(160)에서, 열 촬영기(1202)의 일부로서 구현될 수 있다. 프로세서(1210)는 여기서 설명된 동작 및 프로세스를 수행하기 위해 카메라 시스템(1200)의 다른 부품들과 접속하고 통신하도록 적응될 수 있다.
프로세서(1210)는 열 촬영기(1202)에 의해 캡처된 감시 장면(예컨대, 장면(1230))의 열 이미지를 수신하도록 설정될 수 있다. 프로세서(1210)는 상기 감시 장면에서 관심 물체(예컨대, 사람(1232), 차량(1234))를 검출한 후, 본 명세서에서 추가로 설명되는 바와 같이, 상기 수신된 열 이미지와 그것에 포함된 방사측정 데이터를 처리 및 분석함으로써, 상기 검출된 물체의 종류(예컨대, 사람, 차량, 동물, 및/또는 다른 허위 아닌 물체)를 결정하도록 설정될 수 있다. 어떤 실시예에서는, 프로세서(1210)는 상기 검출된 물체에 관련된 다른 속성( 예컨대, 위치, 모션 벡터(즉, 움직이는 빠르기와 방향), 및 크기)을 판정하도록 추가로 설정될 수 있다.
다양한 실시예에서, 프로세서(1210)는, 상기 감시 장면 내의 관심 물체의 존재, 종류, 및/또는 다른 속성들의 판정 및 상기 검출에 기초하여, IR 조명기(1206, 1224), 가시광 조명기(1210A, 1210B, 1226), 및/또는 가시광/NIR 카메라(1204, 1220)를 작동/정지시키거나 동작을 제어하기 위한 제어신호를 생성하도록 설정될 수 있다. 어떤 실시예에서는, 상기 제어신호는 추가로 사용자-정의된 파라미터에 기초하여 생성될 수 있으며, 상기 파라미터들은, 예를 들면 상기 검출된 물체의 종류 및/또는 다른 속성들에 따라서 상기 감시 장면의 다양한 조명 및 기록 동작을, 지정할 수 있다.
예를 들어, 초기 설정으로서, 만일 상기 검출된 물체가 사람으로 판정되면, 프로세서(1210)는 그 사람과 관련된 위치 및/또는 모션 벡터에 기초하여 가시광 조명기(1210A, 1210B, 1226)를 제어하여 스폿 광 모드로 그 사람을 추적하고 가시광/NIR 카메라(1204, 1220) 중 적절한 것으로 상기 장면의 적어도 일부의 이미지를 선택적으로 기록할 수 있다(예컨대, 사람이 FOV 내에 있을 때 작동 및/또는 기록하고 사람이 FOV를 떠날 때 정지 및/또는 기록을 중지함). 만일 상기 검출된 물체가 차량이거나 다른 큰 물체라면, 프로세서(1210)는 상기 물체가 장면 내에 있는 동안 투광조명 모드로 상기 장면을 조명하도록 가시광 조명기(1210A, 1210B, 1226)를 제어할 수 있으며 상기 물체와 관련된 위치 및/또는 모션 벡터에 기초하여 적절한 가시광/NIR 카메라(1204, 1220)에 의해 상기 장면의 이미지를 선택적으로 기록할 수 있다. 만일 상기 검출된 물체가 동물이나 은밀히 감시해야 할 다른 허위 아닌 물체라면, 프로세서(1210)는 물체가 장면 내에 있는 동안 IR 조명기(1206, 1224)를 제어하여 켜고 상기 물체에 관련된 위치 및/또는 모션 벡터에 기초하여 적절한 가시광/NIR 카메라(1204, 1220) 및 열 촬영기(1202)에 의해 상기 장면의 가시광/NIR 이미지, 열 이미지, 또는 혼합된 이미지를 기록한다. 만일 상기 검출된 물체가 허위의 물체라면(예컨대, 거미줄, 곤충, 회전초, 또는 감시 목적 대상이 아닌 다른 물체), 프로세서(1210)는 상기 조명기들과 카메라를 끈 채로 둔다. 일 실시예에서, 프로세서(1210)는 상기 검출된 물체의 크기 또는 종류에 기초하여 상기 빔 각도의 크기(예컨대, 빔 폭, 빔 지름)를 변경하기 위해 가시광 조명기(1210A, 1210B, 1226)를 제어할 수 있다.
검출된 물체 종류와 대응하는 조명/모니터링 동작들 사이의 다양한 다른 관련들이 구현될 수 있다. 어떤 실시예들에서는, 프로세서(1210)는 사용자가 그와 같은 관련을 정의할 수 있도록 추가로 설정될 수 있다. 예를 들면, 어떤 환경에서는, 주의를 끌지 않고서 사람을 모니터링할 수 있도록, 가시광 조명기(1210A, 1210B, 1226)보다는 IR 조명기(1206, 1224)를 켜는 것이 바람직할 수도 있다. 또 다른 실시예에서는, 허위의 물체(예컨대, 구별할 수 없는 물체를 포함)를 무시하기보다는, 검출된 허위 물체(예컨대, 숲 뒤에 숨은 사람)의 있을 수 있는 원인에 대해 이미지를 검토할 수 있도록, 상기 장면의 열 이미지 또는 혼합된(예컨대, NIR을 가지고 열 촬영기에 의해 생성된 높은 콘트라스트, 고해상도 열 이미지 또는 가시광 이미지) 이미지를 기록하는 것이 바람직할 수 있다. 또 다른 실시예에서, 만일 하나 이상의 사람 또는 물체가 검출되면, 어떤 상황에서는 스폿 광을 가지고 추적하고 및/또는 각각의 사람 또는 물체를 별도로 및 개별적으로 추적하는 것이 바람직할 수 있다. 사용자는, 트리거(triggering) 물체 종류와 대응하는 조명/모니터링 동작들 사이의 이것들 및 다른 원하는 연관성 외에, 특정 조명/모니터링 동작을 작동시키기 위한 하루의 시간과 같은 다른 사용자-정의할 수 있는 파라미터들을 정의하거나, 커스터마이징(customizing)하거나, 아니면 설정할 수 있다. 그와 같은 연관성, 정의, 커스터마이징, 또는 설정은 본 명세서에서 모두 사용자-정의 파라미터로서 지칭될 수 있다. 상기 사용자-정의 파라미터들은 메모리에 저장될 수 있다(예컨대, 저장장치(1214) 내에).
어떤 실시예들에서는, 프로세서(1210)는 열 촬영기(1202)에 의해 캡처된 감시 장면(예컨대, 장면(1230))에 대한 사용자가 볼 수 있는 열 이미지(예컨대, 온도기록도(thermograms))를 생성하도록 설정될 수 있다. 프로세서(1210)는 적절한 방법 및 알고리즘을 사용하여 상기 열 이미지를 변환하도록 설정될 수 있다. 일 실시예에서, 상기 열 이미지의 픽셀들에 포함된 방사 측정 데이터(예컨대, 온도 데이터)는 사람이 볼 수 있는 이미지를 구성하기 위해 그레이-스케일(gray-scaled) 또는 컬러-스케일 픽셀로 변환될 수 있다. 사용자가 볼 수 있는 열 이미지는 대응하는 픽셀 컬러의 온도 및/또는 강도를 가리키는 범례 또는 스케일을 옵션으로 포함할 수 있다. 또 다른 실시예에서, 프로세서(1210)는 더 높은 선명도(definition) 및/또는 투명도(clarity)를 가진 사용자가 볼 수 있는 이미지를 생성하기 위해 상기 열 이미지 및 가시광/NIR 이미지(예컨대, 가시광/NIR 카메라(1204, 1220)에 의해 캡처된 것)를 섞거나, 중첩하거나, 융합하거나, 또는 결합하도록 설정될 수 있다. 예를 들면, 프로세서(1210)는 2011년 5월 11일자 미국 특허출원 제13/105,765호에 개시된 해상도 및 콘트라스트 강화 융합 동작을 수행하도록 설정될 수 있으며, 상기 문헌의 내용은 참조에 의해 본 명세서에 포함된다. 매우 낮은 조명 상황 또는 완전 어둠 속에서, 그와 같은 열 또는 혼합된 이미지는 능동적으로 조명된 NIR 이미지보다 더 유용한 정보를 제공할 수 있다.
어떤 실시예에서는, 프로세서(1210)는 외부장치의 동작을 작동/정지 또는 제어하기 위한 제어신호를 생성할 수 있다. 예를 들면, 프로세서(1210)는 차량의 위치 및/또는 모션 벡터의 결정과 차량의 검출에 기초하여 게이트 또는 차고 도어를 동작시키기 위해 제어 신호를 생성하도록 설정될 수 있다. 또 다른 실시예에서, 보안등(1236), 가로등, 또는 감시 장면 내 또는 근처의 다른 유사한 라이트 또는 램프가 프로세서(1210)에 의해 제어될 수 있다. 그와 같은 환경에서, 사용자-정의 파라미터는 상기 검출된 물체 종류와 외부장치의 동작 사이의 사용자-정의된 연관성을 추가로 포함할 수 있다.
이와 관련하여, 통신모듈(1212)은 카메라 시스템(1200)과 외부장치 사이뿐만 아니라 카메라 시스템(1200)의 다양한 부품들 사이의 유선 및/또는 무선 통신을 취급하고, 관리하고, 및/또는 용이하게 하도록 설정될 수 있다. 예를 들면, 통신모듈(1212)을 통해서, 프로세서(1210)는 원격지 가시광/NIR 카메라(1220), 외부 감시 카메라 시스템, 차고 도어 여는 기구, 보안등, 또는 카메라 시스템(1200) 또는 외부장치의 다른 원격지의 부품에 제어신호를 전송할 수 있다.
다양한 실시예에서, 카메라 시스템(1200)과 외부장치 사이의 통신을 취급하고, 관리하고, 및/또는 용이하게 하기 위해, 통신모듈(1212)은 X10 표준, 빌딩 자동화 및 제어망(BACNet) 프로토콜, S-버스 프로토콜, C-버스 프로토콜, VEBus 프로토콜, ONE-NET 표준 등과 같은 홈 및 빌딩 자동화 네트워킹을 위한 다양한 인터페이스, 프로토콜, 및 표준을 지원할 수 있다. 장치들에 대한 제어신호는 그와 같은 표준을 사용하여 통신모듈(1212)로부터 장치로 직접 전송되거나, 제어하에 있는 다양한 장치들에 제어신호를 중계 및 분배하는 중앙제어기(예컨대, 빌딩/홈 자동화를 위한 종래의 빌딩 제어 패널)로 전송될 수 있다. 예를 들면, 통신모듈(1212)을 통해서, 프로세서(1210)는 빌딩 액세스 제어(예컨대, 도어 및 게이트의 열기, 닫기, 잠금, 잠금해제) 및/또는 빌딩 조명 제어에 명령을 전송할 수 있다.
다양한 실시예에서, 통신모듈(1212)은 ONVIF 표준 등과 같은 감시 카메라 및 시스템을 위한 다양한 인터페이스, 프로토콜, 및 표준을 지원할 수 있다. 따라서, 예를 들면, 카메라 시스템(1200)은 통신모듈(1212)을 통해 다른 ONVIF-준수 외부 카메라를 제어하고, 캡처된 또는 기록된 이미지ONVIF-준수 중앙 모니터링 스테이션에 전송하고, 물체 검출 정보 또는 프로세서(1210)에 의해 생성된 다른 데이터를 전송하고, 및/또는 ONVIF-준수 컴퓨터로부터 명령과 설정(예컨대, 사용자-정의 파라미터)을 수신할 수 있다.
다양한 실시예에서, 통신모듈(1212)은 더 일반적인 유무선 인터페이스, 프로토콜, 및 표준을 지원할 수 있다. 일 실시예에서, 통신모듈(1212)은 무선통신 부품(예컨대, IEEE 802.11 WiFi 표준, BluetoothTM 표준, ZigBeeTM 표준, 또는 다른 적절한 단거리 무선 통신 표준에 기초한 부품), 무선 광대역 부품(예컨대, WiMax 기술에 기초한 부품), 모바일 셀룰러 부품, 무선 위성 부품, 또는 다른 적절한 무선통신 부품을 포함할 수 있다. 통신모듈(1212)은 무선통신을 위해 자체에 결합된 안테나를 포함할 수 있다. 일 실시예에서, 통신모듈(1212)은 전력선 모뎀(예컨대, HomePlugTM 표준 지원), 디지털가입자회선(DSL) 모뎀, PSTN 모뎀, 이더넷 인터페이스, 케이블 모뎀, 및/또는 유선 통신을 위한 다른 적절한 부품와 같은 유선통신 부품을 통해 유선 네트워크와 접속할 수 있다. 어떤 실시예에서는, 통신모듈(1212)은 전용 유선통신 프로토콜 및 인터페이스를 위해, 및/또는 RF(radio frequency), MWF(microwave frequency), IRF(infrared frequency), 및/또는 다른 적절한 무선전송 기술에 기초한 전용 무선통신 프로토콜 및 인터페이스를 위해 설정될 수 있다.
따라서, 예를 들면, 유무선 접속을 통해, 카메라 시스템(1200)은 다양한 외부장치를 제어하고, 캡처된 또는 기록된 이미지를 외부 모니터링 및/또는 기록장치에 전송하고, 물체 검출 정보 또는 프로세서(1210)에 의해 생성된 다른 데이터를 전송하고, 및/또는 외부 컴퓨터로부터 명령과 설정(예컨대, 사용자-정의 파라미터)을 수신할 수 있다.
다양한 실시예에서, 카메라 시스템(1200)은 카메라 모니터링 시스템(1200)의 다양한 응용을 위해 필요한 다수의 그러한 통신모듈(1212)을 포함할 수 있다. 다른 실시예에서, 통신모듈(1212)은 카메라 시스템(1200)의 다양한 다른 부품들에 통합되거나 그 일부로서 구현될 수 있다. 예를 들면, 열 촬영기(1202), 프로세서(1210), 및 원격 가시광/NIR 카메라(1220)는 각각 통신모듈(1212)의 동작을 수행하는 하위 부품들을 포함할 수 있으며, 별도의 통신모듈(1212) 없이 유무선 접속을 통해 통신할 수 있다.
저장장치(1214)는 1개 이상의 메모리 장치 또는 전자-기계적 저장장치, 및 상기 1개 이상의 메모리 장치 또는 전자-기계적 저장장치에 데이터 및 정보를 저장하고 액세스하기 위한 관련된 로직(예컨대, 하드웨어, 소프트웨어, 또는 양자의 조합으로 구현됨)을 포함할 수 있다. 상기 1개 이상의 메모리 장치 또는 전자-기계적 저장장치는 하드 디스크 드라이브, 플래시 메모리, RAM, EEPROM, 및 디지털 정보를 저장하는 다른 장치들과 같은 다양한 종류의 휘발성 및 비휘발성 메모리 및 저장장치를 포함할 수 있다.
다양한 실시예에서, 저장장치(1214)는 카메라 시스템(1200)의 다양한 카메라 및 촬영기에 의해 캡처된 이미지를 저장 및 액세스할 수 있다. 일 실시예에서, 저장장치(1214)의 적어도 일부는 비디오 이미지 데이터를 저장 및 액세스하는 종래의 DVR로 구현될 수 있다. 따라서, 예를 들면, 저장장치(1214)는, 통신모듈(1212)을 통해 또는 직접, 감시 장면의 다양한 원시 및/또는 처리된 이미지를 수신하고 그와 같은 이미지를 기록하기 위해 가시광/NIR 카메라(1204, 1220) 및/또는 프로세서(1210)와 통신할 수 있다. 예를 들면, 저장장치(1214)는, 가시광/NIR 카메라(1204, 1220)에 의해 캡처된 감시 장면의 가시광/NIR 이미지, 열 촬영기(1202)에 의해 캡처된 열 이미지로부터 프로세서(1210)에 의해 변환된 사용자가 볼 수 있는 열 이미지, 및/또는 프로세서(1210)에 의해 생성된 혼합된 열 및 NIR 이미지를 기록하기 위해 이용될 수 있다. 이와 관련하여, 저장장치(1212) 및/또는 프로세서(1210)는 다양한 MPEG(moving picture experts group) 포맷과 같은 적절한 포맷으로 이미지를 압축 및/또는 변환할 수 있다. 어떤 실시예들에서는, 저장장치(1214)는 카메라 시스템(1200)의 열 촬영기(1202) 및/또는 다양한 다른 부품들과 함께 로컬(locally) 구현될 수 있다. 다른 실시예에서는, 저장장치(1214)는 카메라 시스템(1200)의 다양한 다른 부품들과 원격(remotely) 통신하도록(통신모듈(1212)을 통해 네트워크(1260) 상에서) 구현될 수 있다. 로컬과 원격의 혼합 구현도 생각할 수 있다.
다양한 실시예에서, 저장장치(1214)는 카메라 시스템(1200)에 의해 생성되고 및/또는 사용되는 다른 데이터 및 정보를 저장하기 위해 사용될 수 있다. 예를 들면, 어떤 실시예에서는, 프로세서(1210)는 여기서 설명된 다양한 방법들, 프로세스들, 또는 동작들이 전부 또는 일부를 수행하기 위해 저장장치(1214) 및/또는 기계 판독 가능한 매체(193)(도 1 참조)에 저장된 소프트웨어 명령을 실행할 수 있다. 또 다른 실시예에서, 사용자-정의 파라미터들도 저장장치에 저장될 수 있다.
기타 부품(1216)들은 카메라 시스템(1200)의 다양한 응용을 위해 필요한 임의의 다른 장치 또는 부품들을 포함할 수 있다. 어떤 실시예에서는, 기타 부품(1216)들은 GPS 수신기 및/또는 전자 나침반을 포함할 수 있다. GPS 수신기 및/또는 전자 나침반(1216)은 GPS 수신기 동작, 전자 나침반 동작, 또는 둘 다를 제공하기 위해 소형 전자장치에 통합하도록 적응된 적절한 칩셋 또는 전자부품으로 구현될 수 있다. GPS 수신기 및/또는 전자 나침반은 카메라 시스템(1200)이 설치된 장소에 관한 지리 정보를 자동으로 얻기 위해 이용될 수 있다. 상기 지리 정보는, 카메라 시스템(1200)의 복수의 인스턴스(instances), 다른 감시 카메라 및 시스템, 및 다른 외부장치들 사이의 위치-인식(location-aware) 통신을 위해, 컴퓨터 네트워킹 분야에서 알려진 적절한 기술을 사용하여 위치 매핑 정보를 자동으로 구축하기 위해 프로세서(1210) 및/또는 통신모듈(1212)에 의해 사용될 수 있다.
어떤 실시예에서는, 기타 부품(1216)들은 주변 광의 양을 검출하는 포토셀을 포함할 수 있다. 그와 같은 포토셀은 가시광/NIR 카메라(1204, 1220)와 관련하여 위에서 설명한 것과 같이 능동 조명이 필요한지 여부를 판정하기 위해 사용될 수 있다.
어떤 실시예에서는, 기타 부품(1216)들은 경고등(예컨대, 스트로브 조명(strobe light), 섬광등), 차임(chime), 톤(tone)을 생성하는 관련 회로를 구비한 스피커, 또는 청각 및/또는 시각 알람을 생성하기 위해 사용될 수 있는 다른 적절한 장치를 포함할 수 있다. 그와 같은 장치들은, 예를 들면 흔하지 않은 사건(예컨대, 무단출입자가 검출됨)이 일어난 부동산 점유자에게, 경고하기 위해 사용될 수 있다.
어떤 실시예에서는, 기타 부품(1216)들은 배터리 또는 태양전지 패널과 같은 휴대형 전원을 포함할 수 있다. 무선통신용 통신모듈(1212)과 함께, 상기 휴대형 전원에 의하여, 카메라 시스템(1200)은 전원 케이블 및/또는 네트워크 케이블이 쉽게 도달할 수 없는 곳을 포함하여 감시를 위한 다양한 장소에 편리하게 설치될 수 있다. 전술한 것과 같이, 카메라 시스템(1200)은 휴대형 전원이 유선 전원에 대한 유용한 대안이 될 수 있게 하는 전력 절감을 가능하게 한다.
다양한 실시예에서, 카메라 시스템(1200)의 1개 이상의 부품은 원하는 대로 또는 응용 요구사항에 따라 결합되고 및/또는 구현될 수 있다. 예를 들면, 프로세서(1210)는 열 촬영기(1202), 통신모듈(1212), 및/또는 저장장치(1214)와 결합될 수 있다. 또 다른 실시예에서, 프로세서(1210)는 열 촬영기(1202) 내의 회로(예컨대, 프로세서, 로직 장치, 마이크로프로세서, 또는 마이크로컨트롤러)에 의해 수행되는 프로세서(1210)의 특정 동작만을 가진 열 촬영기(1202)와 결합될 수 있다. 또 다른 실시예에서, 프로세서(1210) 및/또는 저장장치(1214)는 종래 DVR 장치의 적절한 부품을 사용하여 구현될 수 있으며, 상기 DVR 장치는 카메라 시스템(1200)의 다양한 응용을 위한 필요에 따라 카메라 시스템(1200)의 다른 부품들과 떨어져서 또는 함께 위치할 수 있다.
그러므로, 스마트 감시 카메라 시스템(1200)의 다양한 실시예들은 열 촬영기(1202)에 의해 캡처된 감시 장면의 열 이미지를 처리 및 분석함으로써 감시 장면의 지능적인 조명 및 기록을 제공할 수 있다. 카메라 시스템(1200)의 다양한 실시예들은 다양한 능동 조명기(예컨대, IR 조명기(1206, 1224), 가시광 조명기(1210A, 1210B, 1226)), 카메라(예컨대, 가시광/NIR 카메라(1204, 1220)), 및 검출된 물체의 종류 및/또는 다른 속성에 따른 외부장치를 지능적으로 제어할 수 있다. 카메라 시스템(1200)의 다양한 실시예들은 또한 검출된 물체의 종류 및/또는 다른 속성에 따른 다양한 지능적 조명/모니터링 동작을 추가로 정의하고, 커스터마이징하고, 설정하는 것을 가능하게 할 수 있다.
또한, 카메라 시스템(1200)은 필요할 때마다 간헐적으로 조명기를 켜서 곤충 및 거미줄의 유인을 감소시킬 수 있으며, 거미줄이나 곤충과 같은 허위 물체가 존재하더라도, 감시 장면의 열 이미지를 캡처 및 분석함으로써 허위 물체가 검출될 수 있기 때문에, 카메라는 무의미한 이미지를 계속해서 기록하지 않는다. 따라서, 카메라 시스템(1200)은 조명기 및 카메라에 의한 전력 소모를 감소시킬 뿐만 아니라, 무의미한 비디오 이미지의 긴 클립을 보기 위해 낭비되는 시간과 노력을 절약할 수 있다.
도 13은 본 발명의 일 실시예에 따라 구현된 스마트 감시 카메라 시스템(1300)의 정면도를 도시한다. 카메라 시스템(1300)의 부품들은 카메라 시스템(1200)의 대응하는 부품들과 같거나 유사한 방식으로 구현될 수 있다. 이 실시예가 도시하는 바와 같이, 카메라 시스템(1300)은 그것의 정면 에지를 따라 배치되고 원형으로 정렬된 복수의 IR 조명기(1306)를 포함할 수 있다. IR 조명기(1306)의 그와 같은 정렬은 다수의 IR 조명기(1306)가 카메라 시스템(1300)의 정면 측 표면에 배치되어 큰 조명 영역을 생성하는 것을 가능하게 한다. IR 조명기(1306)는 VCSEL을 가지고 구현될 수 있으며, 이것은 다른 종류의 IR 광원에 비해서 더 높은 에너지 효율을 제공할 수 있다.
이 실시예에서 가시광 조명기(1308)는, 열 촬영기(1302), CMOS-기반 가시광/NIR 카메라(1304), 및 IR 조명기(1306)가 위치하는 곳을 제외하고, 카메라 시스템(1300)의 정면 측 표면 전체에 배치된 다수의 LED 라이트를 포함할 수 있다. 가시광 조명기(1308)는, 가시광 조명기(1308)를 선택적으로 켜거나, 끄거나, 어둡게 하거나, 밝게 하거나 함으로써 이동하는 스폿 광이 생성되도록, 특정 방향으로 광의 빔을 조향하도록 정렬될 수 있다. 가시광 조명기(1308) 각각은 서로 다른 방향으로 정렬되거나, 또는 가시광 조명기(1308)의 2개 이상이 그룹으로 동일한 방향으로 정렬될 수 있다. 마찬가지로, 가시광 조명기(1308) 각각을 개별로 또는 그룹으로 선택적으로 켜거나, 끄거나, 어둡게 하거나, 밝게 하거나 함으로써 이동하는 스폿 광이 생성될 수 있다. 상기 복수의 가시광 조명기(1308) 중 대부분 또는 전부는 큰 조명 영역을 커버할 수 있는 투광조명을 생성하기 위해 켜질 수 있다(예컨대, 투광조명 모드에서 동작시키는 제어신호가 프로세서 및/또는 열 촬영기(1302)에서 수신될 때).
도 14는 본 발명의 일 실시예에 따라 구현된 스마트 감시 카메라 시스템(1400)의 정면도를 도시한다. 카메라 시스템(1400)은 열 촬영기(1402), CMOS-기반 가시광/NIR 카메라(1404), 및 복수의 VCSEL-기반 IR 조명기(1406), 및 복수의 LED-기반 가시광 조명기(1408)를 포함할 수 있으며, 이것들 모두는 카메라 시스템(1300)과 유사하게 정면 측 표면 전체에 배치될 수 있다. 그러나, 이 실시예에서, 가시광 조명기(1408)는 그 수가 가시광 조명기(1308)보다 더 작을 수 있으며, 카메라 시스템(1400)의 정면 측 표면의 중앙부에 위치될 수 있다. 또한, 방향이 고정되는 것이 아니라, 가시광 조명기(1408)는 가시광 조명기(1408)의 1개 이상(일부, 거의 전부, 또는 모두)의 방향을 패닝, 틸팅, 또는 변경하는 구동 메커니즘(1418)(예컨대, 모터, 액츄에이터)을 포함할 수 있다. 따라서, 이 실시예에서, 구동 메커니즘(1418)을 사용하여 추적 스폿 광이 생성될 수 있다. 가시광 조명기(1408)는 또한 스폿 광과 투광 조명 사이의 교대를 위해 필요한 조명 영역을 증가 또는 감소시키기 위해 예를 들면 조정 가능한 반사체를 사용하여 조정 가능한 빔 각도(예컨대, 광 빔의 지름 또는 폭)를 제공할 수 있다.
도 15는 본 발명의 또 다른 실시예에 따라 다양한 위치(예컨대, 천장 또는 벽 위에) 용이하게 탑재, 부착 또는 설치될 수 있는 모듈(1500)로서 구현된 스마트 감시 카메라 시스템(1200)의 예를 도시한다. 모듈(1500)은 열 촬영기(1502), 가시광/NIR 카메라(1504), 및 IR 조명기(1506), 가시광 조명기(1508), 프로세서(1510), 통신모듈(1512), 및 저장장치(1514)를 포함할 수 있으며, 이것들은 달리 언급되는 경우 외에는 카메라 시스템(1200, 1300, 1400)의 대응한 부품들과 같거나 유사한 방식으로 구현될 수 있다.
모듈(1500)은 또한, 스마트 감시 카메라 시스템(1200)의 네트워크가 예를 들면 신속히 그리고 편리하게 배치되도록, 모듈(1500)이 다양한 장소에 탑재, 부착, 또는 편리하게 설치되는 것을 가능하게 하는 하우징(1550)을 포함할 수 있다. 모듈(1500)은 또한 하우징 위에 배치된 투명 커버(1551)를 포함할 수 있다. 투명 커버(1551)는 적외선 촬영 모듈(1502) 및 가시광/NIR 카메라(1504)에 적외선 및 가시광을 통과시키며, 모듈(1500)의 이들 및 다른 부품들을 외부 요소들(예컨대, 비, 잔해물)로부터 보호할 수 있다.
이제 도 16을 참조하면, 본 발명의 일 실시예에 있어서, 감시 장면의 스마트 조명 및 모니터링을 수행하기 위한 프로세스(1600)의 흐름도를 도시한다. 예를 들면, 프로세스(1600)는 카메라 시스템(1200)의 다양한 실시예에 의해 수행될 수 있다. 장면(1230), 카메라 시스템(1200) 및 그것의 다양한 부품들은 단지 설명을 위해 식별되며, 프로세스(1600)의 일부 또는 전부를 수행하기 위해 임의의 다른 적당한 카메라 시스템이 사용될 수 있음을 알아야 한다.
블록 1602에서, 감시 장면의 열 이미지(예컨대, 방사 측정 데이터를 가진 픽셀을 포함하는)가 열 촬영기에 의해 캡처될 것이다. 예를 들면, FOV(1205) 내 장면(1230)으로부터의 열 방출 이미지가 도 12의 열 촬영기(1202)에 의해 캡처될 수 있다. 열 촬영기(예컨대, 열 촬영기(1202))는 장면으로부터의 열 방출을 피동적으로 검출하기 때문에, 능동 IR 조명은 필요하지 않다. 또한, 물체가 조명기에 너무 가까우면 종종 흐릿해지고(wash out) 물체가 충분히 가깝지 않으면 너무 어둡게 조명되는 능동 조명된 이미지들에 반해서, 열 이미지들은 완전 어둠속에서 및 안개 또는 스모그로 인해 불투명할 때라도 물체에 대한 깨끗한 온도기록계(thermographic) 이미지를 제공할 수 있다.
상기 캡처된 열 이미지는 방사측정으로(radiometrically) 조정된 열 이미지이며, 어떤 실시예에서는 열 촬영기(1202)에 대해서 설명한 것과 같이, 스케일 및/또는 시각 조정된 열 이미지들이다. 상기 캡처된 열 이미지는, 예를 들면 열 촬영기(1202)에 통신 가능하게 접속된 프로세서(1210)에서, 수신될 수 있다.
블록 1604에서, 다양한 열 이미지 처리 동작들이 상기 캡처된 열 이미지에 대해 수행될 수 있다. 예를 들면, 본 명세서에서 개시된 다양한 NUC 기술을 사용하여 상기 캡처된 열 이미지에 대해 그 내부의 노이즈를 제거하기 위해 1개 이상의 NUC 프로세스가 수행될 수 있다. 다른 다양한 처리 동작, 예를 들면 종래의 분할(segmentation), 필터링, 변환(transformation), 또는 디콘볼루션(deconvolu-tion) 동작이 프로세스(1600)의 다양한 응용을 위한 필요에 따라 수행될 수 있다.
블록 1606에서, 상기 처리된 열 이미지는 관심 물체의 존재를 검출하고, 상기 검출된 물체와 관련된 1개 이상의 속성을 결정하기 위해 추가로 처리 및/또는 분석될 수 있다. 일 실시예에서, 특정 범위의 온도 값을 가진 연속 픽셀들의 영역들이 관심 물체의 검출을 위해 상기 방사측정으로 조정된 열 이미지로부터 검출될 수 있다. 예를 들면, 상기 검출 동작은 사람, 모터 차량, 또는 동물에 특징적인 표면 온도 분포를 가진 영역(또는 "블롭(blob)")을 식별할 수 있다. 상기 열 이미지와 그 내부에서 검출된 블롭은, 상기 물체의 검출을 확인하기 위해, 예를 들면 상기 블롭의 크기, 형상, 및/또는 열 특성을 분석하고 다양한 필터링 동작을 수행함으로써, 추가로 처리 및/또는 분석될 수 있다.
또 다른 실시예에서, 상기 열 이미지들은, 예를 들면 배경 모델링 기술, 에지 검출 기술, 또는 열 이미지에 사용하기 적합한 다른 전면(foreground) 물체 검출 기술을 사용하여, 1개 이상의 후보 전면 물체를 검출하기 위해 분석될 수 있다. 그 다음에 상기 후보 물체의 방사측정 특성(예컨대, 표면 온도 분포)이 관심 물체(예컨대, 사람, 차량, 동물)의 그것에 대응하는지 여부를 판정하기 위해 분석될 것이다. 예를 들면, 열 촬영기 앞에 매달린 거미줄은 먼저 후보 전면 물체로 검출될 수 있지만, 그 방사측정 특성은 그것이 관심 물체의 표면 온도 분포 특성을 갖지 않음을 신속히 드러낼 것이다. 이 실시예가 보여주는 것과 같이, 상기 열 이미지를 사용하는 물체 검출은 능동 조명된 가시광 또는 NIR 광 이미지를 사용하는 물체 검출 기술과 비교하여 허위 물체(예컨대, 거미줄 또는 나방의 클로즈 업(close up) 또는 흐릿해진(washed out) 이미지)를 잘못 검출할 가능성이 적다. 또한 상기 검출이 상기 검출된 후보들의 크기, 형상, 및 방사측정 특성에 기초하여 확인될 수 있도록 상기 후보 물체의 크기 및 형상이 분석될 것이다.
본 발명의 일 측면으로, 장면에서 물체를 검출하기 위해 배경 모델링 기술이 사용될 수 있다. 배경(예컨대, 비어있는 감시 장면)이 거의 변하지 않고 열 이미지는 일반적으로 조명 상황의 변화에 민감하기 때문에, 배경 모델(예컨대, 배경에 속하는 픽셀들)은 고 정밀도로 구성될 수 있으며, 배경과 다른 픽셀 영역("관심 영역"이라고도 함)은 후보 전면 물체로서 용이하게 식별될 것이다. 전술한 것과 같이, 그 다음에 상기 검출된 ROI가 관심 물체를 나타낼 가능성이 있는지 여부를 추가로 확인하기 위해, 그와 같은 관심 영역(ROI: region of interest)의 방사측정 특성이 분석될 것이다.
상기 검출된 관심 물체와 관련된 다양한 속성들은 추가 분석 및 처리를 통해 및/또는 물체 검출을 위해 수행된 처리 및 분석 동안에 판정될 수 있다. 예를 들면, 상기 검출된 물체의 종류는 크기, 형상, 및/또는 방사측정 특성을 분석함으로써, 그리고 어떤 실시예에서는 그것들을 특정 관심 타입의 기준 물체의 프로파 일(profile) 또는 시그너처(signatures)와 비교함으로써, 판정될 수 있다. 다양한 실시예에서, 검출된 물체의 위치는 열 이미지에서 검출된 물체의 픽셀 좌표를 감시 장면의 대략 위치로 번역함으로써 판정될 수 있다. 어떤 실시예들에서는, 검출된 물체의 모션 벡터(즉, 이동 속도 및 방향) 역시 비디오 및 이미지 분석학의 적절한 기술을 사용하여 열 이미지들로부터 판정될 수 있다.
다양한 실시예에서, 블록 1606에 대해 설명된 다양한 처리 및 분석 동작들은 생략되거나 포함될 수 있으며, 물체를 검출하고 관련된 속성을 판정하는데 적합한 임의의 다른 순서로 수행될 수도 있다. 예를 들면, 어떤 실시예에서, 열 이미지에서 따뜻한 "블롭"을 검출하는 것이 한 장면에서 관심 물체를 검출하는데 충분할 수 있지만, 다른 실시예에서는 검출의 정확성을 증가시키기 위해 다양한 열 이미지 분석법들이 함께 수행될 수 있다. 열 이미지에서 물체를 검출하는 다른 적절한 기술 역시 블록 1606에서 이용될 수 있다.
블록 1608에서, 다양한 조명기(예컨대, IR 조명기(1206, 1224) 및/또는 가시광 조명기(1210A, 1210B, 1226)), 카메라(가시광/NIR 카메라(1204, 1220)), 및/또는 저장장치(예컨대, DVR 또는 다른 장치들)가 작동될 수 있고, 및/또는 감시장면의 열 이미지를 분석하여 판정된 것과 같은 관심 물체의 존재 및 종류에 기초하여 제어될 수 있다. 예를 들면, 도 12를 참조하여 설명한 것과 같이, 트래킹 스폿 광(tracking spotlight) 모드에서 물체를 조명하기 위해 가시광 조명기들이 작동되고 제어되거나; 투광조명 모드에서 물체를 조명하기 위해 가시광 조명기들이 작동되거나; NIR 이미지 기록을 위한 능동 IR 조명을 제공하기 위해 IR 조명기가 작동되거나; 감시장면의 이미지를 기록하기 위해 DVR과 함께 가시광/NIR 카메라가 작동되거나; 및/또는 물체를 추적하기 위해 가시광/NIR 카메라가 패닝, 틸팅, 또는 주밍될 수 있다. 상기 검출된 물체의 위치 및/또는 모션 벡터에 기초하여, 카메라 및 조명기들이 작동, 정지되거나, 아니면 그것들의 위치에 따라서 제어될 수 있다.
감시장면을 캡처하거나 기록한 이미지에는 가시광/NIR 이미지, 사용자가 볼수 있는 열 이미지, 및/또는 (예컨대, 가시광/NIR 카메라에 의해 캡처된 이미지와 열 촬영기에 의해 캡처된 열 이미지를 융합하여) 혼합된 이미지가 포함될 수 있다. 이와 관련하여, 프로세스(1600)는 사용자가 볼 수 있는 감시장면의 이미지를 생성하는 단계, 및/또는 도 12의 프로세서(1210)에 관련하여 설명한 것과 같이, 더 높은 선명도 및/또는 투명도를 가진 혼합된 이미지를 생성하기 위해 상기 열 이미지들과 상기 가시광/NIR 열 이미지를 결합하는 단계를 더 포함할 수 있다.
전술한 것과 같이, 사용자는 그와 같은 동작들과 트리거링(triggering) 물체 종류 사이의 연관성을 추가로 정의하거나, 커스터마이징하거나, 또는 설정할 수 있다. 이와 관련하여, 사용자-정의 파라미터들을 사용자로부터 받을 수 있다. 예를 들면, 상기 사용자-정의 파라미터를 포함한 파일 또는 데이터를 사용자의 외부 컴퓨터로부터 받을 수 있다. 또 다른 실시예에서, 사용자로부터의 명령 및/또는 입력을 제어판(예컨대, 키보드, 포인팅 장치, 물리적 버튼, 슬라이더, 다이얼 또는 다른 작동 메커니즘을 포함) 또는 카메라 시스템에 구비된 그래픽사용자인터페이스(GUI)를 통해 받을 수도 있다. 상기 수신된 파일, 데이터 또는 입력은 트리거링 물체 종류와 대응하는 동작 사이의 연관성을 갱신하기 위해 컴파일, 처리, 또는 관리될 수 있다.
다양한 실시예에서, 열 이미지 분석에 기초하여 다른 행위 또는 동작이 수행될 수 있다. 예를 들면, 게이트 또는 도어 근처에 있거나 접근하는 차량의 검출(예컨대, 위치 및/또는 모션 벡터에 의해 결정됨)에 기초하여 기계-작동되는 게이트 또는 차고 문을 열거나 닫을 수 있다. 마찬가지로, 보안등, 가로등, 현관등, 또는 다른 유사한 라이트(light) 및 램프가 물체의 종류, 위치, 및/또는 모션 벡터를 기초로 제어될 수 있다. 또 다른 실시예에서, 특이한 일이 발생하면(예컨대, 사람이 가상 경계를 통과함) 경보가 작동될 수 있다.
이와 관련하여, 프로세스(1600)는 외부장치와 통신하는 것을 추가로 포함할 수 있다. 예를 들면, 프로세스(1600)는 외부 카메라, 빌딩 액세스 제어기, 또는 빌딩 조명 제어기와 같은 외부 장치에 제어신호를 전송하는 단계를 포함할 수 있다. 다른 실시예에서, 프로세스(1600)는 캡처된 또는 기록된 이미지를 외부 모니터링 및/또는 기록 장치에 전송하는 단계; 물체 검출 정보 및 프로세스(1600)의 다양한 동작에 의해 생성된 다른 데이터를 외부 컴퓨터에 전송하고, 및/또는 명령 및 설정(예컨대, 사용자-정의된 파라미터)을 외부 컴퓨터로부터 수신하는 단계를 포함할 수 있다.
그러므로, 장면의 열 이미지를 사용하여 감시 장면의 조명 및 모니터링을 지능적으로 제어하기 위해 프로세스(1600)의 전부 또는 일부가 사용될 수 있다. 검출된 물체의 종류 및/또는 다른 속성에 따라서 적절한 조명기, 카메라, 저장장치, 및/또는 다른 외부 장치들이 유리하게 제어될 있으며, 여기서 사용자는 대응하는 조명 및/또는 기록 동작들을 정의하거나 커스터마이징 할 수 있다. 능동 조명기는 필요할 때 또는 원할 때만 간헐적으로 켤 수 있기 때문에, 거미줄 또는 곤충의 누적이 완화될 수 있고 전력 소비가 감소될 수 있다. 또한, 거미줄이나 다른 허위의 물체가 카메라 렌즈 근처에 형성되더라도, 프로세스(1600)의 열 이미지 분석 동작은 허위의 물체를 구별할 수 있는 더욱 확실한 검출을 가능하게 하며, 이에 의해 무의미한 감시 이미지의 기록을 방지할 수 있다.
여건이 된다면, 본 명세서에 의해 제공된 다양한 실시예는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 사용하여 구현될 수 있다. 또한 여건이 된다면, 여기서 제시된 다양한 하드웨어 부품 및/또는 소프트웨어 부품은 본 발명의 사상과 범위를 벗어나지 않으면서 소프트웨어, 하드웨어, 및/또는 양자를 포함하는 복합 부품으로 결합될 수 있다. 여건이 된다면, 여기서 제시된 다양한 하드웨어 부품 및/또는 소프트웨어 부품은 본 발명의 사상과 범위를 벗어나지 않으면서 소프트웨어, 하드웨어, 및/또는 양자를 구성하는 하위-부품으로 분리될 수 있다. 또한, 여건이 된다면, 소프트웨어 부품들은 하드웨어로 구현될 수 있고, 그 반대의 경우도 가능하다.
비-일시적 명령, 프로그램 코드, 및/또는 데이터와 같은 본 발명에 따른 소프트웨어는, 1개 이상의 기계에 의해 판독 가능한 비일시적 매체에 저장될 수 있다. 또한, 여기서 확인된 소프트웨어는 1개 이상의 범용 또는 전용 컴퓨터 및/또는 컴퓨터 시스템, 네트워크로 연결된 장치 등을 사용하여 구현될 수 있다. 여건이 된다면, 여기서 설명된 다양한 단계들의 순서는 여기서 설명된 기능들을 제공하기 위해 변경될 수 있고, 종합 단계로 결합될 수 있고, 및/또는 하위-단계들로 분할될 수 있다.
전술한 실시예들은 본 발명을 단지 예시하기 위한 것이며 한정하는 것은 아니다. 또한 본 발명의 원리에 따라서 다수의 수정 및 변경이 가능함을 인식해야 할 것이다. 따라서, 본 발명의 범위는 다음에 첨부되는 청구항들에 의해서만 한정된다.
Claims (22)
- 장면(scene)의 열 이미지를 캡처하는 초점평면 어레이(FPA: focal plane array)를 포함하는 열 촬영기;
상기 장면을 조명하는 광원;
상기 장면의 추가 이미지들을 캡처하는 카메라; 및
프로세서를 포함하며,
상기 프로세서는:
상기 열 이미지들에 기초하여 상기 장면 내의 물체의 존재를 결정하고,
상기 결정된 물체의 존재에 응답하여, 상기 열 이미지 내의 캡처된 온도 분포를 분석하여 상기 물체의 기하학적 특성 및 열적 특성을 결정함으로써 원하는 물체와 허위의 물체 사이에서 상기 물체를 식별하며,
상기 장면 내의 상기 원하는 물체의 식별에 응답하여 및 상기 식별된 원하는 물체와 상기 광원 및 상기 카메라를 위해 트리커될 대응하는 동작들 사이의 미리 정의된 관련성에 따라서 상기 광원 및 상기 카메라를 선택적으로 동작시키는, 시스템. - 제 1 항에 있어서,
상기 광원은 가시광선 광원 및 적외선(IR) 광원을 추가로 포함하고,
상기 프로세서는 상기 결정된 물체의 존재 및 상기 장면 내의 상기 원하는 물체의 식별에 응답하여 그리고 상기 미리 정의된 관련성에 따라서 상기 가시광선 광원 및 상기 적외선(IR) 광원 중 어느 하나를 선택적으로 동작시키는, 시스템. - 제 1 항에 있어서,
상기 프로세서는 추가로,
상기 장면 내의 상기 원하는 물체의 위치를 결정하기 위해 상기 열 이미지들을 분석하고; 및
상기 장면 내의 상기 원하는 물체의 위치의 변화에 응답하여 상기 원하는 물체를 향해 상기 광원을 선택적으로 조향하는, 시스템. - 제 1 항에 있어서,
상기 프로세서는 추가로,
상기 장면 내의 상기 원하는 물체의 크기를 결정하기 위해 상기 열 이미지들을 분석하고; 및
상기 장면 내의 상기 원하는 물체의 크기에 기초하여 상기 광원의 빔 폭을 선택적으로 조정하는, 시스템. - 제 1 항에 있어서,
상기 카메라는 가시광(VL) 및 근적외선(NIR) 스펙트럼 중 하나 이상으로 상기 장면의 추가 이미지들을 캡처하는 비열(non-thermal) 카메라이고,
상기 광원은 상기 프로세서로부터의 제어 신호에 응답하여 상기 비열 카메라에 의해 캡처된 상기 추가 이미지들과 관련된 NIR 스펙트럼 및 가시광(VL) 중 하나 이상의 적어도 일부와 중첩하는 파장을 갖는 광으로 상기 장면을 조명하는, 시스템. - 제 1 항에 있어서,
상기 원하는 물체는 사람 또는 차량을 포함하고;
상기 식별된 원하는 물체와 상기 광원 및 상기 카메라를 위해 트리거 될 대응하는 동작들 사이의 상기 미리 정의된 관련성은 상기 물체가 상기 허위의 물체인 것의 식별에 응답하여 트리거 된 대응하는 동작으로서 상기 광원 및 상기 카메라 중 하나 이상을 비활성화시키는, 시스템. - 제 5 항에 있어서,
상기 프로세서는 상기 장면의 혼합된 이미지를 생성하기 위해 상기 열 이미지들과 상기 추가 이미지들을 결합하는, 시스템. - 제 1 항에 있어서,
상기 프로세서는 상기 결정된 물체의 존재 및 상기 장면 내의 상기 원하는 물체의 식별에 응답하여 그리고 상기 미리 정의된 관련성에 따라서 상기 열 이미지들 및 상기 추가 이미지들 중 하나 이상의 기록을 선택적으로 시작 및 중지하고,
상기 시스템은 상기 열 촬영기에 대하여 원격 위치에 위치되고 상기 프로세서에 응답하여 상기 열 이미지들 및 상기 추가 이미지들 중 하나 이상을 기록하는 저장장치를 추가로 포함하는, 시스템. - 제 1 항에 있어서,
상기 카메라는 제1 시야(FOV: field of view)를 가진 제1 카메라이고;
상기 시스템은 상기 장면의 다른 추가 이미지들을 캡처하고 제2 FOV를 가진 제2 카메라를 추가로 포함하며;
상기 프로세서는:
상기 원하는 물체의 위치를 결정하기 위해 상기 열 이미지들을 분석하며;
상기 제1 및 제2 FOV에 대한 상기 원하는 물체의 위치에 기초하여 상기 추가 이미지들 및 상기 다른 추가 이미지들 중 하나 이상의 기록여부를 결정하며;
상기 추가 이미지들 및 상기 다른 추가 이미지들 중 하나 이상의 기록여부의 상기 결정에 기초하여 상기 추가 이미지들 및 상기 다른 추가 이미지들 중 하나 이상의 기록을 선택적으로 시작 및 중지하는, 시스템. - 제 1 항에 있어서,
상기 프로세서는 추가로 상기 결정된 물체의 존재 및 상기 장면 내의 상기 원하는 물체의 식별에 응답하여 그리고 상기 미리 정의된 관련성에 따라서 외부장치를 선택적으로 동작시키는, 시스템 - 제 1 항에 있어서,
상기 프로세서에 통신 가능하게 결합된 메모리를 추가로 포함하며,
상기 프로세서는 추가로:
상기 식별된 원하는 물체와 상기 광원 및 상기 카메라를 위해 트리거될 대응하는 동작들 사이의 상기 미리 정의된 관련성을 사용자 정의에 기초하여 갱신하고; 및
상기 갱신된 미리 정의된 관련성을 상기 메모리에 저장하는, 시스템. - 열 촬영기의 초점평면어레이(FPA)에 장면의 열 이미지들을 캡처하는 단계;
상기 열 이미지들에 기초하여 상기 장면 내의 물체의 존재를 결정하는 단계;
상기 결정된 물체의 존재에 응답하여, 상기 열 이미지들 내의 캡처된 온도 분포를 분석하여 상기 물체의 기하학적 특성 및 열적 특성을 결정함으로써 원하는 물체와 허위의 물체 사이에서 상기 물체를 식별하는 단계; 및
상기 장면 내의 상기 원하는 물체의 식별에 응답하여 및 상기 식별된 원하는 물체와 광원 및 카메라를 위해 트리커될 대응하는 동작들 사이의 미리 정의된 관련성에 따라서 상기 광원 및 상기 카메라를 선택적으로 동작시키는 단계;
를 포함하고,
상기 광원은 상기 장면을 조명하고,
상기 카메라는 상기 장면의 추가 이미지들을 캡처하는, 방법. - 제 12 항에 있어서,
상기 광원은 상기 장면을 조명하기는 가시광선 광원 및 적외선(IR) 광원을 포함하며,
상기 방법은 상기 물체의 결정된 존재 및 상기 장면 내의 상기 원하는 물체의 식별에 응답하여 그리고 상기 미리 정의된 관련성에 따라서 상기 가시광선 광원 및 상기 적외선(IR) 광원 중 하나 이상을 선택적으로 동작시키는 단계를 추가로 포함하는, 방법. - 제 12 항에 있어서,
상기 장면 내의 상기 원하는 물체의 위치 및 크기를 결정하기 위해 상기 열 이미지들를 분석하는 단계를 추가로 포함하며,
상기 광원을 선택적으로 동작시키는 단계는:
상기 장면 내의 상기 원하는 물체의 위치의 변화에 응답하여 상기 광원을 상기 원하는 물체을 향해 선택적으로 조향하는 단계; 및
상기 장면 내의 상기 원하는 물체의 크기에 기초하여 상기 광원의 빔 폭을 선택적으로 조정하는 단계;
를 포함하는, 방법. - 제 12 항에 있어서,
상기 원하는 물체는 사람 또는 차량을 포함하고;
상기 식별된 원하는 물체와 상기 광원 및 상기 카메라를 위해 트리거 될 대응하는 동작들 사이의 상기 미리 정의된 관련성은 상기 물체가 상기 허위의 물체인 것의 식별에 응답하여 트리거 된 대응하는 동작으로서 상기 광원 및 상기 카메라 중 하나 이상을 비활성화시키는 단계를 포함하는, 방법. - 제 12 항에 있어서,
상기 장면의 혼합된 이미지들을 생성하기 위해 상기 열 이미지들과 상기 추가 이미지들을 결합하는 단계를 추가로 포함하고,
상기 카메라는 비열 카메라이고,
상기 광원은 상기 추가 이미지들과 관련된 스펙트럼의 적어도 일부에 대하여 조명을 제공하는, 방법. - 제 12 항에 있어서,
상기 카메라를 선택적으로 동작시키는 단계는 상기 결정된 물체의 존재 및 상기 장면 내의 상기 원하는 물체의 식별에 응답하여 그리고 상기 미리 정의된 관련성에 따라서 상기 열 이미지들 및 상기 추가 이미지들 중 하나 이상의 기록을 선택적으로 시작 및 중지하는 단계를 포함하며,
상기 기록을 선택적으로 시작 및 중지하는 단계는 상기 열 촬영기에 대하여 원격 위치에 위치된 저장장치에 상기 열 이미지들 및 상기 추가 이미지들 중 하나 이상을 기록하는 단계를 포함하는, 방법. - 제 12 항에 있어서,
상기 원하는 물체의 위치를 결정하기 위해 상기 열 이미지들을 분석하는 단계를 추가로 포함하며,
상기 카메라는 제1 FOV를 가진 제1 카메라이며,
상기 카메라를 선택적으로 동작시키는 단계는:
상기 추가 이미지들 및 제2 FOV를 가진 제2 카메라에 의해 캡처된 상기 장면의 다른 추가 이미지들 중 하나 이상을 기록할지 여부를 상기 제1 및 제2 FOV에 대한 상기 원하는 물체의 위치에 기초하여 결정하는 단계; 및
상기 추가 이미지들 및 상기 다른 추가 이미지들 중 하나 이상을 기록할지 여부의 결정에 기초하여, 상기 추가 이미지들 및 상기 다른 추가 이미지들 중 하나 이상의 기록을 선택적으로 시작 및 중지하는 단계;
를 포함하는, 방법. - 제 12 항에 있어서,
상기 결정된 물체의 존재 및 상기 장면 내의 상기 원하는 물체의 식별에 응답하여 그리고 상기 미리 정의된 관련성에 따라서 외부장치를 선택적으로 동작시키는 단계를 추가로 포함하는, 방법. - 제 12 항에 있어서,
상기 식별된 원하는 물체와 상기 광원 및 상기 카메라를 위해 트리거될 대응하는 동작들 사이의 미리 정의된 관련성을 사용자 정의에 기초하여 갱신하는 단계를 추가로 포함하는, 방법. - 삭제
- 삭제
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161545056P | 2011-10-07 | 2011-10-07 | |
| US61/545,056 | 2011-10-07 | ||
| US201261663336P | 2012-06-22 | 2012-06-22 | |
| US61/663,336 | 2012-06-22 | ||
| PCT/US2012/058099 WO2013052383A1 (en) | 2011-10-07 | 2012-09-28 | Smart surveillance camera systems and methods |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140067160A KR20140067160A (ko) | 2014-06-03 |
| KR101831486B1 true KR101831486B1 (ko) | 2018-02-22 |
Family
ID=47116354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147011549A KR101831486B1 (ko) | 2011-10-07 | 2012-09-28 | 스마트 감시 카메라 시스템 및 방법 |
Country Status (6)
| Country | Link |
|---|---|
| EP (1) | EP2764686B1 (ko) |
| KR (1) | KR101831486B1 (ko) |
| CN (1) | CN103975577B (ko) |
| BR (1) | BR112014008362A2 (ko) |
| CA (1) | CA2851259C (ko) |
| WO (1) | WO2013052383A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102248235B1 (ko) * | 2020-05-06 | 2021-05-04 | 주식회사 에스엠전자 | 발열자 및 접촉자 이력관리시스템 |
Families Citing this family (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105245822A (zh) * | 2014-06-24 | 2016-01-13 | 陈凯柏 | 用影像辨识系统控制的照明装置 |
| CN103338357A (zh) * | 2013-06-24 | 2013-10-02 | 安科智慧城市技术（中国）有限公司 | 一种实现视频监控集成的方法、设备及系统 |
| KR20150021353A (ko) * | 2013-08-20 | 2015-03-02 | 삼성테크윈 주식회사 | 영상 융합 시스템 및 그 방법 |
| CN104079881B (zh) * | 2014-07-01 | 2017-09-12 | 中磊电子（苏州）有限公司 | 监控装置与其相关的监控方法 |
| US10602082B2 (en) | 2014-09-17 | 2020-03-24 | Fluke Corporation | Triggered operation and/or recording of test and measurement or imaging tools |
| WO2016065261A1 (en) | 2014-10-24 | 2016-04-28 | Fluke Corporation | Imaging system employing fixed, modular mobile, and portable infrared cameras with ability to receive, communicate, and display data and images with proximity detection |
| EP3037917B1 (en) * | 2014-12-24 | 2021-05-19 | Nokia Technologies Oy | Monitoring |
| CN104469329A (zh) * | 2015-01-07 | 2015-03-25 | 山东鲁能智能技术有限公司 | 一种变电站视频监控智能推图的方法及系统 |
| US9242379B1 (en) * | 2015-02-09 | 2016-01-26 | The Trustees Of The University Of Pennysylvania | Methods, systems, and computer readable media for producing realistic camera motion for stop motion animation |
| CN104866848B (zh) * | 2015-05-30 | 2018-06-26 | 宁波摩米创新工场电子科技有限公司 | 一种基于前置放大处理的红外成像图像识别系统 |
| CN104866836B (zh) * | 2015-05-30 | 2018-08-07 | 宁波摩米创新工场电子科技有限公司 | 一种基于红外成像的图像识别系统 |
| EP3313066A1 (en) * | 2015-06-17 | 2018-04-25 | Memo Robotek Inc. | Information intelligent collection method and apparatus |
| US10330292B2 (en) * | 2015-07-08 | 2019-06-25 | Production Resource Group Llc | Device for controlling a remotely located luminaire |
| EP3136726B1 (en) | 2015-08-27 | 2018-03-07 | Axis AB | Pre-processing of digital images |
| EP3142355B1 (en) * | 2015-09-08 | 2017-10-25 | Axis AB | Method and apparatus for enhancing local contrast in a thermal image |
| US10530977B2 (en) | 2015-09-16 | 2020-01-07 | Fluke Corporation | Systems and methods for placing an imaging tool in a test and measurement tool |
| WO2017070629A1 (en) | 2015-10-23 | 2017-04-27 | Fluke Corporation | Imaging tool for vibration and/or misalignment analysis |
| CN105357442A (zh) | 2015-11-27 | 2016-02-24 | 小米科技有限责任公司 | 摄像头拍摄角度调整方法及装置 |
| CN105487321B (zh) * | 2015-12-28 | 2018-08-14 | 生迪智慧科技有限公司 | 红外补光灯的控制方法及拍摄装置 |
| FR3046519B1 (fr) | 2016-01-04 | 2022-11-04 | Netatmo | Dispositif d'eclairage automatique |
| US10147195B2 (en) * | 2016-02-19 | 2018-12-04 | Flir Systems, Inc. | Object detection along pre-defined trajectory |
| CN105763807A (zh) * | 2016-03-03 | 2016-07-13 | 广东欧珀移动通信有限公司 | 一种移动终端的拍摄方法及移动终端 |
| KR102474706B1 (ko) * | 2016-06-13 | 2022-12-05 | 한화테크윈 주식회사 | 감시 장치 |
| US10343211B2 (en) | 2016-08-25 | 2019-07-09 | Honda Motor Co., Ltd. | Thermal camera system for die-cast machine |
| CN106354390B (zh) * | 2016-08-30 | 2019-09-17 | 广东小天才科技有限公司 | 目标图像的截取的方法和装置 |
| CN106448005A (zh) * | 2016-08-30 | 2017-02-22 | 江苏艾倍科科技股份有限公司 | 一种基于光伏发电的红外远程报警系统 |
| WO2018059985A1 (en) * | 2016-09-29 | 2018-04-05 | Philips Lighting Holding B.V. | Depth queue by thermal sensing |
| CN106683313A (zh) * | 2016-12-08 | 2017-05-17 | 西南技术物理研究所 | 一种边防监控目标自动检测报警装置 |
| CN107049253B (zh) * | 2017-04-10 | 2020-04-21 | 深圳市共进电子股份有限公司 | 一种基于人工智能的红外热成像体温检测方法和装置 |
| EP3410688B1 (en) | 2017-06-01 | 2019-03-06 | Axis AB | Method for improving image quality in images acquired by a near-infrared sensitive video camera and such a camera |
| CN107219005B (zh) * | 2017-08-07 | 2018-11-06 | 嘉兴尚云自动化设备有限公司 | 一种智能运动场 |
| CN107202639B (zh) * | 2017-08-07 | 2018-11-06 | 嘉兴尚云自动化设备有限公司 | 群体型监测装置的节电管理系统 |
| CN107290064B (zh) * | 2017-08-07 | 2018-11-06 | 嘉兴尚云自动化设备有限公司 | 一种智能运动场的节电管理系统 |
| WO2019067193A1 (en) * | 2017-09-28 | 2019-04-04 | Apple Inc. | NOCTURNAL DETECTION |
| EP3477941B1 (en) * | 2017-10-27 | 2020-11-25 | Axis AB | Method and controller for controlling a video processing unit based on the detection of newcomers in a first environment |
| CN108012075B (zh) * | 2017-11-06 | 2020-06-05 | 信利光电股份有限公司 | 一种监控设备及照明设备的集成控制方法及系统 |
| CN108124134A (zh) * | 2017-12-29 | 2018-06-05 | 嘉兴乾昆工业设计有限公司 | 一种智能通讯远程监控装置 |
| CN108347560A (zh) | 2018-01-17 | 2018-07-31 | 浙江大华技术股份有限公司 | 一种摄像机防太阳灼伤方法、摄像机及可读存储介质 |
| US10609298B2 (en) * | 2018-02-06 | 2020-03-31 | Google Llc | Adaptive infrared illumination for exposure correction |
| WO2019191146A1 (en) * | 2018-03-27 | 2019-10-03 | Flir Systems, Inc. | People counting and tracking systems and methods |
| CN108596222B (zh) * | 2018-04-11 | 2021-05-18 | 西安电子科技大学 | 基于反卷积神经网络的图像融合方法 |
| CN108833843A (zh) * | 2018-06-29 | 2018-11-16 | 池州市佳山信息技术有限公司 | 一种家用智能监控设备 |
| CN108833845A (zh) * | 2018-06-29 | 2018-11-16 | 安徽香妃茶业有限公司 | 一种蓄电能力的监控器 |
| TWI690718B (zh) * | 2018-08-02 | 2020-04-11 | 李宏富 | 目標位置追瞄系統 |
| CN109444052A (zh) * | 2018-10-29 | 2019-03-08 | 合刃科技（武汉）有限公司 | 高光谱成像装置、成像系统及监控方法 |
| EP3709628B1 (en) * | 2019-03-14 | 2020-12-23 | Axis AB | Control of an illuminator |
| CN110995976A (zh) * | 2019-12-24 | 2020-04-10 | 天地伟业技术有限公司 | 低功耗4g太阳能摄像机 |
| CN111147719B (zh) * | 2019-12-26 | 2022-07-05 | 中国人民警察大学 | 一种可穿戴摄像机 |
| EP3876211A1 (en) * | 2020-03-06 | 2021-09-08 | Signify Holding B.V. | Selecting a light source for activation based on a type and/or probability of human presence |
| EP3922968A3 (en) | 2020-05-22 | 2022-05-18 | Eaton Intelligent Power Limited | Temperature measurement system |
| US11676368B2 (en) | 2020-06-30 | 2023-06-13 | Optum Services (Ireland) Limited | Identifying anomalous activity from thermal images |
| DE102021102309B3 (de) | 2021-02-02 | 2022-02-17 | Ford Global Technologies Llc | Überwachungseinheit für einen Fahrzeuginnenraum |
| CN113392714A (zh) * | 2021-05-20 | 2021-09-14 | 上海可深信息科技有限公司 | 一种聚众事件检测方法及系统 |
| CN116437216B (zh) * | 2023-06-12 | 2023-09-08 | 湖南博信创远信息科技有限公司 | 基于人工智能数据处理和视觉分析的工程监管方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100039511A1 (en) | 2008-08-15 | 2010-02-18 | Wang Li-Hsing | Device of monitoring system and method thereof |
| US20100179785A1 (en) | 2009-01-15 | 2010-07-15 | John Steffen Jensen | Temperature Measurement Instruments and Methods for Identifying a Selected Target Area |
| US20110205367A1 (en) | 2010-02-23 | 2011-08-25 | Brown Kenneth W | MMW Enhanced Infrared Concealed Object Detection with Closed-Loop Control of Illumination Energy |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6028309A (en) | 1997-02-11 | 2000-02-22 | Indigo Systems Corporation | Methods and circuitry for correcting temperature-induced errors in microbolometer focal plane array |
| US6330371B1 (en) * | 1998-10-19 | 2001-12-11 | Raytheon Company | Adaptive non-uniformity compensation using feedforward shunting and min-mean filter |
| US20030093805A1 (en) * | 2001-11-15 | 2003-05-15 | Gin J.M. Jack | Dual camera surveillance and control system |
| US6812465B2 (en) | 2002-02-27 | 2004-11-02 | Indigo Systems Corporation | Microbolometer focal plane array methods and circuitry |
| US7034301B2 (en) | 2002-02-27 | 2006-04-25 | Indigo Systems Corporation | Microbolometer focal plane array systems and methods |
| JP4483695B2 (ja) * | 2005-05-16 | 2010-06-16 | ソニー株式会社 | 撮像システム、システム制御方法 |
| JP4899534B2 (ja) * | 2006-02-28 | 2012-03-21 | ソニー株式会社 | 監視カメラ |
| US7470902B1 (en) | 2006-03-20 | 2008-12-30 | Flir Systems, Inc. | Infrared camera electronic architectures |
| US7470904B1 (en) | 2006-03-20 | 2008-12-30 | Flir Systems, Inc. | Infrared camera packaging |
| US7679048B1 (en) | 2008-04-18 | 2010-03-16 | Flir Systems, Inc. | Systems and methods for selecting microbolometers within microbolometer focal plane arrays |
| US20120121128A1 (en) * | 2009-04-20 | 2012-05-17 | Bent 360: Medialab Inc. | Object tracking system |
-
2012
- 2012-09-28 KR KR1020147011549A patent/KR101831486B1/ko active IP Right Grant
- 2012-09-28 EP EP12780954.9A patent/EP2764686B1/en active Active
- 2012-09-28 WO PCT/US2012/058099 patent/WO2013052383A1/en active Application Filing
- 2012-09-28 BR BR112014008362A patent/BR112014008362A2/pt not_active Application Discontinuation
- 2012-09-28 CA CA2851259A patent/CA2851259C/en active Active
- 2012-09-28 CN CN201280060176.5A patent/CN103975577B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100039511A1 (en) | 2008-08-15 | 2010-02-18 | Wang Li-Hsing | Device of monitoring system and method thereof |
| US20100179785A1 (en) | 2009-01-15 | 2010-07-15 | John Steffen Jensen | Temperature Measurement Instruments and Methods for Identifying a Selected Target Area |
| US20110205367A1 (en) | 2010-02-23 | 2011-08-25 | Brown Kenneth W | MMW Enhanced Infrared Concealed Object Detection with Closed-Loop Control of Illumination Energy |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102248235B1 (ko) * | 2020-05-06 | 2021-05-04 | 주식회사 에스엠전자 | 발열자 및 접촉자 이력관리시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103975577B (zh) | 2017-09-19 |
| BR112014008362A2 (pt) | 2017-04-18 |
| CA2851259A1 (en) | 2013-04-11 |
| CN103975577A (zh) | 2014-08-06 |
| KR20140067160A (ko) | 2014-06-03 |
| WO2013052383A1 (en) | 2013-04-11 |
| EP2764686A1 (en) | 2014-08-13 |
| EP2764686B1 (en) | 2019-10-02 |
| CA2851259C (en) | 2018-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101831486B1 (ko) | 스마트 감시 카메라 시스템 및 방법 | |
| US10970556B2 (en) | Smart surveillance camera systems and methods | |
| US9674458B2 (en) | Smart surveillance camera systems and methods | |
| US10321031B2 (en) | Device attachment with infrared imaging sensor | |
| US10033944B2 (en) | Time spaced infrared image enhancement | |
| US9948872B2 (en) | Monitor and control systems and methods for occupant safety and energy efficiency of structures | |
| US9986175B2 (en) | Device attachment with infrared imaging sensor | |
| EP2936799B1 (en) | Time spaced infrared image enhancement | |
| US9819880B2 (en) | Systems and methods of suppressing sky regions in images | |
| CN111418200B (zh) | 用于曝光校正的自适应红外照明 | |
| US10735659B2 (en) | Rotation-adaptive video analytics camera and method | |
| US9313415B2 (en) | Method and system for adjusting exposure settings of video cameras | |
| US20150334315A1 (en) | Infrared imaging enhancement with fusion | |
| US20190206042A1 (en) | Fail-safe detection using thermal imaging analytics | |
| EP2719168A2 (en) | Systems and methods for intelligent monitoring of thoroughfares using thermal imaging | |
| WO2014105241A1 (en) | Device attachment with infrared imaging sensor | |
| US10803595B2 (en) | Thermal-image based object detection and heat map generation systems and methods | |
| TW201512701A (zh) | 取像裝置及其控制方法 | |
| KR102184295B1 (ko) | 다중 광도 영상 획득 장치 및 방법 | |
| KR101667350B1 (ko) | Cctv 카메라와 조명이 연동 가능한 보안 시스템 | |
| KR101132407B1 (ko) | 이미지 센서를 포함하는 촬영 장치 | |
| WO2017161198A1 (en) | Rotation-adaptive video analytics camera and method | |
| WO2024008305A1 (en) | An image sensor system, a camera module, an electronic device and a method for operating a camera module for detecting events using infrared | |
| JP2023154475A (ja) | 撮像装置およびその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |