KR20150139864A - 열 이미지 촬영 및 서모그래피 카메라를 위한 시스템 아키텍처 - Google Patents
열 이미지 촬영 및 서모그래피 카메라를 위한 시스템 아키텍처 Download PDFInfo
- Publication number
- KR20150139864A KR20150139864A KR1020157029140A KR20157029140A KR20150139864A KR 20150139864 A KR20150139864 A KR 20150139864A KR 1020157029140 A KR1020157029140 A KR 1020157029140A KR 20157029140 A KR20157029140 A KR 20157029140A KR 20150139864 A KR20150139864 A KR 20150139864A
- Authority
- KR
- South Korea
- Prior art keywords
- thermal
- camera
- thermal imaging
- mobile device
- imaging camera
- Prior art date
Links
- 238000001931 thermography Methods 0.000 title claims description 108
- 238000000034 method Methods 0.000 claims abstract description 74
- 238000004891 communication Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 66
- 238000012545 processing Methods 0.000 claims description 36
- 238000012937 correction Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 description 58
- 230000007246 mechanism Effects 0.000 description 37
- 230000015654 memory Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000009529 body temperature measurement Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000002076 thermal analysis method Methods 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/911—Television signal processing therefor for the suppression of noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Studio Devices (AREA)
- Radiation Pyrometers (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
열 이미지 촬영 카메라는, 열 비디오 데이터(thermal video data)를 캡쳐(capture)하도록 동작 가능한 적외선 탐지기, 상기 적외선 탐지기와 연결되며, 상기 열 비디오 데이터를 처리하도록 동작 가능한 프로세서 및 상기 처리된 열 비디오 데이터를 연결된 소비자 모바일 장치와 통신할 수 있도록 동작 가능한 적어도 하나의 통신 인터페이스를 포함한다.
Description
본 출원은 2013.3.14. 출원된 미국 임시 특허 출원 제61/785,267호("System Architecture for Thermal Imaging and Thermography Cameras") 및 2013.3.14. 출원된 미국 임시 특허 출원 제61/785,224호("Parallax Reduction for Multi-Sensor Camera Systems")를 기초로 하는 우선권을 주장하고, 상기 기초 출원들의 내용을 모두 참조에 의하여 본원에 편입하는 것으로 한다.
열 이미지 촬영 카메라(thermal imaging camera)는 객체의 열 시그니처(heat signature)에 관한 정보를 제공하는 열 그래픽 카메라(thermographic camera)이다. 적외선 복사(infrared radiation)를 가시광으로서 렌더링(rendering)함으로써, 열 이미지 촬영 카메라는 사용자로 하여금 장면내의 요소들의 온도를 가시화할 수 있게 한다. 열 이미지 촬영 카메라는 전형적으로 휴대용이며, 적외선 센서와 디스플레이 유닛이 일체화되어 있다.
열 이미지 촬영 카메라 분야의 진보에도 불구하고, 열 이미지 촬영 카메라와 관련된 방법 및 시스템을 향상시켜야 할 필요가 있다.
본 명세서에 의하여 개시된 기술은 일반적으로 열 이미지 촬영 시스템에 관련된다. 특히, 본 명세서에 의하여 개시된 기술은, 확장 가능한 아키텍처(expandable architecture)를 포함하는 열 이미지 촬영 시스템에 관련된다.
본 발명의 일 실시예에 의하면, 열 이미지 촬영 카메라를 이용하여 기초적인 열 그래픽 기능을 제공하며 소비자 장치의 역량을 활용하여 향상된 기능을 제공하도록 구성된 확장 가능한 아키텍처를 포함하는 열 이미지 촬영 시스템이 제공된다. 상기 열 이미지 촬영 카메라는 열 그래픽 데이터를 캡쳐하는 적외선 탐지기; 상기 적외선 탐지기와 연결되어 상기 열 그래픽 데이터를 처리하는 프로세서; 및 유선 또는 무선 접속을 통해 열 이미지 촬영 시스템과 연결된 소비자 모바일 장치로 상기 처리된 열 그래픽 데이터를 통신하는 적어도 하나의 통신 인터페이스를 포함한다. 상기 소비자 장치에 의하여 제공되는 기능은, 기초적 카메라 기능, 디스플레이 기능 및 제어 기능을 포함하나 여기에 한정되지는 않는다. 상기 확장 가능한 아키텍처는 상기 소비자 장치의 역량을 상기 열 이미지 촬영 카메라의 역량과 통합하여, 상기 확장 가능한 아키텍처의 특정 소프트웨어 및 하드웨어 컴포넌트는 상기 열 이미지 촬영 카메라에 의하여 제공되고, 나머지 하드웨어 및 소프트웨어 컴포넌트는 상기 소비자 장치 또는 거기에서 실행되는 애플리케이션에 의하여 제공되게 한다.
상기 확장 가능한 아키텍처는 상기 소비자 장치의 하드웨어 및 소프트웨어 역량을 상기 열 이미지 촬영 카메라의 역량과 통합하여, 특정 하드웨어 및 소프트웨어 컴포넌트는 상기 열 이미지 촬영 카메라에 의하여 제공되며, 나머지 하드웨어 및 소프트웨어 컴포넌트는 상기 소비자 장치 또는 거기에서 실행되는 애플리케이션에 의하여 제공되게 한다. 상기 확장 가능한 아키텍처는 또한 실행되는 서로 다른 애플리케이션들을 포함하는 임의의 수의 서로 다른 소비자 장치와 호환 가능하도록 적응된다. 상기 열 이미지 촬영 카메라는, USB접속, WiFi 네트워크 접속, 블루투스 접속 또는 기타 유선 또는 무선 접속을 통해 소비자 장치와 연결된다.
본 발명의 또 다른 실시예에 의하면, 열 이미지 촬영 시스템에서, 열 이미지 촬영 카메라 및 거기에 연결된 소비자 장치 사이에서 상기 열 이미지 촬영 시스템의 기능을 위임하는 단계를 포함하는 방법이 제공된다. 상기 방법은, 상기 열 이미지 촬영 카메라의 적외선 탐지기를 사용하여 열 그래픽 데이터를 캡쳐하는 단계; 상기 적외선 탐지기에 연결된 프로세서를 이용하여 상기 열 그래픽 데이터를 처리하는 단계; 및 상기 소비자 모바일 장치와 연결되도록 적응된 열 이미지 촬영 시스템의 인터페이스를 통해 상기 열 그래픽 데이터를 제공하는 단계를 포함한다. 상기 열 그래픽 데이터는 상기 소비자 장치에서 디스플레이될 수 있다.
본 발명의 특정 실시예에 의하면, 열 이미지 카메라가 제공된다. 상기 열 이미지 촬영 카메라는, 열 비디오 데이터를 캡쳐하도록 동작 가능한 적외선 탐지기; 상기 적외선 탐지기와 연결되며, 상기 열 비디오 데이터를 처리하도록 동작 가능한 프로세서; 및 상기 처리된 열 비디오 데이터를, 연결된 소비자 모바일 장치와 통신할 수 있도록 동작 가능한 적어도 하나의 통신 인터페이스를 포함한다.
본 발명의 다른 특정 실시예에 의하면, 열 이미지 촬영 카메라를 동작시키는 방법이 제공된다. 상기 방법은, 상기 열 이미지 촬영 카메라의 적외선 탐지기를 사용하여 열 비디오 데이터를 캡쳐하는 단계; 상기 적외선 탐지기에 연결된 프로세서를 이용하여 상기 열 비디오 데이터를 처리하는 단계; 및 소비자 모바일 장치에서 디스플레이되도록 상기 처리된 열 데이터를 열 이미지 촬영 시스템의 인터페이스를 통해 상기 소비자 모바일 장치에 제공하는 단계를 포함한다.
본 발명의 또 다른 특정 실시예에 의하면, 열 이미지 촬영 시스템이 제공된다. 상기 열 이미지 촬영 시스템은, 열 그래픽 데이터를 캡쳐(capture)하도록 동작 가능한 적외선 탐지기; 상기 적외선 탐지기와 연결되며, 상기 열 그래픽 데이터를 처리하도록 동작 가능한 프로세서; 및 적어도 하나의 통신 인터페이스를 포함하는 열 이미지 찰영 카메라를 포함한다. 상기 열 이미지 촬영 시스템은 또한, 상기 열 이미지 촬영 카메라와 통신 가능하게 연결된 소비자 모바일 장치를 포함한다.
통상의 기술에 대하여 여기에서 기술된 기술 사상에 의하여 다양한 혜택이 성취될 수 있다. 예를 들면, 실시예들은 임의의 수의 소비자 장치와 호환 가능하며, 제3자에 의하여 개발됨에 따라 이러한 장치들에 활용 가능한 새로운 특성들을 통합할 수 있다. 이는, 그러한 특성들을 개발하고 그들을 열 이미지 촬영 카메라에 제공하는 대신에 그 특성들을 소비자 장치로 떠 넘김으로서 열 이미지 촬영 시스템의 전체적인 비용을 감소시킨다. 대부분의 소비자들은 이러한 장치들을 이미 보유하고 있으며, 그들을 열 이미지 촬영 시스템과 통합하도록 향상된 기능들을 이용하여 레버리지 효과를 얻을 수 있다. 현재 예측할 수 없는 특성들을 포함한 추가적인 시스템의 특성들이 소비자 장치에서 실행되도록 구성된 임의의 수의 애플리케이션의 개발을 통해 추가될 수 있다.
상기한 실시예들 및 그들의 이점과 특성들에 관하여, 이하의 상세한 설명, 특허청구범위 및 첨부 도면들을 결합하여 더욱 상세히 설명한다.
첨부된 도면과 함께 이하의 상세한 설명을 참조하면 본 발명의 특정 실시예에 관한 더욱 양호한 이해를 얻을 수 있다.
도 1은, 본 발명의 일 실시예에 의한 열 이미지 촬영 시스템의 개략적인 블록도이다.
도 2는, 본 발명의 일 실시예에 의한 열 이미지 촬영 시스템 아키텍처의 개략적인 블록도이다.
도 3은, 본 발명의 일 실시예에 의한 열 카메라 프로세서(thermal camera processor)의 개략적인 블록도이다.
도 4a는, 본 발명의 일 실시예에 의한, 소비자 모바일 장치에 연결된 열 이미지 촬영 장치의 사시도이다.
도 4b는, 도 4a에 도시된 열 이미지 촬영 장치와 소비자 모바일 장치가 분리된 상태의 사시도이다.
도 5a는, 본 발명의 일 실시예에 의한 열 이미지 촬영 장치를 전면에서 본 사시도이다.
도 5b는, 본 발명의 일 실시예에 있어서, 무선 네트워크를 사용하는 소비자 모바일 장치에 연결될 수 있는 도 5a에 도시된 열 이미지 촬영 장치를 후면에서 본 사시도이다.
도 6a는, 본 발명의 일 실시예에 의한 카메라 모듈의 분해 사시도이다.
도 6b는, 본 발명의 일 실시예에 의한 열 카메라의 컴포넌트들의 분해 사시도이다.
도 7은, 본 발명의 일 실시예에 의한 열 이미지 촬영 시스템의 동작 방법을 개략적으로 도시한 흐름도이다.
도 8은, 본 발명의 일 실시예가 구현될 수 있는 데이터 처리 시스템의 개략적인 블록도이다.
도 9는, 본 발명의 일 실시예에 의한 다중 카메라 시스템(multi-camera system)의 사시도이다.
도 10은, 본 발명의 일 실시예에 의한 시차(parallax) 감소 방법을 개략적으로 도시한 흐름도이다.
도 1은, 본 발명의 일 실시예에 의한 열 이미지 촬영 시스템의 개략적인 블록도이다.
도 2는, 본 발명의 일 실시예에 의한 열 이미지 촬영 시스템 아키텍처의 개략적인 블록도이다.
도 3은, 본 발명의 일 실시예에 의한 열 카메라 프로세서(thermal camera processor)의 개략적인 블록도이다.
도 4a는, 본 발명의 일 실시예에 의한, 소비자 모바일 장치에 연결된 열 이미지 촬영 장치의 사시도이다.
도 4b는, 도 4a에 도시된 열 이미지 촬영 장치와 소비자 모바일 장치가 분리된 상태의 사시도이다.
도 5a는, 본 발명의 일 실시예에 의한 열 이미지 촬영 장치를 전면에서 본 사시도이다.
도 5b는, 본 발명의 일 실시예에 있어서, 무선 네트워크를 사용하는 소비자 모바일 장치에 연결될 수 있는 도 5a에 도시된 열 이미지 촬영 장치를 후면에서 본 사시도이다.
도 6a는, 본 발명의 일 실시예에 의한 카메라 모듈의 분해 사시도이다.
도 6b는, 본 발명의 일 실시예에 의한 열 카메라의 컴포넌트들의 분해 사시도이다.
도 7은, 본 발명의 일 실시예에 의한 열 이미지 촬영 시스템의 동작 방법을 개략적으로 도시한 흐름도이다.
도 8은, 본 발명의 일 실시예가 구현될 수 있는 데이터 처리 시스템의 개략적인 블록도이다.
도 9는, 본 발명의 일 실시예에 의한 다중 카메라 시스템(multi-camera system)의 사시도이다.
도 10은, 본 발명의 일 실시예에 의한 시차(parallax) 감소 방법을 개략적으로 도시한 흐름도이다.
본 명세서 전반에 걸쳐, 설명의 목적을 위하여 다양한 특정 세부 사항들이 본 발명의 깊이 있는 이해를 위하여 개시되었다. 그러나, 본 발명의 기술 분야에서 통상의 지식을 가진 자라면, 이러한 특정 세부 사항들의 일부를 제외하더라도 본 발명을 실시할 수 있음이 명백하다. 다른 예로서, 개시된 실시예들에 내재하는 원리를 애매하게 하지 않도록 잘 알려진 구조와 장치들이 블록도의 형태로 도시되기도 하였다.
본 명세서에 개시된 시스템 및 방법은, 열 이미지 촬영 카메라를 사용하여 기초적인 서모그래피(thermography) 기능을 제공하고, 소비자 모바일 장치(이하, "소비자 장치"라고도 칭한다.)의 역량(capability)을 활용하여 더욱 향상된 기능을 제공하도록 구성된 확장 가능한 아키텍처를 포함하는 열 이미지 촬영 시스템을 제공한다. 상기 열 이미지 촬영 카메라는, 열 그래픽 데이터(thermographic data)를 캡쳐하기 위한 열 센서(즉, 적외선 탐지기), 열 그래픽 데이터를 처리하기 위하여 상기 열 센서와 연결된 프로세서, 및 상기 열 이미지 촬영 시스템과 연결된 소비자 장치로 상기 열 그래픽 데이터를 전달하기 위한 적어도 하나의 인터페이스를 포함한다. 상기 소비자 장치에 의하여 제공되는 기능에는, 기초적인 카메라 기능, 디스플레이 기능 및 제어 기능 등이 포함될 수 있다. 그러나, 임의의 수의 기능들이 상기 소비자 장치 및/또는 그에서 실행되는 애플리케이션에 의하여 제공될 수 있다. 또한 본 명세서에서 개시된 기술 사상은, 자기 공명 단층 촬영 시스템(MRI), 엑스 레이 촬영 시스템, 초음파 촬영 시스템 등과 같은 비 시각적 영상 촬영 시스템과도 함께 사용될 수 있으므로, 본 명세서에서 설명되는 기술 사상은 단지 열 이미지 촬영 장치에 한정되지 않는다.
확장 가능한 아키텍처(expandable architecture)는 소비자 장치의 하드웨어 및 소프트웨어 역량을 열 이미지 촬영 카메라의 역량과 통합하여, 상기 확장 가능한 아키텍처의 특정 하드웨어 및 소프트웨어 컴포넌트(component)는 상기 열 이미지 촬영 카메라에 의하여 제공되며, 나머지 하드웨어 및 소프트웨어 컴포넌트는 상기 소비자 장치 또는 거기에서 실행되는 애플리케이션에 의하여 제공된다. 상기 확장 가능한 아키텍처는 또한 서로 다른 애플리케이션을 실행시키는 임의의 수의 서로 다른 소비자 장치와 호환되도록 한다. 상기 열 이미지 촬영 카메라는, USB(Universal Serial Bus) 접속, WiFi 네트워크 접속, 블루투스 접속 또는 기타 유선 또는 무선 접속을 통해 상기 소비자 장치와 연결될 수 있다.
본 발명의 다른 실시예에 의하면, 열 이미지 촬영 카메라와 그에 연결된 소비자 장치 사이에서 상기 열 이미지 촬영 시스템의 위임 기능(delegating function)을 포함하는 열 이미지 촬영 시스템에서의 방법이 제공된다. 상기 방법은, 상기 열 이미지 촬영 카메라의 적외선 탐지기를 사용하여 열 그래픽 데이터를 포착하는 단계, 상기 적외선 탐지기와 연결된 프로세서를 사용하여 상기 열 그래픽 데이터를 처리하는 단계, 상기 소비자 장치와 연결 가능한 열 이미지 촬영 시스템의 인터페이스를 거쳐 상기 열 그래픽 데이터를 제공하는 단계를 포함한다. 본 발명의 일부 실시예에 의하면, 상기 인터페이스는 WiFi 또는 USB 인터페이스일 수 있다. 상기 열 그래픽 데이터는 이미지 또는 비디오 데이터일 수 있으며, 열 이미지, 주변 및 장면 온도 데이터를 포함할 수 있다. 상기 열 이미지 촬영 카메라는 영상 또는 비디오 스로틀링(throttling) 기능, 온도 데이터 스로틀링, 흑백 비디오 출력, YCbCr 변환 역량 또는 H.264 인코딩 등을 더 제공하도록 구성될 수 있다.
그 다음에, 열 그래픽 데이터는 상기 소비자 장치에 디스플레이될 수 있다. 본 실시예는, 임의의 수의 소비자 장치와 호환 가능하며, 이들 장치가 제3자에 의하여 개발됨에 따라 활용 가능한 새로운 특성(feature)들을 받아들일 수 있다. 예를 들어, 상기 소비자 장치는, 다양한 기초적인 카메라 기능 등과 함께 시스템 전력 공급, 건전지 기능, USB 및 LED 포트(port) 등과 같은 다양한 시스템 기능을 제공할 수 있다. 본 발명의 일부 실시예에 의하면, USB 코넥터(예를 들면, 마이크로 USB 코넥터)가, 소프트웨어 업데이트, 건전지 충전 등을 수행하는 데에 사용될 수 있다. 예기치 않은 특성들을 포함하는 추가적인 시스템 특성들이, 상기 소비자 장치 상에서 실행되도록 구성된 임의의 수의 애플리케이션의 개발을 통해 추가될 수도 있다. 상기 열 이미지 촬영 시스템에 더 향상된 기능을 제공하는 애플리케이션들이 소비자 장치에 대해 개발될 수도 있다. 예를 들면, 상기 소비자 장치에서 실행되는 애플리케이션은, 디스플레이 및 사용자 인터페이스 기능, 온도 측정 및 연산, 이미지 또는 비디오 캡쳐 및 저장 기능, 온도 측정 및 연산, 원격 억세스 기능, 심볼로지(symbology), 리포트 처리, 데이터 저장 및 백업(예를 들어, 클라우드 컴퓨팅을 통해), PC 인터페이스 기능, 색상표(color palettes), 접속성, 웹 억세스, 이메일, 메시징(messaging), 소셜 미디어 기능 등을 수행하도록 구성될 수도 있다.
도 1은, 본 발명의 일 실시예에 의한 열 이미지 촬영 시스템의 블록도의 일례를 도시한 도면이다. 도시된 실시예에 있어서, 열 이미지 촬영 시스템 100은, 복사 분석 열 모듈(radiometric thermal module) 105와 소비자 모바일 장치 110에 연결된 열 프로세서(thermal processor) 및 전력 공급 유닛 101을 포함한다. 상기 복사 분석 열 모듈 105는, 열 적외선 에너지(예를 들면 열 이미지 또는 비디오)를 캡쳐(capture)하고 상기 복사 분석 열 모듈의 열 센서(thermal sensor)에 그 초점을 맞추는 대물 렌즈 어셈블리(OLA: Objective Lens Assembly)와 연결된 열 센서(즉, 적외선 탐지기)를 포함한다. 본 발명의 일부 실시예에 의하면, 상기 복사 분석 열 모듈 105는, 처리전의 열 데이터(raw thermal data)를 상기 열 프로세서 101로 출력한다. 교정(calibration), 셧다운(shut down) 등을 위한 주기적 비균일 보정(periodic non-uniform correction)을 수행하기 위하여 상기 탐지기를 복사로부터 차단할 수 있도록 상기 복사 분석 열 모듈의 컴포넌트로서 셔터가 제공된다. 상기 복사 분석 열 모듈의 열 센서로부터의 아날로그 신호는 디지털 신호로 변환되어, FPGA 121로 전송된다.
열 프로세서 101은, 상기 복사 분석 열 모듈 105에 다른 기능들 중 전력, 타이밍(timing) 및 셔터 제어 기능을 제공한다. 도 1에 도시된 바와 같이, 상기 열 프로세서 101은, 재충전식 리튬 이온 배터리 팩 103 또는 상기 열 프로세서와 상기 복사 분석 열 모듈을 포함하는 상기 열 시스템에 전력을 제공하는 다른 적합한 전력 공급원을 사용하여 전력을 공급받을 수 있다. 상기 리튬 이온 배터리 팩 103은, 전력 관리 및 건전지 충전 유닛 126으로 또는 으로부터 전력을 제공하거나 제공받으며, 상기 USB 인터페이스 127을 통해 충전될 수 있다.
상기 열 프로세서 101은, 상기 복사 분석 열 모듈 105로부터 데이터(예를 들어, 열 이미지 및 비디오 데이터)를 수신하며, 상기 복사 분석 열 모듈로 전력, 타이밍 정보 및 셔터 제어 정보를 전송하는 FPGA 121을 포함한다. 상기 FPGA 121은, 상기 FPGA로부터의 데이터를 저장하고 필요에 따라 상기 FPGA에 데이터를 제공하는 메모리 122와 연결된다. 상기 열 프로세서 101은 또한, 프로세싱 유닛(processing unit)이라고도 불리며, 열 이미지 및 비디오 처리 기능을 수행하며 메모리 124와 연결된 시스템 온 칩(SoC: System on a Chip)을 더 포함한다. 본 발명의 일부 실시예에 의하면, 상기 FPGA 121과 SoC 123은 하나의 프로세싱 유닛으로 병합되며, 메모리 122와 메모리 124는 하나의 메모리 유닛으로 병합된다. 본 발명의 기술 분야에서 통상의 지식을 가진 자라면, 다양한 변형, 수정 및 대안들을 인식할 수 있을 것이다.
상기 FPGA 121에 의하여 제공되는 기능성으로는, 영상물(imagery)에 대한 비균일 보정(NUC: Non-Uniform Correction), 부실 픽셀 교체(BPR: Bad Pixel Replacement), 장면에 대한 온도 지도(temperature map) 생성, 프레임 통합(frame integration), 시공간적 필터링(spatial and temporal filtering), 해상도 및 프레임 속도 제어, 대비 향상(contrast enhancement)(예를 들어, 적응적 게인 제어(AGC: Adaptive Gain Control)) 등이 포함될 수 있다. 또한, 상기 FPGA는, 룩업 테이블(LUT: lookup table)을 사용한 이미지의 고해상도 온도 지도(full-resolution temperature map)을 생성한다. 상기 FPGA는, 이러한 이미지 처리 기능을 수행하기 위하여, 메모리 122와 상호 작용하거나 자기 자신의 메모리를 제공할 수 있다.
본 발명의 일 실시예에 의하면, 상기 FPGA는 상기 온도 지도 데이터와 함께 이러한 열 비디오 영상물을 상기 시스템 온 칩(SoC) 프로세서로 송신하며, 이는 이 데이터를 WiFi를 거쳐 소비자 모바일 장치로 전송하기 위해 포맷한다. 상기 SoC에 의하여 제공되는 기능성으로는, 통신 인터페이스(예를 들면, WiFi 및/또는 USB), 시스템 통신, 비디오 스로틀링(예를 들면, 30 Hz / 9 Hz), 온도 데이터 스로틀링(예를 들면, 1 Hz로), 흑백 비디오 출력, YCbCr 변환, 비디오 압축(예를 들면, H.264 인코딩) 등이 포함될 수 있다. 또한, 상기 SoC는 USB접속을 사용하여 상기 영상물과 온도 데이터를 상기 모바일 장치로 송신할 수 있다. 상기 SoC는 이러한 기능을 수행하기 위하여 메모리 124와 상호 작용하거나 또는 자신의 고유 메모리를 제공할 수 있다.
통신 기능은 상기 SoC 123 및 무선 통신 인터페이스 125 및/또는 유선 통신 인터페이스 127의 조합에 의하여 제공될 수 있다. 본 발명의 예시적인 실시예에 의하면, 상기 무선 통신 인터페이스 125는 WiFi 인터페이스이며, 상기 유선 통신 인터페이스 127은 USB 인터페이스이지만, 본 발명의 다른 실시예에 의하면 다른 적합한 통신 프로토콜과 인터페이스가 사용될 수 있다. 상기 무선 및 유선 통신 인터페이스는 이하에서 더욱 상세히 설명하는 바와 같이 상기 소비자 모바일 장치 110과의 통신 기능성을 제공한다. 본 발명의 실시예를 구현함에 있어서, 동작중인 기능(operating function)은 상기 열 프로세서 101과 상기 소비자 모바일 장치 110 사이에 분산될 수 있는데, 이 경우 상기 소비자 모바일 장치는 디스플레이 기능, 사용자 인터페이스, 데이터 저장, 다른 시스템과의 접속(이메일, 문자 메시지, 소셜 미디어 등을 포함함), 가시 광선 카메라, 마이크/스피커, 위치 정보 및 지향 정보(orientation information) 등을 제공한다. 다른 기능은 특정 애플리케이션에 적합하도록 제공될 수 있다. 예를 들면, 제어 신호는, 셔터 보정을 수행하거나, 이득 레벨 조정, 미리 정해진 이득의 선택, ADC 설정을 수행하거나, 서로 다른 동적 범위를 선택하는 등을 수행하기 위하여, 상기 소비자 모바일 장치로부터 상기 열적 이미지 촬영 카메라의 열 프로세서에서 수신될 수 있다. 상기 소비자 모바일 장치에 의하여 수행될 수 있는 기능의 예로서, 그래픽 사용자 인터페이스(GUI), 색상표의 제공, 온도 측정, 회색체 온도 연산(gray body temperature calculation), 모바일 장치 접속(예를 들어, 파일 시스템, 이메일, 메시징, 소셜 네트워킹) 등이 포함될 수 있다. 본 발명의 기술 사상에서 통상의 지식을 가진 자라면, 다양한 변형, 수정 및 대안들을 인식할 수 있을 것이다.
그러므로, 도 1에 도시된 바와 같이, 상기 열 프로세서 101과 상기 소비자 모바일 장치 110의 연결에 의하여, 그들 사이에서 열 그래픽 데이터와 사용자 인터페이스(UI) 명령과 제어 기능의 교환이 가능하게 된다. 열 프로세서 101은, 열 이미지(thermal image), 주변 및 장면 온도 데이터, 그리고 심볼로지(symbology)를 포함하는 열 그래픽 데이터(thermographic data)를 상기 소비자 모바일 장치 110에 제공한다. 상기 소비자 모바일 장치 110은 하나 또는 그 이상의 네트워크와 통신하며, 상기한 바와 같이 데이터 저장 및 백업 기능을 제공하도록 구성될 수 있다. 본 발명의 일 실시예에 의하면, 상기 데이터 저장 및 백업 기능은 클라우드 기반일 수 있다.
상기 도 1에 도시된 열 이미지 촬영 시스템은 통상적인 시스템을 사용해서는 활용 가능하지 않은 기능성을 제공하는 확장 가능한 아키텍처를 활용한다. 상기 확장 가능한 아키텍처의 다양한 컴포넌트는 상기 열 이미지 촬영 카메라와 소비자 모바일 장치 또는 그에서 실행되는 애플리케이션 사이에 분산될 수 있다. 따라서, 상기 확장 가능한 아키텍처는 상기 소비자 모바일 장치의 하드웨어 및 소프트웨어의 역량을 상기 열 이미지 촬영 카메라의 역량과 통합한다. 본 발명의 일부 구현례에 있어서, 상기 확장 가능한 아키텍처는, 서로 다른 애플리케이션이 실행될 수 있는 서로 다른 소비자 모바일 장치와 호환 가능한 열 카메라를 제공한다. 본 발명의 실시예에 의하면, 열 카메라의 핵심 열 카메라 기능성 및 상기 소비자 모바일 장치의 사용자 인터페이스, 복사 분석 또는 다른 이미지 처리 기능 등을 제공함으로써, 제3자와 최종 사용자들이 통상의 시스템에서는 할 수 없었던 독립적인 앱(App) 개발을 수행할 수 있게 한다.
도 1에 도시된 바와 같이, 설명된 시스템 아키텍처는, 열 이미지 촬영 시스템의 특정 시스템 기능(예를 들면, 디스플레이, 사용자 인터페이스, 데이터 저장, 네트워크 접속 등)을, 전체의 시스템 기능성으로 통합될 수 있는 다른 기능들(가시광 이미지 촬영, 오디오 입/출력, 위치 및 지향 판정)과 함께 이러한 기능들을 수행하는 데에도 적합한 사용자 소유의 소비자 모바일 장치에 할당한다. 규칙적으로 업데이트되며 향상되고 광범위한 서포트와 인프라스트럭처가 이미 존재하는 이러한 소비자 모바일 장치에 이러한 시스템 기능을 할당함으로써, 상기 열 이미지 촬영 시스템의 전체적인 비용은 감소되며 시스템의 유연성은 크게 향상된다.
본 발명의 특정 실시예에 의하면, 상기 열 이미지 촬영 시스템은, 적외선 비디오 데이터를 수집하기 위하여, 17㎛, 320 x 240의 장파 적외선(LWIR: long-wave infrared) 마이크로볼로미터(microbolometer) 센서를 사용한다. 상기 적외선 데이터는 비압축 비디오 또는 H.264압축 비디오로서 처리되어, 아이폰, 안드로이드 장치와 같은 소비자 모바일 장치 또는 태블릿, 랩탑 컴퓨터 등을 포함하는 다른 적합한 모바일 장치로, WiFi 비디오 전송 인터페이스 또는 유선 인터페이스를 거쳐 전송될 수 있다. 상기 열 이미지 촬영 카메라는 단일 요소 f/15 렌즈를 사용하는 40º 시야각을 갖는 수동 또는 자동 초점 시스템을 사용할 수도 있다. 본 발명의 다른 구현례에 있어서, 센서의 해상도, 탐지기의 파장 민감도, 데이터 프레임 속도, 광학 시스템의 시야각 등은 특정 애플리케이션을 충족시키기 위하여 조정될 수 있다. 본 발명의 실시예에 의하면, 정확한 온도 측정(예를 들면, 10℃ - 35℃의 주변 온도에 대하여 +/-2℃ 또는 +/-2%)과 다수의 사용자 선택 가능한 장면 동적 범위(scene dynamic range)(예를 들면, -20℃ 내지 120℃, 0℃ 내지 650℃ 등)가 제공된다. 카메라 제어, 이미지 캡쳐, 온도 측정, 소셜 미디어 및 기타 적합한 특성을 위하여 모바일 앱(mobile app)이 사용될 수 있다.
도 2는, 본 발명의 일 실시예에 의한 열 이미지 촬영 시스템 아키텍처의 블록도의 일례를 도시한 도면이다. 본 실시예에 의한 기술 사상은, 열 이미지 촬영 카메라와 그에 연결된 소비자의 장치 사이에서 기능성을 공유하도록 적응된 확장 가능한 아키텍처를 포함한다. 도시된 실시예에 의하면, 아키텍처 200은, 열 이미지 촬영 모듈("열 모듈"이라고도 한다.) 201, 인터페이스 및 제어 모듈("인터페이스 모듈"이라고도 한다.) 205 및 소비자 장치("소비자 모바일 장치"라고도 한다.) 210을 포함한다. 소비자 장치 210은 또한 애플리케이션 레이어 209를 더 포함한다. 열 모듈 201은 상호 접속(interconnect) 215를 거쳐 인터페이스 및 제어 모듈 205와 연결되며, 상기 인터페이스 및 제어 모듈 205는 상호 접속 217을 거쳐 소비자 장치 210과 연결된다. 상호 접속 215 및 217은 상기한 바와 같이 유선 또는 무선 접속일 수 있다.
상기 아키텍처의 일부분의 기능은, 상기 열 이미지 촬영 모듈 201, 상기 인터페이스 모듈 205 또는 접속된 소비자 장치 210의 특정 위치에 존재할 수 있다. 본 발명의 일 실시예에 의하면, 도 1에 도시된 바와 같이, 상기 열 이미지 촬영 모듈 201의 기능과 컴포넌트는, 필드 프로그래머블 게이트 어레이(FPGA: Field Programmable Gate Array), 프로그래머블 로직 디바이스(PLD: Programmable Logic Device), 특정 애플리케이션용 집적 회로(ASIC: applications specific integrated circuit), 시스템 온 칩(SoC), 주문형 회로(custom circuitry), 또는 이들의 조합이나 균등물과 같은 집적 회로에 제공된다. 본 발명의 특정 실시예에 의하면, 상기 열 이미지 촬영 모듈 201은, 비균일 보정, 부실 픽셀 교체, 온도 매핑, 프레임 통합, 잡음 필터링 및 자동 이득 제어를 포함하여 수행한다. 그러나, 이러한 기능들의 다수는 상기 소비자 장치 210으로 이전될 수 있으며, 상기 열 이미지 촬영 카메라 자체에 구현되어야만 하는 것은 아니다. 예를 들어, 본 발명의 일부 실시예에 의하면, 프레임 통합, 잡음 필터링 및 자동 이득 제어는 상기 소비자 장치에 구현되거나 또는 거기에서 실행되는 애플리케이션 레이어 209의 애플리케이션을 사용하여 구현될 수 있다.
본 발명의 특정 실시에에 의하면, 인터페이스 모듈 205는, WiFi 인터페이스, USB 인터페이스, 기타 유선 또는 무선 인터페이스, 시스템 통신 기능, 이미지 및 비디오 스로틀링, 온도 데이터 스로틀링, 흑백 비디오 출력, YCbCr 변환 출력 또는 H.264 인코딩 등을 포함할 수 있다. 그러나 이러한 기능들의 다수는 상기 소비자 장치 210 또는 거기에서 실행되는 애플리케이션으로 이전될 수 있으며, 반드시 상기 인터페이스 및 제어 모듈 205 자체에 구현될 필요가 있는 것은 아니다. 본 발명의 일 실시예에 의하면, 상기 열 이미지 촬영 모듈 201의 기능과 컴포넌트는, 필드 프로그래머블 게이트 어레이(FPGA), 프로그래머블 로직 디바이스(PLD), 특정 애플리케이션용 집적 회로(ASIC), 시스템 온 칩(SoC), 주문형 회로, 또는 이들의 조합이나 균등물과 같은 집적 회로에 제공된다. 또한, 본 발명의 특정 실시예에 의하면, 상기 열 이미지 촬영 모듈 201과 인터페이스 모듈 205는 별개의 집적 회로 또는 회로 보드에 위치할 수 있으며, 또는 동일한 칩에 집적될 수도 있다.
본 발명의 특정 실시예에 의하면, 상기 애플리케이션 레이어 209의 기능은, 그래픽 사용자 인터페이스(GUI) 디스플레이 및 사용자 인터페이스 기능, 명령 및 제어 기능, 이미지 또는 비디오 획득 및 저장, 온도 측정, 온도 연산, 원격 억세스, 심볼로지, 리포트 처리, 데이터 저장 및 백업(예를 들어, 클라우드 컴퓨팅을 통해), PC 인터페이스 기능, 색상표, 접속성, 웹 억세스, 이메일, 메시징, 소셜 미디어 기능 등을 포함할 수 있다. 또한, 상기 소비자 장치 210은, 다양한 기초적인 카메라 기능뿐만 아니라, 시스템으로의 전력 공급, 건전지, USB 및 LED 포트 등과 같은 다양한 시스템 기능들을 제공할 수 있다.
도 3은, 본 발명의 일 실시예에 의한 열 카메라 프로세서의 블록도의 일예를 도시한 도면이다. 도시된 실시예에 의하면, 열 카메라 프로세서(thermal camera processor) 300은, 열 처리 및 전력 공급 기능을 포함하는 열 카메라 내에서 수행될 수 있는 다양한 특성들을 포함한다. 본 발명의 다른 실시예에 의하면, 이러한 특성들의 많은 것들은, 상기 열 카메라와 연결된 소비자 장치 또는 거기에서 실행되는 애플리케이션에 의하여 수행될 수 있다. 본 발명의 일 실시예에 의하면, 상기 열 카메라 프로세서 300은, 필드 프로그래머블 게이트 어레이(FPGA), 프로그래머블 로직 디바이스(PLD), 특정 애플리케이션용 집적 회로(ASIC), 시스템 온 칩(SoC), 주문형 회로, 또는 이들의 조합이나 균등물과 같은 집적 회로에 제공된다.
열 카메라 프로세서 300은, 적외선 탐지기 인터페이스 301에서 열 이미지 330을 수신한다. 그리고나서, 이러한 처리전의 열 데이터 330은, 그 처리전의 이미지 데이터 330에 비균일 보정(NCU) 302와 부실 픽셀 교체(BPR) 303을 수행함으로써, 적외선 탐지기 회로 301 내의 픽셀 어레이(pixel array)로부터의 데이터와 연관된 열 이미지의 효용성(utility)와 외양(appearance)을 향상시키도록 처리된다. NUC와 BPR 기능에 관한 추가적인 기술은 2014.3._.자 출원된 미국 특허 출원 제__호(변호사 서류 번호 제92741-018110US-900056호)와 2014.3._.자 출원된 국제 특허 출원 제__호(변호사 서류 번호 제92741-017510PC-901423호)에 개시되어 있으며, 그 내용은 모두 참조에 의하여 본 출원에 편입시키는 것으로 한다.
온도 보상 기능은 온도 보상 유닛 314에 의하여 제공될 수 있으며, 상기 온도 보상 유닛 314는 상기 적외선 탐지기 인터페이스 301로부터 처리전의 열 데이터를 수신한다. 본 발명의 일부 실시예에 의하면, 상기 온도 보상 유닛 314는, 상기 NUC 블록에서 사용되는 탐지기 온도의 기능으로서 각 픽셀에 대한 이득 및 오프셋을 구축하기 위하여 공장 보정 데이터(factory calibration data)를 사용한다. 온도 LUT 317은, 픽셀이 정규화되고 부실 픽셀이 교체된 후에, 장면의 온도 지도로서 사용될 수 있는 흑체(black body) 온도의 집합으로 비디오 수준을 변환하는 룩업 테이블(lookup table)이다. 온도 지도에 관한 추가적인 기술은 2014.3._.자 출원된 국제 특허 출원 제__호(변호사 서류 번호 제92741-016810PC-901518호)에 개시되어 있으며, 그 내용은 모두 참조에 의하여 본 출원에 편입시키는 것으로 한다. 비디오 데이터와 온도 지도 데이터는 모두 SoC로의 출력을 위하여 SoC 인터페이스 309로 제공되고, 이는 비디오와 온도 데이터를 모두 포함하는 수퍼 프레임(super frame)을 생성하며, 그 추가적인 상세는 2014.3._.자 출원된 국제 특허 출원 제__호(변호사 서류 번호 제92741-016810PC-901518호)에 개시되어 있다.
잡음 필터링(즉, 공간 필터링), 프레임 평균화(즉, 시간 필터링), 이미지 선명화, 모서리 향상, 가시성 증대를 위한 대조 제어(contrast control), 속도 제어(rate control) 등을 포함하는 추가적인 처리 304가 열 그래픽 데이터에 대하여 더욱 수행될 수 있다. 도 3에 도시된 바와 같이, 샘플링 블록 321은, 서로 다른 제품 요구, 내보내기 제어 규칙(export control rule) 등을 지원하기 위하여, 예를 들어 320x240의 비디오 스트림을 수신하여 이를 160x120 또는 다른 적합한 해상도로 재샘플링하는 등의 해상도 제어를 수행한다. 이러한 기능들의 다수는 또한 상기 열 카메라 프로세서 300에 연결된 소비자 장치에 의하여 수행될 수 있다.
또한, 제어 및 상태 레지스터(control and status register) 307은, 열 프로세서 300, 그의 메모리(도시되지 않음) 및 SoC 인터페이스 309를 사용하여 인터페이스 기능의 대부분을 제공하는 SoC(도시되지 않음)의 사이에 데이터(읽기 및 쓰기 308)를 통과시키기 위하여 제공된다. 메모리 제어기 305가 또한 외부 메모리와 데이터 백업 및 저장 기능을 수행하기 위하여 필요에 따라 제공될 수 있다. 열 카메라 프로세서 300은 온도 매핑을 수행하기 위하여 온도 룩업 테이블(LUT) 317을 더 포함할 수 있으며, 시스템 기능과 동기화를 위하여 리셋 및 클럭 회로 319를 포함한다. 본 발명의 실시예들은, 상기 열 카메라 프로세서가 열 비디오 데이터에 추가하여 장면 데이터에 대한 온도 지도를 제공할 수 있기 때문에, 다른 시스템에 단지 비디오 데이터만 제공하는 통상의 시스템들과는 다르다. 비디오 데이터와 함께 온도 데이터를 통합함으로써 통상의 기술을 사용해서는 활용할 수 없는 하위 애플리케이션(downstream application)이 활용 가능하게 된다.
열 카메라와 소비자 모바일 장치 사이에 기능성을 분산시킴으로써, 상기 카메라와 모바일 장치는 그들에게 잘 맞는 기능들을 수행할 수 있으며 절감된 비용으로 시스템 성능을 향상시키게 된다. 예를 들면, 상기 열 이미지 촬영 카메라는, 비균일 보정 컴포넌트, 부실 픽셀 교체 컴포넌트, 온도 지도 컴포넌트, 프레임 통합 유닛, 잡음 필터 및/또는 자동 이득 제어 유닛의 하나 또는 그 이상을 포함할 수 있다. 상기 소비자 모바일 장치는, 가시광 카메라 기능, 디스플레이 기능, 제어 기능, 프레임 통합, 잡음 제어 및/또는 자동 이득 제어의 하나 또는 그 이상을 수행할 수 있다. 그러므로, 열 카메라와 소비자 모바일 장치의 통합에 의하여, 기능들과 작업들이 분산되며, 그럼으로써 자산을 효율적으로 활용할 수 있게 된다.
도 4a는, 본 발명의 일 실시예에 의한, 소비자 모바일 장치에 연결된 열 이미지 촬영 장치의 사시도이다. 도 4b는, 도 4a에 도시된 열 이미지 촬영 장치와 소비자 모바일 장치가 분리된 상태의 사시도이다. 도 4a에 도시된 바와 같이, 상기 열 이미지 촬영 시스템은, 소비자 모바일 장치가 미끌어져 들어가며 동작하는 동안 유지되는 케이스 404를 사용하여 소비자 모바일 장치 402와 연결된 열 카메라 401("열 이미지 촬영 카메라"라고도 함.)을 포함한다. 본 실시예에 의하면, 상기 열 카메라와 상기 소비자 모바일 장치는, 예를 들어 케이스 내측의 물리적 연결, 자기적 연결 등을 사용하여 동작하는 동안 두 요소 상호간에 결합(join)이 유지되도록 상호간에 연결된다. 상기 장치들 사이의 연결은, 상기 소비자 모바일 장치의 카메라 제어 기능으로 억세스할 수 있도록 수행된다. 상기 연결의 구성으로 인하여, 동작하는 동안 상기 소비자 모바일 장치의 가시광 카메라 403를 활용할 수 있게 된다.
도 4b를 참조하면, 자기적 인터페이스 440은 상기 열 카메라 401의 뒤쪽 커버(back cover)에 구축된 자석을 포함한다. 상기 소비자 모바일 장치 402가 위치하는 케이스 405에 매칭되는 자석 인터페이스(도시되지 않음)가 제공된다. 이러한 부착 메카니즘으로 인하여, 상기 소비자 모바일 장치가 수평 또는 수직 방향으로 향하게 할 수 있다. 본 발명의 일부 실시예에 의하면, 상기 소비자 모바일 장치는 그 케이스로부터 제거될 수 있으며, 그 케이스는 상기 열 카메라에 부착된채 유지될 수 있다. 도 4a에 도시되지 않았으나, 상기 열 카메라 401과 상기 소비자 모바일 장치 402는, USB 포트 또는 상기 소비자 모바일 장치의 전용 포트(proprietary port)와 같은 하나 또는 그 이상의 포트(port)에 의하여 서로 연결될 수 있다. 본 발명의 기술 분야에서 통상의 지식을 가진 자라면, 다양한 변형, 수정 및 대안들을 인식할 수 있을 것이다.
도 5a는, 본 발명의 일 실시예에 의한 열 이미지 촬영 장치를 전면에서 본 사시도이다. 도 5b는, 본 발명의 일 실시예에 있어서, 무선 네트워크를 사용하는 소비자 모바일 장치에 연결된 도 5a에 도시된 열 이미지 촬영 장치를 후면에서 본 사시도이다. 도 5a에 도시된 바와 같이, 상기 열 카메라 501은 건전지 하우징 511에 인접한 렌즈 510을 포함한다. 본 실시예에 있어서, 상기 열 카메라 501은, 무선 네트워크 507을 사용하여 상기 열 카메라와 상기 소비자 모바일 장치 사이에 통신이 수행될 수 있는 원격 동작 모드로 상기 소비자 모바일 장치 502와 연결될 수 있다. 추가적으로 상기 열 카메라 501은, USB 접속, 오디오 잭 등을 통한 유선 접속을 사용하여 상기 소비자 모바일 장치에 연결될 수 있다. 본 발명의 일부 실시예에 있어서, 상기 유선 접속을 사용한 상기 열 카메라와 상기 소비자 모바일 장치의 접속은, 동작중에 다른 장치와 통신하기 위한 상기 모바일 장치의 WiFi 인터페이스를 자유롭게 한다. 예시적인 무선 네트워크에는, 데이터를 통신하기 위한 WiFi 네트워크, 블루투스 등이 포함될 수 있다. 본 발명의 다른 실시예에 의하면, 원격 동작 모드는, 상기 열 카메라와 소비자 장치가 하나 또는 그 이상의 통신 기능을 위한 유선 접속을 또한 활용하는 모드를 포함하는 하이브리드 동작 모드를 제공하도록 확장될 수 있다.
도 6a는, 본 발명의 일 실시예에 의한 카메라 모듈의 분해 사시도이다. 도 6a의 분해 사시도에 있어서, 예시적인 열 이미지 촬영 시스템 컴포넌트가 도시되었다. 도시된 실시예에 있어서, 열 이미지 촬영 시스템 컴포넌트는, 열 셀 어셈블리(thermal cell assembly) 602와 카메라 모듈 어셈블리(camera module assembly) 603을 포함하는 카메라 모듈 601을 포함한다. 본 발명의 일 실시예에 있어서, 상기 열 셀 어셈블리 602는, 도 2를 참조하여 상기한 모듈 201과 같은 열 이미지 촬영 모듈 집적 회로(thermal imaging module integrated circuit)를 포함한다. 유사하게, 상기 카메라 모듈 어셈블리 603은, 도 1을 참조하여 상기한 FPGA 121 및 SoC 123을 포함하는 인터페이스 및 제어 모듈 205을 포함한다. 그러나, 상기 열 셀 어셈블리 602와 카메라 모듈 어셈블리 603의 기능과 컴포넌트들은 상기 두 모듈들 사이에서 다양한 방법으로 위치될 수 있으며, 상기 두 모듈들은 상호 분리되거나 또는 서로 통합될 수도 있다. 초점 링(focus ring) 605가 열 셀 어셈블리 602의 전면에 도시되어 있다.
도 6b는, 본 발명의 일 실시예에 의한 열 카메라의 컴포넌트들의 분해 사시도이다. 상기 컴포넌트는 뒤쪽 하우징 614를 포함한다. 도 6b에 도시된 실시예에 있어서, 자기적으로 견고한 알루미늄 또는 기타 적합한 물질로 제작될 수 있는 상기 뒤쪽 하우징은 도 4b를 참조하여 상기한 바와 같이 자기적 연결 장치를 포함하지만, 이는 본 발명에 의하여 반드시 요구되는 것은 아니다. 상기 카메라 모듈 601은 상기 뒤쪽 하우징 614에 장착된다. 건전지 613이 앞쪽 하우징 611의 내측에 장착되는데, 상기 앞쪽 하우징은 주물 플라스틱 부재, 알루미늄 부재 또는 기타 적합한 물질로 제작될 수 있다. 안테나 612는, 도 5를 참조하여 상기한 바와 같이, 상기 열 카메라와 상기 소비자 모바일 장치 사이에서 무선 통신을 제공하기 위하여 상기 앞쪽 하우징 611과 통합된다.
도 7은, 본 발명의 일 실시예에 의한 열 이미지 촬영 시스템의 동작 방법을 개략적으로 도시한 흐름도이다. 프로세스 700은 동작 701에서 시작되는데, 여기에서는 상기 열 이미지 촬영 시스템의 기능이 상기 열 카메라와 상기 소비자 장치 사이에 위임된다. 다음으로, 상기 열 이미지 촬영 시스템은, 열 비디오 데이터를 캡쳐하고(동작 702), 그것을 처리하며(동작 703), 상기 처리된 비디오 데이터를 상기 소비자 장치로 제공한다(동작 704). 이로써 본 발명의 일 실시예에 의한 프로세스 700이 완료된다.
본 발명의 일 실시예에 의하면, 상기 방법은, 상기 열 이미지 촬영 카메라에서 상기 소비자 모바일 장치로부터의 제어 신호를 포함한다. 본 발명의 다른 실시예에 의하면, 상기 방법은, 상기 열 이미지 촬영 카메라를 사용하는 확장 가능한 아키텍처의 특정 구성요소를 제공하는 단계와, 상기 소비자 장치 또는 거기에서 실행되는 애플리케이션을 사용하는 확장 가능한 아키텍처의 나머지 컴포넌트를 제공하는 단계를 더 포함한다. 추가적으로, 상기 방법은, 상기 열 이미지 촬영 카메라의 역량을 소비자 장치의 하드웨어 및 소프트웨어 역량을 통합하는 단계를 포함할 수 있다. 상기 확장 가능한 아키텍처는, 소비자 장치에서 실행되는 서로 다른 애플리케이션을 포함하는 서로 다른 소비자 장치와 호환 가능하다. 예를 들어, 상기 열 비디오 데이터를 처리하는 단계는, 비균일 보정을 수행하는 단계, 부실 픽셀 교체를 수행하는 단계 또는 상기 열 비디오 데이터와 연관된 온도 지도를 생성하는 단계의 적어도 하나를 포함할 수 있다. 추가적으로, 상기 열 비디오 데이터를 처리하는 단계는, 프레임 통합, 잡음 필터링 또는 자동 이득 제어를 수행하는 단계의 적어도 하나를 포함할 수 있다. 본 발명의 일 실시예에 의하면, 상기 열 이미지 촬영 카메라와 상기 소비자 모바일 장치는 무선 접속을 통해 연결된다.
도 7에 되시된 특정 단계들은 본 발명의 일 실시예에 의하여 열 이미지 촬영 시스템을 동작시키는 특정한 방법을 제공한다는 점을 이해하여야 한다. 본 발명의 대안적 실시예에 의하면 단계들의 다른 시퀀스(sequence)도 또한 수행될 수 있다. 예를 들면, 본 발명의 대안적 실시예에 의하면, 상기한 단계들을 다른 순서로 수행할 수 있다. 게다가, 도 7에 도시된 각 단계들은, 그 단계에 적합한 다양한 시퀀스로 수행될 수 있는 복수의 하위 단계(sub-step)들을 포함할 수 있다. 나아가, 특정 애플리케이션에 따라 추가적인 단계들이 추가되거나 또는 제거될 수 있다. 본 발명의 기술 분야에서 통상의 지식을 가진 자라면 다양한 변형, 수정 및 대안들을 인식할 것이다.
이하에서는, 상기한 시스템 및 방법에 사용될 수 있는 일부 장치들(및 그 장치들의 컴포넌트들)에 관하여 설명한다. 이러한 장치들은, 예를 들면 상기한 기능성의 임의의 것과 관련된 데이터를 수신, 전송, 처리 및/또는 저장하는데 사용될 수 있다. 본 발명의 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있듯이, 이하에서 기술되는 장치들은 이하게 기술된 컴포넌트의 단지 일부만을 구비하거나 또는 추가적인 컴포넌트들을 구비할 수 있다.
도 8은, 본 발명의 일 실시예가 구현될 수 있는 데이터 처리 시스템의 블록도의 일예를 도시한 도면이다. 본 발명의 실시예들은, 휴대용 장치, 마이크로프로세서 시스템, 마이크로프로세서 기반 또는 프로그램 가능 사용자 전자장치, 미니 컴퓨터, 메인 프레임 컴퓨터 등과 같은 다양한 컴퓨터 시스템 구성과 함께 실시될 수 있다. 본 발명의 실시예들은 또한, 유선 기반 또는 무선 네트워크를 통해 연결된 원격 처리 장치에 의하여 작업들이 수행되는 분산형 컴퓨팅 환경에서도 실시될 수 있다. 도 8은, 본 실시예와 함께 사용될 수 있는 데이터 처리 시스템 800과 같은 데이터 처리 시스템의 일예를 도시한 도면이다. 도 8은 데이터 처리 시스템의 다양한 컴포넌트를 도시하고 있으나, 그 상세는 여기에서 기술된 기술 사상에 직접적인 관계가 있는 것이 아니기 때문에, 상기 도면이 특정 아키텍처 또는 컴포넌트들을 상호 접속시키는 특정 방식을 대표한다는 것을 의미하는 것은 아니다. 또한, 더 적은 컴포넌트 또는 더 많은 컴포넌트를 포함하는 네트워크 컴퓨터 및 기타 데이터 처리 시스템들도 또한 사용될 수 있다는 점을 이해하여야 한다. 도 8의 상기 데이터 처리 시스템은, 예를 들면 개인용 컴퓨터(PC), 워크스테이션, 태블릿, 스마트폰 또는 기타 휴대용 무선 장치 또는 그에 유사한 기능성을 갖는 임의의 장치일 수 있다.
도시된 바와 같이, 상기 데이터 처리 시스템 801은, 마이크로프로세서 803, 롬(ROM) 807, 휘발성 램(RAM) 805 및 기타 비휘발성 메모리 806에 연결된 시스템 버스 802를 포함한다. 도시된 실시예에 의하면, 마이크로프로세서 803은 캐시 메모리 804에 연결된다. 시스템 버스 802는 이러한 다양한 컴포넌트들과 함께 상호 접속되며, 또한 구성요소 803, 807, 805 및 806을 디스플레이 제어기 및 디스플레이 장치 808로, 그리고 입출력 장치("I/O") 810과 같은 주변 장치로 상호 접속시킨다. I/O 장치의 타입으로는, 키보드, 모뎀, 네트워크 인터페이스, 프린터, 스캐너, 비디오 카메라 기타 본 발명의 기술 사상에서 이미 알려진 장치들이 포함될 수 있다. 전형적으로, I/O 장치 810은 I/O 제어기 809를 거쳐 시스템 버스 802로 연결된다. 본 발명의 일 실시예에 의하면, 상기 I/O 제어기 809는 USB 주변 장치를 제어하기 위한 USB 어뎁터 또는 다른 타입의 버스 어뎁터(bus adapter)를 포함한다.
램 805는, 그 메모리 내의 데이터를 리프레시(refresh)하거나 유지하기 위하여 지속적으로 전원을 필요로 하는 다이나믹 램(DRAM)으로서 구현될 수 있다. 다른 비휘발성 메모리 806은, 자기적 하드 드라이브, 자기적 광학 드라이브, 광학적 드라이브, DVD RAM 또는 기타 전원이 시스템으로부터 제거된 후에도 데이터를 유지하는 다른 형식의 메모리 시스템일 수 있다. 도 8에서는 상기 비휘발성 메모리 806이 로컬 장치(local device)로서 상기 데이터 처리 시스템의 나머지 컴포넌트들과 연결되어 있는 것으로 도시되었으나, 본 발명의 기술 분야에서 통상의 지식을 가진 자라면, 상기한 기술 사상은, 모뎀 또는 이더넷 인터페이스(도시되지 않음)와 같은 네트워크 인터페이스를 통해 데이터 처리 시스템에 연결된 네트워크 저장 장치와 같이, 상기 시스템으로부터 원격지의 비휘발성 메모리를 사용할 수도 있음을 인식할 것이다.
이러한 실시예들을 염두에 두면, 본 상세한 설명으로부터 본 기술 사상의 국면들이 적어도 일부는 소프트웨어, 하드웨어, 펌웨어 또는 그들의 임의의 조합으로서 구현될 수 있음이 명백하다. 본 발명의 실시예들은 데이터 처리 시스템에 저장된 데이터와 관련된 다양한 컴퓨터로 구현되는 기능들을 채용할 수 있음을 또한 이해하여야 한다. 즉, 본 기술 사상은 메모리에 저장된 명령의 시퀀스들을 실행함에 응답하여 컴퓨터 또는 다른 데이터 처리 시스템에서 실현될 수도 있다. 다양한 실시예에 있어서, 이러한 기술 사상들을 구현하기 위하여 유선 접속된 회로들이 독립적으로 또는 소프트웨어 명령들과 조합으로 사용될 수도 있다. 예를 들어, 상기한 기능성들은, 동작의 수행을 위해 유선 접속된 로직(logic)을 포함하는 특정 하드웨어 컴포넌트에 의하여, 또는 주문형 하드웨어 컴포넌트와 프로그램된 컴퓨터 컴포넌트의 조합에 의하여 수행될 수 있다. 여기에서 기술된 기술 사상은 어떠한 특정한 하드웨어 회로 및 소프트웨어의 조합에도 한정되지 않는다.
여기의 실시예들은 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 코드의 형식일 수도 있다. 컴퓨터로 판독 가능한 매체는 컴퓨터 명령을 저장할 수도 있는데, 이는, 데이터 처리 시스템 800과 같은 컴퓨터 또는 다른 데이터 처리 시스템에 의하여 실행될 때, 시스템으로 하여금 여기에서 기술된 기술 사상에 따라 동작을 수행하도록 적응되어 있다. 컴퓨터로 판독 가능한 매체는, 컴퓨터, 네트워크 장치, 태블릿, 스마트폰 또는 그와 유사한 기능성을 갖는 임의의 장치와 같은 데이터 처리 장치에 의하여 억세스 가능한 형식의 정보를 저장하는 임의의 메커니즘을 포함할 수 있다. 컴퓨터로 판독 가능한 매체의 예로는, 하드 드라이브, 플로피 디스크, DVD, CD-ROM, 자기적 광학 디스크, 롬, 램, EPROM, EEPROM, 플래시 메모리 및 그들의 균등물, 자기적 또는 광학적 카드, 또는 전자적 데이터를 저장하기에 적합한 임의의 형식의 매체와 같은 것으로서, 거기에 정보를 저장할 수 있는 임의의 형식의 유형적 제조물을 포함한다. 컴퓨터로 판독 가능한 매체는 또한 네트워크로 연결된 컴퓨터 시스템 상에서 분산될 수도 있는데, 이는 분산된 방식으로 저장되거나 실행될 수 있다.
본 발명의 다른 실시예에 의하면, 다중 센서 광학 시스템(multi-sensor optical system)을 위한 방법 및 장치가 제공된다. 예시의 방법에 의하여, 이러한 기술 사상은 "시차(parallax)"라 불리는 이중 센서 광학 시스템에서의 정렬 오류를 완화시키기 위하여 적용되어 왔으나, 이러한 기술 사상은 다중 광학 센서를 포함하는 시스템을 포함하는 다양한 광학적 시스템에 적용될 수 있다.
본 발명의 특정 실시예에 의하면, 초점을 조정하기 위한 초점 메커니즘을 구비한 제1 광학적 센서와, 상기 제1 광학적 센서의 초점 메커니즘의 내측에 장착된 제2 광학적 센서를 포함하는 다중 센서 카메라 시스템이 제공된다. 이러한 구성은, 상기 광학적 센서들의 광축(optical axes) 사이의 물리적 분리와, 상기 제1 광학적 센서 및 제2 광학적 센서 사이의 최종적 시차 에러(resulting parallax error)를 감소시킨다. 상기 제1 및 제2 광학적 센서들은, 상기 두개의 광학적 센서들의 광축 사이의 반경 방향 거리가 상기 초점 메커니즘에 의하여 제한되지 않도록 배치될 수 있다. 나아가, 상기 제1 광학적 센서의 초점 메커니즘은 상기 제2 광학적 센서의 초점에 무시할 수 있을 정도의 영향만을 미친다.
본 발명의 또 다른 실시예에 의하면, 다중 센서 카메라 시스템의 시차 에러를 감소시키는 방법이 제공된다. 임의의 조합의 광학적 센서 형식이 사용될 수 있다. 예를 들어, 제1 광학적 센서는 적외선 스펙트럼의 이미지를 캡쳐할 수 있도록 적응된 열 센서일 수 있고, 제2 광학적 센서는 가시광 스펙트럼의 이미지를 캡쳐할 수 있도록 적응된 가시광 센서일 수 있다. 상기 제2 광학적 센서는 고정 초점 광학적 센서이거나 또는 독립적 초점 메커니즘을 포함할 수 있다. 다른 형식의 이미지 촬영 시스템도 또한 사용될 수 있으며, 본 발명의 범위에 포함된다.
본 발명의 실시예들은, 촬영될 객체까지의 거리가 변화할때 정렬을 수동으로 재조정하는 부담스러운 일 없이 또한 자동 시차 조정 메커니즘의 필요 없이 제1 및 제2 광학적 센서들의 영상물 사이의 정렬 에러를 감소시키거나 제거한다.
도 9는, 본 발명의 일 실시예에 의한 다중 카메라 시스템(multi-camera system)의 사시도이다. 도 9에 도시된 바와 같이, 광학적 센서 시스템 901은 두 개 또는 그 이상의 이미지 센서(예를 들면, 열 광학적 센서와 칼러 가시광 센서)를 포함한다. 이미지 센서는 광학적 이미지를 전자적 신호로 변환하는 장치이다. 별도의 카메라들로부터의 두 개 또는 그 이상의 이미지 센서들이 서로 다른 관점으로부터 장면을 조망할 때, 상기 두 개의 카메라들 사이에 "시차(parallax)"라 불리는 정렬 에러가 발생한다. 이러한 정렬 에러는 카메라로부터 장면내의 객체까지의 거리의 함수이며, 일반적으로 장면내의 객체가 매우 가까울 때 가장 커진다. 시차 에러는 서로 다른 관점에서의 카메라들로부터의 비디오 또는 이미지 사이의 오정렬을 야기한다. 이러한 오정렬은, 두 카메라들의 관점으로부터 관찰된 영상물이 (예들 들어 하나의 그래픽 사용자 인터페이스에서) 동시에 디스플레이될 때 문제를 야기한다. 동시 디스플레이 방법은 이미 알려져 있으며, 예를 들어 영상 내 영상(PIP: picture-in-picture), 또는 이미지나 비디오 합성과 같은 오버레이(overlay) 방법 등을 포함한다. 다중 센서 이미지/비디오의 합성은 두 개 또는 그 이상의 이미지로부터 하나의 이미지로의 정보 통합 프로세스이다. 결과 이미지는 어느 것이든 입력 이미지 단일인 경우보다 더욱 많은 정보를 제공할 수 있다. 이미지 합성을 수행하는 방법은 존재한다.
이미지들 사이의 상대적인 정렬은 수동으로 조정될 수 있으나, 이것은 부담스러운 작업이며, 객체의 거리에 따라 정렬이 변화하므로, 객체의 거리가 변화할 때마다 매번 재정렬해주어야만 한다. 추가적으로, 일부 통상적인 시스템들은, 각 카메라가 초점을 맞춘 거리에 관한 판정에 기초하여 자동으로 이미지들 사이의 상대적 정렬을 조정하는 방법을 고안했다. 그러나, 이러한 방법들은 꽤 복잡하고 비싸다. 다른 수동 초점 시스템들은 카메라가 초점을 맞추는 객체 거리를 전형적으로 판정한다. 이러한 시스템들은 초점 위치 센서와 각 카메라 시스템의 공장 보정(factory calibration)을 필요로 한다.
여기에서 기술된 기술 사상은, 다른 카메라들중 하나의 초점 메커니즘 내에, 다중 카메라 시스템의 하나 또는 그 이상의 카메라를 장착하는 방법을 포함한다. 이러한 설계는 그렇게 구성된 카메라들 사이의 시차 에러를 감소시키거나 최소화하며, 이미지들이 잘 정렬되는 객체의 거리 범위를 증가시키거나 최대화한다. 제1 카메라(예를 들어, 적외선 카메라)의 초점 링(focus ring) 내에 제2 카메라(예를 들어 가시광 카메라)를 장착함으로써, 매우 작은 시차 에러를 달성할 수 있게 하며, 그리하여 다중 카메라의 영상물들 사이에서 정렬 에러를 감소시킨다. 본 발명의 일 실시예에 의하면 초점 메커니즘은 초점 링이다.
도 9에 도시된 바와 같이, 제1 카메라 902는 열 스펙트럼(즉, 적외선 대역)의 이미지를 캡쳐하도록 적응된 열 카메라일 수 있으며, 제2 카메라 907은 가시광 스펙트럼의 이미지를 캡쳐하도록 적응된 가시광 카메라일 수 있다. 그러나, 여기에서 기술된 기술 사상은 어떠한 특정 형식의 카메라나 또는 어떠한 전자기 스펙트럼의 일부분에도 한정되지 않는다. 예를 들어, 이러한 기술 사상은, 자기 공명 영상(MRI) 시스템, x-레이 시스템, 초음파 영상 시스템, 입체 영상 등을 포함하는 다른 이미지 촬영 장치나 시스템과 함께 사용될 수 있다.
사진 촬영 렌즈의 광학적 특성으로 인하여, 카메라로부터 한정된 범위의 거리 이내의 객체들만이 명확하게 재생될 것이다. 이 범위를 조정하는 프로세스는 카메라의 초점을 변경하는 단계로 알려져 있다. 카메라의 초점을 정확히 맞추는 수많은 방법이 존재한다. 가장 단순한 카메라는 고정 초점을 가지며, 가까운 범위로부터 무한대까지 렌즈로부터의 특정 범위의 거리 이내의 모든 것들에 합리적인 초점이 맞도록 보장하도록 작은 개구(aperture)와 광각 렌즈로 구성될 수 있다. 일회용 카메라와 같은 고정 초점 카메라는 보통 비싸지 않다. 카메라들은 또한 카메라 본체에 표시된 한정된 초점 범위 또는 스케일 초점(scale focus)을 가질 수 있다. 다른 형식의 카메라는, 카메라 상단의 연결된 시차 유닛에 의하여 장면의 객체까지의 거리를 측정하도록 적응되어 정확히 초점을 맞출 수 있도록 하는 거리계 카메라를 포함한다. 대부분의 현대적 카메라는 다양한 방법으로 카메라의 초점을 맞추는 자동 초점 시스템을 제공한다.
도 9에 도시된 실시예에 있어서, 다중 센서 카메라 시스템 901은, 초점 메커니즘 903과 렌즈를 포함하는 제1 광학적 센서를 구비한 제1 카메라 902를 포함한다. 개념적으로, 상기 제1 광학적 센서의 초점 메커니즘 903은, 일정 거리 떨어져 있는 객체로부터의 빛을 조망하고 캡쳐할 수 있는 다양한 방향 905을 포함하는 조망 원뿔(viewing cone)을 구비한다. 도시된 바와 같이, 가능한 다양한 각도의 입사 빛 중에서 단지 세 가지만이 도시되었다. 다중 센서 카메라 시스템 901은, 렌즈를 포함하는 제2 광학적 센서를 구비한 제2 카메라 907을 더 포함한다(초점 메카니즘은 포함되거나 포함되지 않을 수 있다. 즉, 상기 제2 카메라는 고정 초점 카메라일 수도 있다.). 상기 렌즈는 또한 일정 거리 떨어져 있는 객체로부터의 빛을 조망하고 캡쳐할 수 있는 다양한 방향(도시되지 않음)을 포함하는 조망 원뿔 108을 구비한다. 도 9에 도시된 바와 같이, 상기 다중 센서 카메라 시스템 901은, 상기 제2 카메라가 상기 시스템의 상기 제1 카메라의 초점 메커니즘 903 내에 장착되도록 구성될 수 있다.
만약 상기 제2 카메라가 초점 메커니즘의 회전으로 인해 축 방향으로 이동한다면, 상기 제2 카메라의 객체 초점에 대한 무시할 수 있을 정도의 영향을 갖도록 변위가 충분히 작기 때문에, 초점 메커니즘 903의 회전은 제2 카메라의 초점에 거의 영향을 미치지 않도록 하는 것이 바람직하다. 그러므로, 본 발명의 실시예들은, 특정 애플리케이션에 적합하도록, 상기 초점 메커니즘의 회전에 수반하는 제2 카메라의 축방향 움직임을 포함하거나 포함하지 않는다.
본 발명의 실시예들은, 전형적인 조망 거리에 대하여, 시차 보정이 필요하지 않을 수준으로 시차 에러를 감소시키는 카메라의 기하 배치(geometry)를 활용한다. 그러므로, 통상의 설계에서 사용되는 위치 센서는 필요하지 않다.
도 10은, 본 발명의 일 실시예에 의한 시차(parallax) 감소 방법을 개략적으로 도시한 흐름도이다. 다중 센서 카메라 시스템에서 시차 정렬 에러를 감소시키는 방법에 관한 도시된 실시예에 의하면, 프로세스 1000은, 초점 메커니즘을 포함하는 제1 카메라가 다중 센서 카메라 시스템에 제공되는 동작 1001에서 시작된다. 프로세스 1000은, 제2 카메라가 상기 다중 센서 카메라 시스템에 제공되며 상기 제1 카메라와 연결되는 동작 1002에서 계속된다. 상기 제2 카메라는 상기 제1 카메라의 초점 메커니즘 내측에 장착된다. 이 구성은, "시차"라 불리는, 제1 및 제2 광학적 센서들 사이의 정렬 에러를 감소시키거나 최소화한다. 상기 방법은, 예를 들어 상기 초점 메커니즘의 초점 길이를 판정하는 센서를 사용함으로써 소망의 객체 조망 거리를 판정하는 단계(1003), 및 상기 소망의 객체 조망 거리 및 상기 두 개의 카메라들의 광축간 거리에 기초하여 상기 소망의 객체 조망 거리에서의 정렬 에러를 보정하는 단계(1004)를 포함한다. 본 발명의 일부 실시예에 의하면, 상기 두 개의 카메라들 사이의 측면 오프셋(lateral offset)과 연관된 미세한 시차 에러는, 최적화 거리를 선택하고 이어서 시차 보정을 수행하기 위하여 하나 또는 두 개의 이미지를 오프셋시키는 소프트웨어를 사용함으로써 보상될 수 있다. 본 발명의 다른 실시예는 상기 초점 메커니즘의 초점 위치를 측정하고, 이 거리에 기초하여 시차 감소를 실시간으로 제공한다. 이상에 의하여 도시된 실시예에 의한 프로세스 1000이 완료된다.
도 10에 도시된 특정 단계들은 본 발명의 일 실시예에 의한 특정의 시차 에러 감소 방법을 제공하는 것임을 이해하여야 한다. 본 발명의 대안적 실시예에 의하면 상기 단계들의 다른 시퀀스(sequence)도 또한 수행될 수 있다. 예를 들면, 본 발명의 대안적 실시예에 의하면, 상기한 단계들을 다른 순서로 수행할 수 있다. 게다가, 도 10에 도시된 각 단계들은, 그 단계에 적합한 다양한 시퀀스로 수행될 수 있는 복수의 하위 단계(sub-step)들을 포함할 수 있다. 나아가, 특정 애플리케이션에 따라 추가적인 단계들이 추가되거나 또는 제거될 수 있다. 본 발명의 기술 분야에서 통상의 지식을 가진 자라면 다양한 변형, 수정 및 대안들을 인식할 것이다.
본 발명의 일 실시예에 의하면, 다중 센서 카메라 시스템이 제공된다. 상기 다중 센서 카메라 시스템은, 초점 메커니즘을 포함하는 제1 카메라("제1 광학적 센서"라고도 부른다.)를 포함한다. 상기 제1 카메라는 적외선 대역의 이미지를 캡쳐하도록 적응된 열 센서를 포함할 수 있다. 상기 제1 카메라의 초점은 상기 초점 메커니즘을 사용하여 조정된다. 상기 다중 센서 카메라 시스템은 또한 상기 제1 광학적 센서의 초점 메커니즘 내측에 장착된 제2 카메라(제2 광학적 센서를 포함함)를 더 포함한다. 상기 제2 광학적 센서는, 가시광 스펙트럼의 이미지를 캡쳐하도록 적응된 가시광 센서를 포함할 수 있으며, 고정 초점 광학적 센서를 사용할 수 있다. 상기 제2 카메라도 또한 독립적인 초점 메커니즘(예를 들면 자동 초점)을 사용할 수 있다. 상기 제1 및 제2 광학적 센서들의 광축들 사이의 반경 방향 거리는 초점 메커니즘에 의하여 한정되지 않는다. 상기 제1 카메라의 초점 메커니즘 내측에 상기 제2 카메라를 장착함으로써, 상기 제1 및 제2 카메라들 사이의 시차 에러를 감소시킬 수 있다.
본 발명의 특정 실시예에 의하면, 촬영될 객체까지의 거리가 변화할 때, 수동으로 정렬을 재조정하는 일 없이, 상기 제1 및 제2 카메라들의 영상물 사이의 정렬 에러가 최소화되거나 감소된다. 본 발명의 다른 실시예에 의하면, 자동 시차 조정 없이, 상기 제1 및 제2 카메라들의 영상물 사이의 정렬 에러가 최소화되거나 감소된다. 본 발명의 일부 실시예들에 의하면, 상기 제1 카메라는 상기 제2 카메라의 초점에 무시할 수 있을 정도만의 영향을 미친다. 본 발명의 기술 분야에서 통상의 지식을 가진 자라면, 다양한 변형, 수정 및 대안들을 인식할 것이다.
본 발명의 다른 실시예에 의하면, 다중 센서 카메라 시스템의 시차 에러를 감소시키는 방법이 제공된다. 본 방법은 초점 메커니즘을 포함하는 제1 광학적 센서를 제공하는 단계를 포함한다. 상기 제1 광학적 센서의 초점은 초점 메커니즘을 사용하여 조정된다. 상기 방법은 또한 상기 제1 광학적 센서의 초점 메커니즘 내측에 장착된 제2 광학적 센서를 제공하는 단계를 더 포함한다. 이러한 장착 기술은 상기 제1 광학적 센서 및 제2 광학적 센서 사이의 시차 에러를 감소시킨다. 상기 제1 및 제2 광학적 센서의 광축들 사이의 반경 방향 거리는 초점 메커니즘에 의하여 한정되지 않는다.
본 발명의 일 실시예에 의하면, 상기 제1 광학적 센서는 열 스펙트럼의 이미지를 캡쳐할 수 있도록 적응된 열 센서일 수 있으며, 상기 제2 광학적 센서는 가시광 스펙트럼의 이미지를 캡쳐할 수 있도록 적응된 가시광 센서일 수 있다. 본 발명의 일부 실시예에 의하면, 촬영될 객체까지의 거리가 변화할 때, 수동으로 정렬을 재조정하는 일 없이, 상기 제1 및 제2 광학적 센서들의 영상물 사이의 정렬 에러가 최소화되거나 감소된다. 본 발명의 다른 실시예에 의하면, 자동 시차 조정 없이, 상기 제1 및 제2 광학적 센서들의 영상물 사이의 정렬 에러가 최소화되거나 감소된다. 본 발명의 일부 실시예들은 남아 있는 임의의 정렬 에러를 감소시기키 위하여 초점을 수동으로 재조정하는 단계를 포함한다. 상기 제2 광학적 센서는 고정 초점 광학적 센서 또는 독립적 초점 메커니즘을 활용할 수 있다. 상기 제1 광학적 센서의 초점을 맞추는 단계는 상기 제2 광학적 센서의 초점에 무시할 수 있을 정도의 영향만을 미친다.
본 발명의 다른 특정 실시예에 의하면, 초점 메커니즘을 포함하는 제1 카메라와 상기 제1 카메라의 초점 메커니즘 내측에 장착된 제2 카메라를 포함하는 다중 카메라 시스템이 제공된다. 상기 제1 카메라의 조망 원뿔은 상기 초점 메커니즘을 사용하여 조정된다. 상기 제2 카메라를 상기 제1 카메라의 초점 메커니즘 내측에 위치시킴으로써, 상기 제1 및 제2 카메라들 사이의 시차 에러를 감소시킬 수 있으며, 상기 제1 및 제2 카메라들의 광축들 사이의 반경 방향 거리는 상기 제1 카메라의 초점 메커니즘에 의하여 한정되지 않는다.
상기한 설명 전체에 걸쳐, 본 발명에 관한 철저한 이해를 제공하기 위하여, 설명의 목적으로 다양한 특정 세부 사항들이 개시되었다. 그러나, 본 발명의 기술 분야에서 통상의 지식을 가진 자라면, 이러한 실시예들이 상기한 특정 세부 사항들의 일부 없이도 실시될 수 있음을 명백히 이해할 것이다. 따라서, 본 발명의 범위와 사상은 이하의 특허청구범위 및 그 균등물에 의하여 판단되어야 한다.
Claims (22)
- 열 이미지 촬영 카메라(thermal imaging camera)에 있어서,
열 비디오 데이터(thermal video data)를 캡쳐(capture)하도록 동작 가능한 적외선 탐지기;
상기 적외선 탐지기와 연결되며, 상기 열 비디오 데이터를 처리하도록 동작 가능한 프로세서; 및
상기 처리된 열 비디오 데이터를, 연결된 소비자 모바일 장치와 통신할 수 있도록 동작 가능한 적어도 하나의 통신 인터페이스
를 포함하는 열 이미지 촬영 카메라.
- 제 1 항에 있어서,
비균일 보정(non-uniformity correction) 컴포넌트(component);
부실 픽셀 대체 컴포넌트; 및
온도 지도(temperature map) 컴포넌트
를 더 포함하는 열 이미지 촬영 카메라.
- 제 1 항에 있어서,
프레임 통합(frame integration) 유닛;
잡음 필터; 및
자동 이득 제어 유닛
을 더 포함하는 열 이미지 촬영 카메라.
- 제 1 항에 있어서,
상기 적어도 하나의 통신 인터페이스는 무선 인터페이스
를 포함하는 열 이미지 촬영 카메라.
- 제 1 항에 있어서,
상기 열 이미지 촬영 카메라는 WiFi 무선 네트워크를 통해 상기 소비자 장치와 연결된
열 이미지 촬영 카메라.
- 제 1 항에 있어서,
상기 적어도 하나의 통신 인터페이스는 유선 인터페이스
를 포함하는 열 이미지 촬영 카메라.
- 제 6 항에 있어서,
상기 유선 인터페이스는 USB 접속
을 포함하는 열 이미지 촬영 카메라.
- 열 이미지 촬영 카메라를 동작시키는 방법에 있어서,
상기 열 이미지 촬영 카메라의 적외선 탐지기를 사용하여 열 비디오 데이터를 캡쳐하는 단계;
상기 적외선 탐지기에 연결된 프로세서를 이용하여 상기 열 비디오 데이터를 처리하는 단계; 및
소비자 모바일 장치에서 디스플레이되도록 상기 처리된 열 데이터를 열 이미지 촬영 시스템의 인터페이스를 통해 상기 소비자 모바일 장치에 제공하는 단계
를 포함하는 열 이미지 촬영 카메라의 동작 방법.
- 제 8 항에 있어서,
상기 열 이미지 촬영 카메라에서 상기 소비자 모바일 장치로부터의 제어 신호를 수신하는 단계
를 더 포함하는 열 이미지 촬영 카메라의 동작 방법.
- 제 9 항에 있어서,
상기 열 이미지 촬영 카메라를 이용하여 확장 가능한 아키텍처의 특정 컴포넌트를 제공하는 단계; 및
상기 소비자 장치 또는 거기에서 실행되는 애플리케이션을 이용하여 상기 확장 가능한 아키텍처의 나머지 컴포넌트를 제공하는 단계
를 더 포함하는 열 이미지 촬영 카메라의 동작 방법.
- 제 8 항에 있어서,
상기 소비자 장치의 하드웨어 및 소프트웨어 역량을 상기 열 이미지 촬영 카메라의 역량과 통합하는 단계
를 더 포함하는 열 이미지 촬영 카메라의 동작 방법.
- 제 8 항에 있어서,
상기 확장 가능한 아키텍처는 서로 다른 애플리케이션이 실행되는 서로 다른 소비자 장치와 호환 가능한 열 이미지 촬영 카메라의 동작 방법.
- 제 8 항에 있어서,
상기 열 비디오 데이터를 처리하는 단계는,
비균일 보정, 부실 픽셀 교체 또는 상기 열 비디오 데이터와 연관된 온도 지도 생성 중 적어도 하나를 수행하는 단계
를 포함하는 열 이미지 촬영 카메라의 동작 방법.
- 제 8 항에 있어서,
상기 열 비디오 데이터를 처리하는 단계는,
프레임 통합, 잡음 필터링 또는 자동 이득 제어 중 적어도 하나를 수행하는 단계
를 포함하는 열 이미지 촬영 카메라의 동작 방법.
- 제 8 항에 있어서,
상기 열 이미지 촬영 카메라와 상기 소비자 모바일 장치는 무선 접속을 통해 연결되는
열 이미지 촬영 카메라의 동작 방법.
- 제 8 항에 있어서,
상기 열 이미지 촬영 카메라와 상기 소비자 모바일 장치는 유선 접속을 통해 연결되는
열 이미지 촬영 카메라의 동작 방법.
- 열 이미지 촬영 시스템에 있어서,
열 이미지 촬영 카메라로서,
열 그래픽 데이터를 캡쳐(capture)하도록 동작 가능한 적외선 탐지기;
상기 적외선 탐지기와 연결되며, 상기 열 그래픽 데이터를 처리하도록 동작 가능한 프로세서; 및
적어도 하나의 통신 인터페이스
를 포함하는 열 이미지 찰영 카메라; 및
상기 열 이미지 촬영 카메라와 통신 가능하게 연결된 소비자 모바일 장치
를 포함하는 열 이미지 촬영 시스템.
- 제 17 항에 있어서,
상기 열 이미지 촬영 카메라는 다수의 열 그래픽 기능을 제공하도록 동작 가능하며, 상기 소비자 모바일 장치는 상기 소비자 모바일 장치의 역량을 활용하여 향상된 기능을 제공하도록 동작 가능한
열 이미지 촬영 시스템.
- 제 17 항에 있어서,
상기 프로세서는, 비균일 보정, 부실 픽셀 교체 및 온도 지도 생성을 수행하는 FPGA를 포함하는
열 이미지 촬영 시스템.
- 제 17 항에 있어서,
상기 열 이미지 촬영 카메라는 상기 소비자 모바일 장치와 무선 또는 유선 접속을 통해 연결된
열 이미지 촬영 시스템.
- 제 20 항에 있어서,
상기 열 이미지 촬영 카메라는 상기 소비자 모바일 장치와 USB 접속을 통해 연결된
열 이미지 촬영 시스템.
- 제 20 항에 있어서,
상기 열 이미지 촬영 카메라는 상기 소비자 모바일 장치와 WiFi 무선 접속을 통해 연결된
열 이미지 촬영 시스템.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361785224P | 2013-03-14 | 2013-03-14 | |
| US201361785267P | 2013-03-14 | 2013-03-14 | |
| US61/785,267 | 2013-03-14 | ||
| US61/785,224 | 2013-03-14 | ||
| PCT/US2014/025022 WO2014159758A1 (en) | 2013-03-14 | 2014-03-12 | System architecture for thermal imaging and thermography cameras |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150139864A true KR20150139864A (ko) | 2015-12-14 |
| KR102217655B1 KR102217655B1 (ko) | 2021-02-18 |
Family
ID=51625246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157029140A KR102217655B1 (ko) | 2013-03-14 | 2014-03-12 | 열 이미지 촬영 및 서모그래피 카메라를 위한 시스템 아키텍처 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US9736399B2 (ko) |
| EP (1) | EP2974276A4 (ko) |
| JP (1) | JP6397885B2 (ko) |
| KR (1) | KR102217655B1 (ko) |
| HK (1) | HK1219600A1 (ko) |
| WO (1) | WO2014159758A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220032847A (ko) * | 2020-09-08 | 2022-03-15 | 한화시스템 주식회사 | 열화상 장치 및 그 영상 처리 방법 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10757308B2 (en) | 2009-03-02 | 2020-08-25 | Flir Systems, Inc. | Techniques for device attachment with dual band imaging sensor |
| WO2014159758A1 (en) | 2013-03-14 | 2014-10-02 | Drs Rsta, Inc. | System architecture for thermal imaging and thermography cameras |
| US9531964B2 (en) * | 2013-03-14 | 2016-12-27 | Drs Network & Imaging Systems, Llc | Methods and system for producing a temperature map of a scene |
| WO2015103446A2 (en) * | 2013-12-31 | 2015-07-09 | Flir Systems, Inc. | Device attachment with dual band imaging sensor |
| US11297264B2 (en) | 2014-01-05 | 2022-04-05 | Teledyne Fur, Llc | Device attachment with dual band imaging sensor |
| DE102015011013B4 (de) | 2014-08-22 | 2023-05-04 | Sigma Additive Solutions, Inc. | Verfahren zur Überwachung von generativen Fertigungsprozessen |
| US10786948B2 (en) | 2014-11-18 | 2020-09-29 | Sigma Labs, Inc. | Multi-sensor quality inference and control for additive manufacturing processes |
| US10226817B2 (en) | 2015-01-13 | 2019-03-12 | Sigma Labs, Inc. | Material qualification system and methodology |
| EP3245045A4 (en) * | 2015-01-13 | 2018-10-31 | Sigma Labs, Inc. | Material qualification system and methodology |
| CN105987758B (zh) * | 2015-02-05 | 2019-07-12 | 南京理工大学 | 一种无挡片红外热像仪的非均匀性校正方法 |
| CN106031630A (zh) * | 2015-03-12 | 2016-10-19 | 沈渊瑶 | 用于体温检测的手持行动通讯装置及其体温检测方法 |
| US10207489B2 (en) | 2015-09-30 | 2019-02-19 | Sigma Labs, Inc. | Systems and methods for additive manufacturing operations |
| US10921592B2 (en) * | 2015-10-07 | 2021-02-16 | Smoke-I Corporation | Self-contained breathing apparatus face piece lens vision system |
| WO2017106102A1 (en) | 2015-12-14 | 2017-06-22 | Red.Com, Inc. | Modular digital camera and cellular phone |
| GR1009276B (el) * | 2017-06-26 | 2018-04-19 | Σταυρος Γεωργιου Τσαντζαλης | Αυτονομη μη μονιμης εγκαταστασης ασυρματης μεταδοσης εικονας θερμικη καμερα υπερυθρης απεικονισης |
| EP3690431A1 (en) * | 2019-02-04 | 2020-08-05 | Covestro Deutschland AG | Method and system for detecting defects in an insulation panel |
| CN109813442B (zh) * | 2019-03-27 | 2020-05-12 | 北京理工大学 | 一种基于多帧处理的内部杂散辐射非均匀性校正方法 |
| WO2022167174A1 (de) * | 2021-02-02 | 2022-08-11 | Vhf Elektronik Gmbh | Ziel- und/oder beobachtungseinrichtung mit bildüberlagerung |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7470902B1 (en) * | 2006-03-20 | 2008-12-30 | Flir Systems, Inc. | Infrared camera electronic architectures |
| US20100182330A1 (en) * | 2008-10-16 | 2010-07-22 | Tener Gene D | Small, Adaptable, Real-Time, Scalable Image Processing Chip |
| US8003941B1 (en) * | 2007-03-01 | 2011-08-23 | Fluke Corporation | System and method for providing a remote user interface for a thermal imager |
| CN102572094A (zh) * | 2011-09-20 | 2012-07-11 | 广州飒特红外股份有限公司 | 利用手机控制红外热像仪的系统及方法 |
| WO2012170953A2 (en) * | 2011-06-10 | 2012-12-13 | Flir Systems, Inc. | Systems and methods for intelligent monitoring of thoroughfares using thermal imaging |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130258111A1 (en) * | 2009-03-02 | 2013-10-03 | Flir Systems, Inc. | Device attachment with infrared imaging sensor |
| US20060289768A1 (en) | 2005-04-22 | 2006-12-28 | Frank Vallese | Portable infrared camera |
| US7693679B1 (en) | 2007-02-08 | 2010-04-06 | Fluke Corporation | System and method for configuring a thermal imaging instrument |
| US8235590B2 (en) * | 2008-08-21 | 2012-08-07 | Fluke Corporation | Thermal instrument engine |
| WO2012170946A2 (en) | 2011-06-10 | 2012-12-13 | Flir Systems, Inc. | Low power and small form factor infrared imaging |
| CN102178510A (zh) * | 2011-03-25 | 2011-09-14 | 清华大学 | 手机红外成像系统 |
| CN102860821B (zh) | 2012-10-07 | 2015-03-18 | 重庆红外疼痛研究院 | 虚拟视频成像的医用红外热像仪装置及其数据传输的方法 |
| US9531964B2 (en) | 2013-03-14 | 2016-12-27 | Drs Network & Imaging Systems, Llc | Methods and system for producing a temperature map of a scene |
| WO2014160297A2 (en) | 2013-03-14 | 2014-10-02 | Drs Rsta, Inc. | Method and system for adaptive pixel replacement |
| WO2014159758A1 (en) | 2013-03-14 | 2014-10-02 | Drs Rsta, Inc. | System architecture for thermal imaging and thermography cameras |
| US9251595B2 (en) | 2013-03-15 | 2016-02-02 | Drs Network & Imaging Systems, Llc | Method of shutterless non-uniformity correction for infrared imagers |
-
2014
- 2014-03-12 WO PCT/US2014/025022 patent/WO2014159758A1/en active Application Filing
- 2014-03-12 KR KR1020157029140A patent/KR102217655B1/ko active IP Right Grant
- 2014-03-12 EP EP14776487.2A patent/EP2974276A4/en not_active Ceased
- 2014-03-12 JP JP2016501721A patent/JP6397885B2/ja active Active
- 2014-03-13 US US14/208,615 patent/US9736399B2/en active Active
-
2016
- 2016-06-29 HK HK16107554.5A patent/HK1219600A1/zh unknown
-
2017
- 2017-07-11 US US15/646,764 patent/US10362244B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7470902B1 (en) * | 2006-03-20 | 2008-12-30 | Flir Systems, Inc. | Infrared camera electronic architectures |
| US8003941B1 (en) * | 2007-03-01 | 2011-08-23 | Fluke Corporation | System and method for providing a remote user interface for a thermal imager |
| US20100182330A1 (en) * | 2008-10-16 | 2010-07-22 | Tener Gene D | Small, Adaptable, Real-Time, Scalable Image Processing Chip |
| WO2012170953A2 (en) * | 2011-06-10 | 2012-12-13 | Flir Systems, Inc. | Systems and methods for intelligent monitoring of thoroughfares using thermal imaging |
| CN102572094A (zh) * | 2011-09-20 | 2012-07-11 | 广州飒特红外股份有限公司 | 利用手机控制红外热像仪的系统及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220032847A (ko) * | 2020-09-08 | 2022-03-15 | 한화시스템 주식회사 | 열화상 장치 및 그 영상 처리 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016519867A (ja) | 2016-07-07 |
| US10362244B2 (en) | 2019-07-23 |
| EP2974276A4 (en) | 2016-07-27 |
| JP6397885B2 (ja) | 2018-09-26 |
| KR102217655B1 (ko) | 2021-02-18 |
| US9736399B2 (en) | 2017-08-15 |
| HK1219600A1 (zh) | 2017-04-07 |
| US20150271420A1 (en) | 2015-09-24 |
| EP2974276A1 (en) | 2016-01-20 |
| WO2014159758A1 (en) | 2014-10-02 |
| US20180048833A1 (en) | 2018-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102217655B1 (ko) | 열 이미지 촬영 및 서모그래피 카메라를 위한 시스템 아키텍처 | |
| JP7268369B2 (ja) | 撮像システム、現像システム、撮像方法、及びプログラム | |
| US20210314499A1 (en) | Digital photographing apparatus and method of operating the same | |
| CN111052727B (zh) | 电子装置及其控制方法 | |
| US11445126B2 (en) | Image capture device with interchangeable integrated sensor-optical component assemblies | |
| US9374529B1 (en) | Enabling multiple field of view image capture within a surround image mode for multi-LENS mobile devices | |
| JP7185434B2 (ja) | 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法 | |
| CN217849511U (zh) | 图像捕捉装置、设备和系统以及集成传感器光学部件配件 | |
| KR102249831B1 (ko) | 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법 | |
| US20170150126A1 (en) | Photographing device and operating method of the same | |
| US20090135274A1 (en) | System and method for inserting position information into image | |
| KR102318013B1 (ko) | 복수의 이미지들을 합성하는 전자장치 및 방법 | |
| US11736806B2 (en) | Auto exposure metering for spherical panoramic content | |
| WO2023142830A1 (zh) | 切换摄像头的方法与电子设备 | |
| US20210084281A1 (en) | Circular stitching of images | |
| US20210073956A1 (en) | Image processing | |
| JP6291748B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
| KR102457559B1 (ko) | 이미지에 포함된 오브젝트에 기반하여 이미지를 보정하기 위한 전자 장치 및 방법 | |
| US10051192B1 (en) | System and apparatus for adjusting luminance levels of multiple channels of panoramic video signals | |
| US10165173B2 (en) | Operating method and apparatus for detachable lens type camera | |
| CN220570624U (zh) | 图像捕获系统和图像捕获装置 | |
| US20240209843A1 (en) | Scalable voxel block selection | |
| TW202345086A (zh) | 可變光圈（ｖａ）相機系統中的散景效果 | |
| KR20140091117A (ko) | 촬영 장치 및 촬영 장치의 라이브 뷰 표시 방법 | |
| KR20190051670A (ko) | 전자 장치 및 그의 이미지 처리 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |