KR20160042972A - 복수의 가상 장치를 이용하여 열 이미지 데이터를 분석하기 위한 방법들 및 깊이 값들을 이미지 픽셀들에 상관시키기 위한 방법들 - Google Patents

복수의 가상 장치를 이용하여 열 이미지 데이터를 분석하기 위한 방법들 및 깊이 값들을 이미지 픽셀들에 상관시키기 위한 방법들 Download PDF

Info

Publication number
KR20160042972A
KR20160042972A KR1020167006217A KR20167006217A KR20160042972A KR 20160042972 A KR20160042972 A KR 20160042972A KR 1020167006217 A KR1020167006217 A KR 1020167006217A KR 20167006217 A KR20167006217 A KR 20167006217A KR 20160042972 A KR20160042972 A KR 20160042972A
Authority
KR
South Korea
Prior art keywords
thermal imaging
imaging camera
images
camera
image
Prior art date
Application number
KR1020167006217A
Other languages
English (en)
Other versions
KR102248161B1 (ko
Inventor
마이클 디 도치
래리 제이 프라이스
Original Assignee
써멀 이미징 레이다 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 써멀 이미징 레이다 엘엘씨 filed Critical 써멀 이미징 레이다 엘엘씨
Publication of KR20160042972A publication Critical patent/KR20160042972A/ko
Application granted granted Critical
Publication of KR102248161B1 publication Critical patent/KR102248161B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B9/00—Machines or devices designed for grinding edges or bevels on work or for removing burrs; Accessories therefor
    • B24B9/02—Machines or devices designed for grinding edges or bevels on work or for removing burrs; Accessories therefor characterised by a special design with respect to properties of materials specific to articles to be ground
    • B24B9/06—Machines or devices designed for grinding edges or bevels on work or for removing burrs; Accessories therefor characterised by a special design with respect to properties of materials specific to articles to be ground of non-metallic inorganic material, e.g. stone, ceramics, porcelain
    • B24B9/08—Machines or devices designed for grinding edges or bevels on work or for removing burrs; Accessories therefor characterised by a special design with respect to properties of materials specific to articles to be ground of non-metallic inorganic material, e.g. stone, ceramics, porcelain of glass
    • B24B9/14—Machines or devices designed for grinding edges or bevels on work or for removing burrs; Accessories therefor characterised by a special design with respect to properties of materials specific to articles to be ground of non-metallic inorganic material, e.g. stone, ceramics, porcelain of glass of optical work, e.g. lenses, prisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C45/00—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor
    • B29C45/0053—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor combined with a final operation, e.g. shaping
    • B29C45/0055—Shaping
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C45/00—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor
    • B29C45/0053—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor combined with a final operation, e.g. shaping
    • B29C45/0055—Shaping
    • B29C2045/0058—Shaping removing material
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29K—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES B29B, B29C OR B29D, RELATING TO MOULDING MATERIALS OR TO MATERIALS FOR MOULDS, REINFORCEMENTS, FILLERS OR PREFORMED PARTS, e.g. INSERTS
    • B29K2023/00—Use of polyalkenes or derivatives thereof as moulding material
    • B29K2023/04—Polymers of ethylene
    • B29K2023/06—PE, i.e. polyethylene
    • B29K2023/0658—PE, i.e. polyethylene characterised by its molecular weight
    • B29K2023/0683—UHMWPE, i.e. ultra high molecular weight polyethylene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29K—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES B29B, B29C OR B29D, RELATING TO MOULDING MATERIALS OR TO MATERIALS FOR MOULDS, REINFORCEMENTS, FILLERS OR PREFORMED PARTS, e.g. INSERTS
    • B29K2995/00—Properties of moulding materials, reinforcements, fillers, preformed parts or moulds
    • B29K2995/0018—Properties of moulding materials, reinforcements, fillers, preformed parts or moulds having particular optical properties, e.g. fluorescent or phosphorescent
    • B29K2995/0026—Transparent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29K—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES B29B, B29C OR B29D, RELATING TO MOULDING MATERIALS OR TO MATERIALS FOR MOULDS, REINFORCEMENTS, FILLERS OR PREFORMED PARTS, e.g. INSERTS
    • B29K2995/00—Properties of moulding materials, reinforcements, fillers, preformed parts or moulds
    • B29K2995/0018—Properties of moulding materials, reinforcements, fillers, preformed parts or moulds having particular optical properties, e.g. fluorescent or phosphorescent
    • B29K2995/0029—Translucent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29K—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES B29B, B29C OR B29D, RELATING TO MOULDING MATERIALS OR TO MATERIALS FOR MOULDS, REINFORCEMENTS, FILLERS OR PREFORMED PARTS, e.g. INSERTS
    • B29K2995/00—Properties of moulding materials, reinforcements, fillers, preformed parts or moulds
    • B29K2995/0037—Other properties
    • B29K2995/0094—Geometrical properties
    • B29K2995/0097—Thickness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29L—INDEXING SCHEME ASSOCIATED WITH SUBCLASS B29C, RELATING TO PARTICULAR ARTICLES
    • B29L2031/00—Other particular articles
    • B29L2031/764—Photographic equipment or accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G03B11/04—Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
    • G03B11/041—Lens caps as separate accessory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/02—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only
    • H04N3/04—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only having a moving aperture also apertures covered by lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Inorganic Chemistry (AREA)
  • Ceramic Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Radiation Pyrometers (AREA)
  • Lens Barrels (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

복수의 정지 위치를 통해 회전하는 열 이미징 카메라로부터 열 이미징 카메라 이미지들이 획득된다. 카메라는 이미지들을 일정한 프레임 레이트로 캡처하며, 이미지들 중 적어도 일부는 정지 위치들에 대응한다. 정지 위치에 대응하는 열 이미징 카메라 이미지들은 유지되는 반면, 정지 위치에 대응하지 않는 이미지들은 폐기된다. 유지된 이미지들은 비디오 스트림으로 비디오 프로세서에 전송된다. 비디오 스트림은 개별 열 이미징 카메라 이미지들로 분리되고, 특정 정지 위치들에 대응하는 대응 가상 카메라 장치들에 대해 저장된다. 게다가, 카메라의 위치 및 이미지들의 개별 픽셀들은 둘 모두가 지리적 장소 데이터와 상관되며, 픽셀들에 대한 깊이 값들이 지리적 데이터에 기초하여 결정된다.

Description

복수의 가상 장치를 이용하여 열 이미지 데이터를 분석하기 위한 방법들 및 깊이 값들을 이미지 픽셀들에 상관시키기 위한 방법들{METHODS FOR ANALYZING THERMAL IMAGE DATA USING A PLURALITY OF VIRTUAL DEVICES AND METHODS FOR CORRELATING DEPTH VALUES TO IMAGE PIXELS}
관련 출원의 상호 참조
본 출원은 2013년 8월 9일자로 출원되고 발명의 명칭이 "복수의 가상 장치를 이용하여 열 이미지 데이터를 분석하기 위한 방법, 깊이 값을 이미지 픽셀에 상관시키기 위한 방법, 및 이음매 없는 렌즈 커버를 포함하는 시스템(METHODS FOR ANALYZING THERMAL IMAGE DATA USING A PLURALITY OF VIRTUAL DEVICES, CORRELATING DEPTH VALUES TO IMAGE PIXELS, AND A SYSTEM INCLUDING A SEAMLESS LENS COVER)"인 미국 가출원 제61/864,196호의 이익을 주장하며, 이 미국 가출원은 전체적으로 본 명세서에 참고로 포함된다.
파노라마 이미지들은 최대 360도의 시야를 함께 생성하는 광각 카메라들의 어레이에 의해, 또는 나중에 컴퓨터에 의해 편평해지는 연속 "미러 볼(mirror ball)" 이미지를 가능하게 하는 어안 렌즈 또는 기타 파노라마 미러를 갖는 하나의 카메라에 의해 생성될 수 있다. 이러한 이미지들은 비디오 감시에 유용하기 위해 필요한 상세를 제공하는 그들의 능력에 있어서 제한되는데, 그 이유는 센서들이 넓은 시야들(때때로 최대 360도)에 걸쳐 펼쳐져 있기 때문이다.
열 파노라마 이미지들을 캡처하는 비교적 새로운 수단은 극저온으로 냉각된 열 센서 또는 다른 고속 카메라를 60 RPM 미만으로 계속 회전시키고 카메라로부터의 이미지들을 컴퓨터로 처리(여기서 이미지들은 함께 짜집기(stitching)되고 분석됨)하는 것에 의한다. 이러한 극저온으로 냉각된 센서들은 수 나노초만에 이미지들을 캡처하는 능력을 가지며, 이는 센서들이 거의 실시간 비디오를 생성하는 것을 가능하게 한다. 그러나, 이러한 냉각된 센서들은 전력을 많이 소비하고 비싸서, 많은 응용에서 비실용적이다. 게다가, 고속 카메라들은 매우 큰 조명 요구들을 가져서, 충분하지 않은 일광 조건들에서는 사용이 매우 제한된다.
기존의 기술 진보에도 불구하고, 개선된 카메라 시스템들 및 분석 방법들, 특히 최소의 복잡성 및 비용을 보이며, 비교적 낮은 전력 요구들하에서 동작할 수 있는 것들에 대한 요구가 여전히 존재한다.
본 명세서에서 청구되는 주제는 임의의 단점들을 해결하거나 상기에 기술된 것들과 같은 환경들에서만 동작하는 실시예들로 제한되지 않는다. 오히려, 이러한 배경은 본 명세서에 기술되는 몇몇 실시예들이 실시될 수 있는 하나의 예시적인 기술 영역을 예시하기 위해 제공될 뿐이다.
본 발명의 구현들은 복수의 가상 장치를 이용하여 파노라마 이미지 데이터의 개별 이미지 프레임들을 분류 및 분석하도록 구성된 시스템들, 방법들 및 컴퓨터 프로그램 제품들을 포함한다. 예를 들어, 본 발명의 일 실시예는 복수의 가상 장치를 이용하여 파노라마 이미지 데이터의 개별 이미지 프레임들을 분석 및 분류하기 위한 현장 시스템(on-site system)에 관한 것이다. 그러한 시스템은 열 이미징 카메라(thermal imaging camera)를 복수의 정지 위치를 통해 회전시키기 위한, 카메라가 장착되는 인덱싱 메커니즘(indexing mechanism), 열 이미징 카메라 이미지들을 촬영하도록 구성된 열 이미징 카메라로서, 열 이미징 카메라 이미지들 중 적어도 일부는 열 이미징 카메라가 복수의 정지 위치를 통해 회전함에 따라 정지 위치들에 대응하는, 상기 열 이미징 카메라, 및 임의의 정지 위치에 대응하는 열 이미징 카메라 이미지들이 유지되도록, 정지 위치들 중 어느 것에도 대응하지 않는 임의의 열 이미징 카메라 이미지들을 폐기하도록 구성된 다중화 및 분석 모듈을 포함할 수 있다. 다중화 및 분석 모듈은 유지된 열 이미징 카메라 이미지들의 비디오 스트림을 개별 열 이미징 카메라 이미지들로 분리함으로써 유지된 열 이미징 카메라 이미지들의 비디오 스트림을 처리하도록 구성될 수 있으며, 유지된 열 이미징 카메라 이미지들은 대응 가상 카메라 장치에 대해 저장된다. 가상 카메라 장치들 각각은 특정 정지 위치에 대응할 수 있고, 가상 카메라 장치들은 열 이미징 카메라에 관해 현장에 존재할 수 있다. 다중화 및 분석 모듈은 유지된 열 이미징 카메라 이미지들을 현장에서 파노라마로 함께 짜집기하지 않도록 구성될 수 있어서, 열 이미징 카메라, 카메라를 회전시키기 위한 인덱싱 메커니즘, 및 가상 카메라 장치들에 대한 이미지들을 분류하기 위한 다중화 및 분석 모듈을 포함하는 현장 시스템에 대한 총 전력 요구들이 약 10 와트 이하이다. 이미지들은 현장 시스템 상에 저장되거나, 현장 밖에 저장(예컨대, 그리고, 필요한 경우에, 현장으로 중계)될 수 있다.
본 발명의 다른 실시예는 복수의 정지 위치를 통해 회전하는 열 이미징 카메라로부터 열 이미징 카메라 이미지들을 획득하는 단계를 포함한다. 카메라는 열 이미징 카메라 이미지들을 일정한 프레임 레이트(frame rate)로 캡처할 수 있다. 열 이미징 카메라 이미지들 중 적어도 일부는 정지 위치들에 대응하는 반면, 다른 캡처된 열 이미징 카메라 이미지들은 어떠한 정지 위치에도 대응하지 않을 수 있다. 정지 위치들 중 임의의 것에 대응하는 열 이미징 카메라 이미지들은 유지되는 반면, 어떠한 정지 위치에도 대응하지 않는 열 이미징 카메라 이미지들은 폐기된다. 유지된 열 이미징 카메라 이미지들은 비디오 스트림으로 비디오 프로세서에 전송되며, 여기서 그들은 개별 열 이미징 카메라 이미지들로 분리되고, 주어진 이미지가 대응하는 특정 정지 위치에 대응하는 대응 가상 카메라 장치에 대해 분류된다. 유지된 분류된 이미지들의 저장은 현장에서 행해질 수 있다. 다른 실시예에서, 저장은 현장 밖에서 행해질 수 있고, 이미지들은 필요에 따라 현장으로 중계될 수 있다. 가상 카메라 장치들은 열 이미징 카메라에 관해, 원격이 아니라, 현장에 존재한다. 열 이미징 카메라 이미지들은 의도적으로 현장에서 파노라마 이미지로 현장에서 함께 짜집기되지 않아서, (예컨대, 열 이미징 카메라, 카메라를 회전시키기 위한 인덱싱 메커니즘, 및 가상 카메라 장치들에 대한 이미지들을 분류하기 위한 다중화 및 분석 모듈을 포함하는) 현장 시스템의 총 전력 요구들이 약 10 와트 이하이다.
어떠한 정지 위치에도 대응하지 않는 이미지들의 폐기는 비디오 프로세서가 결코 그러한 이미지들을 수신하지 않기 때문에 비디오 프로세서가 주기적으로 수면(sleep)하는 것을 가능하게 할 수 있으며, 이에 따라 시스템을 보다 전력 효율적으로 만든다. 유사하게, 현장 분석은 비교적 간단한 기능들(예컨대, 이미지들을 함께 짜집기하는 것이 아니라, 무엇이 발생하고 있을 수 있는지 등을 보기 위해 주어진 장소에서 정지하여 응시함)로 제한되기 때문에, 시스템은 비교적 제한된 전력 소비 특성들을 나타낸다. 예를 들어, 현장 시스템은 약 10 와트 미만을 요구할 수 있고, 수년의 기간 동안 방치될 수 있으며, 비교적 작은 태양 전지들에 의해 충전되는 배터리들에 의해 급전될 수 있다.
다른 태양에서, 본 발명은 파노라마 이미지의 개별 이미지 프레임의 픽셀 위치들에 대한 깊이 값들(즉, 카메라로부터의 거리)의 결정을 포함하는, 지리적 장소 데이터를 상관시키기 위한 방법에 관련된다. 본 방법은 복수의 정지 위치를 통해 회전하는 단일 카메라로부터 카메라 이미지들(예컨대, 열 이미징 카메라 이미지들)을 획득하는 단계를 포함할 수 있다. 카메라는 이미지들을 일정한 프레임 레이트로 캡처할 수 있으며, 이미지들 중 적어도 일부는 카메라가 복수의 정지 위치를 통해 회전함에 따라 정지 위치들에 대응한다. 카메라의 위치가 지리적 장소 데이터와 상관될 수 있고, 주어진 카메라 이미지의 픽셀 위치들이 지리적 장소 데이터와 상관될 수 있으며, 주어진 카메라 이미지의 픽셀 위치들에 대한 깊이 값들이 카메라의 지리적 장소 및 주어진 정지 위치를 "가리키는" 배향 또는 위치에 적어도 부분적으로 기초하여 결정될 수 있다.
이러한 요약은 '발명을 실시하기 위한 구체적인 내용'에서 하기에 추가로 기술되는 개념들의 모음을 단순화된 형태로 소개하기 위해 제공된다. 이러한 요약은 청구되는 주제의 핵심적인 특징들 또는 본질적인 특징들을 식별하고자 하는 것도 아니고, 청구되는 주제의 범주를 결정함에 있어서 보조물로서 사용되고자 하는 것도 아니다.
추가적인 특징들 및 이점들이 이어지는 설명에 기재될 것이며, 부분적으로 그 설명으로부터 명백할 것이거나, 본 명세서에서의 교시의 실시에 의해 학습될 수 있다. 본 발명의 특징들 및 이점들은 첨부된 청구범위에서 구체적으로 지적된 수단들 및 조합들에 의해 실현 및 달성될 수 있다. 본 발명의 특징들은 하기의 설명 및 첨부된 청구범위로부터 보다 완전히 명백해질 것이거나, 이하에 기재된 바와 같은 본 발명의 실시에 의해 학습될 수 있다.
상기에 언급된 그리고 다른 이점들 및 특징들이 달성될 수 있는 방식을 기술하기 위해, 상기에 간단히 기술된 주제의 보다 상세한 설명이 첨부된 도면들에 예시된 특정 실시예들을 참조하여 행해질 것이다. 이들 도면은 단지 전형적인 실시예들을 도시하며, 이에 따라 범주에 있어서 제한하는 것으로 간주되지 않아야 함을 이해하면서, 실시예들이 첨부 도면들을 이용하여 보다 구체적이고 상세하게 기술되고 설명될 것이다.
도 1은 본 명세서에 기술되는 원리들이 동작할 수 있는 예시적인 컴퓨팅 시스템을 개략적으로 예시하는 도면.
도 2는 본 명세서에 기술되는 원리들이 동작할 수 있는 특정 환경을 개략적으로 예시하는 도면.
도 3a는 시계 방향으로 회전할 때의, 본 명세서에서 정지 위치들로도 지칭되는 가상 카메라 위치들을 개략적으로 예시하는 도면이며, 이때 카메라는 정지 위치 1을 가리킴.
도 3b는 도 3a에서와 같은 가상 카메라 위치들을 개략적으로 예시하는 도면이며, 이때 카메라는 정지 위치 5를 가리킴.
도 4는 도 2에 기술된 비디오 프로세서의 일 구현을 개략적으로 예시하는 도면.
도 5a는 예시적인 방법을 예시하는 흐름도.
도 5b는 본 발명에 따른 다른 예시적인 방법을 예시하는 흐름도.
본 발명의 구현들은 복수의 가상 장치를 이용하여 파노라마 이미지 데이터의 개별 이미지 프레임들을 분류 및 분석하도록 구성된 시스템들, 방법들 및 컴퓨터 프로그램 제품들을 포함한다. 예를 들어, 도 5a에 도시된 바와 같이, 본 발명의 일 실시예는 복수의 정지 위치를 통해 회전하는 열 이미징 카메라로부터 열 이미징 카메라 이미지들을 획득(S12)하는 방법(S10)을 포함한다. 카메라는 열 이미징 카메라 이미지들을 일정한 프레임 레이트로 캡처할 수 있다. 열 이미징 카메라 이미지들 중 적어도 일부는 정지 위치들에 대응하는 반면, 다른 캡처된 열 이미징 카메라 이미지들은 어떠한 정지 위치에도 대응하지 않을 수 있다. 정지 위치들 중 임의의 것에 대응하는 열 이미징 카메라 이미지들은 유지되는 반면(S14), 어떠한 정지 위치에도 대응하지 않는 열 이미징 카메라 이미지들은 폐기된다(S16).
유지된 열 이미징 카메라 이미지들은 비디오 스트림으로 비디오 프로세서에 전송된다(S18). 그들은 개별 열 이미징 카메라 이미지들로 분리되고, 주어진 이미지가 대응하는 특정 정지 위치에 대응하는 대응 가상 카메라 장치에 대해 분류 및 저장될 수 있다(S20). 예를 들어, 현장 시스템은 이미지들을 저장하기 위한 적절한 메모리를 포함할 수 있다. 대안적으로, 이미지들 중 일부 또는 전부가 현장 밖에 저장되고, 필요에 따라 현장으로 중계될 수 있다. 가상 카메라 장치들은 열 이미징 카메라에 관해 현장에 존재할 수 있다. 열 이미징 카메라 이미지들은 현장에서 파노라마 이미지로 현장에서 함께 짜집기되지 않아서, (예컨대, 열 이미징 카메라, 카메라를 회전시키기 위한 인덱싱 메커니즘, 및 가상 카메라 장치들에 대한 이미지들을 분류하기 위한 다중화 및 분석 모듈을 포함하는) 현장 시스템의 총 전력 요구들이 약 10 와트 이하이다(S22).
각각의 정지 위치로부터의 개별 열 이미징 카메라 이미지들은 주어진 이미지로부터 후속 이미지까지의 변화를 검출하기 위해 비디오 스트림으로서 분석될 수 있다(S24).
어떠한 정지 위치에도 대응하지 않는 이미지들의 폐기는 비디오 프로세서가 결코 그러한 이미지들을 수신하지 않기 때문에 비디오 프로세서가 주기적으로 수면하는 것을 가능하게 할 수 있으며, 이에 따라 시스템을 보다 전력 효율적으로 만든다. 유사하게, 현상 분석은 비교적 간단한 기능들(예컨대, 이미지들을 함께 짜집기하지 않음 등)로 제한되기 때문에, 시스템은 비교적 제한된 전력 소비 특성들을 나타낸다(예를 들어, 약 10 와트 미만, 수년의 기간 동안 방치될 수 있고 비교적 작은 태양 전지들에 의해 충전되는 배터리들에 의해 급전될 수 있음).
다른 태양에서, 본 발명은 파노라마 이미지의 개별 이미지 프레임의 픽셀 위치들에 대한 깊이 값들의 결정을 포함하는, 지리적 장소 데이터를 상관시키기 위한 방법(S30 - 도 5b에 도시된 바와 같음)에 관련된다. 본 방법은 복수의 정지 위치를 통해 회전하는 단일 카메라로부터 카메라 이미지들(예컨대, 열 이미징 카메라 이미지들)을 획득하는 단계(S32)를 포함할 수 있다. 카메라는 이미지들을 일정한 프레임 레이트로 캡처할 수 있으며, 이미지들 중 적어도 일부는 카메라가 복수의 정지 위치를 통해 회전함에 따라 정지 위치들에 대응한다. 카메라의 위치가 지리적 장소 데이터와 상관될 수 있고(S34), 주어진 카메라 이미지의 픽셀 위치들이 지리적 장소 데이터와 상관될 수 있으며(S36), 주어진 카메라 이미지의 픽셀 위치들에 대한 깊이 값들이 카메라의 지리적 장소 및 주어진 정지 위치를 "가리키는" 배향 또는 위치에 적어도 부분적으로 기초하여 결정될 수 있다(S38).
선택적으로, 깊이 정보 결정들(예컨대, 계산들)은 현장 밖에서 수행되고, 현장에서의 저장을 위해 다시 카메라 시스템 현장으로 중계될 수 있다(S40). 다시 말해서, 이미지의 위치들을 장소 데이터와 상관시켜, 각각의 픽셀에 대한 적절한 깊이 값을 결정하는 분석 및 처리가 현장 밖에서 수행될 수 있고, 그 결과들이 카메라 시스템에 의한 사용을 위해 현장 시스템으로 중계될 수 있어서, 현장 시스템의 전력 요구를 추가로 줄일 수 있다.
사용 시에, 임의의 변화들, 예컨대 열 이미징 카메라 이미지들에 나타난 객체의 크기 또는 이동 속도를 결정하기 위해, 주어진 열 이미징 카메라 이미지의 픽셀 위치에 대한 주어진 깊이 값이 동일 정지 위치로부터의 이전에 또는 나중에 획득된 열 이미징 카메라 이미지와 비교될 수 있다(S42).
본 주제가 구조적 특징들 및/또는 방법론적 액트(act)들에 고유한 언어로 기술되지만, 첨부된 청구범위에 한정된 주제는 반드시 본 명세서에 기술되는 설명된 특징들 또는 액트들, 또는 본 명세서에서 기술되는 액트들의 순서로 제한되지는 않음이 이해되어야 한다. 오히려, 기술된 특징들 및 액트들은 청구범위를 구현하는 예시적인 형태들로서 개시된다.
컴퓨팅 시스템들은 현재 점점 더 매우 다양한 형태들을 취하고 있다. 컴퓨팅 시스템들은 예를 들어 핸드헬드 장치, 기기, 랩톱 컴퓨터, 데스크톱 컴퓨터, 메인프레임, 분산형 컴퓨팅 시스템, 또는 심지어 종래에는 컴퓨팅 시스템으로 간주되지 않았던 장치일 수 있다. 본 설명에서 그리고 청구범위에서, 용어 "컴퓨팅 시스템"은 적어도 하나의 물리적 및 유형적 프로세서, 및 그에 의해 실행될 수 있는 컴퓨터 실행 가능 명령어들을 가질 수 있는 물리적 및 유형적 메모리를 포함하는 임의의 장치 또는 시스템(또는 이들의 조합)을 포함하는 것으로 광범위하게 정의된다.
도 1은 예시적인 컴퓨팅 시스템(100)을 예시한다. 컴퓨팅 시스템(100)은, 그의 가장 기본적인 구성에서, 전형적으로 적어도 하나의 처리 유닛(102) 및 메모리(104)를 포함한다. 메모리(104)는 휘발성, 비휘발성, 또는 이 둘의 소정 조합일 수 있는 물리적 시스템 메모리일 수 있다. 용어 "메모리"는 본 명세서에서 물리적 저장 매체와 같은 비휘발성 대용량 저장 장치를 지칭하는 데 사용될 수도 있다. 컴퓨팅 시스템이 분산되는 경우, 처리, 메모리 및/또는 저장 능력도 분산될 수 있다.
본 명세서에서 기술되는 컴퓨터 시스템들 각각은 예를 들어 근거리 네트워크("LAN"), 광역 네트워크("WAN"), 및 심지어 인터넷과 같은 네트워크를 통해 서로 접속될 수 있다(또는 네트워크의 일부일 수 있다). 따라서, 기술되는 컴퓨터 시스템들뿐만 아니라 임의의 다른 접속된 컴퓨터 시스템들 및 그들의 컴포넌트들 각각은 메시지 관련 데이터를 생성하고, 메시지 관련 데이터(예컨대, 인터넷 프로토콜("IP") 데이터그램들, 및 IP 데이터그램들을 이용하는 다른 상위 계층 프로토콜들, 예컨대 송신 제어 프로토콜("TCP"), 하이퍼텍스트 송신 프로토콜("HTTP"), 단순 메일 송신 프로토콜("SMTP") 등)를 네트워크를 통해 교환할 수 있다.
본 명세서에서 사용되는 바와 같이, 용어 "실행 가능 모듈" 또는 "실행 가능 컴포넌트"는 컴퓨팅 시스템 상에서 실행될 수 있는 소프트웨어 객체들, 라우팅들, 또는 메소드들을 지칭할 수 있다. 본 명세서에 기술되는 상이한 컴포넌트들, 모듈들, 엔진들, 및 서비스들은 컴퓨팅 시스템 상에서 실행되는 객체들 또는 프로세스들로서(예컨대, 개별 스레드들로서) 구현될 수 있다.
이어지는 기술에서, 하나 이상의 컴퓨팅 시스템에 의해 수행되는 액트들과 관련하여 실시예들이 기술된다. 그러한 액트들이 소프트웨어로 구현되는 경우, 액트를 수행하는 관련 컴퓨팅 시스템의 하나 이상의 프로세서는 컴퓨터 실행 가능 명령어들의 실행에 응답하여 컴퓨팅 시스템의 동작을 지시한다. 예를 들어, 그러한 컴퓨터 실행 가능 명령어들은 컴퓨터 프로그램 제품을 형성하는 하나 이상의 컴퓨터 판독 가능 매체 상에 구현될 수 있다. 그러한 동작의 일례는 데이터의 조작을 포함한다. 컴퓨터 실행 가능 명령어들(및 조작된 데이터)은 컴퓨팅 시스템(100)의 메모리(104)에 저장될 수 있다. 컴퓨팅 시스템(100)은 컴퓨팅 시스템(100)이 예를 들어 네트워크(110)를 통해 다른 메시지 프로세서들과 통신하는 것을 가능하게 하는 통신 채널들(108)도 포함할 수 있다.
본 명세서에 기술되는 실시예들은, 하기에 보다 상세히 논의되는 바와 같이, 예를 들어 하나 이상의 프로세서 및 시스템 메모리와 같은 컴퓨터 하드웨어를 포함하는 특수 목적 또는 범용 컴퓨터 시스템을 포함하거나 이용할 수 있다. 시스템 메모리는 전체 메모리(104) 내에 포함될 수 있다. 시스템 메모리는 "메인 메모리"로도 지칭될 수 있고, 메모리 버스를 통해 적어도 하나의 처리 유닛(102)에 의해 어드레싱될 수 있는 메모리 장소들을 포함하며, 이 경우에 어드레스 장소는 메모리 버스 자체 상에서 표명된다. 시스템 메모리는 전통적으로 휘발성이었지만, 본 명세서에 기술되는 원리들은 시스템 메모리가 부분적으로 또는 심지어는 완전히 비휘발성인 상황들에서도 적용된다.
본 발명의 범주 내의 실시예들은 컴퓨터 실행 가능 명령어들 및/또는 데이터 구조들을 운반 또는 저장하기 위한 물리적 및 다른 컴퓨터 판독 가능 매체들도 포함한다. 그러한 컴퓨터 판독 가능 매체들은 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스될 수 있는 임의의 이용 가능한 매체들일 수 있다. 컴퓨터 실행 가능 명령어들 및/또는 데이터 구조들을 저장하는 컴퓨터 판독 가능 매체들은 컴퓨터 저장 매체들이다. 컴퓨터 실행 가능 명령어들 및/또는 데이터 구조들을 운반하는 컴퓨터 판독 가능 매체들은 송신 매체들이다. 따라서, 제한이 아니라 예로서, 본 발명의 실시예들은 적어도 2개의 명백하게 상이한 종류의 컴퓨터 판독 가능 매체, 즉 컴퓨터 저장 매체 및 송신 매체를 포함할 수 있다.
컴퓨터 저장 매체들은 컴퓨터 실행 가능 명령어들 및/또는 데이터 구조들을 저장하는 물리적 저장 매체들이다. 물리적 저장 매체들은 기록 가능한 타입의 저장 장치들, 예컨대 RAM, ROM, EEPROM, 솔리드 스테이트 드라이브들("SSD"), 플래시 메모리, 상변화 메모리("PCM"), 광 디스크 저장 장치, 자기 디스크 저장 장치 또는 다른 자기 저장 장치들, 또는 컴퓨터 실행 가능 명령어들 또는 데이터 구조들의 형태로 프로그램 코드를 저장하는 데 사용될 수 있고, 본 명세서에 기술되는 기능을 구현하기 위해 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 및 실행될 수 있는 임의의 다른 물리적 하드웨어 저장 매체(들)를 포함한다.
송신 매체는, 컴퓨터 실행 가능 명령어들 또는 데이터 구조들의 형태로 프로그램 코드를 운반하는 데 사용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스될 수 있는 네트워크 및/또는 데이터 링크들을 포함할 수 있다. "네트워크"는 컴퓨터 시스템들 및/또는 모듈들 및/또는 다른 전자 장치들 사이의 전자 데이터의 전송을 가능하게 하는 하나 이상의 데이터 링크로 정의된다. 정보가 네트워크 또는 다른 통신 접속(유선, 무선, 또는 유선 또는 무선의 조합)을 통해 컴퓨터 시스템으로 전송 또는 제공될 때, 컴퓨터 시스템은 그 접속을 송신 매체로 간주할 수 있다. 위의 것들의 조합들도 컴퓨터 판독 가능 매체들의 범주 내에 포함되어야 한다.
또한, 다양한 컴퓨터 시스템 컴포넌트들에 도달한 때, 컴퓨터 실행 가능 명령어들 또는 데이터 구조들의 형태의 프로그램 코드는 송신 매체들로부터 컴퓨터 저장 매체들로(또는 그 반대로) 자동적으로 전송될 수 있다. 예를 들어, 네트워크 또는 데이터 링크를 통해 수신된 컴퓨터 실행 가능 명령어들 또는 데이터 구조들은 RAM 내에서 네트워크 인터페이스 모듈(예컨대, "NIC") 내에 버퍼링되고, 이어서 결국에는 컴퓨터 시스템 RAM으로 그리고/또는 컴퓨터 시스템의 덜 휘발성인 컴퓨터 저장 매체들로 전송될 수 있다. 따라서, 컴퓨터 저장 매체들은 송신 매체들을 또한(또는 심지어 주로) 이용하는 컴퓨터 시스템 컴포넌트들 내에 포함될 수 있다는 것이 이해되어야 한다.
컴퓨터 실행 가능 명령어들은, 예를 들어, 하나 이상의 프로세서에서 실행될 때, 범용 컴퓨터 시스템, 특수 목적 컴퓨터 시스템, 또는 특수 목적 처리 장치가 소정의 기능 또는 기능들의 그룹을 수행하게 하는 명령어들 및 데이터를 포함한다. 컴퓨터 실행 가능 명령어들은 예를 들어 이진수들, 어셈블리 언어와 같은 중간 포맷 명령어들, 또는 심지어는 소스 코드일 수 있다.
당업자는 본 발명이 개인용 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 메시지 프로세서, 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 또는 프로그램 가능 소비자 전자 장치, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 이동 전화, PDA, 태블릿, 페이저, 라우터, 스위치 등을 비롯한 많은 타입의 컴퓨터 시스템 구성들을 갖는 네트워크 컴퓨팅 환경들에서 실시될 수 있다는 것을 알 것이다. 본 발명은 네트워크를 통해 (유선 데이터 링크들, 무선 데이터 링크들에 의해, 또는 유선과 무선 데이터 링크들의 조합에 의해) 링크되는 로컬 및 원격 컴퓨터 시스템들 둘 모두가 작업들을 수행하는 분산형 시스템 환경들에서도 실시될 수 있다. 그렇기 때문에, 분산형 시스템 환경에서, 컴퓨터 시스템은 복수의 구성 컴퓨터 시스템을 포함할 수 있다. 분산형 시스템 환경에서, 프로그램 모듈들은 로컬 및 원격 메모리 저장 장치들 둘 모두 내에 배치될 수 있다.
당업자들은 본 발명이 클라우드 컴퓨팅 환경에서 실시될 수 있다는 것도 알 것이다. 클라우드 컴퓨팅 환경들은 분산될 수 있지만, 이것이 요구되지는 않는다. 분산될 때, 클라우드 컴퓨팅 환경들은 조직 내에 국제적으로 분산되고/되거나, 다수의 조직에 걸쳐 소유되는 컴포넌트들을 가질 수 있다. 본 설명 및 이어지는 청구범위에서, "클라우드 컴퓨팅"은 구성 가능 컴퓨팅 자원들(예컨대, 네트워크, 서버, 저장 장치, 애플리케이션, 및 서비스)의 공유 풀(pool)에 대한 주문형 네트워크 액세스를 가능하게 하기 위한 모델로 정의된다. "클라우드 컴퓨팅"의 정의는 적절히 배치될 때 그러한 모델로부터 획득될 수 있는 다른 다수의 이점들 중 임의의 것으로 제한되지 않는다.
대안적으로, 또는 추가로, 본 명세서에 기술되는 기능은, 적어도 부분적으로, 하나 이상의 하드웨어 논리 컴포넌트에 의해 수행될 수 있다. 예를 들어, 그리고 제한 없이, 사용될 수 있는 하드웨어 논리 컴포넌트들의 예시적인 타입들은 필드 프로그래머블 게이트 어레이(FPGA), 프로그램 고유 집적 회로(ASIC), 프로그램 고유 표준 제품(ASSP), 시스템-온-칩 시스템(SOC), 복합 프로그램 가능 논리 장치(CPLD) 등을 포함한다.
I. 가상 카메라 장치
도 2는 카메라 시스템(200)에 대한 블록 다이어그램을 예시한다. 카메라 시스템(200)은 카메라(250)(예컨대, 열 이미징 카메라)가 고정 축 주위로 최대 360°까지 회전하는 것을 가능하게 한다. 최대 회전은 이미지가 캡처되는 것이 요구되는 "정지들"에 대응하는 다수의 위치를 포함한다. 특히 열 이미징 카메라와 관련하여, 카메라 교정에 관련된 요구들 때문에, 카메라는 이미지들을 일정한 프레임 레이트로 캡처할 수 있다. 캡처되는 스펙트럼은 약 800 nm 내지 약 1400 nm일 수 있다. 물론, 다른 스펙트럼들(예컨대, 가시광, 더 높거나 낮은 파장들)에 기초하는 이미지 데이터를 캡처 및 사용하도록 구성된 시스템들 내에 본 명세서에 개시되는 개념들을 채용하는 것이 가능할 수 있다. 이미지들을 일정한 프레임 레이트로 캡처할 때, 이미지들 중 일부는 지정된 "정지" 위치들 사이의 위치들에 대응할 수 있는 반면, 다른 이미지들은 "정지" 위치에 대응할 것이다. 이하에서 보다 상세히 기술될 바와 같이, "정지" 위치에 대응하는 그러한 이미지들만이 유지될 수 있다. 다른 이미지들은 폐기될 수 있다.
카메라(250)가 유지될 이미지들을 캡처하는 위치들은 본 명세서에서 정지 위치들로 지칭되는데, 그 이유는 카메라(250)가 선명한 이미지를 획득하기 위해, 카메라(250)가 정지해 있거나 순간적으로 정지되어야 하기 때문이다. 정지 위치는 카메라(250)가 이미지를 캡처하는 지정된 홈 위치(즉, "정지" 1)에 대해 각도 오프셋을 갖는 것으로서 특성화될 수 있다. 일부 구현들에서, 시스템은, 투과 광학 인코더와 함께, 구멍을 갖는 카메라 마운트를 이용함으로써 홈 위치를 결정할 수 있으며, 투과 광학 인코더는 카메라 마운트 내의 구멍이 인코더와 정렬된 때 홈 위치를 검출할 수 있다. 그러한 투과 광학 인코더는 1 비트 인코더일 수 있다. 다른 구현들에서는, 임의의 주어진 시간에 실제 카메라 위치의 더 세밀한 피드백을 가능하게 하기 위해 더 높은 해상도의 인코더가 사용될 수 있다.
카메라 시스템(200)은 회전당 임의의 수의 정지 위치들을 허용할 수 있다. 일 실시예에서, 정지 위치들의 수는 1 내지 16일 수 있다. 정지들은 동등하게 이격된 간격들로 배치될 수 있다. 예를 들어, 회전당 10개의 정지 위치 또는 정지는 10개의 정지가 36° 떨어져 배치되게 할 것이다. 카메라 시스템(200)은 각각의 원하는 정지 위치에서 선명한 이미지의 캡처를 용이하게 하기 위해 카메라가 각각의 정지 위치에서 순간적으로 정지하여 유지되는 것을 보장하기 위한 임의의 적합한 모터 메커니즘을 사용할 수 있다. 예를 들어, 스텝퍼 모터를 채용하여, 카메라(250)를 각각의 정지 위치에서 적절한 양의 시간 동안 정지 상태로 유지하여, 다음 정지 위치로 이동하기 전에 이미지를 획득할 수 있다. 예시적인 스텝퍼 모터 메커니즘의 상세들이 2014년 4월 9일자로 출원되고 발명의 명칭이 "스텝퍼 모터 제어 및 화재 검출 시스템(STEPPER MOTOR CONTROL AND FIRE DETECTION SYSTEM)"인 본 발명자들의 PCT 특허 출원 PCT/US/2014/033539호에 개시되어 있으며, 이 PCT 특허 출원은 전체적으로 본 명세서에 참고로 포함된다. 카메라가 각각의 정지 위치에서 순간적으로 정지하여 유지되는 복수의 정지 위치를 통해 카메라를 회전시키는 데 채용될 수 있는 모터 메커니즘의 다른 예는, 예를 들어 2014년 7월 8일자로 허여되고 발명의 명칭이 "자동화된 파노라마 카메라, 및 컴퓨터 및 선택적인 전력 공급 장치를 갖는 센서 플랫폼(AUTOMATED PANORAMIC CAMERA AND SENSOR PLATFORM WITH COMPUTER AND OPTIONAL POWER SUPPLY)"인 본 발명자들의 미국 특허 제8,773,503호에 기술된 바와 같은 기계적 캠 시스템을 포함하며, 이 미국 특허는 전체적으로 본 명세서에 참고로 포함된다. 위의 특허들 및 출원들에 기술된 바와 같은 모터 메커니즘들뿐만 아니라 임의의 다른 적합한 설계가 채용될 수 있다.
도 2에 도시된 바와 같이, 시스템은 2개의 프로세서, 즉 마이크로프로세서(210) 및 비디오 프로세서(240)를 사용할 수 있다. 마이크로프로세서(210)는 카메라(250)의 위치 및 타이밍을 관리할 수 있는 반면, 비디오 프로세서(240)는 카메라(250)로부터의 비디오를 처리할 수 있다. 2개의 프로세서의 사용은 마이크로프로세서(210)에 의한 카메라(250) 및 모터 동기화의 실시간 수행이 고처리량 비디오 프로세서(240)로부터 분리되는 것을 가능하게 한다. 대안적으로, 일부 구현들은 하나의 프로세서를 사용하여 카메라(250)의 위치 및 타이밍뿐만 아니라 비디오를 관리할 수 있다. 물론, 2개 초과의 프로세서가 대안적으로 채용될 수 있다.
일 구현에서, 카메라(250)로부터의 데이터는 슬립 링(slip ring)(260)들을 통과하며, 이는 카메라(250)가 상기에 기술된 바와 같이(간헐적인 매우 짧은 정지들을 갖는 연속 회전) 회전하는 것을 가능하게 한다. 카메라가 실제로 정지해 있는 기간들은 매우 짧기 때문에, 카메라는 연속적으로 회전하는 것으로 보일 수 있다. 일부 경우들에서, 카메라 프레임 레이트는 카메라 시스템(200)의 회전 속도 및 정지 레이트와 정확히 일치하지 않을 수 있어서, 단편 비디오 프레임들을 생성할 수 있다. 이어서, 디지털 스위치(230)를 사용하여, 임의의 원하지 않는 비디오 프레임들을 버릴 수 있다. 다시 말해서, 상기에 기술된 바와 같이, 일부 캡처되는 프레임들은 정지 위치들 중 하나에 대응할 수 있는 반면, 다른 캡처되는 프레임들은 카메라가 회전하고 있는 동안 캡처될 수 있다. 디지털 스위치(230)의 사용은 비디오 프로세서(240)로 하여금 원하지 않는 비디오 프레임들이 폐기되는 시간들 동안 수면하는 것을 가능하게 하며, 이에 따라 더 양호한 전력 효율을 생성한다. 물론, 시스템의 다른 실시예들에서, 비디오 프로세서(예컨대, ARM/DSP)는 수면하는 시간을 거의 또는 전혀 갖지 않을 수 있다.
이미지가 각각의 정지 위치에서 촬영되는 경우, 각각의 정지 위치는 개별 가상 카메라로서 표현될 수 있다. 가상 카메라는 단일 방향을 가리키는 정지 카메라와 같이 동작할 수 있다. 카메라 시스템(200)은 임의의 수의 정지 위치 및 대응하는 수의 가상 카메라를 지원할 수 있다. 일 실시예에서, 시스템(200)은 1개 내지 16개의 정지 위치, 및 1개 내지 16개의 가상 카메라를 포함할 수 있으며, 각각의 가상 카메라는 특정 정지 위치와 관련된다. 도 3a는 각각의 정지 위치가 물리적 공간에 어떻게 상관될 수 있는지를 예시하며, 이때 카메라(250)는 정지 위치 1(즉, 홈 위치)을 향한다. 도 3b는 카메라(250)가 정지 위치 5를 향하도록 회전한 것을 도시한다. 도 3a 및 도 3b에 도시된 바와 같이, 정지 위치들에 대해 사용되는 넘버링 시스템은 시계 방향으로 증가할 수 있다. 도 3a 및 도 3b는 8개의 정지 위치를 포함하는 예시적인 구성을 예시하지만, 더 많거나 적은 정지 위치가 제공될 수 있다는 것이 이해될 것이다. 예로서, 정지 위치들의 수는 2개 내지 약 30개, 4개 내지 약 20개, 또는 6개 내지 약 16개일 수 있다.
카메라가 순간적으로 정지되는 기간은 임의의 적합한 기간일 수 있다(예컨대, 카메라의 이미지 캡처 능력의 특성에 좌우될 수 있다). 일 실시예에서, 각각의 정지 기간(즉, 체류 기간)은 약 30 ms 내지 약 120 ms(예컨대, 약 60 ms)일 수 있다.
정지 위치에 대응하는, 카메라(250)에 의해 캡처된 각각의 이미지는 비디오 스트림으로 다중화되고, 비디오 프로세서(240)로 전송될 수 있다. 유지될, 카메라(250)에 의해 캡처된 각각의 이미지는 동일 인터페이스를 통해 카메라 밖으로 전송될 수 있다. 마이크로프로세서(210)는 유지될 이미지가 캡처될 때(즉, 이미지가 정지 위치에 대응함) 카메라(250)의 각도 오프셋(및 대응 정지 위치)을 관리 및 추적할 수 있다. 폐기될 이미지들(즉, 이미지가 정지 위치에 대응하지 않음)도 유지되는 이미지들과 동일한 인터페이스를 통해 디지털 스위치(230)로 전송될 수 있다. 디지털 스위치(230)에서, 폐기될 그러한 이미지들은, 비디오 프로세서(240)로 전송되기보다는, 분리 및 폐기될 수 있다.
비디오 프로세서(240)가 어떻게 동작할 수 있는지를 보여주는 예시적인 구현이 도 4에서 더 상세히 기술된다. 도 4를 참조하면, 비디오 역다중화 드라이버(430)는 비디오 스트림을 특정 정지 위치 또는 가상 카메라에 각각 대응하는 개별 이미지들(즉, 프레임들)로 분리한다. 예를 들어, 이 스테이지에서 언급되는 비디오 스트림은 상이한 정지 위치들에서 캡처된 유지될 이미지들을 포함할 수 있다. 역다중화 드라이버(430)는 마이크로프로세서(210)에 의해 추적된 위치 정보를 이용하여, 비디오 스트림의 각각의 이미지에 대한 대응 가상 카메라를 결정하여, 이미지들의, 그들의 적절한 가상 카메라 장치들에 대한 분류를 가능하게 할 수 있다. 도 4에 예시된 바와 같이, 각각의 이미지는, 일단 그러한 결정이 이루어지면, 저장 및 미래의 분석(예컨대, 동일 정지 위치로부터 인접한 시간에 촬영된 이미지들의 비교)을 위해 그의 대응 가상 카메라(401 내지 408)로 전송될 수 있다.
원할 경우, 상이한 정지 위치들로부터의 이미지들을 함께 짜집기하여 (예컨대, 최대 360°의) 파노라마 이미지를 생성할 수 있다. 본 실시예들의 이점은 임의의 그러한 짜집기가 선택 사항이고, 전형적으로 (한다고 해도) 현장에서는 실행되지 않는다는 것이다. 행해질 경우, 짜집기는 현장 밖에서 행해질 수 있어서, 현장 시스템(200)에 대한 총 전력 요구들이 약 10 와트 이하가 되는 것을 가능하게 하는데, 그 이유는 짜집기가 전력 및 컴퓨터 프로세서 집약적이기 때문이다.
일부 구현들에서, 주어진 가상 카메라 장치와 관련된 비디오 스트림은 주어진 이미지로부터 후속 이미지까지의 변화를 검출하기 위해 분석될 수 있다. 다시 말해서, 파노라마 이미지를 생성하기 위해 이미지들을 함께 짜집기하기보다는, 실행되는 분석은 이미지를 동일 정지 위치(및 이에 따라 동일 가상 카메라 장치)로부터 후속 캡처된 이미지(또는 앞서 캡처된 이미지)와 비교하여 임의의 변화들(예컨대, 객체의 온도 변화, 객체의 이동 등)을 검출하는 것을 포함할 수 있다. 예를 들어, 실행되는 분석은 본 발명자들의 이전의, 2014년 4월 9일자로 출원되고 발명의 명칭이 "스텝퍼 모터 제어 및 화재 검출 시스템(STEPPER MOTOR CONTROL AND FIRE DETECTION SYSTEM)"인 PCT 특허 출원 PCT/US/2014/033539호 및 2014년 4월 9일자로 출원되고 발명의 명칭이 "화재 검출 시스템(FIRE DETECTION SYSTEM)"인 PCT 특허 출원 PCT/US/2014/033547호에 논의된 바와 같이 화재 검출을 포함할 수 있으며, 이들 PCT 특허 출원 각각은 전체적으로 본 명세서에 참고로 포함된다.
열 이미지 데이터를 캡처하고, 열 이미지 데이터를 분석함으로써, 가시 스펙트럼 데이터에 비해 배경 마스킹이 단순화될 수 있어서, 객체 식별을 단순화할 수 있다.
태양 전지들을 통해 충전되는 배터리들을 이용하여 전력이 현장 시스템에 공급될 수 있으며, 이는 시스템이 최대 2년 또는 그 초과와 같은 긴 기간 동안 (예를 들어, 전력 그리드로부터 멀리 떨어진) 주어진 장소에 배치되는 것을 가능하게 할 수 있다. 수명은, 시스템 특성에 따라, 2년보다 짧거나 길 수 있다.
각각의 가상 카메라는 대응 정지 위치에 배치된 정지 카메라에 의해 획득될 것과 유사한 비디오 스트림을 가질 수 있다. 가상 카메라들의 시스템은 열 이미징 카메라(250)에 관해 현장에 존재할 수 있다. 일부 구현들에서, 가상 카메라 비디오 스트림의 프레임 레이트는, 카메라(250)가 회전당 한 번씩 각각의 정지를 통과하기 때문에, 모터(270)의 회전 속도와 동일하다. 다중화된 신호 프레임 레이트는 모터(270)의 회전 속도와 회전당 정지의 수를 곱한 것과 동일할 수 있다. 예를 들어, 회전당 16개의 정지를 갖고서 30 RPM으로 동작하는 시스템은 8 FPS(초당 프레임 수)의 다중화된 프레임 레이트를 가질 것이며, 각각의 가상 카메라 장치는 ½ FPS, 또는 2초당 1 프레임(예컨대, 30 RPM / 1분인 60초 = 0.5 FPS)의 프레임 레이트를 가질 것이다.
가상 카메라들의 사용은 분석 및 임의의 짜집기가 이미지 획득으로부터 분리되는 것을 가능하게 할 수 있다. 각각의 가상 카메라는 그 자신의 비디오 스트림을 가질 수 있기 때문에, 각각의 가상 카메라와 관련된 이미지들은 독립적으로 처리될 수 있다. 시스템(200)은 보통 숫자(예컨대, 시계 또는 반시계 방향) 순서로 이미지들을 캡처할 수 있지만, 홈 위치(즉, 정지 위치 1)로부터의 각도 오프셋이 가상 카메라의 정지 번호에 기초하여 알려져 있기 때문에, 분석 또는 임의의 짜집기는 원하는 임의의 순서로 갱신될 수 있다.
II. 지리적 장소 데이터
일부 구현들에서, 이미지가 캡처되는 카메라(250)의 위치는 실제 지리적 장소 데이터(예컨대, GPS 데이터)와 상관될 수 있다. 일단 지리적 장소 데이터에 기초하여 실제 카메라(250)가 배치된 곳이 알려지면, 카메라는 3D 지형 지도 상에 배치될 수 있다. 유사하게, 주어진 가상 카메라 장치(즉, 정지 위치)의 주어진 프레임의 개별 픽셀들에 대한 깊이 값들이 결정될 수 있다. 기울기 및 높이에 대해 정정들이 행해질 수 있다.
지리적 장소 데이터의 상관 및 깊이 값들의 결정에 대한 능력을 비롯한, 예시적인 화재 검출 시스템들의 추가 상세들이, 이미 전체적으로 참고로 포함된, 2014년 4월 9일자로 출원되고 발명의 명칭이 "화재 검출 시스템(FIRE DETECTION SYSTEM)"인 PCT 특허 출원 PCT/US/2014/033547호에서 확인된다.
지리적 장소 데이터를 카메라(250)의 위치와 상관시키는 것은 캡처된 이미지의 픽셀 위치들을 상관시키고, 열 이미징 카메라(250)의 지리적 장소에 기초하여 개별 열 이미징 카메라 이미지들의 픽셀 위치들에 대한 깊이 값들을 결정하는 것을 포함할 수 있지만, 이로 제한되지 않는다. 열 이미징 카메라(250)의 고도 및 배향이 주어지면, 이미지의 각각의 픽셀에 대한 거리 또는 깊이 값이, 예를 들어 전국 고도 데이터세트(National Elevation Dataset)로부터의 고도 데이터를 이용하여 계산될 수 있다.
주어진 픽셀과 관련될 깊이 값 계산은 각각의 픽셀이 지면과 교차하는 풍경을 가로질러 카메라로부터 투영되는 광선을 어떻게 표현하는지를 결정(예컨대, 계산)하기 위한 일련의 단계들에서 행해질 수 있다. 일반적으로, 이것은 (예컨대, 전국 고도 데이터세트로부터의) 고도 데이터를 이용하여 생성된 와이어프레임 지형 모델 상에 투영된 카메라 뷰를 이용하여 카메라 뷰의 각각의 렌더링된 픽셀이 와이어프레임과 교차할 곳을 추정하여 각각의 이미지 요소 또는 픽셀의 바닥의 개연성 있는 "z" 깊이 값을 계산함으로써 달성될 수 있다. 그러한 프로세스는, 투영된 높이가 소정 거리에서 고도 높이와 교차할 때까지, z 거리를 증가시킴으로써 실행되는 루프 프로세스를 채용할 수 있다.
이것은 카메라의 높이와 동일한 길이를 갖는 광선이 투영된 거리에서 지면과 교차하는지를 결정(예컨대, 계산)함으로써 행해질 수 있다. 이러한 결정은, 지면에 도달(예컨대, 교차)하거나 광선이 주어진 길이(예컨대, 30 킬로미터)를 초과할 때까지, 광선 길이를 주어진 양(예컨대, 1 데시미터)만큼 반복적으로 증가시킴으로써 반복될 수 있다. 그러한 초과 길이는 수평선의 렌더링을 돕는 데 사용될 수 있다. 교차점의 위도, 경도, 고도 및 거리에 대한 데이터가 저장될 수 있고, 결정(예컨대, 계산)이 열(column)의 다음 픽셀에 대해 반복될 수 있다. 이미지 내에서 바닥으로부터 위로 진행하면서, 일단 픽셀들의 열이 수평선에 도달하면, 결정은 새로운 열로 이동할 수 있다. 그러한 결정들 또는 계산들은 뷰의 가변 수직 필드, 뷰의 수평 필드, 고도 및 배향에 기초할 수 있다. 최종 데이터 세트를 이용하여, 주어진 거리에(예컨대, 100 미터마다) 배치되는 라인들로 거리를 (예컨대, 그레이 스케일로) 표시하는 이미지를 렌더링할 수 있다. 결정된 또는 계산된 이미지는 입력 변수들의 최종 조정을 위해 실제 이미지와 비교될 수 있다. 일단 완료되면, 최종 결과는 미래의 즉각적인 분석 능력을 위해 저장될 수 있는 "z" 깊이 값 지도를 제공할 것이다.
상기에 기술된 단계들의 예시에서, 640 x 512의 이미지는 대략 250,000번의 기술된 결정들의 반복을 필요로 할 수 있다.
일단 픽셀 위치들에 대한 깊이 값들이 결정되면, 이것은 이미지 내에서 캡처된 객체의 크기 또는 이동 속도의 결정을 가능하게 할 수 있다. 예를 들어, 이것은 들불의 크기 또는 이동 속도에 대한 정보를 제공할 수 있다. 이미지의 픽셀 위치들을 장소 데이터와 상관시키는 처리 및 각각의 픽셀과 관련된 깊이 값의 결정은 현장 밖에서 원격 사용자 인터페이스 단말기에서 수행될 수 있다. 이미지들의 주어진 픽셀들과 관련된 실제 깊이 값들은 현장에서의 저장 및 사용을 위해 카메라 시스템으로 중계될 수 있다.
현장에서 현장 밖으로의 또는 그 반대로의 임의의 데이터의 중계는 예를 들어 위성 링크 또는 네트워크, 셀룰러 링크 또는 네트워크, 와이파이 링크 또는 네트워크, 무선 송신, 유선 링크 또는 네트워크 등을 포함하지만 이로 제한되지 않는 임의의 적합한 메커니즘에 의해 이루어질 수 있다.
본 발명은 그의 사상 및 특성들로부터 벗어남이 없이 다른 특정 형태들로 구현될 수 있다. 기술된 실시예들은 모든 면에서 제한이 아니라 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 발명의 범주는 상기의 기술에 의하기보다는 첨부된 청구범위에 의해 나타내어진다. 청구범위의 등가의 의미 및 범위 내에 속하는 모든 변경들이 청구범위의 범주 내에 포함되어야 한다.

Claims (24)

  1. 복수의 가상 장치를 이용하여 파노라마 이미지 데이터의 개별 이미지 프레임들을 분석 및 분류하기 위한 현장 시스템(on-site system)으로서, 상기 시스템은,
    열 이미징 카메라(thermal imaging camera)를 복수의 정지 위치를 통해 회전시키기 위한, 상기 카메라가 장착되는 인덱싱 메커니즘(indexing mechanism);
    열 이미징 카메라 이미지들을 촬영하도록 구성된 열 이미징 카메라로서, 상기 열 이미징 카메라 이미지들 중 적어도 일부는 상기 열 이미징 카메라가 상기 복수의 정지 위치를 통해 회전함에 따라 정지 위치들에 대응하는, 상기 열 이미징 카메라;
    임의의 정지 위치에 대응하는 열 이미징 카메라 이미지들이 유지되도록, 상기 정지 위치들 중 어느 것에도 대응하지 않는 임의의 열 이미징 카메라 이미지들을 폐기하도록 구성된 다중화 및 분석 모듈
    을 포함하며,
    상기 다중화 및 분석 모듈은 유지된 열 이미징 카메라 이미지들의 비디오 스트림을 개별 열 이미징 카메라 이미지들로 분리하고 상기 유지된 열 이미징 카메라 이미지들을 대응 가상 카메라 장치에 대해 저장함으로써 상기 유지된 열 이미징 카메라 이미지들의 상기 비디오 스트림을 처리하도록 구성되고,
    상기 가상 카메라 장치들 각각은 특정 정지 위치에 대응하고, 상기 가상 카메라 장치들은 상기 열 이미징 카메라에 관해 현장에 존재하며,
    상기 다중화 및 분석 모듈은 상기 유지된 열 이미징 카메라 이미지들을 현장에서 파노라마로 함께 짜집기(stitching)하지 않도록 구성되어, 상기 열 이미징 카메라, 상기 카메라를 회전시키기 위한 상기 인덱싱 메커니즘, 및 상기 가상 카메라 장치들에 대한 이미지들을 분류하기 위한 상기 다중화 및 분석 모듈을 포함하는 상기 현장 시스템에 대한 총 전력 요구들이 약 10 와트 이하인, 현장 시스템.
  2. 제1항에 있어서, 상기 열 이미징 카메라는 상기 열 이미징 카메라 이미지들을 일정한 프레임 레이트(frame rate)로 촬영하는, 현장 시스템.
  3. 제1항에 있어서, 태양 전지들을 통해 충전되는 배터리들에 의해 전력이 상기 현장 시스템에 공급되어, 상기 시스템이 최대 2년 동안 방치되는 장소에 배치되는 것을 가능하게 하는, 현장 시스템.
  4. 제1항에 있어서, 상기 다중화 및 분석 모듈은 열 이미징 카메라 이미지가 캡처되는 홈 위치에 대한 각도 오프셋을 추적하는 것을 비롯해, 상기 열 이미징 카메라의 위치 및 타이밍을 관리하도록 구성된 제1 프로세서, 및 상기 비디오 스트림을 대응 가상 카메라 장치에 대해 저장될 개별 열 이미징 카메라 이미지들로 분리하는 것을 비롯해, 상기 열 이미징 카메라로부터의 상기 비디오 스트림을 처리하도록 구성된 비디오 프로세서인 제2 프로세서를 포함하는, 현장 시스템.
  5. 제4항에 있어서, 상기 현장 다중화 및 분석 모듈은 유지된 열 이미징 카메라 이미지들의 상기 비디오 스트림을 분리하여, 상기 대응 가상 카메라 장치에 대해 저장될 상기 유지된 이미지들을 분류하는 역다중화 드라이버를 포함하는, 현장 시스템.
  6. 제5항에 있어서, 상기 역다중화 드라이버는 상기 제1 프로세서에 의해 제공되는 위치 정보를 이용하여 주어진 이미지가 어느 정지 위치에 대응하는지를 결정하는, 현장 시스템.
  7. 제0항에 있어서, 상기 다중화 및 분석 모듈은, 임의의 정지 위치에 대응하는 열 이미징 카메라 이미지들이 유지되도록, 어떠한 정지 위치에도 대응하지 않는 상기 열 이미징 카메라 이미지들을 폐기하도록 구성된 디지털 스위치를 포함하는, 현장 시스템.
  8. 제7항에 있어서, 상기 다중화 및 분석 모듈은 유지된 열 이미징 카메라 이미지들의 상기 비디오 스트림을 대응 가상 카메라 장치에 대해 저장되는 개별 열 이미징 카메라 이미지들로 분리함으로써 유지된 열 이미징 카메라 이미지들의 상기 비디오 스트림을 처리하도록 구성된 비디오 프로세서를 포함하는, 현장 시스템.
  9. 제8항에 있어서, 상기 유지된 열 이미징 카메라 이미지들은 상기 카메라로부터 슬립 링(slip ring)들을 통해 상기 다중화 및 분석 모듈의 상기 디지털 스위치로 전송되어, 상기 카메라가 연속적으로 회전할 수 있는, 현장 시스템.
  10. 제8항에 있어서, 상기 디지털 스위치는 임의의 정지 위치에 대응하는 이미지들 및 어떠한 정지 위치에도 대응하지 않는 이미지들 둘 모두를 수신하며, 상기 디지털 스위치는 어떠한 지정된 정지 위치에도 대응하지 않는 이미지들을 폐기하고, 임의의 정지 위치에 대응하는 이미지들은 상기 비디오 프로세서로 전송되는, 현장 시스템.
  11. 제10항에 있어서, 상기 비디오 프로세서는 임의의 정지 위치에 대응하는 이미지들만을 수신하여, 상기 비디오 프로세서가 상기 디지털 스위치에 의한, 어떠한 지정된 정지 위치에도 대응하지 않는 이미지들의 폐기 동안 수면(sleep)할 수 있어서, 상기 현장 시스템의 전력 효율을 증가시키는, 현장 시스템.
  12. 제1항에 있어서, 상기 카메라는 각각의 정지 위치에 대응하는 이미지들을 캡처할 때 물리적으로 정지해 있는, 현장 시스템.
  13. 제1항에 있어서, 상기 카메라는 어떠한 지정된 정지 위치에도 대응하지 않는 이미지들을 캡처할 때 물리적으로 정지해 있지 않은, 현장 시스템.
  14. 제1항에 있어서, 상기 현장 시스템은 1개 내지 16개의 정지 위치 및 대응 가상 카메라 장치를 포함하는, 현장 시스템.
  15. 제1항에 있어서, 상기 카메라에 의해 캡처된 각각의 이미지는 동일 인터페이스를 통해 상기 카메라 밖으로 전송되는, 현장 시스템.
  16. 제1항에 있어서, 상기 시스템은 또한 주어진 열 이미징 카메라 이미지의 픽셀 위치들에 대한 깊이 값들을 결정하도록 구성되는, 현장 시스템.
  17. 복수의 가상 장치를 이용하여 파노라마 이미지 데이터의 개별 이미지 프레임들을 분석 및 분류하기 위한 방법으로서, 상기 방법은,
    복수의 정지 위치를 통해 회전하는 열 이미징 카메라로부터 열 이미징 카메라 이미지들을 획득하는 단계로서, 상기 열 이미징 카메라는 열 이미징 카메라 이미지들을 촬영하고, 상기 열 이미징 카메라 이미지들 중 적어도 일부는 상기 열 이미징 카메라가 상기 복수의 정지 위치를 통해 회전함에 따라 정지 위치들에 대응하는, 상기 획득 단계;
    임의의 정지 위치에 대응하는 열 이미징 카메라 이미지들을 유지하는 단계;
    어떠한 지정된 정지 위치에도 대응하지 않는 임의의 열 이미징 카메라 이미지들을 폐기하는 단계;
    유지된 열 이미징 카메라 이미지들을 비디오 스트림으로 비디오 프로세서에 전송하는 단계;
    상기 비디오 스트림을 개별 열 이미징 카메라 이미지들로 분리하고, 상기 열 이미징 카메라 이미지들을 특정 정지 위치에 대응하는 대응 가상 카메라 장치에 대해 저장하는 단계로서, 상기 가상 카메라 장치들은 상기 열 이미징 카메라에 관해 현장에 존재하는, 상기 분리 및 저장 단계
    를 포함하며,
    상기 열 이미징 카메라 이미지들은 현장에서 파노라마로 함께 짜집기되지 않아서, 상기 열 이미징 카메라, 상기 카메라를 회전시키기 위한 인덱싱 메커니즘, 및 상기 가상 카메라 장치들에 대한 이미지들을 분류하기 위한 다중화 및 분석 모듈을 포함하는 현장 시스템에 대한 총 전력 요구들이 약 10 와트 이하인, 방법.
  18. 제17항에 있어서, 각각의 정지 위치로부터의 상기 개별 열 이미징 카메라 이미지들은 주어진 이미지로부터 후속 이미지까지의 변화를 검출하기 위해 비디오 스트림으로서 분석되는, 방법.
  19. 제17항에 있어서, 각각의 정지 위치로부터의 상기 개별 열 이미징 카메라 이미지들은 함께 짜집기되어 최대 360o의 파노라마 이미지를 생성하며, 상기 짜집기는 현장 밖에서 사용자 인터페이스에서 수행되는, 방법.
  20. 제17항에 있어서,
    상기 열 이미징 카메라의 위치를 지리적 장소 데이터와 상관시키는 단계;
    주어진 열 이미징 카메라 이미지의 픽셀 위치들을 지리적 장소 데이터와 상관시키는 단계; 및
    상기 열 이미징 카메라의 상기 지리적 장소에 적어도 부분적으로 기초하여, 주어진 열 이미징 카메라 이미지의 픽셀 위치들에 대한 깊이 값들을 결정하는 단계
    를 추가로 포함하는, 방법.
  21. 파노라마 이미지의 개별 이미지 프레임의 픽셀 위치들에 대한 깊이 값들의 결정을 포함하는, 지리적 장소 데이터를 상관시키기 위한 방법으로서, 상기 방법은,
    복수의 정지 위치를 통해 회전하는 단일 열 이미징 카메라로부터 열 이미징 카메라 이미지들을 획득하는 단계로서, 상기 열 이미징 카메라는 열 이미징 카메라 이미지들을 촬영하고, 상기 열 이미징 카메라 이미지들 중 적어도 일부는 상기 열 이미징 카메라가 상기 복수의 정지 위치를 통해 회전함에 따라 정지 위치들에 대응하는, 상기 획득 단계;
    상기 열 이미징 카메라의 위치를 지리적 장소 데이터와 상관시키는 단계;
    주어진 열 이미징 카메라 이미지의 픽셀 위치들을 지리적 장소 데이터와 상관시키는 단계; 및
    상기 열 이미징 카메라의 상기 지리적 장소에 적어도 부분적으로 기초하여, 주어진 열 이미징 카메라 이미지의 픽셀 위치들에 대한 깊이 값들을 결정하는 단계
    를 포함하는, 방법.
  22. 제21항에 있어서, 상기 열 이미징 카메라 이미지들에 나타난 객체의 크기 또는 이동 속도를 결정하기 위해, 주어진 열 이미징 카메라 이미지의 픽셀 위치에 대한 주어진 깊이 값이 동일 정지 위치로부터의 이전에 또는 나중에 획득된 열 이미징 카메라 이미지와 비교되는, 방법.
  23. 제21항에 있어서, 이미지의 픽셀 위치들을 장소 데이터와 상관시키고 각각의 픽셀과 관련된 깊이 값을 결정하는 처리는 현장 밖에서 원격 사용자 인터페이스 단말기에서 수행되는, 방법.
  24. 제23항에 있어서, 깊이 정보가 현장 시스템 상에의 저장을 위해 카메라 시스템 현장으로 중계되는, 방법.
KR1020167006217A 2013-08-09 2014-08-06 복수의 가상 장치를 이용하여 열 이미지 데이터를 분석하기 위한 방법들 및 깊이 값들을 이미지 픽셀들에 상관시키기 위한 방법들 KR102248161B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361864196P 2013-08-09 2013-08-09
US61/864,196 2013-08-09
PCT/US2014/049986 WO2015021186A1 (en) 2013-08-09 2014-08-06 Methods for analyzing thermal image data using a plurality of virtual devices and methods for correlating depth values to image pixels

Publications (2)

Publication Number Publication Date
KR20160042972A true KR20160042972A (ko) 2016-04-20
KR102248161B1 KR102248161B1 (ko) 2021-05-04

Family

ID=52461914

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167006217A KR102248161B1 (ko) 2013-08-09 2014-08-06 복수의 가상 장치를 이용하여 열 이미지 데이터를 분석하기 위한 방법들 및 깊이 값들을 이미지 픽셀들에 상관시키기 위한 방법들

Country Status (8)

Country Link
US (5) US9348196B1 (ko)
EP (1) EP3030935B1 (ko)
JP (1) JP6581086B2 (ko)
KR (1) KR102248161B1 (ko)
CN (2) CN105264439A (ko)
BR (1) BR112016002720B1 (ko)
MX (1) MX360725B (ko)
WO (1) WO2015021186A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2008639C2 (en) * 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
US9685896B2 (en) 2013-04-09 2017-06-20 Thermal Imaging Radar, LLC Stepper motor control and fire detection system
US9390604B2 (en) 2013-04-09 2016-07-12 Thermal Imaging Radar, LLC Fire detection system
BR112016002720B1 (pt) 2013-08-09 2021-11-23 Thermal Imaging Radar, LLC Sistema local e método para analisar e classificar quadros de imagem individuais de dados de imagem panorâmica
WO2016160794A1 (en) 2015-03-31 2016-10-06 Thermal Imaging Radar, LLC Setting different background model sensitivities by user defined regions and background filters
USD776181S1 (en) 2015-04-06 2017-01-10 Thermal Imaging Radar, LLC Camera
JP6582805B2 (ja) * 2015-09-25 2019-10-02 富士通株式会社 符号化装置、符号化システム、符号化方法、及びプログラム
CN109564376B (zh) * 2016-03-10 2021-10-22 维斯比特股份有限公司 时间复用可编程视场成像
US9888179B1 (en) * 2016-09-19 2018-02-06 Google Llc Video stabilization for mobile devices
CN106652300B (zh) * 2016-12-23 2019-03-15 中科星图股份有限公司 一种应用于林区的火点监测方法
CN107424182B (zh) * 2017-05-03 2024-04-12 北京海顿中科技术有限公司 一种热成像现场监控装置及方法
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
EP3553697B1 (en) 2018-04-13 2023-06-07 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
CN108520615B (zh) * 2018-04-20 2020-08-25 吉林省林业科学研究院 一种基于图像的火灾识别系统和方法
US10871394B2 (en) * 2018-08-03 2020-12-22 Pixart Imaging Inc. Optical sensor assembly
US11280500B2 (en) 2018-08-03 2022-03-22 Pixart Imaging Inc. Auto detection system based on thermal signals
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device
CN111726522B (zh) * 2020-06-12 2021-06-11 上海摩勤智能技术有限公司 一种人脸识别设备控制方法及装置
KR102448584B1 (ko) * 2022-02-24 2022-09-29 케비스전자 주식회사 회전 멀티어레이 써모폴리센서를 이용한 파노라마 열화상 온도 모니터링 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000236461A (ja) * 1999-02-17 2000-08-29 Fujitsu Ltd 電子装置
JP2006013832A (ja) * 2004-06-25 2006-01-12 Nippon Hoso Kyokai <Nhk> 映像撮影装置および映像撮影プログラム
US20120314066A1 (en) * 2011-06-10 2012-12-13 Lee Yeu Yong Fire monitoring system and method using composite camera
US20130162761A1 (en) * 2010-08-31 2013-06-27 Raul Goldemann Rotary image generator
US20130188010A1 (en) * 2012-01-20 2013-07-25 Thermal Imaging Radar, LLC Automated panoramic camera and sensor platform with computer and optional power supply

Family Cites Families (200)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3336810A (en) 1964-04-28 1967-08-22 Sperry Rand Corp Antifriction support means for gyroscopes
US3648384A (en) 1970-04-07 1972-03-14 Borg Warner Turntable drive release mechanism
US3769501A (en) 1973-01-02 1973-10-30 Gte Sylvania Inc Selective actuating mechanism for percussive photoflash lamp array
US4977323A (en) * 1973-08-16 1990-12-11 The United States Of America As Represented By The Secretary Of The Navy 360 degree infrared surveillance with panoramic display
US3883788A (en) 1973-10-26 1975-05-13 Sperry Sun Well Surveying Co Gyroscope orientation controller
US4263513A (en) 1979-02-28 1981-04-21 Compagnie Generale De Radiologie Apparatus for panoramic radiography
US4465959A (en) 1981-07-21 1984-08-14 Epson Corporation Step motor drive control
US4602857A (en) 1982-12-23 1986-07-29 James H. Carmel Panoramic motion picture camera and method
GB2189329B (en) 1986-03-03 1990-10-24 Canon Kk Camera
US4710691A (en) 1986-03-27 1987-12-01 Anacomp, Inc. Process and apparatus for characterizing and controlling a synchronous motor in microstepper mode
JPH02188196A (ja) 1989-01-13 1990-07-24 Copal Co Ltd ステッピングモータの駆動制御方法
US4922275A (en) 1989-09-25 1990-05-01 Burle Technologies, Inc. Automatic panoramic camera mount
US6088534A (en) 1990-09-19 2000-07-11 Minolta Co., Ltd. Camera having an aperture controllable shutter
US5990941A (en) 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US5652643A (en) * 1992-03-17 1997-07-29 Sony Corporation Photographic and video image system
US5650813A (en) * 1992-11-20 1997-07-22 Picker International, Inc. Panoramic time delay and integration video camera system
BR9301438A (pt) * 1993-04-05 1994-11-15 Petroleo Brasileiro Sa Processo de preparação de catalisador esférico tipo ziegler para polimerização de alfa-olefinas, catalisador esférico, processo de obtenção de polietileno esférico de altíssimo peso molecular e polietileno esférico de altíssimo pelo molecular
US5453618A (en) * 1994-01-31 1995-09-26 Litton Systems, Inc. Miniature infrared line-scanning imager
US5598207A (en) 1994-04-12 1997-01-28 Hughes Electronics Camera pointing mechanism using proximate magnetic sensing
US7724278B2 (en) 1995-05-30 2010-05-25 Maguire Francis J Jr Apparatus with moveable headrest for viewing images from a changing direction-of-view
US20070061735A1 (en) 1995-06-06 2007-03-15 Hoffberg Steven M Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5752113A (en) 1995-12-22 1998-05-12 Borden; John Panoramic indexing camera mount
USD381997S (en) 1996-01-30 1997-08-05 Sony Corporation Video camera
US5790183A (en) 1996-04-05 1998-08-04 Kerbyson; Gerald M. High-resolution panoramic television surveillance system with synoptic wide-angle field of view
US6133943A (en) * 1996-09-30 2000-10-17 Intel Corporation Method and apparatus for producing a composite image
JP4332231B2 (ja) * 1997-04-21 2009-09-16 ソニー株式会社 撮像装置コントローラおよび撮像システム
US6545701B2 (en) 1997-08-13 2003-04-08 Georgia Tech Research Corporation Panoramic digital camera system and method
US6229546B1 (en) 1997-09-09 2001-05-08 Geosoftware, Inc. Rapid terrain model generation with 3-D object features and user customization interface
US6034716A (en) * 1997-12-18 2000-03-07 Whiting; Joshua B. Panoramic digital camera system
US6304284B1 (en) * 1998-03-31 2001-10-16 Intel Corporation Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera
US6304285B1 (en) 1998-06-16 2001-10-16 Zheng Jason Geng Method and apparatus for omnidirectional imaging
US6628338B1 (en) 1998-07-08 2003-09-30 Elbex Video Ltd. Direct drive electric motor apparatus incorporating slip ring assembly
US7023913B1 (en) 2000-06-14 2006-04-04 Monroe David A Digital security multimedia sensor
US20030025599A1 (en) 2001-05-11 2003-02-06 Monroe David A. Method and apparatus for collecting, sending, archiving and retrieving motion video and still images and notification of detected events
US6195204B1 (en) 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
EP1114141A4 (en) 1998-09-18 2004-04-14 Paul E Kerouac CONTAINER COMPOSTING METHOD AND APPARATUS
US6023588A (en) * 1998-09-28 2000-02-08 Eastman Kodak Company Method and apparatus for capturing panoramic images with range data
US6215115B1 (en) 1998-11-12 2001-04-10 Raytheon Company Accurate target detection system for compensating detector background levels and changes in signal environments
US20150297949A1 (en) 2007-06-12 2015-10-22 Intheplay, Inc. Automatic sports broadcasting system
JP2000156806A (ja) * 1998-11-20 2000-06-06 Sony Corp ビデオカメラ装置
JP2000243062A (ja) 1999-02-17 2000-09-08 Sony Corp 映像記録装置および映像記録方法、ならびに集中監視記録システム。
US6539162B1 (en) * 1999-03-30 2003-03-25 Eastman Kodak Company Photographing a panoramic image produced from a captured digital image
US6738073B2 (en) 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US6327327B1 (en) * 1999-09-27 2001-12-04 Picker International, Inc. Multi-channel segmented slip ring
JP4439045B2 (ja) 1999-10-07 2010-03-24 日本電産コパル株式会社 ステップモータ駆動装置
US6678001B1 (en) * 1999-11-01 2004-01-13 Elbex Video Ltd. Ball shaped camera housing with simplified positioning
JP2001154295A (ja) * 1999-11-30 2001-06-08 Matsushita Electric Ind Co Ltd 全方位視覚カメラ
US20010026684A1 (en) 2000-02-03 2001-10-04 Alst Technical Excellence Center Aid for panoramic image creation
US7129971B2 (en) 2000-02-16 2006-10-31 Immersive Media Company Rotating scan self-cleaning camera
WO2001089221A1 (en) 2000-05-18 2001-11-22 Imove Inc. Multiple camera video system which displays selected images
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788333B1 (en) 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
USD435577S (en) 2000-07-27 2000-12-26 Mcbride Richard L Video camera housing
US6677982B1 (en) * 2000-10-11 2004-01-13 Eastman Kodak Company Method for three dimensional spatial panorama formation
US20110058036A1 (en) * 2000-11-17 2011-03-10 E-Watch, Inc. Bandwidth management and control
US7126630B1 (en) 2001-02-09 2006-10-24 Kujin Lee Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method
JP2002314846A (ja) 2001-04-09 2002-10-25 Toshiba Corp 撮像装置および駆動装置
US6586898B2 (en) 2001-05-01 2003-07-01 Magnon Engineering, Inc. Systems and methods of electric motor control
US6782363B2 (en) 2001-05-04 2004-08-24 Lucent Technologies Inc. Method and apparatus for performing real-time endpoint detection in automatic speech recognition
KR200252100Y1 (ko) 2001-08-07 2001-11-23 정운기 폐쇄회로 텔레비전용 불렛 카메라
US7940299B2 (en) 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
US6948402B1 (en) 2001-09-12 2005-09-27 Centricity Corporation Rotary work table with cycloidal drive gear system
JP2003123157A (ja) * 2001-10-15 2003-04-25 Masahiro Aoki 環境災害防止機能を備えた建造物及び環境警備システム
JP4010444B2 (ja) 2002-02-28 2007-11-21 シャープ株式会社 全方位監視制御システム、全方位監視制御方法および全方位監視制御プログラム
US6788198B2 (en) 2002-03-12 2004-09-07 Bob F. Harshaw System for verifying detection of a fire event condition
US7259496B2 (en) 2002-04-08 2007-08-21 University Of North Carolina At Charlotte Tunable vibratory actuator
JP3925299B2 (ja) 2002-05-15 2007-06-06 ソニー株式会社 モニタリングシステムおよび方法
BR0215800A (pt) 2002-07-16 2005-03-01 Gs Gestione Sistemi S R L Sistema e método de monitoramento ambiental
US7419375B2 (en) 2002-08-19 2008-09-02 Ormco Corporation Aesthetic self-ligating orthodontic bracket
JP4048907B2 (ja) 2002-10-15 2008-02-20 セイコーエプソン株式会社 複数の画像データのパノラマ合成
US20040075741A1 (en) * 2002-10-17 2004-04-22 Berkey Thomas F. Multiple camera image multiplexer
USD482712S1 (en) 2003-01-07 2003-11-25 Joe Hsu Digital camera
US7157879B2 (en) 2003-01-30 2007-01-02 Rensselaer Polytechnic Institute On-hardware optimization of stepper-motor system performance
US20040179098A1 (en) 2003-02-25 2004-09-16 Haehn Craig S. Image reversing for infrared camera
USD486847S1 (en) 2003-04-09 2004-02-17 Sony Corporation Video camera
US6809887B1 (en) * 2003-06-13 2004-10-26 Vision Technologies, Inc Apparatus and method for acquiring uniform-resolution panoramic images
US8824730B2 (en) 2004-01-09 2014-09-02 Hewlett-Packard Development Company, L.P. System and method for control of video bandwidth based on pose of a person
US7436438B2 (en) 2004-03-16 2008-10-14 Creative Technology Ltd. Digital still camera and method of forming a panoramic image
US7487029B2 (en) 2004-05-21 2009-02-03 Pratt & Whitney Canada Method of monitoring gas turbine engine operation
US6991384B1 (en) 2004-05-27 2006-01-31 Davis Robert C Camera tripod rotating head
JP2006013923A (ja) 2004-06-25 2006-01-12 Sony Corp 監視装置
JP2006033257A (ja) * 2004-07-14 2006-02-02 Fujitsu Ltd 画像配信装置
WO2006040687A2 (en) 2004-07-19 2006-04-20 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
US7381952B2 (en) 2004-09-09 2008-06-03 Flir Systems, Inc. Multiple camera systems and methods
USD520548S1 (en) 2004-10-26 2006-05-09 Inventec Multimedia & Telecom Corporation Image recorder
US20060179463A1 (en) 2005-02-07 2006-08-10 Chisholm Alpin C Remote surveillance
TWI427440B (zh) 2005-04-06 2014-02-21 Kodak Graphic Comm Canada Co 用於校正影像化規則圖案的條帶之方法與裝置
JP2006333133A (ja) 2005-05-26 2006-12-07 Sony Corp 撮像装置、撮像方法、プログラム、プログラム記録媒体並びに撮像システム
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
CN1971336A (zh) * 2005-11-22 2007-05-30 三星电子株式会社 光偏转器
JP4740723B2 (ja) 2005-11-28 2011-08-03 富士通株式会社 画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法
US7460773B2 (en) 2005-12-05 2008-12-02 Hewlett-Packard Development Company, L.P. Avoiding image artifacts caused by camera vibration
USD544111S1 (en) 2006-02-08 2007-06-05 Koninklijke Philips Electronics N.V. Dual-function night lamp
JP2007271869A (ja) * 2006-03-31 2007-10-18 Digital Service International Co Ltd 画像処理による地図作成方法、その装置及びそのコンピュータプログラム
EP1876828B1 (en) 2006-07-03 2016-10-26 Axis AB Method and apparatus for configuring parameter values for cameras
US9369679B2 (en) 2006-11-07 2016-06-14 The Board Of Trustees Of The Leland Stanford Junior University System and process for projecting location-referenced panoramic images into a 3-D environment model and rendering panoramic images from arbitrary viewpoints within the 3-D environment model
US20080159732A1 (en) 2006-12-29 2008-07-03 Stuart Young Positioning device
CN101641581B (zh) 2007-03-13 2012-11-07 T·梅克兰 用于摄像机支持地检测气态的化学反应产物的辐射强度的方法以及该方法的应用和相应的设备
CA2680813C (en) 2007-03-16 2016-06-14 Kollmorgen Corporation System for panoramic image processing
JP2008236632A (ja) * 2007-03-23 2008-10-02 Hitachi Ltd 画像処理装置及びその方法
US7949172B2 (en) 2007-04-27 2011-05-24 Siemens Medical Solutions Usa, Inc. Iterative image processing
KR100882011B1 (ko) 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
US7863851B2 (en) 2007-08-22 2011-01-04 National Instruments Corporation Closed loop stepper motor control
US8041116B2 (en) 2007-09-27 2011-10-18 Behavioral Recognition Systems, Inc. Identifying stale background pixels in a video analysis system
KR20090067762A (ko) 2007-12-21 2009-06-25 삼성전기주식회사 리플로우 공정 적용이 가능한 카메라 모듈
US8139113B2 (en) 2007-12-26 2012-03-20 Utc Fire & Security Americas Corporation, Inc. Method and system for operating a camera assembly
US8355042B2 (en) 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
TW201001338A (en) 2008-06-16 2010-01-01 Huper Lab Co Ltd Method of detecting moving objects
PL2319236T3 (pl) 2008-07-23 2012-08-31 Nxp Bv Konwersja w górę częstotliwości wyświetlania klatek
US9185361B2 (en) 2008-07-29 2015-11-10 Gerald Curry Camera-based tracking and position determination for sporting events using event information and intelligence data extracted in real-time from position information
KR101030719B1 (ko) 2008-09-25 2011-04-22 주식회사 로텍 센서 마그네트를 부착한 슬립링
US8223206B2 (en) 2008-10-15 2012-07-17 Flir Systems, Inc. Infrared camera filter wheel systems and methods
CN102362226B (zh) 2008-12-05 2014-11-05 麦克罗尼克迈达塔有限责任公司 用于在工件上写入或读取图像的旋转臂
US7991575B2 (en) 2009-01-08 2011-08-02 Trimble Navigation Limited Method and system for measuring angles based on 360 degree images
WO2010093408A1 (en) 2009-02-10 2010-08-19 Thomson Licensing Video matting based on foreground-background constraint propagation
GB0908200D0 (en) * 2009-05-13 2009-06-24 Red Cloud Media Ltd Method of simulation of a real physical environment
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8499239B2 (en) 2009-08-28 2013-07-30 Microsoft Corporation Globe container
CN101719299B (zh) 2009-11-10 2012-03-28 天津市浦海新技术有限公司 一种火灾、可燃气体报警系统及方法
KR20110052124A (ko) 2009-11-12 2011-05-18 삼성전자주식회사 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
WO2011085535A1 (zh) * 2010-01-12 2011-07-21 Tsai Chwei-Jei 适用于保特瓶的瓶盖及其制造方法
US8905311B2 (en) 2010-03-11 2014-12-09 Flir Systems, Inc. Infrared camera with infrared-transmissive dome systems and methods
JP2011199750A (ja) * 2010-03-23 2011-10-06 Olympus Corp 撮像端末、外部端末、撮像システム、及び撮像方法
JP2011239195A (ja) * 2010-05-11 2011-11-24 Sanyo Electric Co Ltd 電子機器
US8625897B2 (en) 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
WO2012007049A1 (en) * 2010-07-16 2012-01-19 Iplink Limited Flash system for multi-aperture imaging
USD640721S1 (en) 2010-08-09 2011-06-28 Scott Satine Cannon-shaped, low-light video camera for marine use
JP5645566B2 (ja) * 2010-09-17 2014-12-24 キヤノン株式会社 撮像装置及びその制御方法、プログラム
JP5249297B2 (ja) 2010-09-28 2013-07-31 シャープ株式会社 画像編集装置
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
DE202011110887U1 (de) 2010-11-24 2017-02-21 Google Inc. Wiedergeben und navigieren fotografischer Panoramen mit Tiefeninformationen in einem geographischen Informationssystem
AU2011332885B2 (en) 2010-11-24 2016-07-07 Google Llc Guided navigation through geo-located panoramas
JP2012113204A (ja) * 2010-11-26 2012-06-14 Canon Inc 撮像装置
US20120133639A1 (en) 2010-11-30 2012-05-31 Microsoft Corporation Strip panorama
CA140587S (en) 2010-12-03 2012-01-20 Riegl Laser Measurement Sys Camera
US8717381B2 (en) 2011-01-11 2014-05-06 Apple Inc. Gesture mapping for image filter input parameters
US20120194564A1 (en) * 2011-01-31 2012-08-02 White Christopher J Display with secure decompression of image signals
US9930225B2 (en) 2011-02-10 2018-03-27 Villmer Llc Omni-directional camera and related viewing software
GB201102794D0 (en) 2011-02-17 2011-03-30 Metail Ltd Online retail system
CN102176270A (zh) 2011-02-25 2011-09-07 广州飒特电力红外技术有限公司 安全监控及火灾预警一体化系统及方法
US8907968B2 (en) 2011-03-31 2014-12-09 Panasonic Corporation Image rendering device, image rendering method, and image rendering program for rendering stereoscopic panoramic images
US8970665B2 (en) 2011-05-25 2015-03-03 Microsoft Corporation Orientation-based generation of panoramic fields
CN102280005B (zh) 2011-06-09 2014-10-29 广州飒特红外股份有限公司 基于红外热成像技术的森林防火预警系统及方法
US8773501B2 (en) 2011-06-20 2014-07-08 Duco Technologies, Inc. Motorized camera with automated panoramic image capture sequences
JP5875265B2 (ja) 2011-07-04 2016-03-02 キヤノン株式会社 ステッピングモータの駆動制御装置および駆動制御方法、駆動制御システムならびに光学機器
US8718922B2 (en) 2011-07-28 2014-05-06 Navteq B.V. Variable density depthmap
US9000371B2 (en) 2011-08-26 2015-04-07 Custom Scene Technology, Inc. Camera, computer program and method for measuring thermal radiation and thermal rates of change
US9274595B2 (en) 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
US20130249947A1 (en) 2011-08-26 2013-09-26 Reincloud Corporation Communication using augmented reality
US9127597B2 (en) 2011-09-23 2015-09-08 The Boeing Company Sensor system
US9116011B2 (en) 2011-10-21 2015-08-25 Here Global B.V. Three dimensional routing
US9071740B1 (en) * 2011-10-28 2015-06-30 Google Inc. Modular camera system
US9171384B2 (en) * 2011-11-08 2015-10-27 Qualcomm Incorporated Hands-free augmented reality for wireless communication devices
US9111147B2 (en) 2011-11-14 2015-08-18 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
AU2011265429B2 (en) 2011-12-21 2015-08-13 Canon Kabushiki Kaisha Method and system for robust scene modelling in an image sequence
US9024765B2 (en) 2012-01-11 2015-05-05 International Business Machines Corporation Managing environmental control system efficiency
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
GB2512242A (en) * 2012-01-18 2014-09-24 Logos Technologies Llc Method, device, and system for computing a spherical projection image based on two-dimensional images
USD695809S1 (en) 2012-06-01 2013-12-17 Panasonic Corporation Camera
US9361730B2 (en) 2012-07-26 2016-06-07 Qualcomm Incorporated Interactions of tangible and augmented reality objects
US9380222B2 (en) 2012-12-04 2016-06-28 Symbol Technologies, Llc Transmission of images for inventory monitoring
CN104036226B (zh) * 2013-03-04 2017-06-27 联想(北京)有限公司 一种目标物信息获取方法及电子设备
US9489743B2 (en) 2013-03-13 2016-11-08 Mecommerce, Inc. Determining dimension of target object in an image using reference object
US9508115B2 (en) 2013-03-15 2016-11-29 International Business Machines Corporation Large-area monitoring using infrared imaging system
US20140282275A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
US9390604B2 (en) 2013-04-09 2016-07-12 Thermal Imaging Radar, LLC Fire detection system
US9685896B2 (en) 2013-04-09 2017-06-20 Thermal Imaging Radar, LLC Stepper motor control and fire detection system
US11165994B2 (en) 2013-05-13 2021-11-02 Texas Instruments Incorporated Analytics-driven summary views for surveillance networks
USD741388S1 (en) 2013-07-03 2015-10-20 Garmin Switzerland Gmbh Camera
US9165444B2 (en) 2013-07-26 2015-10-20 SkyBell Technologies, Inc. Light socket cameras
BR112016002720B1 (pt) 2013-08-09 2021-11-23 Thermal Imaging Radar, LLC Sistema local e método para analisar e classificar quadros de imagem individuais de dados de imagem panorâmica
USD728655S1 (en) 2013-12-10 2015-05-05 Isaac S. Daniel Covert recording alarm device for vehicles
WO2015118370A1 (en) 2014-02-04 2015-08-13 Intel Corporation Techniques for frame repetition control in frame rate up-conversion
US9570113B2 (en) 2014-07-03 2017-02-14 Gopro, Inc. Automatic generation of video and directional audio from spherical content
US9756234B2 (en) 2014-07-18 2017-09-05 Intel Corporation Contrast detection autofocus using multi-filter processing and adaptive step size selection
USD743468S1 (en) * 2014-07-24 2015-11-17 Vsn Technologies, Inc. 360 degree wireless camera
US9363569B1 (en) 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
USD786329S1 (en) * 2014-09-01 2017-05-09 Fujifilm Corporation Electronic camera
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US9876954B2 (en) 2014-10-10 2018-01-23 Iec Infrared Systems, Llc Calibrating panoramic imaging system in multiple dimensions
US10825069B2 (en) 2014-11-14 2020-11-03 The Joan and Irwin Jacobs Technion-Cornell Institute System and method for intuitive content browsing
JP6720876B2 (ja) 2014-12-25 2020-07-08 日本電気株式会社 画像処理方法及び画像処理装置
USD813923S1 (en) * 2015-02-20 2018-03-27 Robert Bosch Gmbh Camera
WO2016160794A1 (en) 2015-03-31 2016-10-06 Thermal Imaging Radar, LLC Setting different background model sensitivities by user defined regions and background filters
USD749329S1 (en) * 2015-04-05 2016-02-16 Erik A. Kaiser Selfie mirror
USD776181S1 (en) 2015-04-06 2017-01-10 Thermal Imaging Radar, LLC Camera
US9996895B2 (en) 2015-05-01 2018-06-12 Ricoh Company, Ltd. Image display system, information processing apparatus, and image display method
US9992502B2 (en) 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
AU201614083S (en) * 2016-02-02 2016-08-03 Bosch Gmbh Robert Camera
US9742996B1 (en) 2016-10-07 2017-08-22 Sphericam Inc. Single unit 360-degree camera with an integrated lighting array
USD813291S1 (en) * 2016-10-20 2018-03-20 Geovision Inc. Monitoring camera
USD819112S1 (en) * 2016-12-23 2018-05-29 Samsung Electronics Co., Ltd. Camera
US10873708B2 (en) 2017-01-12 2020-12-22 Gopro, Inc. Phased camera array system for generation of high quality images and video
US10740622B2 (en) 2017-03-23 2020-08-11 Hall Labs Llc Method of theft detection and prevention
US20180307352A1 (en) 2017-04-25 2018-10-25 Gopro, Inc. Systems and methods for generating custom views of videos
USD849095S1 (en) * 2017-09-26 2019-05-21 Ademco Inc. Camera and audio input/output device
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000236461A (ja) * 1999-02-17 2000-08-29 Fujitsu Ltd 電子装置
JP2006013832A (ja) * 2004-06-25 2006-01-12 Nippon Hoso Kyokai <Nhk> 映像撮影装置および映像撮影プログラム
US20130162761A1 (en) * 2010-08-31 2013-06-27 Raul Goldemann Rotary image generator
US20120314066A1 (en) * 2011-06-10 2012-12-13 Lee Yeu Yong Fire monitoring system and method using composite camera
US20130188010A1 (en) * 2012-01-20 2013-07-25 Thermal Imaging Radar, LLC Automated panoramic camera and sensor platform with computer and optional power supply

Also Published As

Publication number Publication date
JP6581086B2 (ja) 2019-09-25
US9516208B2 (en) 2016-12-06
EP3030935B1 (en) 2020-11-18
BR112016002720B1 (pt) 2021-11-23
CN108495051A (zh) 2018-09-04
US9348196B1 (en) 2016-05-24
WO2015021186A1 (en) 2015-02-12
EP3030935A1 (en) 2016-06-15
JP2016532375A (ja) 2016-10-13
MX2016001689A (es) 2016-10-05
MX360725B (es) 2018-11-14
EP3030935A4 (en) 2017-09-27
BR112016002720A2 (pt) 2017-08-01
CN105264439A (zh) 2016-01-20
US20170236300A1 (en) 2017-08-17
US9886776B2 (en) 2018-02-06
KR102248161B1 (ko) 2021-05-04
US20160266380A1 (en) 2016-09-15
US10127686B2 (en) 2018-11-13
CN108495051B (zh) 2021-07-06
USD968499S1 (en) 2022-11-01
BR112016002720A8 (pt) 2020-02-04
US20150334303A1 (en) 2015-11-19

Similar Documents

Publication Publication Date Title
KR102248161B1 (ko) 복수의 가상 장치를 이용하여 열 이미지 데이터를 분석하기 위한 방법들 및 깊이 값들을 이미지 픽셀들에 상관시키기 위한 방법들
US10366509B2 (en) Setting different background model sensitivities by user defined regions and background filters
US10257400B2 (en) Method and apparatus for imaging
Burd et al. Pi of the sky–all-sky, real-time search for fast optical transients
US8687062B1 (en) Step-stare oblique aerial camera system
US10356317B2 (en) Wide-scale terrestrial light-field imaging of the sky
CN103795976B (zh) 一种全时空立体可视化方法
Leininger et al. Autonomous real-time ground ubiquitous surveillance-imaging system (ARGUS-IS)
US20180136366A1 (en) Distributed solar energy prediction imaging
US9418299B2 (en) Surveillance process and apparatus
Fawzi et al. Embedded real-time video surveillance system based on multi-sensor and visual tracking
US20230086250A1 (en) Thermal imaging camera device
TWI449420B (zh) 搜索取像系統及其控制方法
Picus et al. Novel Smart Sensor Technology Platform for Border Crossing Surveillance within FOLDOUT
US20240163540A1 (en) Image Processing Architecture For Composite Focal Plane Array (CFPA) Imaging System
RU188093U1 (ru) Сканер для получения панорамных снимков и трехмерных моделей окружающего пространства
Yoedt et al. Low-cost multi-camera module and processor array for the ultra-fast framerate recognition, location, and characterization of explosive events
McCormack et al. FireOPAL: Toward a Low-Cost, Global, Coordinated Network of Optical Sensors for SSA Phil Bland1, Greg Madsen2, Matt Bold3, Robert Howie1, Ben Hartig1, Trent Jansen-Sturgeon1, James Mason3
Jacobs et al. Passive vision: The global webcam imaging network
Wozniak 2 Robotic and Survey Telescopes
Pennington Sonoma Persistent Surveillance System
FR2942333A1 (fr) Procede de simplification de l&#39;integration et de modularisation des systemes de surveillance faisant intervenir des donnees physiques heterogenes

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant