KR20200095918A - 공간정보 인식장치 - Google Patents

공간정보 인식장치 Download PDF

Info

Publication number
KR20200095918A
KR20200095918A KR1020190013901A KR20190013901A KR20200095918A KR 20200095918 A KR20200095918 A KR 20200095918A KR 1020190013901 A KR1020190013901 A KR 1020190013901A KR 20190013901 A KR20190013901 A KR 20190013901A KR 20200095918 A KR20200095918 A KR 20200095918A
Authority
KR
South Korea
Prior art keywords
infrared
subject
information
infrared image
camera
Prior art date
Application number
KR1020190013901A
Other languages
English (en)
Other versions
KR102668750B1 (ko
Inventor
이재덕
박종명
서상원
주우덕
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190013901A priority Critical patent/KR102668750B1/ko
Priority to PCT/KR2020/001192 priority patent/WO2020159165A1/ko
Publication of KR20200095918A publication Critical patent/KR20200095918A/ko
Application granted granted Critical
Publication of KR102668750B1 publication Critical patent/KR102668750B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06—Investigating concentration of particle suspensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06—Investigating concentration of particle suspensions
    • G01N15/075—Investigating concentration of particle suspensions by optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3504—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G01N2015/0693—

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Dispersion Chemistry (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Radiation Pyrometers (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 거리 측정 및 가스 농도 측정이 가능한 적외선 스테레오 카메라에 관한 것으로, 피사체를 캡쳐하여 제1 적외선 이미지를 획득하는 제1 적외선 카메라, 상기 제1 적외선 카메라에 이격되어 구비되고, 상기 피사체를 캡쳐하여 제2 적외선 이미지를 획득하는 제2 적외선 카메라, 상기 제1 적외선 카메라 및 상기 제2 적외선 카메라에 연결된 제어부를 포함하고, 상기 제어부는 상기 제1 적외선 이미지 및 상기 제2 적외선 이미지를 정합하여 상기 피사체의 거리 정보 또는 특정 가스의 농도 정보 중 적어도 하나를 추출하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공한다.

Description

공간정보 인식장치{SPATIAL INFORMATION RECOGNITION DEVICE}
본 발명은 공간 정보 인식 장치에 관한 것이다. 구체적으로, 적외선 스테레오 카메라를 이용해 특정 공간상에 존재하는 피사체의 위치 정보 및 특정 가스 농도 중 적어도 하나를 획득하는 기술 분야에 적용이 가능하다.
적외선 카메라는 외부로부터 빛의 공급이 없이도 물체가 방사하는 복사에너지를 모아 적절한 변환을 통해 가시화하여 쉽게 인식할 수 있도록 만들어 주는 장비이다. 적외선 카메라는 가시광선의 유무나 반사되는 빛의 세기 차이로 관측하는 기존의 영상장비와는 다르다.
모든 물체는 절대온도 0도 이상에서 물질을 이루고 있는 기본 단위인 원자들이 미소한 진동을 하고 있다. 이러한 원자들의 진동 에너지가 적외선 영역의 에너지와 동일하기 때문에 모둔 물체는 적외선을 방출하고 있다. 물체의 온도가 높으면 높을수록 더 많은 양의 적외선이 발산하게 되는데 이러한 이유에서 적외선을 열선이라 부른다.
적외선 카메라의 구성은 사용하는 파장, 요구되는 성능, 검출기, 적외선 검출 방법 등에 따라서 달라진다. 기본적으로 적외선 카메라는 광학렌즈부분, 적외선감지센서부분, 이미지 구현 구분으로 구성되어 있다.
적외선 카메라는 적외선 중에서 8~14μm 파장 대역의 LWIR(Longwave Infrared)을 감지하는 센서인 μ-Bolometer가 주로 사용된다. LWIR은 사람의 몸에서 가장 강하게 방사하는 파장 대역으로, 온도 측정 및 보행자/동물 식별에 유용하게 이용될 수 있다.
적외선 카메라의 특징은 미세 입자에 대한 투과율이 높아 원거리 감시용, 인명구조, 추적 장치에 유리하다. 또한, 별도의 광원을 필요로 하지 않아 야간 시야 확보가 가능하며, 직사광 등의 환경에서도 우수한 감지 성능이 보여, 보안 및 군사 분야 활용에 적합하다. 또한, 적외선 카메라는 미세한 온도를 식별이 가능하여 의료용 체열진단이 가능하고 제조 생산 산업현장의 모니터링에 적합하다.
또한, 최근에는 스테레오 방식의 적외선 카메라를 이용하여 상기 적외선 카메라를 통해 획득할 수 있는 정보에 3차원 정보를 추가로 획득하는 기술 분야에 대한 관심이 높다.
스테레오 방식은 서로 거리를 두어 장착된 두 개 이상의 카메라에 서로 다르게 영상이 찍히는 양안시차 특성을 이용하여 카메라에서 피사체까지의 거리 값을 획득하는 방식을 말한다. 구체적으로, 한 쪽 영상 내의 특정 위치에 있는 패턴이 다른 쪽 영상에서는 어느 위치에 있는지 검출하여 두 위치의 차이 즉 양안 시차(disparity)를 추출함으로써 카메라에서 피사체까지의 거리 값을 획득할 수 있다.
기존에는 상기 연산을 수행함에 있어 정확한 거리 정보 추출을 위해 양 카메라의 해상도가 고해상도로 동일할 필요가 있었으며, 이는 사이즈 무게, 가격이 증가한다는 단점이 있다.
또한, 기존에는 스테레오 적외선 카메라를 이용하여 3D 영상 정보를 추출하는데 활용되었으며 그 외 다른 목적으로 사용되는 실시예가 많지 않았다.
또한, 기존에는 적외선 카메라를 이용하여 화재를 감지함에 있어, 온도만을 대상으로 관측하여 초기 연소 시작 시점에 화재를 감지하는데 어려움이 있었다.
본 발명은 적외선 스테레오 카메라를 이용하여, 대상체의 거리 및 온도를 측정함에 있어 해상도 동일의 제약을 해결하고, 추가적으로 가스의 종류 및 농도를 획득하여 정보를 제공하는데 목적이 있다.
상기 목적을 달성하기 위해 본 발명의 일 실시예에 따라 피사체를 캡쳐하여 제1 적외선 이미지를 획득하는 제1 적외선 카메라, 상기 제1 적외선 카메라에 이격되어 구비되고, 상기 피사체를 캡쳐하여 제2 적외선 이미지를 획득하는 제2 적외선 카메라, 상기 제1 적외선 카메라 및 상기 제2 적외선 카메라에 연결된 제어부를 포함하고, 상기 제어부는 상기 제1 적외선 이미지 및 상기 제2 적외선 이미지를 정합하여 상기 피사체의 거리 정보 또는 특정 가스의 농도 정보 중 적어도 하나를 추출하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제어부는 상기 제2 적외선 이미지에서 상기 피사체의 특정 픽셀을 상기 제1 적외선 이미지에 정합하고, 스테레오 비전 연산을 통해 상기 피사체의 거리 정보를 추출하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 피사체의 특정 픽셀은 상기 피사체의 윤곽을 구성하는 픽셀 및 상기 피사체의 중심 픽셀인 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 중심 픽셀은 복수의 상기 윤곽을 구성하는 픽셀로부터 거리의 합이 최소가 되는 픽셀인 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제어부는 상기 제1 적외선 이미지에서 상기 피사체의 중심 픽셀과 상기 피사체의 윤곽 픽셀간 위치 관계를 통해, 상기 제2 적외선 이미지에서 상기 피사체의 윤곽 픽셀을 보정하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제어부는 상기 보정된 상기 피사체의 윤곽 픽셀 및 상기 피사체의 중심 픽셀을 이용하여 상기 제2 적외선 이미지를 상기 제1 적외선 이미지에 정합하는 것을 특징으로 하는 공간정보 인식장치를 제공한다..
또한, 본 발명의 다른 실시예에 따라 상기 제어부는 기 설정 시차를 두고 연속적으로 촬영된 상기 제1 적외선 이미지를 통해 상기 제1 적외선 카메라의 흔들림 정보를 추출하고, 상기 제1 적외선 카메라의 흔들림 정보에 기초하여 상기 제2 적외선 이미지에서 추출된 상기 피사체의 윤곽을 구성하는 픽셀 및 상기 피사체의 중심 픽셀을 보정하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제어부는 상기 제1 적외선 카메라에서 피사체의 중심 픽셀의 흔들림 정보를 이용하여 상기 제2 적외선 카메라에서 피사체의 중심 픽셀을 보정하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제어부는 상기 제1 적외선 이미지에서 상기 피사체의 중심 픽셀과 상기 피사체의 윤곽 픽셀간 위치 관계를 통해, 상기 제2 적외선 이미지에서 상기 피사체의 윤곽 픽셀 정보를 보정하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제어부는 상기 보정된 상기 피사체의 윤곽 픽셀 및 상기 보정된 중심 픽셀을 이용하여 상기 제2 적외선 이미지를 상기 제1 적외선 이미지에 정합하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제1 적외선 카메라는 상기 제2 적외선 카메라 보다 해상도가 높은 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제2 적외선 카메라는 상기 피사체에서 방사하는 파장 중 특정 가스가 흡수하는 파장만 통과하는 필터를 더 포함하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제어부는 상기 제1 적외선 이미지 및 상기 제2 적외선 이미지에서 상기 필터에 대응되는 영역에 입사되는 광량을 비교하여, 상기 특정 가스의 농도를 측정하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제2 적외선 카메라는 흡수하는 파장이 상이한 가스들에 각각 대응되는 복수의 필터를 구비하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라, 상기 제2 적외선 카메라는 격자 패턴을 형성하도록, 상기 복수의 필터를 구비하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라, 상기 복수의 필터는 상기 제2 적외선 이미지의 각 픽셀에 대응되도록 구비되는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라, 상기 적외선 스테레오 카메라는 외부 기기와 통신하는 커뮤니케이션 유닛을 더 포함하고, 상기 제어부는 특정 온도 이상이 감지되고, 화재 시 발생하는 가스의 농도가 증가함을 측정한 경우, 화제 정보를 상기 외부 기기로 제공하도록 상기 커뮤니케이션 유닛을 제어하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라, 상기 화제 정보는 연소가 시작된 시간을 알리는 연소 개시 정보, 생명체 유무 정보, 상기 생명체의 대상 정보, 상기 생명체의 거리 정보, 연소 지점 거리 정보, 상기 생명체의 움직임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
본 발명은 적외선 스테레오 카메라를 이용하여 피사체의 위치 및 온도 정보를 제공한다.
본 발명은 해상도가 상이한 적외선 스테레오 카메라를 이용하여 피사체의 위치 및 온도 정보를 제공할 수 있는 솔루션을 제공한다.
본 발명은 적외선 스테레오 카메라 중 고해상도 적외선 카메라의 흔들림 정보를 통해 저해상도 적외선 카메라의 흔들림을 추정하고 피사체의 위치 정보를 보정하는 솔루션을 제공한다.
본 발명은 적외선 스테레오 카메라를 통해 특정 가스의 유무 및 농도 정보를 제공할 수 있는 솔루션을 제공한다.
본 발명은 열원의 온도 및 가스의 농도를 통해 화재 초기에 정확히 화재 여부를 판단할 수 있는 정보를 제공할 수 있는 솔루션을 제공한다.
도 1은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라를 이용하여 피사체를 촬영하는 개념도이다.
도 2는 본 발명의 일 실시예 따른 적외선 스테레오 카메라의 구성도 이다.
도 3는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 촬영된 적외선 이미지간 시차(disparity)를 설명하기 위한 도면이다.
도 4 는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 피사체의 거리 정보를 획득하는 방법을 설명한 흐름도 이다.
도 5는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 고해상도 카메라(제1 적외선 카메라)를 기준으로 저해상도 카메라(제2 적외선 카메라)의 흔들림 정보를 보정하고, 피사체의 거리 정보를 획득하는 방법을 설명한 흐름도 이다.
도 6은 가스가 흡수하는 특정 파장대를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 양 카메라에서 흡수한 광량을 비교하여 가스의 농도를 측정하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 가스가 흡수하는 파장을 필터링 하는 필터의 배치를 설명하기 위한 도면이다.
도 9내지 12는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라를 이용하여 화재 감지 및 생체 인식하는 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명의 하기의 실시예들은 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예들로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리 범위에 속하는 것으로 해석된다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
도 1은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라(100)를 이용하여 피사체를 촬영하는 개념도이고, 도 2는 본 발명의 일 실시예 따른 적외선 스테레오 카메라(100)의 구성도 이다.
본 발명의 일 실시에에 따른 적외선 스테레오 카메라(100)는 피사체(300)를 촬영하여 제1 적외선 이미지를 획득하는 제1 적외선 카메라(110) 및 제1 적외선 카메라(110)에 이격되어 구비되고, 피사체(300)를 캡쳐하여 제2 적외선 이미지를 획득하는 제2 적외선 카메라(120)를 포함한다.
본 발명에서 제 1카메라(110)와 제2 카메라(120)는 기 설정 거리를 가지고 리그(rig)와 같은 고정장치 또는 별개의 이러한 기능을 하는 기구물에 의해 고정 지지된다.
일반적으로 스테레오 카메라는 3D 입체영상이 사람에게 자연스럽게 보이기 위해 두 개의 카메라가 사람의 두 눈의 거리(대략 6~7cm) 정도 이격되어 설치되지만, 본 발명은 3D 입체영상을 구현하는 것을 목적으로 하지 않는바, 제1 카메라(110)와 제2 카메라(120)의 이격 거리가 사람의 두 눈 거리에 한정되지 않는다.
제1 적외선 카메라(110) 및 제2 적외선 카메라(120)는 이격되어 적외선 스테레오 카메라(100)에 구비되어 전체 촬영 영역(400)은 겹치는 부분(410)과 겹치지 않는 부분(420)을 포함할 수 있다.
전체 촬영 영역(400)은 제1 적외선 카메라(110)의 촬영 영역과 제2 적외선 카메라(120)가 촬영하는 영역을 합친 영역이며, 겹치는 부분(410)는 제1 적외선 카메라(110) 및 제2 적외선 카메라(120)로 촬영되는 영역을 말한다. 겹치지 않는 부분(420)은 제1 적외선 카메라(110)로만 촬영되는 영역 또는 제2 적외선 카메라(120)로만 촬영되는 영역에 대응될 수 있다.
도 1에서는 제1 적외선 카메라(110)와 제2 적외선 카메라(120)가 동일한 화각(Field of View, FOV)을 갖는 실시예를 도시하고 있으나, 화각(FOV)이 동일할 필요는 없다.
본 발명에 따른 스테레오 적외선 카메라(100)는 전체 촬영 영역(400)에서 겹치는 부분(410)에 위치하는 피사체(300)까지의 거리를 측정할 수 있다.
제1 적외선 카메라(110) 및 제2 적외선 카메라(120)는 피사체에서 발사하는 적외선이 통과하는 렌즈(111, 121), 렌즈(111, 121)를 통과한 적외선을 감지하는 온도 센서 어레이를 포함하는 같은 열상 검출기(112, 122), 열상 검출기(112, 122)의 출력이 아날로그 신호일 경우 이를 디지털 신호로 변환하는 아날로그-디지털 변환회로(Analog-to-Digital Converter, ADC, 113, 123), 및 이미지 처리기(114, 124)를 포함할 수 있다.
열상 검출기(112, 122)는 제1 적외선 카메라(110)와 제2 적외선 카메라(120)의 해상도와 관련이 있는 구성으로, 제1 적외선 카메라(110) 및 제2 적외선 카메라(120)는 온도 센서 어레이에 대응되는 해상도를 가질 수 있다.
제1 적외선 카메라(110)의 열상 검출기(112) 및 제2 적외선 카메라(122)의 열상 검출기(122)는 제1 적외선 이미지 및 제2 적외선 이미지가 동일한 해상도를 가지도록 동일 온도 센서 어레이를 가질 수 있다. 다만, 본 발명에서는 동일 해상도 제약 없이 고해상도 기준으로 피사체의 거리를 정확하게 측정하는데 특징이 있다. 이와 관련하여서는 도 5를 통해 구체적으로 살펴본다.
이미지 처리기(114, 124)는 ADC(113, 123)에서 전환된 디지털 신호를 통해 적외선 이미지를 획득한다. 구체적으로, 이미지 처리기(114, 124)는 히스토그램(histogram), 피킹(peaking), 휘도(brightness)와 명암대비(contrast), 열상 필터링을 행하고 조정하는 역할을 한다.
제1 적외선 카메라(110)와 제2 적외선 카메라(120)은 제어부(130)에 연결될 수 있으며, 제어부(130)는 제1 적외선 카메라(110) 제2 적외선 카메라(120)에서 획득한 제1 적외선 이미지와 상기 제2 적외선 이미지를 정합하여 피사체(300)에 이르는 거리를 측정할 수 있다.
제어부(130)는 구체적으로, 제1 적외선 이미지 및 상기 제2 적외선 이미지에서 피사체(300)들의 윤곽을 검출하는 에지 검출기(131), 에지 검출기(131)에서 검출된 피사체(300)들의 윤곽 픽셀 정보를 제1 적외선 이미지와 제2 적외선 이미지를 매칭하는 이미지 매칭부(132) 및 매칭된 이미지간 시차(disparity)를 계산하여 상기 피사체의 거리를 측정하는 시차 계산기(133)를 포함할 수 있다.
적외선 이미지에서 피사체(300)의 윤곽 픽셀은 상기 피사체의 외형을 나타내는 픽셀이거나, 상기 피사체의 외형 중 특징점(keypoint)에 대응되는 픽셀 일 수 있다.
이미지 매칭부(132)는 피사체(300)의 윤곽 픽셀 정보 또는 상기 특징점(keypoint) 픽셀 정보로부터 피사체(300)의 중심 픽셀 정보를 획득하고, 상기 윤곽 픽셀 및 상기 중심 픽셀이 각각 대응되도록 매칭할 수 있다.
피사체(300)의 중심 픽셀은 상기 피사체의 외형을 나타내는 픽셀들로부터의 거리 합이 최소가 되는 픽셀이거나, 상기 특징점(keypoint)를 나타내는 픽셀들로부터의 거리 합이 최소가 되는 픽셀일 수 있다. 또는, 상기 중심 픽셀은 상기 피사체의 외형을 나타내는 픽셀과의 거리에 상이한 웨이트를 부여하여 선택된 픽셀일 수 있다.
시차 계산기(133)는 매칭된 상기 윤곽 픽셀 및 상기 중심 픽셀을 시차를 계산하고 이를 통해 피사체(300)의 거리를 획득할 수 있다. 시차(disparity)는 하나의 물체를 서로 다른 두 지점(양쪽 카메라)에서 보았을 때 느껴지는 물체의 시야 내에서의 위치 및 모양 차이를 의미하고, 시차(disparity)를 통해 적외선 스테레오 카메라(100)와 피사체(300)의 거리(D)는 다음과 같이 구할 수 있다.
수학식 1
Figure pat00001
여기서 D는 적외선 스테레오 카메라(100)와 피사체(300)간 거리이고, l는 제1 카메라(110)와 제2 카메라(120)간 거리이고, fl는 초점 거리이며, d1+d2가 시차(disparity)이다.
본 발명은 제1 적외선 이미지 및 제2 적외선 이미지간 피사체(300)의 윤곽 픽셀뿐만 아니라 피사체(300)의 중심 픽셀을 정합하여 피사체(300)의 거리를 산출하는데 특징이 있다. 피사체(300)의 중심 픽셀은 제1 적외선 카메라(110) 및 제2 적외선 카메라(120)간 해상도 차이에 따른 부정확성을 개선할 수 있다.
예를 들어, 제1 적외선 카메라(110)의 해상도가 제2 적외선 카메라(120)보다 좋은 경우, 본 발명에 따른 적외선 스테레오 카메라(100)는 제2 적외선 이미지(120)에서 획득한 제2 적외선 이미지에서 피사체(300)의 윤곽 픽셀 정보 및 중심 픽셀 정보를 추출하고, 이를 제1 적외선 이미지에 정합하여 고해상도 카메라 기준 피사체의 거리를 획득할 수 있다.
도 3는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 촬영된 적외선 이미지간 시차(disparity)를 설명하기 위한 도면이다.
도 3(a) 는 왼쪽에 있는 적외선 카메라에서 촬영된 적외선 이미지며, 도 3(b)는 오른쪽에 있는 적외선 카메라에서 촬영된 적외선 이미지다.
도 1을 참고 하여, 이하에서 도 3(a) 는 제1 적외선 카메라(110)에서 촬영된 제1 적외선 이미지에 대응하고, 도 3(b)는 제2 적외선 카메라(120)에서 촬영된 제2 적외선 이미지에 대응하여 설명한다.
시차(disparity) 이미지는 대응되는 픽셀간 시차(disparity)를 영상화 한 것으로 예컨대 거리가 다른 두 물체를 표시할 때, 흑백 스케일을 사용하여 가까운도 거리의 물체를 흰색으로, 먼 거리에 물체를 검은색으로 표시할 수 있다.
도 3은 윤곽 픽셀을 매칭하여 시차(disparity)를 계산하는 실시예를 도시하고 있는데, 제1 적외선 이미지와 제2 적외선 이미지의 해상도가 상이한 경우, 양 픽셀의 매칭이 부정확할 수 있다.
이에, 본 발명에 따른 스테레오 적외선 카메라는 윤곽 픽셀 정보를 이용하여 피사체의 중심 픽셀 정보를 획득하고, 중심 픽셀 정보를 이용하여 양 카메라간 해상도 차이로 인해 매칭이 부정확한 것을 상쇄하고자 한다.
도 4 는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 피사체의 거리 정보를 획득하는 방법을 설명한 흐름도 이다.
본 발명에 따른 적외선 스테레오 카메라에서 제어부는 제1 적외선 이미지 및 제2 적외선 이미지에서 피사체의 윤곽 픽셀 정보를 추출할 수 있다. (S401)
또한, 경우에 따라서, 본 발명에 따른 적외선 스테레오 카메라는 머신러닝을 활용하여 객체를 인식하고 상기 객체를 포함하는 동일 프레임의 윤곽 정보를 획득할 수 있다.
여기서, 제1 적외선 이미지가 제2 적외선 이미지보다 해상도가 높은 경우, 제1 적외선 이미지에서 피사체의 윤곽 픽셀은 제2 적외선 이미지에서 피사체의 윤곽 픽셀과 매칭이 부정확할 수 있다. 이를 보정하기 위해서, 상기 제어부는 제1 적외선 이미지 및 제2 적외선 이미지 각각에서 피사체의 윤곽 픽셀 정보를 통해 피사체의 중심 픽셀 정보를 추출할 수 있다. (S402)
피사체의 중심 픽셀은 피사체의 윤곽 픽셀로부터의 거리의 합이 최소가 되는 픽셀일 수 있다. 피사체의 윤곽 픽셀은 폐곡선을 형성하는 복수의 픽셀일 수 있지만, 피사체의 윤곽 픽셀 중 복수의 특장점(keypiont)일 수 있다.
본 발명에 따른 적외선 스테레오 카메라에서 제어부는 제1 적외선 이미지에서 피사체의 윤곽 픽셀과 중심 픽셀간 위치 관계를 통해, 제2 적외선 이미지에서 피사체의 윤곽 픽셀 정보를 보정할 수 있다. (S403)
구체적으로, 상기 제어부는 제1 적외선 이미지에서 피사체의 중심 픽셀과 제2 적외선 이미지에서 피사체의 중심 픽셀을 대응시키고, 제1 적외선 이미지에서 피사체의 윤곽 픽셀과 중심 픽셀의 상대 위치 관계를 확인하고, 상기 상대 위치 관계를 통해 제2 적외선 이미지에서 피사체의 윤곽 픽셀 정보를 보정할 수 있다.
여기서 피사체의 윤곽 픽셀 정보는 피사체의 윤곽을 구성하는 픽셀의 평면 좌표 상의 위치 정보를 포함할 수 있다.
제어부는 제2 적외선 이미지에서 피사체의 중심 픽셀 정보 및 보정된 윤곽 픽셀 정보를 통해 상기 제2 적외선 이미지를 상기 제1 적외선 이미지에 정합할 수 있다. (S404)
여기서 제2 적외선 이미지를 상기 제2 적외선 이미지를 정합하는 것은 기존의 스테레오 비전 연산을 위해 사용되는 에피폴라 기하학(epipolar geometry)를 이용할 수 있으며, 정합 매트릭스를 구현하는 매칭 포인트로 상기 피사체의 중심 픽셀 정보 및 보정된 윤곽 픽셀 정보를 이용할 수 있다.
제1 적외선 이미지와 상기 제2 적외선 이미지를 정합한 후, 제어부는 스테레오 비전 연산을 통해 피사체의 거리 정보를 추출할 수 있다. (S405)
본 발명에 따른 적외선 스테레오 카메라는 제1 적외선 카메라와 제2 적외선 카메라가 기 설정 거리를 가지고 고정되어 흔들림 정도가 동일할 수 있다.
이에, 본 발명은 해상도가 높은 제1 적외선 카메라를 이용하여 제2 적외선 카메라의 흔들림 정보를 보정하여 피사체의 거리 정보를 보다 정확하게 획득하는 방법을 살펴본다.
도 5는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 고해상도 카메라(제1 적외선 카메라)를 기준으로 저해상도 카메라(제2 적외선 카메라)의 흔들림 정보를 보정하고, 피사체의 거리 정보를 획득하는 방법을 설명한 흐름도 이다.
본 발명에 따른 적외선 스테레오 카메라가 지속적으로 움직이는 차량에 탑재 되어 있는 경우, 고해상도를 가지는 제1 적외선 카메라를 기준으로 흔들림 정보를 추출하고, 이를 통해 제2 적외선 카메라의 흔들림 정보를 보정함이 보다 정확하게 피사체의 거리를 획득할 수 있다.
이를 위해, 본 발명에 따른 적외선 스테레오 카메라의 제어부는 기 설정 시차를 두고 연속적으로 촬영된 제1 적외선 이미지를 통해 제1 적외선 카메라의 흔들리 정보를 획득할 수 있다.(S501)
기 설정 시차를 두고 연속적으로 촬영된 제1 적외선 이미지는 기 설정 시차를 두고 N번째 획득된 제1 적외선 이미지 및 N+1번째 획득된 제1 적외선 이미지 일 수 있다.
제1 적외선 카메라의 흔들림 정보는 N번째 획득된 제1 적외선 이미지와 N+1번째 획득한 제1 적외선 이미지간 특장점(keypiont)의 움직임 정보를 통해 획득할 수 있다.
상기 제어부는 제1 적외선 카메라의 흔들림 정보를 이용하여 제2 적외선 이미지에서 피사체의 중심 픽셀 정보를 보정할 수 있다. (S502)
예를 들어, 제1 적외선 카메라가 N번째 제1 적외선 이미지를 획득하고 N+1번째 제1 적외선 이미지 획득하는 동안 평면 좌표상에서 dx_N, dy_N만큼 이동 하는 경우, N번째 제2 적외선 이미지와 N+1 번째 제2 적외선 이미지간 흔들림 정보를 dx_N, dy_N에 대응되도록 N+1번째 제2 적외선 이미지에서 피사체의 윤곽 픽셀 정보를 보정할 수 있다.
제1 적외선 카메라의 흔들림 정도에 대응되도록 보정된 N+1 번째 제2 적외선 이미지에서 획득한 피사체의 윤곽 픽셀 정보를 통해 피사체의 중심 픽셀 정보를 획득할 수 있다. 즉, N+1 번째 제2 적외선 이미지에서 획득한 피사체의 중심 픽셀은 제1 적외선 카메라의 흔들림 정보를 통해 보정될 수 있다.
여기서 N번째 제2 적외선 이미지는 N 번째 제1 적외선 이미지와 동일 시각에 획득되며, N+1 번째 제2 적외선 이미지는 N+1 번째 제1 적외선 이미지와 동일 시각게 획득된다.
즉, 본 발명의 적외선 스테레오 카메라는 제1 적외선 카메라와 제2 적외선 카메라가 해상도가 상이하여 제1 적외선 카메라에서 획득한 흔들림 정보과 제2 적외선 카메라에서 획득한 흔들림 정보가 상이함에 따라 피사체 거리를 측정하는데 계산 값이 상이한 것을 방지하기 위함이다.
상기 제어부는 제2 적외선 이미지에서 보정된 중심 픽셀 정보를 통해 피사체의 윤곽 픽셀 정보를 보정할 수 있다. (S503) 구체적으로, 제1 적외선 이미지에서 획득한 피사체의 중심 픽셀과 제2 적외선 이미지의 보정된 중심 픽셀을 대응시키고, 제1 적외선 이미지에서 획득한 중심 픽셀과 윤곽 픽셀간 상대 위치 정보를 통해 제2 적외선 이미지에서 획득한 윤곽 필셀 정보를 보정할 수 있다.
상기 제어부는 제2 적외선 이미지에서 제1 적외선 카메라의 흔들림 정보를 반영하여 보정된 피사체의 중심 픽셀과, 제1 적외선 이미지에서 중심 픽셀과 윤곽 픽셀간 상대 위치를 통해 보정된 피사체의 윤곽 픽셀을 이용하여 제2 적외선 이미지를 제1 적외선 이미지에 정합할 수 있다.(S504)
이때, 정합하는 과정은 도 4에서 설명한 S404와 동일할 수 있다.
상기 제어부는 제2 적외선 이미지를 제1 적외선 이미지에 정합하고 스테레오 비전 연산을 통해 피사체의 거리 정보를 추출할 수 있다.
이상에서는 해상도가 상이한 적외선 카메라를 이용하되, 고해상도 기준으로 피사체의 거리 정보를 추출하는 본 발명의 특징을 살펴보았다.
이하에서는 두 대의 적외선 카메라를 이용하여 특정 가스의 농도를 측정하는 본 발명의 특징을 살펴본다.
도 6은 가스가 흡수하는 특정 파장대를 설명하기 위한 도면이다.
광원이 가스에 조사되는 경우, 가스의 종류에 따라 흡수되는 파장이 다를 수 있다. 종류에 따라 상이하지만 가스에서 흡수하는 파장은 대부분 적외선 범위에 있어 적외선을 광원으로 이용함이 가스의 종류를 분류하는데 용이할 수 있다.
특정 가스를 통과한 적외선이 적외선 카메라에서 흡수되는 경우, 특정 가스에 대응되는 파장을 제외하여 흡수하여 흡수한 광량이 달라질 수 있다.
따라서, 단일의 적외선 카메라를 통해서 가스의 분포가 상이한 영역을 살펴보면, 가스가 분포한 형태를 확인할 수 있다.
다만, 단일의 적외선 카메라는 가스의 종류를 확인할 수 없다는 단점이 있다. 또한, 가스가 적외선 카메라를 통해 본 영역에 고르게 분포하는 경우, 가스의 유무를 확인할 수 없다는 단점이 있다. 또한, 가스가 특정 지역에 존재하는 것을 확인하였다 하더라도 해당 지역에 가스의 농도가 어떻게 되는지 확인할 수 없다는 단점이 있다.
따라서, 본 발명은 두 대의 적외선 카메라를 이용하여 가스의 종류 및 농도를 확인할 수 있는 방법을 제안하고자 한다.
도 1을 참고하면, 제2 적외선 카메라(120)는 적외선을 흡수하는 경로 상에 특정 파장 범위만을 통과시키는 필터(200)를 더 포함할 수 있다.
필터(200)는 특정 가스가 흡수하는 특정 자장 범위만을 통과시키는 역할을 수행할 수 있으며, 이를 통해 본 발명은 특정 가스의 농도를 측정할 수 있다.
제어부(130)는 제1 적외선 이미지 및 제2 적외선 이미지에서 필터(200)에 대응되는 영역에 입사되는 광량을 비교하여 필터(200)에 대응되는 특정 가스의 농도를 측정할 수 있다.
특정 가스의 농도를 측정하는 방법은 이하 도 7을 통해 살펴본다.
도 7은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 양 카메라에서 흡수한 광량을 비교하여 가스의 농도를 측정하는 방법을 설명하기 위한 도면이다.
도 7(a)는 일반적으로 특정 온도의 흑체에서 방사하는 파장(λ)과 세기(I) 관계를 살펴본 분광 그래프이며, E_t는 적외선 카메라를 통해 흡수되는 파장 대역에서 적외선 카메라에서 흡수된 광량을 의미하며, e_i는 특정 가스에서 흡수되는 파장 대역에서 적외선 카메라가 흡수한 광량을 의미한다.
적외선 카메라에서 적외선을 흡수하는 경로 상에 특정 가스가 존재하는 경우, 그 농도에 따라 도 7(b)와 같이 분광 그래프가 형성될 수 있다. 적외선 카메라에서 적외선을 흡수하는 경로 상에 특정 가스가 존재하는 경우 특정 가스에서 흡수하는 파장은 세기가 적게 측정될 수 있다.
따라서, 특정 가스가 흡수하는 파장에서 세기가 감소하는 것을 분광 그래프에서 확인할 수 있다. 구체적으로, 도 7(b)에서 첫 번째 그래프는 특정 가스의 농도가 작은 것을 의미하며, 두 번째 그래프는 특정 가스의 농도가 큰 것을 의미한다.
단일의 적외선 카메라는 픽셀간 흡수하는 광량의 차이를 통해서 가스의 분포를 알 수 있지만, 가스의 유무에 따라서 동일 픽셀에 들어오는 광량의 차이를 알 수 없다.
따라서, 단일의 적외선 카메라는 도 7(a) 대비 도 7(b)의 E_t를 측정하여 특정 가스의 종류 및 농도를 측정할 수 없다.
따라서, 본 발명은 두 대의 적외선 카메라에서 하나에만 특정 가스에 대응되는 필터(200)를 구비하고, 양 적외선 카메라에서 대응 픽셀간 광량 차이를 통해 특정 가스의 종류 및 농도를 측정하고자 한다.
도 7(c)는 필터를 구비한 적외선 카메라에 대응되는 분광 그래프이다.
구체적으로, 도 7(c)의 첫 번째 그래프는 도 7(b)의 첫 번째 그래프에 대응되는 그래프로, 도 7(b)의 첫 번째 그래프는 제1 적외선 카메라에 대응되는 분광 그래프이면, 도 7(c)의 첫 번째 그래프는 제2 적외선 카메라에 대응되는 분광 그래프이다.
또한, 도 7(c)의 두 번째 그래프는 도 7(b)의 두 번째 그래프에 대응되는 그래프로, 도 7(b)의 두 번째 그래프는 제1 적외선 카메라에 대응되는 분광 그래프이면, 도 7(c)의 두 번째 그래프는 제2 적외선 카메라에 대응되는 분광 그래프이다.
즉, 제1 적외선 카메라는 특정 가스가 흡수하는 파장 대역에서 특정 가스의 농도에 대응하여 흡수하는 빛의 세기가 감소한 상태로 피사체에서 방사하는 파장을 흡수할 수 있다.
이때, 제2 적외선 카메라는 특정 가스가 흡수하는 파장 대역에서 특정 가스의 농도에 대응하여 피사체에서 방사하는 빛의 세기를 흡수할 수 있다.
제어부는 제1 적외선 카메라와 제2 적외선 카메라간 대응되는 픽셀간 흡수한 광량의 차이를 통해 특정 가스의 종류 및 농도를 확인 할 수 있다.
예를들어, 제1 적외선 카메라와 제2 적외선 카메라간 대응되는 픽셀간 흡수한 광량의 차이가 제1 적외선 카메라와 제2 적외선 카메라의 성능 및 설정 값의 차이에 따른 것이 아니라면, 제어부는 특정 가스의 유무를 확인 할 수 있다.
또한, 제1 적외선 카메라와 제2 적외선 카메라간 대응되는 픽셀간 흡수한 광량의 비를 통해 해당 특정 가스의 농도를 환산하여 산출할 수 있다.
도 8은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 가스가 흡수하는 파장을 필터링 하는 필터의 배치를 설명하기 위한 도면이다.
도 1을 참조하고 본 발명에 따른 적외선 스테레오 카메라는 제1 적외선 카메라(110) 및 제2 적외선 카메라(120)를 포함할 수 있으며, 제2 적외선 카메라(120)는 피사체가 방사하는 파장의 흡수하는 경로 상에 특정 가스에서 흡수하는 파장만을 통과시키는 필터(200)를 포함할 수 있다.
필터(200)는 도 8(a)와 같이 하나의 특정 가스만을 대상으로 하는 필터일 수 있다.
필터(200)는 제2 적외선 카메라에서 획득하는 적외선 이미지의 전 영역에서 특정 가스가 흡수하는 파장 외 파장을 필터링 하거나, 일부 영역에서 필터링 할 수 있다.
경우에 따라서, 필터(200)는 도 8(b)와 같이 복수의 특정 가스를 대상으로 하는 복수의 필터(201 내지 204)를 포함할 수 있다. 복수의 필터(201 내지 204)는 각각 상이한 특정 가스에 각각 대응되는 필터로 복수의 특정 가스는 각각 흡수하는 파장이 상이할 수 있다.
이때, 필터(200)는 복수의 필터(201 내지 204)가 동일 평면상에 구비되어 적외선 이미지에서 대응되는 영역이 상이하게 구비될 수 있다. 즉, 제어부는 제2 적외선 이미지에서 제1 필터(201)을 통과한 파장을 흡수한 픽셀 정보와 이에 대응되는 제1 적외선 이미지의 픽셀 정보를 비교하여 제1 필터(201)를 통과하는 파장을 흡수하는 특정 가스의 유무 및 농도를 확일 할 수 있다.
필터(200)가 복수의 필터(201 및 202)를 포함하는 경우, 격자 패턴을 형성하며 동일 평면상에 구비될 수 있다. 이는 특정 가스가 적외선 이미지에서 특정 영역에 집중하여 분포하는 경우 측정된 특정 가스의 유무 및 농도의 부정확성을 개선하기 위함이다.
또한, 필터(200)가 복수의 필터(201 및 202)를 포함하는 경우, 도 8(c)와 같이 적외선 이미지의 각 픽셀에 대응되도록 각각의 필터가 구비될 수 있다.
본 발명에 따른 적외선 스테레오 카메라는 화재 시 특히 유용하게 사용될 수 있다. 이를 위해 도 9 내지 도 12를 통해 본 발명의 유용성을 살펴본다.
도 9내지 12는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라(100a 내지 100e)를 이용하여 화재 감지 및 생체 인식하는 방법을 설명하기 위한 도면이다.
본 발명에 따른 적외선 스테레오 카메라(100a 내지 100e)는 동일 공간에 하나 구비될 수 있지만 도 9와 같이 복수 개 구비되어 서로 네트워크 연결되는 경우 보다 용이할 수 있다.
본 발명의 일 실시예에 따른 적외선 스테레오 카메라(100a 내지 100e)는 연소 초기에 용이하게 대응하여 사용자가 빠르게 대응할 수 있도록 할 수 있다.
화재 발생 순서를 도 10을 통해 살펴보면, 화재는 연소가 개시되면 초기에는 연소 지점이 화염 없이 특정 온도 이상으로 올라갈 수 있다. (1 구간) 기종의 화재 경보 시스템은 상기 1 구간이 지나 화염이 발생한 후에 경보하는 것이 일반적이었다. 다만, 이러한 경우 화재 초기 대응이 늦어지는 단점이 있다.
따라서, 화재 초기에 용이하게 대응하기 위해서는 제1 구간에서 화재 여부를 조속하게 발견하는 것이 중요하다.
이에 본 발명은 상기 1구간에서 화염이 없더라도 화재 시 발생하는 가스의 농도가 증가함을 이용하여 화재 여부를 조속히 검지하고 경보할 수 있다.
구체적으로, 본 발명의 적외선 스테레오 카메라(100a 내지 100e)는 특정 온도 이상의 열원을 감지한 경우(S602), 화재 시 발생하는 가스 농도를 측정하고(S601), 화재를 감지한 경우 연소 개시, 화염 발생, 연소 최대, 화염 소멸 및 연소 소멸 시점에 대응하여 후속 조치를 취할 수 있다(S603).
상기 제1 구간에서 적외선 스테레오 카메라는 통신할 수 있는 외부 기기로 연소 개시 정보를 제공하고 대응되는 후속 조치를 취할 수 있도록 할 수 있다. 대응되는 후속 조치로는 화재 의심 지역 정보 제공, 가스 농도 변화 정보, 화재 초기 경보 등의 조치일 수 있다.
도 12는 외부 기기를 통해 제공되는 화염 발생 위치 정보 및 온도, 해당 공간 내에 사람이 존재하는지 여부 및 그 위치, 가스 종류 및 농도 정보를 제공하는 일 실시예를 도시하고 있다. 경우에 따라서, 상기 정보는 3차원 공간 상에 제공될 수 있다. 또한, 기 저장된 사람 정보를 통해 해당 공간 내제 존재하는 사람을 분간하고, 해당 사람 및 관련 사람에게 정보를 제공할 수 있다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 적외선 스테레오 카메라 110: 제1 적외선 카메라
120: 제2 적외선 카메라 130: 제어부
200: 필터 300: 피사체
400: 전체 촬영 영역

Claims (17)

  1. 피사체를 캡쳐하여 제1 적외선 이미지를 획득하는 제1 적외선 카메라;
    상기 제1 적외선 카메라에 이격되어 구비되고, 상기 피사체를 캡쳐하여 제2 적외선 이미지를 획득하는 제2 적외선 카메라;
    상기 제1 적외선 카메라 및 상기 제2 적외선 카메라에 연결된 제어부;를 포함하고,
    상기 제어부는
    상기 제1 적외선 이미지 및 상기 제2 적외선 이미지를 정합하여 상기 피사체의 거리 정보 또는 특정 가스의 농도 정보 중 적어도 하나를 추출하는 것을 특징으로 하는 공간 정보 인식 장치.
  2. 제1 항에 있어서,
    상기 제2 적외선 카메라는 상기 피사체에서 방사하는 파장 중 특정 가스가 흡수하는 파장만 통과하는 필터를 더 포함하고,
    상기 제어부는
    상기 제1 적외선 이미지 및 상기 제2 적외선 이미지에서 상기 필터에 대응되는 영역에 입사되는 광량을 비교하여, 상기 특정 가스의 농도를 측정하는 것을 특징으로 하는 공간 정보 인식 장치.
  3. 제 2항에 있어서,
    상기 제2 적외선 카메라는
    흡수하는 파장이 상이한 가스들에 각각 대응되는 복수의 필터를 구비하는 것을 특징으로 하는 공간 정보 인식 장치.
  4. 제3항에 있어서,
    상기 제2 적외선 카메라는
    격자 패턴을 형성하도록, 상기 복수의 필터를 구비하는 것을 특징으로 하는 공가 정보 인식 장치.
  5. 제3항에 있어서,
    상기 복수의 필터는 상기 제2 적외선 이미지의 각 픽셀에 대응되도록 구비되는 것을 특징으로 하는 공간 정보 인식 장치.
  6. 제1 항에 있어서,
    상기 제어부는
    상기 제2 적외선 이미지에서 상기 피사체의 특정 픽셀을 상기 제1 적외선 이미지에 정합하고, 스테레오 비전 연산을 통해 상기 피사체의 거리 정보를 추출하는 것을 특징으로 하는 공간 정보 인식 장치.
  7. 제6항에 있어서
    상기 피사체의 특정 픽셀은 상기 피사체의 윤곽을 구성하는 픽셀 및 상기 피사체의 중심 픽셀인 것을 특징으로 하는 공간 정보 인식 장치.
  8. 제7항에 있어서,
    상기 중심 픽셀은 복수의 상기 윤곽을 구성하는 픽셀로부터 거리의 합이 최소가 되는 픽셀인 것을 특징으로 하는 공간 정보 인식 장치.
  9. 제7항에 있어서,
    상기 제어부는
    상기 제1 적외선 이미지에서 상기 피사체의 중심 픽셀과 상기 피사체의 윤곽 픽셀간 위치 관계를 통해, 상기 제2 적외선 이미지에서 상기 피사체의 윤곽 픽셀을 보정하는 것을 특징으로 하는 공간 정보 인식 장치.
  10. 제9항에 있어서,
    상기 제어부는
    상기 보정된 상기 피사체의 윤곽 픽셀 및 상기 피사체의 중심 픽셀을 이용하여 상기 제2 적외선 이미지를 상기 제1 적외선 이미지에 정합하는 것을 특징으로 하는 공간 정보 인식 장치.
  11. 제6 항에 있어서,
    상기 제어부는
    기 설정 시차를 두고 연속적으로 촬영된 상기 제1 적외선 이미지를 통해 상기 제1 적외선 카메라의 흔들림 정보를 추출하고,
    상기 제1 적외선 카메라의 흔들림 정보에 기초하여 상기 제2 적외선 이미지에서 추출된 상기 피사체의 윤곽을 구성하는 픽셀 및 상기 피사체의 중심 픽셀을 보정하는 것을 특징으로 하는 공간 정보 인식 장치.
  12. 제 11항에 있어서,
    상기 제어부는
    상기 제1 적외선 카메라에서 피사체의 중심 픽셀의 흔들림 정보를 이용하여 상기 제2 적외선 카메라에서 피사체의 중심 픽셀을 보정하는 것을 특징으로 하는 공간 정보 인식 장치.
  13. 제12항에 있어서
    상기 제어부는
    상기 제1 적외선 이미지에서 상기 피사체의 중심 픽셀과 상기 피사체의 윤곽 픽셀간 위치 관계를 통해, 상기 제2 적외선 이미지에서 상기 피사체의 윤곽 픽셀 정보를 보정하는 것을 특징으로 하는 공간 정보 인식 장치.
  14. 제13항에 있어서,
    상기 제어부는
    상기 보정된 상기 피사체의 윤곽 픽셀 및 상기 보정된 중심 픽셀을 이용하여 상기 제2 적외선 이미지를 상기 제1 적외선 이미지에 정합하는 것을 특징으로 하는 공간 정보 인식 장치.
  15. 제6항에 있어서,
    상기 제1 적외선 카메라는 상기 제2 적외선 카메라 보다 해상도가 높은 것을 특징으로 하는 공간 정보 인식 장치.
  16. 제1항에 있어서,
    상기 적외선 스테레오 카메라는
    외부 기기와 통신하는 커뮤니케이션 유닛을 더 포함하고,
    상기 제어부는
    특정 온도 이상이 감지되고, 화재 시 발생하는 가스의 농도가 증가함을 측정한 경우, 화재 정보를 상기 외부 기기로 제공하도록 상기 커뮤니케이션 유닛을 제어하는 것을 특징으로 하는 공간 정보 인식 장치.
  17. 제16항에 있어서,
    상기 화제 정보는
    연소가 시작된 시간을 알리는 연소 개시 정보, 생명체 유무 정보, 상기 생명체의 대상 정보, 상기 생명체의 거리 정보, 연소 지점 거리 정보, 상기 생명체의 움직임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 공간 정보 인식 장치.

KR1020190013901A 2019-02-01 2019-02-01 공간정보 인식장치 KR102668750B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190013901A KR102668750B1 (ko) 2019-02-01 2019-02-01 공간정보 인식장치
PCT/KR2020/001192 WO2020159165A1 (ko) 2019-02-01 2020-01-23 적외선 스테레오 카메라

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190013901A KR102668750B1 (ko) 2019-02-01 2019-02-01 공간정보 인식장치

Publications (2)

Publication Number Publication Date
KR20200095918A true KR20200095918A (ko) 2020-08-11
KR102668750B1 KR102668750B1 (ko) 2024-05-23

Family

ID=71841518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190013901A KR102668750B1 (ko) 2019-02-01 2019-02-01 공간정보 인식장치

Country Status (2)

Country Link
KR (1) KR102668750B1 (ko)
WO (1) WO2020159165A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102251307B1 (ko) * 2020-09-10 2021-05-13 주식회사 콕스 거리측정 기능을 갖는 열상 카메라 시스템
KR102355884B1 (ko) * 2021-01-26 2022-02-08 (주) 플레이오니 인공지능을 이용한 화재 판정 방법, 장치 및 프로그램
JP2022079798A (ja) * 2020-11-17 2022-05-27 株式会社日立製作所 物体認識装置および物体認識方法
KR20220079753A (ko) * 2020-12-04 2022-06-14 주식회사 콕스 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법
WO2023210940A1 (ko) * 2022-04-26 2023-11-02 삼성전자 주식회사 렌즈형 악세사리 착용에 따른 카메라 사용을 위한 전자 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758079B (zh) * 2023-08-18 2023-12-05 杭州浩联智能科技有限公司 一种基于火花像素的危害预警方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100301214A1 (en) * 2009-06-02 2010-12-02 Flir Systems Ab Infrared camera for gas detection
KR101012691B1 (ko) * 2010-07-05 2011-02-09 주훈 3차원 입체 열상 카메라 시스템
KR101148799B1 (ko) * 2011-09-21 2012-05-24 주식회사 창성에이스산업 적외선 열영상 화재감지기 및 이를 이용한 화재 감지방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101314259B1 (ko) * 2011-03-24 2013-10-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
KR101507416B1 (ko) * 2012-12-07 2015-04-07 (주)희스테크 가스 측정 장치 및 방법
KR101656711B1 (ko) * 2015-08-31 2016-09-12 한밭대학교 산학협력단 열발산 피사체 검출 장치 및 그 제어 방법
KR101918887B1 (ko) * 2017-09-19 2018-11-14 한국과학기술원 모노 적외선 카메라를 이용한 거리 측정 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100301214A1 (en) * 2009-06-02 2010-12-02 Flir Systems Ab Infrared camera for gas detection
KR101012691B1 (ko) * 2010-07-05 2011-02-09 주훈 3차원 입체 열상 카메라 시스템
KR101148799B1 (ko) * 2011-09-21 2012-05-24 주식회사 창성에이스산업 적외선 열영상 화재감지기 및 이를 이용한 화재 감지방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102251307B1 (ko) * 2020-09-10 2021-05-13 주식회사 콕스 거리측정 기능을 갖는 열상 카메라 시스템
JP2022079798A (ja) * 2020-11-17 2022-05-27 株式会社日立製作所 物体認識装置および物体認識方法
KR20220079753A (ko) * 2020-12-04 2022-06-14 주식회사 콕스 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법
KR102355884B1 (ko) * 2021-01-26 2022-02-08 (주) 플레이오니 인공지능을 이용한 화재 판정 방법, 장치 및 프로그램
WO2023210940A1 (ko) * 2022-04-26 2023-11-02 삼성전자 주식회사 렌즈형 악세사리 착용에 따른 카메라 사용을 위한 전자 장치 및 방법

Also Published As

Publication number Publication date
WO2020159165A1 (ko) 2020-08-06
KR102668750B1 (ko) 2024-05-23

Similar Documents

Publication Publication Date Title
KR102668750B1 (ko) 공간정보 인식장치
US8427632B1 (en) Image sensor with laser for range measurements
EP2530442A1 (en) Methods and apparatus for thermographic measurements.
CA2890559C (en) Dual-band divided aperture infra-red spectral imaging system
CN103873788B (zh) 使用后处理技术减少热图像噪声的相机和方法
WO2019036751A1 (en) ENHANCED VIDEO-BASED DRIVER MONITORING USING PHASE DETECTION SENSORS
CN107864375B (zh) 带对准分析的成像设备
CN202471261U (zh) Ccd测温装置
CN107894243A (zh) 用于对监测区域进行光学检测的光电传感器和方法
US20220132052A1 (en) Imaging method and device
CN106254796A (zh) 一种基于光电摄像管的红外激光光斑探测成像装置及方法
US20030067538A1 (en) System and method for three-dimensional data acquisition
EP3043549B1 (en) Methods and systems for flash detection
KR102220654B1 (ko) 측정온도 보정시스템
JP5605565B2 (ja) 対象識別装置及び対象識別方法
US20200271789A1 (en) Method and device for detecting incident laser radiation on a spacecraft
KR101625471B1 (ko) 보급형 열화상 카메라의 해상도 향상 방법 및 장치
KR102078877B1 (ko) 트리오 영상장치를 통한 태양광 모듈 열화상 촬영 시스템
GB2462137A (en) Polarisation sensitive long wavelength infra red(LWIR) detector
KR20170004039U (ko) 열화상 오버레이 모니터링 장치
JP2012107943A (ja) 対象識別装置及び対象識別方法
US20190087657A1 (en) Binding of selfie face image to iris images for biometric identity enrollment
JPH06273506A (ja) 目標検出装置
Chong et al. Night-time surveillance system for forensic 3D mapping
JP5699557B2 (ja) 対象識別装置及び対象識別方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant