KR102220654B1 - 측정온도 보정시스템 - Google Patents

측정온도 보정시스템 Download PDF

Info

Publication number
KR102220654B1
KR102220654B1 KR1020200076032A KR20200076032A KR102220654B1 KR 102220654 B1 KR102220654 B1 KR 102220654B1 KR 1020200076032 A KR1020200076032 A KR 1020200076032A KR 20200076032 A KR20200076032 A KR 20200076032A KR 102220654 B1 KR102220654 B1 KR 102220654B1
Authority
KR
South Korea
Prior art keywords
image
temperature
correction
distance
detection
Prior art date
Application number
KR1020200076032A
Other languages
English (en)
Inventor
조문석
홍성견
서인석
Original Assignee
쿨사인 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쿨사인 주식회사 filed Critical 쿨사인 주식회사
Priority to KR1020200076032A priority Critical patent/KR102220654B1/ko
Priority to PCT/KR2020/008547 priority patent/WO2021261642A1/ko
Application granted granted Critical
Publication of KR102220654B1 publication Critical patent/KR102220654B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025Living bodies
    • G01J5/0285
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/06Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
    • G01J5/064Ambient temperature sensor; Housing temperature sensor; Constructional details thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/06Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
    • G01J5/068Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity by controlling parameters other than temperature
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/60Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/80Calibration
    • G01J5/804Calibration using atmospheric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G01J2005/0055
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • G01J2005/068

Abstract

본 발명은 객체 즉, 피사체를 촬영하며 피사체의 특정 부위를 식별하고 기계 학습된 특정 부위의 평균 온도를 식별된 부위에 반영하여 피사체의 온도를 정확하게 산출하는 측정온도 보정시스템에 관한 것이다. 이러한 본 발명의 측정온도 보정시스템은 객체를 촬영하여 제1영상이미지를 생성하는 광학카메라부; 객체를 열화상으로 촬영하여 제2영상이미지를 생성하는 열화상카메라부; 이격된 흑체와의 거리 그리고 이격된 객체와의 거리를 산출하는 거리측정부; 제1영상이미지와 제2영상이미지에서 기 설정부위를 검출하고 제1영상이미지에서 검출된 제1검출이미지와 제2영상이미지에서 검출된 제2검출이미지를 매핑(Mapping)시키며, 매핑 된 이미지에서 검출부위의 평균온도를 측정하고, 열화상카메라부에서 흑체로부터 측정된 기준온도를 기준으로 하여 열화상카메라부와 객체 간 거리에 따라 서로 다른 온도로 측정된 보정온도가 설정되어, 거리측정부에서 산출된 열화상카메라부와 객체 간 거리로부터 기 설정된 보정온도를 추출하여, 매핑 된 이미지에 보정온도를 부여해 보정온도이미지를 생성하는 측정보정부를 포함한다.

Description

측정온도 보정시스템{Correction System of Measurement Temperature}
본 발명은 복수 개의 객체 측정 장치 등으로부터 수집한 데이터를 기계 학습하여, 학습된 데이터에 기초해 열화상 카메라에서 측정된 객체의 온도를 보정하는 기술에 속한다.
많은 사람들의 발열을 신속하게 측정하는데 있어, 열화상카메라가 사용되고 있다. 열화상카메라는 열을 추적 탐지하여 화면으로 보여주는 장치를 말한다. 열화상카메라는 초점면 배열 검출기(FPA: Focal Plane Arrays)와 비 냉각식 마이크로볼로미터를 포함하여, 측정 가능 거리 내에서 객체의 온도를 정확하게 측정하고 있다.
이러한 열화상카메라는 객체가 발생시키는 열을 감지하고 객체의 어느 부분에서 어느 정도의 열이 발생되는지를 파악할 수 있도록 한다. 열화상카메라는 측정 가능 거리에서 열을 정확하게 검출 가능한 면적의 크기를 온도 측정 가능 기준 범위로 삼고 있다. 통상의 열화상카메라의 측정 가능 거리는 순간 시야각(IFOV: Instantaneous Filed Of View)에 따른 스팟 크기비율(SSR:Spot Size Ratio) 값에 따라 정확하게 파악될 수 있다. 예를 들어 1,000/1이라는 값은 피사체에서 1,000mm 거리에서 1평방mm 면적의 평균 온도를 측정할 수 있다는 의미이다.
또한, 통상의 열화상카메라는 순간 시야각(IFOV: Instantaneous Filed Of View)보다 피사체의 크기가 커야만 피사체 외부의 복사 온도를 제외한 측정이 가능하다.
열화상 카메라를 이용한 온도 측정 시에 기준 거리 이하와 이상 양 측 모두에서 흑체 등의 온도 기준 장치를 이용한 측정값과 비교해 볼 때 오차가 발생한다. 또한, 피사체가 인체인 경우 피사체가 소유하고 있는 기타 열원으로 인하여 측정 온도에 오차가 발생할 수 있다. 즉, 열화상 카메라를 이용한 온도 측정 결과는 검사 장비와 피검사체의 거리에 따른 오차를 내포하고 있다.
대한민국 공개특허 제10-2015-0129937호(공개일자: 2015.11.23.)
본 발명은 환경적 요소 및 열화상 카메라의 한계에 의해 객체의 온도를 정확하게 측정하지 못하는 문제를 해결하는데 있다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 과제들로 제한되지 않으며 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 해결하고자 하는 과제를 달성하기 위한 측정온도 보정시스템은,
객체를 촬영하여 제1영상이미지를 생성하는 광학카메라부;
객체를 열화상으로 촬영하여 제2영상이미지를 생성하는 열화상카메라부;
이격된 흑체와의 거리 그리고 이격된 객체와의 거리를 산출하는 거리측정부;
상기 제1영상이미지와 상기 제2영상이미지에서 기 설정부위를 검출하고 상기 제1영상이미지에서 검출된 제1검출이미지와 제2영상이미지에서 검출된 제2검출이미지를 매핑(Mapping)시키며, 매핑 된 이미지에서 검출부위의 평균온도를 측정하고,
상기 열화상카메라부에서 상기 흑체로부터 측정된 기준온도와 상기 기준온도를 기준으로 하여 상기 열화상카메라부와 상기 객체간 거리에 따라 서로 다른 온도로 측정된 보정온도가 설정되어,
상기 거리측정부에서 산출된 상기 열화상카메라부와 상기 객체 간 거리로부터 기 설정된 보정온도를 추출하여,
상기 매핑 된 이미지에 상기 보정온도를 부여해 보정온도이미지를 생성하는 측정보정부,
상기 광학카메라부가 설치된 장소에 설치되어, 상기 광학카메라부가 객체를 촬영하는 장소의 온도, 습도를 측정하여 상기 측정보정부로 측정된 온도데이터 및 습도데이터를 전송하여 기계 학습되는 데이터로 활용되도록 하는 외부요소측정부를 포함하고,
상기 측정보정부는,
상기 제1영상이미지와 상기 제2영상이미지에서 기 설정부위인 인체의 얼굴 부위를 검출하 검출모듈;
제1검출이미지와 제2검출이미지를 복수 개의 영역이 형성되도록 격자로 나눠 각 영역에 서로 다른 보정온도가 반영되도록 하는 격자모듈;
상기 검출모듈을 통해 제1영상이미지에서 검출된 제1검출이미지와 제2영상이미지에서 검출된 제2검출이미지를 매핑(Mapping) 시켜, 매핑 된 이미지를 생성하는 매핑모듈;
상기 매핑 된 이미지에서 검출부위의 평균온도를 측정하는 온도측정모듈;
기준온도를 포함하여 상기 광학카메라부, 상기 열화상카메라부, 거리측정부로부터 데이터를 수집해 상기 객체와 상기 열화상카메라부 간 거리에 대응해 상기 보정온도를 산출하는 계산모듈;
상기 매핑 된 이미지에 상기 보정온도를 부여해 보정온도이미지(NT)를 생성하는 보정모듈을 포함하여,
상기 광학카메라부 그리고 상기 열화상카메라부와 상기 객체간 이격 거리에 따라 N개의 상기 제1검출이미지와 상기 제2검출이미지를 검출한 후, 상기 제1검출이미지와 상기 제2검출이미지를 복수 개의 격자로 분할하고,
N개의 상기 제1검출이미자와 상기 제2검출이미지 가운데,
거리가 동일한 N/2개의 상기 제1검출이미자와 상기 제2검출이미지를 매핑하여, N/2개의 매핑 된 이미지를 생성하고,
나머지 N/2개의 제1검출이미지와 제2검출이미지는 Convolution layer, ReLU Layer, Pooling layer, Fully-connected layer, Drop-Out layer, Final Layer로 형성하며 다층 Layer로 매핑 된 이미지를 생성하고, 생성된 다층 Layer로 매핑 된 이미지의 각 격자영역에 보정온도를 반영한 후, 다시 각 격자영역에 할당된 보정온도값을 추출하여 기계 학습하여 추후에 매핑 된 이미지의 격자영역에 반영될 수 있다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
본 발명의 측정온도 보정시스템은 피사체의 인체 여부를 판별하여 피사체에서 특정 부위를 식별하고 기계 학습된 특정 부위의 평균 온도를 식별된 부위에 반영하여 피사체의 온도를 정확하게 측정할 수 있도록 한다.
또한, 측정온도 보정시스템은 열화상 카메라의 성능과 사용된 렌즈 및 열화상 디텍터의 성능 및 피사체와의 거리에 따른 측정 결과를 수집하고, 추가적으로 주변 환경에 대한 변수를 대입하여 정확한 온도를 측정할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 측정온도 보정시스템을 나타낸 도면이다.
도 2는 도 1의 측정보정부를 구체적으로 나타낸 도면이다.
도 3은 광학카메라부에서 촬영한 제1영상이미지 및 측정보정부에서 검출된 검출이미지를 나타낸 도면이다.
도 4는 열화상카메라부에서 촬영한 제2영상이미지 및 측정보정부에서 검출된 검출이미지를 나타낸 도면이다.
도 5는 거리측정부에서 열화상카메라부와 객체 간 거리를 측정하여, 측정거리값을 측정보정부에 전송하는 상태를 나타낸 도면이다.
도 6은 거리측정부에서 흑체를 중심으로 객체의 거리에 따른 보정온도를 산출하는 상태를 나타낸 도면이다.
도 7은 도 3의 광학카메라부에서 감지된 얼굴과 도 4의 열화상카메라부에서 감지된 얼굴을 매핑하고, 매핑 된 이미지를 나타낸 도면이다.
도 8은 거리 별 측정된 온도 변화 상태를 나타내는 그래프이다.
도 9는 측정보정부에서 측정거리값에 대응되도록 매핑된 이미지의 온도를 보정하는 상태를 나타낸 도면이다.
도 10은 측정보정부에서 온도가 보정된 이미지로부터, 거리값 및 온도 보정 값을 기계 학습하는 상태를 나타낸 도면이다.
도 11은 본 발명의 다른 실시예에 따른 측정온도 보정시스템을 나타낸 도면이다.
본 발명의 장치 및 방법은 첨부되는 도면과 도면을 바탕으로 상세하게 설명된 내용으로부터 명확해질 수 있다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되지 않고, 서로 다른 다양한 형태로 구현될 수 있다.
본 명세서 상에서 기술되는 실시 예는 본 발명의 개시가 완전하도록 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다. 이에, 본 발명의 청구범위는 오로지 청구항에 의해 정의된다.
이하, 도 1 내지 도 10을 참조하여, 본 발명의 일 실시예에 의한 측정온도 보정시스템에 대해 상세히 설명한다.
다만, 측정온도 보정시스템에 대한 설명이 간결하고 명확해질 수 있도록, 도 1을 참조하여, 측정온도 보정시스템에 대해 개괄적으로 설명한다. 이후, 도 1과 도 2를 참조하여 측정온도 보정시스템의 구성요소에 대해 설명하고, 도 3 및 도 10을 참조하여 측정온도 보정시스템의 작동에 대해 설명한다.
도 1은 본 발명의 일 실시예에 따른 측정온도 보정시스템을 나타낸 도면이다.
본 발명의 측정온도 보정시스템(1)은 객체 즉, 피사체를 촬영하며 피사체의 특정 부위를 식별하고 기계 학습된 특정 부위의 평균 온도를 식별된 부위에 반영하여 피사체의 온도를 정확하게 산출한다.
보다 구체적으로, 본 발명의 측정온도 보정시스템은 광학카메라부(10)와 열화상카메라부(20)를 이용한 피사체의 얼굴을 감지하고, 광학카메라부(10)에서 촬영한 영상과 열화상카메라부(20)에서 촬영한 영상을 매핑(Mapping) 하여, 피사체의 얼굴 부위의 평균 온도를 1차 측정하고, 열화상카메라부와 피사체의 거리에 따른 온도 측정 결과를 거리측정부 일례로, 거리측정센서, Depth 카메라, 3D 카메라 등 기준점과 목표 사이의 거리가 측정 가능한 장치를 이용하여 피사체와 열화상카메라부의 거리 측정 값에 기초하여 보정값을 산출한다. 그리고 수집된 측정 결과값 및 보정값을 기계 학습하며 보다 정확한 보정값을 산출하여 보정될 수 있도록 한다. 여기서, 보정값은 보정온도가 되며 보정온도는 열화상카메라부(20)에서 흑체(60)로부터 측정된 기준온도를 기준으로 하여 열화상카메라부(20)와 객체(M)간 거리에 따라 서로 다른 온도로 측정된 온도가 된다.
이와 같은 특징을 갖는 측정온도 보정시스템(1)은 광학카메라부(10), 열화상카메라부(20), 거리측정부(30), 측정보정부(40)를 포함한다.
이하, 도 1과 도 2를 참조하여 측정온도 보정시스템의 구성요소에 대해 설명한다.
도 1은 본 발명의 일 실시예에 따른 측정온도 보정시스템을 나타낸 도면이고, 도 2는 도 1의 측정보정부를 구체적으로 나타낸 도면이다.
광학카메라부(10)는 햇빛을 반사하는 신호를 포착하여 객체를 촬영하며 제1영상이미지를 생성한다. 즉, 광학카메라부(10)는 피사체를 촬영하여 영상이미지를 생성한다. 이러한 광학카메라부(10)에 인접하여 열화상카메라부(20)가 위치할 수 있다.
열화상카메라부(20)는 객체를 열화상으로 촬영하여 제2영상이미지를 생성한다. 이러한 열화상카메라부(20)는 흑체(60)로부터 발생되는 열 에너지를 측정과 객체로부터 발산되는 열 에너지를 측정할 수 있다.
열화상 카메라의 성능 및 설치된 렌즈의 성능에 따라 다음의 몇 가지 값이 결정된다. 열화상카메라부(20)에 포함되는 일반적인 초점면 배열 어셈블리는 크기와 분해능에 따라서 약 60,000~1,000,000 개 이상의 개별 디텍터를 가지고 있으며 2차원 픽셀 매트릭스로 환산하여 160 X 120 픽셀에서 1024 X 1024 픽셀 정도의 영상이미지를 생성할 수 있다.
아울러, 마이크로볼로미터 방식의 디텍터를 사용하는 열화상 카메라부는 입사된 복사 에너지에 의한 소재의 상태 변화(볼로미터 효과)로 반응한다. 이러한 열화상카메라부(20)의 시야각(FOV: Field Of View)은 렌즈와 초점면의 크기에 따라 상이하다. 그리고 분해능(IFOV)은 렌즈와 디텍터 FPA의 성능에 의하여 결정된다.
이를 기본으로 열화상카메라부의 성능을 통해 열화상카메라부의 유효한 최소 측정 면적과 정확한 온도를 측정 가능한 거리를 계산할 수 있다.
거리측정부(30)는 광학카메라부(10) 또는 열화상카메라부(20)와 동일 선상에 위치하여 열화상카메라부(20)와 광학카메라부(10)와 객체 간 거리를 산출한다. 그리고 거리측정부(30)는 흑체(60)와 이격된 거리를 측정한다. 즉, 거리측정부(30)는 이격된 흑체(60)와의 거리 그리고 이격된 객체(M)와의 거리를 산출한다.
일례로, 거리측정부(30)는 광학카메라부(10) 또는 열화상카메라부(20)에서 촬영하는 객체 간 거리를 mm, cm 또는 m 단위 중 어느 하나로 거리를 산출할 수 있다. 일례로, 2m 간격으로 촬영하며 산출된 거리데이터를 산출할 수 있다. 그리고 산출된 거리데이터를 측정보정부(40)로 전송한다. 여기서 흑체(60)는 측정보정부(40)의 외부에서 측정보정부(40)와 연결된 온도기준모듈이 된다.
측정보정부(40)는 열화상카메라부(110)와 흑체(60)의 거리 및 열화상카메라부(110)와 피사체의 거리를 산출한다. 이러한 측정보정부(40)는 피사체와의 거리에 열화상카메라부(20)에서 흑체(60)로부터 측정된 기준온도와 기준온도를 기준으로 하여 열화상카메라부(20)와 객체(M)간 거리에 따라 서로 다른 온도로 측정된 보정온도가 설정된 보정온도테이블을 포함한다. 여기서, 보정온도데이블은 가로축이 거리측정부(30)와 객체(M)간 거리 그리고 세로축은 기준온도가 설정되어 각 릴레이션 인스턴스에 서로 다른 객체의 온도값이 설정된 표가 된다.
측정보정부(40)는 보정온도테이블을 이용해 피사체와의 거리 별 변화값에 따른 보정온도를 추출할 수 있다.
보다 구체적으로, 측정보정부(40)는 광학카메라부(10)와 열화상카메라부(20)로부터 촬영한 제1영상이미지(A1)와 제2영상이미지(A2)에서 기 설정부위를 검출하고 제1영상이미지에서 검출된 제1검출이미지와 제2영상이미지에서 검출된 제2검출이미지를 매핑(Mapping)시킬 수 있다. 그리고 매핑 된 이미지(F3)에서 검출부위의 평균온도를 측정하고, 객체와 열화상카메라부(20) 간 거리에 대응해 전술한 보정온도테이블에서 보정온도를 추출할 수 있다. 그리고 매핑 된 이미지(F3)에 추출된 보정온도를 부여해 보정온도이미지(NT)를 생성할 수 있다. 여기서, 보정온도테이블의 각 셀 즉, 각 릴레이션 인스턴스에 설정된 온도값은 선형 회귀방법을 적용해 거리 별 온도의 변화에 대한 선형적인 근사값으로 산출된 값이 될 수 있다. 그리고 여기서 구한 선형 방정식을 피검사체의 측정 온도 보정에 적용할 수 있다. 그리고 이러한 기준온도와 측정온도에 대한 실제 측정 값을 도 8에 도시된 바와 같은 그래프로 산출할 수 있다.
또한, 측정보정부(40)는 측정 온도가 열화상카메라부(20)의 특성에 따라 선형적이지 않은 경우를 고려하여, 이에 대한 보완을 위해 다층 Layer로 기계학습을 수행할 수 있다. 이때, 기계학습을 통해 Convolution layer, ReLU Layer, Pooling layer, Fully-connected layer, Drop-Out layer, Final Layer 등의 다층 Layer로 구성하여 학습을 진행하면 그래프의 특정 거리에서의 비선형 값에 대한 보정이 가능하다.
전술한 바와 같이, 여러 기능을 하는 측정보정부(40)는 복수 개의 구성요소가 결합된 컴퓨터가 될 수 있다. 여기서, 복수 개의 구성요소는 도 2에 도시된 바와 같이, 검출모듈(410), 격자모듈(420), 매핑모듈(430), 온도측정모듈(440), 계산모듈(450) 및 보정모듈(460)등이 될 수 있다.
이하, 측정보정부(40)를 구성하는 구성요소들에 대해 보다 구체적으로 설명한다.
검출모듈(410)은 제1영상이미지(A1)와 제2영상이미지(A2)에서 기 설정부위를 검출한다. 여기서, 기 설정부위는 인체의 얼굴부위가 될 수 있다.
격자모듈(420)은 제1검출이미지(F1)와 제2검출이미지(F2)를 복수 개의 영역이 형성되도록 격자로 나눠 각 영역에 서로 다른 보정온도가 반영되도록 한다.
매핑모듈(430)은 검출모듈(410)을 통해 제1영상이미지(A1)에서 검출된 제1검출이미지(F1)와 제2영상이미지(A2)에서 검출된 제2검출이미지(F2)를 매핑(Mapping)시킨다. 여기서, 매핑은 제1검출이미지(F1)에 제2검출이미지(F2)를 덮어 하나의 이미지를 생성하는 과정을 의미한다.
온도측정모듈(440)은 격자모듈(420)에서 나뉘어 각 영역에 온도가 반영된 후, 매핑모듈(430)에서 생성된 매핑 된 이미지(F3)에서 얼굴부위의 평균온도를 측정해 평균온도값을 뽑아낸다.
계산모듈(450)은 기준온도를 포함하여 광학카메라부(10), 열화상카메라부(20), 거리측정부(30)로부터 데이터를 수집해 객체와 열화상카메라부(20) 간 거리에 대응해 보정온도를 산출한다.
보정모듈(460)은 매핑 된 이미지(F3)에 보정온도를 부여해 보정온도이미지(NT)를 생성한다.
이하, 도 3 내지 도 10을 참조하여, 측정온도 보정시스템(1)을 구성하는 요소들의 작동에 대해 구체적으로 설명한다.
도 3은 광학카메라부에서 촬영한 제1영상이미지 및 측정보정부에서 검출된 검출이미지를 나타낸 도면이고, 도 4는 열화상카메라부에서 촬영한 제2영상이미지 및 측정보정부에서 검출된 검출이미지를 나타낸 도면이고, 도 5는 거리측정부에서 열화상카메라부와 객체 간 거리를 측정하여, 측정거리값을 측정보정부에 전송하는 상태를 나타낸 도면이다. 그리고 도 6은 거리측정부에서 흑체를 중심으로 객체의 거리에 따른 보정온도를 산출하는 상태를 나타낸 도면이고, 도 7은 도 3의 광학카메라부에서 감지된 얼굴과 도 4의 열화상카메라부에서 감지된 얼굴을 매핑하고, 매핑 된 이미지를 나타낸 도면이고, 도 8은 거리 별 측정된 온도 변화 상태를 나타내는 그래프이다. 그리고 도 9는 측정보정부에서 측정거리값에 대응되도록 매핑된 이미지의 온도를 보정하는 상태를 나타낸 도면이고, 도 10은 측정보정부에서 온도가 보정된 이미지로부터, 거리값 및 온도 보정 값을 기계 학습하는 상태를 나타낸 도면이다.
측정보정부(40)는 도 3 및 도 4에 도시된 바와 같이, 광학카메라부(10)와 열화상카메라부(20)로 객체(M)를 촬영하며 제1영상이미지(A1)와 제2영상이미지(A2)를 생성한다. 이후, 생성한 제1영상이미지(A1)와 제2영상이미지(A2)를 측정보정부(40)로 전송한다. 측정보정부(40)는 제1영상이미지(A1)와 제2영상이미지(A2)에서 얼굴부위를 제1검출이미지(F1)와 제2검출이미지(F2)로 검출한다. 그리고 측정보정부(40)는 도 5에 도시된 바와 같이 검출된 제1검출이미지(F1)와 제2검출이미지(F2)를 매핑(Mapping)하며 매핑 된 이미지(F3)를 생성할 수 있다. 이때, 거리측정부(30)는 도 5에 도시된 바와 같이, 객체(M)와 열화상카메라부(20) 또는 광학카메라부(10) 간 거리를 산출할 수 있다. 그리고 흑체(60)와 이격 거리를 산출하여 측정보정부(40)에 전송할 수 있다.
보다 구체적으로, 거리측정부(30)는 도 6에 도시된 바와 같이 흑체(60)와 이격거리(B_ Distance)를 산출하고, 객체의 첫 번째 이격거리(A1_Distance)와 객체의 두 번째 이격거리(A2_Distance)의 거리값을 산출할 수 있다. 본 명세서 상에서는 거리측정부(30)가 첫 번째 이격거리와 두 번째 이격거리를 산출하는 것 만을 나타냈으나, 객체 두 개만의 이격거리를 측정하는 것에 한정되지 않고, N개의 이격거리를 순차적으로 측정할 수 있다. 그리고 측정된 N개의 이격거리의 값을 측정보정부(40)에 전달할 수 있다.
측정보정부(40)는 도 7에 도시된 바와 같이 매핑 된 이미지(F3)의 평균온도를 측정하고, 객체(M)와 광학카메라부(10) 간 거리에 대응해 기 설정된 기준온도 대비 온도변화율을 기계 학습 값을 반영하여 보정온도값을 산출할 수 있다. 그리고 측정보정부(40)는 도 8에 도시된 바와 같이 산출된 보정온도값을 매핑 된 이미지(F3)에 반영하며 보정온도값이 반영된 이미지(NT)를 생성할 수 있다. 측정보정부(40)는 보정온도값이 반영된 이미지(NT)로부터 측정 결과값 및 보정값을 다시 기계학습 하여 추후에 새롭게 생성될 매핑 된 이미지(F3)에 보다 정확한 보정온도값이 반영될 수 있도록 한다.
여기서, 측정보정부(40)는 전술한 구성요소를 통해 제2검출이미지(F2)를 9개 격자 영역으로 나눠 흑체(60) 즉, 온도기준모듈을 각 영역내에 유지되도록 조정한 상태에서, 기준객체(최초 보정온도데이블에 기입되는 온도값을 산출하기 위해 온도가 측정되는 객체)를 50cm에서 500cm까지 이동시키면서 거리 별로 측정 온도를 순서로 기록할 수 있다. 학습할 측정된 순서 집합의 데이터 개수 즉, 객체의 이동에 따라 측정되는 객체의 이격거리의 값이 N개라고 했을 때, 절반의 데이터는 학습용데이터로 사용한다. 그리고 나머지 절반은 기계 학습 검증용 데이터로 사용한다.
측정보정부(40)는 산출된 N개의 데이터 가운데 N/2개 그리고 N/2개의 제1검출이미지와 제2검출이미지를 9개의 격자(C)로 분할한 후, 거리가 동일한 제1검출이미지와 제2검출이미지를 매핑하여, N/2개의 매핑 된 이미지(F3)를 생성한다. 그리고 생성된 N/2개 매핑 된 이미지의 각 격자영역에 거리 별 보정온도를 할당한 후, N/2개의 평균온도를 산출한다. 그리고 산출된 N/2개의 평균온도를 N/2개의 보정온도이미지(NT)에 반영하여 나타낸다. 여기서, 측정보정부(40)는 산출된 N개의 데이터 가운데 보정온도이미지 생성에 사용되지 않은 나머지 N/2개의 제1검출이미자와 제2검출이미지는 Convolution layer, ReLU Layer, Pooling layer, Fully-connected layer, Drop-Out layer, Final Layer 등의 다층 Layer로 매핑 된 이미지(F4)를 생성하고, 생성된 매핑 된 이미지(F4)의 각 격자영역에 보정온도를 반영한 후, 다시 각 격자영역에 할당된 보정온도값을 추출하여 기계 학습하여 추후에 매핑 된 이미지(F3)의 격자영역에 보다 정확한 보정온도가 반영되도록 한다.
일례로, 측정보정부(40)는 도 9에 도시된 바와 같이 산출된 첫 번째 격자 분할된 제1검출이미지와 첫 번째 격자 분할된 제2검출이미지가 격자 분할된 매핑 된 이미지(F3)의 각 격자 영역에 거리 별 보정 온도를 할당할 수 있다. 그리고 매핑 된 이미지의 각 격자 영역에 할당된 보정 온도의 평균온도를 산출하고, 산출된 값이 할당된 보정온도이미지(NT)를 생성할 수 있다. 그리고 도 10에 도시된 바와 같이, 산출된 두 번째 격자 분할된 제1검출이미지와 두 번째 격자 분할된 제2검출이미지가 매핑되어 매핑 된 이미지(F4)가 생성되고, 생성된 매핑 된 이미지(F4)의 각 격자 영역에 거리 별 보정온도를 할당할 수 있다. 이때, 매핑 된 이미지(F4)의 각 격자 영역의 할당되는 보정온도는 전술된 매핑 된 이미지(F3)의 각 겨자 영역에 할당된 보정온도와 상이할 수 있다. 측정보정부(40)는 매핑 된 이미지(F4)의 각 격자에 할당된 보정온도를 추출해 기계 학습하여 추후의 매핑 된 이미지(F3)의 각 격자영역에 보다 정확한 보정온도가 반영되도록 한다.
이하, 도 11을 참조하여 본 발명의 다른 실시예에 따른 측정온도 보정시스템에 대해 설명한다. 본 발명의 다른 실시예에 따른 측정온도 보정시스템은 본 발명의 일 실시예에 따른 측정온도 보정시스템과 비교하여 외부요소측정부를 더 포함하는 것을 제외하고는 동일하다.
이에, 본 발명의 다른 실시예에 따른 측정온도 보정시스템에 대한 설명이 간결하고 명확할 수 있도록 일 실시예와 중복되는 구성요소에 대한 설명은 생략하고, 외부요소측정부에 대해 집중적으로 설명한다.
본 발명의 다른 실시예에 따른 측정온도 보정시스템(1-1)에 포함되는 외부요소측정부(50)는 광학카메라부(10)가 객체를 촬영하는 장소의 온도 및 습도를 측정하는 장치가 된다. 외부요소측정부(50)는 측정된 온도데이터 및 습도데이터를 측정보정부(40)로 전송한다. 측정보정부(40)는 전송된 온도데이터 및 습도데이터를 보정온도값을 보다 정확하게 산출하는 기저 데이터로 활용하며 기계 학습한다. 여기서, 외부요소측정부(50)는 광학카메라부(10) 및 열화상카메라부(20)가 설치된 장소에 설치되어 객체(M)가 위치한 외부환경을 보다 정확하게 측정할 수 있다.
전술한 바와 같이, 본 발명의 측정온도 보정시스템(1, 1-1)은 객체의 얼굴을 식별하고, 식별된 얼굴의 1차 온도를 산출하고, 식별된 부위의 평균 온도를 반영하여 얼굴 부위의 온도를 정확하게 표출할 수 있도록 한다.
더욱이, 측정온도 보정시스템(1, 1-1)은 열화상 카메라의 성능과 사용된 렌즈 및 열화상 디텍터의 성능 및 피사체와의 거리에 따른 측정 결과를 수집하고, 추가적으로 주변 환경에 대한 변수를 대입하여 얼굴 부위에 보다 정확한 온도를 반영하여 나타낼 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.
1: 측정온도 보정시스템
10: 광학카메라부 20: 열화상카메라부
30: 거리측정부 40: 측정보정부
410: 검출모듈 420: 격자모듈
430: 매핑모듈 440: 온도측정모듈
450: 계산모듈 460: 보정모듈
50: 외부요소측정부 60: 흑체
A1: 제1영상이미지 A2: 제2영상이미지
F1: 제1검출이미지 F2: 제2검출이미지
F3: 매핑 된 이미지

Claims (4)

  1. 객체(M)를 촬영하여 제1영상이미지를 생성하는 광학카메라부(10);
    객체(M)를 열화상으로 촬영하여 제2영상이미지를 생성하는 열화상카메라부(20);
    이격된 흑체(60)와의 거리 그리고 이격된 객체(M)와의 거리를 산출하는 거리측정부(30);
    상기 제1영상이미지(A1)와 상기 제2영상이미지(A2)에서 기 설정부위를 검출하고 상기 제1영상이미지에서 검출된 제1검출이미지와 제2영상이미지에서 검출된 제2검출이미지를 매핑(Mapping)시키며, 매핑 된 이미지(F3)에서 검출부위의 평균온도를 측정하고,
    상기 열화상카메라부(20)에서 상기 흑체(60)로부터 측정된 기준온도를 기준으로 하여 상기 열화상카메라부(20)와 상기 객체(M)간 거리에 따라 서로 다른 온도로 측정된 보정온도가 기 설정되어 있으며
    상기 거리측정부(30)에서 산출된 상기 열화상카메라부(20)와 상기 객체(M)간 거리로부터 기 설정된 상기 보정온도를 추출하여,
    상기 매핑 된 이미지(F3)에 상기 보정온도를 부여해 보정온도이미지(NT)를 생성하는 측정보정부(40);
    상기 광학카메라부(10)가 설치된 장소에 설치되어, 상기 광학카메라부가 객체를 촬영하는 장소의 온도, 습도를 측정하여 상기 측정보정부(40)로 측정된 온도데이터 및 습도데이터를 전송하여 기계 학습되는 데이터로 활용되도록 하는 외부요소측정부(50)를 포함하고,
    상기 측정보정부(40)는,
    상기 제1영상이미지(A1)와 상기 제2영상이미지(A2)에서 기 설정부위인 인체의 얼굴 부위를 검출하 검출모듈(410);
    제1검출이미지(F1)와 제2검출이미지(F2)를 복수 개의 영역이 형성되도록 격자로 나눠 각 영역에 서로 다른 보정온도가 반영되도록 하는 격자모듈(420);
    상기 검출모듈(410)을 통해 제1영상이미지에서 검출된 제1검출이미지와 제2영상이미지에서 검출된 제2검출이미지를 매핑(Mapping) 시켜, 매핑 된 이미지를 생성하는 매핑모듈(430);
    상기 매핑 된 이미지(F3)에서 검출부위의 평균온도를 측정하는 온도측정모듈(440);
    기준온도를 포함하여 상기 광학카메라부(10), 상기 열화상카메라부(20), 거리측정부(30)로부터 데이터를 수집해 상기 객체와 상기 열화상카메라부(20) 간 거리에 대응해 상기 보정온도를 산출하는 계산모듈(450);
    상기 매핑 된 이미지(F3)에 상기 보정온도를 부여해 보정온도이미지(NT)를 생성하는 보정모듈(460)을 포함하여,
    상기 광학카메라부(10) 그리고 상기 열화상카메라부(20)와 상기 객체(M)간 이격 거리에 따라 N개의 상기 제1검출이미지와 상기 제2검출이미지를 검출한 후, 상기 제1검출이미지와 상기 제2검출이미지를 복수 개의 격자(C)로 분할하고,
    N개의 상기 제1검출이미자와 상기 제2검출이미지 가운데,
    거리가 동일한 N/2개의 상기 제1검출이미자와 상기 제2검출이미지를 매핑하여, N/2개의 매핑 된 이미지(F3)를 생성하고,
    나머지 N/2개의 제1검출이미지와 제2검출이미지는 Convolution layer, ReLU Layer, Pooling layer, Fully-connected layer, Drop-Out layer, Final Layer로 형성하며 다층 Layer로 매핑 된 이미지(F4)를 생성하고, 생성된 다층 Layer로 매핑 된 이미지(F4)의 각 격자영역에 보정온도를 반영한 후, 다시 각 격자영역에 할당된 보정온도값을 추출하여 기계 학습하여 추후에 매핑 된 이미지(F3)의 격자영역에 반영하는, 측정온도 보정시스템.
  2. 삭제
  3. 삭제
  4. 삭제
KR1020200076032A 2020-06-22 2020-06-22 측정온도 보정시스템 KR102220654B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200076032A KR102220654B1 (ko) 2020-06-22 2020-06-22 측정온도 보정시스템
PCT/KR2020/008547 WO2021261642A1 (ko) 2020-06-22 2020-06-30 측정온도 보정시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200076032A KR102220654B1 (ko) 2020-06-22 2020-06-22 측정온도 보정시스템

Publications (1)

Publication Number Publication Date
KR102220654B1 true KR102220654B1 (ko) 2021-02-26

Family

ID=74687951

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200076032A KR102220654B1 (ko) 2020-06-22 2020-06-22 측정온도 보정시스템

Country Status (2)

Country Link
KR (1) KR102220654B1 (ko)
WO (1) WO2021261642A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220125968A (ko) * 2021-03-08 2022-09-15 인트플로우 주식회사 안면 인식 체온 측정 장치 및 방법
KR20230055438A (ko) 2021-10-18 2023-04-26 주식회사 벤텍 체온측정 장치 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990052844A (ko) * 1997-12-23 1999-07-15 이구택 비접촉식 온도분포 측정장치에서의 복사온도 측정방법
KR20130101922A (ko) * 2012-03-06 2013-09-16 충남대학교산학협력단 열화상 내에서 특정부위 추적이 가능한 열상시스템 및 이를 이용한 특정부위의 추적방법
KR20150129937A (ko) 2014-05-12 2015-11-23 (주)유틸리온 객체 건강 상태 판단 방법 및 시스템
KR20190124029A (ko) * 2018-04-25 2019-11-04 엘지전자 주식회사 열화상 센서 장치 및 이를 구비하는 전기 기기
KR102095793B1 (ko) * 2018-09-11 2020-04-23 고려대학교 산학협력단 열화상 영상을 이용한 구조물의 균열 깊이 측정 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010230392A (ja) * 2009-03-26 2010-10-14 Toshiba Corp 人体温度測定装置およびその測定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990052844A (ko) * 1997-12-23 1999-07-15 이구택 비접촉식 온도분포 측정장치에서의 복사온도 측정방법
KR20130101922A (ko) * 2012-03-06 2013-09-16 충남대학교산학협력단 열화상 내에서 특정부위 추적이 가능한 열상시스템 및 이를 이용한 특정부위의 추적방법
KR20150129937A (ko) 2014-05-12 2015-11-23 (주)유틸리온 객체 건강 상태 판단 방법 및 시스템
KR20190124029A (ko) * 2018-04-25 2019-11-04 엘지전자 주식회사 열화상 센서 장치 및 이를 구비하는 전기 기기
KR102095793B1 (ko) * 2018-09-11 2020-04-23 고려대학교 산학협력단 열화상 영상을 이용한 구조물의 균열 깊이 측정 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220125968A (ko) * 2021-03-08 2022-09-15 인트플로우 주식회사 안면 인식 체온 측정 장치 및 방법
KR102458065B1 (ko) 2021-03-08 2022-10-25 인트플로우 주식회사 안면 인식 체온 측정 장치 및 방법
KR20230055438A (ko) 2021-10-18 2023-04-26 주식회사 벤텍 체온측정 장치 및 시스템

Also Published As

Publication number Publication date
WO2021261642A1 (ko) 2021-12-30

Similar Documents

Publication Publication Date Title
US7422365B2 (en) Thermal imaging system and method
JP6537237B2 (ja) 情報処理装置および方法
EP2107799B1 (en) An IR camera and a method for processing information in images
US20130155248A1 (en) Thermal imaging camera for infrared rephotography
US20170016762A1 (en) Infrared sensing devices and methods
TWI600324B (zh) Infrared Focal Plane Array Module Performance Parameters Measurement Method and Detection of Dead pixels
US20120320189A1 (en) Thermal imager that analyzes temperature measurement calculation accuracy
US9635283B2 (en) Thermal imager with large dynamic range and improved signal-to-noise ratio
CN107401977B (zh) 高温双目立体视觉测量中考虑折射偏差的成像补偿方法
KR102220654B1 (ko) 측정온도 보정시스템
US8818079B2 (en) 3D radiometry
US9383540B1 (en) System and method for controlling the focus of a lens
US10345154B2 (en) Infrared sensing devices and methods
CN113358231B (zh) 红外测温方法、装置及设备
KR20200018553A (ko) 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법
KR20200095918A (ko) 공간정보 인식장치
WO2000042400A1 (en) Surface and particle imaging pyrometer and method
CN115512307B (zh) 广域空间红外多点实时火灾探测方法及系统、定位方法
KR101322801B1 (ko) 기준패턴을 이용한 적외선 열화상 카메라의 방사율 설정 시스템 및 그 방법
Sosnowski et al. The calibration stand for thermal camera module with infrared focal plane array
KR102078877B1 (ko) 트리오 영상장치를 통한 태양광 모듈 열화상 촬영 시스템
US10481007B2 (en) System for detecting electromagnetic radiation
RU2727349C1 (ru) Способ термографирования удаленного объекта
JP6750672B2 (ja) ガス観測方法
Kyle et al. Compensating for the effects of refraction in photogrammetric metrology

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant