KR20230017800A - 상승된 온도 선별검사 시스템 및 방법 - Google Patents

Abstract

시스템 및 방법은 장면의 적외선 이미지를 캡처하도록 구성된 적외선 카메라, 캡처된 적외선 이미지의 일부 및 스캔 중인 사람을 안내하는 적어도 하나의 그래픽 표시를 표시하도록 구성된 디스플레이, 및 적외선 카메라를 사용하여 관심 영역을 스캔하고, 관심 영역에 있는 사람을 검출하고, 그 사람이 스캐닝 위치로 이동하도록 지시하고, 스캔 기준이 충족되면 사람의 온도 스캔을 시작하고, 그 사람의 온도를 결정하고 적어도 하나의 온도 임계값에 비교하고, 결정된 온도와 관련된 작업을 수행하도록 구성된 논리 장치를 포함한다. 시스템은 적외선 카메라와 가시광 이미지 카메라를 포함하는 이중-이미지 카메라를 더 포함할 수 있으며, 여기서 이중-이미지 카메라는 가시광을 가시광 이미지 카메라 쪽으로 반사하고 적외선 이미지를 통해 적외선 카메라에 통과하도록 배열된 빔 스플리터를 포함한다.

Description

상승된 온도 선별검사 시스템 및 방법

관련 출원에 대한 상호 참조

본 출원은 2020년 6월 1일에 출원되고 제목이 "상승된 온도 선별검사 시스템 및 방법(ELEVATED TEMPERATURE SCREENING SYSTEMS AND METHODS)"인 미국 가특허 출원 번호 63/033,126의 우선권 및 이익을 주장하며, 이는 전체 내용이 참조로 여기에 포함된다.

기술 분야

본 개시의 하나 이상의 실시형태는 일반적으로 열 촬상 시스템에 관한 것으로, 보다 상세하게는 예를 들어 상승된 체온 및/또는 피부 온도를 검출하기 위한 시스템 및 방법에 관한 것이다.

이미지 처리 분야에서는, 촬상 장치로 캡처한 이미지를 분석하고 처리하는 효율적이고 신뢰할 수 있는 방법이 지속적으로 필요하다. 기존 시스템은 레이블이 지정된 이미지 데이터세트에서 훈련된 기계 학습 시스템을 포함할 수 있다. 그러나 이미지가 정확하게 레이블을 지정하기 어려운 경우 이러한 시스템을 훈련하고 검증하는 것은 오류가 발생할 수 있다. 예를 들어, 사람은 열 이미지 내 물체의 식별에서 고도로 훈련된 전문가라도 열 이미지 장면의 물체에 레이블을 지정하는 방법을 결정하는 데 어려움을 겪을 수 있기 때문에 열 이미지는 어려움이 있다. 많은 물체가 열 적외선(IR) 대역에서 보이는 것과 가시광선 대역에서 보이는 것이 상당히 다를 수 있기 때문에 어려움이 발생한다.

전술한 관점에서, 개선된 이미지 처리 시스템 및 방법에 대한 지속적인 필요성이 당해 기술분야에 존재한다.

본 개시는, 발열 검출을 위해, 상승된 체온(EBT: elevated body temperature) 및/또는 상승하는 피부 온도를 측정하는 것과 같이, 이미지 내 물체의 온도를 검출하기 위한 시스템 및 방법의 다양한 실시형태를 제공한다. 일부 실시형태에서, 대상과의 물리적 접촉 없이 피부 온도를 측정하기 위해 적외선 카메라가 사용되며, 이는 잠재적 감염성 질병을 검출하는 데 사용되는 시스템의 중요한 측면이다. 열이 있는 사람은 심부 체온이 상승하고, 특정 조건에서 이 상승된 온도는 온도가 상승한 피부, 특히 눈물길(안각) 근처의 안면 피부로서, 혈류의 빠른 안면의 부위에 나타날 수 있다. 이 안각은 이미지에서 식별될 수 있으며 측정된 표면 온도는 사용자의 체온에 대응할 수 있다(예를 들어, 안각은 심부 체온보다 몇 도 더 낮을 수 있음).

기계 학습 응용 분야에서 사용하기 위해 적외선 이미지에 주석을 달기 위한 다양한 시스템 및 방법이 제공된다. 일부 실시형태에서, 시간적으로 및 공간적으로 높은 정밀도로 정합(registration)되는 이미지를 얻기 위해 가시광 카메라(예를 들어, RGB 이미지를 생성함) 및 적외선 카메라(예를 들어, 열적외선 카메라)로 구성된 이중-대역(dual-band) 카메라 장비가 사용된다. 상기 RGB 이미지는 수동으로 및/또는 자동으로 주석이 붙여진다(예를 들어, 인간 기술자, 자동 물체 인식 소프트웨어 등에 의해). 그런 다음 상기 주석은 적외선 이미지로 전달되는데, 적외선 이미지는 일부 에지 상세뿐만 아니라 콘텍스트를 제공하는 색상이 열적외선 이미지에 없기 때문에 그 자체는 주석을 달기가 훨씬 더 어렵다.

일부 실시형태에서, 시스템 및 방법은 피부 온도 측정에 대해 향상된 정확도 및 일관성을 제공한다. 이 시스템은 훈련을 받지 않은 사람이 열 촬상 피부 온도 스캔을 수행하고 그 결과를 열역학 또는 적외선 기술에 대한 교육이나 사전 지식 없이도 해석하도록 안내할 수 있다. 설명(텍스트, 사운드 및 오버레이 그래픽)의 도움으로, 사용자는 일관되고 정확한 결과를 얻기 위해 스캔을 진행하는 방법에 대해 관련 정보를 받는다.

다양한 실시형태는 또한 상승된 체온 시스템의 설정을 돕고, 시스템을 설치하는 과정을 통해 사용자를 안내하여 일관되고 정확한 결과를 제공함으로써 위음성을 피하고 및/또는 줄일 수 있다. 일부 실시형태에서, 사용의 문턱을 낮추기 위해 단계별 지침이 제공됨으로써, 다양한 사람, 회사, 조직, 상점 또는 시설이 상승된 피부 온도를 검출하기 위해 열 이미지를 활용할 수 있도록 한다. 본 명세서에 개시된 시스템 및 방법의 다양한 이점은 단순성, 정교한 그래픽 사용자 인터페이스, 및 본 발명 시스템이 특정 지식 또는 콘텍스트의 요구 사항 없이 또는 제한적인 요구 사항으로 사용 및 배치될 수 있는 방식으로 편성된 방법을 포함한다.

본 개시의 범위는 본 섹션에 참조로 포함된 청구범위에 의해 정해진다. 본 발명의 실시형태에 대한 더욱 완전한 이해와 본 발명의 추가 이점의 실현은, 하나 이상의 실시형태에 대한 다음의 상세한 설명을 고려함으로써, 당해 기술분야의 통상의 기술자에게 제공될 것이다. 간략하게 설명되는 첨부된 도면 시트를 먼저 참조할 것이다.

도 1은 본 발명의 하나 이상의 실시형태에 따른 적외선 이미지 분류를 위한 기계 학습 시스템을 훈련하는 예시적인 프로세스의 흐름도이다.
도 2a, 2b, 2c 및 2d는 본 발명의 하나 이상의 실시형태에 따른 가시광 이미지와 적외선 이미지 사이의 차이를 도시한다.
도 3은 본 발명의 하나 이상의 실시형태에 따른 쌍을 이룬 가시광 및 적외선 데이터세트 이미지를 생성하기 위한 시스템을 도시한다.
도 4a, 4b, 4c, 4d 및 4e는 본 발명의 하나 이상의 실시형태에 따른 도 3의 시스템을 사용하여 캡처된 예시적인 가시광 및 적외선 이미지 쌍이다.
도 5는 본 개시의 하나 이상의 실시형태에 따른 예시적인 적외선 촬상 및 주석 시스템을 도시한다.
도 6a는 하나 이상의 실시형태에 따른 적외선 분류 훈련 시스템을 도시한다.
도 6b는 하나 이상의 실시형태에 따른 적외선 이미지 분류 시스템을 도시한다.
도 6c 및 6d는 하나 이상의 실시형태에 따른 신경망 훈련 및 검증 프로세스를 도시한다.
도 7은 하나 이상의 실시형태에 따른 흑체 온도와 대역 내 복사(in-band radiance) 사이의 관계를 예시한다.
도 8a 및 8b는 하나 이상의 실시형태에 따른 이중-대역(dual-band) 이미지 캡처 시스템을 도시한다.
도 9는 하나 이상의 실시형태에 따른 시험 대상과 2개 흑체가 있는 열 이미지를 도시한다.
도 10은 하나 이상의 실시형태에 따른, 하나의 흑체를 사용하여 열 촬상 시스템을 동작시키는 프로세스를 예시하는 흐름도이다.
도 11은 2개의 흑체를 사용하여 주변(23C) 동작 조건에서 카메라 반응도의 측정을 예시하는 도면이다.
도 12는 하나 이상의 실시형태에 따른 예시적인 듀얼-카메라 시스템이다.
도 13은 하나 이상의 실시형태에 따른 도 12의 듀얼-카메라 시스템으로 캡쳐된 예시적인 이미지이다.
도 14는 하나 이상의 실시형태에 따른 이중-대역 촬상 시스템에서 흑체의 예시적인 배열을 도시한다.
도 15a 및 15b는 하나 이상의 실시형태에 따른 예시적인 가시광 및 적외선 이미지 쌍이다.
도 16a, 16b, 16c 및 16d는 하나 이상의 실시형태에 따른 예시적인 이중-대역 카메라 시스템을 도시한다.
도 17a 및 17b는 하나 이상의 실시형태에 따른 또 다른 예시적인 이중-대역 카메라 시스템을 도시한다.
도 18a, 18b 및 18c는 하나 이상의 실시형태에 따른 상승된 온도 시스템의 구현을 도시한다.
도 19a, 19b, 19c, 19d, 19e, 19f 및 19g는 하나 이상의 실시형태에 따른 상승된 온도 시스템의 디스플레이 뷰(view)를 예시한다.
도 20은 하나 이상의 실시형태에 따른 상승된 체온을 검출하기 위한 프로세스를 예시하는 흐름도이다.
도 21a, 21b, 21c, 21d, 21e 및 21f는 하나 이상의 실시형태에 따른 시스템 설정 프로세스의 화면들을 예시한다.
도 22a, 22b, 22c, 22d 및 22e는 하나 이상의 실시형태에 따른 시스템 동작 동안의 다양한 운영자 뷰(operator view)를 도시한다.
본 발명의 실시형태 및 그 장점은 다음의 상세한 설명을 참조함으로써 가장 잘 이해된다. 하나 이상의 도면에 예시된 유사한 요소들을 식별하기 위해 유사한 참조 번호가 사용된다는 것을 이해해야 한다.

본 발명은 상승된 체온을 측정하기 위한 시스템 및 방법을 제공한다. 일부 실시형태에서 시스템 및 방법은 이중-대역 이미지 캡처 시스템을 포함한다. 열 촬상을 사용하여 상승한 체온 상승을 측정할 때 참조용으로 대상의 가시광 이미지를 갖는 것이 유용할 수 있다. 이 참조 이미지는 물체(예를 들어 측정될 사람)를 식별하는 데 사용될 수 있으며, 이는 열 이미지를 사용하여 사람을 식별하는 것이 어려울 수 있기 때문이다. 또한, 참조 이미지는, 사람 얼굴의 가장 뜨거운 부분을 얻으려고 할 때 가시광 이미지와 열 이미지 모두에서 눈의 안쪽 모서리(안각)와 같은 해부학적 구조들의 상관을 위해 유용하다. 다양한 실시형태에서, 빛을 파장에 의해 분리하기 위해 이색성 빔 스플리터(dichroic beam splitter)가 사용되며, 시차를 최소화하면서 가시광 및 적외선 이미지 스트림을 오버레이 하는 것을 가능하게 한다. 본 명세서에 제공된 개시에서, 이중-대역 훈련 시스템이 먼저 설명될 것이고, 이어서 훈련된 이중 이미지 캡처 시스템의 예시적인 구현이 뒤따를 것이다.

본 발명은 또한 적외선 기술을 사용하여 상승된 피부 온도 및/또는 체온을 스캐닝하는 주제 내의 다른 문제를 해결한다. 예를 들어, 해결된 한 가지 문제는 열 촬상에 대한 사전 지식이 없을 수 있는 사용자를 포함하여 사실상 거의 모든 사용자가 적외선 기술을 사용하여 자체-평가 피부 온도 스캔을 수행할 수 있도록 하고 지시하는 것이다. 또한, 본 발명의 실시형태는, 가능한 한 정확하고 일관된 측정을 보다 효율적으로 수행하기 위해 정확한 설정 및 환경으로 셀프-스캐닝 시스템을 설정하는 방법을 사용자에게 안내하는 것을 목표로 한다. 실시형태들은 또한 스캔된 개인들의 결과를 추적하는 분석-후 측면을 통합하여, 기록된 온도 측정치의 과거 경향을 파악 가능하게 한다. 본 개시는 건물에 들어오는 사람들의 피부 온도를 검출할 수 있는 셀프-스캐닝 시스템이 시설에 장착될 수 있게 하여, 궁극적으로 스캔된 개인의 출입 허용 여부를 결정하는 데 도움을 줄 수 있다.

이중-대역 온도 검출 훈련 시스템 및 방법

본 개시는 기계 학습 응용에서 사용하기 위해 적외선 이미지에 주석을 붙이는 시스템 및 방법을 제공한다. 일부 실시형태에서, 높은 정밀도로 시간적 및 공간적으로 정합되는 이미지를 얻기 위해 가시광 카메라(예를 들어, RGB 이미지를 생성함) 및 적외선 카메라(예를 들어, 열적외선 카메라)로 구성된 이중-대역 카메라 장비가 사용된다. RGB 이미지는 수동으로 및/또는 자동으로 주석이 붙여진다(예를 들어, 인간 기술자, 자동 물체 인식 소프트웨어 등에 의해). 그런 다음 상기 주석은 적외선 이미지로 전달되는데, 적외선 이미지 그 자체는 일부 에지 상세와 콘텍스트를 제공하는 색상이 열적외선 이미지에 없기 때문에 주석을 달기가 훨씬 더 어렵다.

이미지 분류를 위한 컨볼루션 신경망(CNN: convolutional neural network)을 적절하게 훈련하고 이미지와 그 안의 물체를 분류하는 CNN의 능력을 평가하기 위해, 훈련 세트에서 사용되는 주석으로 상기 이미지들에 라벨이 붙여진다. 많은 응용에서, 상기 주석은 인간 운영자가 이미지의 물체(예를 들어, 교통 장면에서 보행자 또는 정지 표지)에 수동으로 라벨을 붙이는 프로세스이다. 예를 들어 CNN은 수천 개의 이미지가 있는 대규모 데이터세트를 가지고 훈련된다. CNN은 훈련 세트의 일부가 아닌 시험 데이터세트로부터 새 이미지에서 주석이 달린 물체를 식별하는 능력의 정확성을 기반으로 평가된다.

그러나 인간 운영자가 열적외선 이미지에 정확하게 주석을 붙이게 하는 데는 약간의 어려움이 있다. 예를 들어, 두 살짜리 인간은 한 눈에 많은 물체를 꽤 쉽게 식별할 수 있지만, 열 이미지 내 물체의 식별에 대해 고도로 훈련된 전문가조차도 장면의 물체에 어떻게 라벨을 붙일지 결정하는 데 어려움을 겪을 수 있다. 많은 물체가 열 적외선 대역에서 보이는 것과 가시광선 대역에서 보이는 것이 상당히 다를 수 있기 때문에 어려움이 발생한다. 예를 들어, 파란 눈은 원시 열 이미지에서 파랗게 보이지 않는다 - 홍채는 회색 음영으로 표시될 것이다. 가시광 이미지의 어두운 영역은 열 이미지에서 매우 밝게 보일 수 있고 그 반대일 수도 있으며, 이는 주석 혼동을 가중시킨다. 경우에 따라, 열 이미지는 장면과의 사이에 매우 높은 콘트라스트(contrast)를 갖지만 가시 대역에서 매우 낮은 콘트라스트를 갖는 물체를 가질 수 있다.

하나 이상의 실시형태에 따라 적외선 이미지 분류를 위한 기계 학습 시스템을 훈련하기 위한 예시적인 프로세스가 이제 도 1을 참조하여 설명될 것이다. 다양한 실시형태에서, 프로세스(100)는, 단계 110에서, 동일한 장면의 적외선 이미지(예: 열 이미지) 및 가시광 이미지를 동일한 순간에 동일한 관점에서 캡처하는 것을 포함한다. 단계 120에서, 상기 두 이미지는 한 이미지 내의 픽셀이 다른 이미지 내의 대응하는 픽셀에 정합되도록 정합되고, 상기 두 픽셀 모두 동일한 순간에 물체 공간에서 동일한 위치를 보고 있다. 다양한 실시형태에서, 워핑(warping) 알고리즘 또는 다른 이미지 정렬 알고리즘이 사용될 수 있다.

단계 130에서, 가시광 이미지 및/또는 적외선 이미지가 분류된다. 일부 실시형태에서, 이미지로부터 물체 분류, 물체 위치, 및 기타 물체 정보를 식별하기 위해 가시광 이미지 및/또는 열 이미지에 대해 자동 물체 분류기 애플리케이션이 실행될 수 있다. 단계 140에서, 인간 운영자는 예비 분류를 검토하고 어떻게 주석을 달 것인지를 결정한다. 일부 실시형태에서, 상기 주석은 적외선 이미지보다 사용자가 시각적으로 이해할 가능성이 더 큰 가시광 이미지와 같은 하나의 이미지로 제한될 수 있고, 그런 다음 적외선 이미지와 같은 다른 이미지에 적용될 수 있다. 상기 주석은 물체 위치, 물체 분류 및/또는 기타 물체 정보를 포함할 수 있다.

단계 150에서, 주석이 달린 적외선 이미지는 적외선 이미지를 분류하기 위한 기계 학습 시스템을 훈련 및/또는 검증하기 위해 데이터세트에서 사용된다. 일부 실시형태에서, 컨볼루션 신경망(CNN)이 이미지 분류를 위해 훈련되고, 훈련 데이터세트를 생성하기 위해 상기 주석이 달린 이미지를 사용함으로써, 이미지와 그 안의 물체를 분류할 때 CNN의 정확도를 평가하기 위해 검증된다. 위에서 논의한 바와 같이 상기 주석 프로세스는 CNN 훈련 프로세스의 일부일 수 있고, 인간 운영자가 이미지 내의 물체(예: 보행자 또는 정지 표지)에 손으로 라벨을 붙이는 수동 분류를 포함할 수 있다. 일부 실시형태에서, 사람의 주석 작성은 예측(자동 또는 기계 주석)을 제공하는 CNN 검출기를 이미지에 대해 실행함으로써 도움을 받을 수 있으며, 백지에서 시작하는 대신, 그러면 주석 작성자는 상기 예측을 검토하고 필요한 경우 이를 수정할 수 있다. CNN은 수천 개의 이미지로 구성된 대규모 데이터세트를 가지고 훈련되며, CNN은 훈련 세트의 일부가 아닌 검증 데이터세트로부터 새 이미지에서 상기 주석이 달린 물체를 식별하는 능력의 정확성을 기반으로 평가된다.

앞서 논의한 바와 같이, 운영자가 열적외선 이미지에 정확히 주석을 달도록 하는 데 약간의 어려움이 있다. 두 살짜리 인간은 한 눈에 많은 물체를 꽤 쉽게 식별할 수 있지만, 열 이미지 내 물체 식별에 대해 고도로 훈련된 전문가조차도 장면 내 물체에 어떻게 라벨을 지정할지 결정하는 데 어려움을 겪을 수 있다. 이러한 어려움은 많은 물체가 열적외선 대역에서 보이는 것과 가시광선 대역에서 보이는 것이 상당히 다를 수 있기 때문에 발생한다. 예를 들어, 도 2a에 도시된 바와 같이, 가시광 이미지(200)의 파란 눈(202)은 원시 열 이미지(210)에서 파란색으로 보이지 않는다 - 예를 들어, 홍채는 도시된 바와 같이 회색 음영(212)으로 표시될 것이다. 도 2b를 참조하면, 가시광 이미지(220)의 어두운 영역(222)은 열 이미지(230)에서 매우 밝게 보일 수 있고 그 반대일 수도 있으며, 이는 주석 혼동을 가중시킨다. 여기서 TV(234)는, 소년(232)이 열 이미지에서 밝고 가시광 이미지에서 거의 보이지 않는 것처럼, 열 이미지(230)에서 거의 식별할 수 없다. 경우에 따라, 열 이미지는, 장면과의 사이에 매우 높은 콘트라스트를 갖지만 가시 대역에서 매우 낮은 콘트라스트를 갖거나 콘트라스트가 없는 물체를 가질 수 있다. 도 2c를 참조하면, 예를 들어, 고온 발자국(252)의 가시광 이미지(240) 및 중파 IR 이미지(250)는 이러한 현상을 예시한다. 이 예에서, 발자국(252)은 가시광 이미지(240)에서 가시적으로 식별할 수 없지만 중파 IR 이미지(250)에서는 볼 수 있다.

본 명세서에 개시된 다양한 실시형태에서, 해결책은 가시광 이미지에서 열 이미지 분류를 위해 네트워크를 훈련 및 교습하고 주석 결과를 훈련 및 검증 데이터세트의 열 이미지에 적용하는 것이다. 일부 실시형태에서, 상기 해결책은 가시 및 열 이미지 분류를 모두 포함하고, 그 결과는 적절하게 주석으로 합성된다. 상기 데이터세트는 신경 모델을 훈련하고 검증하기 위한 이미지들의 그룹을 포함한다. 데이터세트의 품질은 결과 모델에 영향을 미치며, 더 정확한 데이터세트는 더 나은 품질의 모델을 제공한다. 상기 데이터세트는 둘 이상의 스펙트럼(예: 가시광, 열, 기타 스펙트럼)의 이미지를 갖는 다중-센서 데이터세트를 포함할 수 있다.

다중-센서 훈련 시스템을 위한 데이터세트를 구축할 때, 그 프레임들 사이에 정확한 대응을 갖는 이미지 쌍들이 선택된다. 본 명세서에 기술된 바와 같이, 두 스펙트럼 프레임은 캡처된 장면의 실질적으로 유사한 관점으로부터 동시에 취해질 수 있다. 훈련 성능에 영향을 미치는 또 다른 요인은 분석될 물체를 식별하는 상자 또는 다각형(예: 실측 자료)의 정확도이다.

일부 실시형태에서, 동기를 이룬 2개의 카메라가 있는 빔 스플리터 기반 카메라가 사용되므로, 프레임들이 동시에 캡처된다. 이 카메라를 사용하면 데이터세트에서 사용할 프레임들을 선택하고 정합하는 데 필요한 시간이 줄어든다. 상기 시스템은 상기 스펙트럼들 중 하나에서 적절한 데이터 이미지(예: 시험 이미지에 적합한 고품질 이미지)를 선택할 수 있고, 그 다음 대응하는 쌍을 이룬 이미지 역시 상기 데이터세트를 위해 선택될 것이므로, 상기 데이터세트를 위해 프레임을 선택하는 데 필요한 시간이 줄어든다.

상기 두 이미지의 정확한 정렬(예: 각 이미지의 픽셀들의 정렬) 후에, 원하는 물체를 가장 잘 나타내는(또는 보여주는) 이미지에 대해 주석이 수행될 수 있으며 이러한 주석은 다른 스펙트럼의 이미지에 매칭될 수 있다. 이 방법은, 각 스펙트럼이 물체의 경계를 식별하기 위해 사용되기 때문에, 분류의 정확도를 향상시킨다.

일부 실시형태에서, 상기 다중-센서 카메라는, 기존 시스템으로는 구현하기 어려울 수 있는 추가 기능을 제공하기 위해, 방사 분석(radiometric) 카메라가 있는 시스템에 결합될 수 있다. 픽셀 대 픽셀 정렬을 통해 CNN 모델은 두 스펙트럼에서 작동하여 각각의 최선을 제공할 수 있다. 예를 들어, 상승된 체온 시스템에서, 잘 조명된 물체는 CNN 가시 네트워크를 통과하여 형상과 신체 부분들을 식별한 다음, 이러한 부분들에서 피부를 식별하고 그 온도를 측정하기 위해 CNN 열 네트워크가 사용될 수 있다. 또 다른 예에서, 상기 시스템은 가시광 이미지를 사용하여 물체(예: 자동차)의 형상을 찾은 다음, 열 이미지를 사용하여 자동차가 전기 자동차인지 휘발유 자동차인지 결정하기 위해 배기가스를 찾고 식별할 수 있다.

일부 실시형태에서, 픽셀 대 픽셀 정렬을 갖는 것은 가시 스펙트럼에서 캡처되는 각각의 픽셀 위치의 직접적인 온도 측정을 가능하게 한다. 가시광 CNN 모델은 물체 및/또는 물체-부분을 검출하는 데 사용될 수 있으며 열 이미지의 대응 픽셀은 온도 정보를 제공할 수 있다. 이 시스템은 많은 이점을 가지며, 가시광 이미지가 단지 정확한 온도 측정을 용이하게 하는 데만 사용되고 사람을 추가로 식별하기 위해 디스플레이되거나 사용될 수 있는 시스템에 추가된 프라이버시를 포함한다.

도 2d를 참조하면, 오른쪽의 가시광 이미지(270)는 흰색 자동차 둘레의 파란색 경계 상자(272)로 기계 주석이 달렸지만, 자동차(262)는 대응 열 이미지(260)에서 주석이 붙지 않는다. 해결책은 여기에 공개된 바와 같이 같은 장면의 가시광 이미지 및 열 이미지를 같은 순간에 같은 관점에서 캡처하는 것이다. 한 채널의 픽셀이 다른 채널의 대응 픽셀에 정합되도록 상기 두 이미지를 정합하기 위해 워핑 알고리즘 또는 기타 정렬 알고리즘이 사용될 수 있으며, 이들 두 이미지는 같은 순간에 물체 공간의 같은 위치를 보고 있다. 인간 주석 작성자는 두 이미지(및 이용 가능한 경우 자동 이미지 분류 결과)를 비교하고 두 이미지에 어떻게 주석을 붙일지 결정할 수 있다. 그 다음에 한 이미지에 대한 주석이 다른 이미지에 적용될 수 있다. 이 개념은 가시광 이미지로 훈련된 콘볼루션 신경망을 사용하여 열 이미지의 자동 분류를 개선하는 데 사용될 수 있다. 상기 쌍의 가시광 이미지는 이를 위해 사용되며, 그 결과는 대응하는 열 이미지에 적용될 것이다.

본 실시형태의 또 다른 장점은 높은 프라이버시 수준으로 분류가 수행될 수 있다는 것인데, 이는 제3자가 사적인 적외선 이미지 데이터를 공유하지 않으면서 가시광 이미지 데이터를 이용하여 이미지들을 분류할 수 있기 때문이다. 그런 다음 상기 결과는 열적외선 이미지에 적용될 수 있다. 열적외선에서만 콘텍스트를 드러내는 장면의 경우, 자동 열 이미지 분류 및/또는 인간 분류를 포함하는 두 번째 단계가 적용될 수 있지만, 일반적으로 이 기술은 노력을 크게 줄여준다.

본 발명에 따라 데이터세트 이미지를 생성하기 위한 시스템의 실시형태가 도 3에 도시되어 있다. 카메라들 중 하나가 다른 카메라를 기동하도록 하여 시간 동기화가 달성될 수 있다. 적외선 카메라(320)(예를 들어, 고화질 중파 적외선 카메라)는 가시광 카메라(310)의 동기 입력으로 경로 설정될 수 있는 동기 출력으로 구성된다. 두 카메라는 동시에(예를 들어, 수 마이크로초 이내) 장면의 통합을 시작하도록 구성되며, 두 채널 간의 모션 블러(motion blur)를 일치시키는 일치된 통합 시간을 갖는다.

공간적 정합은 장면으로부터 가시광 및 적외선 복사를 분리하는 이색성 빔 스플리터(302)를 더 포함하는 시스템(300)으로 달성될 수 있다. 가시광 카메라(310)와 적외선 카메라(320)는 상기 분리된 가시광과 적외선을 각각 수신하도록 위치한다. 예시된 실시형태에서, 적외선 카메라(320)는 적외선 카메라(320)에 의해 45도 각도로 보이는 빔 스플리터(302)에 의해 90도 각도를 통해 접힌 장면의 반사(304)를 캡처하는 중파 IR 카메라이다. 가시광 카메라(310)는 검출 및 분류할 물체를 포함할 수 있는 장면을 빔 스플리터(302)를 통해서 본다. 다양한 실시형태에서, 가시광 카메라(310)와 적외선 카메라(320)의 광축이 정확하게 정렬되어 둘 사이에 무시할 수 있는 관점 변화(perspective change)가 있도록 하는 것이 바람직하며, 이는 모든 거리에서 정확하게 정합된 이미지의 생성을 가능하게 한다.

두 대의 카메라를 나란히 장착하면, 두 카메라 사이에 시차 오류가 발생한다. 예시된 시스템(300)은 모든 시차를 제거한다. 두 카메라용 렌즈는 카메라들 사이의 시야를 일치시키도록 선택될 수 있고, 및/또는 캡처된 이미지들에 대한 조정(예를 들어, 더 큰 이미지 자르기)은 이미지 캡처 후에 수행될 수 있다. 일부 실시형태에서, 카메라는 고도 및 방위각이 조정될 수 있는 조준맞춤 마운트(boresighting mount)(312)에 장착된다. 가시광 카메라 마운트 아래의 정밀 스페이서는 광학 브레드보드 위의 가시광 광축 높이를 중파 IR 광축과 동일하게 설정한다. 예시된 실시형태에서 가시광 카메라(310)를 향한 빔 스플리터 측에서 가시광의 반사를 줄이기 위해 빔 스플리터(302)의 왼쪽에 진회색 발포체 조각과 같은 눈부심 차단체(306)가 위치된다.

도시된 바와 같이, 빔 스플리터(302)는 0.3" BK7 유리로 만들어진 이색성 빔 스플리터로서 구현될 수 있다. 상기 유리의 한 면은 중파 IR 대역(파장 단위로 3-5미크론)에서 ~80% 반사하는 ITO(Indium Tin Oxide) 층으로 코팅되고, 다른 면은 내장형 가시광 반사-방지 코팅을 갖는다. 빔 스플리터(302)는 또한 가시광선 대해 ~90% 투과성을 가진다. 다양한 실시형태에서, 빔 스플리터(302)는 특정 시스템 구현의 요건을 만족시키는 품질로 이미지 캡처를 허용하기 위해 원하는 적외선 대역을 반사하고 가시광을 투과시키는 임의의 빔 스플리터일 수 있다.

도 4a - 4e를 참조하면, 예시적인 시스템으로 촬영한 한 쌍의 이미지가 도시되어 있다. 두 이미지(가시광 이미지(400) 및 적외선 이미지(410)와 같은)는 두 이미지에 공통인 제어 지점(예를 들어, 가시광 이미지(420) 및 적외선 이미지(410)에 보이는 제어 지점(422)과 같은)에 의해 정의될 수 있는 2차원 아핀 변환(affine transform)을 포함하는 다양한 기술을 사용하여 높은 정밀도로 공간적으로 정합될 수 있다. 상기 아핀 변환은 렌즈 왜곡의 차이를 수정하기 위해 이미지를 워핑(warping)하고 전체 시야에 걸쳐 정확한 이미지 정합을 제공한다. 하나의 접근법에서, 가시광 이미지(400)는 적외선 이미지(410)와 일치하도록 워핑된다. 제어 지점(422)은, 가시광 이미지(420) 및 적외선 이미지(430)에 도시된 바와 같이, 두 이미지 모두에서 높은 콘트라스트를 가진 위치에서 선택될 수 있다. 상기 두 이미지의 결과적인 오버레이 이미지(440)는 녹색으로 표시된 "고정된" 중파 IR 이미지와 보라색으로 표시된 움직이는 이미지를 가진 색상 "맵"으로 표시된다.

일부 실시형태에서, 정합 프로세스는 전체 시야에 걸쳐 분산된 높은 콘트라스트 기준점(fiducial points)을 갖는 표적(target)의 사용을 포함할 수 있다. 이것은, 작은 구멍들이 뚫리고 검게-칠해진 가열된 패널로 역광을 받는 주변 온도 흰색 패널로 달성될 수 있다. 상기 아핀 변환은, 카메라와 빔 스플리터 조립체가 모두 동일한 상대 위치에 고정되어 있는 한, 상기 시스템으로 촬영한 후속 이미지들에서 결정되고 사용될 수 있다.

도 5를 참조하면, 하나 이상의 실시형태에 따라, 본 명세서에 기술된 주석이 달린 적외선 이미지를 생성하는 데 사용될 수 있는 예시적인 이미지 캡처 시스템(500)이 이제 설명될 것이다. 예시된 실시형태에서, 상기 이미지 캡처 시스템은 가시광 및 적외선 이미지 모두를 캡처 및 처리하고, 캡처된 이미지 쌍을 정렬하고, 다양한 용도로 이미지 분류기를 훈련하는 데 사용하기 위해 적외선 이미지 및/또는 가시광 이미지에 주석을 붙이도록 구성된다. 일부 실시형태에서, 이미지 캡처 시스템(500)은 도 3의 실시형태와 관련하여 설명된 바와 같이 동작하도록 구성된다.

이미지 캡처 시스템(500)은 시야의 장면(570)을 촬상하는 데 사용될 수 있다. 이미지 캡처 시스템(500)은 처리 구성요소(510), 메모리 구성요소(520), 적외선 카메라(501a), 가시광 카메라(501b), 선택사항인 디스플레이 구성요소(540), 제어 구성요소(550), 통신 구성요소(552), 및 시스템 구현에 따라 기타 구성요소를 포함한다. 적외선 카메라(501a)는 IR 이미지 광학 구성요소(532a)(예를 들어, 적외선 카메라(501a)의 조리개(534a)를 통해 복사선을 수신하고 그 복사선을 IR 이미지 캡처 구성요소(530a)에 전달하도록 구성된 하나 이상의 렌즈), IR 이미지 캡처 구성요소(530a), 및 IR 이미지 캡처 인터페이스 구성요소(536a)를 포함한다.

IR 이미지 캡처 구성요소(530a)는, 일 실시형태에서, 장면(570)의, 이미지를 나타내는 적외선 이미지 신호를 캡처하기 위한 하나 이상의 센서를 포함한다. 이미지 캡처 구성요소(530a)의 센서는 장면(570)의 캡처된 적외선 이미지 신호를 디지털 데이터로서 나타낸다(예를 들어, 변환한다)(예를 들어, 상기 센서의 일부로서 포함되거나 이미지 캡처 시스템(500)의 일부로서 상기 센서로부터 분리된 아날로그-디지털 변환기를 통해). 일부 실시형태에서, 이미지 캡처 구성요소(530a)는 기판상에 어레이 또는 다른 방식으로 구현된 적외선 센서들(예를 들어, 적외선 검출기들)을 포함한다. 예를 들어, 적외선 센서는 초점 평면 어레이(FPA: Focal Plane Array)로 구현될 수 있다. 적외선 센서는 예를 들어, 중파 적외선 파장 대역(MWIR), 장파 적외선 파장 대역(LWIR), 및/또는 원하는 다른 열 촬상 대역을 포함하여, 표적 장면으로부터 적외선 복사(예를 들어, 적외선 에너지)를 검출하도록 구성될 수 있다. 적외선 센서는 예를 들어, 복수의 픽셀을 제공하기 위해 임의의 원하는 어레이 패턴으로 배열된 마이크로볼로미터들 또는 다른 유형의 열 촬상 적외선 센서들로 구현될 수 있다. 일부 실시형태에서, 적외선 카메라(501a)는 3-5 미크론 고화질 MWIR 카메라(예를 들어, 1344x784 픽셀에서 적외선 이미지 캡처하는)를 포함할 수 있다.

가시광 카메라(501b)는 가시광 이미지 광학 구성요소(532b)(예를 들어, 카메라(501b)의 조리개(534b)를 통해 가시광을 수신하고 수신된 가시광 스펙트럼을 가시광 이미지 캡처 구성요소(530b)로 전달하도록 구성된 하나 이상의 렌즈), 가시광 이미지 캡처 구성요소(530b), 및 가시광 이미지 캡처 인터페이스 구성요소(536b)를 포함한다. 가시광 이미지 캡처 구성요소(530b)는, 일 실시형태에서, 장면(570)의 이미지를 나타내는 가시광 이미지 신호를 캡처하기 위한 하나 이상의 센서를 포함한다. 가시광 이미지 캡처 구성요소(530b)의 센서들은 장면(570)의 캡처한 가시광 이미지 신호를 디지털 데이터로서 나타낸다(예를 들면, 변환한다)(예를 들어, 센서의 일부로서 포함되거나 이미지 캡처 시스템(500)의 일부로서 센서로부터 분리된 아날로그-디지털 변환기를 통해). 일부 실시형태에서, 가시광 이미지 캡처 구성요소(530b)는 기판상에 어레이 또는 다른 방식으로 구현된 광 센서를 포함한다. 예를 들어, 센서들은 CCD(charge-coupled-device) 센서, 과학적 상보형 금속 산화물 반도체(sCMOS) 센서, 또는 기타 가시광 센서로서 구현될 수 있다.

다양한 실시형태에서, 이미지 캡처 시스템(500)은 IR 카메라(501a) 및 가시광 카메라(501b)를 사용하여 장면(570)의 이미지 프레임을 동시에 캡처하기 위해 쌍을 이루는 촬상 시스템으로 구현될 수 있다. 다양한 실시형태에서, 카메라(501a 및 501b)는 장면(570)을 촬영하고 본 명세서에 설명된 관련 이미지 데이터를 제공하도록 적응된 임의의 유형의 카메라 시스템을 나타낼 수 있다. 이미지 캡처 시스템(500)은 다양한 유형의 고정된 위치 및 환경에서, 또는 휴대용 장치 또는 차량에서 구현될 수 있다. 상기 시스템은 장면(570)으로부터의 가시광선과 적외선을 분리하는 빔 스플리터(502)를 포함한다. 가시광 카메라(501b)와 적외선 카메라(501a)는 각각 분리된 가시광과 적외선을 수신하도록 배치된다. 적외선 카메라(501a)(예를 들어, 중파 IR 카메라)는 적외선 카메라(501a)에 의해 45도 각도로 보이는 빔 스플리터(502)에 의해 90도 각도로 접혀진 장면의 반사를 캡처하도록 설치된다. 가시광 카메라(501b)는 빔 스플리터(502)를 통해 장면(50)의 가시광 이미지를 캡처하도록 설치된다. 다양한 실시형태에서, 가시광 카메라(501b)와 적외선 카메라(501a)의 광축은 두 개의 캡처된 이미지 사이에 무시할 수 있는 관점 변화가 있도록 정확하게 정렬되는 것이 바람직하며, 이는 다양한 거리에서 정확하게 정합된 이미지를 생성할 수 있도록 한다.

상기 두 카메라에 대한 광학 구성요소(532a 및 532b)는 카메라들 사이의 시야를 일치시키도록 선택될 수 있고, 및/또는 캡처된 이미지에 대한 조정(예를 들어, 더 큰 이미지 자르기)이 이미지 캡처 후에 수행될 수도 있다. 일부 실시형태에서, 카메라는 보드에 장착되고 고도 및 방위각이 조정될 수 있다. 마운트 또는 기타 장착 부품 아래의 정밀 스페이서를 사용하여 광축 높이를 동일한 높이로 설정할 수 있다. 가시광 카메라(501b)를 향한 빔 스플리터(502)의 측면에서 가시광선의 반사를 줄이기 위해 어두운 회색 발포체 조각과 같은 눈부심 차단체(504)가 빔 스플리터(502)에 인접하게 위치된다.

빔 스플리터(502)는 0.3” BK7 유리로 만들어진 이색성 빔 스플리터로 구현될 수 있으며, 상기 유리의 한 면은 중파장 IR 대역(파장 단위에서 3-5 미크론)에서 ~80%를 반사시키는 인듐 주석 산화물(ITO) 층으로 코팅된다. 이 실시형태에서, 빔 스플리터(502)는 가시광의 ~90%를 투과시킬 수 있다. 다양한 실시형태에서, 빔 스플리터(502)는, 고품질 이미지 캡처를 허용하기 위해 원하는 적외선 대역을 반사하고 가시광을 투과시키는 임의의 빔 스플리터일 수 있다.

처리 구성요소(510)는 예를 들어 마이크로프로세서, 싱글-코어 프로세서, 멀티-코어 프로세서, 마이크로컨트롤러, 논리 장치(예를 들어, 처리 동작을 수행하도록 구성된 프로그래밍 가능 논리 장치), 디지털 신호 처리(DSP) 장치, 실행 가능한 명령(예: 소프트웨어, 펌웨어 또는 기타 명령)을 저장하기 위한 하나 이상의 메모리, 그래픽 처리 장치, 및/또는 본 명세서에 설명된 다양한 동작들 중 임의의 동작을 수행하는 명령을 실행하기 위한 처리 장치 및/또는 메모리의 임의의 기타 적절한 조합을 포함할 수 있다. 처리 구성요소(510)는 여기에 설명된 방법 및 처리 단계를 수행하기 위해 구성요소(536a, 536b, 520, 530, 540 및 550)와 인터페이스하고 통신하도록 구성된다. 처리 구성요소(510)는 또한 장면(570)의 이미지를 거의 동시에 그리고 거의 동일한 통합 기간으로 캡처하기 위해 카메라(501a 및 501b)의 동기화(580)를 수행하고, 이미지 처리 구성요소(582)를 통한 이미지 처리, 및/또는 여기서 설명된 바와 같은 이미지 쌍 정합(이미지 쌍 접합 구성요소(584))을 수행해도록 적응될 수 있다.

처리 동작 및/또는 명령은 처리 구성요소(510)의 일부로서 소프트웨어 및/또는 하드웨어에 통합되거나, 메모리 구성요소(520)에 저장될 수 있는 코드(예를 들어, 소프트웨어 또는 구성 데이터)일 수 있다. 본 명세서에 개시된 처리 동작 및/또는 명령의 실시형태는 비일시적 방식(예를 들어, 메모리, 하드 드라이브, 컴팩트 디스크, 디지털 비디오 디스크, 또는 플래시 메모리)으로 기계판독 가능 매체에 의해 저장되어 하나 이상의 컴퓨터(예를 들어, 논리 또는 프로세서-기반 시스템)에 의해 실행되어 본 명세서에 개시된 다양한 방법을 수행할 수 있다.

메모리 구성요소(520)는 일 실시형태에서 데이터 및 정보를 저장하기 위한 하나 이상의 메모리 장치(예를 들어, 하나 이상의 메모리)를 포함한다. 상기 하나 이상의 메모리 장치는 RAM(Random Access Memory), ROM(Read-Only Memory), EEPROM(Electrically-Erasable Read-Only Memory), 플래시 메모리 또는 기타 유형의 메모리와 같은 휘발성 및 비휘발성 메모리 장치를 포함하는 다양한 유형의 메모리를 포함할 수 있다. 일 실시형태에서, 처리 구성요소(510)는 메모리 구성요소(520) 및/또는 기계판독 가능 매체에 저장된 소프트웨어를 실행하여 본 명세서에 설명된 방식으로 다양한 방법, 프로세스 및 동작을 수행하도록 적응된다.

처리 구성요소(510)는 이미지 캡처 구성요소(530a 및 530b)로부터 이미지 신호를 수신하고, 이미지 신호를 처리하고(예를 들어, 처리된 이미지 데이터를 제공하기 위해), 이미지 신호 또는 이미지 데이터를 메모리 구성요소(520)에 저장하고, 및/또는 메모리 구성요소(520)로부터 저장된 이미지 신호를 검색하도록 구성될 수 있다. 다양한 양태에서, 처리 구성요소(510)는 원격으로 배치될 수 있고, 처리 구성요소(510)는 본 명세서에 기술된 바와 같이 이미지 캡처 인터페이스 구성요소(536)와의 유선 또는 무선 통신을 통해 이미지 캡처 구성요소(530)로부터 원격으로 이미지 신호를 수신하도록 적응될 수 있다.

디스플레이 구성요소(540)는 이미지 디스플레이 장치(예를 들어, 액정 디스플레이(LCD)) 또는 다양한 다른 유형의 일반적으로 알려진 비디오 디스플레이 또는 모니터를 포함할 수 있다. 제어 구성요소(550)는 다양한 실시형태에서 사용자 입력 및/또는 인터페이스 장치, 예를 들면 키보드, 제어 패널 유닛, 그래픽 사용자 인터페이스, 또는 기타 사용자 입력/출력 장치를 포함할 수 있다. 제어 구성요소(550)는 예를 들어 디스플레이 화면 장치의 다양한 부분을 터치하는 사용자로부터 입력 신호를 수신하도록 적응된 터치 화면 장치와 같은 디스플레이 장치 및 사용자 입력 장치 둘 모두로서 작동하도록 디스플레이 구성요소(540)의 일부로 통합되어 구성될 수 있다.

처리 구성요소(510)는 이미지 캡처 인터페이스 구성요소(536a 및 536b)와 통신하도록 적응될 수 있다(예를 들어, 이미지 캡처 구성요소(530a, 530b)로부터 데이터 및 정보를 수신함으로써). 이미지 캡처 인터페이스 구성요소(536a 및 536b)는 각각 이미지 캡처 구성요소(530a 및 530b)로부터 이미지 신호(예를 들어, 이미지 프레임)를 수신하고, 이미지 신호를 처리 구성요소(510)에 직접 또는 통신 구성요소(552)의 방식으로 하나 이상의 유선 또는 무선 통신 구성요소를 통해(예를 들어 연결(537)로 표현됨) 통신하도록 구성될 수 있다.

하나 이상의 실시형태에서, 통신 구성요소(552)는 네트워크와의 통신에 적합한 네트워크 인터페이스 구성요소로서 구현될 수 있고, 하나 이상의 유선 또는 무선 통신 구성요소를 포함할 수 있다. 다양한 실시형태에서, 네트워크는 단일 네트워크 또는 다수 네트워크의 조합으로 구현될 수 있으며, 무선 근거리 통신망, 광역 통신망, 인터넷, 클라우드 네트워크 서비스, 및/또는 기타 적절한 유형의 통신 네트워크를 포함하는 유선 또는 무선 네트워크를 포함할 수 있다. 이미지 캡처 시스템(500)은 하나 이상의 컴퓨팅 장치, 서버 및/또는 하나 이상의 데이터베이스와 함께 작동하도록 구성될 수 있고, 다른 구성요소와 결합될 수 있다. 일부 실시형태에서, 이미지 캡처 시스템(500)은, 원격 이미지 쌍 정합 및 처리, 주석 달기, 및 본 명세서에 개시된 다른 프로세스를 위해, 이미지 쌍을 네트워크(예를 들어, 인터넷 또는 클라우드)를 통해 서버 시스템으로 보낼 수 있다.

정합된 이미지 쌍은 추가 처리를 위해 주석 시스템(556)에 제공될 수 있다. 다양한 실시형태에서, 주석 시스템(556)은 이미지 캡처 시스템(500)의 하나 이상의 다른 구성요소를 가진 로컬 컴퓨팅 시스템에 통합되거나, 무선 또는 유선 통신 링크를 통해 액세스되거나, 인터넷 또는 클라우드 서비스와 같은 네트워크를 통해 액세스되거나, 독립형 시스템(예를 들어, 정합된 이미지 쌍을 외부 메모리 장치를 통해 수신하는), 모바일 시스템, 또는 여기에 설명된 시스템 및 방법을 수행하도록 구성된 기타 시스템일 수 있다. 다양한 실시형태에서, 주석 시스템(556)은 적외선 이미지를 자동으로(예를 들어, 훈련된 CNN을 사용하여) 및/또는 수동으로(예를 들어, 사용자 인터페이스를 통해) 분석하기 위한 적외선 분류 구성요소(557) 및 가시광 이미지를 자동 및/또는 수동으로 분석하기 위한 가시광 분류 구성요소(558)를 포함한다. 상기 이미지 분류는 예를 들어 이미지에서 하나 이상의 물체를 검출하는 것과, 검출된 물체 주위에 경계 상자를 정의하는 것과, 및/또는 검출된 물체를 분류하는 것을 포함할 수 있다. 주석 구성요소(559)는 사용자가 이미지 및 제안된 주석을 보고 주석을 확인 및/또는 편집할 수 있도록 하는 이미지 쌍에 대한 적외선 및 가시 분류 정보를 합성하는 인터페이스를 제공하도록 구성된다. 주석이 달린 이미지 쌍은 적외선 이미지 분류를 위한 신경망을 훈련 및/또는 검증하는 데 사용하기 위해 데이터베이스(560)에 저장될 수 있다.

본 발명의 다양한 양태는 감시, 교통 모니터링, 사람의 검출 및 추적, 발열 모니터링 등을 포함하는 다양한 응용을 위해 캡처된 적외선 이미지를 분석 및/또는 분류하기 위해 신경망 및/또는 기타 기계 학습 프로세스를 훈련시키기 위해 구현될 수 있다. 이제 본 발명에서 사용될 수 있는 신경망 훈련 시스템 및 방법의 실시형태가 도 6a-6d를 참조하여 설명될 것이다.

도 6a를 참조하여, 적외선 이미지 분류 시스템의 실시형태를 설명한다. 적외선 이미지 분류 시스템(600)은 독립형 시스템으로서 구현될 수 있고 및/또는 데이터 처리 및/또는 훈련, 저장 및 적외선 이미지 분류 시스템에 의해 사용되는 신경망을 위한 다른 소프트웨어 실행 동작을 수행하는 애플리케이션 서버와 같은 하나 이상의 서버에서 구현될 수 있다. 일부 실시형태에서, 적외선 이미지 분류 시스템(600)의 구성요소는 클라우드/네트워크(622)와 같은 통신 네트워크에 걸쳐 분산될 수 있다. 통신 네트워크(622)는 무선 근거리 통신망(WLAN), 인터넷 또는 클라우드 네트워크와 같은 광역 네트워크, 및 본 명세서에 기술된 구성요소 간의 통신을 용이하게 하는 데 적합한 기타 유선 또는 무선 통신 경로와 같은 하나 이상의 로컬 네트워크를 포함할 수 있다. 적외선 이미지 분류 시스템(600)은 장면의 하나 이상의 적외선 이미지를 캡처하고 및/또는 그 안에 있는 물체를 검출 및/또는 분류하도록 구성된 원격 적외선 장치(624)와 같은 하나 이상의 원격 시스템과의 통신을 용이하게 하도록 작동 가능한 통신 구성요소(614), 및 적외선 이미지 분류 시스템의 훈련에 사용하기 위해 정합된 적외선/가시광 이미지 쌍을 캡처하도록 구성된 적외선/가시광 이미지 캡처 시스템(620)을 포함한다.

다양한 실시형태에서, 적외선 이미지 분류 시스템(600)은 클라우드-기반 시스템과 같은 네트워크 기반 적외선 이미지 분류 시스템으로 작동할 수 있거나, 열 이미지와, 하나 이상의 감시 장치(예: 본 명세서에 설명된 열 촬상 카메라)에서 실시간으로 캡처된 기타 데이터를 처리하는 감시 시스템과 같은 전용 시스템에서 작동하도록 구성될 수 있다. 적외선 이미지 분류 시스템(600)은 캡처된 데이터를 분석하고 적외선 이미지 분류와 관련된 정보, 예를 들면 검출 물체의 위치, 검출된 물체의 분류, 분류에 대한 신뢰 척도 등을 반환하도록 구성될 수 있다. 적외선 이미지 분류 시스템(600)은 또한 캡처된 적외선/가시광 이미지 쌍, 훈련 데이터세트, 훈련된 신경망, 및 기타 정보를 저장하기 위한 데이터베이스(602)를 포함한다.

예시된 바와 같이, 적외선 이미지 분류 시스템(600)은 데이터 처리 및/또는 다른 소프트웨어 실행 동작을 수행하는 하나 이상의 프로세서(604)를 포함한다. 프로세서(604)는, 이미지 쌍 분류 및 주석 구성요소(608), 적외선 분류 훈련 시스템 구성요소(610), 훈련된 적외선 분류 신경망(612)(예를 들어, 데이터베이스(602)에 저장된 훈련 데이터세트에 의해 훈련된 컨볼루션 신경망), 및/또는 기타 애플리케이션을 포함하는 메모리(606)에 저장된 소프트웨어 명령과 같은 적절한 명령을 실행하기 위해 적외선 이미지 분류 시스템(600)에 의해 사용될 수 있는 논리 장치, 마이크로컨트롤러, 프로세서, 주문형 집적 회로(ASIC), 필드 프로그래밍 가능 게이트 어레이(FPGA) 또는 기타 장치를 포함할 수 있다.

메모리(606)는 이미지 데이터, 비디오 데이터, 오디오 데이터, 네트워크 정보를 포함하는 데이터 및 정보와 실행 가능한 명령을 저장하는 하나 이상의 메모리 장치(예를 들어, 메모리 구성요소)에서 구현될 수 있다. 메모리 장치는 RAM(Random Access Memory), ROM(Read-Only Memory), EEPROM(Electrically-Erasable Read-Only Memory), 플래시 메모리, 디스크 드라이브 및 여기에 설명된 다른 유형의 메모리 등과 같은 휘발성 및 비휘발성 메모리 장치를 포함하여 정보 저장을 위한 다양한 형태의 메모리를 포함할 수 있다.

원격 적외선 장치(624)는 열 촬상 카메라, 휴대용 온도 감지 장치, 데스크톱 컴퓨터 또는 네트워크 서버, 모바일 컴퓨팅 장치 예를 들면, 휴대폰, 태블릿, 랩톱 컴퓨터, 또는 다른 장치와 연결하기 위한 통신 회로(예를 들어 무선 통신 회로 또는 유선 통신 회로)를 갖는 기타 컴퓨팅 장치로 구현될 수 있다. 일부 실시형태에서, 원격 적외선 장치(624)는 무인 항공기, 무인 지상 차량, 또는 다른 무인 차량과 같은 하나 이상의 무인 차량(예를 들어, 드론)을 포함할 수 있다.

통신 구성요소(614)는 다양한 통신 프로토콜을 사용하여 다른 장치와 통신하기 위한 회로를 포함할 수 있다. 다양한 실시형태에서, 통신 구성요소(614)는 유선 통신 목적을 위해 유선 통신 링크를 통해(예를 들어, 네트워크 라우터, 스위치, 허브, 또는 다른 네트워크 장치를 통해) 통신하도록 구성될 수 있다. 예를 들어, 유선 링크는 전력선 케이블, 동축 케이블, 광섬유 케이블, 또는 해당하는 유선 네트워크 기술을 지원하는 다른 적절한 케이블 또는 와이어로 구현될 수 있다. 통신 구성요소(614)는 이더넷 인터페이스, 전력선 모뎀, DSL(Digital Subscriber Line) 모뎀, PSTN(Public Switched Telephone Network) 모뎀, 케이블 모뎀, 및/또는 기타 유선 통신을 위한 적절한 구성요소와 같은 유선 통신 구성요소를 통해 유선 네트워크 및/또는 장치와 인터페이스하도록 추가로 구성될 수 있다. 독점 유선 통신 프로토콜 및 인터페이스가 또한 통신 구성요소(614)에 의해 지원될 수 있다.

하나 이상의 훈련된 적외선 이미지 분류 시스템은 도 6b에 도시된 바와 같이 원격 실시간 환경에서 구현될 수 있다. 적외선 이미지 분류 시스템(650)은 열 촬상 카메라 또는, 열 이미지를 수신 및/또는 생성하고 훈련된 적외선 분류 신경망(670)에 대한 입력을 위해 상기 수신된 열 이미지를 처리하기 위해 작동 가능한 다른 장치 또는 시스템을 포함할 수 있다. 적외선 이미지 분류 시스템(650)은, 하나 이상의 훈련된 신경망을 저장하고 그 위에 신경망 실행시간 인터페이스(예를 들어, 훈련된 적외선 분류 신경망(670))를 구현하도록 동작 가능한 프로세서 및 메모리(660)를 포함한다.

다양한 실시형태에서, 데이터베이스(602)에 저장된 훈련 데이터세트는 주석이 달린 정합된 이미지 쌍으로부터 생성될 수 있고 적외선 이미지 분류 시스템에서 사용하기 위해 하나 이상의 신경망 및 기타 기계 학습 알고리즘을 훈련하는 데 사용될 수 있다. 도 6c를 참조하여 신경망 훈련 프로세스의 일 실시형태를 설명한다. 일 실시형태에서, 신경망(680)은 훈련 데이터세트(682)를 수신하고 그 데이터에 대한 분류를 출력하는 컨볼루션 신경망(CNN)이다. 본 개시는, 예를 들어 열 이미지로부터 물체 및/또는 사람을 검출 및 추적, 열 이미지에서 온도 측정 위치의 검출, 검출된 물체의 분류, 및/또는 개인의 발열 여부의 결정을 포함하는(이에 한정되지 않음) 하나 이상의 적외선 이미지 결정을 위해 훈련될 수 있는 복수의 신경망을 설명한다.

훈련 데이터세트는 여기에 기술된 바와 같은 정합된 가시 및 적외선 쌍으로부터 생성된 주석이 달린 적외선 이미지 데이터를 포함한다. 데이터는 또한 실제 이미지를 시뮬레이션하기 위해 생성된 합성 데이터를 포함하여 다른 수단을 통해 생성된 주석이 달린 적외선 데이터도 포함할 수 있다. 일 실시형태에서, 상기 훈련은 특징 추출, 복수의 컨볼루션 층 및 풀링(pooling) 층, 복수의 완전 연결된 층, 및 원하는 분류를 포함하는 출력층을 포함하는 신경망(680)을 통한 순방향 통과로 시작한다. 다음으로, 신경망(680)을 통한 역방향 통과가 순방향 통과에서 생성된 오류(예를 들어, 잘못 분류된 데이터)를 고려하여 CNN 매개변수를 갱신하기 위해 사용될 수 있다. 다양한 실시형태에서, 본 개시에 따라 다른 프로세스가 사용될 수 있다.

훈련된 신경망을 검증하기 위한 일 실시형태가 도 6d에 도시되어 있다. 한 세트의 완전히 주석이 달린 검증 시험 데이터(692)가 훈련된 신경망(690)에 공급된다. 검증 시험 데이터(692)는 훈련 데이터세트(682)의 일부로 사용되지 않은, 본 명세서에 설명된 바와 같은 정합된 적외선/가시광 이미지 쌍으로부터 생성된 주석이 달린 적외선 데이터를 포함할 수 있다. 검출된 오류(예를 들어, 이미지 오분류)는 분석되어 훈련 모델을 갱신하기 위해 훈련 시스템으로 피드백될 수 있으며, 이것은 다시 훈련 데이터세트(682)를 갱신하여 더 정확한 분류 모델을 생성한다. 다양한 실시형태에서, 검출된 오류는 데이터의 더 많은 예(예를 들어, 더 많은 유형의 환경)를 추가하고, 데이터의 분해능을 증가시키고 및/또는 열 모델링의 정확도를 증가시켜 데이터 유형을 구별하는 데 도움이 되도록 수정될 수 있다. 훈련 데이터세트를 조정하여 즉석에서 정확도를 개선함으로써, 운영자는 정확한 분류 시스템을 구현하는 데 비용이 많이 드는 지연을 피할 수 있다.

다양한 실시형태에서, 상기 시스템은 하나 이상의 신경망의 분석 및 훈련을 위해 현장에서 실시간으로 생성된 데이터를 저장하도록 구성된다. 예를 들어, 배포된 시스템의 데이터는, 특정 환경(예: 공항에 있는 사람들의 온도 감지)을 위한 분류의 개선, 원하는 분류 목표(예: 하나 이상의 물체를 검출 및 추적하도록 CNN을 훈련) 및/또는 더 정확한 성능을 위해 CNN을 정제하기 위해 CNN 훈련 프로세스에 피드백된다.

이중-대역 온도 검출 시스템 및 방법

여기에 개시된 다양한 훈련 프로세스는 다양한 검출 및 분류 작업을 위해 적외선 촬상 시스템을 훈련하는 데 사용될 수 있다. 일부 실시형태에서, 상승된 체온(EBT: elevated body temperature)을 측정하기 위한 시스템은 물리적 접촉 없이 피부 온도를 측정하기 위해 열 적외선 카메라를 사용하는데, 이는 잠재적 감염성 질병을 가진 사람이 있을 때 사용되는 임의의 시스템의 중요한 측면이다. 열이 있는 사람은 상승된 심부 체온을 가질 수 있고 특정 조건에서 이 상승된 온도는 피부 온도, 특히 혈류 속도가 높은 안면 부위인 눈물관(안각) 근처의 얼굴 피부를 통해 나타날 수 있다. 이 안각 표면 온도는 심부 체온보다 단지 몇 ℃ 더 낮을 수 있다.

열적외선 카메라는 건강한 사람과 열이 있는 사람의 차이를 정확하게 측정하기 위해 보정되며 그 차이는 심부 체온의 몇 ℃ 차이에 불과할 수 있다. 적외선 카메라의 표준 보정은 이미지의 각 픽셀에 대한 디지털 카운트를 해당 픽셀들이 보이는 표면의 복사와 관련시킨다(열 화상 카메라의 스펙트럼 대역에서). 상기 표면의 온도는 룩업 테이블(lookup table)을 포함한 다양한 방법으로 카메라가 측정한 복사 (radiance)에서 도출될 수 있다. 피부 온도 측정의 경우, 두 가지 이유로 디지털 카운트로부터 온도로 직접 시스템을 보정하는 것이 수 있다. 첫 번째 이유는 얼굴 피부 온도 범위가 30℃ ~ 38℃ 사이의 값으로 제한되기 때문이다. 이 온도 범위에서, 7-14 미크론 장파 카메라에 대한 대역 내 복사는 도 7에 도시된 바와 같이 온도에서 거의 선형이다.

도 8a 및 8b를 참조하면, 하나 이상의 실시형태에 따라 훈련된 이중-대역 촬상 시스템의 예시적인 실시형태가 설명될 것이다. 이중-대역 카메라(800)는 제1 카메라(810), 제2 카메라(820), 및 빔 스플리터(830)를 포함한다. 제1 카메라(810)는 시야의 가시광 이미지를 감지하고 캡처하도록 구성된 이미지 캡처 및 처리 구성요소를 포함한다. 제2 카메라(820)는 시야의 적외선 이미지를 감지하고 캡처하도록 구성된 이미지 캡처 및 처리 구성요소를 포함한다. 제1 카메라(810)와 제2 카메라(820)는 카메라 바디(802) 내에 배치되어 빔 스플리터(830)를 통해 거의 동시에 이미지를 캡처하도록 구성된다. 빔 스플리터(830)는 장면의 이미지를 제2 카메라(820)에 반사시키는 반면, 제1 카메라(810)는 빔 스플리터(830)를 통해 가시광 이미지를 캡처한다. 본 명세서에 개시된 구성은 이미지 쌍이 최소 시차로 캡처될 수 있게 하여, 본 명세서에 설명된 것과 같이 정확한 이미지 처리 및 분류를 용이하게 한다.

일부 시스템에서, 상기 시야에 흑체(840)가 존재할 수 있다. 일부 실시형태에서, 흑체는 이중-대역 카메라(800)의 일부로서 위치되고 및/또는 카메라 바디(802)에 근접하게 위치될 수 있다. 빔 스플리터(830)에 의한 흑체 복사의 반사는 접힌 기하구조로 인해 흑체가 물리적으로 열 화상 카메라에 더 가깝게 위치할 수 있게 한다(예를 들어, 흑체(840)는 열 화상 카메라(820)로부터 (a) + (b) 떨어져 있음). 일부 실시형태에서, 흑체를 열 화상 카메라에 가깝게 배치하는 것은 흑체를 열 화상 카메라에 더 크게 보이게 하고, 또한 열 화상 카메라(820)에 의해 캡처될 위치에 하지만 사용 가능한 이미지 외부에 흑체를 정밀하게 배치할 수 있게 한다. 다양한 실시형태에서, 흑체는 서미스터, 미세공동 흑체(예를 들어, 길고 가늘어지는 원뿔) 또는 다른 흑체를 포함할 수 있다. 예를 들어 온도의 함수로서 저항값을 갖는 보정된 장치인 서미스터가 흑체로 사용되는 경우 전류를 통과시켜 서미스터를 가열하고 저항을 측정하여 온도를 얻으며, 그 온도는 그 다음에 열 화상에서 감지된 흑체 온도와 비교될 수 있다.

본 발명의 추가 측면이 이제 도 9를 참조하여 설명될 것이다. 사람 얼굴의 피부는 영역 흑체 소스의 일반적인 방사율(예: 0.96)에 매우 가까운 대역 내 방사율을 가진다. 흑체 소스와 사람 피부를 바라보는 적외선 카메라로 측정한 디지털 카운트는 두 표면 온도가 동일하다면 동일할 것이다. EBT 시스템은 항상 시야에 기준 흑체(reference blackbody)(또는 흑체들)를 포함할 수 있으며, 그것은 모든 열 적외선 이미지에 온도 보정을 내장하는 속성이 있다. 이것은 또한, 카메라에 시간이 많이 소요되는 방사 분석 교정 프로세스가 필요하지 않기 때문에 생산 비용이 낮을 수 있는 내장 보정 기능이 없는 카메라를 사용할 수 있게 한다. 추가 이점은 흑체가 시험 대상과 카메라로부터 동일한 거리에 위치되는 경우 대기 전송이 장면 내 보정으로 접힌다는 것이다.

도 9는 시야에 이중 흑체 시스템을 갖는 시험 대상(902)의 열 이미지(900)를 예시한다. 제1 흑체(910)는 35℃의 온도를 갖고, 제2 흑체(912)는 41℃의 온도를 갖는다. 온도는 두 개의 흑체에 대한 디지털 카운트 값로부터, 또는 카메라의 반응도를 알고 있는 경우 단일 흑체에 대한 디지털 카운트 값으로부터 보간법 및 외삽법에 의해 추정할 수 있다. 단일 흑체 구성의 경우 카메라의 반응도를 알아야 할 수도 있다.

이제 도 10을 참조하여, 단일 기준 흑체를 사용하여 온도를 측정하는 방법(1000)이 하나 이상의 실시형태에 따라 설명될 것이다. 단계 1010에서, 예상 동작 온도를 나타내는 환경에서 카메라가 완전히 준비되고 동작하는 상태에서 2개의 흑체(예를 들어, 35C 및 40C의)를 사용하여 카메라의 응답성이 측정된다. 카메라 소프트웨어는 일시적 잡음(temporal noise)을 줄이기 위해 프레임 평균화를 제공하도록 구성될 수 있으며, 상기 반응도는 2개의 흑체에 위치한 2개의 관심 영역(ROI)에 대한 디지털 카운트의 차이(예: 571.8 카운트)를 상기 온도 차이(이 예에서는 5℃)로 나눈 것으로 계산될 수 있다. 결과 반응도는 114 카운트/℃이다.

단계 1020에서, 시험 대상을 포함하는 관심 장면을 보는 동안 카메라 시야 내의 기준 흑체 상에서 관심 영역이 식별되고, 상기 기준 흑체 상의 평균 디지털 카운트가 결정된다. 이 값은 기준 오프셋(reference offset)이다. 단계 1030에서, 상기 시스템은 시험 대상의 얼굴에 있는 영역(예를 들어, 얼굴의 가장 뜨거운 부분, 안각과 같은 얼굴의 특정 표적 위치)을 포함할 수 있는 관심 표적에 대한 디지털 카운트를 측정한다. 소프트웨어는 사람의 얼굴을 자동으로 감지한 다음, 얼굴에서 가장 뜨거운 지점(예: 안각)을 찾고 핫 스팟(hot spot)의 중심에 3x3 픽셀 크기의 스팟미터(spotmeter)를 배치하여 EBT 카운트 측정치를 생성할 수 있다. 일부 실시형태에서, 가시광 이미지는 물체 및/또는 물체 상의 위치를 식별하기 위해 캡처되고 사용되며, 상기 식별된 위치는 그 다음에 열 이미지 상의 대응하는 위치에서 측정될 수 있다.

단계 1040에서, 상기 기준 오프셋은 EBT 카운트 측정치에서 감산된다. 그런 다음 상기 시스템은 반응도로 나누어 시험 대상의 안각과 기준 흑체 사이의 상대적인 온도 차이를 얻는다. 그런 다음 이 온도 차이가 흑체 온도에 가산된다. 갱신된 측정치를 얻기 위해 소프트웨어에 의해 흑체 온도가 지속적으로 판독될 수 있다. 이 측정값은 열 이미지의 메타데이터에 삽입될 수 있다.

단계 1050에서, 동시에, 장면을 추가로 분석하기 위해(예를 들어, 대상을 식별하는 것을 돕기 위해) 사용될 수 있는, 시험 대상의 가시광 이미지가 기록된다. 측정 장소 부근의 기온, 상대 습도, 카메라에서 사람까지의 거리(아마도 스테레오 카메라 장비, LIDAR, RADAR 또는 다른 방법으로 측정됨)를 포함하여 추가 메타데이터도 기록될 수 있다. 이 데이터는 카메라와 대상 사이의 대기 전송 손실을 결정하고, 또한 광학계의 미광과 카메라 시스템의 변조전달함수(MTF)로 인해 작은 표적이 실제 운동학적 표면 온도보다 차갑게 보이는 현상인 스팟 크기 효과를 교정하는 데 추가적인 이점이 될 수 있다.

도 11을 참조하여, 하나 이상의 실시형태에 따라 카메라 반응도의 측정이 이제 설명될 것이다. 열 이미지(1100)는 시야의 적외선 카메라에 의해 촬영된다. 열 이미지(1100)는 흑체(1120)의 이미지를 포함하고, 이것은 열 이미지(1100)에서 관련된 관심 영역(예를 들어, 35C 기준으로 지시된 녹색 상자로 획정됨)을 가지며, 이로부터 온도 측정이 수행된다. 열 이미지(1110)에서 식별된 표적(1110)은 그 표적에 대한 온도 측정이 수행되는 관련된 관심 영역(예: 40C 표적으로 지시된 빨간색 상자에 의해 획정됨)을 가진다.

도 12를 참조하여 이중-대역 카메라의 예시적인 구현의 실시형태가 이제 설명될 것이다. 이중-대역 카메라(1200)는 이색성 빔 스플리터(1220)를 사용하여 시스템 시차를 감소시키도록 구성된다. 이중-대역 카메라(1200)는 본 명세서에서 논의된 바와 같은 이중-대역 카메라 시스템 및 빔 스플리터를 사용하여 훈련되는 훈련된 신경망과 함께 동작할 수 있다. 상기 동작에서, 이중-대역 카메라 시스템(1200)은 적외선 카메라(1230)의 비디오 데이터와 가시광 카메라(1210)의 비디오 데이터를 높은 정밀도로 중첩된 광축과 동시에 캡처한다. 이중-대역 카메라(1200)는 각 카메라(가시광 카메라(1210) 및 적외선 카메라(1230))의 광축에 대해 45도 각도로 빔 스플리터(1220)를 사용한다. 다양한 실시형태에서, 빔 스플리터(1230)는 한 면이 인듐 주석 산화물로 코팅되어 ~90% 효율로 LWIR 복사를 적외선 카메라(1230)에 반사하는 동시에 가시광선의 90%를 가시광 카메라(1210)로 전송한다. 상기 예시된 시스템은, 모든 거리에서 가시광 이미지와 열적외선 이미지 사이에 무시할 수 있는 시차 오류가 있기 때문에, EBT 응용을 포함한 다양한 열 촬상 응용에서 구현될 수 있다. 대조적으로, 두 개의 나란한 이미지 센서가 있는 기존 시스템(예: 나란히 조준 맞춤된 가시 및 열적외선 카메라)은, 모든 물체 거리에 대해 이미지 쌍이 공간에서 완벽하게 정합될 수 없기 때문에, 더 가까운 거리에서 더 눈에 띄는 시차 오류가 발생시킨다.

일부 실시형태에서, 흑체(1240)는 IR 시야의 코너(또는 캡처된 이미지를 방해하지 않거나 최소한으로 방해하는 다른 위치)에 위치한다. EBT 응용의 경우, 데이터세트는 시스템 사용자가 가시광 이미지의 임의의 지점에 마우스를 놓고 각 지점의 온도를 볼 수 있는 대상 사람의 가시 비디오로서 제시될 수 있다. 이 실시형태는 시스템 운영자가 EBT 또는 다른 온도 측정 구현에서 온도를 보기 위한 다양한 방법을 직관적으로 탐구할 수 있게 한다. 일부 실시형태에서, (예를 들어, 법에 의해 요구될 수 있는 바의) 대상의 프라이버시를 보호하기 위해 물체 검출, 분석, 및 온도 측정이 수행된 후에 상기 가시광 이미지는 폐기될 수 있다.

이중-대역 카메라(1200)는 처리 구성요소(1250)(예를 들어, 도 5 - 도 6b의 처리 구성요소들 중 하나 이상)에 의해 제어되며, 상기 처리 구성요소(1250)는 두 카메라의 이미지 캡처를 동기화(예를 들어, 캡처된 이미지의 시간 정합을 위한 셔터 및 이미지 획득의 동기화)시키기 위한 동기화 논리(1260), 캡처된 이미지를 시스템에서 사용하기 위한 이미지로 처리하기 위한 이미지 처리 논리(1262), 이미지 쌍을 정렬하기(예를 들어, 픽셀별 대응) 위한 이미지 쌍 정합 논리(1264), 이미지 쌍에서 하나 이상의 표적 물체를 식별하기 위한 물체 검출 및 추적 논리(1266), 및 물체 또는 물체의 일부의 온도를 결정하기 위한 온도 측정 논리(1268)를 포함하는 특정 사용 또는 구현에 따라 구성된다. 다양한 실시형태에서, 상기 논리 구성요소들 중 하나 이상은 이미지 분석, 훈련된 신경망, 통계 분석, 및/또는 다른 논리를 사용하여 구현될 수 있다. 일부 실시형태에서, 이중-대역 카메라(1200)는 통신 구성요소(1270)를 통해 원격 처리 시스템(1272)과 통신한다. 원격 처리 시스템(1272)은 신경망 훈련 및 다운로드, 이미지 쌍의 온라인 처리, 이력 데이터의 저장, 및 기타 서비스를 포함하여 이중-대역 카메라(1200)를 위한 하나 이상의 서비스를 제공할 수 있다. .

빔 스플리터 시스템으로 취득한 EBT 데이터를 표시하는 방법의 예가 도 13에 도시되어 있다. 도시된 바와 같이, 디스플레이(1300)는 물체(예를 들어, 사람)의 가시광 이미지(1310)를 포함하며, 선택된 위치(예를 들어, 사용자가 포인터(1330)를 원하는 영역 위에 위치시킴으로써 선택한 위치)에 온도 데이터를 보여주기 위해 가시광 이미지(1310) 위에 열 이미지 인셋(inset)(1320)이 오버레이 된다. 도시된 바와 같이, 시험 대상의 얼굴에서 가장 뜨거운 부분은 안각의 노란색 부분이다. 온도는 오른쪽의 색상 막대에 표시된 대로 33.1℃이다.

도 14를 참조하여, 하나 이상의 실시형태에 따라 IR 카메라에 가까운 흑체의 배치가 더 상세히 설명될 것이다. 장면에서 시험 대상 근처에 또는 시험 대상과 같은 거리에 기준 흑체를 배치하는 개념은, 시험 대상과 기준 흑체 모두가 공기 경로의 전송에 의한 감소 및 공기 경로 신호 자체에 의한 증가와 동일한 양만큼 변경된 각각의 적외선 신호를 갖기 때문에 대기 전송 손실이 보정에 "반영"된다는 이점이 있다. 그러나 먼 거리에 있는 장면에 기준 흑체를 배치하는 것은 몇 가지 뚜렷한 단점이 있다. 그 중 하나는, 기준 흑체가 시야에 유지되지 않거나 소프트웨어가 장면 위 ROI의 위치설정을 유지할 수 있도록 그 위치가 알려지지 않으면 카메라를 장면 위로 수평 회전시키거나 기울일 수 없다는 것이다. 또 다른 이유는 기준 흑체가 부딪히거나, 사람이나 다른 물체에 의해 가려지거나, 아니면 교차 감염의 위험이 있는 특히 바람직하지 않은 상황인 시험 대상 근처에 위치하기 때문에 손상될 수 있다는 것이다.

도시된 바와 같이, 시스템(1400)은 열 화상 장치(1430)의 시야 내 카메라 렌즈에 가까운 거리에 기준 흑체(1410)를 배치함으로써 이 문제를 해결한다. 일부 실시형태에서, 흑체(1410)는 높은 방사율 코팅으로 코팅된 알루미늄으로 만들어진 작은 원형 방사체(emitter)를 포함한다. 방사체를 가열하기 위해 가열 코일이 사용될 수 있고 방사체의 절대 온도를 모니터링하기 위해 서미스터 또는 열전쌍이 사용될 수 있다.

흑체(1410)는 카메라 렌즈로부터 수 센티미터 떨어져 있는 경우 초점이 크게 벗어날 것이지만, 렌즈는 편리한 작동 거리(예를 들어, 1미터에서 무한대까지 장면의 모든 것이 측정에 충분한 초점이 될 수 있는 3미터 또는 이와 유사한 거리)에 초점이 맞춰진다. 흑체(1410)가 초점이 맞지 않으면, 흑체는 작은 표적이기 때문에 자체의 실제 물리적 온도에 있는 것으로 인식되지 않을 것이며 흑체로부터의 복사는 초점이 맞았을 때보다 더 많은 픽셀에 걸쳐 번질 것이다. 이 문제에 대한 해결책은 흑체 방사체(1410) 앞에 시준 렌즈(collimating lens)(1420)를 배치하여 흑체가 초점이 맞춰진 것처럼 보이도록 그 광선을 집속하는 것이다.

다른 실시형태에서, 센서를 알려진 온도 장면에 노출시키기 위해 셔터가 IR 카메라 렌즈 앞에 주기적으로 배치된다. 상기 셔터는 기준 오프셋을 계산하는 데 사용될 온도 센서가 구비될 수 있다. 상기 셔터는 또한 이미지의 공간적 균일성을 향상시킬 플랫 필드(flat field) 보정 셔터로서 역할을 할 수 있다. 상기 플랫 필드 보정 셔터를 렌즈 앞에 놓는 것은 또한 렌즈 조립체로 인해 발생한 불균일성도 보정한다. 이 접근 방식의 단점은 시험 대상의 온도 측정이 동시에 시야에 기준 흑체를 가지지 않아, 추적성이 감소한다는 것이다. 참조 셔터의 활성화 사이에 카메라 오프셋 변동(drift) 문제도 있다. 이 변동은 카메라가 주변 공기 온도의 어떤 변화를 늦추기에 충분한 열 질량을 가진 하우징에 포함된 경우 완화할 수 있다.

다양한 실시형태에서, 거리에 기인한 온도 오차를 보정하기 위한 시스템 및 방법이 제공된다. 이 시스템은 열 촬상 센서와의 거리를 기준으로 머리의 겉보기 온도를 보정하도록 구성되어, 아픈 사람이 카메라에서 멀리 떨어져 있다고 해서 건강하다고 간주되지 않도록 한다. 온도 측정이 거리에 따라 감소하도록 작용하는 두 가지 효과가 있다. 하나는 대기 전송이다. 다른 하나는 소위 "스팟 크기 효과"이다. 스팟 크기 효과는 각도 크기가 감소함에 따라 표적의 겉보기 온도가 감소하는 것으로 나타난다. 광학 시스템의 변조 전달 함수와 관련하여 뜨거운 표적이 작아짐에 따라 상기 표적의 겉보기 온도를 낮추기 시작하는 콜드 픽셀의 "혼합"이 가장자리에 있음이 관찰된다. 일부 실시형태에서, 스팟 크기 효과는 표적이 임계 크기 아래로 떨어질 때(예를 들어, 크기가 15x15 픽셀보다 작음) 두드러진다. 성인의 안각 핫 스팟은 약 1cm x 1cm이다. 640x512 해상도와 32도 수평 시야를 갖는 예시적인 카메라에 의해 형성된 이미지에서 성인의 안각이 최소 15x15 픽셀이 되려면 표적 사람은 0.8미터 이내에 있어야 한다.

군중 속을 지나가는 사람들을 선별하기 위해, 아마도 머리 크기(성인 머리라고 가정)를 기준으로, 카메라에서 표적의 머리까지의 거리를 측정해야 할 수 있다. 동일한 장면의 가시광 이미지가 있는 경우, 훈련된 인공 지능 도구를 사용하여 사람들의 연령과 성별을 결정한 다음 추정된 연령과 성별에 따라 머리 크기를 수정할 수 있다. 상기 거리 측정은 표적 거리, 공기 온도(예: FPA 온도 또는 외부 온도 센서 사용) 및 상대 습도(예: 상대 습도 센서 사용)를 설명하는 공기 경로 전송 모델에서 사용된다. 일부 실시형태에서, 상기 공기 경로 전송 모델은 미국 공군에 의해 개발된 복사 수송 모델인 MODTRAN(Moderate Resolution Atmospheric Transmission)에 기초한다.

도 15a 및 15b를 참조하여, 하나 이상의 실시형태에 따라 가시 및 적외선 이미지 쌍의 예가 이제 설명될 것이다. 이미지 쌍(1500)은 안개를 보여주는 가시광 이미지(1510)와 안개 속의 남자(1522)의 이미지를 보여주는 열 이미지(1520)의 예를 도시한다. 이미지 쌍(1550)은 장애물(1570) 뒤에 있는 사람을 보여주는 가시광 이미지(1560)와, 대응 열 적외선 이미지(1570)의 예를 도시한다. 이 예들은 훈련 및 검출 모두에 대해 여기서 설명된 것과 같은 듀얼 카메라 시스템의 편익을 설명한다. 훈련과 관련하여, 상기 이미지 쌍은 가시 및 적외선 이미지의 레이블 부여가 장면에 대해 상이한 상황 정보를 제공하는 상이한 상황을 보여준다. 가시광 이미지가 가려질 때 물체를 추적하는 것과 같은 물체 검출, 추적 및 분류는 가시광 이미지와 적외선 이미지를 모두 사용하여 개선될 수 있다.

도 16a, 16b, 16c 및 16d는 하나 이상의 실시형태에 따른 예시적인 이중-대역 카메라 시스템의 도면으로, 내부 투시도(도 16a), 측 단면도(도 16b), 저면도(16c), x투시도(16d)를 포함한다. 이중-대역 카메라 시스템(1600)의 실시형태는 하우징(1602), 적외선 카메라(1610), 빔 스플리터(1620), 가시광 카메라(1630), 및 가시광 이미지를 가시광 카메라(1630)의 이미지 캡처 구성요소를 향해 집속하기 위한 광학 구성요소(1632)(예를 들어, 렌즈 조립체)를 포함한다.

도 17a 및 17b는 하나 이상의 실시형태에 따른 다른 예시적인 이중-대역 카메라 시스템의 도면으로서, 평면도(도 17a) 및 정면도(도 17b)를 포함한다. 이중-대역 카메라 시스템(1700)은 적외선 카메라(1710)(예를 들어, LWIR 카메라), 빔 스플리터(1720), 가시광 카메라(1730) 및 처리 구성요소(1740)(예: GPU 보드)를 포함하는 시스템 구성요소를 둘러싸는 커버(1712)를 갖는 하우징(1720)을 포함한다. 이중-대역 카메라 시스템(1700)은 장면의 적외선 파동(1706) 및 가시광선 파동(1708)을 수신하도록 구성된다. 빔 스플리터(1720)는 가시광선 파동(1708)이 가시광선 카메라(1730)에 도달하도록 한다. 다양한 실시형태에서, 가시광 카메라(1730)는 가시광 카메라(1730)의 이미지 캡처 구성요소에 대해 가시광선(1708)의 초점을 맞추기 위해 제공된 광학 구성요소 및/또는 별도의 광학 구성요소(1732)를 포함한다. 빔 스플리터(1720)는 또한 창(1712)을 통해 적외선 카메라(1710) 쪽으로 적외선 파동(1706)을 반사하도록 구성된다. 적외선 이미지를 워핑하여 가시광 이미지에 오버레이하고 2채널, 이중 대역 비디오 스트림을 생성하기 위해 처리 구성요소(1740)가 제공된다.

상승된 체온 선별검사

상승된 체온 선별검사(예를 들어, 출입문 선별검사)를 위한 본 개시의 실시형태가 이제 도 18a - 22e를 참조하여 설명될 것이다. 다양한 시나리오 및 맥락에서, 본 개시의 실시형태는 사무실, 쇼핑몰, 회사 및 제조 시설 등과 같은 건물 입구와 같이 온도의 선별검사가 요구되는 임의의 위치에서 활용될 수 있다. 다양한 실시형태는 공항이나 기타 여행 시설에서 개인의 선별검사를 포함하여 한 번에(카메라당) 한 사람의 선별검사가 수행되는 시나리오에 관한 것이다.

다양한 실시형태가 이제 도 18a - 18c를 참조하여 설명될 것이다. 도 18a 및 18b는 건물 또는 사무실 로비 등과 같은 시설 입구와 같은 예시적인 상승된 온도 검사 영역(1800)을 도시한다. 상승된 온도 검사 영역(1800)은 체크인 영역에 설치된 검사 시스템(1820)을 포함한다. 사람(1810) 및 사람(1812)과 같이 상승된 온도 검사 영역(1800)에 입장하는 사람들은 검사 시스템(1820)을 통해 한 번에 한 명씩 체크인한다.

도 18c를 참조하여 검사 시스템(1820)의 실시형태가 설명될 것이다. 검사 시스템(1820)은 검사받는 사람이 볼 수 있도록 구성될 수 있는 디스플레이(1822), 적외선 촬상 카메라(1824) 및 컴퓨팅 시스템(1826)을 포함한다. 다양한 실시형태에서, 상기 검사 시스템은 도 1 내지 17b에 도시된 이중 대역 카메라 시스템과 같은, 검사할 사람의 가시광 및 적외선 이미지 모두를 제공하는 이중 대역 카메라 시스템을 사용하여 구현될 수 있다.

일부 실시형태에서, 시스템(1820)은 자체-평가 피부 온도 스캐닝 시스템으로서 구현되며, 이제 그 일 예가 도 19a - 19g 및 도 20을 참조하여 설명될 것이다. 사람이 스캔을 수행하는 방법을 돕기 위해 올바른 측정 결과를 허용하도록 여러 측면이 평가된다. 예시된 실시형태는 디스플레이의 텍스트, 그래픽 및 애니메이션을 통해 사용자에게 전달되는 여러 단계 및 명령을 포함한다.

상기 스캐닝 프로세스는 디스플레이(1900)가 사용자가 적외선 카메라 앞에 서서 디스플레이 쪽으로 자신을 위치시켜야 한다는 시각적 표시를 사용자에게 제공하는 단계 2010에서 시작된다. 이것은 예를 들어, 도 19a에 도시된 바와 같은 실루엣(1910) 또는 모니터 앞에 사람이 서 있어야 함을 나타내는 유사한 그래픽을 디스플레이함으로써 행해질 수 있다. 일부 실시형태에서, 적외선 카메라는 모니터에 또는 그 근처에 장착되고 모니터(1900)는 실루엣(1910) 및 카메라에 의해 캡처된 사용자의 이미지 모두의 뷰를 제공하여, 사용자가 실루엣(1910) 내에 위치할 수 있게 한다. 도 19b에서, 모니터(1900)(및 카메라)에 접근하는 사람(1922)의 예시적인 이미지(1920)가 제공된다. 사람(1922)은 카메라에 의해 촬상되고 캡처된 이미지는 사람의 얼굴을 검출하기 위해 분석된다. 이미지에서 검출된 얼굴(1924)의 크기와 위치를 분석하여 실루엣(1910) 내 올바른 위치로 그 사람을 안내한다. 예시된 이미지에서 사람이 너무 멀리 서 있고 화면에 그래픽(1926)을 제공하여 그 사람을 적절한 위치로 안내한다. 예를 들어, 그래픽(1926)은 사람(1922)이 정확한 스캔을 위해 더 가까이 다가가도록 지시하는 애니메이션 화살표를 포함할 수 있다.

단계 2020에서, 상기 시스템은 사용자에게 모자, 안면 마스크, 안경 또는 선글라스와 같은 방해하는 착용 물품을 제거하도록 지시한다. 다양한 실시형태에서, 상기 시스템은 사용자의 이미지를 캡처하고, 사용자의 얼굴을 검출하고, 방해하는 착용 물품이 있는지를 식별한다. 예를 들어 방해가 되는 모자는 IR 기술이 수행하는 온도 측정을 방해하여, 잠재적으로 상기 시스템이 부정확한 결과를 표시하게 할 수 있다. 따라서 상기 시스템은 안경이나 모자, 안면 마스크 등과 같은 기타 모자류를 자동으로 검출한다. 검출된 물체에 따라 관련 그래픽이 사용자에게 표시되어 물체를 제거해야 함을 나타낸다. 일부 실시형태에서, 상기 시스템은 하나 이상의 방해 물체의 존재를 검출하도록 구성된 훈련된 신경망을 포함한다. 도 19c에 예시된 바와 같이, 방해 물체가 검출될 때, 상기 시스템은 방해 물체를 제거하도록 사용자에게 지시하는 그래픽(1932) 또는 다른 표시를 제공할 수 있다. 예시된 실시형태에서, 사용자는 이미지 처리 시스템 및/또는 신경망에 의해 검출되는 선글라스(1930)를 착용하고 있고, "안경 제거" 그래픽이 사용자에게 제공된다. 카메라 및 이미지 처리 시스템은 라이브 적외선 비디오 스트림으로 사용자의 얼굴을 모니터링하여, 사용자의 얼굴 및 임의의 방해하는 착용 물품(예를 들어, 도 19d에 도시된 바와 같은 선글라스 제거)를 검출하고 사용자의 얼굴이 언제 스캐팅 위치에 있는지 검출한다.

단계 2030에서, 상기 시스템은 사용자의 온도 스캔을 개시한다. 일부 실시형태에서, 상기 시스템은 특정 기준이 충족되었음을 식별할 때 자동으로 스캔을 시작한다. 예를 들어, 상기 시스템은 이미지 처리 및/또는 다른 센서를 통해 사용자를 추적하여 사람이 올바른 거리에 서 있는 때(예를 들어, 사람 얼굴의 충분히 큰 부분이 검출되고 있음)를 결정할 수 있다. 상기 시스템은 또한 방해하는 착용 물품이 측정할 얼굴 영역을 덮고 있지 않음(예를 들어, 얼굴을 덮고 있는 모자, 안경, 안면 마스크 또는 기타 착용 물품이 검출되지 않음)을 확인할 수 있다. 사람이 적절한 위치에 있고 다른 기준이 충족되는 때(예를 들어, 도 19e에 도시된 바와 같이), 상기 시스템은 피부 온도 스캔을 시작할 준비가 되었음을 시각 및 청각 피드백으로 표시한다.

단계 2040에서, 상기 시스템은 적절한 위치에 있을 때 사용자의 적외선 이미지를 평가하여 사용자 온도를 결정한다. 측정 중에 사용자가 움직이면 이전에 설명한 대로 위치를 변경하라는 요청을 받을 수 있으며 상기 프로세스가 반복된다. 일부 실시형태에서, 상기 시스템은 이마 또는 누관과 같은 측정 위치를 결정하고, 상기 측정 위치에서 온도를 계산하고, 상기 측정된 온도를 하나 이상의 임계값과 비교하여 그 사람이 상승된 체온을 갖고 있는지를 결정한다.

단계 2050에서, 상기 시스템은 측정된 온도에 따라 메시지를 표시하고 및/또는 작업을 수행한다. 예를 들어, 사용자가 허용된 온도 한계에서 벗어나지 않으면, 사용자는 그들이 상승된 온도에 해당하지 않는다는 긍정적인 메시지(예를 들어, 도 19f에 도시된 녹색으로)를 수신할 수 있다. 그러면 사용자는 체크 포인트 통과가 허용되고 시설 프로토콜(예를 들어, 직원 또는 방문자 배지 착용)에 따라 시설에 들어갈 수 있다. 측정된 온도가 허용된 온도로 설정된 값에서 벗어나면, 사용자는 상승된 체온을 갖는다는 것을 알리는 메시지(예를 들어, 도 19g에 도시된 바와 같이 적색으로)를 수신할 수 있다. 결과에 기재된 메시지는 구현 요구 사항을 충족하도록 맞춤 설정할 수 있으며 시스템 설치 위치 및 상황에 따라 다를 수 있다. 예를 들어, 사람이 상승된 체온을 갖는 경우, 그 사람은 시설 입장이 거부되거나, 의사 또는 다른 의료인과 면담하도록 지시받거나, 격리/검역 지시를 받거나(예를 들어, 감염병 발생 시), 또는 기타 예방 조치가 취해질 수 있다.

시스템 설정 및 설치

적외선 기술을 사용한 피부 온도 스캔의 정확도는 다양한 설정 및 조건에 따라 달라지므로, 본 개시는 또한 최적화된 측정 결과를 위해 시스템을 설정하는 방법에 대한 가이드를 시스템 설치자에게 제공한다. 시스템 설치를 위한 샘플 사용자 인터페이스 화면이 도 21a - 21f에 도시되어 있고 이제 설명될 것이다. 일부 실시형태에서, 컴퓨터(예를 들어, 도 18c의 컴퓨터(1826))는 적절한 상승된 체온 측정을 위해 상기 시스템을 초기화하는 설정 루틴을 실행한다.

화면 2100에서, 초기화 시스템이 시작되어, 시스템 설치를 위한 단계별 가이드를 제공한다. 화면(2110)에서, 사용자는 케이블 또는 다른 통신 모드를 통해 카메라를 컴퓨터에 연결하라는 지시를 받는다. 예를 들어, 화면(2120)에서 사용자는 원격 스트리밍 및 연결을 허용하기 위해 Wi-Fi 액세스 포인트(컴퓨터 자체 또는 컴퓨터가 연결된 동일한 액세스 포인트)에 자신의 카메라를 연결할 수도 있다. 카메라가 컴퓨터에 연결되어 있는 상태에서, 상기 시스템은 사용되는 광학 장치를 검출하도록 구성될 수 있다. 예를 들어, 예상되는 사용자 측정 위치에 대해 최적의 위치에 카메라를 설정하기 위해 화면 2130에 도시된 바와 같이 스캔을 수행하기 위한 제안된 거리가 추천될 수 있다.

스트리밍 IR 이미지에서 좋은 품질을 얻기 위해 카메라 초점을 설정하라는 지시가 화면(2140)을 통해 사용자에게 전달된다. 이는 카메라 하드웨어의 초점 휠에서 수동으로 수행되거나 디지털 사용자 인터페이스에서 "자동 초점"을 클릭하여 수행될 수 있다. IR 이미지가 지속적으로 스트리밍되기 때문에, 사용자는 광학 초점 상태에 대해 즉각적인 피드백을 받게 될 것이다.

화면 2150에 도시된 바와 같이, 사용자는 스트리밍 IR 이미지에서 관심 영역(2154)을 설정할 수 있도록 하는 디지털 마스킹 도구(2152)를 제공받을 수 있다. 상기 관심 영역은 얼굴이 검출될 수 있는 영역을 결정한다. 얼굴이 카메라 뷰 내에서 보이지만 설정된 관심 영역 밖에 있는 경우 얼굴은 검출되지 않을 것이다. 이 기능은 스캔 중인 사람의 배경에서 지나가는 사람들의 원치 않는 측정을 방지하는 데 도움이 될 수 있다.

스캔한 사람의 피부 온도가 허용된 한계를 초과하면, 상기 시스템은 상승된 온도가 검출되었음을 알린다. 설정하는 동안 사용자는 허용되는 온도 한계에서 약간의 편차를 허용하는 마진을 온도를 기준으로 설정하도록 요청받을 수 있다. 예를 들어, +2℃, +1.5℃ 또는 +1℃와 같은 "온도 임계값"을 설정하도록 사용자에게 요청하는 화면이 제공될 수 있다. 다양한 실시형태에서, 상기 시스템은, 사용자가 제품 사용의 나중 단계에서 설정을 지연할 경우 발생할 수 있는 잠재적인 오류를 방지하기 위해, 시스템이 설정되고 있는 중에 사용자가 온도 마진을 설정할 수 있도록 한다.

본 개시의 양태는 다양한 설정 및 정보가 디스플레이되는 상기 시스템의 디스플레이(예를 들어, 컴퓨터의 디스플레이) 상에 제시되는 "운영자 뷰"를 더 포함한다. 샘플 디스플레이 뷰가 도 22a - 22e에 도시되어 있다. 도 22a에 예시된 바와 같이, 운영자게는 측정된 온도 및 저장된 이미지(2204)를 볼 수 있는 능력과 함께 수행된 스캔(2202)의 타임라인이 제공될 수 있다. 이것은 온도 곡선의 이력 뷰를 볼 수 있는 가능성을 제공한다. 사용자는 측정된 온도, 이미지 및 결과와 같은 자세한 내용을 보기 위해, 수행된 스캔들 중 임의의 것을 클릭할 수 있다. 도 22b에 예시된 바와 같이, 운영자 뷰(2220)는 다수의 카메라를 시스템(예를 들어, 다수의 사람을 스캔하기 위해 다수의 카메라를 포함하는 시스템)에 연결함으로써 여러 IR 비디오 스트림(2224)을 동시에 볼 수 있도록 허용한다. 디스플레이(2240)(도 22c)는 로컬 시스템, 원격 시스템, 클라우드 데이터베이스 또는 추가 분석을 위한 다른 저장 장치에 디스플레이 및 저장될 수 있는 개인(2242)의 스캔 이미지를 디스플레이하도록 추가로 구성될 수 있다.

도 22d 및 22e를 참조하면, 상기 시스템은 스캐닝 되는 사람(예를 들어, 디스플레이(2260)에 도시된)의 무결성을 보호하고 사용자에게 더 편안한 경험을 제공하기 위해 흐릿한 오버레이를 제공하도록 구성될 수 있다. 이미 존재하는 그래픽에 흐릿한 오버레이가 적용될 수 있으므로, 사용자는 검출된 얼굴에 신호를 보내고 추종하기 위해 투명한 또는 흐릿한 정사각형을 원하는지 여부를 선택할 수 있다.

스캔된 개인의 무결성을 보존하기 위해, 그/그녀와 물리적 환경은 디스플레이(2270)에 도시된 바와 같이 컴퓨터화된 가상 그래픽으로 완전히 가려질 수 있다. 벽, 바닥, 천장, 장식 등과 같은 주변 환경은 물리적 세계와 시각적으로 연결되지 않은 평범한 배경을 보여주는 것으로 대체될 수 있다. 또한, 검출된 사람은 그/그녀의 움직임에 대응하는 가상 아바타(예: 이미지(2272))로 대체될 수 있으므로, 감시당하는 느낌을 줄이지만 여전히 정확한 스캔을 수행하기 위해 그 사람이 물리적으로 어디에서 어떻게 움직여야 하는지에 대한 이해를 제공한다.

본 발명이 상승된 온도 측정에서 개선된 정확도 및 일관성을 제공한다는 것이 이해될 것이다. 여기에 개시된 시스템은 열역학 또는 적외선 기술에 대한 사전 지식이나 교육이 필요 없이 훈련되지 않은 사람이 열 촬상 피부 온도 스캔을 수행하고 그 결과를 해석하도록 안내할 수 있다. 지침(텍스트, 사운드 및 오버레이 그래픽)의 도움으로 사용자는 일관되고 정확한 결과를 얻기 위해 스캔을 진행하는 방법에 대한 관련 정보를 받는다. 본 발명은 또한 그러한 시스템의 설정을 돕고, 일관되고 정확한 결과를 제공하기 위해 시스템을 설치하는 과정을 통해 사용자를 안내하여 위음성을 피할 수 있게 한다. 본 발명은 단계별 지침을 활용하여 사용 임계값을 낮춤으로써 모든 사람, 회사, 조직, 상점 또는 시설이 피부 온도 검출을 위해 열 촬상을 활용할 수 있도록 한다. 한 가지 강점은, 이미 존재하는 하드웨어와 기술을 정교한 그래픽 사용자 인터페이스와 결합하고, 특정 지식이나 맥락의 요구사항 없이 사용 및 배포할 수 있는 방식으로 조직된 단순성에 있다.

적용 가능한 경우, 본 발명에 의해 제공되는 다양한 실시형태는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합을 사용하여 구현될 수 있다. 또한, 적용 가능한 경우, 본 명세서에 기재된 다양한 하드웨어 구성요소 및/또는 소프트웨어 구성요소는 본 발명의 사상을 벗어나지 않으면서 소프트웨어, 하드웨어 및/또는 둘 모두를 포함하는 복합 구성요소로 결합될 수 있다. 적용 가능한 경우, 본 명세서에 기재된 다양한 하드웨어 구성요소 및/또는 소프트웨어 구성요소는 본 발명의 사상을 벗어나지 않으면서 소프트웨어, 하드웨어 또는 둘 모두를 포함하는 하위 구성요소로 분리될 수 있다.

비일시적 명령어, 프로그램 코드, 및/또는 데이터와 같은 본 발명에 따른 소프트웨어는 하나 이상의 비일시적 기계 판독 가능 매체에 저장될 수 있다. 여기에서 식별된 소프트웨어는 하나 이상의 범용 또는 특정 목적 컴퓨터 및/또는 컴퓨터 시스템, 네트워크 및/또는 기타를 사용하여 구현될 수 있음이 또한 고려된다. 적용 가능한 경우, 여기에 설명된 다양한 단계의 순서는 변경될 수 있고, 복합 단계로 결합되고, 및/또는 여기에 설명된 기능을 제공하기 위해 하위 단계로 분리될 수 있다.

전술한 실시형태는 본 발명을 예시하지만 제한하지 않는다. 또한, 본 발명의 원리에 따라 수많은 수정 및 변형이 가능함을 이해해야 한다. 따라서, 본 발명의 범위는 다음 청구범위에 의해서만 정해진다.

Claims (20)

1. 캡처 이미지를 생성하기 위해 적외선 카메라를 사용하여 관심 영역을 스캐닝하는 단계;
   상기 관심 영역에서 사람을 검출하는 단계;
   상기 사람에게 스캐닝 위치로 이동하도록 지시하는 단계;
   스캔 기준이 충족되면 상기 사람의 온도 스캐닝을 시작하는 단계;
   상기 사람의 온도를 결정하고 하나 이상의 온도 임계값과 비교하는 단계; 및
   상기 결정된 온도와 관련된 작업을 수행하는 단계를 포함하는, 방법.
2. 제1항에 있어서,
   관심영역을 스캐닝하는 상기 단계는 가시광 이미지 카메라를 사용하여 상기 관심영역을 스캐닝하는 단계를 더 포함하는, 방법.
3. 제2항에 있어서,
   적외선 카메라 및 가시광 이미지 카메라를 포함하는 이중-이미지 카메라를 제공하는 단계를 더 포함하고, 상기 이중-이미지 카메라는:
   가시광을 상기 가시광 이미지 카메라 쪽으로 반사시키고 적외선 이미지를 상기 적외선 카메라에 전달하도록 배열된 빔 스플리터를 포함하는, 방법.
4. 제1항에 있어서,
   스캐닝 관심 영역에서 사람을 검출하는 상기 단계는 캡처한 적외선 이미지에서 얼굴을 검출하는 단계를 포함하는, 방법.
5. 제1항에 있어서,
   사람에게 스캐닝 위치로 이동하도록 지시하는 상기 단계는 디스플레이 화면에 실루엣을 표시하는 단계; 및 상기 표시된 실루엣 내에 위치하도록 사람에게 지시하는 단계를 포함하는, 방법.
6. 제1항에 있어서,
   사람에게 스캐닝 위치로 이동하도록 지시하는 상기 단계는 캡처된 이미지에서 사람의 위치를 결정하고 상기 사람에게 적절한 위치로 이동하도록 지시하는 단계를 포함하는, 방법.
7. 제1항에 있어서,
   사람에게 스캐닝 위치로 이동하도록 지시하는 상기 단계는 상기 사람에게 적절한 위치로 이동하도록 지시하는 정적 그래픽 및 애니메이션 그래픽 중 적어도 하나를 디스플레이하는 단계를 포함하는, 방법.
8. 제1항에 있어서,
   상기 캡처 이미지에서 방해하는 착용물품을 검출하고, 상기 방해하는 착용물품을 분류하고, 및 부분적으로 또는 전체적으로 상기 분류에 기초하여 상기 방해하는 착용물품을 제거하도록 사람에게 지시하는 단계를 더 포함하는, 방법.
9. 제8항에 있어서,
   상기 방해하는 착용물품의 제거를 확인하기 위해 상기 캡처한 적외선 이미지를 통해 상기 사람을 추적하는 단계를 더 포함하는, 방법.
10. 제8항에 있어서,
    상기 방해하는 착용물품은 머리에 쓰는 것, 안경, 및 안면 마스크 중 적어도 하나를 포함하는, 방법.
11. 제1항에 있어서,
    상기 스캐닝 기준은 디스플레이된 실루엣 내에 사람이 위치하고 방해하는 착용물품이 검출되지 않는 것을 포함하는, 방법.
12. 제1항에 있어서,
    상기 사람의 결정된 온도가 상기 하나 이상의 온도 임계값보다 높을 때 상기 사람은 열이 있는 것으로 결정되는, 방법.
13. 제1항에 있어서,
    적외선 카메라를 포함하는 온도 측정 시스템을 초기화하는 단계를 더 포함하며, 상기 초기화 단계는 사용자가 상기 적외선 카메라를 상기 사람으로부터 최적 거리에 배열하도록 안내하는 것과 상기 적외선 카메라의 시야에 관심 영역을 정의하는 것 중 적어도 하나를 포함하는, 방법.
14. 제1항에 있어서,
    운영자에게 디스플레이될 때 사람의 캡처 이미지를 불분명하게 하는 단계를 더 포함하며, 상기 불분명하게 하는 단계는 상기 캡처 이미지에 디스플레이된 얼굴을 흐릿하게 하는 것과 사람의 아바타 표현을 디스플레이하는 것 중 적어도 하나를 포함하는, 방법.
15. 장면의 적외선 이미지를 캡처하도록 구성된 적외선 카메라;
    스캐닝되는 사람을 안내하기 위해 상기 캡처된 적외선 이미지의 일부와 스캔되는 하나 이상의 그래픽 표시를 디스플레이하도록 구성된 디스플레이; 및
    논리 장치를 포함하며,
    상기 논리 장치는:
    적외선 카메라를 사용하여 관심 영역을 스캔하고,
    상기 관심 영역에서 사람을 검출하고,
    상기 사람에게 스캐닝 위치로 이동하도록 지시하고,
    스캐닝 기준이 충족되면 사람의 온도 스캔을 시작하고,
    상기 사람의 온도를 결정하고 하나 이상의 온도 임계값과 비교하고,
    상기 결정된 온도와 관련된 작업을 수행하도록 구성된, 시스템.
16. 제15항에 있어서,
    적외선 카메라 및 가시광 이미지 카메라를 포함하는 이중-이미지 카메라를 더 포함하고, 상기 이중-이미지 카메라는 가시광을 가시광 이미지 카메라 쪽으로 반사시키고 적외선 이미지를 상기 적외선 카메라에 통과시키도록 배열된 빔 스플리터를 포함하는, 시스템.
17. 제15항에 있어서,
    관심 영역에서 사람을 검출하는 것은 캡처된 적외선 이미지에서 얼굴을 검출하는 것을 포함하는, 시스템.
18. 제15항에 있어서,
    상기 논리 장치는 디스플레이 화면에 실루엣을 표시하고 상기 사람에게 상기 표시된 실루엣 내에 위치하도록 지시함으로써 스캐닝 위치로 이동하도록 상기 사람에게 지시하도록 추가로 구성되는, 시스템.
19. 제15항에 있어서,
    상기 논리 장치는 상기 사람에게 적절한 위치로 이동하도록 지시하는 정적 및 애니메이션 그래픽 중 적어도 하나를 표시함으로써 상기 사람에게 스캐닝 위치로 이동하도록 지시하도록 추가로 구성되는, 시스템.
20. 제15항에 있어서,
    상기 논리 장치는 캡처된 적외선 이미지에서 방해하는 착용물품을 검출하고, 상기 방해하는 착용물품을 분류하고, 부분적으로 또는 전적으로 상기 분류에 기초하여 상기 사람에게 상기 방해하는 착용물품의 제거를 지시하도록 구성되는, 시스템.

Images