KR20170091677A - 체온이 증가한 개체를 식별하기 위한 방법 및 시스템 - Google Patents

Abstract

개체들의 그룹에서 체온이 증가한 하나 이상의 개체의 식별 방법에 있어서, 상기 방법은: 복수의 개체를 포함하는 씬(scene)을 제공하는 단계(50), 상기 씬의 복수의 연속적인 이미지 세트를 획득하는 단계(60) ­하나의 세트는 시각적 이미지 및 열 이미지를 포함하고, 이미지 세트에서 상기 열 이미지의 콘텐트는 상기 시각적 이미지의 콘텐트에 대응 함-, 적어도 하나의 상기 시각적 이미지에서 적어도 한 개체의 피쳐(feature)를 검출하는 단계(70), 적어도 두 개의 이미지 세트의 시각적 이미지들 각각에서 상기 검출된 피쳐에 기초하여 상기 적어도 한 개체를 추적하는 단계(80), 이미지 세트의 서브세트(subset)를 선택하는 단계(100), 상기 서브세트의 열 이미지 중 적어도 하나에 기초한 상기 개체와 연관된 측정 온도의 판정에서 상기 피쳐를 사용하는 단계(100) 및 상기 측정 온도가 임계값을 초과하는 경우, 알람을 제공하는 단계(120) ­상기 알람을 제공하는 단계는 상기 알람과 연관된 개체(들)를 표시하는 단계(130)를 포함함-를 포함한다

Description

체온이 증가한 개체를 식별하기 위한 방법 및 시스템{Method and system for identifying an individual with increased body temperature}

본 발명은 개체들의 그룹에서 체온이 증가한 하나 이상의 개체를 식별하는 방법 및 시스템에 관한 것이다.

전염병(사스, 조류 독감, 돼지 인플루엔자, H₁N₁, 에볼라 바이러스 등)의 발생이 수 시간 안에 국내 및 국제 경계를 넘을 수 있기 때문에, 열 스크리닝(Fever screening)은 오늘날의 인간 및 동물의 세계 여행 및 운송에 있어서 관심이 증가하고 있다.

열 스크리닝 (screening)은 오늘날 열 카메라로 미리 정해진 위치에서 한번에 한 개체를 촬영함으로써 종종 수행된다. 이후, 열 이미지(thermal image)로부터 현재 개체가 열이 나는지 나지 않는지 여부가 판정된다.

예를 들어, 열 스크리닝은 미국 특허 제7,548,776호에서 설명되고, 상기 문헌은 열 이미지 데이터 및 가시광 이미지 데이터를 형성 열 이미지 검출부 및 가시광 이미지 검출부가 동일한 시점 및 위치에서 단일 피험자를 검출하는데 사용되는 열 분류를 수행하기 위한 방법 및 시스템을 개시한다. 열 이미지 데이터는 열 이미지의 적어도 일부가 미리 정해진 온도 범위 내에서의 온도 증가인지를 판정하는데 사용된다. 가시 광선 이미지는 온도 증가로 식별된 열 이미지의 부분이 가시광 이미지의 피부 부분에 해당하는지를 판정하는데 사용된다. 이러한 경우에는, 피험자가 열이 있는 것을 표시하도록 경고가 발생한다.

이러한 시스템은 예를 들어 승객이 에어로브릿지(aerobridge)/스크리닝 포인트를 따라 한 줄로 좁혀져 내리는 공항에 적합하다. 그들이 한 명씩 걸어갈 때, 각 승객은 열에 대해 스크리닝되고, 잠재적인 미열이 있는 승객은 추가 의료 테스트를 위해 필터링된다. 나머지는 정상적으로 계속 걷는다.

하지만, 이러한 시스템은 한번에 한 사람만이 온도 증가에 대해 분석되고, 다량의 보행자 이동 지역에서의 승객 흐름은 유지되지 않기 때문에 대량 스크리닝에는 적합하지 않다.

본 발명의 목적은 승객 흐름을 방해하지 않고 대량 스크리닝에 적합한 열 스크리닝에 대한 방법 및 시스템을 제공하는 것이다. 또한, 이것은 열이 있는 개체가 열이 있는 것으로 식별되고, 열이 없는 개체가 열이 있는 것으로 잘못 식별되지 않도록 신뢰할 수 있는 열 스크리닝을 위한 방법 및 시스템을 제공하는 것을 목적으로 한다.

본 발명은 첨부된 독립 청구항에 의해 정의된다. 실시예는 종속 항, 첨부된 도면 및 이하의 설명에서 설명된다.

제1 양상에 따르면, 개체들의 그룹에서 체온이 증가한 하나 이상의 개체(individuals)을 식별하는 방법이 제공되고, 상기 방법은: 복수의 개체를 포함하는 씬(scene)을 제공하는 단계, 상기 씬의 복수의 연속적인 이미지 세트를 획득하는 단계 ­세트는 시각적 이미지 및 열 이미지를 포함하고, 이미지 세트에서 상기 열 이미지의 콘텐트는 상기 시각적 이미지의 콘텐트에 대응 함-, 적어도 하나의 상기 시각적 이미지에서 적어도 한 개체의 피쳐(feature)를 검출하는 단계, 적어도 두 개의 이미지 세트의 시각적 이미지 각각에서 상기 검출된 피쳐에 기초하여 상기 적어도 한 개체를 추적하는 단계, 추적되고 있는 적어도 한 개체에 대한 이미지 세트의 서브세트(subset)를 선택하는 단계를 포함한다. 상기 피쳐는 서브세트의 열 이미지 중 적어도 하나에 기초한 상기 개체와 연관된 측정 온도의 판정에서 사용되고, 상기 측정 온도가 임계값을 초과하는 경우, 알람을 제공하고, 상기 알람을 제공하는 단계는 상기 알람과 연관된 개체(들)를 표시하는 단계를 포함한다.

개체란 가금류와 같은 척추 동물, 또는 인간, 소, 돼지 등과 같은 포유류에서 선택된 개체를 의미한다.

복수의 개체는 여기에서 적어도 두 개의 개체, 적어도 세 개의 개체 등 최대 500 개의 개체를 의미한다.

용어 "대응하다(corresponds)"는 실질적으로 동일한 씬을 표시하는 것으로서 이해될 수 있다. 따라서, 시야 각 및/또는 이미지 획득 시간에서의 작은 편차는 허용될 수 있지만, 이상적으로, 이미지는 동시에 공동 광 축(common optical axis) 또는 평행 축을 따라 공지된 보정으로 취해진다.

시야 각에서의 작은 편차는 여기에서 최대 약 10정도의 편차를 의미한다. 이미지의 실질적인 중첩이 있는 한, 시야 각에서의 편차가 보상 될 수 있다.

이미지 획득 시간에서의 작은 편차는 여기에서 몇분의 1초, 예를 들어 0 내지 +/- 0.5 초, 0 내지 +/- 0.1 초 또는 0 to +/- 0.05 초를 의미한다.

시각적 이미지는 그것의 실제 컬러에 해당하는 컬러 또는 명암이 실제, 또는 실제에 가깝게 디스플레이되는 디지털 이미지로서 이해된다.

열 이미지는 온도의 차이를, 특정 온도에 해당하는 각 컬러 또는 그레이 스케일 레벨(grey scale level)로 보여주는 디지털 이미지로서 이해된다.

용어 "연속적인(successive)"은 세트가 서로 다른 시점에서 획득되는 것을 나타낸다. 세트는 즉각적으로 연속적인 세트로서 획득될 수 있지만, 반드시 필요한 것은 아니다. 서브세트는 하나 이상의 세트를 포함할 수 있다. 바람직하게는 각 이미지 세트는 시각적 이미지 및 열 이미지를 포함할 수 있다.

알람과 연관된 개체를 표시하는 단계는 선택적으로 확대된 시각적 이미지의 일부를 커팅함으로써 수행될 수 있고, 시각적 이미지를 식별을 목적으로 디스플레이 할 수 있다. 대안적으로, 시각적 이미지의 더 큰 부분이, 박스, 링, 화살표, 하이라이트 등과 같은 마커의 방식으로 표시되는 개체로 디스플레이될 수 있다.

이러한 시스템으로 개체들의 그룹으로부터 체온이 증가한 하나 이상의 개체를 식별하고, 지나가는(by-passing) 개체 또는 복수의 동시에 지나가는 개체의 신체 표면 온도를 측정하는 것이 가능하고, 개체에서 증가한 신체 표면 온도가 검출되는 경우 알릴 수 있고, 알람을 발생시킨 개체를 표시할 수 있다.

상기 방법은 추적되고 있는 개체와 연관된 피쳐의 방향을 판정하는 단계 및 상기 방향에 기초하여 서브세트를 선택하는 단계를 더 포함할 수 있다.

상기 피쳐는 특히 인간의 개체의 얼굴일 수 있지만, 충분한 거리에서 구별될 수 있는 충분히 고유한 특징을 나타내는 다른 신체 부위가 개체의 얼굴 대신에 또는 추가적으로 사용될 수 있다.

상기 방법은 추적되고 있는 개체와 연관된 피쳐의 사이즈를 판정하는 단계 및 상기 사이즈에 기초하여 서브세트를 선택하는 단계를 더 포함 할 수 있다.

상기 방법은 추적되고 있는 개체와 연관된 피쳐까지의 거리를 판정하는 단계 및 상기 거리에 기초하여 서브세트를 선택하는 단계를 더 포함할 수 있다.

피쳐를 검출하는 단계는 상기 개체의 얼굴을 검출하는 단계, 바람직하게는 상기 개체의 적어도 하나의 눈을 검출하는 단계를 포함할 수 있다.

피쳐를 검출하는 단계는 상기 개체의 눈의 적어도 하나의 코너(corner), 바람직하게는 상기 개체의 코에 가장 근접한 코너를 검출하는 단계를 더 포함할 수 있다.

상기 알람과 연관된 개체를 표시하는 단계는 개체를 향해 직접적으로 표시(indication)를 제공하는 단계를 포함할 수 있다.

직접적인 표시(direct indication)는 광 빔(beam of light) 또는 페인트(페인트볼 건(paintball gun))와 같은 어떠한 다른 유형의 마킹 매커니즘일 수 있다.

대안으로서, 또는 추가적으로, 알람을 제공하고 이러한 알람과 연관된 개체(들)를 표시하기 위해, 측정 온도가 임계값을 초과하는 개체의 수 및 측정 온도가 임계값을 초과하지 않는 개체의 수에 대한 데이터를 저장하는 것이 가능하다. 정상 온도의 개체에 대한 고온의 개체의 비율이 전염병 발생을 나타낼 수 있는 특정 레벨 이상 증가하는 경우 알람이 울릴 수 있다. 이러한 데이터는 경우에 따라 예를 들어, 시각적 이미지 및 어떠한 다른 식별 데이터와의 연관을 통해 개체와 연관될 수 있다. 대안적으로, 이러한 데이터는 익명성에 기반할 수 있다.

제2 양상에 따르면, 개체들의 그룹에서 체온이 증가한 하나 이상의 개체(individuals)를 식별하는 방법이 제공되고, 상기 방법은: 복수의 개체를 포함하는 씬을 제공하는 단계, 상기 씬의 복수의 연속적인 이미지 세트를 획득하는 단계 ­세트는 시각적 이미지 및 열 이미지를 포함하고, 이미지 세트에서 상기 열 이미지의 콘텐트는 상기 시각적 이미지의 콘텐트에 대응 함-, 적어도 하나의 상기 시각적 이미지 및 열 이미지에서 적어도 한 개체의 피쳐를 검출하는 단계, 적어도 두 개의 이미지 세트의 시각적 이미지 및/또는 열 이미지 각각에서 상기 검출된 피쳐에 기초하여 상기 적어도 한 개체를 추적하는 단계, 추적되고 있는 적어도 한 개체에 대한 이미지 세트의 서브세트(subset)를 선택하는 단계를 포함한다. 상기 피쳐는 상기 서브세트의 열 이미지 중 적어도 하나에 기초한 상기 개체와 연관된 측정 온도의 판정에서 사용되고, 상기 측정 온도가 임계값을 초과하는 경우, 알람을 제공하고, 상기 알람을 제공하는 단계는 상기 시각적 이미지(들)에 기초하여 상기 알람과 연관된 개체(들)를 표시하는 단계를 포함한다.

추적하는 단계는 이러한 양상의 방법에서, 열 이미지(들), 시각적 이미지(들) 또는 열 및 시각적 이미지(들)에 기반할 수 있다.

이러한 양상의 방법에서 개체(들)의 피쳐의 검출은 시각적 이미지(들), 열 이미지(들) 또는 열 및 시각적 이미지(들) 모두에서 이루어진다.

알람이 시각적 이미지에 기반한다는 것은, 예를 들어, 개체가 다른 인간의 그룹에 속하는 인간인 경우 알람을 발생시키는 개체의 식별을 용이하게 한다. 또한, 시각적 이미징 장치는 일반적으로 열 이미징 장치로부터의 이미지보다 더 높은 해상도를 갖는 이미지를 생성한다.

본 발명의 제3 양상에 따르면, 개체들의 그룹에서 하나 이상의 개체(individuals)를 식별하는 방법이 제공되고, 상기 방법은: 복수의 개체를 포함하는 씬을 제공하는 단계, 상기 씬의 복수의 연속적인 이미지 세트를 획득하는 단계 ­세트는 시각적 이미지 및 열 이미지를 포함하고, 이미지 세트에서 상기 열 이미지의 콘텐트는 상기 시각적 이미지의 콘텐트에 대응 함-, 이미지 세트의 서브세트(subset)를 선택하는 단계 및 상기 서브세트의 적어도 하나의 이미지에 기초하여 피쳐 검출을 수행하는 단계를 포함하고, 상기 피쳐 검출이 적어도 한 개체의 존재를 검출하지만 상기 개체와 연관된 미리 정해진 피쳐를 검출하는데 실패하는 경우, 알람을 제공하고, 상기 알람을 제공하는 단계는 상기 알람과 연관된 개체(들)를 표시하는 단계를 포함한다.

상기 방법은 상기 서브세트의 열 이미지 중 적어도 하나에 기초한 상기 개체와 연관된 측정 온도의 판정에서 상기 검출된 미리 정해진 피쳐를 사용하는 단계(110) 및 상기 측정 온도가 임계값을 초과하는 경우, 알람을 제공하는 단계(120)를 포함하고, 상기 알람을 제공하는 단계는 상기 알람과 연관된 개체(들)를 표시하는 단계(130)를 포함한다.

상기 방법은 적어도 두 개의 이미지 세트에서 상기 적어도 한 개체를 추적하는 단계를 더 포함한다.

본 발명의 제4 양상에 따르면, 개체들의 그룹에서 체온이 증가한 하나 이상의 개체를 식별하기 위한 시스템이 제공되고, 상기 시스템은: 복수의 개체를 포함하는 씬의 열 이미지를 제공하도록 배치되는 열 이미징 장치, 상기 씬의 시각적 이미지를 제공하도록 배치되는 시각적 이미징 장치 -상기 열 및 시각적 이미징 장치는 상기 씬의 이미지 세트에서 열 이미지의 콘텐트가 상기 시각적 이미지의 콘텐트에 대응하는 방식으로 배치됨-, 적어도 하나의 상기 시각적 이미지에서 적어도 한 개체의 피쳐를 검출하고, 적어도 두 개의 이미지 세트의 시각적 이미지 각각에서 상기 검출된 피쳐에 기초하여 상기 적어도 한 개체를 추적하고, 추적되고 있는 적어도 한 개체에 대한 이미지 세트의 서브세트를 선택하고; 열 이미지 중 적어도 하나에 기초한 상기 개체와 연관된 측정 온도의 판정에서 상기 피쳐를 사용하고, 상기 측정 온도가 임계값을 초과하는 경우, 알람을 제공하고, 상기 알람과 연관된 개체(들)를 표시하도록 배치되는 처리 장치를 포함한다.

본 발명의 제5 양상에 따르면, 개체들의 그룹에서 체온이 증가한 하나 이상의 개체를 식별하기 위한 시스템이 제공되고, 상기 시스템은: 복수의 개체를 포함하는 씬의 열 이미지를 제공하도록 배치되는 열 이미징 장치, 상기 씬의 시각적 이미지를 제공하도록 배치되는 시각적 이미징 장치 -상기 열 및 시각적 이미징 장치는 상기 씬의 이미지 세트에서 열 이미지의 콘텐트가 상기 시각적 이미지의 콘텐트에 대응하는 방식으로 배치됨-, 적어도 하나의 상기 시각적 이미지 및 상기 열 이미지에서 적어도 한 개체의 피쳐를 검출하고, 적어도 두 개의 이미지 세트의 시각적 이미지 및/또는 열 이미지에서 상기 검출된 피쳐에 기초하여 상기 적어도 한 개체를 추적하고, 추적되고 있는 적어도 한 개체에 대한 이미지 세트의 서브세트를 선택하고; 열 이미지 중 적어도 하나의 에 기초한 상기 개체와 연관된 측정 온도의 판정에서 상기 피쳐를 사용하고, 상기 측정 온도가 임계값을 초과하는 경우, 알람을 제공하고, 상기 시각적 이미지(들)에 기초하여 상기 알람과 연관된 개체(들)를 표시하도록 배치되는 처리 장치를 포함한다.

도 1은 개체들의 그룹에서 체온이 증가한 하나 이상의 개체를 식별하고 표시하는 방법을 개략적으로 도시한다.
도 2a는 개체들의 그룹에서 체온이 증가한 하나 이상의 개체를 식별하기 위한 시스템 및 개체들의 그룹을 도시한다.
도 2b는 도 2a에서 개체들의 그룹의 확대된 이미지를 도시하고, 그 이미지에서 체온 증가로 검출되는 개체가 표시된다.
도 3a 및 도 3b는 열 이미지의 콘텐트가 시각적 이미지의 콘텐트에 대응하도록, 열 및 시각적 이미징 장치를 배치하는 두 개의 대안적인 방법을 도시한다.
도 4a는 사람의 그룹의 열 이미지를 도시하고, 도 4b는 그것의 해당 시각적 이미지를 도시한다.

개체들의 그룹에서 체온이 증가한 하나 이상의 개체를 식별하는 방법이 도 1에 도시된다. 개체란 가금류와 같은 척추 동물, 또는 인간, 소, 돼지 등과 같은 포유류를 의미한다. 도 2a를 보면, 상기 방법은 하나 이상의 개체를 포함하는 씬을 제공하는 단계(50)를 포함한다. 씬의 이미지의 복수의 연속적인 세트가 획득된다(60). 연속적인 이미지는 서로 다른 시점에서 획득되고, 즉각적이고 연속적인 세트로 획득될 수 있다. 하나의 세트 또는 이미지의 각 세트는 시각적 이미지(도 4b 참조), 다시 말해 실제 컬러를 디스플레이하는 이미지 및 열 이미지(도 4a 참조), 다시 말해 온도의 차이를 특정 온도에 해당하는 각 컬러로 보여주는 이미지를 포함하고, 시각적 이미징 장치(10) 및 열 이미징 장치의 수단으로 각각 획득된다. 열 이미징 장치(11)(도 2a, 도 3a, 도 3b)는 적외선(Infrared; IR) 카메라이다. 시각적 이미징 장치는 예를 들어 일반 카메라(10)(도 2a, 도 3a, 도 3b)이다.

이미지 세트에서 열 이미지의 콘텐트는 시각적 이미지의 콘텐트에 대응한다, 다시 말해 이미지는 실질적으로 동일한 모티브(motive)를 나타낸다. 따라서, 시야 각 및/또는 이미지 획득 시간에서 작은 편차는 허용될 수 있지만, 이상적으로, 이미지는 동시에 공동 광 축 또는 평행 축을 따라 알려진 캘리브레이션으로 취해진다.

도 3a를 참조하면, 열 이미징 장치(10) 및 시각적 이미징 장치(11)를 공동 광 축(12)을 따라 조정하는 것은, 예를 들어 시각적 이미징 장치(10)에 대해서 반투명이고, 열 이미징 장치(11)에 대해서 반사하는 유리와 같은 재료의 디스크(13)를 시각적 이미징 장치(10)의 앞에, 그리고 시각적 이미징 장치(10)의 광축에 대해 약 45°각도로 놓음으로써 수행된다. 열 이미징 장치(11)는 시각적 이미징 장치(10)로부터 거리 d0에 배치되고, 그것의 광 축이 디스크(13)에 의해 편향되고, 시각적 이미징 장치의 광 축과 일치하도록 하는 방식으로 지향된다. 그러므로, 시각적 및 열 이미징 장치(10, 11)는 공동 광 축(13)을 획득한다. 이러한 과정은 공지된 그대로이다.

열 이미징 장치(11) 및 시각적 이미징 장치(10)를 보정하는 것은, 도 3b를 참조하면 시각적 이미징 장치(10)로부터 특정 거리 d1에 있고, 열 이미징 장치(11)로부터 특정 거리 d2 에 있는 평면 상의 임의의 포인트 X에 대하여, 열 이미징 장치(11) 및 시각적 이미징 장치(10)를 각각 배치하는 것을 포함하고, 시각적 및 열 이미지의 해당 포인트가 공지된다. 이러한 절차는 공지된 그대로이다. 거리 d1 및 d2는 최적의 초점 거리를 나타낸다.

상기 방법의 다음 단계에서(도 1), 적어도 하나의 시각적 이미지 및/또는 열 이미지에서 적어도 한 개체의 피쳐가 검출된다(70).

검출된 피쳐는 개체의 얼굴(93)일 수 있다.

열 이미지 및/또는 시각적 이미지에서 얼굴 또는 얼굴을 검출하는 방법은 공지된 그대로이다. 이러한 방법의 하나가 예를 들어 N. Markus M. Frljak, I. S. Pandzic, J. Ahlberg, 및 R. Forchheimer의 "픽셀 강도 비교에 기반한 객체 검출을 위한 방법(A method for object detection based on pixel intensity comparisons)", arXiv:1305.4537 [cs.CV], (2013. 05.)에서 설명된다. 다른 종류의 공지된 얼굴 검출 방법이 본 발명의 방법에 사용될 수 있다는 것이 분명해진다.

개체가 베일을 착용하거나, 또는 전체적으로 또는 부분적으로 그의/그녀의 얼굴을 어떠한 다른 방법으로 커버하거나, 또는 얼굴을 열 및 시각적 이미징 장치로부터 멀어지는 방향으로 돌리는 경우, 얼굴 검출이 불가능하다. 이러한 경우에, 개체의 검출이 이와 같이 수행될 수 있다. 열 이미지 및/또는 시각적 이미지에서 개체를 검출하기 위한 방법은 공지된 그대로이다. 이러한 방법의 하나가 예를 들어 P. Dollar, C. Wojek, B. Schiele 및 P. Perona, "보행자 검출(Pedestrian Detection): 최첨단 평가(An Evaluation of the State of the Art)", IEEE 패턴 분석 및 머신 지능에 대한 트랜잭션(Transactions on Pattern Analysis and Machine Intelligence), 34권, 4호, pp. 743-761 (2012. 04.)에서 설명된다. 개체를 검출하기 위한 다른 종류의 방법이 사용될 수 있다는 것이 이해된다.

개체의 검출을 위한 다른 종류의 공지된 방법이 본 발명의 방법에 사용될 수 있다는 것이 분명해진다.

검출된 개체에 대해 검출 가능한 얼굴이 없는 경우, 이러한 개체 얼굴 검출이 불가능한 것에 대한, 그리고 체온이 측정되지 않았다는 경고가 주어질 수 있다. 이러한 경고는 예를 들어 시각적 이미지에 기반한 시각화를 포함할 수 있고, 선택적으로 확대된 시각적 이미지의 일부를 커팅하고, 식별을 목적으로 시각적 이미지를 디스플레이 하는 것을 포함할 수 있다. 그러면 사용자는 시각적 이미지를 보고, 예를 들어 추가 측정을 위해 표시되는 것에 해당하는 개체를 선택할 수 있다. 대안적으로, 광 빔을 사용하여 측정되지 않는 개체의 직접적인 표시 또는 페인트(페인트볼 건)와 같은 어떠한 다른 유형의 마킹 메커니즘이 사용될 수 있다. 이러한 표시는 예를 들어 상기 방법이 가금류, 소 또는 돼지의 온도 증가를 검출하는데 사용되는 경우 유용할 수 있다.

얼굴 검출(93)과의 조합으로 또는 대신에, 눈 검출(94)이 개체의 적어도 하나의 눈을 검출하는데 사용될 수 있다. 이러한 방법에서 개체의 눈의 코너의 검출, 바람직하게는 개체의 코에 가장 근접한 코너의 검출이 대안적인 실시예로 사용될 수 있다.

열 이미지에서의 및/또는 시각적 이미지에서의 눈 검출의 방법은 공지된 그대로이다. 이러한 방법의 하나가 예를 들어 N. Markus M. Frljak, I. S. Pandzic, J. Ahlberg, 및 R. Forchheimer, "앙상블 랜덤 트리를 이용한 눈 동공 로컬리제이션(Eye pupil localization with an ensemble randomized trees)," 패턴 인식(Pattern Recognition), 47권, 2호, pp. 578-587, (2014. 02.) DOI: 10.1016/j.patcog.2013.08.008에서 설명된다. 다른 유형의 눈 검출 방법이 사용될 수 있다는 것이 이해된다.

인간의 피부 온도는 환경 및 생리학적 요인에 따라 변하기 때문에, 예를 들어 이마의 온도를 측정하는 것은 항상 내부 코어 온도를 정확하게 반영하지 않고, 따라서 증가된 피부 온도가 열의 부재에서 발생할 수 있고, 그 반대도 마찬가지이다. 눈 영역에서 측정하는 경우, 이러한 문제는 특히 내부 코어 온도의 좋은 지표가 제공되는 눈의 코너에서 온도를 측정할 때 감소될 수 있다. 또한, 열 스크리닝에서 열 카메라 사용에 대한 ISO 표준에 따르면, ISO 80601-2-56:2009, 온도의 측정은 눈의 내부 코어에서 이루어져야 한다.

하지만, 상기 방법의 몇몇 실시예에서, 예를 들어 개체의 이마의 피부 온도를 측정하는 것이 가능하다. 이것은 예를 들어 측정되는 개체가 안경을 착용하는 경우, 안경의 존재가 개체의 눈 영역의 열 이미지를 가리기 때문에 흥미로울 수 있다.

대안적으로, 개체가 안경을 착용하여, 씬에 존재하는, 개체의 눈 영역의 열 이미지를 가리는 경우, 이러한 개체에 대하여 온도가 측정되지 않았다는 경고가 주어질 수 있다. 이러한 경고는 상술된 방법으로 제공될 수 있다.

상기 방법의 또 다른 단계에서, 적어도 두 개의 이미지 세트의 시각적 이미지 및/또는 열 이미지 각각에서 검출된 피쳐에 기초하여 적어도 한 개체가 추적된다(80).

개체를 추적함으로써(80), 개체의 새로운 이미지가 그 개체의 이전 이미지와 연관되기 때문에, 이미 검출된 개체가 체온이 증가한 것으로 식별되는 경우 알람을 두 번 발생시키지 않을 것이다.

개체를 추적하는 단계는 공지된 방법 그대로이다. 이러한 방법의 하나가 예를 들어 S. Blackman 및 R. Popoli, 모던 추적 시스템의 설계 및 분석(Design and Analysis of Modern Tracking Systems), Artech House, Norwood MA, 1999. 에서 설명된다. 다른 종류의 공지된 얼굴 추적 방법이 상기 방법에서 사용될 수 있는 것이 이해된다. 이러한 방법은 피쳐 검출과 개체의 추적을 분리하지 않는, 다시 말해 추적하기 전에 피쳐 검출이 수행될 필요가 없는 방법을 포함한다.

다음 상기 방법에서, 이미지 세트의 서브세트가 선택된다(100).

서브세트는 다음 중 하나 이상에 기초하여 선택될 수 있다:

a) 추적되고(90), 시각적 이미지 및/또는 열 이미지로부터 유도된 개체(들)와 연관된 피쳐의 방향.

이것은 예를 들어 검출된 피쳐가 검출 동안 열 및/또는 시각적 이미징 장치(11, 10)를 향해, 다시 말해 얼굴과 광 축 사이의 각도가 충분히 작게 설정되는 것이 바람직하다. 이러한 각도는 얼굴 모델을 측정 포인트에 적용하거나, 또는 외형 모델을 이미지에 적용함으로써 추정될 수 있다. 이러한 과정은 공지된 그대로이다.

b) 추적되고 있는 개체(들)와 연관된 피쳐의 사이즈.

이것은 열 이미지에서 검출된 얼굴의 사이즈가 검출된 얼굴의 충분히 작은 영역에서, 다시 말해 검출된 얼굴의 특정 영역 또는 거리가 특정 양의 픽셀에 해당하는, 온도 측정을 허용하기 위해 충분히 큰 경우 유리하다.

c) 추적되고 있는 개체(들)와 연관된 피쳐까지의 거리.

열 이미징 장치 및/또는 시각적 이미징 장치로부터 개체의 거리는 특정 거리 간격 내에 있어야 하고, 이러한 거리 간격은 예를 들어 시각적 또는 열 이미지에서 검출된 얼굴의 눈 사이의 거리에 상관되어 추정될 수 있다.

서브세트는 하나 이상의 세트를 포함할 수 있다. 바람직하게는 각 서브세트는 시각적 이미지 및 열 이미지를 포함한다.

이미지의 서브세트가 선택되면, 상기 방법의 다음 단계(도 1)는 서브세트의 열 이미지 중 적어도 하나에 기초한 개체와 연관된 측정 온도의 판정에서 피쳐를 사용하는 것이다(110).

이러한 단계는 컬러, 또는 열 이미지(들)의 피쳐의 온도에 해당하는 실제 값을 동일한 열 이미지(들)에서 적어도 하나의 온도 기준 포인트(temperature reference point)(20')의 컬러와 비교함으로써 수행될 수 있고, 온도 기준 포인트 (20')는 알려진 온도를 갖는다(도 2b 참조).

온도 기준 포인트(20)는 지나가는 개체 또는 복수의 지나가는 개체를 검출할 때의 열 이미징 장치(11)가 도 2a, 도 2b와 같이 동일한 열 이미지에서 온도 기준 포인트(20)를 또한 검출하도록 하는 방식으로 배치될 수 있다.

온도 기준 포인트(20)는 공지된 고정 온도의 포인트 또는 공지된 점진적으로 변하는 온도 측정 포인트일 수 있다. 참조 포인트(20)는 온도 측정을 안정화 하기 위해 사용될 수 있다.

선택된 이미지의 서브세트가 하나보다 많은 열 이미지를 포함하는 경우, 온도는 모든 열 이미지의 피쳐에서 측정될 수 있다. 최종 온도 값은 측정된 온도 값을 가중하고, 더함으로써 획득될 수 있다. 가중치(Weights)은 다음 기준에 따라 제공될 수 있다:

a. 높은 측정 온도 값

b. 시각적 및/또는 열 이미징 장치(10, 11)를 향해 조정된 검출된 피쳐

c. 검출 영역 내에 많은 픽셀(측정 포인트)

d. 열 이미징 장치(11)로부터 최적의 초점 거리(d2)에 가까운 이미지

e. 얼굴/눈이 시각적 이미징 장치에 의해 검출되는 경우

측정된 온도가 임계값을 초과하는 경우, 알람이 제공된다(120). 알람이 제공되는 단계(120)는 알람과 연관된 개체(들)를 표시하는 단계(130)를 포함할 수 있다.

대안적으로, 측정 온도가 안정적인 모델을 벗어나는 경우, 알람이 제공된다. 이러한 경우에, 온도 기준이 필요한 것은 않지만, 측정을 안정화시키기 위해 선택적으로 사용될 수 있다. 안정적인 모델에서 측정된 개체의 평균 신체 온도가 계산될 수 있고, 평균 온도를 특정 양으로 초과하는 체온의 개체가 표시될 수 있다. 안정적인 모델은 실시간으로 구축될 수 있거나, 또는 저장된 누적 모델일 수 있다. 안정적인 모델은 주변 온도에 상관될 수 있다. 다른 종류의 평균 값 기반 모델보다 안정적인 모델이 상기 방법에서 사용될 수 있는다는 것이 이해된다.

체온이 증가한 식별된 개체를 표시하는 단계(130)는 시각적 이미지(들)에 기초하여 개체를 시각화하는 단계를 포함한다. 이러한 시각화는 선택적으로 확대된 시각적 이미지의 일부를 커팅하는 단계 및 식별의 목적으로 시각화 이미지를 디스플레이 하는 단계를 포함할 수 있다. 그러면 사용자는 시각화 이미지를 볼 수 있고, 예를 들어 더욱 정확한 장비로 추가 측정을 위해 표시되는 것에 해당하는 개체를 선택할 수 있다.

대안적으로, 도 2b를 참조하면, 시각적 이미지의 더 큰 부분이 박스, 링(21'), 화살표, 하이라이트 등과 같은 마커를 사용하여 표시되는 개체와 함께 디스플레이될 수 있다.

시각적 이미지에 기반한 시각화의 조합으로 또는 대안적으로, 온도가 증가한 검출된 개체의 직접적인 표시가 광 빔, 또는 페인트(페인트볼 건)와 같은 어떠한 다른 유형의 마킹 메커니즘을 사용하여 수행될 수 있다. 이러한 표시는 상기 방법이 예를 들어 가금류, 소, 또는 돼지의 온도 증가를 검출하는데 사용되는 경우 유용할 수 있다.

표시 광 또는 페인트의 컬러 및/또는 사이즈 및/또는 형태는 예를 들어 측정된 온도 증가가 정상 온도보다 얼마나 많은지에 대한 정보를 제공하기 위해 적용될 수 있다.

개체들의 그룹에서 체온이 증가한 하나 이상의 개체를 식별하는 시스템이 도 2a에 도시된다. 이러한 시스템은 하나 이상의 개체를 포함하는 씬의 열 이미지를 제공하도록 배치되는 열 이미징 장치(11) 및 상기 씬의 시각적 이미지를 제공하도록 배치되는 시각적 이미징 장치(10)를 포함한다. 열 및 시각적 이미징 장치는 상술된 방법과 같이, 이미지 세트에서 열 이미지의 콘텐트가 시각적 이미지의 콘텐트에 대응하는 방법으로 배치된다. 시스템은 상술된 것과 같은 방법을 실행하도록 배치되는 처리 장치(12)를 더 포함한다.

처리 장치(12)는 열 및 이미징 장치(11, 10)에 접속되고, 메모리, 소프트웨어, 디스플레이부 및 입력 및/또는 출력부와 함께 제공될 수 있다.

이러한 방법 및 시스템은 개체들의 그룹에서 체온이 증가한 하나 이상의 개체를 식별하고, 개체에서 체온 증가가 측정되는 경우 경고하고, 경고를 발생시킨 개체를 표시하는 것이 가능하다. 따라서, 상기 방법 및 시스템은 예를 들어 승객이 에어로브릿지/스크리닝 포인트를 따라 한 줄로 좁혀져 내리는 것을 필요로 하지 않기 때문에 대량 스크리닝에 적합하다. 상기 방법/시스템은 승객 흐름을 방해하지 않는다. 또한, 상기 방법/시스템은 열이 있는 개체가 열이 있는 것으로 식별되고, 열이 없는 개체가 열이 있는 것으로 잘못 식별되지 않도록 신뢰할 수 있다.

Claims (14)

1. 개체들(individuals)의 그룹에서 체온이 증가한 하나 이상의 개체를 식별하는 방법에 있어서,
   복수의 개체를 포함하는 씬(scene)을 제공하는 단계(50);
   상기 씬의 복수의 연속적인 이미지 세트를 획득하는 단계(60) ­하나의 세트는 시각적 이미지(visual image) 및 열 이미지(thermal image)를 포함하고, 이미지 세트에서 상기 열 이미지의 콘텐트(content)는 상기 시각적 이미지의 콘텐트에 대응함-;
   적어도 하나의 상기 시각적 이미지에서 적어도 한 개체의 피쳐(feature)를 검출하는 단계(70);
   적어도 두 개의 이미지 세트의 시각적 이미지 각각에서 상기 검출된 피쳐에 기초하여 상기 적어도 한 개체를 추적하는 단계(80);
   추적되고 있는 상기 적어도 한 개체에 대한 이미지 세트의 서브세트(subset)를 선택하는 단계(100);
   상기 서브세트의 열 이미지 중 적어도 하나에 기초한 상기 개체와 연관된 측정 온도의 판정에서 상기 피쳐를 사용하는 단계(110); 및
   상기 측정 온도가 임계값을 초과하는 경우, 알람을 제공하는 단계(120) ­상기 알람을 제공하는 단계는 상기 알람과 연관된 개체(들)를 표시하는 단계(130)를 포함함-
   를 포함하는 방법.
2. 개체들의 그룹에서 체온이 증가한 하나 이상의 개체를 식별하는 방법에 있어서,
   복수의 개체를 포함하는 씬을 제공하는 단계(50);
   상기 씬의 복수의 연속적인 이미지 세트를 획득하는 단계(60) ­하나의 세트는 시각적 이미지 및 열 이미지를 포함하고, 이미지 세트에서 상기 열 이미지의 콘텐트는 상기 시각적 이미지의 콘텐트에 대응 함-;
   적어도 하나의 상기 시각적 이미지 및 열 이미지에서 적어도 한 개체의 피쳐를 검출하는 단계(70);
   적어도 두 개의 이미지 세트의 시각적 이미지 및/또는 열 이미지 각각에서 상기 검출된 피쳐에 기초하여 상기 적어도 한 개체를 추적하는 단계(80);
   추적되고 있는 적어도 한 개체에 대한 이미지 세트의 서브세트(subset)를 선택하는 단계(100);
   상기 서브세트의 열 이미지 중 적어도 하나에 기초한 상기 개체와 연관된 측정 온도의 판정에서 상기 피쳐를 사용하는 단계(100); 및
   상기 측정 온도가 임계값을 초과하는 경우, 알람을 제공하는 단계(120) ­상기 알람을 제공하는 단계는 상기 시각적 이미지(들)에 기초하여 상기 알람과 연관된 개체(들)를 표시하는 단계(130)를 포함함-
   를 포함하는 방법.
3. 제1항 또는 제2항에 있어서,
   추적되고 있는 개체(들)와 연관된 피쳐의 방향(orientation)을 판정하는 단계(90); 및
   상기 방향에 기초하여 서브세트를 선택하는 단계(100)
   를 더 포함하는 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   추적되고 있는 개체(들)와 연관된 피쳐의 사이즈를 판정하는 단계(91); 및
   상기 사이즈에 기초하여 서브세트를 선택하는 단계(100)
   를 더 포함하는 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   추적되고 있는 개체(들)와 연관된 피쳐까지의 거리를 판정하는 단계(92); 및
   상기 거리에 기초하여 서브세트를 선택하는 단계(100)
   를 더 포함하는 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 피쳐를 검출하는 단계(70)는 상기 개체(들)의 얼굴을 검출하는 단계(93), 바람직하게는 상기 개체의 적어도 하나의 눈을 검출하는 단계(94)를 포함하는
   방법.
7. 제6항에 있어서,
   상기 개체의 눈의 적어도 하나의 코너(corner), 바람직하게는 상기 개체의 코에 가장 근접한 코너를 검출하는 단계(95)
   를 더 포함하는 방법.
8. 제1항 내지 제7항 중 어느 한 한에 있어서,
   상기 알람과 연관된 개체(들)를 표시하는 단계(130)는 개체(들)를 향해 직접적으로 표시(indication)를 제공하는 단계를 포함하는
   방법.
9. 제1항 또는 제3항 내지 제8항 중 어느 한 항에 있어서,
   상기 알람과 연관된 개체(들)를 표시하는 단계(130)는 상기 시각적 이미지(들)에 기초하여 표시를 제공하는 단계를 포함하는
   방법.
10. 개체들의 그룹에서 하나 이상의 개체를 식별하는 방법에 있어서,
    복수의 개체를 포함하는 씬을 제공하는 단계(50);
    상기 씬의 복수의 연속적인 이미지 세트를 획득하는 단계(60) ­하나의 세트는 시각적 이미지 및 열 이미지를 포함하고, 이미지 세트에서 상기 열 이미지의 콘텐트는 상기 시각적 이미지의 콘텐트에 대응 함-;
    이미지 세트의 서브세트(subset)를 선택하는 단계(100);
    상기 서브세트의 적어도 하나의 이미지에 기초하여 피쳐 검출을 수행하는 단계; 및
    상기 피쳐 검출이 적어도 한 개체의 존재를 검출하지만 상기 개체와 연관된 미리 정해진 피쳐를 검출하는데 실패하는 경우, 알람을 제공하는 단계(120) ­상기 알람을 제공하는 단계는 상기 알람과 연관된 개체(들)를 표시하는 단계(130)를 포함함-
    를 포함하는 방법.
11. 제10항에 있어서,
    상기 서브세트의 열 이미지 중 적어도 하나에 기초한 상기 개체와 연관된 측정 온도의 판정에서 상기 검출된 미리 정해진 피쳐를 사용하는 단계(110); 및
    상기 측정 온도가 임계값을 초과하는 경우, 알람을 제공하는 단계(120) ­상기 알람을 제공하는 단계는 상기 알람과 연관된 개체(들)를 표시하는 단계(130)를 포함함-
    를 더 포함하는 방법.
12. 제10항 또는 제11항에 있어서,
    적어도 두 개의 이미지 세트에서 상기 적어도 한 개체를 추적하는 단계(80)
    를 더 포함하는 방법.
13. 개체들의 그룹에서 체온이 증가한 하나 이상의 개체를 식별하기 위한 시스템에 있어서,
    복수의 개체를 포함하는 씬의 열 이미지를 제공하도록 배치되는 열 이미징 장치(11);
    상기 씬의 시각적 이미지들을 제공하도록 배치되는 시각적 이미징 장치(10) -상기 열 및 시각적 이미징 장치들(11, 10)은 상기 씬의 이미지 세트에서 열 이미지의 콘텐트가 상기 시각적 이미지의 콘텐트에 대응하도록 하는 방식으로 배치됨-; 및
    처리 장치(12):
    - 적어도 하나의 상기 시각적 이미지에서 적어도 한 개체의 피쳐를 검출하고;
    적어도 두 개의 이미지 세트의 시각적 이미지들 각각에서 상기 검출된 피쳐에 기초하여 상기 적어도 한 개체를 추적하고;
    추적되고 있는 적어도 한 개체에 대한 이미지 세트의 서브세트를 선택하고; 열 이미지 중 적어도 하나에 기초한 상기 개체와 연관된 측정 온도의 판정에서 상기 피쳐를 사용하고;
    상기 측정 온도가 임계값을 초과하는 경우, 알람을 제공하고, 상기 알람과 연관된 개체(들)를 나타내도록 배치됨-
    를 포함하는 시스템.
14. 개체들의 그룹에서 체온이 증가한 하나 이상의 개체를 식별하기 위한 시스템에 있어서,
    복수의 개체를 포함하는 씬의 열 이미지를 제공하도록 배치되는 열 이미징 장치(11); 및
    상기 씬의 시각적 이미지들을 제공하도록 배치되는 시각적 이미징 장치(10) -상기 열 및 시각적 이미징 장치들(11, 10)은 상기 씬의 이미지 세트에서 열 이미지의 콘텐트가 상기 시각적 이미지의 콘텐트에 대응하는 방식으로 배치됨-;
    처리 장치(12):
    - 적어도 하나의 상기 시각적 이미지들 및 상기 열 이미지에서 적어도 한 개체의 피쳐를 검출하고;
    적어도 두 개의 이미지 세트의 시각적 이미지들 및/또는 열 이미지들에서 상기 검출된 피쳐에 기초하여 상기 적어도 한 개체를 추적하고;
    추적되고 있는 적어도 한 개체에 대한 이미지 세트의 서브세트를 선택하고; 열 이미지 중 적어도 하나에 기초한 상기 개체와 연관된 측정 온도의 판정에서 상기 피쳐를 사용하고;
    상기 측정 온도가 임계값을 초과하는 경우, 알람을 제공하고, 상기 시각적 이미지(들)에 기초하여 상기 알람과 연관된 개체(들)를 나타내도록 배치됨-
    를 포함하는 시스템.

Images