KR20190072175A - 동적 환경에서의 열영상카메라를 이용한 사람을 탐지하기 위한 장치 및 이를 위한 방법 - Google Patents

동적 환경에서의 열영상카메라를 이용한 사람을 탐지하기 위한 장치 및 이를 위한 방법 Download PDF

Info

Publication number
KR20190072175A
KR20190072175A KR1020170173323A KR20170173323A KR20190072175A KR 20190072175 A KR20190072175 A KR 20190072175A KR 1020170173323 A KR1020170173323 A KR 1020170173323A KR 20170173323 A KR20170173323 A KR 20170173323A KR 20190072175 A KR20190072175 A KR 20190072175A
Authority
KR
South Korea
Prior art keywords
histogram
candidate region
person
average
posture
Prior art date
Application number
KR1020170173323A
Other languages
English (en)
Other versions
KR102442922B1 (ko
Inventor
김승훈
박준오
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170173323A priority Critical patent/KR102442922B1/ko
Publication of KR20190072175A publication Critical patent/KR20190072175A/ko
Application granted granted Critical
Publication of KR102442922B1 publication Critical patent/KR102442922B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 동적 환경에서의 열영상카메라를 이용한 사람을 탐지하기 위한 장치 및 이를 위한 방법에 관한 것으로, 이러한 본 발명은 열영상을 촬영하기 위한 열영상카메라부와, 열영상카메라부를 통해 열영상을 획득하고, 열영상의 온도 값을 이용하여 사람의 후보영역을 검출하고, 후보 영역의 가로 및 세로 비율에 따라 서있는 자세, 앉아있는 자세 및 누워있는 자세 중 어느 하나의 자세로 분류하고, 분류된 자세에 따라 후보 영역에 대해 히스토그램 투영을 수행하여 픽셀 빈도에 따라 후보 영역의 피사체가 사람인지 여부를 판별하는 제어부를 포함하는 사람을 탐지하기 위한 장치 및 이를 위한 방법을 제공한다.

Description

동적 환경에서의 열영상카메라를 이용한 사람을 탐지하기 위한 장치 및 이를 위한 방법{Apparatus for detecting human using thermo-graphic camera in dynamical environment and method thereof}
본 발명은 사람 탐지 기술에 관한 것으로, 보다 상세하게는 열영상카메라가 움직이는 상황, 즉, 동적 환경에서 열영상카메라를 이용한 사람을 탐지하기 위한 장치 및 이를 위한 방법에 관한 것이다.
객체를 인식하고 추적하는 기술은 영상 합성, 모션 캡처, 보안 감시 시스템, Human Computer Interaction(HCI) 등의 많은 분야에서 널리 적용된다. 특히 최근 실생활에서의 보안, 감시에 대한 요구사항이 늘어남에 따라 비디오 감시 시스템에서의 객체 인식 및 추적 기술은 날로 그 중요성이 증가하고 있다.
최근까지 객체 인식 및 추적을 위한 많은 알고리즘들이 개발되어 왔다. 객체 인식 및 추적을 위한 많은 알고리즘으로 예를 들어, 적응적 배경 생성과 배경 차분 기법, 영역 기반의 객체 추적 기법, 그리고 형태 정보 기반 객체 추출 기법 등이 있다. 하지만 기존의 영상 처리 시스템의 이동 물체 검출 기법은 아직 안정성에 있어서 문제점이 존재한다. 또한 검출하는 과정에 따른 파워 소모와 정확성, 처리 속도에 있어서도 역시 문제점들이 존재한다.
영상에서 객체 인식이란 입력된 영상에서 목표 객체의 위치를 찾아내는 일련의 과정을 말한다. 영상에서 객체 인식을 수행함에 있어 같은 객체라고 하더라도 개개의 영상 안에서는 객체의 크기, 방향, 위치, 포즈 등이 다르게 나타날 수 있다. 또한 한 영상 내에 여러 개의 객체가 포함되어 있거나, 목표 객체가 다른 객체에 의해 가리워져 그 일부분만 볼 수 있는 경우도 발생할 수 있다. 이러한 모든 조건하에서도 강인하게 동작하는 객체 인식 방법은 쉽지 않은 문제이다. 그 동안 영상에서 객체 인식 기법에 대한 많은 연구가 진행되어 왔고 현재에도 여러 가지 접근 방식이 활발하게 모색되고 있다.
이러한 영상에서 객체를 인식하는 기술은 다양한 기술 분야에서 활용될 수 있다. 예를 들어, 영상에서 객체를 인식하는 기술은 군사 시설, 공항, 주차장, 지하철, 고속도로, 할인점, 주유소, 건설 현장, 유치원, 병원, 교통 시스템, ATM 및 편의점 등 다양한 곳에서 보안을 위해 사용할 수 있다. 현재 이러한 영상 보안 시장은 지속적으로 증가하고 있다. 영상을 편집하는 기술에서도 영상에서 객체를 인식하는 기술이 사용될 수 있다. 이러한 다양한 분야에서 사용되기 위해 영상에서 객체를 인식하기 위한 정확도를 높이기 위한 기술이 필요하다.
한편, 최근에는 사람이나 차량과 같은 대상을 야간에도 명확하게 파악하기 위하여 열영상카메라를 이용한 객체 인식과 추적 시스템이 도입되고 있으나 일반적인 카메라 객체 인식 및 추적 알고리즘을 그대로 이용하고 있어 열영상카메라의 특성을 효율적으로 활용하고 있지 못한 상황이다.
더욱이 기존의 연구들은 열영상카메라가 고정된 상태에서만 탐지하는 환경적 특성을 지니고 있기 때문에 탐지 환경에 대해 제한적이다.
한국공개특허 제2015-0006582호 (2015.01.19. 공개)
더욱이 열영상카메라가 움직이는 동적 환경에서도 농연으로 시야가 확보되지 않는 상황에서 사람을 탐지하여 상황파악에 도움을 줄 수 있는 사람 탐지 기법이 필요하다.
따라서 본 발명의 목적은 화재 등이 현장에서 사람을 신속하게 식별하여 구조할 수 있도록 화재로 인한 농연으로 시야가 확보되지 않은 상황에서 열영상을 통해 사람을 탐지하기 위한 장치 및 이를 위한 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 사람을 탐지하기 위한 장치는 열영상을 촬영하기 위한 열영상카메라부와, 상기 열영상카메라부를 통해 열영상을 획득하고, 상기 열영상의 온도 값을 이용하여 사람의 후보영역을 검출하고, 상기 후보 영역의 가로 및 세로 비율에 따라 서있는 자세, 앉아있는 자세 및 누워있는 자세 중 어느 하나의 자세로 분류하고, 상기 분류된 자세에 따라 상기 후보 영역에 대해 히스토그램 투영을 수행하여 픽셀 빈도에 따라 후보 영역의 피사체가 사람인지 여부를 판별하는 제어부를 포함한다.
상기 제어부는 상기 분류된 자세가 서있는 자세인 경우, 후보 영역의 수평 방향 히스토그램을 균등하게 7등분 한 뒤, 7등분한 수평 방향 히스토그램을 1 : 4 : 2의 비율로 사람의 머리, 몸통 및 다리 부분에 대응하도록 상부, 중부 및 하부로 구분하고, 구분된 상부, 중부 및 하부 각각의 히스토그램 평균을 산출하고, 중부의 히스토그램 평균이 상부 및 하부의 평균 보다 높으면, 후보 영역을 사람으로 판단하는 것을 특징으로 한다.
상기 제어부는 상기 분류된 자세가 앉아있는 자세인 경우, 후보 영역의 수평 방향 히스토그램을 균등하게 7등분 한 뒤, 7등분한 수평 방향 히스토그램을 1 : 5 : 1의 비율로 사람의 머리, 몸통 및 다리 부분에 대응하도록 상부, 중부 및 하부로 구분하고, 구분된 상부, 중부 및 하부 각각의 히스토그램 평균을 산출하고, 중부의 히스토그램 평균이 상부 및 하부의 평균 보다 높으면, 후보 영역을 사람으로 판단하는 것을 특징으로 한다.
상기 제어부는 상기 분류된 누워있는 자세인 경우, 후보 영역의 수직 방향 히스토그램을 균등하게 7등분 한 뒤, 7등분한 수직 방향 히스토그램을 1 : 5 : 1의 비율로 좌부, 중부 및 우부로 구분하고, 구분된 좌부, 중부 및 우부 각각의 히스토그램 평균을 산출하고, 중부의 히스토그램 평균이 좌부 및 우부 각각의 히스토그램 평균 보다 높으면, 후보 영역을 사람으로 판단하는 것을 특징으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 사람을 탐지하기 위한 방법은 열영상카메라부를 통해 열영상을 획득하는 단계와, 상기 열영상의 온도 값을 이용하여 사람의 후보영역을 검출하는 단계와, 상기 후보 영역의 가로 및 세로 비율에 따라 서있는 자세, 앉아있는 자세 및 누워있는 자세 중 어느 하나의 자세로 분류하는 단계와, 상기 분류된 자세에 따라 상기 후보 영역에 대해 히스토그램 투영을 수행하여 픽셀 빈도에 따라 후보 영역의 피사체가 사람인지 여부를 판별하는 단계를 포함한다.
상기 사람인지 여부를 판별하는 단계는 상기 분류된 자세가 서있는 자세인 경우, 후보 영역의 수평 방향 히스토그램을 균등하게 7등분 한 뒤, 7등분한 수평 방향 히스토그램을 1 : 4 : 2의 비율로 사람의 머리, 몸통 및 다리 부분에 대응하도록 상부, 중부 및 하부로 구분하고, 구분된 상부, 중부 및 하부 각각의 히스토그램 평균을 산출하고, 중부의 히스토그램 평균이 상부 및 하부의 평균 보다 높으면, 후보 영역을 사람으로 판단하는 것을 특징으로 한다.
상기 사람인지 여부를 판별하는 단계는 상기 분류된 자세가 앉아있는 자세인 경우, 후보 영역의 수평 방향 히스토그램을 균등하게 7등분 한 뒤, 7등분한 수평 방향 히스토그램을 1 : 5 : 1의 비율로 사람의 머리, 몸통 및 다리 부분에 대응하도록 상부, 중부 및 하부로 구분하고, 구분된 상부, 중부 및 하부 각각의 히스토그램 평균을 산출하고, 중부의 히스토그램 평균이 상부 및 하부의 평균 보다 높으면, 후보 영역을 사람으로 판단하는 것을 특징으로 한다.
상기 사람인지 여부를 판별하는 단계는 상기 분류된 누워있는 자세인 경우, 후보 영역의 수직 방향 히스토그램을 균등하게 7등분 한 뒤, 7등분한 수직 방향 히스토그램을 1 : 5 : 1의 비율로 좌부, 중부 및 우부로 구분하고, 구분된 좌부, 중부 및 우부 각각의 히스토그램 평균을 산출하고, 중부의 히스토그램 평균이 좌부 및 우부 각각의 히스토그램 평균 보다 높으면, 후보 영역을 사람으로 판단하는 것을 특징으로 한다.
본 발명에 따르면, 다양한 자세의 사람을 열영상으로부터 식별할 수 있다. 따라서 화재 등으로 인한 농연으로 시야가 확보되지 않은 상황에서 열영상을 통해 사람을 탐지할 수 있다. 이에 따라, 신속하게 사람을 구조할 수 있도록 한다.
도 1은 본 발명의 실시예에 따른 열영상카메라를 이용한 사람을 탐지하기 위한 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 열영상카메라를 이용한 사람을 탐지하기 위한 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 실시예에 따른 열영상을 변환하여 후보 영역을 도출하는 방법을 설명하기 위한 화면 예이다.
도 4는 본 발명의 실시예에 따른 후보 영상에서 잡음을 제거하는 방법을 설명하기 위한 화면 예이다.
도 5는 본 발명의 실시예에 따른 후보 영상의 자세를 판별하는 방법을 설명하기 위한 화면 예이다.
도 6 내지 도 8은 본 발명의 실시예에 따른 후보 영상의 자세에 따라 사람인지 여부를 판별하는 방법을 설명하기 위한 화면 예이다.
도 9는 본 발명의 실시예에 따른 다양한 자세에 있는 사람을 판별하는 화면 예이다.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
먼저, 본 발명의 실시예에 따른 사람을 탐지하기 위한 장치의 구성에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 열영상카메라를 이용한 사람을 탐지하기 위한 장치의 구성을 설명하기 위한 블록도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 사람을 탐지하기 위한 장치(100, 이하, '탐지장치'로 칭함)는 열영상카메라부(110), 입력부(120), 표시부(130), 저장부(140) 및 제어부(150)를 포함한다.
열영상카메라부(110)는 열화상을 촬영하기 위한 것이다. 이러한 열영상카메라부(110)는 열화상렌즈, 열화상센서 및 A/D컨버터(Analog to Digital Converter)를 포함한다. 그 밖에, 소정의 필터 등이 열영상카메라부(110)의 구성으로 더 포함될 수 있으며, 기구적으로, 열화상렌즈, 열화상센서 및 A/D컨버터는 액추에이터(actuator)를 포함하는 하우징 내에 장착되고, 이러한 액추에이터를 구동시키는 드라이버 등이 열영상카메라부(110)에 포함될 수 있지만, 발명의 요지를 명확하게 하기 위하여 그 도시 및 설명은 생략한다. 하지만, 이 기술 분야에서 통상의 지식을 가진자라면 해당 구성에 대한 설명 없이도 본 발명을 반복 실시할 수 있을 것이다.
열화상렌즈는 열영상카메라부(110)에 입사되는 적외선이 열화상센서의 상에 초점이 맺히도록 한다. 적외선은 가시광선과 동일한 반사, 굴절, 전달 등의 광학적 특성을 가지고 있다. 그러나 일반적인 카메라의 광학장치, 즉 렌즈에 사용되는 유리는 그 소재가 적외선을 잘 통과시키지 못하므로 사용될 수 없다. 반대로, 적외선을 잘 통과시키는 소재는 가시광선을 잘 통과시키지 못한다. 따라서 열화상렌즈는 그 소재로 규소(Si)와 게르마늄(Ge)을 사용하는 것이 바람직하다. 규소는 중간 파장대에 적합하며 게르마늄은 장파장 적외선에 적합하다. 열화상렌즈에는 반사 방지 코팅이 이루어질 수 있다.
열화상센서는 적외선 에너지의 크기를 감지하여, 그 값을 출력하기 위한 것이다. 열화상센서는 열 센서(thermal detector)와 양자 센서(quantum detector)의 두 종류로 분류할 수 있다. 열 센서로는 대표적으로, 금속 또는 반도체를 소재로 제조되는 비냉각식 마이크로볼로미터(uncooled microbolometer)를 예시할 수 있다. 양자 센서는 InSb, InGaAs, PtSi, HgCdTe (MCT) 등으로 제조되며, GaAs/AlGaAs 층을 형성하여 QWIP(Quantum Well Infrared Photon) 센서를 구성한다. 양자 센서는 결정 내에 있는 전자의 상태가 입사 광자에 의하여 달라지는 현상을 기초로 한다. 양자 센서는 액화질소 또는 소형의 스털링 냉동냉각 장치를 사용하여 극저온까지 냉각시켜 주어야 하며, 이러한 냉각기를 포함한다. 열화상센서는 일반적인 컬러영상 카메라의 이미지 센서, 예컨대, CCD(charge-coupled device) 이미지 센서 혹은 CMOS(complementary metal-oxide semiconductor) 이미지 센서에 대응하는 구성이다. 이미지 센서가 가시광선을 감지하는 반면, 열화상센서는 적외선 파장을 감지할 수 있는 물질로 만들어지는 마이크로미터 단위 크기의 화소로 구성되는 초점면 배열체(FPA: focal plane array)이다. 열화상센서인 FPA의 해상도는 160ㅧ120 화소(pixel)부터 1024ㅧ1024 화소(pixel)까지의 범위가 바람직하지만, 이에 한정되는 것은 아니다. 열화상센서의 해상도에 따라 각 화소의 화소시야각(IFOV: Instantaneous Field of View)이 결정된다. 여기서, 화소시야각(IFOV)은 열화상센서의 하나의 화소가 감지할 수 있는 피사체 혹은 장면의 상하 및 좌우의 범위를 의미한다. 이에 따라, 각 화소별로 출력되는 적외선 에너지의 크기를 나타내는 값을 '열화소값'이라고 칭하기로 한다. 또한, 열화상센서가 출력하는 열화소값은 아날로그 신호이며, A/D컨버터는 이러한 아날로그 신호인 열화소값을 디지털 신호(예컨대, 24bit)로 변환한다. 이러한 변환에 따라 복수의 열화소값으로 이루어진 열영상이 생성된다. 열영상카메라부(110)는 생성된 열영상을 제어부(150)로 전달한다.
입력부(120)는 탐지장치(100)를 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어부(150)에 전달한다. 입력부(120)는 전원 on/off를 위한 전원 키, 열영상카메라 촬영과 관련된 키, 온도 설정을 조작하기 위한 키, 숫자 키, 방향키 중 어느 하나를 포함할 수 있으며, 탐지장치(100)의 일면에 소정의 기능키로 형성될 수 있다. 입력부(120)는 표시부(130)가 터치스크린으로 이루어진 경우, 각 종 키들의 기능이 표시부(130)에서 이루어질 수 있으며, 터치스크린만으로 모든 기능을 수행할 수 있는 경우, 입력부(120)는 생략될 수도 있다.
표시부(130)는 탐지장치(100)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부(130)는 탐지장치(100)의 부팅 화면, 대기 화면, 메뉴 화면, 등의 화면을 출력하는 기능을 수행한다. 특히, 표시부(130)는 본 발명의 실시예에 따른 열화상을 화면으로 출력하는 기능을 수행한다. 이러한 표시부(130)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 한편, 표시부(130)는 터치스크린으로 구현될 수 있다. 이러한 경우, 표시부(130)는 터치센서를 포함한다. 터치센서는 사용자의 터치 입력을 감지한다. 터치센서는 정전용량 방식(capacitive overlay), 압력식, 저항막 방식(resistive overlay), 적외선 감지 방식(infrared beam) 등의 터치 감지 센서로 구성되거나, 압력 감지 센서(pressure sensor)로 구성될 수도 있다. 상기 센서들 이외에도 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서 기기가 본 발명의 터치센서로 이용될 수 있다. 터치센서는 사용자의 터치 입력을 감지하고, 감지 신호를 발생시켜 제어부(150)로 전송한다. 이러한 감지 신호에는 사용자가 터치를 입력한 좌표 데이터가 포함될 수 있다. 사용자가 터치 위치 이동 동작을 입력한 경우에 터치센서는 터치 위치 이동 경로의 좌표 데이터를 포함한 감지 신호를 발생시켜 제어부(150)로 전송할 수 있다. 특히, 표시부(130)가 터치스크린으로 이루어진 경우, 입력부(120) 기능의 일부 또는 전부는 표시부(130)를 통해 이루어질 수 있다.
저장부(140)는 탐지장치(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행한다. 특히, 저장부(140)는 탐지장치(100)의 사용에 따라 발생하는 사용자 데이터, 즉, 촬영된 열영상의 각 픽셀의 온도, 및 열화상이 저장되는 영역이다. 저장부(140)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다.
제어부(150)은 탐지장치(100)의 전반적인 동작 및 탐지장치(100)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(150)은 중앙처리장치(CPU: Central Processing Unit), 디지털신호처리기(DSP: Digital Signal Processor) 등이 될 수 있다. 또한, 제어부(150)는 추가로 이미지 프로세서(image processor) 혹은 GPU(graphic processing unit)를 더 구비할 수 있다. 제어부(150)는 열영상카메라부(110)로부터 수신된 피사체의 열화소값을 이용하여 열영상을 생성한다. 그런 다음, 본 발명의 실시예에 따라 열영상으로부터 사람을 탐지한다. 이러한 제어부(150)의 동작에 대해서는 아래에서 더 상세하게 설명될 것이다.
다음으로, 본 발명의 실시예에 따른 열영상카메라를 이용한 사람을 탐지하기 위한 방법에 대해서 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 열영상카메라를 이용한 사람을 탐지하기 위한 방법을 설명하기 위한 흐름도이다. 도 3은 본 발명의 실시예에 따른 열영상을 변환하여 후보 영역을 도출하는 방법을 설명하기 위한 화면 예이다. 도 4는 본 발명의 실시예에 따른 후보 영상에서 잡음을 제거하는 방법을 설명하기 위한 화면 예이다. 도 5는 본 발명의 실시예에 따른 후보 영상의 자세를 판별하는 방법을 설명하기 위한 화면 예이다. 도 6 내지 도 8은 본 발명의 실시예에 따른 후보 영상의 자세에 따라 사람인지 여부를 판별하는 방법을 설명하기 위한 화면 예이다. 도 9는 본 발명의 실시예에 따른 다양한 자세에 있는 사람을 판별하는 화면 예이다. 이러한 도 2 내지 도 9에서 본 발명의 실시예에 따른 열영상카메라를 이용한 사람을 탐지하기 위한 방법은 화재 등으로 인한 농연으로 시야가 확보되지 않은 상황에서 열영상을 통해 사람을 탐지하여 구조하기 위한 상황을 상정한다.
도 2를 참조하면, 제어부(150)는 S110 단계에서 열영상카메라부(110)를 통해 지속적으로 촬영을 수행하여 열화상을 획득한다. 즉, 열영상카메라부(110)는 제어부(150)의 제어에 따라 각 열화소가 예컨대, 24bit의 디지털 신호로 이루어진 열영상을 생성하여 제어부(150)로 전달한다. 이러한 열화상은 도 3의 (A)와 같은 영상이 될 수 있다.
그런 다음, 제어부(150)는 S120 단계에서 온도 값을 이용하여 사람의 후보 영역을 검출하여, 후보 영역과 다른 영역과 구분하여 표시하는 후보 영상을 생성한다. 이러한 후보영역 검출은 구조가 요구되는 사람의 더 정확한 탐지 영역을 구별하기 위한 전처리 과정이다. 열화상의 열화소값 각각은 열화상센서(detector)에서 변환된 전자 신호(Electronic Signal)값이다. 따라서 제어부(150)는 S120 단계에서 열영상카메라부(110)를 통해 획득한 열화상의 각 열화소 값을 섭씨 온도 값으로 변환하여 사람으로 추정할 수 있는 소정의 온도 구간을 지정하여 후보 영역을 검출한다. 이러한 S120 단계에서 제어부(150)는 처리속도와 연산량을 줄이기 위해 24bit로 입력된 열영상을 8bit로 변환할 수 있다. 예를 들면, 제어부(150)는 도 3의 (A)와 같은 열화상을 섭씨 온도 값으로 변환하여 도 3의 (B)와 같이, 소정의 온도 구간에 속하는 영상을 사람의 후보영역(ca)으로 지정할 수 있다.
다음으로, 제어부(150)는 S130 단계에서 후보 영상에서 잡음을 제거한다. S130 단계에서 모폴로지(Morphology) 연산의 팽창(Dilation)과 침식(Erosion) 연산을 통해 잡음을 제거하고, 외곽선 윤곽을 생성할 수 있다. 이러한 S130 단계에서 팽창(Dilation)과 침식(Erosion) 연산을 통해 제거되지 않은 잡음은 추가적으로 레이블링(Labeling)을 수행하여 일정 픽셀 수(500Pixels) 이하의 영역들은 제거할 수 있다. 예를 들면, 제어부(150)는 S130 단계에서 후보 영상에서 도 4의 (C)의 x 부분에 도시된 바와 같은 잡음을 제거하여 도 4의 (D)와 같은 영상을 생성한다. 이러한 S130 단계를 통해 후속 절차에서 잡음에 의하여 불필요한 연산을 수행하지 않기 위한 것이다.
다음으로, 제어부(150)는 S140 단계에서 후보 영역에 대해 자세를 분류한다. 이때, 제어부(150)는 후보 영역에 대해 서있는 자세, 앉아있는 자세 및 누워있는 자세 중 어느 하나의 자세로 분류한다. 보다 자세히, 제어부(150)는 S140 단계에서 잡음 제거 된 후 후보 영역의 공간정보 특성을 사용하기 위해 가로, 세로 비율을 수학식 1과 같이 산출하고, 수학식 2와 같이 각 비율에 맞게 서있는 자세, 앉아있는 자세, 누워있는 자세로 분류하며, 기 설정된 비율 이상으로 차이가 나는 영역들은 잡음(Noise)로 제거한다.
Figure pat00001
Figure pat00002
즉, 제어부(150)는 도 5의 (E)와 같이, 수학식 1에 따라 도출된 비율 값이
Figure pat00003
이면, 수학식 2에 따라 서있는 자세로 판별한다.
제어부(150)는 도 5의 (F)와 같이, 수학식 1에 따라 도출된 비율 값이
Figure pat00004
이면, 수학식 2에 따라 앉아있는 자세로 판별한다
그리고 제어부(150)는 도 5의 (G)와 같이, 수학식 1에 따라 도출된 비율 값이
Figure pat00005
이면, 수학식 2에 따라 누워있는 자세로 판단한다.
다음으로, 제어부(150)는 S150 단계에서 후보 영역에 대해 히스토그램 투영을 수행하여 픽셀 빈도에 따라 후보 영역으로 지정된 피사체가 사람인지 여부를 판별한다. 사람의 경우 머리와 다리 부분에서 작은 공간을 차지하고 몸통 부분에서 큰 공간을 차지하는 모양을 가지는 공간적 특징이 있다. 이러한 특징을 이용하여 사람인지 여부를 판별하기 위해 제어부(150)는 후보 영역에 대해 히스토그램을 투영(Histogram Projection)을 수행하고, 수평(Horizontal), 수직(Vertical) 영역에 대한 픽셀 빈도를 누적한 후 각 자세에 따라 빈도수를 검사하여 사람인지 여부를 판단한다. 이러한 방법에 대해서 각 자세 별로 설명하면 다음과 같다.
(1) 서있는 자세(Standing Pose)
제어부(150)는 도 6에 도시된 바와 같이, 서있는 자세에 대한 후보 영역에 대해 수평 방향 투영(Horizontal Projection)에 대한 픽셀의 빈도수를 산출하고, 이를 이용하여 사람인지 여부를 판별한다. 제어부(150)는 후보 영역의 수평 방향 히스토그램(Horizontal Histogram)을 균등하게 7등분 한 뒤, 7등분한 수평 방향 히스토그램을 1 : 4 : 2의 비율로 사람의 머리, 몸통 및 다리 부분에 대응하도록 상부, 중부 및 하부로 구분한다. 그런 다음, 제어부(150)는 구분된 상부, 중부 및 하부 각각의 히스토그램 평균을 산출하고, 몸통에 대응하는 중부의 히스토그램 평균이 상부 및 하부의 평균 보다 높으면, 후보 영역을 사람으로 판단한다.
(2) 앉아있는 자세(Sitting Pose)
제어부(150)는 도 7에 도시된 바와 같이, 앉아있는 자세에 대한 후보 영역에 대해 수평 방향 투영(Horizontal Projection)에 대한 픽셀의 빈도수를 산출하고, 이를 이용하여 사람인지 여부를 판별한다. 앉아있는 자세는 다리에 대한 공간 정보가 적게 나오기 때문에 이에 따라, 비율을 조정한다. 즉, 제어부(150)는 후보 영역의 수평 방향 히스토그램(Horizontal Histogram)을 균등하게 7등분 한 뒤, 7등분한 수평 방향 히스토그램을 1 : 5 : 1의 비율로 사람의 머리, 몸통 및 다리 부분에 대응하도록 상부, 중부 및 하부로 구분한다. 그런 다음, 제어부(150)는 구분된 상부, 중부 및 하부 각각의 히스토그램 평균을 산출하고, 중부의 히스토그램 평균이 상부 및 하부의 평균 보다 높으면, 후보 영역을 사람으로 판단한다.
(3) 누워있는 자세(Lying Pose)
제어부(150)는 도 8에 도시된 바와 같이, 누워있는 자세에 대해서는 수직 방향 투영(Vertical Projection)을 통해 픽셀의 빈도수를 산출하고, 이를 이용하여 사람인지 여부를 판별한다. 즉, 제어부(150)는 후보 영역의 수직 방향 히스토그램(Vertical Histogram)을 균등하게 7등분 한 뒤, 7등분한 수직 방향 히스토그램을 1 : 5 : 1의 비율로 좌부, 중부 및 우부로 구분한다. 그런 다음, 제어부(150)는 구분된 좌부, 중부 및 우부 각각의 히스토그램 평균을 산출하고, 중부의 히스토그램 평균이 좌부 및 우부 각각의 히스토그램 평균 보다 높으면, 후보 영역을 사람으로 판단한다.
이러한 본 발명에 따르면, 도 9에 도시된 바와 같이, 다양한 자세의 사람을 열영상으로부터 식별할 수 있다. 따라서 화재 등으로 인한 농연으로 시야가 확보되지 않은 상황에서 열영상을 통해 사람을 탐지할 수 있으며, 이에 따라, 신속한 구조가 가능하다.
한편, 앞서 설명된 본 발명의 실시예에 따른 방법들은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
100: 탐지장치
110: 열영상카메라부
120: 입력부
130: 표시부
140: 저장부
150: 제어부

Claims (8)

  1. 사람을 탐지하기 위한 장치에 있어서,
    열영상을 촬영하기 위한 열영상카메라부;
    상기 열영상카메라부를 통해 열영상을 획득하고, 상기 열영상의 온도 값을 이용하여 사람의 후보영역을 검출하고, 상기 후보 영역의 가로 및 세로 비율에 따라 서있는 자세, 앉아있는 자세 및 누워있는 자세 중 어느 하나의 자세로 분류하고, 상기 분류된 자세에 따라 상기 후보 영역에 대해 히스토그램 투영을 수행하여 픽셀 빈도에 따라 후보 영역의 피사체가 사람인지 여부를 판별하는 제어부;를 포함하는 것을 특징으로 하는 사람을 탐지하기 위한 장치.
  2. 제1항에 있어서,
    상기 제어부는
    상기 분류된 자세가 서있는 자세인 경우,
    후보 영역의 수평 방향 히스토그램을 균등하게 7등분 한 뒤, 7등분한 수평 방향 히스토그램을 1 : 4 : 2의 비율로 사람의 머리, 몸통 및 다리 부분에 대응하도록 상부, 중부 및 하부로 구분하고, 구분된 상부, 중부 및 하부 각각의 히스토그램 평균을 산출하고, 중부의 히스토그램 평균이 상부 및 하부의 평균 보다 높으면, 후보 영역을 사람으로 판단하는 것을 특징으로 하는 사람을 탐지하기 위한 장치.
  3. 제1항에 있어서,
    상기 제어부는
    상기 분류된 자세가 앉아있는 자세인 경우,
    후보 영역의 수평 방향 히스토그램을 균등하게 7등분 한 뒤, 7등분한 수평 방향 히스토그램을 1 : 5 : 1의 비율로 사람의 머리, 몸통 및 다리 부분에 대응하도록 상부, 중부 및 하부로 구분하고, 구분된 상부, 중부 및 하부 각각의 히스토그램 평균을 산출하고, 중부의 히스토그램 평균이 상부 및 하부의 평균 보다 높으면, 후보 영역을 사람으로 판단하는 것을 특징으로 하는 사람을 탐지하기 위한 장치.
  4. 제1항에 있어서,
    상기 제어부는
    상기 분류된 누워있는 자세인 경우,
    후보 영역의 수직 방향 히스토그램을 균등하게 7등분 한 뒤, 7등분한 수직 방향 히스토그램을 1 : 5 : 1의 비율로 좌부, 중부 및 우부로 구분하고, 구분된 좌부, 중부 및 우부 각각의 히스토그램 평균을 산출하고, 중부의 히스토그램 평균이 좌부 및 우부 각각의 히스토그램 평균 보다 높으면, 후보 영역을 사람으로 판단하는 것을 특징으로 하는 사람을 탐지하기 위한 장치.
  5. 사람을 탐지하기 위한 방법에 있어서,
    열영상카메라부를 통해 열영상을 획득하는 단계;
    상기 열영상의 온도 값을 이용하여 사람의 후보영역을 검출하는 단계;
    상기 후보 영역의 가로 및 세로 비율에 따라 서있는 자세, 앉아있는 자세 및 누워있는 자세 중 어느 하나의 자세로 분류하는 단계;
    상기 분류된 자세에 따라 상기 후보 영역에 대해 히스토그램 투영을 수행하여 픽셀 빈도에 따라 후보 영역의 피사체가 사람인지 여부를 판별하는 단계;를 포함하는 것을 특징으로 하는 사람을 탐지하기 위한 방법.
  6. 제5항에 있어서,
    상기 사람인지 여부를 판별하는 단계는
    상기 분류된 자세가 서있는 자세인 경우,
    후보 영역의 수평 방향 히스토그램을 균등하게 7등분 한 뒤, 7등분한 수평 방향 히스토그램을 1 : 4 : 2의 비율로 사람의 머리, 몸통 및 다리 부분에 대응하도록 상부, 중부 및 하부로 구분하고, 구분된 상부, 중부 및 하부 각각의 히스토그램 평균을 산출하고, 중부의 히스토그램 평균이 상부 및 하부의 평균 보다 높으면, 후보 영역을 사람으로 판단하는 것을 특징으로 하는 사람을 탐지하기 위한 방법.
  7. 제5항에 있어서,
    상기 사람인지 여부를 판별하는 단계는
    상기 분류된 자세가 앉아있는 자세인 경우,
    후보 영역의 수평 방향 히스토그램을 균등하게 7등분 한 뒤, 7등분한 수평 방향 히스토그램을 1 : 5 : 1의 비율로 사람의 머리, 몸통 및 다리 부분에 대응하도록 상부, 중부 및 하부로 구분하고, 구분된 상부, 중부 및 하부 각각의 히스토그램 평균을 산출하고, 중부의 히스토그램 평균이 상부 및 하부의 평균 보다 높으면, 후보 영역을 사람으로 판단하는 것을 특징으로 하는 사람을 탐지하기 위한 방법.
  8. 제5항에 있어서,
    상기 사람인지 여부를 판별하는 단계는
    상기 분류된 누워있는 자세인 경우,
    후보 영역의 수직 방향 히스토그램을 균등하게 7등분 한 뒤, 7등분한 수직 방향 히스토그램을 1 : 5 : 1의 비율로 좌부, 중부 및 우부로 구분하고, 구분된 좌부, 중부 및 우부 각각의 히스토그램 평균을 산출하고, 중부의 히스토그램 평균이 좌부 및 우부 각각의 히스토그램 평균 보다 높으면, 후보 영역을 사람으로 판단하는 것을 특징으로 하는 사람을 탐지하기 위한 방법.
KR1020170173323A 2017-12-15 2017-12-15 동적 환경에서의 열영상카메라를 이용한 사람을 탐지하기 위한 장치 및 이를 위한 방법 KR102442922B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170173323A KR102442922B1 (ko) 2017-12-15 2017-12-15 동적 환경에서의 열영상카메라를 이용한 사람을 탐지하기 위한 장치 및 이를 위한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170173323A KR102442922B1 (ko) 2017-12-15 2017-12-15 동적 환경에서의 열영상카메라를 이용한 사람을 탐지하기 위한 장치 및 이를 위한 방법

Publications (2)

Publication Number Publication Date
KR20190072175A true KR20190072175A (ko) 2019-06-25
KR102442922B1 KR102442922B1 (ko) 2022-09-15

Family

ID=67065143

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170173323A KR102442922B1 (ko) 2017-12-15 2017-12-15 동적 환경에서의 열영상카메라를 이용한 사람을 탐지하기 위한 장치 및 이를 위한 방법

Country Status (1)

Country Link
KR (1) KR102442922B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102360A (zh) * 2020-08-17 2020-12-18 深圳数联天下智能科技有限公司 动作类型识别方法、装置、电子设备和介质
CN114449167A (zh) * 2022-01-15 2022-05-06 重庆长安汽车股份有限公司 基于体态识别的汽车拍照方法、系统、车辆及存储介质
KR20220109120A (ko) 2021-01-28 2022-08-04 경북대학교 산학협력단 히스토그램과 딥 러닝을 이용한 체온 측정 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150006582A (ko) 2013-07-09 2015-01-19 주식회사 에스원 열화상 카메라에서 촬영된 개체가 사람인지 여부를 판단하는 방법 및 이를 이용한 열화상 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150006582A (ko) 2013-07-09 2015-01-19 주식회사 에스원 열화상 카메라에서 촬영된 개체가 사람인지 여부를 판단하는 방법 및 이를 이용한 열화상 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
오선미 외 2인, "적외선 영상 환경에서 적응형 임계값을 이용한 동적영역 분할 히스토그램 평활화 기법", 2014년 한국방송공학회 추계학술대회, (2014.), 1부.* *
정민철, "히스토그램 분할 펼침과 축소 방법을 이용한 적외선 영상 개선", 반도체디스플레이기술학회지 제14권제4호, (2015.12.). 1부.* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102360A (zh) * 2020-08-17 2020-12-18 深圳数联天下智能科技有限公司 动作类型识别方法、装置、电子设备和介质
CN112102360B (zh) * 2020-08-17 2023-12-12 深圳数联天下智能科技有限公司 动作类型识别方法、装置、电子设备和介质
KR20220109120A (ko) 2021-01-28 2022-08-04 경북대학교 산학협력단 히스토그램과 딥 러닝을 이용한 체온 측정 방법 및 장치
CN114449167A (zh) * 2022-01-15 2022-05-06 重庆长安汽车股份有限公司 基于体态识别的汽车拍照方法、系统、车辆及存储介质
CN114449167B (zh) * 2022-01-15 2023-06-06 重庆长安汽车股份有限公司 基于体态识别的汽车拍照方法、系统、车辆及存储介质

Also Published As

Publication number Publication date
KR102442922B1 (ko) 2022-09-15

Similar Documents

Publication Publication Date Title
US11308777B2 (en) Image capturing apparatus with variable event detecting condition
Yasuno et al. Pedestrian detection and tracking in far infrared images
US20120141000A1 (en) Method and system for image analysis
TWI405150B (zh) 視訊移動偵測方法及使用該方法之非暫時性電腦可讀取媒體和攝影機
CN107836111B (zh) 用于增强动态范围红外成像的系统和方法
KR102442922B1 (ko) 동적 환경에서의 열영상카메라를 이용한 사람을 탐지하기 위한 장치 및 이를 위한 방법
Abuarafah et al. Real-time crowd monitoring using infrared thermal video sequences
US20110169960A1 (en) Video enhancement system
US10803595B2 (en) Thermal-image based object detection and heat map generation systems and methods
JP6217635B2 (ja) 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
KR102144394B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
KR102001950B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
KR20140011215A (ko) 촬영 장치, 그의 촬영 제어 방법 및 안구 인식 장치
US20140152772A1 (en) Methods to combine radiation-based temperature sensor and inertial sensor and/or camera output in a handheld/mobile device
JPWO2019155727A1 (ja) 情報処理装置、追跡方法、及び追跡プログラム
Brenner et al. RGB-D and thermal sensor fusion: a systematic literature review
KR102096576B1 (ko) 영상 합성 방법 및 장치
WO2020214719A1 (en) Thermal ranging devices and methods
Cerutti et al. Outdoor people detection in low resolution thermal images
JP4740755B2 (ja) 画像を用いた監視装置
KR101427616B1 (ko) 다중 사용자 얼굴 검출 방법 및 이를 지원하는 단말 장치
JP2022167992A (ja) 物体追跡装置、物体追跡方法、およびプログラム
KR101643248B1 (ko) 지능형 열상감지센서
KR101833137B1 (ko) 마커를 이용한 카메라의 온도 측정을 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
Zizi et al. Aggressive movement detection using optical flow features base on digital & thermal camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant