KR20140083563A - 다중 신체 추적 방법 및 이를 지원하는 단말 장치 - Google Patents

Abstract

본 발명은 다중 신체 추적에 관한 것으로, 특히 열화상 이미지 획득을 위한 열화상 카메라, CCD 이미지 획득을 위한 CCD 카메라, NCCAH(Normalized Cross-correlation of Average Histogram) 알고리즘을 저장하는 저장부, 상기 NCCAH 알고리즘을 기반으로 상기 열화상 이미지 및 CCD 이미지를 이용하여 다중 신체의 검출과 추적을 지원하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 다중 신체 추적 기능을 지원하는 단말 장치 및 이를 기반으로 하는 다중 신체 추적 방법의 구성을 개시한다.

Description

다중 신체 추적 방법 및 이를 지원하는 단말 장치{Multi-body Detection Method based on a NCCAH(Normalized Cross-Correlation of Average Histogram) And Electronic Device supporting the same}

본 발명은 다중 신체 추적에 관한 것으로, 특히 열화상 카메라와 CCD 카메라의 영상정보를 융합하여 움직이는 다중 신체를 추적할 수 있도록 지원하는 다중 신체 추적 방법 및 이를 지원하는 단말 장치에 관한 것이다.

최근 신종 인플루엔자와 같은 감영성이 강하고 감염되었을 경우 생명에 치명적인 질병들이 만연하고 있다. 이에 따라 질병관리본부에서는 공항과 같이 사람이 밀집되고 유입이 많은 장소에서 열화상 카메라를 이용하여 유동 인원들을 촬영하고, 촬영된 영상으로부터 질병 감염 의심자를 식별하기 위해 많은 인력을 동원해 모니터링하고 있다. 그러나 그러한 노력에도 불구하고 모니터링되지 못한 부분들로 인하여 감염자가 유입되고 그로 인해 국내 사망 피해가 발생해 왔다. 상술한 바와 같은 열화상 카메라 영상을 관찰자가 모니터링하는 방식은 긴 시간동안 관찰자의 육안으로 모니터링하기 때문에 관찰자의 건강 상태나 집중도 등에 따라 감염 의심자를 놓칠 확률이 매우 높은 문제가 있다. 따라서 헬스케어에 적용 가능하며 온도정보를 포함하는 비전기반 사용자 상황인식 기술이 필요하다.

종래 사용자 상황 인식 기술에는 레이저 스캐너 혹은 스테레오 카메라와 같은 3차원 센서를 이용하여 원거리에서 상황을 파악할 수 있도록 지원하고 있다. 그러나 이러한 레이저 스캐너 혹은 스테레오 카메라 운용 기술은 많은 처리속도를 요구하기 때문에 유동 인원이 많은 환경에서 다중의 객체들을 추적하고 분별하는 기능을 실시간으로 운용하는 것이 불가능하다. 예컨대 종래 사용자 상황 인식 기술은 감염 의심자를 검출한다 하더라도 이미 해당 감염 의심자가 관리 지역을 벗어난 이후이기 때문에 해당 감염 의심자가 실제 감염자인 경우 다른 장소의 인원들에 감염 인자를 이미 퍼트린 상황을 낳게 된다. 결과적으로 종래 기술은 실질적인 운용이 불가능한 문제가 있었다.

따라서 본 발명의 목적은 열화상 카메라와 CCD 카메라를 융합하여 전체 혹은 부분적 폐색(Occlusion)에 강건한 다중 신체 추적 방법 및 이를 지원하는 단말 장치를 제공함에 있다.

또한 본 발명은 설정에 따라 로봇 시스템 적용이 가능하도록 지원하는 다중 신체 추적 방법 및 이를 지원하는 단말 장치를 제공함에 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명은 열화상 이미지 및 CCD 이미지를 수집하는 단계, 수집된 열화상 이미지에서 후보 영역을 선정하는 단계, 상기 후보 영역 중 사람 신체에 해당하는 영역을 검출하는 단계, 상기 사람 신체 중 사전 정의된 ROI(Region Of Interest) 특징을 추출하는 단계, 상기 ROI 특징 값을 NCCAH(Normalized Cross-correlation of Average Histogram) 매칭 알고리즘에 적용하여 추적하는 단계를 포함하는 것을 특징으로 하는 다중 신체 추적 방법의 구성을 개시한다.

상기 방법은 폐색(Occlusion) 여부를 확인하는 단계 및 폐색이 있는 경우 상대적으로 더 큰 NCCAH 값을 매칭하여 ROI 특징을 갱신하는 단계를 더 포함한다.

또한 상기 방법은 추적 ROI 개수와 검출 ROI 개수를 비교하는 단계 및 검출 ROI 개수가 추적 ROI 개수보다 많은 경우 ROI를 새로 등록하는 단계를 더 포함한다.

또한 상기 방법은 사전 정의된 기준 대상 이미지를 수집하는 단계, 수집된 기준 대상 이미지를 기반으로 열화상 이미지 및 CCD 이미지의 칼리브레이션을 수행하는 단계, 상기 칼리브레이션이 수행된 이미지를 기반으로 동차 좌표를 산출하는 단계를 더 포함한다.

본 발명은 또한, 열화상 이미지 획득을 위한 열화상 카메라, CCD 이미지 획득을 위한 CCD 카메라, NCCAH(Normalized Cross-correlation of Average Histogram) 알고리즘을 저장하는 저장부, 상기 NCCAH 알고리즘을 기반으로 상기 열화상 이미지 및 CCD 이미지를 이용하여 다중 신체의 검출과 추적을 지원하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 다중 신체 추적 기능을 지원하는 단말 장치의 구성을 개시한다.

상기 단말 장치는 사전 정의된 NCC(Normalized Cross-correlation) 값 이상의 객체 검출 시 이를 알람하는 알람부 및 사전 정의된 NCC(Normalized Cross-correlation) 값 이상의 객체를 구분 표기하는 표시부를 더 포함한다.

상기 제어부는 촬영된 이미지에 폐색(Occlusion)이 있는 경우 상대적으로 더 큰 NCCAH 값을 매칭하여 ROI 특징을 갱신하는 도록 제어하며, 추적 ROI 개수와 검출 ROI 개수를 비교하고 검출 ROI 개수가 추적 ROI 개수보다 많은 경우 ROI를 새로 등록하도록 제어한다.

또한 상기 제어부는 사전 정의된 기준 대상 이미지의 열화상 이미지와 CCD 이미지를 기반으로 이미지 칼리브레이션을 수행하고 수집된 이미지를 기반으로 동차 좌표를 산출하도록 제어한다.

본 발명의 실시 예에 따른 다중 신체 추적 방법 및 이를 지원하는 단말 장치에 따르면, 본 발명은 열화상 카메라와 CCD 카메라 융합정보를 이용하여 다중 신체를 추적할 수 있도록 지원하며, 움직임이 가능한 로봇 시스템 적용이 가능하고, 간단한 알고리즘 및 간단한 하드웨어 구조를 기반으로 생산품 양산/적용이 쉬우면서도 높은 정확도를 제공할 수 있다.

도 1은 본 발명의 실시 예에 따른 다중 신체 추적 기능을 지원하는 단말 장치의 구성을 나타낸 도면.
도 2는 본 발명의 실시 예에 따른 단말 장치 구성 중 제어부 구성을 보다 상세히 나타낸 도면.
도 3은 본 발명의 다중 신체 추적 방법을 설명하기 위한 도면.
도 4는 체스보드를 이용한 칼리브레이션 수행을 설명하기 위한 도면.
도 5는 NCCAH(Normalized Cross-Correlation of Average Histogram) Matching 알고리즘 기반의 신체 추적 상태를 나타낸 도면.
도 6은 특징 값 추출을 위한 NCCAH 기반의 히스토그램 분석을 설명하기 위한 도면.
도 7은 체도에 대한 Mean Feature를 나타낸 도면.
도 8은 질감에 대한 Mean Feature를 나타낸 도면.
도 9는 NCCAH 다중 추적에 대한 실험 결과를 나타낸 도면.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

도 1은 본 발명의 실시 예에 따른 다중 신체 추적을 지원하는 단말 장치(100)의 구성을 개략적으로 나타낸 도면이다. 도 1에서는 다중 신체 추적을 지원하는 단말 장치(100)로서 설명하지만 본 발명의 단말 장치(100)는 고정형 및 이동형 등 다양한 형태로 적용이 가능하다. 예컨대 본 발명의 다중 신체 추적을 지원하는 단말 장치는 이동 가능형 로봇 장치가 될 수 있다.

도 1을 참조하면, 본 발명의 NCCAH 알고리즘 기반의 다중 신체 추적 기능 지원의 단말 장치(100)는 열화상 카메라(110), CCD 카메라(120), 알람부(130), 표시부(140), 저장부(150) 및 제어부(160)의 구성을 포함할 수 있다. 한편 본 발명의 실시 예에 따른 단말 장치(100)에서는 열화상 이미지 및 CCD 이미지를 수집하기 위하여 각각 열화상 카메라(110) 및 CCD 카메라(120) 구성에 대하여 설명하지만 본 발명이 이에 한정되는 것은 아니다. 즉 본 발명의 단말 장치(100)에 적용될 수 있는 카메라는 상술한 열화상 이미지 및 CCD 이미지를 수집할 수 있는 Fusion sensor 구조를 채용하여 구현될 수도 있다.

상술한 본 발명의 단말 장치(100)는 열화상 카메라(110) 및 CCD 카메라(120)가 수집한 열화상 이미지와 CCD 이미지로부터 동차 좌표를 산출한 후 사전 정의된 일정 온도 이상으로 검출되는 객체를 검출한다. 그리고 단말 장치(100)는 일정 온도 이상의 객체에 대한 알람을 수행함으로써 현재 촬영된 영역 내에 위치한 인원들 중 일정 온도 이상의 체온을 가지고 있어 특정 질병에 대한 감염 의심이 되는 인원을 손쉽게 파악할 수 있도록 지원한다. 이에 따라 본 발명의 단말 장치(100)는 관찰자가 실시간으로 촬영 영상을 모니터링하지 않더라도 검사가 필요한 객체에 해당하는 인원 검사를 정확하고 실시간으로 수행할 수 있도록 지원한다.

열화상 카메라(110)는 물체에서 방출되는 적외선 열에너지를 검출해서 화상으로 표시해주는 장치이다. 이러한 열화상 카메라(110)는 다른 카메라에 비해 빛의 조도에 영향이 적은 장점이 있다. 열화상 카메라(110)에는 다양한 방식이 적용될 수 있다. 예컨대 서로 다른 금속 간에 전류가 흐르면 온도차가 발생하는 Peltier효과를 이용한 Thermoelectric Cooling(TE Type) 방식, He Gas를 고압으로 농축하고 저압으로 전환할 때 생기는 압력차를 이용하여 온도차를 발생시키는 Joule-Thomson 효과 기반의 Stirling Cooling (Closed Cycle Cooling) 방식, Stirling Cooling 방식과 유사한 원리로 저압가스를 대기 중에 발산시키는 Argon Gas Cooling 방식, 액체질소가 기화되면서 주위의 온도를 낮추는 현상을 이용한 액체질소냉각(LN2) 방식 등이 적용될 수 있다. 또한 열화상 카메라(110)는 비냉각 방식 센서가 채용될 수도 있다. 즉 본 발명의 열화상 카메라(110)는 광범위한 구역 또는 정해진 일정 구역에 대한 열화상을 수집할 수 있는 적어도 하나의 방식이 적용된 카메라가 될 수 있다. 열화상 카메라(110)가 수집한 열화상 이미지는 제어부(160)에 제공된다.

CCD 카메라(120)(charge-coupled device camera, CCD camera)는 디지털 카메라의 하나로, 전하 결합 소자(CCD)를 사용하여 영상을 전기 신호로 변환함으로써 디지털 데이터로 플래시 메모리 등의 기억 매체에 저장하는 장치이다. CCD는 디지털 카메라에서 빛을 전기적인 신호로 바꿔주는 광센서 반도체로, 일반 카메라의 필름을 감광시키는 기능을 지원한다. 렌즈와 조리개를 통해 카메라 내부로 전달된 빛은 CCD에 의해 빛의 강약을 통하여 전기적 신호로 변환되고 이 신호는 다시 아날로그 신호를 0과 1의 디지털 신호로 바꿔주는 ADC 변환 장치를 통해 이미지 파일로 변환된 뒤 메모리에 저장된다. 특히 렌즈와 조리개를 통해 유입된 빛의 세기는 CCD에 기록되며, 이때 CCD에 인접되어 배치된 RGB 색필터에 의해 각기 다른 색으로 분리된 후 CCD를 구성하는 수많은 감광소자에서 전기적 신호로 바뀌어 메모리에 저장된다. 제어부(160)는 실시간 영상 처리를 위하여 CCD 카메라(120)에 배치된 메모리에 저장된 CCD 이미지를 실시간으로 수집하도록 제어할 수 있다.

알람부(130)는 제어부(160) 제어에 따라 특정 객체 검색이 수행되는 경우 이를 알람하는 구성이다. 이를 위하여 알람부(130)는 진동 센서나 램프, 스피커 등을 포함하여 구성될 수 있다. 그리고 알람부(130)는 제어부(160) 제어에 따라 특정 안내음이나 특허 효과음 또는 특정 진송 패턴이나 램프 점멸 패턴을 출력하도록 지원한다. 특히 알람부(130)는 일정 영역을 촬영한 영상에서 사전 정의된 일정 특징이 검출되는 경우 해당 특징 발생에 대한 알람을 관찰자에게 안내할 수 있다. 또는 알람부(130)는 통신 모듈을 포함하여 구성될 수 있으며, 사전 정의된 일정 특징이 촬영한 영상에서 검출되면 이를 사전 지정된 타 통신 장치에 전송하도록 지원할 수 있다.

표시부(140)는 다중 신체 추적 기능을 지원하는 단말 장치(100) 운용과 관련된 다양한 화면을 출력하는 구성이다. 예컨대 표시부(140)는 열화상 이미지 및 CCD 이미지를 각각 표시할 수 있다. 또한 표시부(140)는 NCCAH 알고리즘(151)이 적용된 영상 추적 화면을 제공할 수 있다. 특히 표시부(140)는 영상 표시 과정에서 사람의 신체 추적에 해당하는 객체를 구분 표기를 지원하며, 해당 객체들 중 사전 정의된 NCC(Normalized Cross-correlation) 값을 가지는 사람 신체에 대한 객체 표기 값을 표시할 수 있다.

저장부(150)는 본 발명의 실시 예에 따른 다중 신체 추적 기능을 지원하기 위해 필요한 프로그램이나 알고리즘 및 기타 영상 데이터를 저장하는 구성이다. 예컨대 저장부(150)는 열화상 카메라(110)가 수집하여 제공한 열화상 이미지, CCD 카메라(120)가 수집하여 제공한 CCD 이미지를 일시적으로 그리고 지속적으로 저장할 수 있다. 또한 저장부(150)는 열화상 이미지와 CCD 이미지의 동차 좌표 정보를 저장할 수 있다. 저장된 동차 좌표 정보는 영상 분석을 위해 기준 이미지로서 제어부(160)에 제공된다.

특히 본 발명의 저장부(150)는 다중 신체 추적 기능 지원을 위한 알고리즘인 NCCAH 알고리즘(151)을 저장할 수 있다. NCCAH 알고리즘(151)은 수집된 영상에서 다중 신체 영상을 추적할 수 있도록 지원하는 알고리즘으로서, 일정 영상에서의 평균 히스토그램의 상호 연관성을 일반화함으로써 일정 영상에 포함된 객체들을 검출할 수 있도록 지원하는 알고리즘이다. NCCAH 알고리즘(151)은 제어부(160) 호출에 따라 본 발명의 다중 신체 추적 기능 지원을 위해 참조될 수 있다.

제어부(160)는 본 발명의 다중 신체 추적 기능을 지원하는 단말 장치(100) 운용에 필요한 다양한 신호의 처리와 제어 신호의 전달, 전원의 공급과 분배, 데이터의 처리와 분석을 지원하는 구성이다. 이러한 제어부(160)는 다중 신체 추적 기능 지원을 위하여 도 2에 도시된 바와 같은 구성을 포함할 수 있다.

도 2는 본 발명의 실시 예에 따른 단말 장치(100)의 제어부(160) 구성을 보다 상세히 나타낸 도면이다.

도 2를 참조하면, 본 발명의 단말 장치(100)는 영상 수집부(161), 영상 처리부(163), 객체 검출부(165) 및 알람 지원부(167)의 구성을 포함할 수 있다.

영상 수집부(161)는 열화상 이미지 및 CCD 이미지를 수집하는 구성이다. 영상 수집부(161)는 단말 장치(100) 턴-온을 위한 입력 신호가 발생하면, 기 설정된 스케줄 정보를 확인하고, 해당 스케줄 정보를 기반으로 열화상 카메라(110) 및 CCD 카메라(120) 턴-온을 제어할 수 있다. 그리고 영상 수집부(161)는 영구전원 또는 배터리 등으로 구성된 전원부의 전원을 열화상 카메라(110) 및 CCD 카메라(120)에 제공하여 각 카메라들(110, 120)을 활성화하도록 제어할 수 있다. 이때 영상 수집부(161)는 열화상 카메라(110) 및 CCD 카메라(120)에 대한 초기화를 수행하고, 사전 정의된 일정 위치를 촬영할 수 있도록 카메라들(110, 120)의 촬영 각도를 조정할 수 있다. 이를 위하여 단말 장치(100)는 열화상 카메라(110) 및 CCD 카메라(120)가 사전 정의된 일정 지점의 영상을 촬영할 수 있도록 카메라들(110, 120)의 배치 각도를 조정할 수 있는 tilting 모듈을 더 포함할 수 있다. 이후 영상 수집부(161)는 열화상 카메라(110) 및 CCD 카메라(120)의 동영상 촬영을 또는 실시간 촬영을 제어하여 수집된 열화상 이미지 및 CCD 이미지를 수집한다. 영상 수집부(161)가 수집한 열화상 이미지 및 CCD 이미지는 영상 처리부(163)에 제공될 수 있다.

열화상 이미지 및 CCD 이미지가 수집된 사전 정의된 지점에는 열화상 이미지와 CCD 이미지의 동차 좌표 산출을 위해 이용될 수 있는 사전 정의된 기준 대상물 예컨대 체스보드가 배치될 수 있다. 그러면 열화상 카메라(110) 및 CCD 카메라(120)가 수집한 영상에는 기준 대상 이미지에 해당하는 체스보드 이미지 기반의 열화상 이미지 및 CCD 이미지가 동차 좌표로 이용될 수 있도록 영상 처리부(163)에 제공될 수 있다. 이러한 체스보드 이미지를 포함하는 영상들은 열화상 카메라(110) 및 CCD 카메라(120)가 수집하는 영상들의 분석을 위한 기준으로 이용되는 영상으로서 최초 1회 촬영을 통하여 획득되거나 일정 주기로 반복적으로 촬영되어, 이전 저장된 기준 데이터를 갱신하도록 지원할 수 있다. 또한 영상 수집부(161)는 기 설정된 스케줄 정보에 따라 정의된 일정 지점을 촬영한 CCD 이미지 및 열화상 이미지를 객체 검출부(165)에 제공한다. 특히 영상 수집부(161)는 수집된 영상의 전송을 실시간으로 수행할 수 있다.

영상 처리부(163)는 영상 수집부(161)로부터 열화상 이미지 및 CCD 이미지를 수신하고, 수신된 영상들의 영상 처리 및 동차 좌표 산출을 지원할 수 있다. 특히 영상 처리부(163)는 체스보드 이미지가 포함된 CCD 이미지 및 열화상 열상들을 이용하여 체스보드 이미지를 기준으로 동차 좌표를 산출할 수 있다. 즉 영상 처리부(163)는 체스보드를 촬영한 영상들을 이용하여 기준 이미지를 생성할 수 있다. 그리고 영상 처리부(163)는 기준 이미지를 객체 검출부(165)에 제공한다.

객체 검출부(165)는 영상 처리부(163)로부터 제공된 기준 이미지를 기준으로 수집된 영상에서의 객체 검출을 수행한다. 특히 객체 검출부(165)는 기준 이미지를 기반으로 수집된 영상들에서 사람의 신체로 판단할 수 있는 후보 영역을 선정한다. 그리고 객체 검출부(165)는 선정된 후보 영역들에서 신체에 대한 영상 특징을 검출할 수 있다. 이때 객체 검출부(165)는 후보 영역들에 대한 색 필터링 등을 이용하여 신체로서 판단할 수 있는 일정한 특징들을 검출할 수 있다. 특징이 검출되면 객체 검출부(165)는 저장부(150)에 저장된 NCCAH 알고리즘(151)을 이용하여 각각의 특징에 해당하는 신체 추적을 수행한다. 이를 위하여 객체 검출부(165)는 신체에서 특정 부위 예컨대 가슴 부위를 ROI(Region of Interest) 특징으로 검출하고, NCCAH 알고리즘(151) 매칭을 통하여 특징들을 정렬한다. 상술한 방법을 통하여 객체 검출부(165)는 일정 지점에 위치한 다수의 신체에 대한 영상 추적이 가능하도록 지원한다. 이 과정에서 객체 검출부(165)는 온도 영상에 대한 NCC 값을 실시간으로 적용하며, 사전 정의된 일정 NCC 값이 검출된 영상에 대한 정보를 알람 지원부(167)에 제공할 수 있다.

특히 본 발명의 객체 검출부(165)는 수집된 영상들에서 폐색(Occlusion) 발생 여부를 확인한다. 그리고 객체 검출부(165)는 폐색이 발생한 경우 상대적으로 더 큰 NCCAH 값을 선택하는 매칭 알고리즘을 적용하도록 지원할 수 있다. 그리고 객체 검출부(165)는 현재 추적 중인 ROI 특징의 개수와 새로 검출된 영상에서의 ROI 특징의 개수를 비교하여 새로 검출된 영상에서의 ROI 특징의 개수가 보다 많은 경우 ROI 특징 등록을 수행하도록 지원할 수 있다. 한편 객체 검출부(165)는 영상에서 검출된 ROI 특징의 개수가 추적 중인 ROI 특징 개수보다 적은 경우 일정 구역에서 추적 중인 객체의 이탈로 판단하고 그에 따른 조치를 취할 수 있다. 특히 객체 검출부(165)는 지정된 영역에 대한 영상의 사전 정의된 영역 예컨대 영상의 가장자리나 게이트 등이 마련된 위치로 객체가 이동하여 추적이 중지된 경우 또는 ROI 특징 개수가 감소한 경우에는 객체의 이탈로 판단할 수 있다. 그리고 객체 검출부(165)는 지정된 영역에 대한 영상의 중앙 부분 등 사전 정의되지 않은 영역에서 추적이 중지되거나 ROI 특징 개수가 감소한 경우에는 ROI 특징 개수 감소로 판단하지 않고 일정 시간 동안 대기를 수행하도록 지원할 수 있다. 그리고 객체 검출부(165)는 그에 따른 에러 발생 등을 알람하도록 제어할 수도 있다.

알람 지원부(167)는 객체 검출부(165)로부터 사전 정의된 일정 NCC 값에 대한 영상 정보를 수신하고, 이를 표시부(140)에 출력되는 다양한 객체들 중 해당 객체에 표기하도록 지원할 수 있다. 이에 따라 알람 지원부(167)는 관찰자가 사전 정의된 NCC 값을 가진 객체를 표시부(140)를 통하여 보다 쉽게 확인할 수 있도록 하며, 필요에 따라 해당 객체 검출을 용이하게 할 수 있도록 지원한다. 또한 알람 지원부(167)는 알람부(130)를 이용하여 사전 정의된 NCC 값을 가진 신체에 해당하는 객체의 검출이 발생했음을 알람하도록 제어할 수 있다. 이 과정에서 알람 지원부(167)는 사전 정의된 램프 점멸, 안내음 출력, 안내 패턴 출력 중 적어도 하나를 지원할 수 있으며, 타 통신 장치에 알람 메시지를 전송하도록 제어할 수도 있다.

도 3은 본 발명의 실시 예에 따른 다중 신체 추적 방법을 설명하기 위한 도면이다.

도 3을 참조하면, 본 발명의 다중 신체 추적 방법은 먼저 S101 단계에서 단말 장치(100)의 제어부(160)가 열화상 이미지 및 CCD 이미지를 수집한다. 이를 위하여 제어부(160)는 열화상 카메라(110) 및 CCD 카메라(120)의 활성화를 제어하고, 칼리브레이션(Calibration)을 수행하도록 지원할 수 있다. 즉 제어부(160)는 칼리브레이션 수행을 위하여 사전 제작된 체스보드가 배치된 일정 지점을 열화상 카메라(110) 및 CCD 카메라(120)가 촬영하도록 지원하여 체스보드 이미지가 포함된 영상을 수집하도록 지원한다. 이후 제어부(160)는 검색이 요구되는 일정 지점을 촬영하여 열화상 카메라(110) 및 CCD 카메라(120)의 촬영 각도를 조정하고, 조정된 각도에서의 영상 수집을 제어할 수 있다.

영상들이 수집되면 제어부(160)는 S103 단계에서 동차 좌표 산출을 수행한다. 그리고 제어부(160)는 실제 사람의 신체가 포함된 열화상 이미지와 CCD 이미지를 수신하면 S105 단계에서 후보 영역 선정을 수행한다. 이 과정에서 제어부(160)는 열화상 이미지를 기반으로 사람의 신체가 있을 가능성이 있는 후보들을 선정할 수 있다.

후보 영역들이 선정되면 제어부(160)는 S107 단계에서 신체 검출을 수행한다. 이 과정에서 제어부(160)는 CCD 이미지와 열화상 이미지를 이용하여 후보 영역들이 사람의 신체인지를 보다 정밀하게 확인할 수 있다.

그리고 제어부(160)는 사람의 신체가 배치된 영역을 영상에서 검출하면, S109 단계에서 검출된 영상 영역 중 사전 정의된 특징을 가지는 ROI 특징 검출을 수행한다. 예컨대 제어부(160)는 사람의 가슴 등을 ROI 특징으로 검출할 수 있다.

ROI 특징들이 검출되면 제어부(160)는 S111 단계에서 NCCAH 기반 내림차수 정렬을 수행한다. 한편 제어부(160)는 S113 단계에서 분석된 영상들에서 폐색(Occlusion) 발생 여부를 확인한다. 그리고 제어부(160)는 S113 단계에서 폐색이 발생하지 않은 경우 S115 단계로 분기하여 ROI 특징 갱신을 수행하지 않도록 제어한다.

한편 제어부(160)는 S113 단계에서 폐색이 발생한 경우 S117 단계로 분기하여 NCCAH 값 매칭 및 갱신을 수행하고 필요한 경우 알람을 수행한다. 즉 제어부(160)는 더 큰 NCCAH 값을 가지는 것들로 매칭 과정을 수행하도록 지원한다. 그리고 제어부(160)는 잉여 ROI가 해당 영상에 존재하는 경우 새로운 ROI 특징 등록을 수행한다. 즉 추적하고 있는 ROI가 검출된 ROI 수보다 적은 경우 ROI 등록을 수행한다.

다음으로 제어부(160)는 S119 단계에서 단말 장치(100) 종료 여부를 확인한다. 단말 장치(100) 종료를 위한 입력 신호 발생이 없는 경우 S101 단계 이전으로 분기하여 이하 과정을 재수행하도록 지원한다.

이상에서 설명한 바와 같이 본 발명의 실시 예에 따른 다중 신체 추적 방법 및 이를 지원하는 단말 장치(100)는 보다 간단한 알고리즘 및 하드웨어 구조를 기반으로 열화상 이미지와 CCD 이미지를 NCCAH 알고리즘에 적용하여 다중 신체를 검출 및 추적하도록 지원할 수 있다. 또한 본 발명은 다중 신체 추적 기능의 정확도를 개선하여 보다 정밀한 다중 신체 추적을 지원할 수 있다. 이러한 본 발명은 앞서 언급한 바와 같이 질병 감염 의심자 등의 검출이 필요한 공항 등에 설치하여 유동 인원들이 발생한 상황에서도 적절한 객체 검출을 보다 용이하게 그리고 실시간으로 수행하도록 지원할 수 있다.

이상에서 설명한 본 발명의 단말 장치(100)는 이동형 로봇 시스템에 장착될 수 있다. 이동형 로봇 시스템은 열화상 카메라(110)와 CCD 카메라(120)를 동일 위치에 배치한 머리 부분과, 머리 부분을 지지하고 이하에서 설명한 다양한 시스템 장치를 내장한 바디 부분으로 구분될 수 있다. 이에 따라 상술한 로봇 시스템을 기반으로 칼리브레이션 수행을 위한 일정 지점의 촬영 이후 자동으로 사전 정의된 일정 지점에서의 객체 검출과 추적을 수행할 수 있도록 지원하며, 필요에 따라 다양한 구역에 대한 객체 검출과 추적을 보다 용이하게 할 수 있도록 지원한다.

이하에서는 본 발명의 NCCAH 기반 다중 신체 추적에 대한 시뮬레이션 결과를 설명하기로 한다.

도 4는 열화상 카메라(110)와 CCD 카메라(120)를 융합하기 위해 자체 개발된 체스보드를 이용하여 칼리브레이션 수행을 하는 과정에서 수집되는 영상을 나타낸 도면이다. 열화상 카메라(110)와 CCD 카메라(120) 도시된 바와 같이 체스보드가 배치된 영역을 촬영하고, 단말 장치(100)는 촬영된 체스보드 이미지를 기준으로 열화상 이미지와 CCD 이미지의 칼리브레이션을 수행한다.

도 5는 열화상 이미지 및 CCD 이미지에서 검출된 신체들의 정보에서 식별을 위한 특징 값을 추출하여 NCCAH(Normalized Cross-Correlation of Average Histogram) Matching 알고리즘으로 각각의 검출된 신체를 추적한 상태를 나타낸 것이다.

도 5를 참조하면, 융합된 영상정보를 바탕으로 생성된 후보영역에서 검출된 신체영역은 도 5의 (a)와 같다. 그리고 도 5의 (b)의 열화상 이미지 및 도 5의 (c)의 CCD 이미지 각각의 검출된 신체에서 도 5의 (d)에서와 같이 가슴 부분 영역에 대한 color histogram과 Normalized Cross-Correlation을 계산한다. 이때 도 5(c)에 나타낸 바와 같이 색상영역은 조명변화에 강인한 HSV color channel을 사용한다.

도 6은 특징 값 추출을 위한 NCCAH 기반의 히스토그램 분석을 설명하기 위한 도면이다.

도 6에 나타낸 바와 같이 본 발명의 단말 장치(100)는 획득한 히스토그램의 평균(mean)을 구한다. 이때 단말 장치(100)는 평균값 보다 큰 값들로 이루어진 히스토그램 값들을 이용하여 Mean feature를 획득한다. 획득한 특징 값은 NCCAH를 통하여 유사도를 계산하고 가슴영역의 NCC값을 더하여 신체들을 식별하여 matching한다.

도 7은 체도에 대한 Mean Feature를 나타낸 도면이며, 도 8은 질감에 대한 Mean Feature를 나타낸 도면이다.

도 7 및 도 8에 나타낸 바와 같이 채도의 변화 및 질감(texture) 변화에 따라 Mean Feature가 그 영역의 특징을 고유하게 분리됨을 알 수 있다. 만약 색상과 질감이 매우 유사하더라도 본 발명의 단말 장치(100)는 온도 영상에 대한 NCC값을 사용하므로 사용자를 모두 식별할 수 있도록 지원한다.

도 9는 NCCAH 다중 추적에 대한 실험 결과를 나타낸 도면이다.

도 9를 참조하면, 폐색(occlusion)이 일어나더라도 사용자를 식별해서 좋은 추적결과를 획득할 수 있음을 알 수 있다. 3345 프레임에서는 오 검출로 인해서 한 프레임동안 추적에 실패함을 알 수 있다. 그러나 이 결과는 검출기의 오작동에 의한 것이므로 NCCAH matching 알고리즘에 의한 추적은 정확하게 작동한 것이다.

헬스 케어 사용자 상황 인식을 위해서는 신체들을 검출하여 인식하고 식별하여 사용자별 온도분포 정보를 획득해야 한다. 단일 카메라를 이용하는 많은 기술들은 신체를 최적으로 검출할 수 있는가에 한계를 두고 있으므로 이를 극복하지 못한 추적 기술은 신체검출과는 별도로 추가 센서를 융합하여 3차원 정보를 기반으로 신체를 추적한다. 이와 같이 고가의 3차원센서를 이용하여 신체를 추적하는 기술은 알고리즘이 복잡하고 구현하기 어려우며 실시간 성능을 보장 받을 수 없다. 따라서 본 발명은 이상에서 설명하는 바와 같이 움직이는 열화상 카메라(110)와 CCD 카메라(120)를 융합하여 전체 혹은 부분적 폐색에 강인한 다중 신체를 추적 기능을 제공할 수 있다.

이상 본 발명을 몇 가지 바람직한 실시 예를 사용하여 설명하였으나, 이들 실시 예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

100 : 단말 장치 110 : 열화상 카메라
120 : CCD 카메라 130 : 알람부
140 : 표시부 150 : 저장부
160 : 제어부 161 : 영상 수집부
163 : 영상 처리부 165 : 객체 검출부
167 : 알람 지원부

Claims (8)

1. 열화상 이미지 및 CCD 이미지를 수집하는 단계;
   수집된 열화상 이미지에서 후보 영역을 선정하는 단계;
   상기 후보 영역 중 사람 신체에 해당하는 영역을 검출하는 단계;
   상기 사람 신체 중 사전 정의된 ROI(Region Of Interest) 특징을 추출하는 단계;
   상기 ROI 특징 값을 NCCAH(Normalized Cross-correlation of Average Histogram) 매칭 알고리즘에 적용하여 추적하는 단계;
   를 포함하는 것을 특징으로 하는 다중 신체 추적 방법.
2. 제1항에 있어서,
   폐색(Occlusion) 여부를 확인하는 단계;
   폐색이 있는 경우 상대적으로 더 큰 NCCAH 값을 매칭하여 ROI 특징을 갱신하는 단계;
   를 더 포함하는 것을 특징으로 하는 다중 신체 추적 방법.
3. 제1항에 있어서,
   추적 ROI 개수와 검출 ROI 개수를 비교하는 단계;
   검출 ROI 개수가 추적 ROI 개수보다 많은 경우 ROI를 새로 등록하는 단계;
   를 더 포함하는 것을 특징으로 하는 다중 신체 추적 방법.
4. 제1항에 있어서,
   사전 정의된 기준 대상 이미지를 수집하는 단계;
   수집된 기준 대상 이미지를 기반으로 열화상 이미지 및 CCD 이미지의 칼리브레이션을 수행하는 단계;
   상기 칼리브레이션이 수행된 이미지를 기반으로 동차 좌표를 산출하는 단계;
   를 더 포함하는 것을 특징으로 하는 다중 신체 추적 방법.
5. 열화상 이미지 획득을 위한 열화상 카메라;
   CCD 이미지 획득을 위한 CCD 카메라;
   NCCAH(Normalized Cross-correlation of Average Histogram) 알고리즘을 저장하는 저장부;
   상기 NCCAH 알고리즘을 기반으로 상기 열화상 이미지 및 CCD 이미지를 이용하여 다중 신체의 검출과 추적을 지원하도록 제어하는 제어부;
   를 포함하는 것을 특징으로 하는 다중 신체 추적 기능을 지원하는 단말 장치.
6. 제5항에 있어서,
   사전 정의된 NCC(Normalized Cross-correlation) 값 이상의 객체 검출 시 이를 알람하는 알람부; 및
   사전 정의된 NCC(Normalized Cross-correlation) 값 이상의 객체를 구분 표기하는 표시부;
   중 적어도 하나를 더 포함하는 것을 특징으로 하는 다중 신체 추적 기능을 지원하는 단말 장치.
7. 제5항에 있어서,
   상기 단말 장치는
   이동 가능형 로봇 장치인 것을 특징으로 하는 다중 신체 추적 기능을 지원하는 단말 장치.
8. 제5항에 있어서,
   상기 제어부는
   사전 정의된 기준 대상 이미지의 열화상 이미지와 CCD 이미지를 기반으로 이미지 칼리브레이션을 수행하고 수집된 이미지를 기반으로 동차 좌표 산출;
   촬영된 이미지에 폐색(Occlusion)이 있는 경우 상대적으로 더 큰 NCCAH 값을 매칭하여 ROI 특징 갱신;
   추적 ROI 개수와 검출 ROI 개수를 비교하고 검출 ROI 개수가 추적 ROI 개수보다 많은 경우 ROI 새로 등록;
   중 적어도 하나의 기능 수행을 제어하는 것을 특징으로 하는 다중 신체 추적 기능을 지원하는 단말 장치.

Images