KR101808587B1 - 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템 - Google Patents

Abstract

본 발명은 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템에 관한 것으로, 보다 상세하게는 설정된 알고리즘에 따른 이상 상황(침입, 군집, 배회, 유기, 출현, 출입, 월담. 피플카운트, 쓰러짐, 역주행, 번호인식 등) 감지시, 객체 인식기술을 이용하여 카메라에 촬영된 이상 상황 객체를 실시간으로 식별 및 추적함으로써 다양한 방범분야의 감시 정확도를 증대시키고, 불필요한 감시 및 추적으로 인하여 감시관제 사각지대가 발생하지 않도록 하기 위한 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템에 관한 것이다.

Description

객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템{Intelligent integration visual surveillance control system by object detection and tracking and detecting abnormal behaviors}

본 발명은 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템에 관한 것으로, 보다 상세하게는 설정된 알고리즘에 따른 이상 상황(침입, 군집, 배회, 유기, 출현, 출입, 월담. 피플카운트, 쓰러짐, 역주행, 번호인식 등) 감지시, 객체 인식기술을 이용하여 카메라에 촬영된 이상 상황 객체를 실시간으로 식별 및 추적함으로써 다양한 방범분야의 감시 정확도를 증대시키고, 불필요한 감시 및 추적으로 인하여 감시관제 사각지대가 발생하지 않도록 하기 위한 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템에 관한 것이다.

일반적으로 CCTV 감시카메라 감시대상 지역이 넓은 경우 복수의 감시카메라를 감시대상 지역의 특정 위치마다 설치하고 하나의 모니터 화면에 영역을 분할하여 표시하는 CCTV 시스템이 사용되고 있으며, 하나의 모니터 화면에 동시에 표시할 수 있는 것보다 많은 채널의 감시카메라가 연결된 경우에는 주기적으로 화면에 표시되는 감시카메라의 영상을 변경하거나 화면에 표시되는 감시카메라를 괸제자가 선택하면서 감시 관제하고 있다.

상기와 같은 시스템에서는 관제자가 모니터링 화면에서 특정 객체(사람 또는 차량 등)를 육안으로 확인하고 직관적으로 동일인이라고 추정하면서 추적하는 방식을 이용하고 있으므로 화면을 분할하여 다수의 감시카메라 영상이 함께 표시될 경우 특정 감시카메라의 촬영 영역에서 모니터링 대상 객체가 다른 감시카메라 촬영 영역으로 이동하는 경우 관제자가 바로 인식하기 어려운 문제점이 있었다.

상기한 문제점을 해결하기 위하여, PTZ(Pan/Tilt/Zoom) 카메라를 사용하여 카메라 자체로 감시 추적하는 방식의 감시 시스템이 개발되고 있는데, 보통 이러한 기술 대부분은 카메라가 위험요소를 가진 객체를 발견한 경우 관제자에게 알람을 제공하고, 그러한 경우 관제자가 PTZ 카메라를 수동으로 조작하여 위험요소 객체를 직접 분석 및 파악하는 방식을 사용하고 있다.

그러나, 상기와 같은 경우에도 관제자가 알람을 실시간으로 인지하지 못한 경우에는 위험요소 객체를 제대로 추적 및 확인할 수 없는 한계를 가지고 있다.

상기한 문제점을 해결하기 위하여, 여러대의 PTZ 카메라를 이용하여 감시 추적하는 기술이 개발되었는데, 한국등록특허 10-1324221(2013년10월25일)에는 복수개의 카메라들이 물체를 추적하는 방법에 있어서, (a) 상기 복수개의 카메라들은 특정 물체를 촬영하고 상기 촬영된 영상을 상호간에 주고받으면서 상기 특정 물체가 동일한 물체인지를 확인하는 단계; 및 (b) 상기 복수개의 카메라들은 상기 특정 물체가 동일한 물체인 경우에 상기 특정 물체를 촬영하고 상기 촬영된 영상을 상호간에 주고받으면서 상기 특정 물체를 추적해나가는 단계를 포함하고, 상기 (a) 단계는 (a-1) 상기 복수개의 카메라들이 상기 특정 물체를 촬영하고, 상기 촬영 결과로 생성된 영상 데이터를 분석하여 상기 특정 물체가 추적 대상인지 여부를 판단하는 단계; 및 (a-2) 상기 복수개의 카메라들은 상기 특정 물체가 추적 대상이라고 판단되면, 상기 특정 물체의 영상 데이터를 다른 카메라로 전송하고, 또한, 다른 카메라로부터 영상 데이터를 전송받은 후에 이를 상기 촬영한 특정 물체의 영상과 비교하여 동일한 물체인지를 판단하는 단계를 포함하는 것을 특징으로 하는 물체 추적 방법이 개발된 바 있다.

또한, 한국등록특허 10-1425170(2014년07월24일)에는 FOV 영역 내 영상 정보를 실시간으로 수집하고, 상기 수집된 영상 정보를 통해 사건 발생을 인식한 후 상기 사건 발생의 원인이 되는 객체를 추출하며, 상기 추출된 객체가 상기 FOV 영역 내에서 벗어나는지 여부를 감지하는 영상 인식 모듈과, 상기 추출된 객체로부터 객체의 색상정보, 형태정보, 이동정보 또는 기타정보 중 적어도 하나를 바탕으로 객체의 특성을 추출하여 메타데이터를 생성한 후 이를 데이터베이스에 저장하며, 상기 사건 발생의 원인이 되는 객체가 상기 FOV 영역을 벗어나 사라질 경우, 상기 영상 인식 모듈의 감지에 따라 상기 데이터베이스에 저장된 메타데이터를 주변의 영상 촬영 장치에 제공하는 객체 추적 모듈을 포함하는 영상 촬영 장치의 객체 추적 장치가 공지되어 있다.

그러나, 상기 특허기술들은 여러대의 PTZ 카메라를 이용하여 동일 객체를 추적하기는 하나, 특정 객체의 동일여부만을 판단하여 추적할 뿐, 실제 위험요소를 객체인식으로 판별하여 추적하기는 어려운 문제점이 있었고, 이로 인하여 다양한 이상상황발생시 위험요소의 객체인식 및 추적이 불가능한 문제점이 있었다.

뿐만 아니라, 관제자가 1대의 PTZ 카메라를 조작하여 객체를 확인할 경우, 빛의 산란, 촬영 각도, 얼굴 각도 등에 따라 정확한 신원 확인을 위한 얼굴 영역 촬영이 불가능한 문제점이 있었고, 카메라에 촬영된 객체가 실질적으로 위험요소를 가진 인물인지 여부에 대한 검증이 불가능하여 불필요한 알람 및 불필요한 추적 감시로 인하여 사각지대가 발생하고 2차적인 위험요소의 침입 등이 우려되는 문제점이 있었다.

상기항 문제점을 해결하기 위하여, 객체인식 및 추적기술이 개발된 바 있는데, 한국등록특허 10-1425505(2014년07월25일)에는 객체인식기술을 이용한 지능형 경계 시스템의 감시 방법으로서, 상기 경계 시스템은 각각이 팬/틸트/줌 기능을 갖고 미리 설정된 감시영역(가, 나, 다 지역)을 회전감시하는 복수의 PTZ 카메라(A, B, C 카메라), 상기 복수의 PTZ 카메라의 감시영역을 감시 가능한 적어도 하나의 광역감시 카메라(D 카메라), 및 상기 PTZ 카메라 및 광역감시 카메라의 동작, 방향 또는 광역성을 조정하는 통합관제부를 포함하고, 상기 감시 방법은, 상기 복수의 PTZ 카메라 중 어느 하나(A 카메라)가 촬영한 영상물로부터 이동 객체가 감시영역(가 지역)에서 인지될 경우, 촬영된 이동 객체의 특징점으로 이루어진 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하는 단계; 상기 이동 객체가 사람으로 식별된 경우, 상기 사람을 침입자로 인지하여 상기 통합관제부에 알람과 침입자의

위치정보를 전송하고, 상기 통합관제부 또는 상기 PTZ 카메라 또는 상기 광역감시 카메라를 통하여 경고음을 발생시키며, 상기 통합관제부는 사람의 얼굴을 줌인하여 사람의 얼굴영역을 검출하고, 해당 얼굴영역에서 개인 고유의 특징점으로 이루어지는 좌표를 선정하되, 촬영된 사람의 얼굴영역에서 얼굴의 코 부위를 기준 좌표로 선정하고, 그 기준 좌표를 중심으로 3차원으로 모델링함 동시에, 그 3차원 얼굴모델로부터 얼굴특징점을 3차원 좌표값으로 검출함으로써, 개인 고유의 프로메타데이터를 추출하며, 상기 추출된 개인 고유의 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 성별/연령 정보를 도출하며, 상기 알람을 전송한 PTZ 카메라(A 카메라)로 하여금 상기 침입자를 지속적으로 추적 감시하게 하는 명령을 전송함과 동시에, 해당 PTZ 카메라(A 카메라)와 인접하게 설치된 PTZ 카메라(B 카메라)에 상기 수신한 침입자의 위치 정보와 함께, 상기 침입자에 대하여 추가적으로 추적 감시하게 하는 명령을 전송하는 단계; 침입자가 이동함에 따라 침입자가 A 카메라의 감시영역(가 지역)을 이탈할 경우, 상기 통합관제부는 A 카메라에 원래 감시영역을 감시하도록 하는 정상 감시체계 복귀 명령을 전송함과 동시에, 상기 B 카메라에 침입자를 지속적으로 추적 감시하게 하는 명령을 전송하고, 나아가 B 카메라와 인접하게 설치된 C 카메라에 상기 B 카메라로 부터 수신한 침입자의 위치 정보와 함께, 침입자에 대한 추가적 추적 감시 명령을 전송하게 하는 단계; 및 상기 침입자의 동선에 따라 중첩적 또는 다중적으로 제공되는 영상 정보가 통합관제부에 지속적으로 제공되게 하고, 상황 종료 시 각 카메라에 정상 감시체계 복귀 명령을 전송하여 각 카메라로 하여금 정상 감시 위치로 복귀되게 하는 단계;를 포함하는 경계 시스템의 감시 방법에 있어서, 상기 통합관제부가 PTZ 카메라(B 카메라)에 침입자를 추적 감시하도록 하는 명령을 전송하는 단계는, 상기 광역감시 카메라(D 카메라)에 상기 인접한 PTZ 카메라(B 카메라)가 원래 감시하도록 미리 설정된 감시영역(나 지역)을 집중적으로 감시하도록 하는 명령을 전송하여, 상기 인접한 PTZ 카메라(B 카메라)의 감시영역을 보완적으로 감시하는 것을 추가 포함하고; 상기 통합관제부가 PTZ 카메라(C 카메라)에 침입자를 추적 감시하도록 하는 명령을 전송하는 단계는, 상기 광역감시 카메라(D 카메라)에 C 카메라가 원래 감시하도록 미리 설정된 감시영역(다 지역)을 집중적으로 감시하도록 하는 명령을 전송하여, 인접한 C 카메라의 감시영역을 보완적으로 감시하게 하는 것을 추가 포함하며; 그리고 상기 추출된 개인 고유의 프로메타데이터와 기존에 누적되어 있는 인체의 연령 또는 성별 프로메타데이터 패턴과 대비함으로써 얻어진 침입자에 대한 적어도 성별/연령 정보는 카메라에 촬영된 사람이 실질적으로 위험요소를 가진 인물인지 여부에 대하여 판단하도록 사용되어 감시 정확도를 증대시키며, 감시 오작동을 최소화하는 것임을 특징으로 하는 객체인식기술을 이용한 지능형 경계 시스템의 감시 방법이 공지된 바 있다.

또한, 한국등록특허 10-1732115(2017년04월25일)에는 주 감시카메라에서 촬영되는 영상을 주화면 영역에 표시하고, 복수의 부 감시카메라에서 촬영되는 영상을 복수의 부화면 영역에 각각 표시하는 단계, 상기 주화면 영역에 표시되는 영상에 포함된 객체를 인식하여 객체 특징을 추출하는 단계, 상기 주화면 영역에서 인식되어 객체 특징이 추출된 객체 중 하나를 사용자로부터 선택받으면, 상기 주화면 영역과 상기 복수의 부화면 영역에서 인식되는 객체마다 상기 선택된 객체와의 유사도를 산출하는 단계, 그리고 상기 객체마다 산출된 유사도를 표시하는 단계를 포함하고, 객체 추적 예비 모드에서는 상기 주 감시카메라에서 촬영된 영상에서만 객체 인식 동작을 수행하고, 상기 부 감시카메라에서 촬영된 영상에서는 객체 인식 동작을 수행하지 않으며, 사용자가 상기 주 감시카메라에서 인식된 객체 중 하나를 선택하면 객체 추적 모드로 전환되어, 상기 주 감시카메라에서 촬영된 영상과 상기 부 감시카메라에서 촬영된 영상에서 모두 객체 인식을 수행하는 것을 특징으로 하는 감시카메라를 이용한 객체 추적 방법이 공지되어 있다.

그러나, 상기 객체인식 및 추적감시 특허기술들은 객체인식 및 추적감시는 가능하다 하더라도 침입의 경우에만 국한되는 문제점이 있었으며, 특히, 침입 뿐만 아니라, 군집, 배회, 유기, 출현, 출입, 월담. 피플카운트, 쓰러짐, 역주행, 번호인식 등의 다양한 이상상황발생에는 대응하기 불가능한 문제점이 있었다.

한국등록특허 10-1324221(2013년10월25일) 한국등록특허 10-1425170(2014년07월24일) 한국등록특허 10-1425505(2014년07월25일) 한국등록특허 10-1732115(2017년04월25일)

본 발명은 상기한 문제점을 해결하기 위하여, 설정된 알고리즘에 따른 이상 상황(침입, 군집, 배회, 유기, 출현, 출입, 월담. 피플카운트, 쓰러짐, 역주행, 번호인식 등) 감지시, 객체 인식기술을 이용하여 카메라에 촬영된 이상 상황 객체를 실시간으로 식별 및 추적함으로써 다양한 방범분야의 감시 정확도를 증대시키고, 불필요한 감시 및 추적으로 인하여 감시관제 사각지대가 발생하지 않도록 하기 위한 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템을 제공하는 것을 해결하고자 하는 과제로 한다.

본 발명은 상기 과제를 해결하기 위하여, 360도 회전가능하고 상, 하, 좌, 우 및 줌 기능이 내장된 PTZ(Pan/Tilt/Zoom) 카메라 또는 고정형 카메라를 포함하여 구성되는 영상입력부와, 상기 영상입력부로부터 촬영된 영상이 미리 설정된 이상상황 알고리즘에 따라 침입, 군집, 배회, 유기, 출현, 출입, 월담. 피플카운트, 쓰러짐, 역주행, 번호인식으로부터 선택되는 하나의 이상상황에 해당하는지 여부를 감지하는 이상상황감지부와, 상기 이상상황감지부로부터 이상상황으로 감지되는 경우 객체인식을 수행하는 객체인식부와, 상기 객체인식부로부터 객체인식된 객체의 좌표의 변화를 분석하여 상기 촬영된 영상내에 해당 객체의 이동경로 또는 이동방향을 예측하거나, 해당 객체가 상기 촬영된 영상의 센터에 위치되도록 추적을 수행하는 객체추적부와, 상기 영상입력부로부터 촬영된 영상을 디스플레이 및 모니터링함과 동시에 상기 영상입력부, 이상상황감지부, 객체인식부와 및 객체추적부를 설정하고 제어하는 통합관제부를 포함하여 구성되는 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템을 과제의 해결수단으로 한다.

상기 이상상황 알고리즘은 상기 영상입력부로부터 촬영된 영상에 가상경계선 또는 가상구역을 설정하여 상기 가상경계선 또는 가상구역 내에서 침입, 군집, 배회, 유기, 출현, 출입, 월담. 피플카운트, 쓰러짐, 역주행, 번호인식으로부터 선택되는 하나의 이상상황이 발생하는 경우 상기 통합관제부에 알람을 발생하고 객체인식을 수행하는 것을 과제의 해결수단으로 한다.

상기 객체인식부는 영상전처리과정, 객체추출영상생성과정, 객체분석과정을 수행하는 것을 과제의 해결수단으로 한다.

상기 영상전처리과정은 상기 영상입력부로부터 촬영된 영상의 배경 갱신을 통해 영상에서 배경을 추출하는 배경추출과정, 카메라 영상에서 노이즈를 제거하여 객체 영역을 명확하게 하는 노이즈제거과정, 배경 평균 영상과 현재 영상 간의 픽셀 차이를 이용하여 움직임이 발생한 영역을 객체로 판단하여 해당 영상 부분을 추출하는 움직임영역추출과정을 수행하는 것을 과제의 해결수단으로 한다.

상기 객체추출영상생성과정은 상기 영상전처리 과정을 거쳐 생성된 객체의 움직임 영상의 객체 영역에 대하여 객체블록화과정, 객체그룹화과정, 그림자 제거과정을 수행하는 것을 과제의 해결수단으로 한다.

상기 객체분석과정은 상기 객체추출영상생성과정에서 추출된 객체에 대하여 이상상황에 따라 Haar 알고리즘, HOG 알고리즘 또는 SURF 알고리즘을 이용하여 엣지패턴추출을 수행하고, 딥러닝 알고리즘을 통해 누적 저장되는 학습된 데이터와의 패턴 매칭을 통해 객체인식판별을 수행하는 것을 과제의 해결수단으로 한다.

상기 객체추적부는 상기 객체인식부에서 객체인식판별된 객체의 패턴의 좌표를 추출하고, 좌표의 변화에 관한 전,후 측정데이터를 칼만필터 알고리즘을 이용하여 상기 촬영된 영상내에 해당 객체의 이동경로 또는 이동방향을 예측하거나, 해당 객체가 상기 촬영된 영상의 센터에 위치되도록 추적을 수행하는 것을 과제의 해결수단으로 한다.

본 발명의 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템은 설정된 알고리즘에 따른 이상 상황(침입, 군집, 배회, 유기, 출현, 출입, 월담. 피플카운트, 쓰러짐, 역주행, 번호인식 등) 감지시, 객체 인식기술을 이용하여 카메라에 촬영된 이상 상황 객체를 실시간으로 식별 및 추적함으로써 다양한 방범분야의 감시 정확도를 증대시키고, 불필요한 감시 및 추적으로 인하여 감시관제 사각지대가 발생하지 않도록 하는 우수한 효과가 있다.

도 1은 본 발명에 따른 지능형 통합감시관제시스템의 전체 구성블록도
도 2는 본 발명에 따른 이상상황감지 설정을 나타내는 도면
도 3은 본 발명에 따른 이상상황감지를 나타내는 도면
도 4는 본 발명에 따른 이상상황감지(침입, 배회, 군집, 출현, 출입, 월담, 피플카운트, 쓰러짐, 역주행, 번호인식 등) 객체인식 추적을 나타내는 모식도
도 5는 본 발명에 따른 이상상황감지(유기) 객체인식추적을 나타내는 모식도
도 6은 본 발명에 따른 이상상황감지(번호인식) 객체인식추적을 나타내는 모식도
도 7은 본 발명에 따른 Haar 특징점을 타나내는 도면
도 8은 본 발명에 따른 보행자 영역 Haar 특징점을 타나내는 도면
도 9는 본 발명에 따른 HOG를 이용한 영상 특징점을 타나내는 도면
도 10은 본 발명에 따른 딥러닝 알고리즘을 나타내는 도면
도 11은 본 발명에 따른 딥러닝 알고리즘을 이용한 객체인식 판별을 나타내는 도면

본 발명은, 360도 회전가능하고 상, 하, 좌, 우 및 줌 기능이 내장된 PTZ(Pan/Tilt/Zoom) 카메라 또는 고정형 카메라를 포함하여 구성되는 영상입력부와, 상기 영상입력부로부터 촬영된 영상이 미리 설정된 이상상황 알고리즘에 따라 침입, 군집, 배회, 유기, 출현, 출입, 월담. 피플카운트, 쓰러짐, 역주행, 번호인식으로부터 선택되는 하나의 이상상황에 해당하는지 여부를 감지하는 이상상황감지부와, 상기 이상상황감지부로부터 이상상황으로 감지되는 경우 객체인식을 수행하는 객체인식부와, 상기 객체인식부로부터 객체인식된 객체의 좌표의 변화를 분석하여 상기 촬영된 영상내에 해당 객체의 이동경로 또는 이동방향을 예측하거나, 해당 객체가 상기 촬영된 영상의 센터에 위치되도록 추적을 수행하는 객체추적부와, 상기 영상입력부로부터 촬영된 영상을 디스플레이 및 모니터링함과 동시에 상기 영상입력부, 이상상황감지부, 객체인식부와 및 객체추적부를 설정하고 제어하는 통합관제부를 포함하여 구성되는 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템을 기술구성의 특징으로 한다.

상기 이상상황 알고리즘은 상기 영상입력부로부터 촬영된 영상에 가상경계선 또는 가상구역을 설정하여 상기 가상경계선 또는 가상구역 내에서 침입, 군집, 배회, 유기, 출현, 출입, 월담. 피플카운트, 쓰러짐, 역주행, 번호인식으로부터 선택되는 하나의 이상상황이 발생하는 경우 상기 통합관제부에 알람을 발생하고 객체인식을 수행하는 것을 기술구성의 특징으로 한다.

상기 객체인식부는 영상전처리과정, 객체추출영상생성과정, 객체분석과정을 수행하는 것을 기술구성의 특징으로 한다.

상기 영상전처리과정은 상기 영상입력부로부터 촬영된 영상의 배경 갱신을 통해 영상에서 배경을 추출하는 배경추출과정, 카메라 영상에서 노이즈를 제거하여 객체 영역을 명확하게 하는 노이즈제거과정, 배경 평균 영상과 현재 영상 간의 픽셀 차이를 이용하여 움직임이 발생한 영역을 객체로 판단하여 해당 영상 부분을 추출하는 움직임영역추출과정을 수행하는 것을 기술구성의 특징으로 한다.

상기 객체추출영상생성과정은 상기 영상전처리 과정을 거쳐 생성된 객체의 움직임 영상의 객체 영역에 대하여 객체블록화과정, 객체그룹화과정, 그림자 제거과정을 수행하는 것을 기술구성의 특징으로 한다.

상기 객체분석과정은 상기 객체추출영상생성과정에서 추출된 객체에 대하여 이상상황에 따라 Haar 알고리즘, HOG 알고리즘 또는 SURF 알고리즘을 이용하여 엣지패턴추출을 수행하고, 딥러닝 알고리즘을 통해 누적 저장되는 학습된 데이터와의 패턴 매칭을 통해 객체인식판별을 수행하는 것을 기술구성의 특징으로 한다.

상기 객체추적부는 상기 객체인식부에서 객체인식판별된 객체의 패턴의 좌표를 추출하고, 좌표의 변화에 관한 전,후 측정데이터를 칼만필터 알고리즘을 이용하여 상기 촬영된 영상내에 해당 객체의 이동경로 또는 이동방향을 예측하거나, 해당 객체가 상기 촬영된 영상의 센터에 위치되도록 추적을 수행하는 것을 기술구성의 특징으로 한다.

이하에서는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 바람직한 도면을 통하여 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 도면에 한정되지 않는다.

우선, 본 발명의 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템은, 360도 회전가능하고 상, 하, 좌, 우 및 줌 기능이 내장된 PTZ(Pan/Tilt/Zoom) 카메라 또는 고정형 카메라를 포함하여 구성되는 영상입력부와, 상기 영상입력부로부터 촬영된 영상이 미리 설정된 이상상황 알고리즘에 따라 침입, 군집, 배회, 유기, 출현, 출입, 월담. 피플카운트, 쓰러짐, 역주행, 번호인식으로부터 선택되는 하나의 이상상황에 해당하는지 여부를 감지하는 이상상황감지부와, 상기 이상상황감지부로부터 이상상황으로 감지되는 경우 객체인식을 수행하는 객체인식부와, 상기 객체인식부로부터 객체인식된 객체의 좌표의 변화를 분석하여 상기 촬영된 영상내에 해당 객체의 이동경로 또는 이동방향을 예측하거나, 해당 객체가 상기 촬영된 영상의 센터에 위치되도록 추적을 수행하는 객체추적부와, 상기 영상입력부로부터 촬영된 영상을 디스플레이 및 모니터링함과 동시에 상기 영상입력부, 이상상황감지부, 객체인식부와 및 객체추적부를 설정하고 제어하는 통합관제부를 포함하여 구성된다.

[도 1]을 참조하여 설명하면, 본 발명의 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템은 영상입력부, 이상상황감지부, 객체인식부, 객체추적부 및 통합관제부로 구성된다.

본 발명에서 사용되는 영상입력부는 360도 회전가능하고 상, 하, 좌, 우 및 줌 기능이 내장된 PTZ(Pan/Tilt/Zoom) 카메라 또는 고정형 카메라를 포함하여 구성된다. 이때, 상기 PTZ(Pan/Tilt/Zoom) 카메라를 단독 사용하거나, 고정형 카메라를 단독 사용할 수도 있다. 또한, 상기 PTZ(Pan/Tilt/Zoom) 카메라에 복수의 보조카메라를 추가로 구성할 수 있다. 상기 복수의 보조 카메라들은 PTZ(Pan/Tilt/Zoom) 카메라의 둘레를 따라 위치 변경이 가능하고 상하, 좌우 방향으로 방향 조작이 가능한 고정형 카메라로 구성되며, PTZ(Pan/Tilt/Zoom) 메인카메라와 복수의 보조카메라는 경우에 따라 다양하게 결합 또는 분리하여 사용될 수 있다.

특히, 본 발명은 다양한 방범분야의 감시 정확도를 증대시키고, 불필요한 감시 및 추적으로 인하여 감시관제 사각지대가 발생하지 않도록 하기 위하여, 미리 설정된 알고리즘에 따른 이상 상황(침입, 군집, 배회, 유기, 출현, 출입, 월담. 피플카운트, 쓰러짐, 역주행, 번호인식 등) 감지시에만 이상 상황 객체를 실시간으로 인식 및 추적하는 기술구성을 핵심적인 특징으로 한다.

즉, 이상상황감지는 이상상황감지 알고리즘에 의하여 수행되는데, [도 2] 내지 [도 3]을 참조하여 설명하면, 상기 영상입력부로부터 촬영된 영상에 가상경계선 또는 가상구역을 설정하여 상기 가상경계선 또는 가상구역 내에서 침입, 군집, 배회, 유기, 출현, 출입, 월담. 피플카운트, 쓰러짐, 역주행, 번호인식으로부터 선택되는 하나의 이상상황이 발생하는 경우에 이를 이상상황 객체로 인식하게 되는 것이다.

상기 가상경계선 또는 가상구역의 설정은 통합관제부에서 수시로 변경하거나 설정할 수 있다.

한편, 이하에서는 본 발명의 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템이 이상상황을 감지한 경우 객체인식 및 개체추적과정에 관하여 [도 4] 내지 [도 6]을 참조하여 상세히 설명한다.

[도 4]에 나타난 바와 같이, 상기 객체인식부는 영상전처리과정, 객체추출영상생성과정, 객체분석과정을 수행한다.

[도 5] 내지 [도 6]에 도시한 바와 같이, 상기 영상전처리과정은 상기 영상입력부로부터 촬영된 영상의 배경 갱신을 통해 영상에서 배경을 추출하는 배경추출과정, 카메라 영상에서 노이즈를 제거하여 객체 영역을 명확하게 하는 노이즈제거과정, 배경 평균 영상과 현재 영상 간의 픽셀 차이를 이용하여 움직임이 발생한 영역을 객체로 판단하여 해당 영상 부분을 추출하는 움직임영역추출과정을 수행한다.

이때, 상기 배경추출과정은 카메라의 영상을 일정시간 촬영하여 누적된 영상 프레임의 평균을 취해서 배경영상을 생성하고 지속적인 업데이트를 통해 영상의 변경이 없는 고정된 영상을 배경으로 추출한다. 특히, 상기 배경 추출과정 시 영상 내 조명 환경이 어둡거나, 그라데이션 조명을 받았을 경우 영상 전 처리 과정에서 정확한 이미지 영역 코드를 얻어 낼 수 없는 문제점이 발생하기 때문에 원본 영상 내 조명 제거를 통해 정확한 배경을 추출한다.

상기 조명 제거방법은 불균등한 조명상태로 인해 배경추출이 어려운 원본영상으로부터 명도채널을 분리(RGB모델을 LAB모델로 변환하여 조명채널분리)하여 min-Filter를 적용, 조명의 상태를 알아낸 다음 smoothing(평활화)를 거쳐 원본 이미지에서 조명의 정보를 얻어내고 이를 반전하여 반전된 조명을 얻어내고, 이를 원본영상과 조합하여 조명을 제거한 후, 경계화를 통해 이미지 코드영역을 추출한다.

상기 움직임영역추출과정은 배경추출을 통해 얻어진 배경 평균 영상과 현재 영상간의 픽셀 차이를 이용하여 움직임이 발생한 영역의 영상을 객체로 판단하여 해당 영상 부분을 객체 영역으로 추출한다.

상기 노이즈제거공정은 카메라 영상에서 배경 추출 시 불규칙한 노이즈를 제거하여 정확한 객체 영역을 추출하기 위한 작업으로, 모폴로지 기법을 사용한다. 모폴로지 기법이란 영상내에 존재하는 특정 객체의 형태를 변형시키는 용도로 사용되는 영상처리기법으로 이진영상처리에 주로 사용된다.

상기 모폴로지 기법은 3*3 마스크를 사용하여, 영상전체를 마스크로 스캔하여 중심 픽셀과 주변 픽셀의 상관관계를 통해 노이즈라 판단되는 픽셀에 대하여 침식/팽창 알고리즘을 적용하여 노이즈를 제거한다.

즉, 객체의 외곽선 중 가늘게 돌출한 부위를 제거하여 객체의 외곽선을 부드럽게 만들어서 잡음을 제거하는 침식 알고리즘과, 객체의 외곽선 중 패인 부분을 채워 객체의 외곽선을 뚜렷하게 만드는 과정을 수행하는 팽창 알고리즘을 통해 침식과 팽창을 반복적으로 실행하여 객체인식 성능에 영향을 주는 불규칙한 노이즈를 제거하여 정확한 객체 영역을 추출한다.

상기 객체추출영상생성과정은 상기 영상전처리 과정을 거쳐 생성된 객체 움직임 영상의 객체 영역에 대하여 객체블록화과정, 객체그룹화과정, 그림자 제거과정을 수행한다.

즉, 상기 객체추출영상생성과정은 상기 영상전처리과정을 거쳐 생성된 객체 움직임 영상(2진 영상)의 객체 영역에 대하여 객체블록화 과정과 객체그룹화 과정 및 그림자 제거과정을 수행한다.

상기 객체블록화란 영상전처리 과정으로 생성된 객체 영역을 사각형의 영역으로 일반화하는 것으로 영역 내의 기본 정보(끝점, 객체 가로길이, 객체 세로길이)를 포함한다.

상기 객체 그룹화란, DBSCAN(Density-based spatial clustering of applications with noise)로서, 데이터 위치정보를 이용해 데이터들의 밀도를 바탕으로 군집을 판단, 같은 군집내의 데이터들은 밀도가 높게 위치해 있을 것이라는 가정으로 주변 데이터들의 밀도를 이용해 군집을 생성해 나가는 방식이다

즉, 상기 객체 그룹화과정은 객체 블록화 과정에서 추출된 객체 정보로 정확하게 구분되지 않는 객체를 정확하게 추출하기 위해 근접 블록에 대한 그룹화 과정을 진행한다. 객체 그룹화 과정은 특정 블록과 주변 블록과의 거리를 측정하여 일정 거리 미만일 경우 같은 객체 영역을 공유한다고 판단하여 단일 블록으로 재구성한다.

상기 그림자 제거과정은 객체 추출시 그림자 영역으로 인한 불필요한 데이터를 제거하기 위해 적용하는 과정으로, 그룹화된 객체 블록에서 칼라 영상의 휘도(luminance) 성분을 추출하여 그림자 영역을 추출하고, 생성된 그림자 영역의 휘도 값을 전체 영상의 휘도 값으로 근사화하여 그림자 영역을 제거한다.

상기 그림자제거과정을 통해 객체 주변의 그림자 영상을 제거하여 객체와 배경을 보다 명확하게 구분하여 인식률을 높인다.

특히, 그림자 영역이 배경모델과 색상은 동일하지만 명도의 차이가 발생한다는 점에 착안, 본 특허에서 제안된 그림자 제거 알고리즘은 배경분리 과정과 그림자 제거과정, 임계값 갱신 과정으로 나뉜다.

아울러, Gaussian 혼합모델을 이용하여 이동하는 객체 및 그림자의 특성을 분류하고 구분된 이동 객체 및 그림자 영영 내에서 그림자를 제거한 뒤 이전 프레임과 다음 프레임 간의 명도 차이를 계산하여 다음 프레임의 그림자 제거에 사용하였다.

상기 객체분석과정은 상기 객체추출영상생성과정에서 추출된 객체에 대하여 이상상황에 따라 Haar 알고리즘, HOG 알고리즘 또는 SURF 알고리즘을 이용하여 엣지패턴추출을 수행하고, 딥러닝 알고리즘을 통해 누적 저장되는 학습된 데이터와의 패턴 매칭을 통해 객체인식판별을 수행한다.

이때, 영상기반 객체 검출을 위해 사용하는 상기 Haar 알고리즘 또는 HOG 알고리즘, SURF알고리즘과 객체인식판별을 위해 사용되는 딥러닝 알고리즘을 보다 상세히 설명하면 다음과 같다.

상기 Haar 알고리즘은 영상기반 객체 검출을 위해 다양한 특징점과 학습 알고리즘을 조합하여 개발된 것으로 Haar 알고리즘은 영역간의 밝기차를 이용하가 때문에 대상물체가 사람의 얼굴의 경우에는 눈썹, 눈동자, 입술, 머리카락 등이 특징적인 밝기차를 가지기 때문에 Haar feature를 적용하기에 비교적 적합한 대상으로 볼 수 있다.

또한, HOG 알고리즘은 일반적으로 보행자 검출이나 사람의 형태에 대한 검출 즉, Object Tracking에 많이 사용되는 Feature 중 하나로서, Image의 지역적인 Gradient를 해당 영상의 특징으로 사용하는 방법이며, 가장 중요한 특징은 Edge의 양과 방향을 구분하는 특성을 가지고 있다.

특히, 엣지의 방향정보를 이용하기 때문에 일종의 엣지 기반 템플릿 매칭 방법으로도 볼 수 있으며, 엣지는 기본적으로 영상의 밝기변화, 조명 변화 등에 덜 민감하며HOG는 물체의 실루엣(윤곽선) 정보를 이용하므로 사람, 자동차 등과 같이 내부 패턴이 복잡하지 않으면서도 고유의 독특한 윤곽선 정보를 갖는 물체를 식별하는데 적합한 영상 feature 이다.

[도 7] 내지 [도 9]을 참조하여, 상기 Haar 알고리즘 또는 HOG 알고리즘에 의한 객체검출과정을 설명하면, [도 7] 내지 [도 8]은 Haar 알고리즘에 의한 객체검출로서 [도 7]은 기본형 유사 Haar 특징점을 나타낸 것으로, (a), (b), (c)는 각각 경계선 특징점, 선 특징점, 중심 특징점이며, [도 8]은 유사 Haar 특징점을 활용해 객체를 검출하는 원리를 나타낸 것으로 보행자의 각 움직임에 대해 유사도가 높은 특징점을 나타낸 것이다.

[도 9]는 HOG 특징점을 얻는 과정을 나타낸 것이다. (a)는 야간에 촬영된 보행자 영상이며, (b)는 기울기를 검출한 결과이고, (c)는 기울기 방향을 표시한 것이다. (d)는 보행자 영상을 일정한 간격으로 영역을 설정한 것이며, (e)는 각 영역에 대한 기울기 방향의 히스토그램을 나타낸 것이다. 보행자에 대한 기울기 방향 히스토그램은 HOG 특징을 비교해 보행자를 검출하는데 활용한다.

상기 SURF 알고리즘은 영상에서 실시간으로 물체를 인식하기 위해 적용되며, 인식할 이미지를 SURF를 통해 특징 점을 기억하고 실시간으로 영상에서 특징점을 체크하여 이동사물과 정지사물로 구분한다. 두 개의 SURF를 비교 후 이미지를 물체로 인식, 사물로 구분하여 패턴 인식을 통해 유기 상황을 판별한다.

한편, 상기 Haar 알고리즘, HOG 알고리즘 또는 SURF 알고리즘을 이용하여 엣지패턴추출을 수행한 후에는, [도 10]에 나타난 딥러닝 알고리즘을 통해 누적 저장되는 학습된 데이터와의 패턴 매칭을 통해 객체인식판별을 수행한다.

상기 객체분석과정에 사용되는 딥러닝 알로리즘은 다른 기계학습 알고리즘과 달리 특징 학습(Feature Learning)이 가능하다는 큰 차이점이 있다. 이미지를 보고 물체를 판단하기 위한 특징들을 검출하는데 기존의 학습 알고리즘들은 한 단계의 데이터 처리를 했던 반면, 딥러닝 알고리즘은 인공 신경망의 구조로 여러 층의 형태로 데이터를 처리하여 여러 단계를 거칠수록 어려운 내용을 학습할 수 있게 된다. 딥러닝의 핵심은 분류를 통한 예측으로 수많은 데이터 속에서 패턴을 발견해 인간이 사물을 구분하듯 객체인식부가 데이터를 구분하여 객체를 인식한다.

즉, [도 11]에 도시한 바와 같이, 상기 엣지패턴추출된 객체에 대하여 누적 저장되는 학습된 데이터의 패턴 매칭을 통해 객체를 인식판별한다. 객체 영역의 영상과 학습된 데이터 간의 패턴 비교를 통해 찾고자 하는 특정 객체(사람, 차량 등)인지 판단하며, 특정 객체로 판정되면 추적 기능이 적용된다.

상기 객체추적부는 상기 객체인식부에서 객체인식판별된 객체의 패턴의 좌표를 추출하고, 좌표의 변화에 관한 전,후 측정데이터를 칼만필터 알고리즘을 이용하여 상기 촬영된 영상내에 해당 객체의 이동경로 또는 이동방향을 예측하거나, 해당 객체가 상기 촬영된 영상의 센터에 위치되도록 추적을 수행한다.

즉, 상기 객체추적부는 인식된 객체의 패턴을 분석하여 대상 영역을 일정 크기의 셀로 분할하고, 각 셀마다 가장자리 픽셀들의 방향에 대한 분포도를 구한 후 이들 분포도 값들을 일렬로 연결한 벡터값으로 객체의 이동경로를 예측한다.

특히, 영상에서의 좌표를 추출하고, 좌표의 변화를 분석하여 이동방향과 이동거리를 예측하고 예측되는 이동방향과 이동거리를 이용하여 촬영된 영상내에 해당 객체의 이동경로 또는 이동방향을 예측하거나, 해당 객체가 영상의 센터에 위치되도록 감시카메라가 촬영하게 하며, 이때, 추적은 이전 측정데이터와 새로운 측정 데이터를 사용하여 데이터에 포함된 노이즈를 제거하여 새로운 결과를 추정하는 칼만필터 알고리즘을 사용한다.

이상의 설명은 본 발명의 기술사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (7)

1. 360도 회전가능하고 상, 하, 좌, 우 및 줌 기능이 내장된 PTZ(Pan/Tilt/Zoom) 카메라 또는 고정형 카메라를 포함하여 구성되는 영상입력부와, 상기 영상입력부로부터 촬영된 영상이 미리 설정된 이상상황 알고리즘에 따라 침입, 군집, 배회, 유기, 출현, 출입, 월담. 피플카운트, 쓰러짐, 역주행, 번호인식으로부터 선택되는 하나의 이상상황에 해당하는지 여부를 감지하는 이상상황감지부와, 상기 이상상황감지부로부터 이상상황으로 감지되는 경우 영상전처리과정, 객체추출영상생성과정, 객체분석과정을 통하여 객체인식을 수행하되, 상기 객체분석과정은 상기 객체추출영상생성과정에서 추출된 객체에 대하여 이상상황에 따라 Haar 알고리즘, HOG 알고리즘 또는 SURF 알고리즘을 이용하여 엣지패턴추출을 수행하고, 딥러닝 알고리즘을 통해 누적 저장되는 학습된 데이터와의 패턴 매칭을 통해 객체인식판별을 수행하는 객체인식부와, 상기 객체인식부로부터 객체인식된 객체의 좌표의 변화를 분석하여 상기 촬영된 영상내에 해당 객체의 이동경로 또는 이동방향을 예측하거나, 해당 객체가 상기 촬영된 영상의 센터에 위치되도록 추적을 수행하는 객체추적부와, 상기 영상입력부로부터 촬영된 영상을 디스플레이 및 모니터링함과 동시에 상기 영상입력부, 이상상황감지부, 객체인식부와 및 객체추적부를 설정하고 제어하는 통합관제부를 포함하여 구성되는 것을 특징으로 하는 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템
   
2. 제1항에 있어서,
   상기 이상상황 알고리즘은 상기 영상입력부로부터 촬영된 영상에 가상경계선 또는 가상구역을 설정하여 상기 가상경계선 또는 가상구역 내에서 침입, 군집, 배회, 유기, 출현, 출입, 월담. 피플카운트, 쓰러짐, 역주행, 번호인식으로부터 선택되는 하나의 이상상황이 발생하는 경우 상기 통합관제부에 이상상황을 전송하고 객체인식을 수행하는 것을 특징으로 하는 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템
   
3. 삭제
4. 제1항에 있어서,
   상기 영상전처리과정은 상기 영상입력부로부터 촬영된 영상의 배경 갱신을 통해 영상에서 배경을 추출하는 배경추출과정, 카메라 영상에서 노이즈를 제거하여 객체 영역을 명확하게 하는 노이즈제거과정, 배경 평균 영상과 현재 영상 간의 픽셀 차이를 이용하여 움직임이 발생한 영역을 객체로 판단하여 해당 영상 부분을 추출하는 움직임영역추출과정을 수행하는 것을 특징으로 하는 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템
   
5. 제1항에 있어서,
   상기 객체추출영상생성과정은 상기 영상전처리 과정을 거쳐 생성된 객체 움직임 영상의 객체 영역에 대하여 객체블록화과정, 객체그룹화과정, 그림자 제거과정을 수행하는 것을 특징으로 하는 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템
   
6. 삭제
7. 제1항에 있어서,
   상기 객체추적부는 상기 객체인식부에서 객체인식판별된 객체의 패턴의 좌표를 추출하고, 좌표의 변화에 관한 전,후 측정데이터를 칼만필터 알고리즘을 이용하여 상기 촬영된 영상내에 해당 객체의 이동경로 또는 이동방향을 예측하거나, 해당 객체가 상기 촬영된 영상의 센터에 위치되도록 추적을 수행하는 것을 특징으로 하는 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템

Images