KR101213255B1 - 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법 - Google Patents

영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법 Download PDF

Info

Publication number
KR101213255B1
KR101213255B1 KR1020120102048A KR20120102048A KR101213255B1 KR 101213255 B1 KR101213255 B1 KR 101213255B1 KR 1020120102048 A KR1020120102048 A KR 1020120102048A KR 20120102048 A KR20120102048 A KR 20120102048A KR 101213255 B1 KR101213255 B1 KR 101213255B1
Authority
KR
South Korea
Prior art keywords
sensor network
wireless sensor
foreground
background
image processing
Prior art date
Application number
KR1020120102048A
Other languages
English (en)
Inventor
박종현
김대광
임성조
이상수
Original Assignee
박종현
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박종현 filed Critical 박종현
Priority to KR1020120102048A priority Critical patent/KR101213255B1/ko
Application granted granted Critical
Publication of KR101213255B1 publication Critical patent/KR101213255B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

본 발명은 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법에 관한 것이다. 보다 상세하게는 지능형 카메라와 무선 센서네트워크를 이용하여 Pervasive Computing 환경에서 다양하고 유용한 서비스 구현을 위한 상황인지 시스템을 구축함으로써, 누가, 어디서, 무엇을 하고 있는지에 대한 상황정보를 인지하여 산업현장 등에서 위험지역 진입을 파악하고 사고를 미연에 방지할 수 있는 등 다양한 상황에 활용할 수 있으며, 전경과 배경을 정확하고 효율적으로 분리하기 위해 픽셀 기반의 배경분리 기법을 사용하고, 실시간 영상에서 특징점이 시간에 따라서 변할 때 이용되는 벡터의 크기와 방향 정보인 Optical Flow의 평균과 분산값 변화량을 통해 이상행동을 인지하며, 무선 센서네트워크의 수신감도를 이용하여 위치 계산 및 오차보정을 수행함으로써, 영상처리에서의 특징추출의 어려움과 무선 센서네트워크에서의 위치추적의 어려움을 극복할 수 있는 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법에 관한 것이다.
이를 위해 본 발명은 영상을 취득하는 카메라; 상기 카메라가 취득한 영상에서 전경(foreground)과 배경(background)을 감지하여 분리하는 전경/배경 감지모듈, 상기 전경/배경 감지모듈이 배경을 제거한 전경 물체에 대해서 관심영역(ROI)을 설정하는 관심영역 분류모듈, 상기 관심영역의 질량중심을 이용하여 상기 관심영역을 추적하는 관심영역 추적모듈, 상기 질량중심의 궤적을 이용하여 이벤트를 감지하되 특정 환경에서 복수의 행동 패턴을 정의하고 정의된 패턴을 인식하여 이상행동을 포함한 이벤트를 감지하는 이상행동 감지모듈을 포함하는 영상처리부; 메쉬 형태로 복수개 배치되는 노드를 포함하는 무선 센서네트워크; 및 상기 무선 센서네트워크의 게이트웨이로 들어오는 RSSI(Received Signal Strength Indication)값을 받으며 정육면체 공간에 복수개 고정되는 비컨(beacon), 상기 각 비컨과의 현재 측정 거리가 저장되는 임시버퍼, 상기 각 비컨과의 이전 측정거리가 저장되는 계산버퍼, 상기 임시버퍼에 저장된 거리값과 상기 계산버퍼에 저장된 거리값 간의 변화량을 기 설정된 허용오차와 비교하는 위치계산 및 오차보정부를 포함하는 것을 특징으로 하는 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템을 제공한다.

Description

영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법{System and method for context-aware using image processing and wireless sensor network}
본 발명은 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법에 관한 것이다. 보다 상세하게는 지능형 카메라와 무선 센서네트워크를 이용하여 Pervasive Computing 환경에서 다양하고 유용한 서비스 구현을 위한 상황인지 시스템을 구축함으로써, 누가, 어디서, 무엇을 하고 있는지에 대한 상황정보를 인지하여 산업현장 등에서 위험지역 진입을 파악하고 사고를 미연에 방지할 수 있는 등 다양한 상황에 활용할 수 있으며, 전경과 배경을 정확하고 효율적으로 분리하기 위해 픽셀 기반의 배경분리 기법을 사용하고, 실시간 영상에서 특징점이 시간에 따라서 변할 때 이용되는 벡터의 크기와 방향 정보인 Optical Flow의 평균과 분산값 변화량을 통해 이상행동을 인지하며, 무선 센서네트워크의 수신감도를 이용하여 위치 계산 및 오차보정을 수행함으로써, 영상처리에서의 특징추출의 어려움과 무선 센서네트워크에서의 위치추적의 어려움을 극복할 수 있는 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법에 관한 것이다.
IBM은 최근 "Pervasive Computing" 이라는 제목의 보고서에서 사무실 외부나 자동차를 포함한 어느 곳에서도 자유롭게 회사의 정보망에 연결해 업무를 처리하고 교통상황, 기상 등 간단한 정보조회는 물론, 금융업무도 볼 수 있도록 컴퓨팅 환경이 바뀔 것으로 전망했다. 향후 Pervasive Computing 시대에는 컴퓨팅 및 커뮤니케이션 능력을 가진 스마트 객체들이 동적인 환경변화을 인식하고 이에 적용할 수 있는 상황인지(Context-aware)의 특성을 갖게 될 것이다.
상황정보는 사용자가 상호작용을 하는 시점에 가용한 거의 모든 정보이며, 응용 운영환경의 일부로 응용이 감지할 수 있는 정보를 포함한다. 이러한 지능적 환경(smart environment)을 구현하기 위해서는 온도, 습도, 조도, 압력, 가속도, 기울기, 카메라, IR(Infrared Ray), 가시광선, motion, 자기장 등 다양한 종류와 기능을 가진 센서들로부터의 상황인지 정보수집이 필요하다. 특히 사물의 위치는 이를 위한 중요한 정보가 되므로 많은 서비스들이 연구되고 있다.
상황인지를 위해서는 누가(object), 어디서, 무엇을 하고 있는지에 대한 인지가 필요하다.
"누가"에 대한 정보를 인지하기 위해서는 pervasive computing 환경에서 중요한 요소인 추적하고자 하는 물체의 각각의 ID를 식별하여야 한다. 최근 비디오 영상 시퀀스에서의 자동물체인식 및 추적기술은 무인감시, 지능형 교통시스템, 군용시스템 등 많은 분야에서 응용되고 있고, 화면상에 나타나는 추적물체의 숫자 파악, 경계선 침입, 정해진 행동패턴의 인식은 가능하지만, 추적하고자 하는 물체의 ID를 식별할 수 없다는 문제점이 있다.
"무엇을"에 대한 정보를 인지하기 위해서는 정확한 위치와 행동 패턴을 인식하여야 한다. 그러나, 영상을 이용한 정보처리는 조명, 그림자, 노이즈의 간섭에 의해 특징추출에 어려움이 있다.
따라서, pervasive computing 환경에서 다양하고 유용한 서비스 구현을 위한 상황인지시스템을 구축하기 위해 누가, 어디서, 무엇을 하고 있는지에 대한 상황정보 인식 기술의 개발필요성이 대두된다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 누가, 어디서, 무엇을 하고 있는지에 대한 상황정보를 인지하여 산업현장 등에서 위험지역 진입을 파악하고 사고를 미연에 방지할 수 있는 등 다양한 상황에 활용할 수 있으며, 영상처리에서의 특징추출의 어려움과 무선 센서네트워크에서의 위치추적의 어려움을 극복할 수 있는 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위해 안출된 본 발명에 따른 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템은 영상을 취득하는 카메라; 상기 카메라가 취득한 영상에서 전경(foreground)과 배경(background)을 감지하여 분리하는 전경/배경 감지모듈, 상기 전경/배경 감지모듈이 배경을 제거한 전경 물체에 대해서 관심영역(ROI)을 설정하는 관심영역 분류모듈, 상기 관심영역의 질량중심을 이용하여 상기 관심영역을 추적하는 관심영역 추적모듈, 상기 질량중심의 궤적을 이용하여 이벤트를 감지하되 특정 환경에서 복수의 행동 패턴을 정의하고 정의된 패턴을 인식하여 이상행동을 포함한 이벤트를 감지하는 이상행동 감지모듈을 포함하는 영상처리부; 메쉬 형태로 복수개 배치되는 노드를 포함하는 무선 센서네트워크; 및 상기 무선 센서네트워크의 게이트웨이로 들어오는 RSSI(Received Signal Strength Indication)값을 받으며 정육면체 공간에 복수개 고정되는 비컨(beacon), 상기 각 비컨과의 현재 측정 거리가 저장되는 임시버퍼, 상기 각 비컨과의 이전 측정거리가 저장되는 계산버퍼, 상기 임시버퍼에 저장된 거리값과 상기 계산버퍼에 저장된 거리값 간의 변화량을 기 설정된 허용오차와 비교하는 위치계산 및 오차보정부를 포함하는 것을 특징으로 한다.
또한, 상기 이상행동 감지모듈은 실시간 영상에서 특징점이 시간에 따라서 변할 때 이동되는 벡터의 크기와 방향 정보인 옵티컬 플로우(Optical Flow)의 방향의 평균, 방향의 분산, 크기의 평균, 크기의 분산값이 특정 프레임에서 피크(peak)값을 가지는 경우를 이상행동으로 판단하는 것일 수 있다.
또한, 상기 위치계산 및 오차보정부는 상기 변화량이 상기 허용오차 이하일 경우 상기 임시버퍼에 저장된 거리값과 상기 계산버퍼에 저장된 거리값을 평균하여 상기 계산버퍼에 저장하여 위치를 계산할 수 있다.
또한, 상기 위치계산 및 오차보정부는 임의의 비컨에서 계산된 제1 변화량이 상기 허용오차보다 큰 경우 다른 비컨에서 계산된 제2 변화량과 상기 허용오차를 비교하여 위치계산 및 오차를 판별하되, 제2 변화량이 상기 허용오차보다 작다면 제1 변화량 계산에 이용된 임시버퍼의 거리값을 오차로 판별하고 제거할 수 있다.
본 발명에 따른 영상처리와 무선 센서네트워크를 이용한 상황인지 방법은 (a) 카메라가 영상을 취득하는 단계; (b) 상기 (a)단계를 통해 취득된 영상에서 전경(foreground)과 배경(background)을 감지하여 분리하는 단계; (c) 상기 (b)단계를 통해 배경이 제거된 전경 물체에 대해서 관심영역(ROI)을 설정하는 단계; (d) 상기 관심영역의 질량중심을 이용하여 상기 관심영역을 추적하는 단계; (e) 상기 질량중심의 궤적을 이용하여 이벤트를 감지하되, 특정 환경에서 복수의 행동 패턴을 정의하고 정의된 패턴을 인식하여 이상행동을 포함한 이벤트를 감지하는 단계; 및 (f) 복수개의 노드로 구성된 무선 센서네트워크로부터 데이터를 수신받아 현재 거리값을 임시버퍼에 저장하고, 이전의 수신정보가 저장된 계산버퍼의 거리값과의 변화량을 계산하여 기 설정된 허용오차와 비교함으로써 위치를 계산하고 오차를 보정하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 의하면 지능형 카메라와 무선 센서네트워크를 이용하여 Pervasive Computing 환경에서 다양하고 유용한 서비스 구현을 위한 상황인지 시스템을 구축함으로써, 누가, 어디서, 무엇을 하고 있는지에 대한 상황정보를 인지하여 산업현장 등에서 위험지역 진입을 파악하고 사고를 미연에 방지할 수 있는 등 다양한 상황에 활용할 수 있는 효과가 있다.
또한, 본 발명에 의하면 전경과 배경을 정확하고 효율적으로 분리하기 위해 픽셀 기반의 배경분리 기법을 사용하고, 실시간 영상에서 특징점이 시간에 따라서 변할 때 이용되는 벡터의 크기와 방향 정보인 Optical Flow의 평균과 분산값 변화량을 통해 이상행동을 인지하며, 무선 센서네트워크의 수신감도를 이용하여 위치 계산 및 오차보정을 수행함으로써, 영상처리에서의 특징추출의 어려움과 무선 센서네트워크에서의 위치추적의 어려움을 극복할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템의 구성도,
도 2는 본 발명의 바람직한 실시예에 따른 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 중 영상처리를 이용한 감시 시스템(영상처리부)의 흐름도,
도 3은 GMM에 의한 데이터 적층을 통한 확률적 모델을 획득하는 과정을 도시한 도면,
도 4는 GMM 모델을 이용하여 추출된 물체와, Optical Flow를 이용한 데이터 결합에 의해 제안된 시스템의 알고리즘 다이어그램,
도 5는 도 4의 알고리즘을 이용하여 구현한 화면의 일례를 도시한 도면,
도 6은 주차장에서 연출된 4가지 상황에 따라 데이터를 추출한 장면을 도시한 도면,
도 7은 도 6의 상황에 따라서 추출된 물체의 Optical Flow에 대한 '방향의 분산'을 도시한 그래프,
도 8은 도 6의 상황에 따라서 추출된 물체의 Optical Flow에 대한 '크기의 평균'을 도시한 그래프,
도 9는 도 6의 상황에 따라서 추출된 물체의 Optical Flow에 대한 '크기의 분산'을 도시한 그래프,
도 10은 도 6의 상황에 따라서 추출된 물체의 Optical Flow에 대한 '방향의 평균'을 도시한 그래프,
도 11은 도 1의 시스템 구성도에서 USN Gateway로 들어오는 데이터의 흐름을 표시한 도면,
도 12 내지 도 14는 센서 네트워크를 이용한 위치추적에서 위치계산 및 오차보정 과정에 대한 개념도,
도 15는 도 12 내지 도 14에서 설명한 위치계산 및 오차보정에 대한 알고리즘을 도시한 순서도,
도 16은 실외에서 PDA 단말기를 이용하여 위치추적을 구현한 사진,
도 17은 도 16의 PDA 화면,
도 18은 본 발명에 따른 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템을 구현한 프로그램 화면,
도 19는 실제 산업현장 영상과, 상황인지 시스템의 영상을 도시한 도면이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
먼저, 본 발명의 바람직한 실시예에 따른 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템의 하드웨어의 구성과 역할에 대해 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템의 구성도이다.
본 발명의 바람직한 실시예에 따른 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템은, 도 1을 참조하면, PC(100), 카메라(200), 무선 센서네트워크(300)(이하, WSN), 및 CDMA 모듈(400)을 포함하여 이루어진다.
PC(100)는 Aggregator Layer(102), Mediation Layer(104), Application Layer(106)를 포함한다.
Aggregator Layer(102)는 카메라(200)와 WSN(300) 등의 데이터를 수집하기 위한 물리적 계층인 Sensor Layer(미도시)로부터 넘겨받은 데이터를 정렬하고 분류하여 상위계층인 Mediation Layer(104)로 넘겨준다.
Mediation Layer(104)는 정렬된 데이터를 정의된 필터 또는 관계모델을 통해서 분리하거나 제거한 뒤, 위치값을 계산하여 위치값을 버퍼에 저장한다.
Application Layer(106)는 Mediation Layer(104)로부터 넘겨받은 위치값을 영상처리를 통해서 얻은 물체의 추적값과 비교한 뒤 매칭시킨다. 또한, Application Layer(106)는 결과값을 화면에 디스플레이하거나 주어진 패턴에 따른 이상행동을 감지한 경우 정책에 따라 다른 호스트 디바이스(Host Device)로 전송한다.
카메라(200)는 영상을 취득하여 PC(100)로 전송한다. 카메라(200)로는 CCD 카메라가 사용될 수 있으며, USB 또는 1394 타입의 표준 인터페이스를 통해 PC(100)와 연결될 수 있다.
WSN(300)은 메쉬(mesh) 형태로 형성되며, WSN Gateway(Base-station)를 통해서 위치 데이터를 수집한다.
오픈된 공간에서 WSN(300)을 구성하는 특정 노드 간의 거리를 R이라고 했을 때, 1/R2의 함수로 RSSI(Received Signal Strength Indication)가 감소된다. 또한, 지표면의 경우 RSSI가 1/4R의 함수로 감소되며, 노드의 안테나 방향까지 고려하여야 한다.
일반적으로 RSSI를 이용한 위치추적 방법은 정확도가 다소 떨어지나, 도 1처럼 Application Layer(106)에서 영상데이터와 위치값을 매칭시키기 때문에 WSN 장비에서는 대략적인 위치값과 각 노드의 객체정보만 전송하면 충분하다.
CDMA 모듈(400)은 발생된 이벤트에 대해서 관리자에게 데이터를 발송한다.
다음으로, 본 발명의 바람직한 실시예에 따른 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템의 소프트웨어의 구성과 역할에 대해 설명한다.
1. 영상처리를 이용한 상황인지 시스템
도 2는 본 발명의 바람직한 실시예에 따른 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 중 영상처리를 이용한 감시 시스템(영상처리부)의 흐름도이다.
영상처리부는 전경/배경 감지모듈(110), 관심영역 분류모듈(112), 관심영역 추적모듈(114), 및 이상행동 감지모듈(116)을 포함한다.
카메라의 프레임(frame)은 프로그램의 메모리 버퍼에 저장되며, 저장된 메모리에서 순차적으로 영상을 분석한다.
전경/배경 감지모듈(110)은 메모리 버퍼에 저장된 프레임을 불러와서 전경( foreground) 물체와 배경(background)을 분리한다. 전경 물체와 배경을 정확하고 효율적으로 분리하는 것은 매우 중요하며, 이 단계에서 정확하게 물체를 분리해내지 못하면 다음 단계인 물체추적(tracking)과 관심물체의 행동분석은 매우 어렵게 된다.
전경/배경 감지모듈(110)은 효과적인 배경의 제거를 위해 적용 환경에 대해 고려한다. 실외는 조명제어가 어려우므로 실내에 비해 배경제거작업이 어렵고 복잡하다. 예컨대, 실외에서는 갑작스런 물체의 등장으로 인한 변화뿐만 아니라, 분수대, 나뭇가지의 흔들림, 광고 모니터의 깜박거림 등을 고려하여야 한다.
본 발명에서는 배경의 제거를 위해 픽셀 기반의 배경분리 기법인 GMM(Gaussian Mixture Model)을 사용한다.
도 3은 GMM에 의한 데이터 적층을 통한 확률적 모델을 획득하는 과정을 도시한 도면이다.
GMM에 의하면 도 3과 같이 짧은 시간에 대한 프레임들이 있을 때 특정 픽셀은 각각 시공간적으로 독립적이며 동일한 확률적 모델을 이룬다고 가정하고 확률적으로 접근한다. 이때, 최적의 모델을 찾기 위해 반복적 절차를 이용하여 학습하며 이를 EM(Expectation Maximum)이라고 한다.
시간의 흐름에 따른 각각의 픽셀값을 고려하면 아래의 수학식 1과 같이 누적값의 획득이 가능하다.
Figure 112012074452997-pat00001
여기서 Ij(x, y)는 위치 (x, y)에서의 픽셀에 대한 시간 j의 gray scale 값이다. 수학식 1의
Figure 112012074452997-pat00002
에 대한 가우시안 확률 혼합모델은 아래 수학식 2의 PDF(Probability Density Function)을 통해 얻을 수 있다.
Figure 112012074452997-pat00003
위의 수학식 2에서 ωi는 Gaussian component Ci에 i번째 정규화된 가중치 값이다. 따라서
Figure 112012074452997-pat00004
이다.
Figure 112012074452997-pat00005
는 Ci를 위한 PDF이고, 이것은 아래 수학식 3과 같이 표현할 수 있다.
Figure 112012074452997-pat00006
위의 수학식 3은 관측데이터의 집합 x에 대하여 ωi번째 성분 파라미터
Figure 112012074452997-pat00007
로 이루어진 PDF 값을 계산하는 것이며, 이때 확률값을 최대화하는 값을 구하기 위해 EM을 반복적으로 학습하고 매 장면마다 평균과 분산에 대한 값을 갱신한다.
관심영역 분류모듈(112)은 전경/배경 감지모듈(110)에서 배경을 제거한 전경 물체에 대해서 ROI(Region of Interest)를 설정한다.
관심영역 추적모듈(114)은 관심영역 분류모듈(112)을 통해 얻은 ROI를 통해 질량중심을 이용하여 ROI를 추적한다.
이상행동 감지모듈(116)은 중심의 궤적과 위치정보를 통해 이벤트를 감지한다. 본 발명에서는 상기와 같은 과정에 기반한 특이행동의 인지를 목적으로 한다. 이를 위해 특정환경에서 몇 가지의 행동패턴을 정의하고, 실험을 통해 패턴인식을 위한 효율적인 방법을 도출하였다.
2. Optical Flow를 이용한 이상행동의 인지
Optical Flow는 실시간 영상에서 특징점이 시간에 따라서 변할 때 이동되는 벡터의 크기와 방향 정보이다. 이러한 데이터는 정보 특징의 적당한 조합을 통해 여러가지로 해석이 가능하다. 본 발명에서는 세가지 요소(D: 흐름의 방향, M: 흐름의 크기, Q: vector의 개수)들의 데이터를 이용하여 아래와 같은 방식을 취한다.
D, M, Q의 평균값을 각각
Figure 112012074452997-pat00008
, 표준편차를 각각
Figure 112012074452997-pat00009
라 할 때, 아래 수학식 4와 같이 정의한다.
Figure 112012074452997-pat00010
아래와 같은 수학식 5를 구하여 활용한다.
Figure 112012074452997-pat00011
본 발명에서는 수학식 5와 같이 단순히 데이터를 곱하는 형식을 취하였다. 이는 사람의 운동패턴이 평소에는 간단하지만 폭력적인 상황이나 특이한 행동의 경우에는 패턴이 매우 복잡하다는 것을 이용한 것이다. 그러나, 이와 같은 형식에 의하면 일례로 엘리베이터의 내부환경(인테리어, 벽면 유리, 카메라 위치)을 모두 배경으로 간주하였고, 엘리베이터 탑승자의 옷의 특징에 따른 변화를 고려하지 않았다. 따라서, 특징값 (D, M, Q)를 통해 이상행동을 의심할 수는 있지만 명확한 기준을 두고 사용할 수 없다는 단점이 있다.
본 발명에서는 이러한 단점을 극복하기 위해 벡터의 방향에 대한 평균과 분산, 그리고 벡터의 크기에 대한 평균과 분산 결과를 도출하여 명확한 활용방안을 제시한다.
이상행동을 인지하기 위해서는 적용하고자 하는 환경에 맞게 관찰대상 물체의 패턴을 정의해야 한다. 사무실, 복도, 지하철, 캠퍼스 내에서 일반적인 객체의 움직임을 Foreground pixels의 추적과 물체간의 휘도(luminance contrast) 차이를 이용하고, blob의 궤적을 이용하여 이상행동을 관찰하였다.
도 4는 GMM 모델을 이용하여 추출된 물체와, Optical Flow를 이용한 데이터 결합에 의해 제안된 시스템의 알고리즘 다이어그램이다.
GMM은 online-EM 알고리즘을 이용하였고, Optical Flow는 Lucas Kanade Optical Flow 방법을 이용하였다.
일례로, 본 발명에서는 이러한 알고리즘을 바탕으로 하여 주차장이라는 특정 환경에서 "뛰다, 걷다, 도난, 폭력"이라는 4가지 새로운 행동패턴을 정의하여 시스템을 구성하였다(실제의 상황인지 시스템도 특정 범위를 모니터링하기 때문).
도 5는 도 4의 알고리즘을 이용하여 구현한 화면의 일례를 도시한 도면이다.
도 5(a)는 실제 비디오 촬영 영상, 도 5(b)는 관심영역에 대한 Optical Flow 영상, 도 5(c)는 GMM을 통해 추출된 물체에 대해서 데이터를 추출하는 장면이다. 도 5(c)에서 중앙의 원은 평균과 분산, 평균방향을 나타낸다.
도 6은 주차장에서 연출된 4가지 상황에 따라 데이터를 추출한 장면을 도시한 도면이다. 연출된 상황은 각각 "도난, 뛰다, 폭력, 걷다"이며, 상기 4가지로 실험을 진행하였다.
도 7은 도 6의 상황에 따라서 추출된 물체의 Optical Flow에 대한 '방향의 분산'을 도시한 그래프, 도 8은 도 6의 상황에 따라서 추출된 물체의 Optical Flow에 대한 '크기의 평균'을 도시한 그래프, 도 9는 도 6의 상황에 따라서 추출된 물체의 Optical Flow에 대한 '크기의 분산'을 도시한 그래프, 도 10은 도 6의 상황에 따라서 추출된 물체의 Optical Flow에 대한 '방향의 평균'을 도시한 그래프이다. 여기서, Optical Flow의 방향은 기준축을 양의 x축으로 하는 각도(radian)값이다.
도 7을 참조하면, vector의 방향에 대한 분산값을 통해 도난과 폭력 상황에서 peak 지점을 가지는 것을 알 수 있다. 이는 폭력이나 도난시에 vector의 방향에 대한 변동이 크기 때문이다.
도 8 및 도 9를 참조하면, 이상행동 이후에 범죄자가 빠른 걸음으로 현장을 뛰어나가는 시점에서 peak가 발생함을 알 수 있다.
도 10을 참조하면, 정상적인 행동인 '걷다'에서 가장 높은 값을 지속적으로 유지하는 것을 확인할 수 있다. 이는 주차장이라는 환경에서 차량의 승하차시 정상적으로 발생하는 것이며, vector의 평균 방향이 일정하게 유지되기 때문이기도 하다.
도 7 내지 도 10을 통해 정상적인 행동이 아닌 이상행동 시에는 vector의 방향과 크기에 대한 평균과 분산이 큰 차이를 보임을 확인할 수 있다.
또한, 도 7 내지 도 10에서 gray 면으로 표시된 중간의 평면 영역은 이상행동을 효율적으로 감지하기 위한 임게치를 설정해 놓은 것이다. 환경에 영향을 받지 않는 적응적인 임계치 설정을 통해 임계치를 초과하면 이상행동으로 간주하는 방식을 통하여 주차장이라는 환경에서의 이상행동에 대한 인지가 효과적으로 이루어질 수 있다.
3. 센서 네트워크의 수신감도를 이용한 위치추적
도 11은 도 1의 시스템 구성도에서 USN Gateway로 들어오는 데이터의 흐름을 표시한 도면이다.
도 11에서 B1~B4는 RSSI 값을 받는 고정형 센서이며, 센서는 정육면체 공간에 4개 고정된다(B1의 B는 beacon의 약자임).
각 beacon과의 측정된 거리값은 최대 최소값에 해당하는 필터를 거친 후 임시버퍼에 저장된다. 임시버퍼의 거리값이 위치계산에 이용되면 계산버퍼에 저장된다. 임시버퍼에 측정된 거리값이 저장되면 계산버퍼에 저장된 거리값과의 변화량을 허용오차와 비교한다.
도 12 내지 도 14는 센서 네트워크를 이용한 위치추적에서 위치계산 및 오차보정 과정에 대한 개념도이다.
도 12를 참조하면, 변화량이 허용오차 이하일 경우 임시버퍼에 저장된 거리값과 계산버퍼에 저장된 거리값을 평균하여 계산버퍼에 저장하고 위치를 계산한다.
도 13을 참조하면, 변화량(제1 변화량)이 허용오차보다 클 경우 다른 임시버퍼에 저장된 거리값의 변화량(제2 변화량)을 비교하여 위치계산 및 오차를 판별하다. 제2 변화량이 허용오차보다 작다면 첫번째 측정된 거리값(제1 변화량 계산시 사용한 임시버퍼의 거리값)을 오차로 판별하고 제거한다.
도 14를 참조하면, 제2 변화량이 허용오차보다 크다면 listener의 위치가 변경되었다고 판단하고, 임시버퍼의 거리값을 계산버퍼에 반영하고 계산버퍼의 거리값 정보를 이용하여 위치계산을 수행한다. 계산된 위치정보를 이용하여 측정되지 않은 beacon의 거리값을 보정한다.
도 15는 도 12 내지 도 14에서 설명한 위치계산 및 오차보정에 대한 알고리즘을 도시한 순서도이다.
도 16은 실외에서 PDA 단말기를 이용하여 위치추적을 구현한 사진이고, 도 17은 도 16의 PDA 화면이며, 도 18은 본 발명에 따른 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템을 구현한 프로그램 화면이다. 도 19는 실제 산업현장 영상과, 상황인지 시스템의 영상을 도시한 도면이다.
도 18에서는 산업현장에서 노동자의 상황인지를 구현하였다.
도 18 및 도 19를 참조하면, 무선데이터와 영상데이터 처리를 이용한 프로그램을 통해 ⓐ~ⓕ까지 화면상에 잡히는 사람들의 위치와 상태를 인식하여 산업현장에서 노동자의 위험지역 진입이나 사고를 미연에 방지할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 - PC 200 - 카메라
300 - WSN 400 - CDMA 모듈

Claims (5)

  1. 영상을 취득하는 카메라;
    상기 카메라가 취득한 영상에서 전경(foreground)과 배경(background)을 감지하여 분리하는 전경/배경 감지모듈, 상기 전경/배경 감지모듈이 배경을 제거한 전경 물체에 대해서 관심영역(ROI)을 설정하는 관심영역 분류모듈, 상기 관심영역의 질량중심을 이용하여 상기 관심영역을 추적하는 관심영역 추적모듈, 상기 질량중심의 궤적을 이용하여 이벤트를 감지하되 특정 환경에서 복수의 행동 패턴을 정의하고 정의된 패턴을 인식하여 이상행동을 포함한 이벤트를 감지하는 이상행동 감지모듈을 포함하는 영상처리부;
    메쉬 형태로 복수개 배치되는 노드를 포함하는 무선 센서네트워크; 및
    상기 무선 센서네트워크의 게이트웨이로 들어오는 RSSI(Received Signal Strength Indication)값을 받으며 정육면체 공간에 복수개 고정되는 비컨(beacon), 상기 각 비컨과의 현재 측정 거리가 저장되는 임시버퍼, 상기 각 비컨과의 이전 측정거리가 저장되는 계산버퍼, 상기 임시버퍼에 저장된 거리값과 상기 계산버퍼에 저장된 거리값 간의 변화량을 기 설정된 허용오차와 비교하는 위치계산 및 오차보정부
    를 포함하는 것을 특징으로 하는 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템.
  2. 제1항에 있어서, 상기 이상행동 감지모듈은
    실시간 영상에서 특징점이 시간에 따라서 변할 때 이동되는 벡터의 크기와 방향 정보인 옵티컬 플로우(Optical Flow)의 방향의 평균, 방향의 분산, 크기의 평균, 크기의 분산값이 특정 프레임에서 피크(peak)값을 가지는 경우를 이상행동으로 판단하는 것을 특징으로 하는 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템.
  3. 제1항에 있어서, 상기 위치계산 및 오차보정부는
    상기 변화량이 상기 허용오차 이하일 경우 상기 임시버퍼에 저장된 거리값과 상기 계산버퍼에 저장된 거리값을 평균하여 상기 계산버퍼에 저장하여 위치를 계산하는 것을 특징으로 하는 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템.
  4. 제1항에 있어서, 상기 위치계산 및 오차보정부는
    임의의 비컨에서 계산된 제1 변화량이 상기 허용오차보다 큰 경우 다른 비컨에서 계산된 제2 변화량과 상기 허용오차를 비교하여 위치계산 및 오차를 판별하되, 제2 변화량이 상기 허용오차보다 작다면 제1 변화량 계산에 이용된 임시버퍼의 거리값을 오차로 판별하고 제거하는 것을 특징으로 하는 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템.
  5. (a) 카메라가 영상을 취득하는 단계;
    (b) 상기 (a)단계를 통해 취득된 영상에서 전경(foreground)과 배경(background)을 감지하여 분리하는 단계;
    (c) 상기 (b)단계를 통해 배경이 제거된 전경 물체에 대해서 관심영역(ROI)을 설정하는 단계;
    (d) 상기 관심영역의 질량중심을 이용하여 상기 관심영역을 추적하는 단계;
    (e) 상기 질량중심의 궤적을 이용하여 이벤트를 감지하되, 특정 환경에서 복수의 행동 패턴을 정의하고 정의된 패턴을 인식하여 이상행동을 포함한 이벤트를 감지하는 단계; 및
    (f) 복수개의 노드로 구성된 무선 센서네트워크로부터 데이터를 수신받아 현재 거리값을 임시버퍼에 저장하고, 이전의 수신정보가 저장된 계산버퍼의 거리값과의 변화량을 계산하여 기 설정된 허용오차와 비교함으로써 위치를 계산하고 오차를 보정하는 단계
    를 포함하는 것을 특징으로 하는 영상처리와 무선 센서네트워크를 이용한 상황인지 방법.

KR1020120102048A 2012-09-14 2012-09-14 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법 KR101213255B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120102048A KR101213255B1 (ko) 2012-09-14 2012-09-14 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120102048A KR101213255B1 (ko) 2012-09-14 2012-09-14 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101213255B1 true KR101213255B1 (ko) 2012-12-18

Family

ID=47907840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120102048A KR101213255B1 (ko) 2012-09-14 2012-09-14 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101213255B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101552564B1 (ko) * 2014-03-12 2015-09-14 홍익대학교 산학협력단 가스센서 및 ｉｐ네트워크 카메라 기반 융합 보안 시스템
KR101877294B1 (ko) * 2018-01-16 2018-07-11 한국비전기술주식회사 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템
KR20200017566A (ko) 2018-07-23 2020-02-19 경북대학교 산학협력단 실시간 상황 인지 정보에 기반한 영상 제공 장치 및 방법
WO2021002722A1 (ko) * 2019-07-04 2021-01-07 (주)넷비젼텔레콤 이벤트 태깅 기반 상황인지 방법 및 그 시스템
KR20210082301A (ko) 2019-12-24 2021-07-05 주식회사 싸인텔레콤 임베디드 카메라 기반 상황 인지 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010058903A (ja) 2008-09-03 2010-03-18 Hitachi Ltd 画像認識装置
KR101038650B1 (ko) 2011-01-26 2011-06-02 박상현 적응적 배경영상 모델링 방법, 이를 이용한 불법주정차 무인단속방법 및 불법주정차 무인단속시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010058903A (ja) 2008-09-03 2010-03-18 Hitachi Ltd 画像認識装置
KR101038650B1 (ko) 2011-01-26 2011-06-02 박상현 적응적 배경영상 모델링 방법, 이를 이용한 불법주정차 무인단속방법 및 불법주정차 무인단속시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101552564B1 (ko) * 2014-03-12 2015-09-14 홍익대학교 산학협력단 가스센서 및 ｉｐ네트워크 카메라 기반 융합 보안 시스템
KR101877294B1 (ko) * 2018-01-16 2018-07-11 한국비전기술주식회사 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템
KR20200017566A (ko) 2018-07-23 2020-02-19 경북대학교 산학협력단 실시간 상황 인지 정보에 기반한 영상 제공 장치 및 방법
WO2021002722A1 (ko) * 2019-07-04 2021-01-07 (주)넷비젼텔레콤 이벤트 태깅 기반 상황인지 방법 및 그 시스템
KR20210082301A (ko) 2019-12-24 2021-07-05 주식회사 싸인텔레콤 임베디드 카메라 기반 상황 인지 시스템

Similar Documents

Publication Publication Date Title
CN109686109B (zh) 一种基于人工智能的停车场安全监控管理系统及方法
US8184154B2 (en) Video surveillance correlating detected moving objects and RF signals
KR101877294B1 (ko) 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템
KR101788269B1 (ko) 이상 상황을 감지하는 장치 및 방법
KR101248054B1 (ko) 물체의 이동 경로를 추적하는 물체 추적 시스템 및 그 방법
KR101213255B1 (ko) 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법
JP2018173914A (ja) 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
US9213904B1 (en) Autonomous lock-on target tracking with geospatial-aware PTZ cameras
KR101698500B1 (ko) 지능형 감시카메라를 이용한 감시 시스템
EP1410333A1 (en) Moving object assessment system and method
KR102397837B1 (ko) 엣지 컴퓨팅 기반 보안 감시 서비스 제공 장치, 시스템 및 그 동작 방법
KR101179276B1 (ko) 비정상 집단 행동 탐지 방법 및 장치
US9965687B2 (en) System and method for detecting potential mugging event via trajectory-based analysis
US10210392B2 (en) System and method for detecting potential drive-up drug deal activity via trajectory-based analysis
Lalonde et al. A system to automatically track humans and vehicles with a PTZ camera
KR101795798B1 (ko) 지능형 영상감시 시스템
KR101372327B1 (ko) 스쿨존 안전관리 시스템 및 그 제공방법
KR20220000216A (ko) 딥러닝 분산 처리 기반 지능형 보안 감시 서비스 제공 장치
KR20220000226A (ko) 엣지 컴퓨팅 기반 지능형 보안 감시 서비스 제공 시스템
Sadek et al. A statistical framework for real-time traffic accident recognition
JP2012088861A (ja) 侵入物体検出装置
KR101453386B1 (ko) 차량 지능형 검색 시스템 및 그 동작방법
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
KR20220000209A (ko) 딥러닝 분산 처리 기반 지능형 보안 감시 장치의 동작 프로그램이 기록된 기록매체
KR20220000424A (ko) 엣지 컴퓨팅 기반 지능형 보안 감시 카메라 시스템

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151106

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161117

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171201

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181127

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 8