KR101842488B1 - 원거리 동적 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템 - Google Patents

Abstract

본 발명에 의한 지능형 감지시스템은 n(n은 1이상의 자연수)개의 검지카메라로부터 영상데이터를 수신하는 수신부; 상기 영상데이터를 대상으로 외부 환경 노이즈에 강인한 차분 영상 검지 알고리즘을 적용하여 객체를 검지하고 검지된 객체의 제1후보MER정보를 생성하는 제1검지부; 상기 영상데이터를 대상으로 옵티컬 플로우 알고리즘을 적용하여 객체를 검지하고 검지된 객체의 제2후보MER정보를 생성하는 제2검지부; 상기 제1 및 제2후보MER정보를 대상으로 호그 알고리즘을 적용하여 객체의 최종MER정보를 생성하는 검지판단부; 상기 객체의 최종MER정보의 이동을 추적하여 상기 객체의 동선데이터를 생성하는 트래킹부; 및 행동패턴 분석의 기준이 되는 상황인지영역과 상기 객체의 동선데이터와의 위치 관계를 이용하여 상기 객체의 행동패턴을 결정하는 행동패턴결정부를 포함하는 것을 특징으로 한다.

Description

원거리 동적 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템{SMART MONITORING SYSTEM APPLIED WITH PATTEN RECOGNITION TECHNIC BASED ON DETECTION AND TRACKING OF LONG DISTANCE-MOVING OBJECT}

본 발명은 지능형 감지시스템에 관한 것으로서, 더욱 구체적으로는 둘 이상의 검지 추적 알고리즘을 유기적으로 융합시켜 원거리에서 이동하는 객체를 더욱 정확하게 검지 및 추적하고 이를 기반으로 동적 객체의 움직임 등을 미리 정의된 기준행동패턴과 연계시킴으로써 동적 객체의 행동패턴을 시스템적으로 정확하게 인식하고 후속 조치를 더욱 효과적으로 활용할 수 있도록 구현된 지능형 감지 시스템에 관한 것이다.

범죄 예방, 안전사고 방지, 재난 감시, 건물 내지 시설물 감시, 대중교통 이용 승객 현황 파악, 주차, 교통 상황 모니터링 등의 다양한 목적을 구현하기 위하여 실내외를 불문하고 광범위한 영역에서 CCTV 및 관련 시스템 내지 장치가 구축되어 있으며, 이러한 장치나 시스템은 다양한 사회적 필요성 등에 의하여 점진적으로 증가되는 추세라고 할 수 있다.

이러한 CCTV 및 관련 시스템은 다양한 방법으로 이용되고 있는데, 통상적으로 특정 영역의 다수 위치에 CCTV를 설치하고, 이들 복수 개의 CCTV로부터 촬영되는 영상 데이터를 관제를 위한 화면표시수단에 출력하고 관리자(관제자, 이용자 등)가 이를 시청하면서 특정 사건 등을 모니터링하거나 또는 다양한 장소 내지 위치의 영상을 DB화하고 사후적 증거 활용 등으로 이용하는 방법이 주로 이용된다.

또한, 종래 CCTV 내지 관제 시스템에는 영상 분석(VS, Video Analysis) 기법 등을 이용하여 촬영된 영상에서 관심 대상이 되는 객체를 추적하고 추적된 객체의 이동을 모니터링하는 방법도 적용되고 있으며, 최근에는 추적된 객체의 이상 행위, 행동 등이 감지되는 경우 관리자 등에게 알라밍(alarming) 정보를 전송하는 방법도 조금씩 이용되고 있다.

이러한 객체 검지 내지 추적 등의 방법에는 영상 차분 기법, 옵티컬 플로우(Optical Flow) 기법 등을 이용하여 영상 데이터 내에 포함된 객체를 검지하는 방법이 이용되며, 나아가 민쉬프트 기법(Mean-Shift), 칼만 필터 기법(Kalman Filter) 등을 이용하여 객체를 추적하는 방법들이 이용된다.

그러나 이러한 객체 검지 및 추적과 관련된 기법들은 해당 기법에 의하여 검지 및 추적할 수 있는 제한된 특정 환경이나 특징(Feature) 파라미터들에 의하여 프로세싱되도록 설계되어 있으므로 각 기법마다의 특화된 제한된 환경에서는 어느 정도 성능이 발현될 수 있으나 이들 기법에 적합하지 않은 상황이나 환경에서는 객체 검지 및 추적의 효율성이 상당히 저하되는 문제점이 발생하게 된다.

이러한 이유로 종래의 기법이나 방법들은 외부 환경의 노이즈 변화에 민감하게 반응하여 검지/추적의 신뢰성이 저하됨은 물론, 지속적으로 정확하게 객체를 검지하고 추적하는 것이 어려우므로 다양한 환경에 범용적으로 적용될 수 없는 본질적인 한계가 있다고 할 수 있다.

또한, 동적 객체의 검지 또는 추적이 이루어진다고 하더라도 종래 방법은 관리자 등에게 단순히 그 결과를 표출하는 정도의 수준이므로 그 결과를 적용하여 후속적으로 활용함에 있어서는 여전히 인적(人的) 의존적인 방법에 머물러 있어 시스템과 사람(관리자) 사이의 효과적인 인터페이싱을 구현하는 것은 거의 불가능한 상태라고 할 수 있다.

본 발명은 상기와 같은 배경에서 상술된 문제점을 해결하기 위하여 창안된 것으로서, 객체 검지 및 추적의 알고리즘을 유기적으로 결합시키고 계층적으로 적용하여 객체 검지 및 추적의 오류 발생 가능성을 현저히 낮춤으로써 동적(動的) 객체의 정확하고 지속 가능한 검지 및 추적이 가능하도록 함은 물론, 추적된 객체의 동선, 거동 특성 내지 움직임 패턴을 기 정의된 행동패턴의 시계열적 조합에 의하여 정확하게 규정하여 사용자에게 인터페이싱함으로써, 동적 객체의 행동 패턴에 따른 후속적인 활용을 더욱 효과적으로 구현할 수 있는 시스템 인프라를 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점들은 아래의 설명에 의하여 이해될 수 있으며, 본 발명의 실시예에 의하여 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타난 구성과 그 구성의 조합에 의하여 실현될 수 있다.

상기 목적을 달성하기 위한 본 발명의 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템은 n(n은 1이상의 자연수)개의 검지카메라로부터 영상데이터를 수신하는 수신부; 상기 영상데이터를 대상으로 외부 환경 노이즈에 강인한 차분 영상 검지 알고리즘을 적용하여 객체를 검지하고 검지된 객체의 제1후보MER정보를 생성하는 제1검지부; 상기 영상데이터를 대상으로 옵티컬 플로우 알고리즘을 적용하여 객체를 검지하고 검지된 객체의 제2후보MER정보를 생성하는 제2검지부; 상기 제1 및 제2후보MER정보를 대상으로 호그 알고리즘을 적용하여 객체의 최종MER정보를 생성하는 검지판단부; 상기 객체의 최종MER정보의 이동을 추적하여 상기 객체의 동선데이터를 생성하는 트래킹부; 및 행동패턴 분석의 기준이 되는 상황인지영역과 상기 객체의 동선데이터와의 위치 관계를 이용하여 상기 객체의 행동패턴을 결정하는 행동패턴결정부를 포함하여 구성될 수 있다.

여기에서 본 발명의 상기 제1검지부는 일정 시간 동안 누적된 통계적 영상을 이용하여 매 프레임마다 외부환경 노이즈에 강인한 배경영상을 생성하고 상기 생성된 외부 환경 노이즈에 강인한 배경영상과 현재 영상을 차분하여 상기 제1후보MER정보를 생성하도록 구성될 수 있으며, 본 발명의 상기 제2검지부는 피라미드 루카스 앤 카나드 알고리즘으로 상기 제2후보MER정보를 생성하도록 구성될 수 있다.

바람직하게 본 발명의 상기 제2검지부는 상기 검지카메라의 흔들림에 의하여 외부 환경 노이즈 요인이 발생되는 경우 결과 정보를 출력하도록 구성되며 이 경우 상기 본 발명의 상기 검지판단부는 상기 결과 정보가 입력되는 경우 상기 제2후보MER정보만을 대상으로 객체의 최종MER정보를 생성하도록 구성될 수 있다.

또한, 본 발명의 상기 검지판단부는 상기 제1 및 제2후보MER정보 중 상호 대응되는 MER정보로 이루어진 하이브리드 영역을 산출하고 산출된 하이브리드 영역을 대상으로 호그 연산을 수행하여 상기 객체의 최종MER정보를 생성하도록 구성하는 것이 바람직하다.

바람직하게 본 발명의 상기 트래킹부는 상기 최종 MER정보에 대한 현재 측정 데이터와 관측 데이터를 이용하여 미래 정보를 예측하는 칼만 필터 알고리즘을 적용하여 상기 객체의 동선데이터를 생성하되, 상기 관측 데이터는 상기 최종MER정보를 대상으로 캠쉬프트 알고리즘을 적용하여 연산되도록 구성될 수 있다.

실시형태에 따라 본 발명의 상기 검지카메라는 2개 이상으로 이루어질 수 있으며 이 경우, 본 발명은 상기 2개 이상의 검지카메라로부터 영상데이터가 각각 수신되면 수신된 각 영상 데이터를 머징하여 파노마라 영상 데이터를 생성하는 전경영상부를 더 포함할 수 있다. 또한, 이 경우 본 발명의 상기 제1 및 제2검지부는 상기 파노라마 영상 데이터를 대상으로 상기 각각 제1 및 제2후보MER정보를 생성하도록 구성될 수 있다.

더욱 바람직하게, 본 발명의 상기 행동패턴결정부는 상기 동선데이터의 각 시간별 객체의 최종MER 중심점 위치좌표와 상기 상황인지영역의 경계라인의 위치 좌표 사이의 관계를 이용하여 객체의 이벤트 정보를 생성하는 이벤트 생성부; 및 상기 객체의 이벤트 정보의 시계열적 특성을 이용하여 상기 객체에 대한 행동패턴정보를 생성하는 패턴정보생성부를 포함하여 구성될 수 있다.

더욱 바람직한 실시형태에 구현을 위하여 본 발명의 상기 객체의 이벤트 정보는 객체가 상황인지영역 내부로 이동하는 진입 이벤트, 객체가 상황인지영역 내부에서 외부로 유출되는 진출 이벤트, 객체가 영상처리영역 내부에서 0이 아닌 이동 속도로 움직임을 발생시키는 이동 이벤트, 객체가 상황인지영역 내부에서 움직이지 않는 정지 이벤트, 상황인지영역 내부에 위치하는 객체에서 다른 객체가 검지되고 상기 다른 객체가 기준 시간 이상 상황인지영역에 위치하는 분리 이벤트 또는 상황인지영역 내부에 위치한 서로 다른 객체가 동일한 위치정보 또는 동일한 변위 이동이 발생하는 결합 이벤트 중 하나 이상으로 이루어지도록 구성될 수 있다.

또한, 본 발명의 상기 행동패턴결정부는 상기 진입, 진출, 이동, 정지, 분리, 결합 이벤트 중 복수 개 이벤트 정보의 시계열적 조합에 의하여 정의되는 복수 개 기준행동패턴정보를 저장하는 패턴정보저장부를 더 포함할 수 있으며, 이 경우 본 발명의 상기 패턴정보생성부는 상기 복수 개 기준행동패턴정보 중 상기 동선 데이터에 대응되는 기준행동패턴정보를 이용하여 상기 객체의 행동패턴정보를 생성하도록 구성되는 것이 바람직하다.

나아가 본 발명은 객체의 특성에 따라 분류된 기준정보와 상기 최종MER정보를 대비하여 상기 최종MER정보에 해당하는 객체를 분류하는 객체분류부를 더 포함할 수 있으며 이 경우 본 발명의 상기 트래킹부는 상기 최종MER정보가 사람 또는 차량에 해당하는 객체인 경우에 한해 상기 객체의 동선데이터를 생성하도록 구성될 수 있다.

본 발명에 의한 지능형 감지시스템은 객체 검지 알고리즘을 이원화시켜 프로세싱하고 그 각각의 결과에 대하여 생성된 하이브리드 영역을 대상으로, 영역 내 검출에 최적화되는 제3의 알고리즘을 사용하여 객체 검지 알고리즘을 유기적으로 그리고 계층적으로 적용시킴으로써, 외부 환경의 노이즈에 적응하고 객체 검지의 확률을 더욱 향상시킴은 물론, 연산 효율성도 높일 수 있게 된다.

나아가 본 발명의 다른 실시예에 의할 때, 객체 추적 알고리즘으로 칼만 필터 알고리즘과 캠쉬트프 알고리즘을 유기적으로 결합시켜 적용하되, 캠쉬트프 알고리즘의 결과값을 칼만 필터 알고리즘의 파라미터로 이용하는 과정을 순환적으로 적용시킴으로써, 객체 추적의 정확성과 신뢰성을 높일 수 있어 동적 객체의 추적을 더욱 최적화시킬 수 있는 효과를 제공할 수 있다.

또한, 본 발명의 또 다른 실시예에 의할 때, 동적 객체의 동선 데이터 즉, 동적 객체가 생성하는 거동 특성 내지 행동 특성을 기 정의된 객체의 이벤트와 이들의 시계열적 조합에 의하여 정의되는 행동패턴정보를 이용하여 정확하게 규정하고 데이터화할 수 있어 동적 객체의 행동패턴은 물론, 이에 따른 후속 프로세싱을 사용자에게 정확하게 인터페이싱할 수 있는 효과를 창출 할 수 있다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술되는 발명의 상세한 설명과 함께 본 발명의 기술 사상을 더욱 효과적으로 이해시키는 역할을 하는 것이므로, 본 발명은 이러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 바람직한 일 실시예에 의한 지능형 감지시스템의 상세 구성을 도시한 블록도,
도 2는 도 1에 도시된 본 발명의 행동패턴결정부의 상세 구성을 도시한 블록도,
도 3은 본 발명의 전체적인 프로세싱 방법에 대한 과정을 도시한 흐름도,
도 4 및 도 4a는 본 발명의 바람직한 실시예에 의한 객체 검지에 대한 상세 프로세싱 과정을 도시한 흐름도,
도 5는 본 발명의 바람직한 일 실시예에 의한 객체 추적에 대한 상세 프로세싱 과정을 도시한 흐름도,
도 6은 본 발명에 의한 영상인식영역과 상황인지영역의 일 실시예를 도시한 도면,
도 7은 객체 검지에 이용되는 HOG 알고리즘의 특징을 설명하는 도면,
도 8은 본 발명의 바람직한 일 실시예에 의한 객체의 6가지 이벤트 정보를 정의하는 도면,
도 9은 본 발명의 바람직한 일 실시예에 의한 8가지 행동패턴정보를 설명하는 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1은 본 발명의 바람직한 일 실시예에 의한 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템(이하 ‘감지시스템’이라 지칭한다(100))의 상세 구성을 도시한 블록도이다.

도 1에 도시된 바와 같이 본 발명의 감지시스템(100)은 수신부(110), 제1검지부(130), 제2검지부(140), 검지판단부(150), 트래킹부(170) 및 행동패턴결정부(190)를 포함하여 구성될 수 있다.

본 발명의 상세한 설명에 앞서, 도 1에 도시된 본 발명의 감지시스템(100) 및 도 2에 도시된 본 발명의 행동패턴결정부(190)의 각 구성요소는 물리적으로 구분되는 구성요소라기보다는 논리적으로 구분되는 구성요소로 이해되어야 한다.

즉, 각각의 구성은 본 발명의 기술 사상을 실현하기 위한 논리적인 구성요소에 해당하므로 각각의 구성요소가 통합 또는 분리되어 구성되더라도 본 발명의 논리 구성이 수행하는 기능이 실현될 수 있다면 본 발명의 범위 내에 있다고 해석되어야 하며, 동일 또는 유사한 기능을 수행하는 구성요소라면 그 명칭 상의 일치성 여부와는 무관히 본 발명의 범위 내에 있다고 해석되어야 함은 물론이다.

본 발명의 감지시스템(100)은 하나 또는 그 이상의 검지카메라(50-1, 50-2, ...... , 50-n)(n은 1이상의 자연수)가 촬영한 영상 데이터를 로-데이터로(raw-data)하여 영상 데이터 내 관심의 대상이 되는 객체를 정확히 검지(detection)하고 검지된 객체의 이동, 거동 특성 등을 추적(tracking)하여 객체의 동선 데이터 내지 행동패턴정보를 생성하여 활용하도록 구현되는 시스템에 해당한다.

도 1 및 도 2에 도시된 바와 같이 본 발명의 감지시스템(100)은 시스템 장치, 서버 등의 하드웨어적 구성으로도 구현될 수 있음은 물론, 카메라(50) 등과 통신 가능하게 연결되는 장치 내지 시스템 등에 탑재되어 도 3 내지 도 5에 도시된 과정을 프로세싱하는 소프트웨어의 형태로도 구현될 수 있음은 물론이다.

본 발명의 구성 내지 프로세싱에 대한 상세한 설명에 앞서 도 3을 참조하여 본 발명의 프로세싱을 포함하여 본 발명의 구현하고자 하는 전체적인 과정을 먼저 간략히 설명한다.

본 발명은 도 3에 도시된 바와 같이 검지카메라(50)로부터 영상 데이터가 수신되면 영상 데이터를 파싱(parsing) 내지 분석하여 영상 데이터 내 관심의 대상이 되는 객체(object)를 검지한다(S300).

관심의 대상이 되는 객체(object)는 관심의 목표 내지 그 대상을 의미하는 것으로서 사람, 동물, 차량 등이 그 예가 될 수 있다. 영상 데이터에서 객체를 추출하는 방법은 이진화, 라벨링 프로세싱, 에지 검출 등의 방법을 포함하여 후술되는 바와 같이 영상 차분 알고리즘, 옵티컬 프로우(Optical flow) 알고리즘, 모델 정합 알고리즘 등 다양한 방법이 적용될 수 있다.

객체의 검지 결과의 표현 방법에는 최소인접 사각형 내지 최소포함사각형으로 지칭되는 엠이알(MER, Minimum Enclosing Rectangle)을 이용하게 되는데 구체적으로 사람, 차량, 동물 등과 같은 객체의 특성에 따라 MER의 너비, 높이, 중심점 좌표, 밀도정보, 너비/높이간 비율 정보 등을 정의하고 정의된 MER과 영상 데이터 내 포함된 객체의 너비, 높이 등의 특성을 상호 대비하여 특정 관심 대상인 객체를 검지/구분하는 방법이 이용된다.

이와 같이 객체의 검지(detection)이 완료되면, 검지된 객체를 추적하는 프로세싱이 진행된다(S310). 검지된 객체의 추적(tracking)은 검지된 객체가 어떠한 방향성으로 어떤 경로로 이동하는지에 대한 객체의 경로 데이터, 거동 특성 정보 내지 행동패턴정보를 생성하는 과정에 해당한다.

객체의 추적이 완료되면 생성된 객체의 동선데이터와 기 설정된 상황인지영역의 상호 위치 관계를 이용하여 객체의 행동패턴정보를 생성한다(S320).

이 과정과 관련하여 도 6의 (a)와 같이 카메라(50)가 생성하는 영역인 영상생성영역에서 휴먼(human) 객체 등을 감시할 필요가 없는 영역(사람, 차량 등이 다닐 수 없는 영역 등)을 제외함으로써 연산량을 축소할 필요가 있는데, 이와 같이 영상생성영역에서 객체의 감지가 요구되지 않는 영역을 배제한 영역이 영상처리영역(도 6 (a))이 된다.

나아가 이 영상처리영역에 포함되는 영역으로서 영상처리영역의 외주 와 상호 대응되는 영역으로서 사용자의 개입 없이 시스템(장치)가 자동으로 상황을 인지하는 것을 목적으로 설정되는 영역이 상황인지영역(도 6의 (b))이 된다.

상황인지영역이 설정되면 상황인지영역(영상생성영역)의 경계(아웃라인), 중심점 좌표 등의 위치좌표가 생성되며, 이 상황인지영역의 위치좌표를 기준으로 객체의 동선 데이터 내지 각 시간별 객체의 중심점 좌표 정보를 이 상황인지영역의 위치좌표와 대비하여 객체의 거동 특성 내지 행동패턴에 대한 정보가 생성된다.

동적 객체의 행동패턴정보가 생성되면, 생성된 행동패턴에 따른 후속 프로세싱이 진행된다(S330). 객체의 행동패턴이 침입으로 정의되는 경우 관리자 또는 관련 기관(경찰서 등)에 정보를 전송하거나, 특정 위치에 설치된 경광등, 사이렌 등이 자동으로 작동되도록 하는 프로세싱 등이 이러한 후속 프로세싱의 일부에 해당한다.

여러 가지 행동패턴 중 동적 객체의 행동패턴이 “멈춤”으로 판단되는 경우(S340) 즉, 특정 시간 동안 상황인지영역 내에서 객체의 속도가 0(또는 0에 가까운 경우)으로 판단되는 경우 본 발명의 객체상세 인식부(195)는 소정의 위치에 설치된 줌카메라(30)의 PTZF(Pan, Tilt, Zoom, Foccal length) 등을 제어하여 객체가 멈춘 위치의 고해상도 줌 영상이 촬영되도록 하고 촬영된 줌 영상을 이용하여 휴먼 객체의 상세 인식(안면식별, 성별, 장신구 착용 여부, 연령대 등)에 대한 프로세싱을 수행한다(S350).

프로세싱 과정에서 생성된 객체에 관련된 다양한 정보, 이력 정보 등이 시간 정보와 함께 저장(S360)될 수 있음은 물론이다.

이러한 전체적인 과정 중에서 본 발명은 객체를 검지하고(S300), 검지된 객체를 추적하며(S310) 추적된 객체의 행동패턴정보를 생성하는(S320) 과정에 관한 발명이다.

이하에서는 본 발명의 객체 검지에 대한 상세 프로세싱 과정을 도시한 흐름도인 도 4를 참조하여 본 발명의 구성을 통하여 구현되는 객체 검지 프로세싱(S300)을 상세히 설명하도록 한다.

우선 본 발명의 수신부(110)는 도 1에 도시된 바와 같이 n개의 검지카메라(50-1, 50-2, ...... , 50-n)로부터 각 검지카메라(50)가 촬영한 영상 데이터를 유선 또는 무선 통신 네트워크를 통하여 수신한다(S400).

본 발명은 객체 자체의 검지 및 추적에 포커싱되어 있으므로 상기 검지카메라(50)는 국지영역의 영상이 촬영되는 일종의 줌 카메라보다는 원거리(예를 들어 10m 이상)의 영역이 촬영될 수 있도록 화각(view angle)이 넓은 카메라가 적합할 수 있으며 또한, 전방위 영역의 영상이 촬영될 수 있도록 검지카메라(50)는 각 방향별 영상을 생성하는 복수 개로 구현되는 것이 바람직하다.

실시형태에 따라서 전방위 영역이 아닌 단일 또는 특정 방향을 커버하는 복수 개 카메라가 생성하는 특정 영역의 영상데이터가 이용될 수 있음은 물론이다.

이와 같이 검지카메라(50)가 영상데이터를 전송하면 본 발명의 제1검지부(130)는 상기 전송된 영상데이터를 대상으로 외부 환경 노이즈에 강인한 차분 영상 검지 알고리즘을 적용하여 영상 데이터 내 객체(object)를 검하고 검지된 객체의 제1후보MER정보를 생성한다(S420).

본 발명의 제2검지부(140)는 제1검지부(130)의 프로세싱과는 독립적으로 상기 전송된 영상 데이터를 대상으로 옵티컬 플로우(Optical flow) 알고리즘을 적용하여 객체를 검지하고 검지된 객체에 대한 제2후보MER정보를 생성한다(S430).

앞서 언급된 바와 같이 MER정보는 객체가 포함되는 최소 사각 영역에 대한 정보로서, 너비(width), 높이(height), 중심점 좌표(a, b), 밀도정보(전체 너비 대비 객체의 구성화소수 함의(含意) 비율), 너비/높이 비율정보 등으로 이루어진 데이터 셋(set)을 의미한다.

하나의 영상 데이터에 객체가 복수 개로 존재할 수 있음은 물론이며, 각 알고리즘마다 영상 데이터에서 객체로 추정되는 대상이 복수 개 존재할 수 있으므로 상기 제1후보MER정보 또는 제2후보MER정보 각각은 복수 개의 MER에 대한 정보들에 관한 데이터 셋들의 집합체일 수 있다.

이 때, 더욱 확대된 영역에서 객체를 더욱 효과적으로 검출하기 위하여 복수 개의 검지카메라(50)로부터 복수 개의 영상데이터가 입력되는 경우 본 발명의 전경영상부(120)는 입력된 복수 개의 영상 데이터를 머징(merging)하여 파노라마(panorama) 영상 데이터를 생성(S405)하도록 구성될 수 있다.

나아가 앞서 기술된 바와 같이 영상처리의 효율성을 높이기 위하여 카메라(50)가 생성한 영상데이터 중 객체가 이동할 수 있는 영역 즉 객체 검지가 가능한 영역을 고려하여 영상데이터를 축소시키는 프로세싱(S410)이 추가적으로 수행될 수 있다.

이와 같이 파노라마 영상 데이터가 생성되면 본 발명의 제1검지부(130) 및 제2검지부(140)는 상기 파노라마 영상 데이터를 대상으로 각각 제1 및 제2후보MER정보를 생성한다.

객체를 검지하는 알고리즘은 그 방법의 차이에 따라 크게 (1) 영상들 사이의 관계를 이용하는 영상 차분 알고리즘 (2) 이전영상과 현재영상 사이의 optical flow 속도 벡터를 연산하여 이용하는 옵티컬 플로우 알고리즘 (3) 특징점 정보를 이용하거나 또는 설정된 탐색 영역 내 화소 간의 방향 패턴을 비교하는 방법 등과 같이 검지를 위한 모델을 생성하고 활용하는 모델정합방법으로 구분할 수 있다.

영상 차분 알고리즘은 배경 영상 차분 알고리즘, 이전 영상 차분 알고리즘 또는 외부환경의 노이즈 변화에 적응적 배경 영상 차분 알고리즘으로 세분화될 수 있으며, 옵티컬 플로우 알고리즘은 혼 앤 청크(horn & Schunk) 알고리즘, 블록 매칭(Block Matching) 알고리즘, 루카스 앤 카나드(Lucas & Kanade) 알고리즘 또는 피라미드 루카스 앤 카나드(Pyramid Lucas & Kanade) 알고리즘으로 세분화될 수 있다.

모델정합방법은 쉬프트(Shift) 알고리즘, 서프(Surf) 알고리즘 또는 호그(HOG, Histogram of Oriented Gradient) 알고리즘으로 세분화될 수 있다.

이들 방법들은 각각 특화된 환경과 파라미터에 최적화되도록 설계되어 있어 하드웨어 리소스 사용량, 연산 속도, 논리구현 용이성, 노이즈 제거 성능, 급격한 환경 변화 적응성, 정지객체/동적객체 검지 가능성, 카메라 자체가 이동하는 경우, 구름에 의한 갑작스런 해가림 현상, 조명환경의 급격한 변화, 그림자 영향 등에 따라 각 방법들은 검지 성능의 편차가 상당히 크게 작용되고 있다.

본 발명은 이러한 종래 검지 기법의 단점과 장점이 최적화될 수 있도록 검지 알고리즘을 하이브리드화하여 구성하고 상호 유기적으로 결합되도록 구성함으로써 검지 효율성을 극대화할 수 있도록 구성된다.

이를 위하여 본 발명의 상기 제1검지부(130)와 제2검지부(140)는 서로 다른 범주에 해당하는 검지 알고리즘을 각각 적용하도록 구성되는데, 우선 객체 검출의 가능성을 높이기 위하여 일차적으로 차분 영상 검지 알고리즘 즉, 외부 환경 노이즈에 강인한 차분 영상 검지 알고리즘을 이용한 제1후보MER정보와 옵티컬 플로우 알고리즘을 이용한 제2후보MER정보를 각각 생성하도록 구성된다.

구체적으로 본 발명의 제1검지부(130)는 일정시간 동안 누적된 통계적 영상을 이용하여 매 프레임마다 배경 영상을 갱신/생성하는 프로세싱(S421)을 수행한 후, 갱신/생성되는 배경 영상과 현재 영상을 차분하는 프로세싱(S423)을 통하여 하나 이상의 제1후보MER정보를 생성한다(S425).

본 발명의 제2검지부(140)는 카메라와 객체의 상대적인 움직임에 의하여 발생되는 차이에 기반하여 두 영상(이전 영상과 현재 영상) 사이의 옵티컬 플로우(Optical flow) 속도 벡터를 계산한다.

구체적으로 본 발명의 제2검지부(140)는 영상 차분 알고리즘과 구분되는 옵티컬 플로우 알고리즘을 프로세싱하여 객체를 검지하되, 객체 검지의 확률과 효율성을 향상시키기 위하여 옵티컬 플로우 알고리즘 중 스케일에 따른 영상 피라미드를 구성하고 윈도우 정합 방법으로 이전 영상과 현재 영상 사이의 Optical flow 속도 벡터를 연산하는 알고리즘인 피라미드 루카스 앤 카나드 알고리즘을 프로세싱하고(S431) 이를 이용하여 하나 이상의 제2후보MER정보를 생성하도록(S433) 구성될 수 있다.

이와 같이 서로 다른 즉, 이원화된 알고리즘을 적용하여 일차적으로 제1후보MER정보 및 제2후보MER정보가 생성되면, 본 발명의 검지판단부(150)는 상기 제1 및 제2후보MER정보를 대상으로 객체 추적에 대한 제3의 알고리즘인 호그 알고리즘을 적용하여 객체의 최종MER정보를 생성한다(S440).

구체적으로 본 발명의 검지판단부(150)는 상기 제1후보MER정보에 속하는 하나 이상의 MER정보들과 제2후보MER정보에 속하는 하나 이상의 MER정보들 중 상호 위치적으로 대응되는 즉, 상호 위치적 편차가 기준 편차보다 낮은 MER정보를 선별하고 이 선별된 MER정보로만 이루어진 하이브리드 영역을 산출한다(S441).

이와 같이 하이브리드 영역이 산출되면 본 발명의 검지판단부(150)는 이 하이브리드 영역을 대상으로 호그(HOG) 알고리즘 프로세싱을 수행하여(S443) 객체의 최종MER정보를 생성한다(S445).

호그 연산은 도 7에 도시된 바와 같이 영상을 블록(Block)으로 분할하고 다시 블록을 셀(Cell)로 분할한 후, 각 셀의 특징 벡터에 대한 히스토그램을 사용하는 방법으로서 탐색영역을 이동시키며 탐색영역 안의 화소 간의 방향 패턴을 계산하여 객체를 검지하는 방법이므로 이와 같이 탐색 영역이 하이브리드 영역으로 한정됨으로써 연산 효율성을 더욱 향상시킬 수 있게 된다.

이와 같이 최종MER정보가 생성되면 해당 최종 MER의 특성(너비, 높이, 중심점 좌표, 밀도, 너비/높이 비율 등)을 미리 정해진 특성 정보와 대비하여 객체에 대한 최종MER정보가 휴먼(human)객체인지 판단하고(S450), 그 결과에 따라 최종MER에 해당하는 객체를 사람(S460) 또는 다른 특정물(차량, 동물, 가방 등)로 분류한다(S470).

외부 환경에 의한 노이즈를 더욱 효과적으로 필터링하여 객체 검지의 신뢰성을 더욱 향상시키기 위하여 실시형태에 따라서, 도 4-2에 도시된 바와 같이 본 발명의 제2검지부(140)는 외부 환경 노이즈 요인을 판단하고(S431) 발생된 외부 환경 노이즈가 검지 카메라의 흔들림에 의하여 발생된 것인지 여부를 판단한다(S432).

검지 카메라 자체의 흔들림 등이 발생되는 경우 차분 영상 검지 알고리즘은 정확한 MER정보를 생성하기가 상대적으로 어려우므로 이 경우에는 객체의 제1후보MER정보와 객체의 제2후보MER정보 중 검지 카메라의 흔들림에 의한 영향이 상대적으로 적은 옵티컬 플로우 알고리즘에 의하여 생성된 제2후보MER정보만을 대상으로 후보 영영이 산출(S434)되도록 구성하는 것이 바람직하다.

반면, 검지 카메라의 흔들림 등에 의한 외부 환경 노이즈가 아닌 경우에는 전술된 바와 같이 제1후보MER정보 및 제2후보MER정보를 대상으로 후보 영역을 산출한다(S433).

상술된 바와 같이 본 발명은 객체 검지를 위하여 단일의(single) 알고리즘을 사용하거나 또는 단순히 복수 개의 알고리즘을 병렬적으로 사용하는 것이 아니라 서로 다른 방법으로 구현되는 객체 검지 알고리즘을 유기적으로 그리고 계층적으로 사용함으로써, 객체 검지의 확률을 더욱 향상시킴은 물론, 연산 효율성도 높일 수 있게 된다.

이하에서는 본 발명의 객체 추적에 대한 상세 프로세싱 과정을 도시한 흐름도인 도 5를 참조하여 본 발명의 구성을 통하여 구현되는 객체 검지 프로세싱(S310)을 상세히 설명하도록 한다.

앞서 상술된 바와 같은 객체의 최종MER정보를 생성하여 객체를 검지하는 프로세싱이 완료되면, 본 발명의 트래킹부(170)는 상기 객체의 최종MER정보의 이동을 추적하여 객체의 이동에 대한 동선데이터(이동경로데이터)를 생성한다(S310).

객체를 추적하는 알고리즘은, 추적 객체의 대상 영역을 지정하고 기 지정된 영역의 색상 분포 특징에 해당하는 히스토그램을 구한 후, 연속적인 입력 영상에서 대상 영역 크기에 해당하는 영역의 히스토그램을 정합시키는 민쉬프트(Mean-Shift) 알고리즘, 고정된 크기의 탐색 윈도우를 사용함에 따라 발생되는 문제점을 해소하기 위하여 탐색 윈도우의 크기를 능동적으로 조정하여 객체를 추적하는 캠쉬프트(Cam-Shift) 알고리즘, 오차(P)가 포함된 현재 시스템 측정값(x)과 관측값(z)을 기반으로 미래 정보(x` & P`)을 예측하여 객체를 추적하는 칼만필터(Kalman-filter) 알고리즘 등이 있다.

이들 객체 추적 알고리즘은 하드웨어 리소스, 논리 구현 용이성, 연산량 등에 따라 서로 다른 특장점을 가지고 있다고 할 수 있으나 민쉬트프 알고리즘의 경우 객체 추적 중 탐색윈도우의 크기를 조절하지 않으므로 객체의 이동 중 객체의 크기가 변화하는 경우 객체를 잃어버리게 되므로 객체 추적이 더 이상 유효하지 않게 되는 문제점이 있다.

또한, 캠쉬프트 알고리즘의 경우 탐색윈도우의 크기가 능동적으로 조절되도록 설계되어 있어 객체의 크기가 변화되는 환경에 효과적으로 적응할 수 있으나 객체의 이동 방향 또는 속도를 정확히 반영할 수 없어 객체가 기준 속도 이상 빠르게 이동하는 경우 객체를 추적할 수 없다는 문제점이 내포되어 있다.

칼만 필터 알고리즘은 객체(물체)의 측정값에 확률적이 오차가 포함되고 또한, 물체의 특정 시점에서의 상태는 이전 시점의 상태와 선형적인 관계를 가지고 있는 경우 적용 가능하며, 이산 시간 선형 동적 시스템을 기반으로 동작하며 각 상태 벡터는 이전 시간의 벡터들에 대해서만 관계된다는 마르로프 연쇄를 가정하고 있는 알고리즘이다.

칼말 필터 알고리즘의 경우 측정값과 관측값을 바탕으로 미래정보를 예측하여 객체를 추적하는 방법으로서 추적 중 객체의 이동 방향 또는 속도를 반영할 수 있어 이동하는 객체의 추적이 최적화될 수 있는 특장점을 가지고 있으나, 다음 상태의 예측을 위하여 관측값이 필요하므로 이 관측값을 항상 연산하여야 하는 적용상의 곤란성이 있다고 할 수 있다.

본 발명은 이러한 객체 추적의 알고리즘 중 상기 최종MER정보에 대한 현재 측정 데이터와 관측 데이터를 이용하여 미래 정보를 예측하는 칼만 필터 알고리즘을 기본적인 객체 추적의 알고리즘으로 사용하여 움직이는 객체를 추적하여 객체의 동선 데이터를 생성하되, 칼만 필터 알고리즘에서 다음 상태 예측을 위하여 요구되는 관측 데이터는 최종 MER정보를 대상으로 캠쉬프트 알고리즘을 적용하여 연산되도록 하고 이 과정이 순환적인 적용되도록 함으로써, 움직이는 동적 객체의 추적을 더욱 정확하고 효과적으로 수행하도록 구성된다.

즉, 본 발명의 트래킹부(170)는 도 5에 도시된 바와 같이 사전 프로세싱(S500), 칼만 필터 알고리즘에 의한 프로세싱(S510)과 캠쉬트프 알고리즘에 의한 프로세싱(S550)이 상호 유기적으로 결합되며 순환되는 프로세싱을 수행하여 상기 객체의 최종 MER정보의 이동을 추적하여 상기 객체의 동선데이터를 생성한다(S310).

구체적으로 본 발명의 트래킹부(170)는 우선, 칼만 필터 알고리즘을 수행하기 위한 칼만 필터 변수를 초기화시키고(S501), 객체의 최종MER정보에 해당하는 영역으로 설정된 기초윈도우 영역의 색상공간을 HSV 색상공간으로 변경한다(S502).

HSV 색상공간은 RGB색상공간, CMY 색상공간과 같이 색상을 표현하는 방법 중의 하나로서 색상(Hue), 채도(Saturation) 및 명도(value)를 기준으로 색을 표현하는 색공간 내지 색상 모델에 해당한다.

색상 공간의 변경 내지 변환이 완료되면 HSV의 데이터를 이용하여 기초윈도우 영역의 히스토그램을 연산한다(S503).

이와 같이 사전 프로세싱(S500)이 완료되면 본 발명의 트래킹부(170)는 초기화된 칼만 필터의 변수들(상태벡터, 측정값, 상태 행렬, 시스템 잡음(칼말 에러), 측정 잡음(측정 에러) 등)을 이용하여 객체의 중심에 대한 상태 벡터를 예측하는 프로세싱을 수행한다(S511).

그 후 탐색윈도우를 설정하는데 이 탐색윈도우는 예측된 상태 벡터의 위치에 해당하는 중심과 기초윈도우와 동일한 너비(width)와 높이(height)를 가지도록 설정된다(S512).

탐색윈도우가 설정되면 캠쉬트프 알고리즘(S550)에 의하여 탐색윈도우에서 객체의 중심을 탐색하고(S551) 객체의 중심이 탐색되면 탐색된 객체의 중심에 탐색윈도우를 위치시키고 영역을 탐색한다(S552).

탐색된 영역에서 연산된 히스토그램과 사전 프로세싱(S503)에서 연산된 히스토그램의 대응관계를 이용하여 탐색 대상 객체인지 여부를 판단하고(S553) 탐색대상으로 판단되는 경우(S554) 연산된 히스토그램의 결과값을 이용하여 객체의 회전각도 및 중심좌표를 연산한다(S555).

이와 같이 연산된 객체의 회전각도 및 중심좌표 정보는 칼만 필터에서 미래 정보의 예측을 위하여 사용되는 관측값으로 활용된다.

본 발명의 트래킹부(170)는 이와 같이 객체의 회전각도 및 중심좌표 정보(관측값 정보)가 연산되면 연산된 회전각도 및 중심좌표 정보를 이용하여 상태벡터를 갱신한다(S513).

상태벡터가 갱신되면 칼만 필터 알고리즘의 컨트롤 벡터(객체 속도)가 연산되며(S514) 다시 칼만 필터 알고리즘의 초기 단계로 회귀하여 전술된 상태 백터 예측 단계(S511)가 순환적으로 적용된다.

이와 같이 본 발명은 객체의 추적을 위한 알고리즘으로 단일의 알고리즘을 사용하는 것이 아니라 칼만 필터 알고리즘과 캠쉬트트 알고리즘이 상호 유기적으로 결합되도록 구성하여 객체 추적 알고리즘의 단점을 보완함으로써 객체 추적의 신뢰성을 더욱 향상시킬 수 있게 된다.

한편, 실시형태에 따라서 본 발명은 사람, 차량, 동물 등과 같이 객체의 특성 즉, 해당 객체의 MER 특성 정보(너비, 높이, 너비높이의 비율, 밀도, 중심점 좌표, 전체 크기 정보 등)에 따라 분류된 기준정보와 상기 최종 MER정보를 대비하여 상기 최종 MER정보에 해당하는 객체를 분류하는 객체분류부(160)를 더 포함할 수 있다.

이 경우 본 발명의 트래킹부(170)는 이와 같이 객체분류부(160)가 최종MER에 해당하는 객체를 사람으로 분류한 경우에 한해 상술된 프로세싱을 통하여 객체의 동선 데이터를 생성하도록 구성할 수도 있다. 트래킹부(170)가 생성한 경로데이터 등은 시간 정보와 함께 본 발명의 DB부(180)에 저장될 수 있다.

이하에서는 최종 생성된 객체의 동선데이터를 이용하여 객체의 행동패턴을 생성하는 본 발명의 상세한 구성과 프로세싱을 설명하도록 한다.

본 발명의 트래킹부(170)가 상술된 바와 같이 객체의 동선 데이터를 생성하면, 본 발명의 행동패턴결정부(190)는 행동패턴 분석의 기준이 되는 상황인지영역과 상기 생성된 객체의 동선 데이터 또는 동선 데이터에 포함된 각 시점별 최종MER정보와의 위치 관계를 이용하여 상기 객체의 행동패턴을 결정하고 해당하는 행동패턴정보를 생성한다(S320).

구체적으로 본 발명의 행동패턴결정부(190)는 도 2에 도시된 바와 같이 이벤트생성부(191), 이벤트DB부(192), 패턴정보저장부(193) 및 패턴정보생성부(194)를 포함하여 구성될 수 있다.

본 발명은 객체의 행동패턴정보를 더욱 효과적으로 정확하게 규정하고 시스템과 사용자 사이의 정확한 인터페이싱을 구현하기 위하여 도 8에 예시된 바와 같이 객체가 유발할 수 있는 6가지 기본 이벤트를 미리 정의하고 정의된 객체의 6가지 이벤트들을 하나 이상 조합적으로 결합시킴으로써 발생되는 시계열적 특성을 이용하여 객체의 행동패턴을 결정하는 방법을 포함한다.

도 8에 예시된 객체의 6가지 이벤트 정보와 상황인지영역 또는 영상처리영역의 경계 등에 대한 위치정보는 본 발명의 이벤트DB부(192)에 저장되어 활용될 수 있다.

본 발명의 이벤트 생성부(191)는 트래킹부(170)로부터 객체의 동선 데이터가 입력되면 입력된 동선 데이터의 각 시간별 객체의 최종MER정보의 중심점 위치좌표를 추출하고, 추출된 중심점 위치좌표와 상기 이벤트DB부(192)에 저장되어 있는 상황인지영역의 경계라인의 위치 좌표 사이의 관계를 이용하여 객체에 대한 이벤트 정보를 생성한다.

이와 관련하여, 도 8에서 진입 이벤트는 객체가 상황인지영역 외부에서 내부로 들어오는 이벤트를 의미하며, 객체(최종MER정보)의 중심좌표와 상황인지영역의 경계좌표를 이용하여 결정한다.

진출 이벤트는 실시형태에 따라 객체가 상황인지영역 내부에서 외부로 나간 이벤트, 객체가 상황인지영역 내부에서 상황인지영역외부의 영상처리영역으로 이동한 경우, 객체가 상황인지영역 내부에서 다른 상황인지영역으로 이동한 경우, 영상의 끝과 상황인지영역의 경계가 맞닿아 있는 경우 객체가 상황인지영역 내부에서 영상 밖으로 이동한 경우 중 하나 이상이 이에 해당한다.

이동 이벤트는 객체가 영상처리영역(상황인지영역보다 넓은 영역일 수 있음)에 위치하고 MER의 중심좌표의 변화가 있거나 또는 상황인지영역 내부에서 기준 시간 동안 객체의 중심좌표의 이동이 발생하거나 이동거리(픽셀)/기준 시간(s)의 속도를 연산하여 연산된 속도가 0(px/s) 이 아닌 경우에 해당한다.

정지 이벤트는 특정 기준 시간동안 중심좌표의 변화량(이동 거리)이 0이거나 실질적으로 0에 해당하는 경우 또는 중심좌표의 속도가 실질적으로 0인 경우에 해당한다.

분리 이벤트는 객체가 상황인지영역 내부에 있는 경우 객체와 인접된 영역에서 다른 객체(사람, 사물 등)가 최초 검지되고 이 최초 검지된 객체가 일정 시간 이상 존재하는 경우에 해당하는 이벤트이며, 결합 이벤트는 서로 다른 객체(사람 vs. 사람 또는 사람 vs. 사물 등)가 상황인지영역 내부에 있는 경우 서로 다른 객체의 MER의 중심좌표가 가까워지고 MER의 영역이 겹친 후, 동일한 변위로 이동할 때를 의미하는 이벤트이다.

이와 같이 하나 이상의 이벤트 정보가 생성되면 본 발명의 패턴정보생성부(194)는 생성된 하나 이상의 이벤트 정보의 시계열적 특성을 이용하여 상기 객체에 대한 행동패턴정보를 생성한다.

실시형태에 따라서 본 발명의 행동패턴결정부(190)는 패턴정보저장부(193)를 더 포함할 수 있는데, 이 패턴정보저장부(193)에는 도 9에 도시된 바와 같이 상기 객체의 6가지 이벤트 즉, 진입, 진출, 이동, 정지, 분리, 결합 이벤트 중 복수 개 이벤트 정보의 시계열적 조합에 의하여 정의되는 복수 개 기준행동패턴정보가 저장될 수 있다.

이와 관련하여 도 9에 도시된 기준행동패턴정보 중 “경로통과” 패턴은 설정된 방향과 설정된 경계선(외곽 경계선 또는 내부의 또 다른 경계선 등)을 넘어서 객체가 이동하는 상황을 의미하며, “금지된 방향 이동” 패턴은 이전 프레임의 객체의 위치에서 현재 프레임의 객체의 위치를 비교하였을 때, 객체의 위치 변화량이 발생되고 기 설정된 방향과 반대방향으로 이동하는 패턴을 의미한다.

이와 같이 패턴정보저장부(193)에 복수 개의 기준행동패턴정보가 저장되면 본 발명의 패턴정보생성부(194)는 상기 복수 개 기준행동패턴정보 중 상기 동선데이터 즉, 각 시점별 객체의 최종MER정보의 특징 정보(중심점 좌표, 너비, 높이, 너비/높이 비율, 밀도 등)의 이벤트 정보들에 대응되는 기준행동패턴정보를 선별하는 등의 방법으로 기준행동패턴정보를 이용하여 상기 객체의 행동패턴정보를 생성하도록 구성될 수 있다.

이와 같이 6개의 기본이 되는 이벤트 정보를 시계열적으로 조합시킴으로써 조각(piece)을 이용하여 전체 블록을 구성하는 방법과 같이 객체의 다양한 행동 패턴을 정확하게 규정할 수 있음은 물론, 이들 행동 패턴을 시간의 순서에 따라 연계시키면 객체의 복합 행동 또한, 정확하게 규정할 수 있게 된다.

그러므로 본 발명은 객체의 행동패턴정보를 정확하고 자동화된 방법으로 지속적으로 생성하여 객체에 대한 상황을 정확히 자동적으로 인식할 수 있으므로 생성된 행동패턴정보를 사용자에게 정확히 인터페이싱할 수 있으며 또한, 이를 통하여 인식된 상황(행동패턴)에 최적화된 후속 조치 내지 대응 프로세싱이 유도될 수 있는 시스템 인프라를 제공할 수 있다.

이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

상술된 본 발명의 설명에 있어 제1 및 제2 등과 같은 수식어는 상호 간의 구성요소를 상대적으로 구분하기 위하여 사용되는 도구적 개념의 용어일 뿐이므로, 특정의 순서, 우선순위 등을 나타내기 위하여 사용되는 용어가 아니라고 해석되어야 한다.

본 발명의 설명과 그에 대한 실시예의 도시를 위하여 첨부된 도면 등은 본 발명에 의한 기술 내용을 강조 내지 부각하기 위하여 다소 과장된 형태로 도시될 수 있으나, 앞서 기술된 내용과 도면에 도시된 사항 등을 고려하여 본 기술 분야의 통상의 기술자 수준에서 다양한 형태의 변형 적용 예가 가능할 수 있음은 자명하다고 해석되어야 한다.

30 : 줌 카메라 50 : 카메라
100 : 본 발명의 지능형 감지시스템
110 : 수신부 120 : 전경영상부
130 : 제1검지부 140 : 제2검지부
150 : 검지판단부 160 : 객체분류부
170 : 트래킹부 180 : DB부
190 : 행동패턴결정부
191 : 이벤트 생성부 192 : 이벤트 DB부
193 : 패턴정보저장부 194 : 패턴정보생성부
195 : 객체 상세 인식부

Claims (10)

1. n(n은 1이상의 자연수)개의 검지카메라로부터 영상데이터를 수신하는 수신부;
   상기 영상데이터를 대상으로 차분 영상 검지 알고리즘을 적용하여 객체를 검지하고 검지된 객체의 제1후보MER(Minimum Enclosing Rectangle, 최소인접사각형)정보를 생성하는 제1검지부;
   상기 영상데이터를 대상으로 옵티컬 플로우 알고리즘을 적용하여 객체를 검지하고 검지된 객체의 제2후보MER정보를 생성하는 제2검지부;
   상기 제1 및 제2후보MER정보를 대상으로 호그 알고리즘을 적용하여 객체의 최종MER정보를 생성하되, 상기 제1 및 제2후보MER정보 중 상호 위치적 편차가 기준 편차보다 낮은 MER정보로 이루어진 하이브리드 영역을 산출하고 산출된 하이브리드 영역을 대상으로 호그 연산을 수행하여 상기 객체의 최종MER정보를 생성하는 검지판단부;
   상기 객체의 최종MER정보의 이동을 추적하여 상기 객체의 동선데이터를 생성하는 트래킹부; 및
   상기 동선데이터의 각 시간별 객체의 최종MER 중심점 위치좌표와 행동패턴 분석의 기준이 되는 상황인지영역의 경계라인의 위치 좌표 사이의 관계를 이용하여 객체의 이벤트 정보를 생성하는 이벤트 생성부와, 상기 객체의 이벤트 정보의 시계열적 특성을 이용하여 상기 객체에 대한 행동패턴정보를 생성하는 패턴정보생성부를 가지는 행동패턴결정부를 포함하며,
   상기 객체의 이벤트 정보는,
   객체가 상황인지영역 내부로 이동하는 진입 이벤트, 객체가 상황인지영역 내부에서 외부로 유출되는 진출 이벤트, 객체가 영상처리영역 내부에서 0이 아닌 이동 속도로 움직임을 발생시키는 이동 이벤트, 객체가 상황인지영역 내부에서 움직이지 않는 정지 이벤트, 상황인지영역 내부에 위치하는 객체에서 다른 객체가 검지되고 상기 다른 객체가 기준 시간 이상 상황인지영역에 위치하는 분리 이벤트 또는 상황인지영역 내부에 위치한 서로 다른 객체가 동일한 위치정보 또는 동일한 변위 이동이 발생하는 결합 이벤트 중 하나 이상으로 이루어지는 것을 특징으로 하는 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템.
2. 제 1항에 있어서, 상기 제1검지부는,
   일정 시간 동안 누적된 통계적 영상을 이용하여 매 프레임마다 배경영상을 생성하고 상기 생성된 배경영상과 현재 영상을 차분하여 상기 제1후보MER정보를 생성하는 것을 특징으로 하는 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템.
3. 제 1항에 있어서, 상기 제2검지부는,
   상기 검지카메라의 흔들림에 의하여 외부 환경 노이즈 요인이 발생되는 경우 결과 정보를 출력하고,
   상기 검지판단부는 상기 결과 정보가 입력되는 경우 상기 제2후보MER정보만을 대상으로 객체의 최종MER정보를 생성하는 것을 특징으로 하는 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템.
4. 삭제
5. 제 1항에 있어서, 상기 트래킹부는,
   상기 최종 MER정보에 대한 현재 측정 데이터와 관측 데이터를 이용하여 미래 정보를 예측하는 칼만 필터 알고리즘을 적용하여 상기 객체의 동선데이터를 생성하되, 상기 관측 데이터는 상기 최종MER정보를 대상으로 캠쉬프트 알고리즘을 적용하여 연산되는 것을 특징으로 하는 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템.
6. 제 1항에 있어서, 상기 검지카메라는,
   2개 이상으로 이루어지며,
   상기 2개 이상의 검지카메라로부터 영상데이터가 각각 수신되면 수신된 각 영상 데이터를 머징하여 파노라마 영상 데이터를 생성하는 전경영상부를 더 포함하고,
   상기 제1 및 제2검지부는 상기 파노라마 영상 데이터를 대상으로 상기 각각 제1 및 제2후보MER정보를 생성하는 것을 특징으로 하는 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템.
7. 삭제
8. 삭제
9. 제 1항에 있어서, 상기 행동패턴결정부는,
   상기 진입, 진출, 이동, 정지, 분리, 결합 이벤트 중 복수 개 이벤트 정보의 시계열적 조합에 의하여 정의되는 복수 개 기준행동패턴정보를 저장하는 패턴정보저장부를 더 포함하고,
   상기 패턴정보생성부는 상기 복수 개 기준행동패턴정보 중 상기 동선 데이터에 대응되는 기준행동패턴정보를 이용하여 상기 객체의 행동패턴정보를 생성하는 것을 특징으로 하는 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템.
10. 삭제

Images