KR101062225B1 - 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템 - Google Patents

감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템 Download PDF

Info

Publication number
KR101062225B1
KR101062225B1 KR1020090093473A KR20090093473A KR101062225B1 KR 101062225 B1 KR101062225 B1 KR 101062225B1 KR 1020090093473 A KR1020090093473 A KR 1020090093473A KR 20090093473 A KR20090093473 A KR 20090093473A KR 101062225 B1 KR101062225 B1 KR 101062225B1
Authority
KR
South Korea
Prior art keywords
pedestrian
image
characteristic information
background
extracted
Prior art date
Application number
KR1020090093473A
Other languages
English (en)
Other versions
KR20110035662A (ko
Inventor
최유주
조위덕
양휘석
김진형
김양원
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020090093473A priority Critical patent/KR101062225B1/ko
Publication of KR20110035662A publication Critical patent/KR20110035662A/ko
Application granted granted Critical
Publication of KR101062225B1 publication Critical patent/KR101062225B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

본 발명은 감시 카메라 영상에 대한 지능화 검색을 지원하기 위하여 다중 보행자를 안정적으로 감지 및 추적하고, 상기 다중 보행자 각각의 특성을 추출하여 보행자 특성에 기반한 영상 검색 기술을 제공한다. 또한, 본 발명은 감시 목표 지역에 설치되어 있는 다수의 감시 카메라로부터 실시간 영상을 입력 받아, 온라인 혹은 오프라인 영상 조회를 원하는 사용자가 검색하고자 하는 보행자 특성 정보를 입력하면 상기 특성 정보에 해당하는 보행자를 검출하여 온라인 비디오 영상 혹은 오프라인 대표 프레임 영상에 표시할 수 있다.
Figure R1020090093473
감시 카메라, 옵티컬 플로우, 배경 차감, 영상 검색

Description

감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템{INTELLIGENT IMAGE SEARCH METHOD AND SYSTEM USING SURVEILLANCE CAMERA}
본 발명은 영상 검색 시스템 및 그 방법에 관한 것으로, 보다 구체적으로는 감시 카메라를 이용한 지능형 영상 검색 시스템 및 그 방법에 관한 것이다.
어떤 특정 행위나 사건이 일어나는 것을 감지하는 영상 감시 시스템은 사람 추적을 이용한 연구 분야 중에서도 가장 중요하게 인식되고 있다. 그 이유는 사회가 발전할수록 공공 장소뿐 아니라 개인 공간에서도 개인 및 시설물의 안전에 대한 중요성이 높이 인식되고 있기 때문이다.
현대사회가 정보화, 무인화, 자동화, 전산화의 성격이 증가함에 따라 자신과 사업장의 안전과 재산에 대한 안전성과 보안성의 문제점에 대한 경고가 지속적으로 대두하고 있다. 따라서 자신과 사업장의 재산과 안전을 보호, 관리하기 위한 노력이 계속되고 있으며, 주요 시설물 및 관공서, 학교, 기업, 가정에 이르기까지 보안의 중요성과 범위가 넓어져 가고 있어 영상 감시 시스템의 중요성과 개발의 필요성이 요구되고 있다.
특히, 영상 감시 및 보안 시스템인 CCTV 기술, IP 카메라 네트워크 기술이 최근 급속히 발전해 지능화 되어 가고 있다. 영상 감시 시스템이 인공 지능을 부여 받아 지능형 시스템으로 거듭나기 위한 방법은 크게 3가지가 있다.
첫 번째는 별도의 서버를 두고 이곳에서 여러 곳의 영상을 수집하고, 상기 수집된 영상을 다양하게 분석하는 기능을 소프트웨어 형태로 구현하는 것이다. 두 번째 방법은 CCTV 카메라가 포착한 영상을 저장, 녹화, 재생하는 DVR에 움직임 감지 기능 보다 한 단계 진화한 지능형 기능을 추가하는 것이다. 그리고 마지막으로는 카메라 자체 내에 또는 인코더 장비에 칩을 내장하거나 네트워크 연결을 통해 소프트웨어를 구동시키는 방법이 있다.
이 가운데 별도의 서버에 소프트웨어를 구동시켜 여러 가지 지능형 기능을 가능하도록 하는 지능형 영상 감시 시스템은 컴퓨터 소프트웨어의 발전과 그 궤를 같이 한다. 컴퓨터에 활용되는 각종 소프트웨어가 비디오 영상 처리에도 적용되기 시작하면서 영상이 분석, 추적, 분류되기 시작하였다. 이러한 지능형 감시 시스템의 등장은 각 카메라로부터 입력되는 영상 데이터를 단순하게 체크하는 정도에서 벗어나 컴퓨터 기술과 영상 처리 소프트웨어를 통해 영상 데이터 내 관심있는 객체의 탐지 및 추적 등을 수행하는 영상 감시 체계를 구축할 수 있음을 의미하는 것이기도 하다.
이러한 지능형 영상 감시 시스템을 효율적으로 구현하기 위해서는 카메라 영상으로부터 다중 보행자의 안정적 검출 및 추적, 보행자의 특성 추출, 보행자 특성 기반 영상 검색 기술들이 요구된다.
본 발명은 감시 카메라 영상에 대한 지능화 검색을 지원하기 위한 다중 보행자 감지 및 추적 방법을 제공한다.
또한, 본 발명은 감시 카메라로부터 입력되는 다중 보행자의 특성을 추출하고, 상기 추출된 다중 보행자 특성을 기반으로 사용자가 원하는 보행자를 검색하기 위한 방법을 제공한다.
본 발명은 감시 목표 지역을 촬영하는 복수의 감시 카메라와, 상기 복수의 감시 카메라에 의해 촬영된 영상을 기초로 보행자 특성 정보를 추출하고, 상기 추출된 보행자 특성 정보 중 검색하고자 하는 보행자 특성 정보에 매칭되는 보행자 특성 정보가 추출된 영상을 검출하는 영상 처리 서버 및 상기 검색하고자 하는 보행자 특성 정보를 입력하거나 상기 검출된 영상을 영상 검색 화면에 표시하는 사용자 인터페이스 부를 포함하는 지능형 영상 검색 시스템을 제공한다.
또한, 본 발명은 복수의 감시 카메라로부터 촬영된 영상을 수신하는 과정과, 상기 수신된 영상을 기초로 보행자의 특성 정보를 추출하는 과정과, 상기 추출된 보행자 특성 정보 중 사용자로부터 입력된 검색하고자 하는 보행자 특성 정보에 매칭되는 보행자 특성 정보가 추출된 영상을 검출하는 과정 및 상기 검출된 영상을 영상 검색 화면에 표시하는 과정을 포함하는 지능형 영상 검색 방법을 제공한다.
또한, 본 발명은 복수의 감시 카메라를 구비하는 지능형 영상 검색 시스템에 있어서, 상기 복수의 감시 카메라에 의해 촬영된 영상을 기초로 상기 보행자의 특성 정보를 추출하고, 상기 추출된 보행자 특성 정보 중 검색하고자 하는 보행자 특성 정보에 매칭되는 보행자 특성 정보가 추출된 영상을 검출하는 영상 처리 장치를 포함하는 지능형 영상 검색 시스템을 제공한다.
본 발명은 감시 카메라 영상으로부터 다중 보행자를 안정적으로 검출 및 추적하여 보행자의 특성을 추출할 수 있다.
또한, 본 발명은 감시 목표 지역에 설치되어 있는 다수의 감시 카메라로부터 실시간 영상을 입력 받아, 온라인 혹은 오프라인 영상 조회를 원하는 사용자가 검색하고자 하는 보행자 특성 정보를 입력하면 상기 특성 정보에 해당하는 보행자를 검출하여 온라인 비디오 영상 혹은 오프라인 대표 프레임 영상에 표시할 수 있다.
하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술 되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 실시 예는 감시 카메라 영상에 대한 지능화 검색을 지원하기 위하여 다중 보행자를 안정적으로 감지 및 추적하고, 상기 다중 보행자 각각의 특성을 추출하여 보행자 특성에 기반한 영상 검색 기술을 제공한다.
구체적으로, 본 발명의 실시 예는 감시 카메라로부터 실시간 입력되는 영상을 기반으로 다중 보행자를 감지하는 방법, 상기 다중 보행자를 추적하는 방법, 상기 다중 보행자 각각의 특성을 추출하는 방법을 제공함으로써 사용자가 찾고자 하는 보행자를 효율적으로 검색할 수 있다.
이하에서는, 본 발명의 바람직한 실시 예에 대해 도면을 참조하여 상세히 설명하도록 한다.
도 1은 본 발명의 바람직한 실시 예에 따른 감시 카메라 영상 기반 지능화 검색 시스템을 도시하고 있다.
도 1을 참조하면, 상기 시스템(100)은 감시 카메라(102), 영상 처리 서버(104), 영상 데이터 저장부(106) 및 사용자 인터페이스 부(108)를 포함한다. 상기 영상 처리 서버(104)는 영상 처리 장치(미도시) 내에 구현될 수 있고, 상기 영상 처리 장치는 상기 감시 카메라(102)를 포함할 수 있음은 당업자에게 자명하다. 이하, 본 발명의 내용과 관련 없는 상기 시스템(100)의 다른 구성 요소들에 대해서는 생략하도록 한다.
상기 감시 카메라(102)는 감시 목표 지역에 설치되어 보행자의 위치 및 움직임 등을 촬영한다.
상기 영상 처리 서버(104)는 상기 감시 카메라(102)로부터 입력되는 실시간 영상을 기반으로 보행자를 감지 및 추적하고, 보행자의 특성을 추출하는 기능을 수행한다. 또한, 상기 영상 처리 서버(104)는 상기 감시 카메라로부터 입력되는 보행 자의 특성 정보와 사용자에 의해 입력된 보행자 특성 정보를 비교함으로써 사용자가 원하는 보행자를 검색하는 기능을 수행한다. 한편, 상기 영상 처리 서버(104)는 상기 감시 카메라(102)로부터 실시간 영상을 입력 받아 대표 프레임들을 추출하고, 상기 추출된 대표 프레임들을 상기 영상 데이터 저장부(106)에 저장한다.
상기 사용자 인터페이스 부(108)는 온라인 또는 오프라인 영상 조회를 원하는 사용자에 의해 보행자 특성 정보가 입력되면, 상기 보행자 특성 정보에 매칭되는 보행자를 온라인 비디오 영상 혹은 오프라인 대표 프레임 영상에 표시하는 영상 검색 창을 제공한다. 상기 영상 검색 창은 실시간 영상 검색 모드와 오프라인 대표 영상 조회 모드로 구분될 수 있다. 또한, 상기 영상 검색 창에는 쿼리(query) 입력 창을 구비하고 있어 사용자가 검색하고자 하는 보행자의 특성 정보를 입력할 수 있다.
이하에서는 상기 영상 처리 서버(104)의 구성 및 동작에 대해 도면을 참조하여 상세히 설명하도록 한다.
도 2는 본 발명의 바람직한 실시 예에 따른 영상 처리 서버의 구성도를 도시하고 있다.
도 2를 참조하면, 상기 영상 처리 서버(104)는 크게 세 가지의 주요 모듈인 영상 및 쿼리 입력기(202), 보행자 추적 및 특성 추출기(204), 특성 매칭 및 결과 출력기(206)를 포함한다.
상기 영상 및 쿼리 입력기(202)는 감시 카메라 영상 입력기(208), 정지 영상/메타데이터 입력기(210), 쿼리 입력기(212)로 구성될 수 있다.
상기 감시 카메라 영상 입력기(208)는 감시 카메라(102)로부터 데이터 스트림 형태의 영상 신호를 수신한 후 상기 보행자 추적 및 특성 추출기(204)로 전달하는 기능을 수행한다. 상기 감시 카메라 영상 입력기는 최대 2대의 감시 카메라의 영상을 동시에 확인할 수 있고, IP 주소 지정에 따라 임의의 권한이 주어진 감시 카메라로의 접근이 가능하다.
상기 정지 영상/메타데이터 입력기(210)는 영상 데이터 저장부(106)로부터 정지 원영상, 배경차감 영상, 각 프레임 영상 별 보행자 영역 정보를 읽어 상기 보행자 추적 및 특성 추출기(204)로 제공한다.
상기 쿼리 입력기(212)는 사용자 인터페이스 부(108)로부터 검색하고자 하는 보행자의 특성 정보가 입력되면, 상기 보행자 특성 정보를 상기 특성 매칭 및 결과 출력기(206)로 제공한다. 상기 보행자의 특성 정보는 보행자의 키, 모자 색, 착용하는 의상의 색상 등의 정보가 될 수 있다.
상기 보행자 추적 및 특성 추출기(204)는 옵티컬 플로우 분석기(214), 적응적 배경 차감기(216), 보행자 추적기(218), 대표 프레임 추출기(220), 보행자 특성 추출기(222)로 구성될 수 있다.
상기 보행자 추적 및 특성 추출기(204)는 상기 옵티컬 플로우 분석기(214)를 통하여 객체의 움직임 정보를 추출하고, 이를 적응적 배경 차감기(216)와 결합하여 보행자의 영역을 안정적으로 추출하는 기능을 수행한다. 또한, 조명 조건이 수시로 변화하는 실외 환경에서 배경의 변화를 빠르게 수용한다. 상기 보행자 추적 및 특성 추출기(204)는 배경으로 인식되는 보행자를 빠르게 제거하면서, 일시적으로 움 직임이 없는 보행자의 경우에도 안정적으로 영역을 추출하는 기능을 제공한다.
먼저, 상기 옵티컬 플로우 분석기(214)는 상기 감시 카메라 영상 입력기(208)로부터 제공된 영상을 이용하여 객체의 움직임 정보(즉, 각 픽셀 별 모션 벡터)를 추출하고, 이를 적응적 메디안 배경 차감기(216)의 입력 정보로 제공한다.
여기서, 옵티컬 플로우(optical flow)란 시간적으로 연속된 여러 영상에서 현재 영상과 이전 영상을 비교하여 밝기로 나타난 화소(pixel)의 이동 방향을 나타내는 벡터를 일컫는다. 객체의 동적 움직임을 나타내는 옵티컬 플로우를 통해 시간에 따라 변화하는 영상에서 객체의 움직임 정보가 결정되고, 나아가 배경(background)과 전경(foreground)의 안정적인 구분이 가능하게 된다.
상기 옵티컬 플로우를 계산하는 대표적인 방법으로, Gradient 기반의 Lucas-Kanade 방법과 Horn-Schunck 방법이 있다. 상기 두 가지 방법 모두 렌즈 구경 문제(aperture problem)를 해결하기 위한 방안을 제시하고 있다.
첫 번째 방법인 Lucas-Kanade 방법은 가장 널리 이용되고 있는 방법으로서 속도가 빠르고 노이즈에 강하며 간단하여 실시간 실행이 필요한 곳에 적합하다. 기본적으로 상기 Lucas-Kanade 방법은 하기 수학식 1의 잘 알려진 모션 제약 식에 기반을 둔다.
Figure 112009060464351-pat00001
Figure 112009060464351-pat00002
, 여기서 I는 (x,y,t)에서 명도(intensity)이며, 는 이미지 속도이다.
그러나, 이러한 한계만으로는 옵티컬 플로우의 국소에 한정된 해석에 기인한 렌즈구경문제(aperture problem)로 인하여 이동 위치추정이 어렵다. 이 때문에 Lucas와 Kanade는 국소 윈도우 내의 옵티컬 플로우 v를 상수로 가정하고, 그 윈도우 내에서 하기 수학식 2와 같이 정의되는 에러 함수 E의 가중 제곱 합(weighted sum-of-squares)을 최소화하는 방법을 제안한다.
Figure 112009060464351-pat00003
, 여기서 w는 가중함수이다.
따라서, 상기 옵티컬 플로우 v는 하기 수학식 3과 같이 최소 제곱법으로 구할 수 있다.
Figure 112009060464351-pat00004
두 번째 방법인 Horn-Schunck 방법은 하기 수학식 4로 정의되는 옵티컬 플로우 구속 방정식(optical flow constraint equation)에 기반을 둔다.
Figure 112009060464351-pat00005
Figure 112009060464351-pat00006
Figure 112009060464351-pat00007
Figure 112009060464351-pat00008
, 여기서 , 는 옵티컬 플로우 벡터를 이루는 구성 성분으로서 속도 벡터이고, 이다.
상기 수학식 4에서
Figure 112009060464351-pat00009
는 영상으로부터 측정되는 값이며, 이를 이용하여 u와 v를 계산하게 된다. 그런데 방정식은 하나이고 구해야 할 미지수는 두 개이므로, 다른 가정이 없는 한, 한 점에서 u, v의 값을 결정할 수 없다. 이 를 렌즈 구경 문제라고 부른다. Horn과 Schunck는 상기 렌즈 구경 문제를 해결하기 위해 변분법(variation of calculus)에 의해 오차함수(error function)를 최소화시킴으로써 옵티컬 플로우 필드(optical flow field)를 얻는 방법을 제안한다.
즉, 상기 옵티컬 플로우 필드(optical flow field)가 평탄하다고 가정하면, 상기 수학식 4는 상기 변분법에 의해 해를 계산해 낼 수가 있다. 이를 위하여 속도 필드의 평탄성 정도에 대한 척도(smoothness measure:
Figure 112009060464351-pat00010
)와 옵티컬 플로우 구속 방정식 상의 오차(
Figure 112009060464351-pat00011
)는 각각 하기 수학식 5와 같이 표현된다.
Figure 112009060464351-pat00012
가중 상수(weighting constant) λ를 이용하고, 상기 수학식 5를 종합하여 오차함수
Figure 112009060464351-pat00013
를 표현하면,
Figure 112009060464351-pat00014
이 된다. 그리고, 상기
Figure 112009060464351-pat00015
를 최소화함으로써 u, v를 구하면 하기 수학식 6과 같이 표현된다.
Figure 112009060464351-pat00016
Figure 112009060464351-pat00017
, 여기서 이다.
상기 옵티컬 플로우 분석기(214)는 전술한 두 가지 방법 중 어느 하나의 방법을 이용하여 객체의 움직임 정보를 추출할 수 있다. 즉, 상기 옵티컬 플로우 분석기(214)는 각 픽셀 별 모션 벡터의 크기가 일정 임계값 이하의 경우 정지 객체로 판별하여 0 값으로 표시하고, 일정 임계값 이상의 픽셀의 경우에만 255로 표시한 바이너리 영상을 생성한다.
적응적 배경 차감기(216)는 배경 학습을 위한 별도의 전처리 과정 없이 배경모델링을 미디언 모델링 기법을 적용하여 수행한다. 이때, 상기 옵티컬 플로우 분석기(214)의 출력에 의하여 생성된 모션 바이너리 영상을 읽어, 모션 정보가 있는 픽셀의 경우 배경 모델 갱신에서 제외하고 모션 정보가 없는 픽셀의 경우 배경 모델 갱신 과정을 수행하도록 한다. 상기 적응적 배경 차감기(216)는 미디언 배경 모델과 현재 입력된 프레임 영상 간의 차 영상(즉, 바이너리 영상)을 생성한다.
실외 영상의 경우, 조명이 안정적이지 못하고 배경 또한 나무, 물결, 분수 등 움직임이 많은 것이 특징이다. 또한, 배경 모델링을 위하여 보행자나 차량 등 동적 객체가 전혀 없는 배경 프레임을 일정 기간 확보하는 것은 불가능하다. 그러 므로, 배경의 정보가 적응적으로 갱신되고, 시간에 따른 조명의 변화에 안정적으로 동적 객체 영역을 추출할 수 있는 방법이 필요하다. 즉, 전술한 옵티컬 플로우 기법과 함께 효율적인 배경 차감 기법이 요구된다.
상기 배경 차감 기법에는 Running Gaussian Average(RGA: Running Gaussian average) 기법, Gaussian Mixture Model(GMM: Gaussian mixture model) 기법, 변동 개수의 가우시안을 기반으로 한 GMM(GMM with adaptive number of Gaussians) 기법, 근사적 메디안 필터링 기반 배경 차감(AMF: Approximated median filtering) 기법 등이 있다.
이하, 본 발명의 바람직한 실시 예에서는 상기 배경 차감 기법들 중 근사적 메디안 필터링 기반 배경 차감(AMF) 기법을 이용하여 배경을 모델링하는 방법에 대해 설명하도록 한다. 하지만, 상기 배경을 모델링함에 있어서 상기 근사적 메디안 필터링 기반 배경 차감(AMF) 기법이 아닌 다른 배경 차감 기법에 의해 구현될 수 있음은 당업자에게 자명하다.
상기 근사적 메디안 필터링 기반 배경 차감(AMF) 기법은 상기 옵티컬 플로우 정보를 배경 갱신을 위한 기반 정보로 활용함으로써, 움직임이 없는 배경에 대한 안정적인 갱신뿐 만 아니라, 배경에 포함되어 있던 보행자 영역을 적응적으로 배경 영상에서 제거할 수 있다.
즉, 기본 배경 모델링 기법은 잡음에 강한 근사적 메디안 배경 모델링 기법을 이용한다. 그리고 배경 갱신 영역을 선별할 때, 일정 기간의 옵티컬 플로우 영상 정보를 포함하고 있는 모션 히스토리 정보를 조회하여 상기 모션 히스토리 정보 가 없는 영역에 대해서만 배경 갱신을 수행한다.
예를 들어, 도 3은 어느 한 시점에서의 원 영상(좌) 및 배경 평균 영상(우)을 도시하고 있다. 도 3을 참조하면, 어느 한 시점에서의 배경 평균 영상에는 보행자의 영역이 배경 영상으로 포함되어 있음을 확인할 수 있다.
도 4는 시간 별 원 영상(좌), 모션 히스토리 영상(중), 배경 차감 결과 영상(우)을 도시하고 있다. 도 4를 참조하면, 본 발명의 실시 예에 따른 옵티컬 플로우 이미지 기반 근사적 메디안 배경 모델링 기법을 적용함으로써 배경 차감 결과가 생성됨을 확인할 수 있다. 즉, 초기에 배경 영상에 포함되어 있던 보행자의 영역이 본연의 배경 정보로 갱신되어 시간이 지남에 따라 정확한 보행자 영역이 배경 차감 결과 생성됨을 확인할 수 있다.
도 5는 본 발명의 바람직한 실시 예에 따른 배경 갱신 절차를 도시하고 있다. 도 5를 참조하면, 502 단계에서 상기 옵티컬 플로우 분석기는 원 영상을 기초로 모션 히스토리 영상을 추출한다.
504 단계에서, 상기 적응적 배경 차감기는 상기 모션 히스토리 영상을 기초로 배경 갱신을 수행한다. 즉, 상기 적응적 배경 차감기는 상기 모션 히스토리 정보를 조회하여 상기 모션 히스토리 정보가 없는 영역에 대해서만 배경 갱신을 수행한다. 상기 504 단계가 완료되면, 506 단계에서 상기 적응적 배경 차감기는 원 영상과 배경 갱신 영상을 기초로 배경 차영상을 출력한다.
상기 504 단계인 배경 갱신 과정을 반복함으로써, 상기 적응적 배경 차감기는 시간에 따라 변화하는 배경을 적응적으로 갱신하여 배경 차영상을 획득할 수 있 다.
이상, 전술한 상기 옵티컬 플로우 분석기와 상기 적응적 배경 차감기를 이용하여 다중 보행자 영역을 안정적으로 감지할 수 있다. 상기 다중 보행자 영역이 감지되면, 보행자의 관심 영역(Region Of Interest, 이하 'ROI'로 칭함)을 검출하고, 상기 보행자의 이동을 추적하는 동작을 수행한다.
상기 보행자 추적기(218)는 상기 적응적 배경 차감기(216)로부터 생성된 배경 차영상을 입력으로 그리드 기반 영역 분할을 수행하고, 그리드 패치 별 배경픽셀 대비 전경픽셀 비율을 계산하여 전경영역, 즉 동적 객체 영역에 대한 관심 영역을 추출하는 기능을 수행한다.
도 6은 본 발명의 바람직한 실시 예에 따른 보행자 ROI 검출 절차를 도시하고 있다. 도 6을 참조하면, 602 단계에서 상기 옵티컬 플로우 분석기는 원 영상을 기초로 모션 히스토리 영상을 추출한다.
604 단계에서, 상기 적응적 배경 차감기는 상기 모션 히스토리 영상을 기초로 배경 갱신을 수행한다. 이후, 606 단계에서 상기 적응적 배경 차감기는 원 영상과 배경 갱신 영상을 이용하여 배경 차감 영상을 출력한다. 608 단계에서, 상기 적응적 배경 차감기는 상기 배경 차감 영상에 잡음 제거를 수행한 후 상기 보행자 추적기로 출력한다.
상기 608 단계가 완료되면, 610 단계에서 상기 보행자 추적기는 배경 차영상을 입력으로 그리드 기반 영역 분할을 수행한다. 그리고, 612 단계에서 상기 보행자 추적기는 그리드 패치 별 배경픽셀 대비 전경픽셀 비율을 계산하여 전경영역, 즉 동적 객체 영역에 대한 관심 영역을 검출한다. 이후, 614 단계에서 상기 보행자 추적기는 상기 모션 히스토리 영상을 이용하여 전경 ROI를 갱신한다.
이상, 전술한 과정을 통해 감시 카메라로부터 실시간으로 입력되는 영상을 기반으로 다중 보행자 영역을 감지하고, 감지된 보행자의 ROI를 검출할 수 있다.
한편, 상기 보행자의 ROI를 검출하는 과정에서, 초기 배경 화면에 포함된 동적 객체로서 동적 객체가 움직여져서 배경에서 제거되었음에도 불구하고, 배경영상에서 바로 사라지지 않고, 동적 객체 영역으로 표현되는 현상을 고스트(Ghost) 현상이라 한다. 이러한 현상을 제거하기 위하여, 전경영역으로 추적된 영역 별로 대응되는 모션 영상 영역을 검사하여 모션 픽셀의 비율이 일정 임계값 이하이면 해당 전경영역은 고스트 영역으로 판별하여 동적 객체 후보에서 제외시키는 객체단위 정보정합 처리를 수행한다. 예를 들어, 도 7을 참조하면, 배경차감 영상과 모션 영상을 기반으로 하여 최종 동적 객체 영역을 추출하는 과정을 예제 화면을 통해 확인할 수 있다.
보행자의 전경 ROI 검출이 완료되면, 상기 보행자 추적기(218)는 프레임 간 최소거리의 인접 ROI끼리의 매칭을 통하여 동일 보행자를 추적하는 기능을 수행한다. 즉, 상기 보행자 추적기(218)는 동일 프레임 내에서 ROI의 크기 및 위치에 기반하여 트랙 갱신, 트랙 생성, 트랙 병합 및 트랙 나눔을 수행함으로써 다중 보행자의 영역을 추적한다.
실루엣이나 영역을 기반으로 다중 보행자를 추적하는 방법은 지능형 감시 시스템에서 있어서 가장 중요한 기술요소로 꼽히고 있다. 추출된 전경 블럽 마다 하 나의 트랙을 할당하고, 객체의 이동에 따라 트랙의 생성 및 제거를 수행함으로써, 다수의 보행자 영역을 추적한다. 하나의 객체가 두 개의 이상의 영역으로 분리되어 표현되더라도 전경 블럽의 크기와 거리를 고려하여 일정기간 동안 이들이 같이 움직이는 경우, 하나로 합쳐 하나의 트랙으로 관리한다. 또한, 각 트랙은 움직이는 객체의 색 정보를 가지고 있어 프레임 간 추적 시 색 정보에 의한 확인 과정을 수행할 수 있다.
도 8은 본 발명의 바람직한 실시 예에 따른 다중 보행자 영역 감지 및 추적 절차를 도시하고 있다.
도 8을 참조하면, 802 단계 내지 814 단계는 보행자의 전경 ROI를 검출하는 동작을 수행한다. 상기 802 단계 내지 814 단계는 전술한 상기 602 단계 내지 614 단계와 동일한 동작을 수행하기 때문에, 이하에서는 상기 동작에 대한 구체적인 설명을 생략하도록 한다.
상기 802 단계 내지 814 단계를 통하여 상기 보행자의 전경 ROI가 검출되면, 상기 보행자 추적기는 다중 보행자를 추적하기 위하여 816 단계 내지 822 단계를 수행한다.
즉, 상기 보행자 추적기는 추출된 전경 블럽 마다 하나의 트랙을 할당한다.
상기 할당된 트랙을 가진 전경 블럽이 카메라의 이전 프레임으로부터 일정 범위 안에서 지속적으로 매칭되고, 일정 간격으로 지속적인 이동이 있는 경우, 상기 보행자 추적기는 816 단계로 이동하여 트랙 갱신을 수행한다.
만약, 상기 전경 블럽이 새롭게 생성되는 경우(즉, 새로운 보행자가 나타나 는 경우), 상기 보행자 추적기는 818 단계로 이동하여 새로운 트랙을 생성한다.
한편, 한 카메라 내에서 인식된 2인 이상의 보행자들이 이동하는 경우 일부 보행자가 다른 보행자에 가려 잠시 사라졌다가 다시 나타나는 경우가 종종 발생한다. 이 때, 서로 다른 보행자가 겹치는 경우, 상기 보행자 추적기는 820 단계로 이동하여 트랙 병합을 수행하고, 상기 서로 다른 보행자가 떨어지는 경우에는 822 단계로 이동하여 트랙 나눔을 수행한다.
전술한 과정들을 통해 다중 보행자를 추적하고, 상기 816 단계 내지 822 단계가 완료되면, 824 단계에서 상기 보행자 추적기는 추적 결과를 이용하여 전경 영역을 갱신한다. 이후, 상기 갱신된 전경 영역은 배경 갱신을 위하여 804 단계로 피드백된다.
이상, 전술한 과정을 통해 감시 카메라로부터 실시간으로 입력되는 영상을 기반으로 다중 보행자를 안정적으로 감지하고, 상기 감지된 보행자를 추적할 수 있다.
상기 대표 프레임 추출기(220)는 상기 보행자 추적기(218)로부터 출력된 영상으로부터 프레임 간 영상의 차이가 일정 임계값 이상인 상이한 대표 프레임을 선별하여 원영상, 전경 영상, 보행자 영역 정보, 촬영 카메라 번호, 촬영 시간등을 추출하고 이를 영상 데이터 저장부(106)에 저장한다.
상기 보행자 특성 추출기(222)는 상기 보행자 추적기(218)로부터 제공된 보행자 ROI와 상기 정지 영상/메타데이터 입력기(210)로부터 제공된 정지 영상 및 메타데이터를 이용하여 보행자의 특성을 추출한다. 즉, 상기 보행자 특성 추출 기(222)는 상기 보행자의 ROI에서 인체 비율에 따라 머리 영역, 상체 영역, 하체 영역으로 구분하고, 각 영역 별 색상 특성을 추출한다. 또한, 상기 보행자 특성 추출기(222)는 삼각 측량법을 이용하여 보행자의 신장을 추정하여 보행자 특성 정보로 활용한다.
예를 들어, 도 9는 본 발명의 바람직한 실시 예에 따라 동일 보행자 ROI를 세부 영역으로 구분하는 배경차감 영상(좌) 및 원 영상(우)을 도시하고 있다.
도 9를 참조하면, 보행자에 대한 개별 영역(ROI)이 추출되면 ROI의 높이를 기준으로 보행자의 머리 영역, 상체 영역, 하체 영역을 구분한다. 보행자의 머리 영역의 특성으로는 상기 ROI의 전체 높이를 h라 하였을 때, 상위 h/6 에 해당하는 부분의 중앙 원형에 속하는 부분의 색상을 분석한다. 상체 영역의 특성으로는 상위 h/6영역에서 하위 h/2 위치의 영역에서 전경픽셀의 색상을 분석한다. 하위영역의 특성으로는 하위 h/2 영역에서 전경픽셀에 해당하는 색상을 분석한다.
상기 특성 매칭 및 결과 출력기(206)는 보행자 특성 매칭기(224)와 조회 결과 출력기(226)로 구성될 수 있다.
상기 보행자 특성 매칭기(224)는 상기 쿼리 입력기(212)를 통해 입력된 보행자의 특성 정보와 상기 보행자 특성 추출기(222)로부터 추출된 보행자 특성 정보를 비교하여 유사 특성의 보행자를 추출한다. 즉, 상기 보행자 특성 매칭기(224)는 상기 보행자 특성 추출기(222)로부터 추출된 보행자 특성 정보 중 검색하고자 하는 보행자의 특성 정보에 매칭되는 보행자 특성 정보가 포함된 영상을 검출한다.
상기 조회 결과 출력기(226)는 상기 보행자 특성 정보에 대한 매칭 결과 검 출된 영상을 상기 사용자 인터페이스 부(108)로 제공하는 기능을 수행한다.
상기 사용자 인터페이스 부(108)는 상기 검출된 영상을 영상 검색 창에 출력하고, 상기 영상 검색 창에 사용자가 검색하고자 하는 보행자를 표시한다. 즉, 온라인 동영상의 경우에는 해당 보행자에 주석(annotation)을 표시하고, 오프라인 정지 영상의 경우에는 해당 영상에 보행자 주석(annotation)과 함께 촬영 카메라 정보, 촬영 시간 등을 함께 표시한다.
예를 들어, 도 10은 본 발명의 바람직한 실시 예에 따른 영상 검색 화면을 도시하고 있다. 도 10의 (a)는 실시간 영상 검색 화면의 구성을 나타내고, 도 10의 (b)는 대표 프레임 검색 화면의 구성을 나타낸다.
도 10을 참조하면, 사용자가 영상 검색 화면 상의 쿼리 입력 창을 통해 검색하고자 하는 보행자의 키, 상의 색, 하의 색, 모자색등의 정보를 입력하면, 상기 사용자 인터페이스 부(108)는 해당하는 보행자를 검색하여 상기 실시간 영상 검색 화면이나 대표 프레임 검색 화면에 표시한다.
이상, 전술한 감시 카메라 영상 기반 지능화 검색 시스템의 동작을 통하여, 사용자는 감시 목표 지역에 설치되어 있는 다수의 감시 카메라로부터 실시간 입력되는 영상으로부터 검색하고자 하는 보행자를 온라인 비디오 영상 혹은 오프라인 대표 프레임 영상에서 효율적으로 검색할 수 있다.
도 11은 본 발명의 바람직한 실시 예에 따른 감시 카메라를 이용한 지능형 영상 검색 과정을 도시하고 있다.
도 11을 참조하면, 1102 단계에서 다수의 감시 카메라는 감시 목표 지역에 설치되어 촬영된 영상을 데이터 스트림 형태로 감시 카메라 영상 입력기로 제공한다. 상기 감시 카메라 영상 입력기는 상기 감시 카메라에 의해 촬영된 영상을 보행자 추적 및 특성 추출기로 제공한다.
1104 단계에서, 상기 보행자 추적 및 특성 추출기는 옵티컬 플로우 분석기를 통해 객체의 움직임 정보를 추출하고, 이를 적응적 배경 차감기와 결합하여 보행자의 영역을 감지한다. 이후, 1106 단계에서 상기 보행자 추적 및 특성 추출기는 감지된 보행자의 ROI를 검출하고, 상기 보행자의 이동을 추적한다.
상기 1106 단계가 완료되면, 1108 단계에서 상기 보행자 추적 및 특성 추출기는 보행자 추적기로부터 제공된 보행자 ROI와 정지 영상/메타데이터 입력기로부터 제공된 정지 영상 및 메타데이터를 이용하여 보행자의 특성을 추출한다.
1110 단계에서, 사용자 인터페이스 부를 통해 검색하고자 하는 보행자의 특성 정보가 입력하는지 여부를 확인한다. 만약, 사용자에 의한 검색 요청이 없는 경우 상기 영상 검색 과정은 종료한다.
한편, 사용자에 의한 검색 요청이 존재하는 경우, 1112 단계로 이동한다. 상기 1112단계에서, 특성 매칭 및 결과 출력기는 쿼리 입력기를 통하여 입력된 보행자 특성 정보와 상기 보행자 추적 및 특성 추출기를 통해 추출된 보행자 특성 정보를 비교하여, 유사 특성의 보행자를 추출한다. 즉, 상기 보행자 특성 매칭기(224)는 상기 보행자 특성 추출기(222)로부터 추출된 보행자 특성 정보 중 검색하고자 하는 보행자의 특성 정보에 매칭되는 보행자 특성 정보가 포함된 영상을 검출한다.
상기 1112 단계가 완료되면, 1114 단계에서 상기 특성 매칭 및 결과 출력기 는 상기 검출된 영상을 상기 사용자 인터페이스 부로 제공한다. 상기 사용자 인터페이스 부(108)는 상기 검출된 영상을 영상 검색 창에 출력하고, 상기 영상 검색 창에 사용자가 검색하고자 하는 보행자를 표시한다.
이상, 전술한 감시 카메라 영상 기반 지능화 검색 방법을 통하여, 사용자는 감시 목표 지역에 설치되어 있는 다수의 감시 카메라로부터 실시간 입력되는 영상으로부터 검색하고자 하는 보행자를 온라인 비디오 영상 혹은 오프라인 대표 프레임 영상에서 효율적으로 검색할 수 있다.
이상에서는 본 발명의 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술 되는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 바람직한 실시 예에 따른 감시 카메라 영상 기반 지능화 검색 시스템의 구성도;
도 2는 본 발명의 바람직한 실시 예에 따른 영상 처리 서버의 구성도;
도 3은 특정한 시점에서의 원 영상(좌) 및 배경 평균 영상(우)을 도시한 도면;
도 4는 시간 별 원 영상(좌), 모션 히스토리 영상(중), 배경 차감 결과 영상(우)을 도시한 도면;
도 5는 본 발명의 바람직한 실시 예에 따른 배경 갱신 절차의 흐름도;
도 6은 본 발명의 바람직한 실시 예에 따른 보행자 ROI 검출 절차의 흐름도;
도 7은 배경차감 영상과 모션 영상을 기반으로 하여 최종 동적 객체 영역을 추출하는 절차를 도시한 도면;
도 8은 본 발명의 바람직한 실시 예에 따른 다중 보행자 영역 감지 및 추적 절차의 흐름도;
도 9는 동일 보행자 ROI를 세부 영역으로 구분하는 배경차감 영상(좌) 및 원 영상(우)을 도시한 도면;
도 10은 본 발명의 바람직한 실시 예에 따른 영상 검색 화면의 구성도;
도 11은 본 발명의 바람직한 실시 예에 따른 감시 카메라를 이용한 지능형 영상 검색 과정의 흐름도.

Claims (16)

  1. 감시 목표 지역을 촬영하는 복수의 감시 카메라와;
    상기 복수의 감시 카메라에 의해 촬영된 영상을 처리하여 생성된 배경 차 영상을 이용하여 보행자 관심 영역을 검출하고, 상기 보행자 관심 영역에 기초하여 보행자 특성 정보를 추출하며, 상기 추출된 보행자 특성 정보 중 검색하고자 하는 보행자 특성 정보에 매칭되는 보행자 특성 정보가 추출된 영상을 검출하는 영상 처리 서버; 및
    상기 검색하고자 하는 보행자 특성 정보를 입력하거나 상기 검출된 영상을 영상 검색 화면에 표시하는 사용자 인터페이스 부를 포함하는 지능형 영상 검색 시스템.
  2. 제 1항에 있어서, 상기 영상 처리 서버는,
    상기 복수의 감시 카메라에 의해 촬영된 영상을 기초로 보행자를 감지하고, 상기 감지된 보행자의 이동을 추적하며, 상기 추적된 보행자의 특성 정보를 추출하는 보행자 추적 및 특성 추출기; 및
    상기 추출된 보행자 특성 정보 중 상기 검색하고자 하는 보행자 특성 정보에 매칭되는 보행자 특성 정보가 추출된 영상을 상기 사용자 인터페이스 부로 출력하는 특성 매칭 및 결과 출력기를 포함하는 것을 특징으로 하는 지능형 영상 검색 시스템.
  3. 제 2항에 있어서, 상기 보행자 추적 및 특성 추출기는,
    상기 복수의 감시 카메라에 의해 촬영된 영상으로부터 모션 히스토리 정보를 출력하는 옵티컬 플로우 분석기와;
    상기 복수의 감시 카메라에 의해 촬영된 영상에 상기 출력된 모션 히스토리 정보를 결합하여 상기 배경 차 영상을 출력하는 적응적 배경 차감기와;
    상기 배경 차 영상을 기초로 그리드 기반 영역 분할을 수행하고, 그리드 패치 별 배경픽셀 대비 전경픽셀 비율을 계산하여 상기 보행자 관심 영역(Region Of Interest)을 검출하고, 상기 검출된 보행자 ROI를 추적하는 보행자 추적기; 및
    상기 보행자 추적기로부터 제공된 보행자 ROI와 영상 데이터 저장부로부터 제공된 정지 영상 및 메타데이터를 이용하여 보행자 특성 정보를 추출하는 보행자 특성 추출기를 포함하는 것을 특징으로 하는 지능형 영상 검색 시스템.
  4. 제 3항에 있어서,
    상기 적응적 배경 차감기는 근사적 메디안 필터링 기반 배경 차감 기법을 이용하여 배경 차 영상을 출력하는 것을 특징으로 하는 지능형 영상 검색 시스템.
  5. 제 2항에 있어서, 상기 특성 매칭 및 결과 출력기는,
    상기 보행자 추적 및 특성 추출기로부터 제공된 보행자 특성 정보 중 상기 검색하고자 하는 보행자 특성 정보에 매칭되는 보행자 특성 정보가 포함된 영상을 검출하는 보행자 특성 매칭기; 및
    상기 검출된 영상을 상기 사용자 인터페이스 부로 출력하는 조회 결과 출력기를 포함하는 것을 특징으로 하는 지능형 영상 검색 시스템.
  6. 제 1항에 있어서,
    상기 보행자의 특성 정보는 보행자의 키, 모자색, 안경 착용 유무, 보행자의 의상 색 중 적어도 하나임을 특징으로 하는 지능형 영상 검색 시스템.
  7. 복수의 감시 카메라로부터 촬영된 영상을 수신하는 과정과;
    상기 수신된 영상을 처리하여 생성된 배경 차 영상을 이용하여 보행자 관심 영역을 검출하고, 상기 보행자 관심 영역에 기초하여 보행자 특성 정보를 추출하는 과정과;
    상기 추출된 보행자 특성 정보 중 사용자로부터 입력된 검색하고자 하는 보행자 특성 정보에 매칭되는 보행자 특성 정보가 추출된 영상을 검출하는 과정; 및
    상기 검출된 영상을 영상 검색 화면에 표시하는 과정을 포함하는 지능형 영상 검색 방법.
  8. 제 7항에 있어서, 상기 보행자의 특성 정보를 추출하는 과정은,
    상기 수신된 영상으로부터 모션 히스토리 정보를 출력하는 과정과;
    상기 수신된 영상에 상기 출력된 모션 히스토리 정보를 결합하여 상기 배경 차 영상을 출력하는 과정과;
    상기 출력된 배경 차 영상을 기초로 상기 보행자 관심 영역(Region Of Interest)을 검출하고, 상기 검출된 보행자 ROI를 추적하는 과정; 및
    상기 추적된 보행자 ROI와 정지 영상 및 메타데이터를 이용하여 보행자 특성 정보를 추출하는 과정을 포함하는 것을 특징으로 하는 지능형 영상 검색 방법.
  9. 제 8항에 있어서, 상기 보행자 ROI를 검출하는 과정은,
    상기 출력된 배경 차 영상을 기초로 그리드 기반 영역 분할을 수행하고, 그리드 패치 별 배경픽셀 대비 전경픽셀 비율을 계산하여 상기 보행자 ROI를 검출하는 것을 특징으로 하는 지능형 영상 검색 방법.
  10. 제 7항에 있어서,
    상기 보행자의 특성 정보는 보행자의 키, 모자 색, 안경 착용 유무, 보행자의 의상 색 중 적어도 하나임을 특징으로 하는 지능형 영상 검색 방법.
  11. 복수의 감시 카메라를 구비하는 지능형 영상 검색 시스템에 있어서,
    상기 복수의 감시 카메라에 의해 촬영된 영상을 처리하여 생성된 배경 차 영상을 이용하여 보행자 관심 영역을 검출하고, 상기 보행자 관심 영역에 기초하여 보행자의 특성 정보를 추출하며, 상기 추출된 보행자 특성 정보 중 검색하고자 하는 보행자 특성 정보에 매칭되는 보행자 특성 정보가 추출된 영상을 검출하는 영상 처리 장치를 포함하는 지능형 영상 검색 시스템.
  12. 제 11항에 있어서,
    상기 검색하고자 하는 보행자 특성 정보를 입력하거나 상기 검출된 영상을 영상 검색 화면에 표시하는 사용자 인터페이스 부를 더 포함하는 것을 특징으로 하는 지능형 영상 검색 시스템.
  13. 제 11항에 있어서, 상기 영상 처리 장치는,
    상기 복수의 감시 카메라에 의해 촬영된 영상을 기초로 보행자를 감지하고, 상기 감지된 보행자의 이동을 추적하며, 상기 추적된 보행자의 특성 정보를 추출하는 보행자 추적 및 특성 추출기; 및
    상기 추출된 보행자 특성 정보 중 상기 검색하고자 하는 보행자 특성 정보에 매칭되는 보행자 특성 정보가 추출된 영상을 검출하는 특성 매칭 및 결과 출력기를 포함하는 것을 특징으로 하는 지능형 영상 검색 시스템.
  14. 제 13항에 있어서, 상기 보행자 추적 및 특성 추출기는,
    상기 복수의 감시 카메라에 의해 촬영된 영상으로부터 모션 히스토리 정보를 출력하는 옵티컬 플로우 분석기와;
    상기 복수의 감시 카메라에 의해 촬영된 영상에 상기 모션 히스토리 정보를 결합하여 상기 배경 차 영상을 출력하는 적응적 배경 차감기와;
    상기 배경 차 영상을 기초로 그리드 기반 영역 분할을 수행하고, 그리드 패치 별 배경픽셀 대비 전경픽셀 비율을 계산하여 상기 보행자 관심 영역(Region Of Interest)을 검출하고, 상기 검출된 보행자 ROI를 추적하는 보행자 추적기; 및
    상기 보행자 추적기로부터 제공된 보행자 ROI와 영상 데이터 저장부로부터 제공된 정지 영상 및 메타데이터를 이용하여 보행자 특성 정보를 추출하는 보행자 특성 추출기를 포함하는 것을 특징으로 하는 지능형 영상 검색 시스템.
  15. 제 14항에 있어서,
    상기 적응적 배경 차감기는 근사적 메디안 필터링 기반 배경 차감 기법을 이용하여 배경 차 영상을 출력하는 것을 특징으로 하는 지능형 영상 검색 시스템.
  16. 제 13항에 있어서, 상기 특성 매칭 및 결과 출력기는,
    상기 보행자 추적 및 특성 추출기로부터 제공된 보행자 특성 정보 중 상기 검색하고자 하는 보행자 특성 정보에 매칭되는 보행자 특성 정보가 포함된 영상을 검출하는 보행자 특성 매칭기; 및
    상기 검출된 영상을 출력하는 조회 결과 출력기를 포함하는 것을 특징으로 하는 지능형 영상 검색 시스템.
KR1020090093473A 2009-09-30 2009-09-30 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템 KR101062225B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090093473A KR101062225B1 (ko) 2009-09-30 2009-09-30 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090093473A KR101062225B1 (ko) 2009-09-30 2009-09-30 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20110035662A KR20110035662A (ko) 2011-04-06
KR101062225B1 true KR101062225B1 (ko) 2011-09-06

Family

ID=44043981

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090093473A KR101062225B1 (ko) 2009-09-30 2009-09-30 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101062225B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101374138B1 (ko) 2012-09-17 2014-03-25 주식회사 제론헬스케어 비정상적인 상황 인식시스템
KR101459103B1 (ko) 2014-05-13 2014-11-13 주식회사 다이나맥스 효율적인 cctv 모니터링 구현을 위한 영상 감시 시스템을 이용한 영상 감시 방법
KR20220072477A (ko) 2020-11-25 2022-06-02 주식회사 싸인텔레콤 일반상황 이벤트 감시모듈과 특정상황 이벤트 처리모듈을 분리하여 실시간성을 향상시킨 멀티쓰레드 기반의 영상분석시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101398700B1 (ko) * 2012-12-20 2014-05-30 인하대학교 산학협력단 비디오 동영상 데이터를 위한 주석 시스템 및 방법
KR20140098959A (ko) 2013-01-31 2014-08-11 한국전자통신연구원 증거 영상 생성 장치 및 방법
KR101969623B1 (ko) * 2013-06-27 2019-04-16 인텔 코포레이션 병렬 검출과 추적, 및/또는 그룹화된 피처 모션 시프트 추적을 이용한 얼굴 인식
KR102097768B1 (ko) * 2013-08-22 2020-04-06 에스케이 텔레콤주식회사 인접거리 기준을 이용한 영상 검색장치, 방법 및 컴퓨터로 읽을 수 있는 기록매체
KR101466004B1 (ko) * 2014-10-14 2014-11-28 (주)진명아이앤씨 지능형 방범, 방재 및 사후처리 통합 트리플렉스 시스템 및 그 제어 방법
KR101701225B1 (ko) * 2015-12-07 2017-02-13 고려대학교 산학협력단 아파치 스톰 프레임워크 기반 분산 환경 내 실시간 보행자 탐지 시스템 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101374138B1 (ko) 2012-09-17 2014-03-25 주식회사 제론헬스케어 비정상적인 상황 인식시스템
KR101459103B1 (ko) 2014-05-13 2014-11-13 주식회사 다이나맥스 효율적인 cctv 모니터링 구현을 위한 영상 감시 시스템을 이용한 영상 감시 방법
KR20220072477A (ko) 2020-11-25 2022-06-02 주식회사 싸인텔레콤 일반상황 이벤트 감시모듈과 특정상황 이벤트 처리모듈을 분리하여 실시간성을 향상시킨 멀티쓰레드 기반의 영상분석시스템

Also Published As

Publication number Publication date
KR20110035662A (ko) 2011-04-06

Similar Documents

Publication Publication Date Title
KR101062225B1 (ko) 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
Yun et al. Vision‐based garbage dumping action detection for real‐world surveillance platform
JP5325899B2 (ja) 侵入警報ビデオ処理装置
Darrell et al. Integrated person tracking using stereo, color, and pattern detection
US8705861B2 (en) Context processor for video analysis system
Nam et al. Intelligent video surveillance system: 3-tier context-aware surveillance system with metadata
Kumar et al. Study of robust and intelligent surveillance in visible and multi-modal framework
CN106295598A (zh) 一种跨摄像头目标跟踪方法及装置
Santoro et al. Crowd analysis by using optical flow and density based clustering
Risha et al. Novel method of detecting moving object in video
Fradi et al. Spatial and temporal variations of feature tracks for crowd behavior analysis
WO2013054130A1 (en) Aerial survey video processing
WO2020157157A1 (en) Method of processing information from an event-based sensor
JP2006163452A (ja) 追跡装置および追跡方法
Abdulghafoor et al. A novel real-time multiple objects detection and tracking framework for different challenges
Liu et al. A cloud infrastructure for target detection and tracking using audio and video fusion
Lalonde et al. A system to automatically track humans and vehicles with a PTZ camera
Roy et al. A comprehensive survey on computer vision based approaches for moving object detection
Angelo A novel approach on object detection and tracking using adaptive background subtraction method
KR20140141239A (ko) 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템
JP7125843B2 (ja) 障害検知システム
Algethami et al. Combining Accumulated Frame Differencing and Corner Detection for Motion Detection.
Satybaldina et al. Development of an algorithm for abnormal human behavior detection in intelligent video surveillance system
Revathi et al. A survey of activity recognition and understanding the behavior in video survelliance
Branca et al. Cast shadow removing in foreground segmentation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140710

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150619

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160704

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180704

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190702

Year of fee payment: 9