KR20170095599A - 동영상 검색 시스템 및 그 방법 - Google Patents

동영상 검색 시스템 및 그 방법 Download PDF

Info

Publication number
KR20170095599A
KR20170095599A KR1020160017207A KR20160017207A KR20170095599A KR 20170095599 A KR20170095599 A KR 20170095599A KR 1020160017207 A KR1020160017207 A KR 1020160017207A KR 20160017207 A KR20160017207 A KR 20160017207A KR 20170095599 A KR20170095599 A KR 20170095599A
Authority
KR
South Korea
Prior art keywords
moving object
image frame
moving
module
descriptor
Prior art date
Application number
KR1020160017207A
Other languages
English (en)
Other versions
KR101826669B1 (ko
Inventor
이규원
정건희
Original Assignee
대전대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대전대학교 산학협력단 filed Critical 대전대학교 산학협력단
Priority to KR1020160017207A priority Critical patent/KR101826669B1/ko
Publication of KR20170095599A publication Critical patent/KR20170095599A/ko
Application granted granted Critical
Publication of KR101826669B1 publication Critical patent/KR101826669B1/ko

Links

Images

Classifications

    • G06F17/30023—
    • G06F17/30058—
    • G06F17/30784—
    • G06F17/3079—
    • G06F17/30811—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

CCTV와 같은 비디오 카메라에서 촬영된 동영상에서 이동하는 객체(물체 혹은 사람)를 촬영한 부분을 용이하게 검색할 수 있는 동영상 검색 시스템 및 그 방법이 개시된다. 본 발명의 일 측면에 따르면, 비디오 카메라가 주기적으로 촬영하는 각각의 영상 프레임을 수신하는 영상프레임 수신모듈-여기서, 상기 각각의 영상 프레임은, 미리 정의된 복수의 분할 영역으로 구분됨-, 상기 영상 프레임 수신모듈이 처리대상 영상 프레임을 수신하는 경우, 상기 처리대상 영상 프레임으로부터 이동 객체를 식별하는 이동객체 식별모듈, 상기 이동객체 식별모듈에 의해 식별된 이동 객체 각각의 상기 처리대상 영상 프레임 상의 위치를 판단하는 위치 판단모듈, 상기 이동객체 식별모듈에 의해 식별된 이동 객체 각각에 대하여, 소정의 저장공간에 생성되는 상기 이동 객체의 위치 이동 히스토리를 관리하기 위한 디스크립터(descriptor)에 상기 처리대상 영상 프레임 상의 상기 이동 객체의 위치 정보를 포함하는 디스크립션 엘리먼트(description element)를 추가하는 디스크립터 관리모듈, 상기 복수의 분할 영역 중 적어도 일부에 대한 식별정보를 포함하는 검색조건을 입력받는 검색조건 입력모듈 및 상기 저장공간에 생성된 각각의 이동 객체에 상응하는 디스크립터에 포함된 디스크립션 엘리먼트 중 상기 검색조건을 만족하는 검색대상 디스크립션 엘리먼트를 판단하는 조건판단모듈을 포함하는 동영상 검색 시스템이 제공된다.

Description

동영상 검색 시스템 및 그 방법{System and method for video searching}
본 발명은 동영상 검색 시스템 및 그 방법에 관한 것이다. 보다 상세하게는 CCTV와 같은 비디오 카메라에서 촬영된 동영상에서 이동하는 객체(물체 혹은 사람)가 촬영된 부분을 용이하게 검색할 수 있는 동영상 검색 시스템 및 그 방법에 관한 것이다.
요즘과 같이 범죄나 테러가 많이 발생하는 사회에서는 보안이나 감시가 매우 중요한 화두로 대두되고 있다. 이런 필요에 따라 공항이나 역, 은행, 관공서와 같이 보안이나 감시가 중요한 장소에는 대부분 폐쇄회로(CCTV)가 설치되어 있다. 이러한 폐쇄회로를 통하여 실시간으로 사람이 직접 감시를 하거나 폐쇄회로에서 촬영한 영상이 동영상의 형태로 저장된다. 이러한 동영상은 이후 사건 조사 등의 목적에 이용될 수 있는데, 저장된 동영상을 플레이하여 조사하는 방식은 대단히 오랜 시간이 소요된다. 따라서, 동영상에서 특정 부분을 검색하는 다양한 방법이 연구되고 있다.
종래의 영상 검색 방법으로는 기존 방법인 텍스트기반 방법 이외에 의미론 기반, 내용 기반이 있다. 의미론 기반 검색은 영상을 추상화된 특징으로 표현하는 방법으로 질의어의 구문이나 의미를 분석하여 검색을 하는 방법이다. 내용 기반 영상 검색은 영상 자체에서 특징을 자동으로 추출하고 검색하여 객관적이며 자동화된 영상검색이 가능하다. 영상에 존재하는 다양한 특징에는 글로벌 특징과 로컬 특징으로 분류할 수 있다.
글로벌 특징을 이용한 알고리즘으로 칼라 코렐로그램을 들 수 있다. 칼라 코렐로그램은 영상전체에서 일정한 거리를 가지는 화소 간에 나타나는 칼라의 분포를 확률로 나타낸다. 칼라 코렐로그램은 일정거리에 있는 화소의 칼라 변화 정보를 포함하기 때문에 칼라와 에지정보를 포함 할 수 있다. 따라서 우수한 영상검색 결과를 얻기 위해서는 다양한 거리에서 대해 칼라 코렐로그램을 얻어야 한다. 이때 전체적인 영상에 대하여 칼라 코렐로그램을 적용 시에 많은 계산 시간이 필요하다. 또한 계산된 양만큼의 데이터를 저장하기 때문 데이터 관리에서 효율이 떨어진다. 즉, 이와 같이 글로벌 특징을 이용하여 디스크립터를 설계할 경우 디스크립터의 처리량이 방대해지고 처리시간 또한 효과적이지 못하는 문제점이 발생할 수 있다.
이러한 단점을 해결하기 위하여 로컬 영역을 이용한 디스크립터가 제안되고 있다. 로컬 디스크립터는 특징점 기반의 방법으로 영상 내에서 왜곡에 강인함이 중시되는 기술이다. 영상의 특징점 주변 화소 정보를 활용하여 로컬 패치를 추출하고 로컬 패치로부터 특징 정보를 담고 있는 키포인트를 추출한다. 추출된 키포인트를 사용하여 로컬 디스크립터를 추출한다. 특징점 기반 영상 매칭 기술의 성능은 근본적으로 영상 왜곡(회전, 확대, 축소, 밝기 변화, 노이즈 등)에 대하여 특징점과 로컬 디스크립터의 강인성에 의존된다고 할 수 있다. 추출된 로컬 디스크립터는 검색의 대상이 되는 영상에서 현 영상만의 키포인트를 붙여 색인자의 역할을 할 수 있다. 따라서 로컬 디스크립터는 글로벌 특징보다 비교적 빠른 처리 속도와 디스크립터의 처리데이터가 적어 데이터 관리가 용이하다. 하지만 다른 사이즈의 영상이나 전혀 다른 영상이지만 비슷한 키포인트를 생성하여 검색에 오류가 발생할 수 있다. 즉, 로컬 영역을 이용한 디스크립터의 경우 영상 검색 시에 질의와 무관한 잘못된 검색이 발생할 수 있다는 단점이 있다.
본 발명이 해결고하고 하는 기술적 과제는 비디오 카메라에서 촬영된 동영상에서 이동하는 객체가 촬영된 부분을 신속하고 정확하게 판단하고 검색할 수 있는 동영상 검색 시스템 및 그 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 비디오 카메라가 주기적으로 촬영하는 각각의 영상 프레임을 수신하는 영상프레임 수신모듈-여기서, 상기 각각의 영상 프레임은, 미리 정의된 복수의 분할 영역으로 구분됨-, 상기 영상 프레임 수신모듈이 처리대상 영상 프레임을 수신하는 경우, 상기 처리대상 영상 프레임으로부터 이동 객체를 식별하는 이동객체 식별모듈, 상기 이동객체 식별모듈에 의해 식별된 이동 객체 각각의 상기 처리대상 영상 프레임 상의 위치를 판단하는 위치 판단모듈, 상기 이동객체 식별모듈에 의해 식별된 이동 객체 각각에 대하여, 소정의 저장공간에 생성되는 상기 이동 객체의 위치 이동 히스토리를 관리하기 위한 디스크립터(descriptor)에 상기 처리대상 영상 프레임 상의 상기 이동 객체의 위치 정보를 포함하는 디스크립션 엘리먼트(description element)를 추가하는 디스크립터 관리모듈, 상기 복수의 분할 영역 중 적어도 일부에 대한 식별정보를 포함하는 검색조건을 입력받는 검색조건 입력모듈 및 상기 저장공간에 생성된 각각의 이동 객체에 상응하는 디스크립터에 포함된 디스크립션 엘리먼트 중 상기 검색조건을 만족하는 검색대상 디스크립션 엘리먼트를 판단하는 조건판단모듈을 포함하는 동영상 검색 시스템이 제공된다.
일 실시예에서, 상기 동영상 검색 시스템은, 상기 검색대상 디스크립션 엘리먼트에 기초하여 상기 검색 조건에 상응하는 영상 프레임을 검색하는 검색모듈을 포함할 수 있다.
일 실시예에서, 상기 동영상 검색 시스템은, 상기 이동객체 식별모듈에 의해 식별된 이동 객체 중 상기 처리대상 영상 프레임의 이전 프레임인 선행 영상 프레임에는 존재하지 않은 신규 이동 객체를 판단하는 이동객체 판단모듈 및 상기 저장공간에 상기 신규 이동 객체를 위한 디스크립터를 생성하는 디스크립터 생성모듈을 더 포함할 수 있다.
일 실시예에서, 상기 이동객체 판단모듈은, 상기 처리대상 영상 프레임으로부터 추출된 이동 객체 중 상기 선행 영상 프레임으로부터 추출된 이동 객체와 일정 거리 이상 이격되어 있는 이동 객체를 신규 이동 객체라고 판단할 수 있다.
일 실시예에서, 상기 동영상 검색 시스템은, 상기 비디오 카메라가 촬영한 영상 프레임 중 적어도 일부인 학습대상 영상 프레임을 대상으로 배경학습을 수행하여 배경 모델을 생성하는 배경학습모듈을 더 포함하되, 상기 이동객체 식별모듈은, 생성된 상기 배경 모델에 기초하여, 상기 처리대상 영상 프레임으로부터 이동 객체를 식별할 수 있다.
일 실시예에서, 상기 배경학습모듈은, 각각의 픽셀의 대표 값을 산출하여 상기 배경 모델을 생성하고, 상기 이동객체 식별모듈은, 상기 처리대상 영상 프레임을 구성하는 각각의 픽셀에 대하여, 상기 픽셀 값과 상기 픽셀의 대표 값간의 차이가 소정의 임계 값 이상인 경우, 상기 픽셀이 이동 객체에 포함된 픽셀이라고 판단할 수 있다.
일 실시예에서, 상기 위치 판단모듈은, 상기 이동객체 식별모듈에 의해 식별된 이동 객체 각각에 대하여, 상기 이동 객체의 무게 중심을 판단하고 판단된 상기 이동 객체의 무게 중심의 위치를 상기 이동 객체의 위치로 판단할 수 있다.
일 실시예에서, 상기 비디오 카메라는, 소정의 장소를 촬영하는 고정 카메라인 것을 특징으로 할 수 있다.
본 발명의 다른 일 측면에 따르면, 비디오 카메라가 주기적으로 촬영하는 각각의 영상 프레임을 수신하는 영상프레임 수신모듈-여기서, 상기 각각의 영상 프레임은, 미리 정의된 복수의 분할 영역으로 구분됨-, 상기 영상 프레임 수신모듈이 처리대상 영상 프레임을 수신하는 경우, 상기 처리대상 영상 프레임으로부터 이동 객체를 식별하는 이동객체 식별모듈, 상기 이동객체 식별모듈에 의해 식별된 이동 객체 각각의 상기 처리대상 영상 프레임 상의 위치를 판단하는 위치 판단모듈, 상기 이동객체 식별모듈에 의해 식별된 이동 객체 각각에 대하여, 소정의 저장공간에 생성되는 상기 이동 객체의 위치 이동 히스토리를 관리하기 위한 디스크립터에 상기 처리대상 영상 프레임 상의 상기 이동 객체의 위치 정보를 포함하는 디스크립션 엘리먼트를 추가하는 디스크립터 관리모듈, 상기 복수의 분할 영역 중 적어도 일부에 대한 식별정보를 포함하는 검색조건을 입력받는 검색조건 입력모듈 및 상기 저장공간에 생성된 각각의 이동 객체에 상응하는 디스크립터에 포함된 디스크립션 엘리먼트에 기초하여 상기 검색조건에 상응하는 영상 프레임을 검색하는 검색모듈을 포함하는 동영상 검색 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 동영상 검색 시스템이, 비디오 카메라가 주기적으로 촬영하는 각각의 영상 프레임을 수신하는 영상프레임 수신단계-여기서, 상기 각각의 영상 프레임은, 미리 정의된 복수의 분할 영역으로 구분됨-, 상기 동영상 검색 시스템이, 상기 영상 프레임 수신단계에서 처리대상 영상 프레임을 수신하는 경우, 상기 처리대상 영상 프레임으로부터 이동 객체를 식별하는 이동객체 식별단계, 상기 동영상 검색 시스템이, 상기 이동객체 식별단계에서 식별된 이동 객체 각각의 상기 처리대상 영상 프레임 상의 위치를 판단하는 위치판단단계, 상기 동영상 검색 시스템이, 상기 이동객체 식별단계에서 식별된 이동 객체 각각에 대하여, 소정의 저장공간에 생성되는 상기 이동 객체의 위치 이동 히스토리를 관리하기 위한 디스크립터에 상기 처리대상 영상 프레임 상의 상기 이동 객체의 위치 정보를 포함하는 디스크립션 엘리먼트를 추가하는 디스크립터 관리단계, 상기 동영상 검색 시스템이, 상기 복수의 분할 영역 중 적어도 일부에 대한 식별정보를 포함하는 검색조건을 입력받는 검색조건 입력단계 및 상기 동영상 검색 시스템이, 상기 저장공간에 생성된 각각의 이동 객체에 상응하는 디스크립터에 포함된 디스크립션 엘리먼트 중 상기 검색조건을 만족하는 검색대상 디스크립션 엘리먼트를 판단하는 조건판단단계를 포함하는 동영상 검색 방법이 제공된다.
일 실시예에서, 상기 동영상 검색 방법은, 상기 동영상 검색 시스템이, 상기 검색대상 디스크립션 엘리먼트에 기초하여 상기 검색 조건에 상응하는 영상 프레임을 검색하는 검색단계를 더 포함할 수 있다.
일 실시예에서, 상기 동영상 검색 방법은, 상기 동영상 검색 시스템이, 상기 이동객체 식별단계에서 식별된 이동 객체 중 상기 처리대상 영상 프레임의 이전 프레임인 선행 영상 프레임에는 존재하지 않은 신규 이동 객체를 판단하는 이동객체 판단단계 및 상기 동영상 검색 시스템이, 상기 저장공간에 상기 신규 이동 객체를 위한 디스크립터를 생성하는 디스크립터 생성단계를 더 포함할 수 있다.
일 실시예에서, 상기 이동객체 판단단계는, 상기 처리대상 영상 프레임으로부터 추출된 이동 객체 중 상기 선행 영상 프레임으로부터 추출된 이동 객체와 일정 거리 이상 이격되어 있는 이동 객체를 신규 이동 객체라고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 동영상 검색 방법은, 상기 동영상 검색 시스템이, 상기 비디오 카메라가 촬영한 영상 프레임 중 적어도 일부인 학습대상 영상 프레임을 대상으로 배경학습을 수행하여 배경 모델을 생성하는 배경학습단계를 더 포함하되, 상기 이동객체 식별단계는, 생성된 상기 배경 모델에 기초하여, 상기 처리대상 영상 프레임으로부터 이동 객체를 식별하는 단계를 포함할 수 있다.
일 실시예에서, 상기 배경학습단계는, 각각의 픽셀의 대표 값을 산출하여 상기 배경 모델을 생성하는 단계를 포함하고, 상기 이동객체 식별단계는, 상기 처리대상 영상 프레임을 구성하는 각각의 픽셀에 대하여, 상기 픽셀 값과 상기 픽셀의 대표 값간의 차이가 소정의 임계 값 이상인 경우, 상기 픽셀이 이동 객체에 포함된 픽셀이라고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 위치 판단단계는, 상기 이동객체 식별모듈에 의해 식별된 이동 객체 각각에 대하여, 상기 이동 객체의 무게 중심을 판단하고 판단된 상기 이동 객체의 무게 중심의 위치를 상기 이동 객체의 위치로 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 비디오 카메라는, 소정의 장소를 촬영하는 고정 카메라인 것을 특징으로 할 수 있다.
본 발명의 다른 일 측면에 따르면, 동영상 검색 시스템이, 비디오 카메라가 주기적으로 촬영하는 각각의 영상 프레임을 수신하는 영상프레임 수신단계-여기서, 상기 각각의 영상 프레임은, 미리 정의된 복수의 분할 영역으로 구분됨-, 상기 동영상 검색 시스템이, 상기 영상 프레임 수신단계에서 처리대상 영상 프레임을 수신하는 경우, 상기 처리대상 영상 프레임으로부터 이동 객체를 식별하는 이동객체 식별단계, 상기 동영상 검색 시스템이, 상기 이동객체 식별단계에서 식별된 이동 객체 각각의 상기 처리대상 영상 프레임 상의 위치를 판단하는 위치 판단단계, 상기 동영상 검색 시스템이, 상기 이동객체 식별단계에서 식별된 이동 객체 각각에 대하여, 소정의 저장공간에 생성되는 상기 이동 객체의 위치 이동 히스토리를 관리하기 위한 디스크립터에 상기 처리대상 영상 프레임 상의 상기 이동 객체의 위치 정보를 포함하는 디스크립션 엘리먼트를 추가하는 추가단, 상기 동영상 검색 시스템이, 상기 복수의 분할 영역 중 적어도 일부에 대한 식별정보를 포함하는 검색조건을 입력받는 검색조건 입력단계 및 상기 동영상 검색 시스템이, 상기 저장공간에 생성된 각각의 이동 객체에 상응하는 디스크립터에 포함된 디스크립션 엘리먼트에 기초하여 상기 검색조건에 상응하는 영상 프레임을 검색하는 검색단계를 포함하는 동영상 검색 방법이 제공된다.
본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위해 기록매체에 저장된 컴퓨터 프로그램이 제공된다.
본 발명의 다른 일 측면에 따르면, 동영상 검색 시스템으로서, 프로세서 및 상기 프로세서에 의하여 실행되는 컴퓨터 프로그램을 저장하는 메모리를 포함하며, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 동영상 검색 시스템이, 상술한 방법을 수행하도록 하는 동영상 검색 시스템이 제공된다.
본 발명의 일 실시예에 따른 동영상 검색 시스템은 이동 객체의 특징점을 기반으로 이동 객체의 움직임을 나타내는 디스크립터를 기술하므로 내용 기반 영상 검색 수준의 검색 재현율이나 정확성을 가질 수 있는 장점이 있다. 또한, 다수의 분할 영역에 의해 표현되는 검색조건을 이용하여 검색을 수행하므로 이동 객체의 궤적과 관련된 검색 조건에 부합하는 동영상 부분을 신속하게 검색할 수 있는 장점이 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 동영상 검색 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 2는 영상 프레임을 구성하는 분할 영역에 대하여 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 동영상 검색 시스템이 픽셀의 대표 값을 결정하는 방법에 대하여 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 동영상 검색 시스템이 생성하는 영상 프레임의 배경의 일 예를 도시한 도면이다.
도 5a는 특정 영상 프레임(i번째 영상 프레임)의 일 예를 도시한 도면이며, 도 5b는 도 5a에 도시된 영상 프레임에 포함된 이동 객체의 무게 중심을 표시한 도면이다.
도 6a는 도 5a에 도시된 영상 프레임의 다음 영상 프레임(i+1번째 영상 프레임)의 일 예를 도시한 도면이며, 도 6b는 도 6a에 도시된 영상 프레임에 포함된 이동 객체의 무게 중심을 표시한 도면이다.
도 7a는 도 6a에 도시된 영상 프레임의 다음 영상 프레임(i+2번째 영상 프레임)의 일 예를 도시한 도면이며, 도 7b는 도 7a에 도시된 영상 프레임에 포함된 이동 객체의 무게 중심을 표시한 도면이다.
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른 동영상 검색 시스템이 생성하고 관리하는 디스크립터의 일 예를 도시한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 동영상 검색 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 1을 참조하면, 상기 동영상 검색 시스템(100)은 영상 프레임 수신모듈(110), 배경학습모듈(120), 이동객체 식별모듈(130), 위치 판단모듈(140), 이동객체 판단모듈(150), 디스크립터 생성모듈(160), 디스크립터 관리모듈(170), 검색조건 입력모듈(180), 조건판단모듈(190), 검색모듈(195)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 동영상 검색 시스템(100) 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어, 상기 동영상 검색 시스템(100)은 상기 동영상 검색 시스템(100)의 다른 구성 요소(예를 들면, 영상 프레임 수신모듈(110), 배경학습모듈(120), 이동객체 식별모듈(130), 위치 판단모듈(140), 이동객체 판단모듈(150), 디스크립터 생성모듈(160), 디스크립터 관리모듈(170), 검색조건 입력모듈(180), 조건판단모듈(190) 및/또는 검색모듈(195))의 기능 및/또는 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수도 있다.
상기 동영상 검색 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 동영상 검색 시스템(100) 은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 동영상 검색 시스템(100) 은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예를 들면, 상기 영상 프레임 수신모듈(110), 배경학습모듈(120), 이동객체 식별모듈(130), 위치 판단모듈(140), 이동객체 판단모듈(150), 디스크립터 생성모듈(160), 디스크립터 관리모듈(170), 검색조건 입력모듈(180), 조건판단모듈(190) 및/또는 검색모듈(195)은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 영상 프레임 수신모듈(110), 배경학습모듈(120), 이동객체 식별모듈(130), 위치 판단모듈(140), 이동객체 판단모듈(150), 디스크립터 생성모듈(160), 디스크립터 관리모듈(170), 검색조건 입력모듈(180), 조건판단모듈(190) 및/또는 검색모듈(195) 등 각각의 개별 모듈을 구성하는 세부요소들 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 세부요소들이 서로 유기적으로 결합되어 각각의 개별 모듈이 수행하는 기능을 실현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예를 들면, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 동영상 검색 시스템(100)은 비디오 카메라(200)와 유/무선으로 연결될 수 있으며, 상기 영상 프레임 수신모듈(110)은 상기 비디오 카메라(200)가 주기적으로 촬영하는 각각의 영상 프레임을 수신할 수 있다.
상기 비디오 카메라(200)는 소정의 장소(예를 들면, 거리, 건물의 내부 등)를 촬영하는 고정 카메라일 수 있다. 예를 들어, 상기 비디오 카메라(200)는 폐쇄회로(CCTV)일 수 있다.
상기 비디오 카메라(200)는 일정한 주기(프레임 레이트)로 영상 프레임을 촬영하여 촬영된 영상 프레임을 상기 동영상 검색 시스템(100)으로 제공할 수 있다. 한편, 상기 영상 프레임 수신모듈(110)이 수신하는 영상 프레임의 프레임 레이트는 상기 비디오 카메라(200)가 촬영하는 영상 프레임의 프레임 레이트와 상이할 수 있다. 따라서, 상기 비디오 카메라(200)가 촬영하는 모든 영상 프레임을 수신할 수도 있지만, 구현 예에 따라서는 상기 영상 프레임 수신모듈(110)은 특정 영상 프레임을 수신한 이후 몇 개의 영상 프레임을 건너뛰고 다음 영상 프레임을 수신하는 형태로 구현될 수도 있다.
한편, 상기 비디오 카메라(200)가 촬영하는 각각의 영상 프레임은 미리 정의된 복수의 분할 영역으로 구분될 수 있다. 미리 정의된 복수의 분할 영역은 상기 비디오 카메라(200)가 촬영하는 모든 프레임에 동일하게 적용될 수 있다.
하나의 영상 프레임이 복수의 분할 영역으로 구분된다고 함은 반드시 상기 영상 프레임이 물리적으로 복수의 분할 영역으로 나뉘어 있음을 의미하는 것은 아니며, 상기 동영상 검색 시스템(100)은 이하에서 설명할 본 발명의 기술적 사상을 실현하기 위하여 각각의 영상 프레임이 논리적으로 상기 복수의 분할 영역으로 분할되어 있는 것처럼 취급할 수 있다.
도 2는 상기 비디오 카메라(200)가 촬영한 영상 프레임을 구성하는 분할 영역에 대하여 설명하기 위한 도면이다.
도 2는 하나의 영상 프레임을 동일한 크기를 가지는 3ㅧ3=9개의 분할 영역으로 분할하는 예에 대하여 도시하고 있으나, 구현 예에 따라서는 각각의 분할 영역의 크기가 서로 상이할 수도 있으며, 하나의 영상 프레임이 9개보다 더 적거나 더 많은 수의 분할 영역으로 구분될 수도 있다.
도 2를 참조하면, 상기 비디오 카메라(200)가 촬영하는 각각의 영상 프레임은 3ㅧ3의 분할 영역, 즉 분할 영역 1 내지 분할 영역 9(11 내지 19)로 구분될 수 있다.
한편 이하에서는 설명의 편의를 위하여 상기 비디오 카메라(200)가 촬영하는 각각의 영상 프레임의 도 2에 도시된 바와 같이 정의된 분할 영역으로 구분되는 것으로 가정하기로 한다.
다시 도 1을 참조하면, 상기 이동객체 식별모듈(130)은 상기 영상 프레임 수신모듈(110)이 영상 프레임(처리대상 영상 프레임)을 수신하는 경우, 상기 처리대상 영상 프레임으로부터 이동 객체를 식별할 수 있다.
상기 이동객체 식별모듈(130)은 처리대상 영상 프레임에서 배경을 분리함으로써 배경이 아닌 이동 객체를 식별할 수 있다.
한편, 상기 이동객체 식별모듈(130)이 처리대상 영상 프레임에서 배경을 분리할 수 있도록 하기 위하여, 상기 배경학습모듈(120)은 배경 모델을 생성할 수 있으며, 상기 이동객체 식별모듈(130)은 생성된 상기 배경 모델에 기초하여, 상기 처리대상 영상 프레임으로부터 이동 객체를 식별할 수 있다.
상기 배경학습모듈(120)은 상기 비디오 카메라(200)가 촬영한 영상 프레임 중 적어도 일부인 학습대상 영상 프레임을 대상으로 배경학습을 수행하여 배경 모델을 생성할 수 있다.
상기 학습대상 영상 프레임은 상기 비디오 카메라(200)가 촬영한 복수의 영상 프레임으로서, 배경학습을 위하여 별도로 미리 촬영된 복수의 영상 프레임일 수도 있으며, 상기 이동객체 식별모듈(130)이 처리하는 처리대상 영상 프레임 중 적어도 일부일 수도 있다.
상기 배경학습모듈(120)이 배경 모델을 생성하는 방법을 보다 상세하게 설명하면, 먼저 상기 배경학습모듈(120)은 하나의 학습대상 영상 프레임에 포함된 픽셀과 다른 학습대상 영상 프레임에 포함된 픽셀간의 차이의 절대값을 구하여 이를 누적하면서 배경학습 모델을 구성할 수 있다. 이때 절대값은 아래 식에 의해 산출될 수 있다.
<식> ht(x,y) = |ft(x,y) - ft-1(x,y)|
위 식에서 ht(x,y)는 좌표 <x,y>에 위치한 픽셀의 명도 차이의 절대값을 의미하며, ft(x,y)는 현재 학습대상 영상 프레임의 좌표 <x,y>에 위치한 픽셀의 명도, ft-1(x,y)는 이전 학습대상 영상 프레임의 좌표 <x,y>에 위치한 픽셀의 명도를 의미한다.
상기 배경학습모듈(120)은 이와 같이 산출된 픽셀간의 차이의 절대값을 이용하여 각각의 픽셀의 대표 값을 산출하고 배경에 대한 통계적 모델을 구한다.
도 3은 위 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 상기 배경학습모듈(120)은 학습대상 영상프레임(F1)의 좌표 <x,y>에 위치하는 픽셀(P1)과 학습대상 영상프레임(F2)의 좌표 <x,y>에 위치하는 픽셀(P2) 간의 차이의 절대값을 구할 수 있으며, 학습대상 영상프레임(F2)의 좌표 <x,y>에 위치하는 픽셀(P2)과 학습대상 영상프레임(F3)의 좌표 <x,y>에 위치하는 픽셀(P3) 간의 차이의 절대값을 구할 수 있다. 마찬가지 방식으로 계속해서 학습대상 영상프레임(FN-1)의 좌표 <x,y>에 위치하는 픽셀(PN-1)과 학습대상 영상프레임(FN)의 좌표 <x,y>에 위치하는 픽셀(PN) 간의 차이의 절대값까지 구한 후, 이들 값을 이용하여 픽셀 <x,y>의 대표 값을 산출할 수 있다. 또한 상기 배경학습모듈(120)은 영상 프레임 상의 다른 좌표에 위치한 픽셀들에 대하여도 마찬가지 방법을 수행함으로써 해당 픽셀에 대한 대표 값을 산출할 수 있다.
이외에도 상기 배경학습모듈(120)은 가우시안 혼합 모델, 입자 필터, 온라인 부스팅 등 종래의 다양한 배경학습 기법을 이용하여 배경 모델을 생성할 수 있다.
한편, 상기 이동객체 식별모듈(130)은 상기 처리대상 영상 프레임을 구성하는 각각의 픽셀에 대하여, 상기 픽셀 값과 상기 픽셀의 대표 값 간의 차이가 소정의 임계 값 이상인 경우, 상기 픽셀이 이동 객체에 포함된 픽셀이라고 판단할 수 있다. 이와 같이 상기 이동객체 식별모듈(130)은 이동 객체에 포함된 픽셀을 판단한 후 하나의 집단을 이루는 픽셀군을 하나의 이동 객체로 판단할 수 있다.
상기 위치 판단모듈(140)은 상기 이동객체 식별모듈에 의해 식별된 이동 객체 각각의 상기 처리대상 영상 프레임 상의 위치를 판단할 수 있다.
일 실시예에서, 상기 위치 판단모듈(140)은 상기 이동객체 식별모듈(130)에 의해 식별된 이동 객체 각각에 대하여, 상기 이동 객체의 무게 중심을 판단하고 판단된 상기 이동 객체의 무게 중심의 위치를 상기 이동 객체의 위치로 판단할 수 있다. 한편, 특정 이동 객체의 무게 중심의 x좌표는 해당 이동 객체를 구성하는 각 픽셀의 x좌표를 모두 합산한 값을 픽셀의 개수로 나누어 산출할 수 있으며, 해당 이동 객체의 무게 중심의 y좌표는 해당 이동 객체를 구성하는 각 픽셀의 y좌표를 모두 합산한 값을 픽셀의 개수로 나누어 산출할 수 있다.
상기 이동객체 판단모듈(150)은 상기 이동객체 식별모듈(130)에 의해 식별된 이동 객체를 구분할 수 있다. 즉, 상기 이동객체 판단모듈(150)은 상기 이동객체 식별모듈(130)에 의해 식별된 이동 객체 중 상기 처리대상 영상 프레임의 이전 프레임인 선행 영상 프레임에는 존재하지 않은 신규 이동 객체 및 상기 선행 영상 프레임에도 존재하는 기존 이동 객체를 판단할 수 있으며, 상기 선행 영상 프레임에는 존재하였으나 상기 처리대상 영상 프레임에는 존재하지 않는 실종 이동 객체를 판단할 수도 있다.
상기 이동객체 판단모듈(150)은 상기 처리대상 영상 프레임으로부터 추출된 이동 객체 중 상기 선행 영상 프레임으로부터 추출된 이동 객체와 일정 거리 이상 이격되어 있는 이동 객체를 신규 이동 객체라고 판단할 수 있다. 또한 상기 이동객체 판단모듈(150)은 상기 처리대상 영상 프레임으로부터 추출된 이동 객체 중 상기 선행 영상 프레임으로부터 추출된 이동 객체 중 어느 하나와 일정 거리 내에 위치한 이동 객체를 기존 이동 객체라고 판단할 수 있다. 또한 상기 상기 선행 영상 프레임으로부터 추출된 이동 객체 중 상기 처리대상 영상 프레임으로부터 추출된 이동 객체 중 어느 것과도 대응되지 않는 이동 객체를 실종 이동 객체라고 판단할 수 있다.
이하에서는 도 4, 도 5a 내지 도 7b를 참조하여 상기 동영상 검색 시스템(100)이 이동객체를 식별하고, 식별된 이동 객체의 위치를 판단하고, 식별된 각각의 이동 객체를 구분하는 과정의 일 예에 대하여 설명하기로 한다.
도 4는 상기 배경학습모듈(120)에 의해 생성된 배경 모델에 의한 배경(20)의 일 예를 도시한 도면이다.
도 5a는 특정 영상 프레임(i번째 영상 프레임)의 일 예를 도시한 도면이며, 도 5b는 도 5a에 도시된 영상 프레임에 포함된 이동 객체의 무게 중심을 표시한 도면이다.
상기 이동객체 식별모듈(130)은 도 5a에 도시된 바와 같은 i번째 영상 프레임(30)에서 도 4에 도시된 바와 같은 배경(20)을 분리하고, 2개의 이동객체(31, 32)를 식별할 수 있다. 그러면, 상기 위치 판단모듈(140)은 2개의 이동객체(31, 32) 각각의 무게 중심의 위치를 판단할 수 있으며, 이를 영상 프레임 상의 특정 위치(33, 34)에 표시하면 도 5b와 같다.
도 6a는 도 5a에 도시된 영상 프레임의 다음 영상 프레임(i+1번째 영상 프레임)의 일 예를 도시한 도면이며, 도 6b는 도 6a에 도시된 영상 프레임에 포함된 이동 객체의 무게 중심을 표시한 도면이다.
상기 이동객체 식별모듈(130)은 도 6a에 도시된 바와 같은 i+1번째 영상 프레임(40)에서 도 4에 도시된 바와 같은 배경(20)을 분리하고, 1개의 이동객체(41)를 식별할 수 있다. 그러면, 상기 위치 판단모듈(140)은 이동객체(41)의 무게 중심의 위치를 판단할 수 있으며, 이를 영상 프레임 상의 특정 위치(42)에 표시하면 도 6b와 같다.
한편, i+1번째 영상 프레임(40)으로부터 식별된 이동객체(41)의 위치(42)가 i번째 영상 프레임(30)으로부터 식별된 이동객체(32)의 위치(34)로부터 일정 거리 이내에 있으므로 상기 이동객체 판단모듈(150)은 i+1번째 영상 프레임(40)의 이동객체(41)이 위치(34)에서 위치(42)로 이동한 i번째 영상 프레임(30)의 이동객체(32)라고 판단할 수 있다. 즉, 상기 이동객체 판단모듈(150)은 이동객체(41)이 기존 이동 객체라고 판단할 수 있다.
한편, i번째 영상 프레임(30)으로부터 식별된 이동객체(31)에 대응되는 이동 객체가 i+1번째 영상 프레임(40)에는 존재하지 아니하므로 상기 이동객체 판단모듈(150)은 i번째 영상 프레임(30)으로부터 식별된 이동객체(31)는 i+1번째 영상 프레임(40)에서 사라진 실종 이동 객체라고 판단할 수 있다.
도 7a는 도 6a에 도시된 영상 프레임의 다음 영상 프레임(i+2번째 영상 프레임)의 일 예를 도시한 도면이며, 도 7b는 도 7a에 도시된 영상 프레임에 포함된 이동 객체의 무게 중심을 표시한 도면이다.
상기 이동객체 식별모듈(130)은 도 7a에 도시된 바와 같은 i+2번째 영상 프레임(50)에서 도 4에 도시된 바와 같은 배경(20)을 분리하고, 2개의 이동객체(51, 52)를 식별할 수 있다. 그러면, 상기 위치 판단모듈(140)은 2개의 이동객체(51, 52) 각각의 무게 중심의 위치를 판단할 수 있으며, 이를 영상 프레임 상의 특정 위치(53, 54)에 표시하면 도 5b와 같다.
한편, i+2번째 영상 프레임(50)으로부터 식별된 이동객체(51)의 위치(53)가 i+1번째 영상 프레임(40)으로부터 식별된 이동객체(41)의 위치(42)로부터 일정 거리 이내에 있으므로 상기 이동객체 판단모듈(150)은 i+2번째 영상 프레임(50)의 이동객체(51)이 위치(42)에서 위치(53)로 이동한 i+1번째 영상 프레임(30)의 이동객체(41)라고 판단할 수 있다. 즉, 상기 이동객체 판단모듈(150)은 이동객체(51)이 기존 이동 객체라고 판단할 수 있다.
한편, i+2번째 영상 프레임(50)으로부터 식별된 이동객체(52)는 i+1번째 영상 프레임(30) 상의 모든 이동객체(41)와 일정 거리 이상 이격되어 있으므로 상기 이동객체 판단모듈(150)은 i+2번째 영상 프레임(50)으로부터 식별된 이동객체(52)는 i+2번째 영상 프레임(40)에서 새로 출현한 신규 이동 객체라고 판단할 수 있다.
다시 도 1을 참조하면, 상기 디스크립터 생성모듈(160)은 소정의 저장공간에 신규 이동 객체를 위한 디스크립터(descriptor)를 생성할 수 있다.
상기 디스크립터는 이동 객체의 위치 이동 히스토리를 관리하기 위한 소정의 자료구조일 수 있다. 상기 디스크립터는 상기 비디오 카메라(200)에 의해 촬영된 영상 프레임에 등장한 각각의 객체 별로 생성될 수 있으며, 상기 디스크립터에 상응하는 이동 객체의 식별정보를 저장할 수 있다. 또한 상기 디스크립터는 상기 디스크립터에 상응하는 이동 객체가 등장한 영상 프레임의 정보, 상기 디스크립터에 상응하는 이동 객체가 사라진 영상 프레임의 정보 및/또는 상기 디스크립터에 상응하는 이동 객체의 이동 궤적을 저장하거나 이들 정보를 도출할 수 있는 소정의 정보를 저장할 수 있다.
한편, 상기 디스크립터는 링크드 리스트, 배열, 큐, 스택 등의 형태로 구현될 수 있다.
상기 디스크립터 관리모듈(170)은 상기 이동객체 식별모듈(130)에 의해 식별된 이동 객체 각각에 대하여, 상기 이동 객체에 상응하는 디스크립터에 상기 처리대상 영상 프레임 상의 상기 이동 객체의 위치 정보를 포함하는 디스크립션 엘리먼트(description element)를 추가할 수 있다. 따라서, 추후 특정 디스크립터에 포함된 각각의 디스크립션 엘리먼트를 추적하여 해당 디스크립터에 상응하는 이동 객체의 이동 궤적이 파악될수 있도록 할 수 있다. 한편, 구현 예에 따라서, 상기 디스크립션 엘리먼트는 이동 객체가 등장한 처리대상 영상 프레임의 식별정보를 더 포함할 수도 있다.
한편, 상기 디스크립션 엘리먼트에 포함되는 이동 객체의 위치 정보는 상기 이동 객체의 무게 중심에 해당하는 픽셀의 좌표 값일 수도 있으며, 구현 예에 따라서는 상기 이동 객체의 무게 중심에 해당하는 픽셀을 포함하고 있는 분할 영역의 식별정보일 수도 있다.
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른 동영상 검색 시스템이 생성하고 관리하는 디스크립터의 일 예를 도시한 도면이다. 보다 상세하게는 도 8a는 도 5a에 도시된 바와 같은 처리 대상 영상 프레임에 상응하는 디스크립터의 상태를 도시한 도면이며, 도 8b는 도 6a에 도시된 바와 같은 처리 대상 영상 프레임에 상응하는 디스크립터의 상태를 도시한 도면이며, 도 8c는 도 7a에 도시된 바와 같은 처리 대상 영상 프레임에 상응하는 디스크립터의 상태를 도시한 도면이다.
도 8a 내지 도 8c에 도시된 디스크립터는 일 예에 불과하며, 본 발명의 기술적 사상에 따른 동영상 검색 시스템(100)이 유지, 관리하는 디스크립터는 그에 상응하는 객체가 등장한 영상 프레임의 정보, 상기 디스크립터에 상응하는 객체가 사라진 영상 프레임의 정보 및 상기 디스크립터에 상응하는 객체의 이동 궤적을 도출할 수 있는 정보를 저장할 수 있는 다양한 형태로 구현될 수 있다.
먼저 도 8a를 참조하면, 도 5a에 도시된 바와 같이 i번째 영상 프레임(30)으로부터 2개의 이동객체(31, 32)가 식별되었으므로 상기 디스크립터 관리모듈(170)은 이동객체(31)에 상응하는 디스크립터(60)에 디스크립션 엘리먼트(61)을 추가할 수 있으며, 이동객체(32)에 상응하는 디스크립터(70)에 디스크립션 엘리먼트(71)을 추가할 수 있다.
한편, 디스크립션 엘리먼트(61)은 i번째 영상 프레임의 프레임 번호(i) 및 i번째 영상 프레임(30) 상의 이동객체(31)의 위치(33)에 대한 정보(<1,3>)를 포함할 수 있다. 디스크립션 엘리먼트(71)은 i번째 영상 프레임의 프레임 번호(i) 및 i번째 영상 프레임(30) 상의 이동객체(32)의 위치(34)에 대한 정보(<2,2>)를 포함할 수 있다.
도 8a 내지 도 8c의 예시는 디스크립션 엘리먼트에 포함되는 이동 객체의 위치 정보가 상기 이동 객체의 무게 중심에 해당하는 픽셀을 포함하고 있는 분할 영역의 식별정보(예를 들면, <1,3>)인 경우를 도시하고 있으나 앞서 설명한 바와 같이, 구현 예에 따라서 상기 디스크립션 엘리먼트에 포함되는 이동 객체의 위치 정보는 상기 이동 객체의 무게 중심에 해당하는 픽셀의 좌표 값일 수도 있음은 물론이다.
도 8b를 참조하면, 도 6a에 도시된 바와 같이 i+1번째 영상 프레임(40)으로부터 1개의 이동객체(41)가 식별되었으며, 식별된 이동객체(41)은 기존 이동객체(i번째 영상 프레임의 이동객체(32)와 동일한 이동객체)이므로 상기 디스크립터 관리모듈(170)은 이동객체(41)에 상응하는 디스크립터(70)에 디스크립션 엘리먼트(72)을 추가할 수 있다.
한편, 디스크립션 엘리먼트(72)은 i+1번째 영상 프레임의 프레임 번호(i+1) 및 i+1번째 영상 프레임(40) 상의 이동객체(41)의 위치(42)에 대한 정보(<2,2>)를 포함할 수 있다.
한편, 앞서 도 6a를 참조하여 설명한 바와 같이 상기 이동객체 판단모듈(150)이 i번째 영상 프레임(30) 상의 이동객체(31)가 i+1번째 영상 프레임(40)에서 사라진 실종 이동 객체라고 판단하였으므로 상기 디스크립션 관리모듈(170)은 이동객체(31)에 상응하는 디스크립터(60)에 상기 이동객체(31)가 i+1번째 영상 프레임(40)에서 사라졌음을 나타내는 정보(62)를 추가할 수 있다.
도 8c를 참조하면, 도 7a에 도시된 바와 같이 i+2번째 영상 프레임(50)으로부터 2개의 이동객체(51, 52)가 식별되었으며, 식별된 이동객체(51)은 기존 이동객체(i+1번째 영상 프레임의 이동객체(41)와 동일한 이동객체)이므로 상기 디스크립터 관리모듈(170)은 이동객체(41)에 상응하는 디스크립터(70)에 디스크립션 엘리먼트(73)을 추가할 수 있다.
한편, 디스크립션 엘리먼트(73)은 i+2번째 영상 프레임의 프레임 번호(i+2) 및 i+2번째 영상 프레임(50) 상의 이동객체(51)의 위치(53)에 대한 정보(<1,2>)를 포함할 수 있다.
한편, 앞서 도 6a를 참조하여 설명한 바와 같이 상기 이동객체 판단모듈(150)이 i+2번째 영상 프레임(50) 상의 이동객체(52)가 i+2번째 영상 프레임(50)에서 새로 등장한 신규 이동 객체라고 판단하였으므로 상기 디스크립션 생성모듈(160)은 이동객체(52)에 상응하는 새로운 디스크립터(80)을 생성할 수 있으며, 상기 디스크립션 관리모듈(170)은 디스크립터(80)에 디스크립션 엘리먼트(81)을 추가할 수 있다. 디스크립션 엘리먼트(81)은 i+2번째 영상 프레임의 프레임 번호(i+2) 및 i+2번째 영상 프레임(50) 상의 이동객체(52)의 위치(54)에 대한 정보(<3,3>)를 포함할 수 있다.
다시 도 1을 참조하면, 상기 검색조건 입력모듈(180)은 상기 비디오 카메라(200)에 의해 촬영되는 동영상 중 특정 부분을 검색하기 위한 검색 조건을 입력 받을 수 있다. 상기 검색조건은 임의의 이동 객체의 이동 궤적을 나타낼 수 있다.
특히 상기 검색조건은 상기 복수의 분할 영역 중 적어도 일부에 대한 식별정보를 포함할 수 있다. 따라서, 상기 검색조건에 다수의 분할 영역의 식별정보가 포함되는 경우, 상기 검색조건은 상기 다수의 분할 영역을 차례로 지나간 이동 객체가 촬영된 영상 부분을 검색하기 위한 조건일 수 있다. 예를 들어, 상기 검색조건에 분할영역2(12), 분할영역5(15), 분할영역8(18)이 차례로 포함되어 있는 경우, 상기 검색조건은 분할영역2(12), 분할영역 5(15), 분할영역 8(18)을 차례로 거쳐간 이동 객체가 촬영된 영상 부분을 검색하기 위한 조건일 수 있다.
구현 예에 따라 상기 검색 조건은 분할 영역의 식별 정보 이외에도 시간, 이동객체의 이동방향, 이동객체의 이동속도와 같이 이동 궤적과 관련된 부가적인 검색 파라미터를 더 포함할 수 있으며, 이 경우 상기 검색 조건은 포함된 검색 파라미터를 만족하는 영상 부분을 검색하기 위한 조건일 수 있다.
상기 조건판단모듈(190)은 상기 저장공간에 생성된 각각의 이동 객체에 상응하는 디스크립터에 포함된 디스크립션 엘리먼트 중 상기 검색조건을 만족하는 검색대상 디스크립션 엘리먼트를 판단할 수 있다. 상기 조건판단모듈(190)이 판단한 검색 대상 디스크립션 엘리먼트는 이동 객체가 연속적으로 이동한 궤적을 나타내는 검색 조건을 만족하는 디스크립션 엘리먼트이므로 상기 검색 대상 디스크립션 엘리먼트는 하나의 디스크립터에 포함되어 있는 연속된 다수의 디스크립션 엘리먼트일 수 있다.
상술한 바와 같이, 각 디스크립터는 해당 디스크립터에 상응하는 객체의 이동 궤적을 나타내는 정보를 포함하고 있으며, 상기 검색 조건 역시 이동 객체의 궤적에 관한 조건이므로 상기 조건판단모듈(190)은 상기 저장공간에 생성되어 있는 각각의 이동 객체에 상응하는 디스크립터에 포함된 디스크립션 엘리먼트와 검색 조건을 비교하여, 각 디스크립터에 포함된 디스크립션 엘리먼트 중 상기 검색조건을 만족하는 검색대상 디스크립션 엘리먼트를 판단할 수 있다.
한편, 상기 조건판단모듈(190)은 상기 검색 조건을 정확하게 만족하는 검색대상 디스크립션 엘리먼트를 판단할 수 없는 경우, 상기 검색 조건에 의해 표현되는 이동 객체의 궤적과 가장 근접하는 디스크립션 엘리먼트를 검색 대상 디스크립션 엘리먼트로 판단할 수 있다.
위와 같은 방법으로 상기 검색조건을 만족하는 검색대상 디스크립션 엘리먼트가 결정되면 상기 검색모듈(195)은 상기 검색대상 디스크립션 엘리먼트에 기초하여 상기 검색 조건에 상응하는 영상 프레임을 검색할 수 있다.
상술한 바와 같이 본 발명의 기술적 사상에 따른 동영상 검색 시스템(100)은 이동 객체의 특징점을 기반으로 이동 객체의 움직임을 나타내는 디스크립터를 기술하므로 내용 기반 영상 검색 수준의 검색 재현율이나 정확성을 가질 수 있는 장점이 있다. 또한, 다수의 분할 영역에 의해 표현되는 검색조건을 이용하여 검색을 수행하므로 이동 객체의 궤적과 관련된 검색 조건에 부합하는 동영상 부분을 신속하게 검색할 수 있는 장점이 있다.
한편, 상기 동영상 검색 시스템(100)은 상기 비디오 카메라(200)에 의해 미리 촬영되어 소정의 비디오 파일의 형태로 저장된 동영상으로부터 검색 조건을 만족하는 부분을 검색하는데 이용될 수도 있으며, 상기 비디오 카메라(200)에 의해 촬영되는 실시간 영상으로부터 검색 조건을 만족하는 부분을 검색하는데 이용될 수도 있다.
한편, 구현 예에 따라서, 상기 동영상 검색 시스템(100)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다. 여기서, 상기 프로그램은, 프로세서에 의해 실행되는 경우, 본 실시예에 따른 동영상 검색 시스템(100)으로 하여금, 상술한 동영상 검색 방법을 수행하도록 할 수 있다.
한편, 본 발명의 실시예에 따른 동영상 검색 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 비디오 카메라가 주기적으로 촬영하는 각각의 영상 프레임을 수신하는 영상프레임 수신모듈-여기서, 상기 각각의 영상 프레임은, 미리 정의된 복수의 분할 영역으로 구분됨;
    상기 영상 프레임 수신모듈이 처리대상 영상 프레임을 수신하는 경우, 상기 처리대상 영상 프레임으로부터 이동 객체를 식별하는 이동객체 식별모듈;
    상기 이동객체 식별모듈에 의해 식별된 이동 객체 각각의 상기 처리대상 영상 프레임 상의 위치를 판단하는 위치 판단모듈;
    상기 이동객체 식별모듈에 의해 식별된 이동 객체 각각에 대하여, 소정의 저장공간에 생성되는 상기 이동 객체의 위치 이동 히스토리를 관리하기 위한 디스크립터(descriptor)에 상기 처리대상 영상 프레임 상의 상기 이동 객체의 위치 정보를 포함하는 디스크립션 엘리먼트(description element)를 추가하는 디스크립터 관리모듈;
    상기 복수의 분할 영역 중 적어도 일부에 대한 식별정보를 포함하는 검색조건을 입력받는 검색조건 입력모듈; 및
    상기 저장공간에 생성된 각각의 이동 객체에 상응하는 디스크립터에 포함된 디스크립션 엘리먼트 중 상기 검색조건을 만족하는 검색대상 디스크립션 엘리먼트를 판단하는 조건판단모듈을 포함하는 동영상 검색 시스템.
  2. 제1항에 있어서, 상기 동영상 검색 시스템은,
    상기 검색대상 디스크립션 엘리먼트에 기초하여 상기 검색 조건에 상응하는 영상 프레임을 검색하는 검색모듈을 포함하는 동영상 검색 시스템.
  3. 제1항에 있어서, 상기 동영상 검색 시스템은,
    상기 이동객체 식별모듈에 의해 식별된 이동 객체 중 상기 처리대상 영상 프레임의 이전 프레임인 선행 영상 프레임에는 존재하지 않은 신규 이동 객체를 판단하는 이동객체 판단모듈; 및
    상기 저장공간에 상기 신규 이동 객체를 위한 디스크립터를 생성하는 디스크립터 생성모듈을 더 포함하는 동영상 검색 시스템.
  4. 제3항에 있어서,
    상기 이동객체 판단모듈은,
    상기 처리대상 영상 프레임으로부터 추출된 이동 객체 중 상기 선행 영상 프레임으로부터 추출된 이동 객체와 일정 거리 이상 이격되어 있는 이동 객체를 신규 이동 객체라고 판단하는 동영상 검색 시스템.
  5. 제1항에 있어서,
    상기 동영상 검색 시스템은,
    상기 비디오 카메라가 촬영한 영상 프레임 중 적어도 일부인 학습대상 영상 프레임을 대상으로 배경학습을 수행하여 배경 모델을 생성하는 배경학습모듈을 더 포함하되,
    상기 이동객체 식별모듈은,
    생성된 상기 배경 모델에 기초하여, 상기 처리대상 영상 프레임으로부터 이동 객체를 식별하는 동영상 검색 시스템.
  6. 제5항에 있어서,
    상기 배경학습모듈은,
    각각의 픽셀의 대표 값을 산출하여 상기 배경 모델을 생성하고,
    상기 이동객체 식별모듈은,
    상기 처리대상 영상 프레임을 구성하는 각각의 픽셀에 대하여, 상기 픽셀 값과 상기 픽셀의 대표 값간의 차이가 소정의 임계 값 이상인 경우, 상기 픽셀이 이동 객체에 포함된 픽셀이라고 판단하는 동영상 검색 시스템.
  7. 제1항에 있어서,
    상기 위치 판단모듈은,
    상기 이동객체 식별모듈에 의해 식별된 이동 객체 각각에 대하여, 상기 이동 객체의 무게 중심을 판단하고 판단된 상기 이동 객체의 무게 중심의 위치를 상기 이동 객체의 위치로 판단하는 동영상 검색 시스템.
  8. 제1항에 있어서,
    상기 비디오 카메라는, 소정의 장소를 촬영하는 고정 카메라인 것을 특징으로 하는 동영상 검색 시스템.
  9. 비디오 카메라가 주기적으로 촬영하는 각각의 영상 프레임을 수신하는 영상프레임 수신모듈-여기서, 상기 각각의 영상 프레임은, 미리 정의된 복수의 분할 영역으로 구분됨;
    상기 영상 프레임 수신모듈이 처리대상 영상 프레임을 수신하는 경우, 상기 처리대상 영상 프레임으로부터 이동 객체를 식별하는 이동객체 식별모듈;
    상기 이동객체 식별모듈에 의해 식별된 이동 객체 각각의 상기 처리대상 영상 프레임 상의 위치를 판단하는 위치 판단모듈;
    상기 이동객체 식별모듈에 의해 식별된 이동 객체 각각에 대하여, 소정의 저장공간에 생성되는 상기 이동 객체의 위치 이동 히스토리를 관리하기 위한 디스크립터에 상기 처리대상 영상 프레임 상의 상기 이동 객체의 위치 정보를 포함하는 디스크립션 엘리먼트를 추가하는 디스크립터 관리모듈;
    상기 복수의 분할 영역 중 적어도 일부에 대한 식별정보를 포함하는 검색조건을 입력받는 검색조건 입력모듈; 및
    상기 저장공간에 생성된 각각의 이동 객체에 상응하는 디스크립터에 포함된 디스크립션 엘리먼트에 기초하여 상기 검색조건에 상응하는 영상 프레임을 검색하는 검색모듈을 포함하는 동영상 검색 시스템.
  10. 동영상 검색 시스템이, 비디오 카메라가 주기적으로 촬영하는 각각의 영상 프레임을 수신하는 영상프레임 수신단계-여기서, 상기 각각의 영상 프레임은, 미리 정의된 복수의 분할 영역으로 구분됨;
    상기 동영상 검색 시스템이, 상기 영상 프레임 수신단계에서 처리대상 영상 프레임을 수신하는 경우, 상기 처리대상 영상 프레임으로부터 이동 객체를 식별하는 이동객체 식별단계;
    상기 동영상 검색 시스템이, 상기 이동객체 식별단계에서 식별된 이동 객체 각각의 상기 처리대상 영상 프레임 상의 위치를 판단하는 위치판단단계;
    상기 동영상 검색 시스템이, 상기 이동객체 식별단계에서 식별된 이동 객체 각각에 대하여, 소정의 저장공간에 생성되는 상기 이동 객체의 위치 이동 히스토리를 관리하기 위한 디스크립터에 상기 처리대상 영상 프레임 상의 상기 이동 객체의 위치 정보를 포함하는 디스크립션 엘리먼트를 추가하는 디스크립터 관리단계;
    상기 동영상 검색 시스템이, 상기 복수의 분할 영역 중 적어도 일부에 대한 식별정보를 포함하는 검색조건을 입력받는 검색조건 입력단계; 및
    상기 동영상 검색 시스템이, 상기 저장공간에 생성된 각각의 이동 객체에 상응하는 디스크립터에 포함된 디스크립션 엘리먼트 중 상기 검색조건을 만족하는 검색대상 디스크립션 엘리먼트를 판단하는 조건판단단계를 포함하는 동영상 검색 방법.
  11. 제10항에 있어서, 상기 동영상 검색 방법은,
    상기 동영상 검색 시스템이, 상기 검색대상 디스크립션 엘리먼트에 기초하여 상기 검색 조건에 상응하는 영상 프레임을 검색하는 검색단계를 더 포함하는 동영상 검색 방법.
  12. 제10항에 있어서, 상기 동영상 검색 방법은,
    상기 동영상 검색 시스템이, 상기 이동객체 식별단계에서 식별된 이동 객체 중 상기 처리대상 영상 프레임의 이전 프레임인 선행 영상 프레임에는 존재하지 않은 신규 이동 객체를 판단하는 이동객체 판단단계; 및
    상기 동영상 검색 시스템이, 상기 저장공간에 상기 신규 이동 객체를 위한 디스크립터를 생성하는 디스크립터 생성단계를 더 포함하는 동영상 검색 방법.
  13. 제12항에 있어서,
    상기 이동객체 판단단계는,
    상기 처리대상 영상 프레임으로부터 추출된 이동 객체 중 상기 선행 영상 프레임으로부터 추출된 이동 객체와 일정 거리 이상 이격되어 있는 이동 객체를 신규 이동 객체라고 판단하는 단계를 포함하는 동영상 검색 방법.
  14. 제10항에 있어서,
    상기 동영상 검색 방법은,
    상기 동영상 검색 시스템이, 상기 비디오 카메라가 촬영한 영상 프레임 중 적어도 일부인 학습대상 영상 프레임을 대상으로 배경학습을 수행하여 배경 모델을 생성하는 배경학습단계를 더 포함하되,
    상기 이동객체 식별단계는,
    생성된 상기 배경 모델에 기초하여, 상기 처리대상 영상 프레임으로부터 이동 객체를 식별하는 단계를 포함하는 동영상 검색 방법.
  15. 제14항에 있어서,
    상기 배경학습단계는,
    각각의 픽셀의 대표 값을 산출하여 상기 배경 모델을 생성하는 단계를 포함하고,
    상기 이동객체 식별단계는,
    상기 처리대상 영상 프레임을 구성하는 각각의 픽셀에 대하여, 상기 픽셀 값과 상기 픽셀의 대표 값간의 차이가 소정의 임계 값 이상인 경우, 상기 픽셀이 이동 객체에 포함된 픽셀이라고 판단하는 단계를 포함하는 동영상 검색 방법.
  16. 제10항에 있어서,
    상기 위치 판단단계는,
    상기 이동객체 식별모듈에 의해 식별된 이동 객체 각각에 대하여, 상기 이동 객체의 무게 중심을 판단하고 판단된 상기 이동 객체의 무게 중심의 위치를 상기 이동 객체의 위치로 판단하는 단계를 포함하는 동영상 검색 방법.
  17. 제10항에 있어서,
    상기 비디오 카메라는, 소정의 장소를 촬영하는 고정 카메라인 것을 특징으로 하는 동영상 검색 방법.
  18. 동영상 검색 시스템이, 비디오 카메라가 주기적으로 촬영하는 각각의 영상 프레임을 수신하는 영상프레임 수신단계-여기서, 상기 각각의 영상 프레임은, 미리 정의된 복수의 분할 영역으로 구분됨;
    상기 동영상 검색 시스템이, 상기 영상 프레임 수신단계에서 처리대상 영상 프레임을 수신하는 경우, 상기 처리대상 영상 프레임으로부터 이동 객체를 식별하는 이동객체 식별단계;
    상기 동영상 검색 시스템이, 상기 이동객체 식별단계에서 식별된 이동 객체 각각의 상기 처리대상 영상 프레임 상의 위치를 판단하는 위치 판단단계;
    상기 동영상 검색 시스템이, 상기 이동객체 식별단계에서 식별된 이동 객체 각각에 대하여, 소정의 저장공간에 생성되는 상기 이동 객체의 위치 이동 히스토리를 관리하기 위한 디스크립터에 상기 처리대상 영상 프레임 상의 상기 이동 객체의 위치 정보를 포함하는 디스크립션 엘리먼트를 추가하는 디스크립터 관리단계;
    상기 동영상 검색 시스템이, 상기 복수의 분할 영역 중 적어도 일부에 대한 식별정보를 포함하는 검색조건을 입력받는 검색조건 입력단계; 및
    상기 동영상 검색 시스템이, 상기 저장공간에 생성된 각각의 이동 객체에 상응하는 디스크립터에 포함된 디스크립션 엘리먼트에 기초하여 상기 검색조건에 상응하는 영상 프레임을 검색하는 검색단계를 포함하는 동영상 검색 방법.
  19. 데이터 처리장치에 설치되며 제10항 내지 제18항 중 어느 한 항에 기재된 방법을 수행하기 위해 기록매체에 저장된 컴퓨터 프로그램.
  20. 동영상 검색 시스템으로서,
    프로세서; 및
    상기 프로세서에 의하여 실행되는 컴퓨터 프로그램을 저장하는 메모리를 포함하며,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 동영상 검색 시스템이, 제10항 내지 제18항 중 어느 한 항에 기재된 방법을 수행하도록 하는 동영상 검색 시스템.
KR1020160017207A 2016-02-15 2016-02-15 동영상 검색 시스템 및 그 방법 KR101826669B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160017207A KR101826669B1 (ko) 2016-02-15 2016-02-15 동영상 검색 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160017207A KR101826669B1 (ko) 2016-02-15 2016-02-15 동영상 검색 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170095599A true KR20170095599A (ko) 2017-08-23
KR101826669B1 KR101826669B1 (ko) 2018-03-22

Family

ID=59759388

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160017207A KR101826669B1 (ko) 2016-02-15 2016-02-15 동영상 검색 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101826669B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101951232B1 (ko) * 2018-09-12 2019-02-22 (주)휴진시스템 객체영역의 분리저장 및 적응형 배경영상을 이용한 고화질 cctv 영상시스템
CN115186119A (zh) * 2022-09-07 2022-10-14 深圳市华曦达科技股份有限公司 基于图文结合的图片处理方法、系统和可读存储介质
CN115292541A (zh) * 2022-08-04 2022-11-04 腾讯科技（深圳）有限公司 媒体数据的排重方法、目标模型的训练方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210011707A (ko) 2019-07-23 2021-02-02 서강대학교산학협력단 Cnn을 기반으로 한 동영상의 씬 단위 장소 분류 방법 및 이를 이용한 장소 분류 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100777199B1 (ko) * 2006-12-14 2007-11-16 중앙대학교 산학협력단 이동 객체 추적 장치 및 그 방법
KR101074850B1 (ko) 2010-08-09 2011-10-19 이정무 영상 검색 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101951232B1 (ko) * 2018-09-12 2019-02-22 (주)휴진시스템 객체영역의 분리저장 및 적응형 배경영상을 이용한 고화질 cctv 영상시스템
CN115292541A (zh) * 2022-08-04 2022-11-04 腾讯科技（深圳）有限公司 媒体数据的排重方法、目标模型的训练方法和装置
CN115186119A (zh) * 2022-09-07 2022-10-14 深圳市华曦达科技股份有限公司 基于图文结合的图片处理方法、系统和可读存储介质

Also Published As

Publication number Publication date
KR101826669B1 (ko) 2018-03-22

Similar Documents

Publication Publication Date Title
Beery et al. Context r-cnn: Long term temporal context for per-camera object detection
Huang et al. Intelligent intersection: Two-stream convolutional networks for real-time near-accident detection in traffic video
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
Arroyo et al. Expert video-surveillance system for real-time detection of suspicious behaviors in shopping malls
Zhang et al. A new method for violence detection in surveillance scenes
Bertini et al. Multi-scale and real-time non-parametric approach for anomaly detection and localization
US20200125923A1 (en) System and Method for Detecting Anomalies in Video using a Similarity Function Trained by Machine Learning
Bour et al. Crowd behavior analysis from fixed and moving cameras
KR101826669B1 (ko) 동영상 검색 시스템 및 그 방법
KR102584708B1 (ko) 과소 및 과밀 환경을 지원하는 군중위험관리시스템 및 방법
Mousse et al. People counting via multiple views using a fast information fusion approach
CN116311063A (zh) 监控视频下基于人脸识别的人员细粒度跟踪方法及系统
Ghazvini et al. A recent trend in individual counting approach using deep network
KR101492059B1 (ko) 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템
Nagrath et al. Understanding new age of intelligent video surveillance and deeper analysis on deep learning techniques for object tracking
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
Raval et al. Survey and analysis of human activity recognition in surveillance videos
US20230394686A1 (en) Object Identification
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
Narayan et al. Learning deep features for online person tracking using non-overlapping cameras: A survey
Seidenari et al. Non-parametric anomaly detection exploiting space-time features
Chen et al. Target-driven video summarization in a camera network
El-Shal et al. On the application of real-time deep neural network for automatic license plate reading from sequence of images targeting edge artificial intelligence architectures
Yang et al. Visual detection and tracking algorithms for human motion

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant