KR20020076828A - A apparatus and method of content based indexing and searching for multi-channel surveillance video - Google Patents

A apparatus and method of content based indexing and searching for multi-channel surveillance video Download PDF

Info

Publication number
KR20020076828A
KR20020076828A KR1020010016972A KR20010016972A KR20020076828A KR 20020076828 A KR20020076828 A KR 20020076828A KR 1020010016972 A KR1020010016972 A KR 1020010016972A KR 20010016972 A KR20010016972 A KR 20010016972A KR 20020076828 A KR20020076828 A KR 20020076828A
Authority
KR
South Korea
Prior art keywords
video
content
channel
information
database
Prior art date
Application number
KR1020010016972A
Other languages
Korean (ko)
Other versions
KR100392256B1 (en
Inventor
김문철
강경옥
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2001-0016972A priority Critical patent/KR100392256B1/en
Publication of KR20020076828A publication Critical patent/KR20020076828A/en
Application granted granted Critical
Publication of KR100392256B1 publication Critical patent/KR100392256B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

PURPOSE: A system and a method for indexing and searching contents-based multichannel supervisory videos are provided to effectively manage and search a vast amount of video contents. CONSTITUTION: A system for indexing and searching contents-based multichannel supervisory videos includes a contents-based video indexing sub-system and a contents-based video searching sub-system. The contents-based video indexing sub-system includes a multichannel video input unit(101), a video features extraction unit(102), a video features unification unit(103), and a video features information indexing unit(104). The contents-based video searching sub-system includes a user interface(201), a user inquiry transformation unit(202), a database searching unit(203), a search result analyzing unit(204), and a video browser(205).

Description

내용기반 멀티채널 감시비디오 색인 및 검색장치와 방법 {A apparatus and method of content based indexing and searching for multi-channel surveillance video}A apparatus and method of content based indexing and searching for multi-channel surveillance video}

본 발명은 멀티채널 감시비디오 환경하에서 획득된 비디오로부터 각 채널비디오에 대해 이동객체를 검출 및 추적하고, 비디오 내의 의미정보를 추출 및 색인하고, 색인된 정보를 대상으로 내용기반 검색을 할 수 있도록 한 내용 기반 멀티채널 감시비디오 색인 및 검색 방법과 장치에 관한 것이다.The present invention provides a method for detecting and tracking a moving object for each channel video, extracting and indexing semantic information in the video, and performing a content-based search for the indexed information in a multi-channel surveillance video environment. A method and apparatus for content-based multichannel surveillance video indexing and retrieval.

본 출원인이 1999년 6월 23일자로 출원한 대한민국 특허출원 1999-23666호 "의미 정보를 이용한 비디오 검색장치 및 방법"은 고정 카메라 환경하에서 취득된 비디오로부터 이동물체를 검출 및 추적하고, 이동물체 영역의 속성 및 물체간의 연관관계 등 비디오 내의 의미정보를 이용하여 비디오의 내용을 색인화하고 검색할 수 있도록 하는 의미정보를 이용한 비디오 검색장치 및 방법이 개시되어 있다.Korean Patent Application No. 1999-23666, Applicant filed June 23, 1999, "A video retrieval apparatus and method using semantic information" detects and tracks a moving object from a video acquired under a fixed camera environment, and moves the moving object area. Disclosed is a video retrieval apparatus and method using semantic information that enables indexing and retrieval of a video content using semantic information in a video, such as a property of an object and an association between objects.

이러한 선행발명의 감시비디오 색인 및 검색은, 한 개의 채널로부터 입력되는 비디오를 분석하고 분석된 결과를 색인화하여 데이터베이스에 저장하고 관리하며, 데이터베이스 검색 또한 하나의 비디오 채널에 대한 데이터베이스의 색인 정보에 대해 이루어진다. 즉, 종래의 선행발명에서 제시한 감시비디오 색인 및 검색방법은 하나의 비디오 채널을 대상으로 하기 때문에 멀티채널로부터의 비디오 입력에 대한 색인 및 검색을 처리할 수 없다. 그러나, 실제의 감시비디오 환경은 멀티채널을 이용하기 때문에 종래의 선행발명을 실제의 감시비디오 환경에 적용하기는 곤란하다는 문제점이 있다.Surveillance video indexing and retrieval of the preceding invention analyzes the video input from one channel, indexes the analyzed result, stores and manages it in the database, and database search is also performed on the index information of the database for one video channel. . That is, the surveillance video indexing and retrieval method proposed in the prior art can not process indexing and retrieval for video input from multiple channels because it targets one video channel. However, since the actual surveillance video environment uses a multi-channel, it is difficult to apply the prior art to the actual surveillance video environment.

상기와 같은 종래기술의 문제점을 해결하기 위한 본 발명의 목적은, 멀티채널 비디오 카메라 환경하에서 취득된 비디오로부터 각 채널 비디오 입력에 대해 이동객체를 검출 및 추적하고, 이동 객체 영역의 속성 및 객체간의 연관 관계 등의 의미 정보를 추출한 후, 추출된 의미 정보내용을 자동으로 각 채널비디오에 대해 색인화하고 검색할 수 있도록 한 의미 정보를 이용한 내용 기반 멀티채널 비디오 색인 및 검색 장치와 방법을 제공하기 위한 것이다.SUMMARY OF THE INVENTION An object of the present invention is to detect and track a moving object for each channel video input from a video acquired under a multichannel video camera environment, and to associate an object with a property of a moving object area. After extracting semantic information such as relations, the present invention is to provide a content-based multi-channel video indexing and retrieval apparatus and method using semantic information to automatically index and retrieve the extracted semantic information content for each channel video.

도 1은 본 발명에 따른 내용기반 멀티채널 감시비디오 색인 및 검색 장치의 구성도,1 is a block diagram of a content-based multi-channel surveillance video indexing and retrieval apparatus according to the present invention;

도 2는 본 발명에 따른 내용기반 멀티채널 비디오 색인서브시스템의 상세 구성도이다.2 is a detailed block diagram of a content-based multi-channel video indexing subsystem according to the present invention.

※ 도면의 주요부분에 대한 부호의 설명 ※※ Explanation of code about main part of drawing ※

101 : 멀티채널 비디오 입력부102 : 비디오 특징 추출부101: multi-channel video input unit 102: video feature extraction unit

103 : 비디오 특징 통합부104 : 비디오 특징 정보 색인부103: video feature integration section 104: video feature information indexing section

201 : 사용자 인터페이스부202 : 사용자 질의 변환부201: user interface unit 202: user query conversion unit

203 : 데이터베이스 검색부204 : 검색 결과 분석부203: database search unit 204: search result analysis unit

205 : 비디오 브라우징부301 : 데이터베이스205: Video browsing unit 301: Database

302 : 비디오 아카이브302: Video Archive

상기한 목적을 달성하기 위한 본 발명에 따른 내용기반 멀티채널 감시비디오 색인장치는, 복수 개의 비디오 채널 정보를 입력받아 각 채널의 영상신호는 비디오 아카이브에 저장하고, 비디오의 추출된 의미정보는 데이터베이스에 저장한다.Content-based multi-channel surveillance video indexing apparatus according to the present invention for achieving the above object, receives a plurality of video channel information and stores the video signal of each channel in the video archive, the extracted semantic information of the video in the database Save it.

이러한 내용기반 멀티채널 감시비디오 색인장치는, 상기 복수 개의 비디오 채널을 통해 영상신호가 입력되는 멀티채널 비디오 입력부와, 상기 복수 개의 비디오 채널을 통해 입력된 비디오 객체의 특징 정보를 추출하는 비디오 특징 추출부와, 상기 비디오 특징 추출부에서 추출된 각 비디오 채널의 특징 정보를 구조화된 스키마 형태로 통합하는 비디오 특징 통합부와, 상기 비디오 특징 통합부에서 통합된 비디오 특징 정보를 색인하여 상기 데이터베이스에 저장하는 비디오 특징 정보 색인부를 포함한 것을 특징으로 한다.The content-based multi-channel surveillance video indexing apparatus includes a multi-channel video input unit through which video signals are input through the plurality of video channels, and a video feature extraction unit which extracts feature information of video objects input through the plurality of video channels. And a video feature integrator for integrating the feature information of each video channel extracted by the video feature extractor into a structured schema form, and a video indexing the video feature information integrated in the video feature integrator and storing the video feature information in the database. Characterized in that it comprises a feature information index.

또한, 본 발명에 따른 내용기반 멀티채널 감시비디오 색인방법은 복수 개의비디오 채널 정보를 입력받아 각 채널의 영상신호는 비디오 아카이브에 저장하고, 비디오의 추출된 의미정보는 데이터베이스에 저장한다.In addition, the content-based multi-channel surveillance video indexing method according to the present invention receives a plurality of video channel information and stores the video signal of each channel in the video archive, the extracted semantic information of the video is stored in the database.

이러한 내용기반 멀티채널 감시비디오 색인방법은, 상기 복수 개의 비디오 채널을 통해 영상신호가 입력되는 멀티채널 비디오 입력단계와, 상기 복수 개의 비디오 채널을 통해 입력된 비디오 객체의 특징 정보를 추출하는 비디오 특징 추출단계와, 상기 비디오 특징 추출단계에서 추출된 각 비디오 채널의 특징 정보를 구조화된 스키마 형태로 통합하는 비디오 특징 통합단계와, 상기 비디오 특징 통합단계에서 통합된 비디오 특징 정보를 색인하여 상기 데이터베이스에 저장하는 비디오 특징 정보 색인단계를 포함한 것을 특징으로 한다.The content-based multi-channel surveillance video indexing method includes a multi-channel video input step of inputting video signals through the plurality of video channels, and video feature extraction to extract feature information of video objects input through the plurality of video channels. And a video feature integration step of integrating the feature information of each video channel extracted in the video feature extraction step into a structured schema form, and indexing and storing the video feature information integrated in the video feature integration step in the database. And a video feature information indexing step.

또한, 본 발명에 따르면 컴퓨터에 상술한 바와 같은 내용기반 멀티채널 감시비디오 색인방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.According to the present invention, there is provided a computer-readable recording medium having recorded thereon a program for executing a content-based multi-channel surveillance video indexing method as described above.

또한, 본 발명에 따른 내용기반 멀티채널 감시비디오 검색장치는, 사용자로부터 내용기반 질의가 입력되면 비디오의 의미정보가 저장된 데이터베이스를 검색하여 상기 질의와 유사한 비디오 구간을 찾아내고, 영상신호가 저장된 비디오 아카이브에서 상기 구간의 비디오 데이터를 추출하여 사용자에게 디스플레이한다.In addition, the content-based multi-channel surveillance video retrieval apparatus according to the present invention, when a content-based query is input from the user, to search the database stored the semantic information of the video to find a video section similar to the query, the video archive stored the video signal Extracts video data of the section and displays the same to the user.

이러한 내용기반 멀티채널 감시비디오 검색장치는, 사용자로부터 내용기반 질의가 입력되고, 비디오 브라우징부로부터 검색결과와 비디오 구간정보가 전달되면 상기 비디오 아카이브에 저장된 해당 구간의 비디오 데이터를 사용자에게 디스플레이하는 사용자 인터페이스와; 상기 사용자의 내용기반 질의를 입력받아 데이터베이스 내에 저장된 특징 정보들과의 유사도 정합을 수행하여 검색 결과를 출력하는 데이터베이스 검색부와; 상기 데이터베이스 검색부로부터 출력되는 검색결과를 분석하여 상기 내용기반 질의와 유사도가 큰 검색결과를 출력하는 검색결과 분석부와; 상기 검색결과 분석부로부터 출력되는 검색결과와 관련 비디오 구간 정보를 상기 사용자 인터페이스에게 전달하는 상기 비디오 브라우징부를 포함한 것을 특징으로 한다.The content-based multi-channel surveillance video retrieval apparatus includes a user interface for displaying video data of a corresponding section stored in the video archive when a content-based query is input from a user and a search result and video section information are transmitted from a video browsing unit. Wow; A database retrieval unit configured to receive a content-based query of the user and perform similarity matching with feature information stored in a database to output a search result; A search result analysis unit analyzing the search results output from the database search unit and outputting search results having a high similarity to the content-based query; And the video browsing unit for transmitting the search result and the related video section information output from the search result analyzer to the user interface.

또한, 본 발명에 따른 내용기반 멀티채널 감시비디오 검색방법은, 사용자로부터 내용기반 질의가 입력되면 비디오의 의미정보가 저장된 데이터베이스를 검색하여 상기 질의와 유사한 비디오 구간을 찾아내고, 영상신호가 저장된 비디오 아카이브에서 상기 구간의 비디오 데이터를 추출하여 사용자에게 디스플레이한다.In addition, the content-based multi-channel surveillance video retrieval method according to the present invention, when a content-based query is input from the user to search a database that stores the semantic information of the video to find a video section similar to the query, the video archive stored video signal Extracts video data of the section and displays the same to the user.

이러한 내용기반 멀티채널 감시비디오 검색방법은, 사용자로부터 내용기반 질의가 입력되면, 상기 내용기반 질의와 데이터베이스 내에 저장된 특징 정보들과의 유사도 정합을 수행하고 검색결과를 얻는 데이터베이스 검색단계와; 상기 검색결과를 분석하여 상기 내용기반 질의와 유사도가 큰 검색결과를 얻는 검색결과 분석단계와; 상기 유사도가 큰 검색결과와 관련 비디오 구간 정보를 찾아서 해당 구간의 비디오 데이터를 사용자에게 디스플레이하는 비디오 디스플레이단계를 포함한 것을 특징으로 한다.The content-based multi-channel surveillance video retrieval method includes: a database retrieval step of performing a similarity matching between the content-based query and feature information stored in a database and obtaining a search result when a content-based query is input from a user; A search result analyzing step of analyzing the search result to obtain a search result having a high similarity with the content-based query; And a video display step of finding the search result with the similarity and the related video section information and displaying the video data of the corresponding section to the user.

또한, 본 발명에 따르면 컴퓨터에 상술한 바와 같은 내용기반 멀티채널 감시비디오 검색방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.According to the present invention, there is provided a computer-readable recording medium having recorded thereon a program for executing a content-based multi-channel surveillance video retrieval method on a computer.

이하, 첨부된 도면을 참조하면서 본 발명의 한 실시예에 따른 "내용기반 멀티채널 감시비디오 색인 및 검색 장치와 방법"을 보다 상세하게 설명하기로 한다.Hereinafter, an apparatus and method for content-based multi-channel surveillance video indexing and searching according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 한 실시예에 따른 의미 정보를 이용한 내용 기반 멀티채널 감시비디오 색인 및 검색 장치의 구성도로서, 이는 크게 내용기반 비디오 색인 서브시스템과 내용기반 비디오 검색 서브시스템으로 이루어진다. 내용기반 비디오 색인 서브시스템은 멀티채널 비디오 입력부(101)와, 비디오 특징 추출부(102), 비디오 특징 통합부(103), 비디오 특징 정보 색인부(104)를 포함한다. 내용기반 비디오 검색 서브시스템은 사용자 인터페이스부(201)와, 사용자 질의 변환부(202), 데이터베이스 검색부(203), 검색 결과 분석부(204) 및 비디오 브라우징부(205)를 포함한다. 또한, 내용 기반 멀티채널 감시비디오 색인 및 검색장치는 데이터베이스(301)와 비디오 아카이브(302)를 더 포함한다.1 is a block diagram of a content-based multi-channel surveillance video indexing and retrieval apparatus using semantic information according to an embodiment of the present invention, which is composed of a content-based video indexing subsystem and a content-based video retrieval subsystem. The content-based video indexing subsystem includes a multichannel video input 101, a video feature extractor 102, a video feature integrator 103, and a video feature information indexer 104. The content-based video retrieval subsystem includes a user interface 201, a user query converter 202, a database retrieval 203, a search result analyzer 204, and a video browser 205. The content-based multichannel surveillance video indexing and retrieval apparatus further includes a database 301 and a video archive 302.

도 1과 같이 구성된 내용기반 멀티채널 감시비디오 색인 및 검색 장치는 두 가지 기능을 수행하는데, 첫째는 각 채널비디오의 내용을 분석하고 분석된 비디오 특징을 데이터베이스에 색인하는 색인기능과, 둘째는 데이터베이스에 색인된 비디오 정보를 내용 기반으로 검색하는 검색기능을 수행한다.The content-based multi-channel surveillance video indexing and retrieval apparatus configured as shown in FIG. 1 performs two functions. First, an indexing function for analyzing the contents of each channel video and indexing the analyzed video features into a database, and Performs a search function to search indexed video information based on content.

도 2는 내용기반 멀티채널 감시비디오 색인 및 검색장치의 내용기반 비디오 색인 서브시스템을 도시한 상세 구성도이다.2 is a detailed block diagram illustrating a content-based video indexing subsystem of a content-based multichannel surveillance video indexing and retrieval apparatus.

도 1의 멀티 채널 비디오 입력부(101)는 N 개의 감시용 비디오 카메라(11)와 각 비디오 카메라(11)로부터 발생한 영상신호를 디지털 신호로 변환하는 N 개의 A/D 변환부(12)로 이루어진다. 또한, 비디오 특징 추출부는 N 개 이상이 마련되어, 상기 각 비디오 채널로부터 출력되는 디지털 영상신호에서 비디오 특징을 추출한다. 또는 하나의 비디오 특징 추출부로 N 개 채널로부터의 영상신호에 대해 특징을 비디오 특징을 수행 할 수 있도록 통합 구현도 가능하다.The multi-channel video input unit 101 of FIG. 1 includes N surveillance video cameras 11 and N A / D converters 12 that convert video signals generated from the video cameras 11 into digital signals. In addition, the video feature extractor is provided with N or more, and extracts the video feature from the digital video signal output from each video channel. Alternatively, a single video feature extractor may be integrated to perform a video feature on a video signal from N channels.

먼저, 도 1과 도 2를 참조하면서 내용기반 멀티채널 감시비디오 색인화 과정에 대해 설명하면 다음과 같다.First, the content-based multi-channel surveillance video indexing process will be described with reference to FIGS. 1 and 2 as follows.

각 감시용 비디오 카메라(11)는 고정되어 특정 영역을 촬영하거나, 움직이면서 넓은 영역을 촬영하여 영상신호를 발생한다. 각 감시용 비디오 카메라(11)로부터 출력되는 각 비디오 채널의 영상신호는 일반적으로 아날로그 형태인데, 각 비디오 채널의 A/D 변환부(12)는 입력된 아날로그 영상신호를 디지털 신호로 변환하여 대응되는 각 비디오 채널의 비디오 특징 추출부(13)에 전달한다. 여기서 감시용 비디오 카메라가 디지털 영상 신호를 발생하는 카메라 일 경우 멀티채널 비디오 입력부에서 A/D 변환부가 제외될 수 있다. 각 비디오 채널의 비디오 특징 추출부(13)는 비디오 객체의 특징 정보(이동객체 움직임 궤적, 속도, 칼라, 위치, 크기, 등장시각, 소멸시각 등)를 추출한다. 한편, A/D 변환부(12)를 통해 출력되는 디지털 영상신호는 채널 비디오 압축부(14)에 입력되어 부호화되고, 부호화된 채널 비디오 데이터는 채널 비디오 저장부(15)를 통해 비디오 아카이브(302)에 저장된다.Each surveillance video camera 11 is fixed to generate a video signal by capturing a specific area or by capturing a wide area while moving. The video signal of each video channel output from each surveillance video camera 11 is generally in an analog form, and the A / D converter 12 of each video channel converts the input analog video signal into a digital signal to correspond. It is transmitted to the video feature extractor 13 of each video channel. Here, when the surveillance video camera is a camera generating a digital video signal, the A / D converter may be excluded from the multi-channel video input unit. The video feature extracting unit 13 of each video channel extracts feature information (moving object motion trajectory, speed, color, position, size, appearance time, extinction time, etc.) of the video object. Meanwhile, the digital video signal output through the A / D converter 12 is input to the channel video compression unit 14 and encoded, and the encoded channel video data is stored in the video archive 302 through the channel video storage unit 15. )

각 채널의 비디오 특징 추출부(13)는 각 채널의 움직임 객체의 특징을 추출하는데, 영상의 움직임 객체를 분할하고, 분할된 객체에 객체 식별번호를 부여하고, 객체의 대표위치를 설정한 후 움직임을 추적한다. 이렇게 하여 객체가 등장하여 사라지는 구간 내에서 움직임 궤적을 다항식 계수로 근사화하여 표현한다. 또한, 움직임 객체의 칼라, 모양, 질감, 크기, 위치, 등장시각 및 소멸시각 등의 특징을 추출한다. 이와 같이 장면 내에 있는 모든 움직임 객체에 대해 객체 식별번호와 움직임 궤적, 등장 시각과 소멸시각, 객체의 칼라정보, 이동속도 등의 특징이 구해지면 그 특징으로 색인한다.The video feature extractor 13 of each channel extracts a feature of a motion object of each channel. The video object extractor 13 divides the motion object of the image, assigns an object identification number to the divided object, and sets the representative position of the object. To track. In this way, the motion trajectory is approximated by the polynomial coefficient in the interval where the object appears and disappears. Also, features such as color, shape, texture, size, position, appearance time and extinction time of the moving object are extracted. As such, the object identification number, the motion trajectory, the appearance time and the extinction time, the color information of the object, the moving speed, etc. are obtained for all the moving objects in the scene.

각 비디오 채널로부터의 입력영상에 대해 추출된 특징정보는 채널 비디오 특징 통합부(103)에 입력되어 구조화된 스키마 형태로 통합 표현된다. 그리고, 통합된 비디오 특징 정보는 채널 비디오 특징 정보 색인부(104)에 전달되는데, 이 채널 비디오 특징 정보 색인부(104)는 비디오 특징 정보를 색인하여 데이터베이스(301)에 저장한다.The feature information extracted for the input image from each video channel is input to the channel video feature integrator 103 and expressed in a structured schema. The integrated video feature information is delivered to the channel video feature information indexing unit 104, which indexes and stores the video feature information in the database 301.

다음, 도 1을 참조하면서 내용기반 멀티채널 감시비디오 검색방법을 설명하면 다음과 같다.Next, a content-based multi-channel surveillance video search method will be described with reference to FIG. 1.

사용자의 질의가 사용자 인터페이스(201)를 통하여 입력되면, 사용자 인터페이스(201)는 입력된 사용자 질의를 사용자 질의 변환부(202)에 입력한다. 사용자 질의 변환부(202)는 사용자 질의를 데이터베이스(301)에 저장된 정보를 검색할 수 있는 형태로 변환한 후 데이터베이스 검색부(203)에 전달한다. 데이터베이스 검색부(203)는 데이터베이스(301) 내에 이미 저장된 특징 정보들과 유사도 정합을 행하여 결과를 검색결과 분석부(204)에 입력하고, 검색결과 분석부(204)는 검색결과를 분석하여 유사도가 큰 순서대로 해당되는 검색결과를 비디오 브라우징부(205)에 전달한다. 비디오 브라우징부(205)는 디스플레이할 비디오 구간정보 및 검색결과에대한 출력 형태의 정보를 사용자 인터페이스에게 전달한다. 사용자 인터페이스는 검색결과와 관련 비디오 구간 정보를 이용하여 비디오 아카이브(302)에 저장된 비디오 데이터를 사용자에게 디스플레이한다.When a user's query is input through the user interface 201, the user interface 201 inputs the input user query to the user query converter 202. The user query converter 202 converts the user query into a searchable form of information stored in the database 301 and transmits the query to the database searcher 203. The database search unit 203 matches the similarity with the feature information already stored in the database 301 and inputs the result into the search result analyzer 204. The search result analyzer 204 analyzes the search result to determine the similarity. The search results are transmitted to the video browsing unit 205 in large order. The video browsing unit 205 delivers the information of the video section to be displayed and the output form of the search result to the user interface. The user interface displays the video data stored in the video archive 302 to the user using the search results and the associated video segment information.

위에서 양호한 실시예에 근거하여 이 발명을 설명하였지만, 이러한 실시예는 이 발명을 제한하려는 것이 아니라 예시하려는 것이다. 이 발명이 속하는 분야의 숙련자에게는 이 발명의 기술사상을 벗어남이 없이 위 실시예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 이 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이며, 위와 같은 변화예나 변경예 또는 조절예를 모두 포함하는 것으로 해석되어야 할 것이다.While the invention has been described above based on the preferred embodiments thereof, these embodiments are intended to illustrate rather than limit the invention. It will be apparent to those skilled in the art that various changes, modifications, or adjustments to the above embodiments can be made without departing from the spirit of the invention. Therefore, the protection scope of the present invention will be limited only by the appended claims, and should be construed as including all such changes, modifications or adjustments.

이상과 같이 본 발명에 의하면, 비디오 내의 의미 정보 즉, 이동 객체의 수, 칼라, 모양, 질감, 이동 궤적, 이동 속도, 또는 크기 정보 등을 사용하여 비디오를 효율적으로 색인하고, 사용자로부터 상기의 의미 정보 형태의 질의가 입력되면 이에 반응하여, 방대한 양의 비디오 자료 중에서 사용자가 용이하게 원하는 비디오를 검색할 수 있도록 해줌으로써, 방대한 양의 비디오 자료를 자동으로 색인화하고 검색할 수 있는 효과가 있다.As described above, according to the present invention, the video is efficiently indexed by using semantic information in the video, that is, the number, color, shape, texture, movement trajectory, movement speed, or size information of the moving object, and the above meaning from the user. In response to input of an information type query, a user can easily search for a desired video among a large amount of video data, thereby automatically indexing and searching a large amount of video data.

Claims (11)

복수 개의 비디오 채널 정보를 입력받아 각 채널의 영상신호는 비디오 아카이브에 저장하고, 비디오의 추출된 의미정보는 데이터베이스에 저장하는 내용기반 멀티채널 감시비디오 색인장치에 있어서,In the content-based multi-channel surveillance video indexing apparatus that receives a plurality of video channel information and stores the video signal of each channel in a video archive, and the extracted semantic information of the video in a database, 상기 복수 개의 비디오 채널을 통해 영상신호가 입력되는 멀티채널 비디오 입력부와,A multi-channel video input unit for inputting video signals through the plurality of video channels; 상기 복수 개의 비디오 채널을 통해 입력된 비디오 객체의 특징 정보를 추출하는 비디오 특징 추출부와,A video feature extracting unit for extracting feature information of a video object input through the plurality of video channels; 상기 비디오 특징 추출부에서 추출된 각 비디오 채널의 특징 정보를 구조화된 스키마 형태로 통합하는 비디오 특징 통합부와,A video feature integrator that integrates feature information of each video channel extracted by the video feature extractor into a structured schema; 상기 비디오 특징 통합부에서 통합된 비디오 특징 정보를 색인하여 상기 데이터베이스에 저장하는 비디오 특징 정보 색인부를 포함한 것을 특징으로 하는 내용기반 멀티채널 감시비디오 색인장치.And a video feature information indexing unit for indexing the video feature information integrated in the video feature integrating unit and storing the video feature information in the database. 제 1 항에 있어서, 상기 멀티채널 비디오 입력부는,The method of claim 1, wherein the multi-channel video input unit, 상기 복수 개의 비디오 채널의 아날로그 영상신호를 발생하는 복수 개의 비디오 카메라와,A plurality of video cameras generating analog video signals of the plurality of video channels; 상기 복수 개의 비디오 카메라에서 출력되는 아날로그 영상신호를 디지털 영상신호로 변환하여 출력하는 A/D 변환부를 포함한 것을 특징으로 하는 내용기반 멀티채널 감시비디오 색인장치.Content-based multi-channel surveillance video indexing device comprising an A / D converter for converting the analog video signal output from the plurality of video cameras to a digital video signal. 제 1 항에 있어서, 상기 비디오 채널의 특징 정보는,The method of claim 1, wherein the characteristic information of the video channel, 이동객체의 움직임 궤적, 움직임 객체의 소리 정보, 움직임 객체의 이동 속도 정보, 움직임 객체의 칼라, 모양, 질감, 움직임 방향, 크기, 등장 시각, 및 소멸 시각 중 적어도 한 가지 정보를 포함한 것을 특징으로 하는 내용기반 멀티채널 감시비디오 색인장치.And at least one of a motion trajectory of the moving object, sound information of the moving object, moving speed information of the moving object, color, shape, texture, direction of movement, size, appearance time, and extinction time of the moving object. Content-based multichannel surveillance video indexing device. 복수 개의 비디오 채널 정보를 입력받아 각 채널의 영상신호는 비디오 아카이브에 저장하고, 비디오의 추출된 의미정보는 데이터베이스에 저장하는 내용기반 멀티채널 감시비디오 색인방법에 있어서,In the content-based multi-channel surveillance video indexing method of receiving a plurality of video channel information and stores the video signal of each channel in a video archive, and the extracted semantic information of the video in a database, 상기 복수 개의 비디오 채널을 통해 영상신호가 입력되는 멀티채널 비디오 입력단계와,A multi-channel video input step of inputting image signals through the plurality of video channels; 상기 복수 개의 비디오 채널을 통해 입력된 비디오 객체의 특징 정보를 추출하는 비디오 특징 추출단계와,A video feature extraction step of extracting feature information of a video object input through the plurality of video channels; 상기 비디오 특징 추출단계에서 추출된 각 비디오 채널의 특징 정보를 구조화된 스키마 형태로 통합하는 비디오 특징 통합단계와,A video feature integration step of integrating feature information of each video channel extracted in the video feature extraction step into a structured schema; 상기 비디오 특징 통합단계에서 통합된 비디오 특징 정보를 색인하여 상기 데이터베이스에 저장하는 비디오 특징 정보 색인단계를 포함한 것을 특징으로 하는 내용기반 멀티채널 감시비디오 색인방법.And a video feature information indexing step of indexing the video feature information integrated in the video feature integration step and storing the video feature information in the database. 제 4 항에 있어서, 상기 비디오 채널의 특징 정보는,The method of claim 4, wherein the characteristic information of the video channel, 이동객체의 움직임 궤적, 움직임 객체의 소리 정보, 움직임 객체의 이동 속도 정보, 움직임 객체의 칼라, 모양, 질감, 움직임 방향, 크기, 등장 시각, 및 소멸 시각 중 적어도 한 가지 정보를 포함한 것을 특징으로 하는 내용기반 멀티채널 감시비디오 색인방법.And at least one of a motion trajectory of the moving object, sound information of the moving object, moving speed information of the moving object, color, shape, texture, direction of movement, size, appearance time, and extinction time of the moving object. Content-based multichannel surveillance video indexing method. 제 5 항에 있어서, 상기 이동객체의 움직임 궤적을 추출하는 방법은,The method of claim 5, wherein the moving trajectory of the moving object is extracted. 상기 영상의 움직임 객체를 분할하고 분할된 객체에 객체 식별번호를 부여하는 제 1 단계와,A first step of dividing a moving object of the image and assigning an object identification number to the divided object; 상기 객체의 대표 위치를 설정하고 상기 객체가 등장하여 사라지는 구간 내에서 움직임 궤적을 추적하는 제 2 단계와,Setting a representative position of the object and tracking a movement trajectory within a section in which the object appears and disappears; 상기 객체의 움직임 궤적을 다항식 계수로 근사화하는 제 3 단계를 포함한 것을 특징으로 하는 내용기반 멀티채널 감시비디오 색인방법.And a third step of approximating the motion trajectory of the object by polynomial coefficients. 컴퓨터에,On your computer, 복수 개의 비디오 채널을 통해 영상신호가 입력되면, 상기 복수 개의 비디오 채널을 통해 입력된 비디오 객체의 특징 정보를 추출하는 비디오 특징 추출단계와,A video feature extraction step of extracting feature information of a video object input through the plurality of video channels when an image signal is input through a plurality of video channels; 상기 비디오 특징 추출단계에서 추출된 각 비디오 채널의 특징 정보를 구조화된 스키마 형태로 통합하는 비디오 특징 통합단계와,A video feature integration step of integrating feature information of each video channel extracted in the video feature extraction step into a structured schema; 상기 비디오 특징 통합단계에서 통합된 비디오 특징 정보를 색인하여 상기 데이터베이스에 저장하는 비디오 특징 정보 색인단계를 포함하여,And a video feature information indexing step of indexing and storing the video feature information integrated in the video feature integration step in the database. 복수 개의 비디오 채널 정보를 입력받아 각 채널의 영상신호는 비디오 아카이브에 저장하고, 비디오의 추출된 의미정보는 데이터베이스에 저장하는 내용기반 멀티채널 감시비디오 색인방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.Receives a plurality of video channel information and stores the video signal of each channel in the video archive, and extracts semantic information of the video into a database. Recording media. 사용자로부터 내용기반 질의가 입력되면 비디오의 의미정보가 저장된 데이터베이스를 검색하여 상기 질의와 유사한 비디오 구간을 찾아내고, 영상신호가 저장된 비디오 아카이브에서 상기 구간의 비디오 데이터를 추출하여 사용자에게 디스플레이하는 내용기반 멀티채널 감시비디오 검색장치에 있어서,When a content-based query is input from the user, a video section similar to the query is searched by searching a database storing semantic information of the video, and the content-based multi-image is extracted and displayed to the user by extracting video data of the section from the video archive where the video signal is stored. In the channel surveillance video search apparatus, 사용자로부터 내용기반 질의가 입력되고, 비디오 브라우징부로부터 검색결과와 비디오 구간정보가 전달되면 상기 비디오 아카이브에 저장된 해당 구간의 비디오 데이터를 사용자에게 디스플레이하는 사용자 인터페이스와,A user interface for displaying a video data of a corresponding section stored in the video archive when a content-based query is input from a user and a search result and video section information are transmitted from a video browsing unit; 상기 사용자의 내용기반 질의를 입력받아 데이터베이스 내에 저장된 특징 정보들과의 유사도 정합을 수행하여 검색 결과를 출력하는 데이터베이스 검색부와,A database retrieval unit configured to receive a content-based query of the user and perform similarity matching with feature information stored in a database to output a search result; 상기 데이터베이스 검색부로부터 출력되는 검색결과를 분석하여 상기 내용기반 질의와 유사도가 큰 검색결과를 출력하는 검색결과 분석부와,A search result analysis unit analyzing the search results output from the database search unit and outputting search results having a high similarity to the content-based query; 상기 검색결과 분석부로부터 출력되는 검색결과와 관련 비디오 구간 정보를 상기 사용자 인터페이스에게 전달하는 상기 비디오 브라우징부를 포함한 것을 특징으로 하는 내용기반 멀티채널 감시비디오 검색장치.And a video browsing unit for transmitting the search result outputted from the search result analysis unit and the related video section information to the user interface. 제 8 항에 있어서,The method of claim 8, 상기 사용자로부터 입력된 내용기반 질의를 상기 데이터베이스에 저장된 정보를 검색할 수 있는 형태로 변환한 후 상기 데이터베이스 검색부에 전달하는 사용자 질의 변환부를 더 포함한 것을 특징으로 하는 내용기반 멀티채널 감시비디오 검색장치.And a user query converting unit converting the content-based query input from the user into a form in which the information stored in the database can be searched and then transferring the content-based query to the database search unit. 사용자로부터 내용기반 질의가 입력되면 비디오의 의미정보가 저장된 데이터베이스를 검색하여 상기 질의와 유사한 비디오 구간을 찾아내고, 영상신호가 저장된 비디오 아카이브에서 상기 구간의 비디오 데이터를 추출하여 사용자에게 디스플레이하는 내용기반 멀티채널 감시비디오 검색방법에 있어서,When a content-based query is input from the user, a video section similar to the query is searched by searching a database storing semantic information of the video, and the content-based multi-image is extracted and displayed to the user by extracting video data of the section from the video archive where the video signal is stored. In the channel surveillance video search method, 사용자로부터 내용기반 질의가 입력되면, 상기 내용기반 질의와 데이터베이스 내에 저장된 특징 정보들과의 유사도 정합을 수행하고 검색결과를 얻는 데이터베이스 검색단계와,A database search step of performing a similarity matching between the content-based query and feature information stored in the database and obtaining a search result when a content-based query is input from a user; 상기 검색결과를 분석하여 상기 내용기반 질의와 유사도가 큰 검색결과를 얻는 검색결과 분석단계와,A search result analyzing step of analyzing the search result to obtain a search result having a high similarity with the content-based query; 상기 유사도가 큰 검색결과와 관련 비디오 구간 정보를 찾아서 해당 구간의 비디오 데이터를 사용자에게 디스플레이하는 비디오 디스플레이단계를 포함한 것을 특징으로 하는 내용기반 멀티채널 감시비디오 검색방법.And a video display step of finding the search result with the similarity and the related video section information and displaying the video data of the section to the user. 컴퓨터에,On your computer, 사용자로부터 내용기반 질의가 입력되면, 상기 내용기반 질의와 데이터베이스 내에 저장된 특징 정보들과의 유사도 정합을 수행하고 검색결과를 얻는 데이터베이스 검색단계와,A database search step of performing a similarity matching between the content-based query and feature information stored in the database and obtaining a search result when a content-based query is input from a user; 상기 검색결과를 분석하여 상기 내용기반 질의와 유사도가 큰 검색결과를 얻는 검색결과 분석단계와,A search result analyzing step of analyzing the search result to obtain a search result having a high similarity with the content-based query; 상기 유사도가 큰 검색결과와 관련 비디오 구간 정보를 찾아서 해당 구간의 비디오 데이터를 사용자에게 디스플레이하는 비디오 디스플레이단계를 포함하여,Including a video display step of finding the search results and the associated video section information having a high similarity, and displaying the video data of the corresponding section to the user, 사용자로부터 내용기반 질의가 입력되면 비디오의 의미정보가 저장된 데이터베이스를 검색하여 상기 질의와 유사한 비디오 구간을 찾아내고, 영상신호가 저장된 비디오 아카이브에서 상기 구간의 비디오 데이터를 추출하여 사용자에게 디스플레이하는 내용기반 멀티채널 감시비디오 검색방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.When a content-based query is input from the user, a video section similar to the query is searched by searching a database storing semantic information of the video, and the content-based multi-image is extracted and displayed to the user by extracting video data of the section from the video archive where the video signal is stored. A computer-readable recording medium that records a program for executing a channel surveillance video search method.
KR10-2001-0016972A 2001-03-30 2001-03-30 A apparatus and method of content based indexing and searching for multi-channel surveillance video KR100392256B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0016972A KR100392256B1 (en) 2001-03-30 2001-03-30 A apparatus and method of content based indexing and searching for multi-channel surveillance video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0016972A KR100392256B1 (en) 2001-03-30 2001-03-30 A apparatus and method of content based indexing and searching for multi-channel surveillance video

Publications (2)

Publication Number Publication Date
KR20020076828A true KR20020076828A (en) 2002-10-11
KR100392256B1 KR100392256B1 (en) 2003-07-22

Family

ID=27699380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0016972A KR100392256B1 (en) 2001-03-30 2001-03-30 A apparatus and method of content based indexing and searching for multi-channel surveillance video

Country Status (1)

Country Link
KR (1) KR100392256B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020094576A (en) * 2001-06-12 2002-12-18 (주)혁성정보시스템 Digital video recording retrieval method using compact information index
KR100439533B1 (en) * 2002-01-19 2004-07-12 (주)미토스 System for chasing location of subject matter to be inspected and method of same
KR100482836B1 (en) * 2002-08-14 2005-04-14 엘지전자 주식회사 Method for searching a data file in digital video recorder for monitoring
KR100715806B1 (en) * 2006-06-08 2007-05-08 엘지전자 주식회사 Method for partition of broadcasting data and mobile communication terminal thereof
WO2009099307A1 (en) * 2008-02-05 2009-08-13 Samsung Electronics Co., Ltd Apparatus and method for generating and displaying media files
KR100968024B1 (en) * 2008-06-20 2010-07-07 중앙대학교 산학협력단 Method and system for tracing trajectory of moving objects using surveillance systems' network
CN101971639B (en) * 2008-02-05 2013-04-17 三星电子株式会社 Apparatus and method for generating/displaying image file
KR101482227B1 (en) * 2014-05-13 2015-01-15 주식회사 다이나맥스 Apparatus for video monitoring and system for intergrated control using the same

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020094576A (en) * 2001-06-12 2002-12-18 (주)혁성정보시스템 Digital video recording retrieval method using compact information index
KR100439533B1 (en) * 2002-01-19 2004-07-12 (주)미토스 System for chasing location of subject matter to be inspected and method of same
KR100482836B1 (en) * 2002-08-14 2005-04-14 엘지전자 주식회사 Method for searching a data file in digital video recorder for monitoring
KR100715806B1 (en) * 2006-06-08 2007-05-08 엘지전자 주식회사 Method for partition of broadcasting data and mobile communication terminal thereof
WO2009099307A1 (en) * 2008-02-05 2009-08-13 Samsung Electronics Co., Ltd Apparatus and method for generating and displaying media files
CN101971639B (en) * 2008-02-05 2013-04-17 三星电子株式会社 Apparatus and method for generating/displaying image file
AU2009210926B2 (en) * 2008-02-05 2013-07-11 Samsung Electronics Co., Ltd Apparatus and method for generating and displaying media files
KR100968024B1 (en) * 2008-06-20 2010-07-07 중앙대학교 산학협력단 Method and system for tracing trajectory of moving objects using surveillance systems' network
KR101482227B1 (en) * 2014-05-13 2015-01-15 주식회사 다이나맥스 Apparatus for video monitoring and system for intergrated control using the same

Also Published As

Publication number Publication date
KR100392256B1 (en) 2003-07-22

Similar Documents

Publication Publication Date Title
JP3340532B2 (en) Video search method and apparatus
Yeung et al. Video browsing using clustering and scene transitions on compressed sequences
Hampapur et al. Virage video engine
Rui et al. Exploring video structure beyond the shots
US5664227A (en) System and method for skimming digital audio/video data
JPH10320400A (en) Method and device for retrieving video
KR100547370B1 (en) Apparatus and method for abstracting summarization video using shape information of object, and video summarization and indexing system and method using the same
JP5894149B2 (en) Enhancement of meaning using TOP-K processing
JP4699954B2 (en) Multimedia data management method and apparatus
Narita et al. Sketch-based manga retrieval using deep features
KR100392256B1 (en) A apparatus and method of content based indexing and searching for multi-channel surveillance video
KR20030029410A (en) System for searching image data being based on web and method thereof
CN101547303B (en) Imaging apparatus, character information association method and character information association system
JP3221028B2 (en) Keyword assignment method for moving image information
KR101640317B1 (en) Apparatus and method for storing and searching image including audio and video data
KR100876280B1 (en) Statistical Shape Descriptor Extraction Apparatus and Method and Its Video Indexing System
Chivadshetti et al. Content based video retrieval using integrated feature extraction and personalization of results
Ahmad et al. Effective video summarization approach based on visual attention
JP3330348B2 (en) Video search method and apparatus, and recording medium storing video search program
Hauptmann et al. Artificial intelligence techniques in the interface to a digital video library
CN115017339A (en) Media file multimode retrieval method and system based on AI algorithm
JP2003224791A (en) Method and device for retrieving video
JP4270118B2 (en) Semantic label assigning method, apparatus and program for video scene
JPH0668168A (en) Video retrieval method and device by acoustic keyword
JPH07306866A (en) Video information retrieving method

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080701

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee