KR20180108009A - Apparatus and method for generating rules for detecting video events - Google Patents

Apparatus and method for generating rules for detecting video events Download PDF

Info

Publication number
KR20180108009A
KR20180108009A KR1020170037075A KR20170037075A KR20180108009A KR 20180108009 A KR20180108009 A KR 20180108009A KR 1020170037075 A KR1020170037075 A KR 1020170037075A KR 20170037075 A KR20170037075 A KR 20170037075A KR 20180108009 A KR20180108009 A KR 20180108009A
Authority
KR
South Korea
Prior art keywords
event
video
rule
type
general
Prior art date
Application number
KR1020170037075A
Other languages
Korean (ko)
Inventor
문진영
강규창
권용진
박종열
진준호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170037075A priority Critical patent/KR20180108009A/en
Publication of KR20180108009A publication Critical patent/KR20180108009A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

An apparatus for generating a rule detecting a video event detects a type of an object appeared in a video description describing visual information of a video clip, detects the object appeared in the video clip and the type of the object, and detects a general event appeared in the video clip by using a detection result of the object appeared in the video clip and a general event detection rule. The detected types of the object with predefined types of the object are compared to define a new type of the object which is not defined, and the type of the object related to the general event detected in the video clip with a type of a major noun extracted from the video description to add a rule for detecting a detail event from the general event.

Description

비디오 이벤트 탐지 규칙 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING RULES FOR DETECTING VIDEO EVENTS}[0001] APPARATUS AND METHOD FOR GENERATING RULES FOR DETECTING VIDEO EVENTS [0002]

본 발명은 비디오 이벤트 탐지 규칙 생성 장치 및 방법에 관한 것으로, 더욱 자세하게는 비디오에 등장하는 객체의 움직임과 두 객체 간의 공간 관계에 의해 발생하는 비디오 이벤트를 탐지하는 규칙을 반자동(Semi-automatically)으로 생성하는 비디오 이벤트 탐지 규칙 생성 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for generating a video event detection rule, and more particularly, to a method and apparatus for generating a video event detection rule by semi-automatically generating a rule for detecting a video event generated by a motion of an object appearing in a video, And more particularly, to a video event detection rule generation apparatus and method.

비디오 분석 장치는 의미 기반으로 비디오를 해석하기 위해서, 비디오에 등장하는 객체뿐만 아니라 이 객체들에 의해 발생된 이벤트를 탐지한다. 비디오 분석 장치는 단일 객체의 행동 또는 복수 객체의 상호작용에 의한 행동을 분석하여 객체와 이벤트로 구성되는 문장 형태로 비디오의 의미를 해석할 수 있다. The video analysis device detects not only the objects appearing in the video but also the events generated by these objects in order to interpret the video on a semantic basis. The video analysis device analyzes the behavior of a single object or the interaction of multiple objects and interprets the meaning of the video as a sentence composed of objects and events.

비디오에서 발생한 이벤트를 분석하는 기존 기술들은 크게 학습 기반 방법들과 규칙 기반 방법들로 구분된다. 학습 기반 방법들은 먼저 특정 도메인이나 응용에서 중요한 이벤트를 탐지 목표로 열거한다. 도메인이나 응용에 의존적인 목표 이벤트 집합이 정의되면, 도메인에서 관심 객체가 발생시키는 이벤트를 포함하는 데이터 집합(data set)을 구축하고, 탐지하려는 이벤트가 발생한 비디오 구간과 프레임 내의 관심 영역으로부터 비디오 특징을 추출하고, 특징을 입력으로 기계학습을 통해 특정 이벤트를 인식하는 분류 모델을 생성한다. 규칙 기반 방법들은 도메인이나 응용에 의존적인 목표 이벤트 집합에 대해서 해당하는 이벤트를 탐지하는 규칙을 기술한다. 규칙을 기술할 때에는 규칙을 구성하는 각 항에 기 정의된 개념을 사용해야 하기 때문에, 목표 이벤트와 등장하는 객체의 타입뿐만 아니라 목표 이벤트를 구성하는 서브 이벤트들의 타입도 미리 정의되어야 한다. 대부분의 규칙 기반 비디오 이벤트 인식 기술들은 사람이 테스트할 비디오 데이터 집합을 검토해서 등장하는 객체, 목표 이벤트, 목표 이벤트를 구성하는 서브 이벤트의 타입을 먼저 정의하고, 이를 이용해서 목표 이벤트를 탐지하는 규칙을 정의한다. 그러나 사람이 직접 규칙을 열거하는 방법은 다른 도메인이나 응용에 기술을 적용시키는데 제약사항이 된다. 그래서 특정 객체의 상태나 움직임을 표현하는 서브 이벤트의 집합을 먼저 정의하고, 서브 이벤트를 논리곱(AND)으로 조합해서 목표 이벤트를 탐지하는 규칙을 학습 기반으로 찾아내는 방법도 제안되었다. 그러나 서브 이벤트 자체가 특정 도메인이나 객체에 특화된 것이고, 이 서브 이벤트의 집합이 미리 정의되어 있어야 하고, 서브 이벤트의 조합이 논리곱(AND)으로 단순하게 조합되므로, 시간 관계를 잘 반영하지 못하는 단점이 있다. Existing techniques for analyzing events in video are largely divided into learning-based methods and rule-based methods. Learning-based methods first enumerate important events in a specific domain or application as targets of detection. When a set of target events that are dependent on a domain or an application is defined, a data set including an event generated by the object of interest in the domain is constructed, and video features from the video region in which the event to be detected occurs, Extracts a feature, and generates a classification model that recognizes a specific event through machine learning by inputting a feature. Rule-based methods describe rules that detect corresponding events for a set of target events that are domain or application dependent. In describing a rule, the types of sub-events that constitute the target event, as well as the type of the object appearing in the target event, must be defined in advance, since the concept defined in each term constituting the rule must be used. Most rule-based video event recognition technologies examine a set of video data to be tested by a person, define the types of sub-events that constitute an object, a target event, and a target event, and use them to detect a target event define. However, the way a person directly enumerates rules is a constraint on applying technology to other domains or applications. Therefore, a method of finding a rule based on the detection of a target event by combining a sub-event with a logical product (AND) is first proposed, which defines a set of sub-events representing the state or motion of a specific object. However, since the sub-event itself is specific to a specific domain or object, the set of sub-events must be defined in advance, and the combination of sub-events is simply combined with a logical AND, have.

그러나, 이런 기존 규칙 방법들은 특정 비디오 도메인이나 응용에서 탐지하고자 하는 목표 이벤트 집합을 정의했기 때문에, 학습한 데이터 집합의 도메인이나 응용과 다른 종류의 비디오에 나타나는 이벤트는 탐지할 수가 없다. 특히 서술 논리(Predicate Logic) 형태로 규칙을 기술하는 경우 규칙 그 자체는 특정 객체 타입에 의존적이지 않을 수 있으나, 현재에는 등장하는 모든 객체의 타입을 정의해 두지 않으면 기존과 상이한 새로운 도메인의 비디오에서 이벤트를 탐지하는데 객체 타입이 정의되지 않아 문제가 생길 수 있다.However, since these existing rule methods define a set of target events to be detected in a specific video domain or application, they can not detect events appearing in a different type of video or domain of the learned data set. In particular, when describing a rule in the form of a Predicate Logic, the rule itself may not depend on a specific object type, but if the type of all the objects presently defined is not defined, The object type is undefined and can cause problems.

본 발명이 해결하려는 과제는 비디오의 도메인이나 응용에 상관없이 단일 객체의 움직임이나 객체 간의 동적 공간관계의 지속이나 변화에 따라 발생하는 비디오의 이벤트를 탐지하는 규칙을 반자동적으로 생성할 수 있는 비디오 이벤트 탐지 규칙 생성 장치 및 방법을 제공하는 것이다. The problem to be solved by the present invention is to provide a video event capable of semi-automatically generating a rule for detecting a video event that occurs according to a motion of a single object or dynamic or spatial relation between objects regardless of a video domain or an application And an apparatus and method for generating a detection rule.

본 발명의 한 실시 예에 따르면, 비디오 이벤트 탐지 규칙 생성 장치에서 비디오 이벤트를 탐지하는 규칙을 생성하는 방법이 제공된다. 비디오 이벤트 탐지 규칙 생성 방법은 비디오 클립의 시각 정보를 설명하는 비디오 디스크립션에서 등장하는 객체의 타입을 탐지하는 단계, 상기 비디오 클립에서 등장하는 객체 및 해당 객체의 타입을 탐지하는 단계, 범용 이벤트 탐지 규칙과 상기 비디오 클립에서 등장하는 객체의 탐지 결과를 이용하여 상기 비디오 클립에 등장하는 범용 이벤트를 탐지하는 단계, 상기 탐지된 객체의 타입들과 기 정의된 객체의 타입들을 비교하여 정의되지 않은 객체의 타입을 신규로 정의하는 단계, 그리고 상기 비디오 클립에서 탐지된 범용 이벤트의 관련 객체의 타입과 상기 비디오 디스크립션에서 추출한 주요 명사의 타입을 비교하여 상기 범용 이벤트로부터 상세 이벤트를 탐지하는 규칙을 추가하는 단계를 포함한다. According to an embodiment of the present invention, a method of generating a rule for detecting a video event in a video event detection rule generation device is provided. The video event detection rule generation method includes: detecting a type of an object appearing in a video description that describes time information of a video clip; detecting an object appearing in the video clip and a type of the object; Detecting a general event occurring in the video clip using a detection result of an object appearing in the video clip, comparing the types of the detected object with the types of the predefined object to determine the type of the undefined object And adding a rule for detecting a detail event from the general event by comparing the type of the related object of the general event detected in the video clip with the type of the main noun extracted from the video description .

본 발명의 실시 예에 의하면, 비디오 디스크립션을 포함하는 비디오 데이터 집합을 이용해서 반자동으로 이벤트 탐지 규칙을 추가할 수 있다. 비디오 클립과 비디오 클립에 대응하는 디스크립션 텍스트에 등장하는 객체를 자동으로 추가해주어 새로운 도메인의 비디오를 처리할 때에 새롭게 등장하는 객체의 타입을 수작업으로 입력할 필요가 없어진다. According to an embodiment of the present invention, an event detection rule can be semi-automatically added using a video data set including a video description. It is unnecessary to manually add an object appearing in the description text corresponding to the video clip and the video clip and to manually input the type of the newly appearing object when the video of the new domain is processed.

또한 본 발명의 실시 예에서는 범용 이벤트와 대응하는 상세 이벤트 후보를 생성해서 사용자에게 제안하고, 관련성 여부를 사용자가 선택할 수 있게 하기 때문에, 기존에 적용할 비디오를 사전에 사용자가 보고 분석해서, 신규로 상세 이벤트 탐지 규칙을 추가하는 것에 비해서 시간과 노력을 절감할 수 있다.Further, in the embodiment of the present invention, detailed event candidates corresponding to the general event are generated and proposed to the user, and it is possible for the user to select whether the event is related or not. Therefore, You can save time and effort compared to adding detailed event detection rules.

도 1은 본 발명의 실시 예에 따른 비디오 이벤트를 탐지하는 규칙을 생성하는 장치의 구성도이다.
도 2는 도 1에 도시된 등장 객체 타입 탐지 모듈에서 등장 객체 타입을 탐지하는 방법을 나타내 흐름도이다.
도 3은 도 1에 도시된 등장 객체 탐지 모듈에서 등장 객체를 탐지하는 방법을 나타낸 흐름도이다.
도 4는 도 1에 도시된 객체 타입 정의 모듈에서 규칙에 사용되는 등장 객체의 타입을 정의하는 방법을 나타낸 흐름도이다.
도 5는 도 1에 도시된 범용 이벤트 탐지 모듈에서 비디오에 등장하는 범용 이벤트를 탐지하는 방법을 나타낸 흐름도이다.
도 6은 도 1에 도시된 상세 이벤트 탐지 규칙 생성 모듈에서 이벤트 탐지 규칙을 생성하는 방법을 나타낸 흐름도이다.
도 7은 본 발명의 다른 실시 예에 따른 비디오 이벤트 탐지 규칙 생성 장치를 나타낸 도면이다. 1 is a block diagram of an apparatus for generating a rule for detecting a video event according to an embodiment of the present invention.
FIG. 2 is a flow chart illustrating a method of detecting an emerging object type in the emerging object type detection module shown in FIG.
3 is a flowchart illustrating a method for detecting an emerging object in the object detection module shown in FIG.
4 is a flowchart illustrating a method of defining a type of an emerging object used in a rule in the object type definition module shown in FIG.
5 is a flowchart illustrating a method for detecting a general event appearing in a video in the general event detection module shown in FIG.
6 is a flowchart illustrating a method of generating an event detection rule in the detailed event detection rule generation module shown in FIG.
7 is a block diagram illustrating a video event detection rule generation apparatus according to another embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification and claims, when a section is referred to as "including " an element, it is understood that it does not exclude other elements, but may include other elements, unless specifically stated otherwise.

이제 본 발명의 실시 예에 따른 비디오 이벤트 탐지 규칙 생성 장치 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다. Now, an apparatus and method for generating a video event detection rule according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시 예에 따른 비디오 이벤트 탐지 규칙 생성 장치의 구성도이다. 1 is a configuration diagram of a video event detection rule generation apparatus according to an embodiment of the present invention.

도 1을 참고하면, 비디오 이벤트 탐지 규칙 생성 장치(100)는 관련 객체에 독립적인 범용 이벤트와 범용 이벤트를 구성하는 서브 이벤트의 정의와 범용 이벤트를 탐지하는 규칙이 주어졌을 때, 비디오 클립과 비디오 클립의 시각정보를 설명하는 비디오 디스크립션을 위하여 규칙에 사용되는 객체 타입을 자동으로 정의하고, 탐지된 범용 이벤트와 관련 객체를 디스크립션 정보와 비교해서 상세 이벤트를 탐지하는 규칙을 반자동으로 생성한다. 이러한 비디오 이벤트 탐지 규칙 생성 장치(100)는 등장 객체 타입 탐지 모듈(110), 등장 객체 탐지 모듈(120), 범용 이벤트 탐지 모듈(130), 객체 타입 정의 모듈(140) 및 상세 이벤트 탐지 규칙 생성 모듈(150)을 포함한다. 비디오 이벤트 탐지 규칙 생성 장치(100)는 비디오 디스크립션 DB(database)(160), 비디오 클립 DB(170), 이벤트 정의 DB(180), 이벤트 탐지 결과 DB(190) 및 이벤트 탐지 규칙 DB(200)를 더 포함할 수 있다. Referring to FIG. 1, the video event detection rule generation device 100 generates a video event detection rule generation rule when a rule for detecting a general event and a definition of a sub event that constitutes a general event and a general event independent of a related object is given. The object type used in the rule is automatically defined for the video description describing the time information of the detected general event and the detected general event and the related object is compared with the description information to generate a rule for detecting the detailed event semi-automatically. The video event detection rule generation apparatus 100 includes an occurrence object type detection module 110, an occurrence object detection module 120, a general event detection module 130, an object type definition module 140, (150). The video event detection rule generation apparatus 100 includes a video description DB 160, a video clip DB 170, an event definition DB 180, an event detection result DB 190, and an event detection rule DB 200 .

등장 객체 타입 탐지 모듈(110)은 비디오 디스크립션 DB(160)에 저장되어 있는 비디오 디스크립션에서 등장하는 객체 타입을 탐지한다. The entry object type detection module 110 detects an object type appearing in a video description stored in the video description DB 160.

등장 객체 탐지 모듈(120)은 비디오 클립 DB(170)에 저장되어 있는 비디오 클립에서 등장하는 객체를 탐지한다. The content object detection module 120 detects an object appearing in a video clip stored in the video clip DB 170.

범용 이벤트 탐지 모듈(130)은 비디오 클립에 등장하는 범용 이벤트를 탐지한다. 범용 이벤트 탐지 모듈(130)은 이벤트 정의 DB(180)에 저장되어 있는 범용 이벤트 및 서브 이벤트의 정의를 이용하여 등장 객체 탐지 모듈(120)로부터의 탐지 결과로부터 단일 객체의 움직임과 관련된 서브 이벤트 및 객체간 공간관계에 기반한 서브 이벤트를 탐지하고, 이벤트 탐지 규칙 DB(200)에 저장되어 있는 범용 이벤트 탐지 규칙과 서브 이벤트 탐지 결과를 이용해 객체 독립적인 범용 이벤트를 탐지할 수 있다. The general event detection module 130 detects a general event that appears in a video clip. The general-purpose event detection module 130 extracts, from the detection result from the object detection module 120, the sub-events related to the motion of a single object and the objects Event detection based on the general event detection rule and the sub event detection result stored in the event detection rule DB 200. In this case,

객체 타입 정의 모듈(140)은 등장 객체 타입 탐지 모듈(110) 및 등장 객체 탐지 모듈(120)에 의해 탐지된 객체 정보를 이용해 규칙에 사용되는 객체 타입을 정의한다. The object type definition module 140 defines an object type used in the rule by using the object information detected by the occurrence object type detection module 110 and the object detection module 120.

상세 이벤트 탐지 규칙 생성 모듈(150)은 탐지한 범용 이벤트와 관련 객체 정보를 이용해 상세 이벤트 탐지 규칙을 생성한다. The detailed event detection rule generation module 150 generates a detailed event detection rule using the detected general event and related object information.

비디오 디스크립션 DB(160)에는 비디오 클립의 시각 정보를 설명하는 비디오 디스크립션이 저장되어 있다. The video description DB 160 stores a video description describing time information of the video clip.

비디오 클립 DB(170)에는 비디오 클립이 저장되어 있다.The video clip DB 170 stores video clips.

이벤트 정의 DB(180)는 이벤트 탐지 규칙 DB(200)에 저장되어 있는 범용 이벤트 탐지 규칙과 상세 이벤트 탐지 규칙을 구성하는 항(term)이 되는 서브 이벤트, 범용 이벤트, 및 상세 이벤트의 정의를 저장한다. The event definition DB 180 stores the definitions of the general-purpose event detection rules stored in the event detection rule database 200 and sub-events, general events, and detailed events that are terms constituting the detailed event detection rules .

이벤트 탐지 결과 DB(190)는 범용 이벤트 탐지 모듈(130)에서 탐지한 결과 즉, 탐지된 범용 이벤트 및 서브 이벤트를 저장하여 관리한다. The event detection result DB 190 stores and manages the detection result of the general purpose event detection module 130, that is, the detected general event and sub event.

이벤트 탐지 규칙 DB(200)에는 범용 이벤트 탐지 규칙과 상세 이벤트 탐지 규칙이 저장되어 있다. 범용 이벤트 탐지 규칙은 시스템 실행 전에 미리 정의되어 저장되며, 상세 이벤트 탐지 규칙은 상세 이벤트 탐지 규칙 생성 모듈(150)에 의해 생성되어 저장된다. 범용 이벤트 탐지 모듈(130)는 범용 이벤트를 탐지할 때 이벤트 탐지 규칙 DB(200)에 저장되어 있는 범용 이벤트 탐지 규칙을 사용하고, 상세 이벤트 탐지 규칙 생성 모듈(150)에서 이벤트 탐지 결과 DB(190) 내에 저장된 탐지된 범용 이벤트와 서브 이벤트, 그리고 이벤트 탐지 규칙 DB(200) 내의 규칙을 이용하여 상세 이벤트 탐지 규칙을 생성하고, 상세 이벤트 탐지 규칙을 이벤트 탐지 규칙 DB(200)에 저장한다.The event detection rule DB 200 stores a general event detection rule and a detailed event detection rule. The general event detection rule is defined and stored before execution of the system, and the detailed event detection rule is generated and stored by the detailed event detection rule generation module 150. The general event detection module 130 uses the general event detection rule stored in the event detection rule DB 200 when detecting a general event and the event detection result DB 190 in the detailed event detection rule generation module 150, The detailed event detection rules are generated using the detected general events and sub events stored in the event detection rule DB 200 and the detailed event detection rules are stored in the event detection rule DB 200. [

도 2는 도 1에 도시된 등장 객체 타입 탐지 모듈에서 등장 객체 타입을 탐지하는 방법을 나타내 흐름도이다. FIG. 2 is a flow chart illustrating a method of detecting an emerging object type in the emerging object type detection module shown in FIG.

도 2를 참고하면, 등장 객체 타입 탐지 모듈(110)은 비디오 디스크립션의 문장을 입력으로 수신한다(S210). Referring to FIG. 2, the isochronous object type detection module 110 receives a sentence of a video description as an input (S210).

등장 객체 타입 탐지 모듈(110)은 비디오 디스크립션의 문장 내 품사 중 명사인 단어들을 추출하고(S220), 추출 결과를 이용해 비디오 디스크립션에 등장하는 객체를 획득한다(S230). 등장 객체 타입 탐지 모듈(110)은 비디오 디스크립션의 문장으로부터 명사인 단어들을 추출하는 자연어 처리기(도시하지 않음)를 포함할 수 있다. The emergent object type detection module 110 extracts words that are nouns among parts of a sentence in the video description (S220), and obtains an object appearing in the video description using the extracted result (S230). The emerging object type detection module 110 may include a natural language processor (not shown) for extracting noun words from the sentences of the video description.

등장 객체 타입 탐지 모듈(110)은 객체의 타입을 포함하는 텍스트 기반 등장 객체 리스트를 출력한다(S240). The emergent object type detection module 110 outputs a text based emergent object list including the object type (S240).

도 3은 도 1에 도시된 등장 객체 탐지 모듈에서 등장 객체를 탐지하는 방법을 나타낸 흐름도이다. 3 is a flowchart illustrating a method for detecting an emerging object in the object detection module shown in FIG.

도 3을 참고하면, 등장 객체 탐지 모듈(120)은 비디오 클립을 입력으로 수신한다(S310).Referring to FIG. 3, the emergent object detection module 120 receives a video clip as an input (S310).

등장 객체 탐지 모듈(120)은 비디오 클립으로부터 각 프레임에 등장하는 객체를 탐지하고(S320), 객체 탐지 결과를 이용해 등장 객체 각각에 대해 객체가 등장하는 시간 구간, 각 프레임에서 객체가 존재하는 존재 영역의 위치 정보, 객체의 사이즈 정보, 그리고 객체의 타입을 포함하는 비디오 기반 등장 객체 리스트를 출력한다(S330). 등장 객체 탐지 모듈(120)은 각 프레임에 등장하는 객체를 탐지하는 객체 탐지기(도시하지 않음)를 포함할 수 있다. The input object detection module 120 detects an object appearing in each frame from a video clip (S320). The object detection module 120 detects a time interval in which the object appears for each of the input objects using the object detection result, The location information of the object, the size information of the object, and the type of the object (S330). The emerging object detection module 120 may include an object detector (not shown) that detects an object appearing in each frame.

도 4는 도 1에 도시된 객체 타입 정의 모듈에서 규칙에 사용되는 등장 객체의 타입을 정의하는 방법을 나타낸 흐름도이다. 4 is a flowchart illustrating a method of defining a type of an emerging object used in a rule in the object type definition module shown in FIG.

도 4를 참고하면, 객체 타입 정의 모듈(140)은 등장 객체 타입 탐지 모듈(110)로부터 출력되는 텍스트 기반 등장 객체 리스트와 등장 객체 탐지 모듈(120)로부터 출력되는 비디오 기반 등장 객체 리스트를 입력으로 수신한다(S410).Referring to FIG. 4, the object type definition module 140 receives a list of a text based entry object outputted from the entry object type detection module 110 and a video based entry object list outputted from the entry object detection module 120 (S410).

객체 타입 정의 모듈(140)은 텍스트 기반 등장 객체 리스트와 비디오 기반 등장 객체 리스트 중에서 객체의 타입을 리스트 형식으로 선별하고(S420), 온톨로지(Ontology) 등에 이미 정의된 객체의 타입을 리스트화 한다(S430). The object type definition module 140 selects the object types from the text-based entry list and the video-based entry object list in a list format (S420), and lists the types of objects already defined in the ontology and the like ).

객체 타입 정의 모듈(140)은 수신된 객체의 타입 리스트와 기 정의된 객체의 타입 리스트를 비교하여(S440), 정의되지 않은 객체의 타입을 신규로 정의한다(S450). The object type definition module 140 compares the type list of the received object with the type list of the predefined object (S440), and newly defines the type of the undefined object (S450).

도 5는 도 1에 도시된 범용 이벤트 탐지 모듈에서 비디오에 등장하는 범용 이벤트를 탐지하는 방법을 나타낸 흐름도이다. 5 is a flowchart illustrating a method for detecting a general event appearing in a video in the general event detection module shown in FIG.

도 5를 참고하면, 범용 이벤트 탐지 모듈(130)은 등장 객체 탐지 모듈(120)로부터 비디오 클립에 등장하는 객체와 그 객체의 위치 정보 및 사이즈 정보를 포함하는 탐지 결과를 입력으로 수신한다(S510). 5, the general-purpose event detection module 130 receives an object appearing in a video clip and a detection result including position information and size information of the object from the object detection module 120 (S510) .

범용 이벤트 탐지 모듈(130)은 탐지 결과로부터 단일 객체의 움직임과 관련된 서브 이벤트를 탐지한다(S520). The general purpose event detection module 130 detects a sub event related to the movement of a single object from the detection result (S520).

또한 범용 이벤트 탐지 모듈(130)은 탐지 결과로부터 객체간 공간관계에 기반한 서브 이벤트를 탐지한다(S530). In addition, the general-purpose event detection module 130 detects a sub event based on the spatial relationship between objects from the detection result (S530).

범용 이벤트 탐지 모듈(130)은 서브 이벤트 탐지 결과를 이벤트 탐지 결과 DB(190)에 저장한다. The general purpose event detection module 130 stores the sub event detection result in the event detection result DB 190.

범용 이벤트 탐지 모듈(130)은 이벤트 탐지 규칙 DB(200)에 저장되어 있는 규칙과 이벤트 탐지 결과 DB(190)에 저장되어 있는 이벤트 탐지 결과를 이용해서 범용 이벤트를 탐지한다(S540). 예를 들어, closeTo(X,Y) ^ stop(X) ^ disappear(Y) -> GoIn(X,Y)인 규칙이 있을 때, 서브 이벤트인 closeTo(X,Y)의 실제 인스턴스인 closeTo(Person1,Car2), stop(Car2), disappear(Person1)의 3개의 서브 이벤트가 인식되면 GoIn(Person1, Car2)를 탐지한다.The general-purpose event detection module 130 detects a general-purpose event using a rule stored in the event detection rule database 200 and an event detection result stored in the event detection result DB 190 at step S540. For example, when there is a rule with closeTo (X, Y) ^ stop (X) ^ disappear (Y) -> GoIn (X, Y), closeTo (Person1 , Car2), stop (Car2), and disappear (Person1) are recognized, it detects GoIn (Person1, Car2).

범용 이벤트 탐지 모듈(130)은 탐지한 범용 이벤트 각각에 대해 범용 이벤트 타입, 관련 객체 식별자를 포함하는 범용 이벤트 탐지 결과를 반환한다(S550). The general event detection module 130 returns a general event detection result including the general event type and the related object identifier for each of the detected general purpose events (S550).

또한 범용 이벤트 탐지 모듈(130)은 범용 이벤트 탐지 결과를 이벤트 탐지 결과 DB(190)에 저장한다. In addition, the general purpose event detection module 130 stores the general event detection result in the event detection result DB 190.

도 6은 도 1에 도시된 상세 이벤트 탐지 규칙 생성 모듈에서 이벤트 탐지 규칙을 생성하는 방법을 나타낸 흐름도이다. 6 is a flowchart illustrating a method of generating an event detection rule in the detailed event detection rule generation module shown in FIG.

도 6을 참고하면, 객체 독립적인 범용 이벤트에서 주어와 목적어가 특정 객체의 조합이 될 때 상세 이벤트가 될 수 있다. 예를 들어, 범용 이벤트 "GoIn(X,Y)"는 "X와 Y로 들어가다"라는 의미를 가지고 있는데, X와 Y의 객체 타입에 독립적이다. "GoIn(X,Y)"에서 Y가 차량이면 "승차하다"를 의미하는 GetInto(X,Y)의 상세 이벤트로 Y라는 객체에 따라 특화될 수 있고, Y가 출입문이면 "들어가다"를 의미하는 "Enter(X,Y)"의 상세 이벤트로 Y라는 객체에 따라 특화될 수 있다. 이를 위해서, 상세 이벤트 탐지 규칙 생성 모듈(150)은 범용 이벤트 탐지 모듈(130)로부터 비디오 클립에 대한 범용 이벤트 탐지 결과를 입력으로 수신한다(S610). Referring to FIG. 6, a detailed event may be generated when a subject and an object are a combination of a specific object in an object-independent general-purpose event. For example, the generic event "GoIn (X, Y)" has the meaning "enter X and Y", which is independent of object types X and Y. If Y is a vehicle in the "GoIn (X, Y)", it can be specialized according to the object Y by the detailed event of GetInto (X, Y) meaning "ride" It can be specialized according to the object Y in the detail event of "Enter (X, Y)". For this purpose, the detailed event detection rule generation module 150 receives the general event detection result for the video clip from the general event detection module 130 as input (S610).

상세 이벤트 탐지 규칙 생성 모듈(150)은 비디오 클립을 시각적으로 설명하는 비디오 디스크립션의 텍스트에서 범용 이벤트의 탐지 결과와 관련된 동사, 그리고 명사 중에 주어 및 목적어를 추출한다(S620). 예를 들어, 비디오 클립에서 GoIn(Peron1, Car2)를 탐지했는데, 비디오 디스크립션의 텍스트에 Person1 GetInto Car2라는 정보가 있는 경우에 동사인 GetInto와 명사 중에 주어인 Person1, 그리고 목적어인 Car2를 추출한다.The detailed event detection rule generation module 150 extracts a subject and object from the verb related to the detection result of the general event in the text of the video description that visually describes the video clip, and the subject and object (S620). For example, if we detect a GoIn (Peron1, Car2) in a video clip and the text in the video description contains Person1 GetInto Car2, we extract the verb GetInto, the subject Person1, and the object Car2.

상세 이벤트 탐지 규칙 생성 모듈(150)은 비디오 디스크립션의 텍스트에서 주어와 목적어를 구성하는 주요 명사 각각의 타입과 범용 이벤트의 관련 객체의 타입을 비교한다(S630). The detailed event detection rule generation module 150 compares the type of each of the main nouns constituting the subject and object in the text of the video description with the type of the related object of the general event in operation S630.

상세 이벤트 탐지 규칙 생성 모듈(150)은 주요 명사 각각의 타입이 범용 이벤트의 관련 객체의 타입과 같거나, 주요 명사 각각의 타입이 범용 이벤트의 관련 객체의 타입의 서브 클래스이면(S640), 범용 이벤트와 상세 이벤트로 특화될 수 있는 쌍이라고 간주하고, 관련 객체를 포함하는 범용 이벤트와 관련 명사를 포함하는 상세 이벤트의 쌍을 사용자에게 반환한다(S650). If the type of each of the main nouns is the same as the type of the related object of the general event, or if each type of the main noun is a subclass of the type of the related object of the general event (S640) And a detailed event including a general event including the related object and the related noun is returned to the user (S650).

사용자가 범용 이벤트와 상세 이벤트의 쌍에서 범용 이벤트와 상세 이벤트가 서로 연관성이 있는지 판단하고, 판단 결과를 입력한다. The user judges whether the general event and the detail event are related to each other in the pair of the general event and the detail event, and inputs the judgment result.

상세 이벤트 탐지 규칙 생성 모듈(150)은 사용자로부터 판단 결과를 수신하면, 판단 결과로부터 범용 이벤트와 상세 이벤트가 서로 연관성이 있는 것으로 확인되면(S660), 해당 상세 이벤트를 정의하고, 범용 이벤트에 특정 객체 타입 제약 조건을 두어 상세 이벤트를 탐지하는 규칙을 추가한다. Upon receipt of the determination result from the user, the detailed event detection rule generation module 150 determines that the general event and the detail event are related to each other (S660), defines the detailed event, Add a rule that detects a detail event by placing a type constraint.

이상에서 설명한 본 발명의 실시 예에 따른 비디오 이벤트 탐지 규칙 생성 장치 및 방법 중 적어도 일부 기능은 하드웨어로 구현되거나 하드웨어에 결합된 소프트웨어로 구현될 수 있다. 아래에서는 비디오 이벤트 탐지 규칙 생성 장치 및 방법이 컴퓨터 시스템에 결합된 실시 예에 대해서 도 7을 참고로 하여 상세하게 설명한다. At least some functions of the apparatus and method for generating a video event detection rule according to the embodiment of the present invention described above can be implemented in hardware or software combined with hardware. Hereinafter, an embodiment in which a video event detection rule generating apparatus and method are combined into a computer system will be described in detail with reference to FIG.

도 7은 본 발명의 다른 실시 예에 따른 비디오 이벤트 탐지 규칙 생성 장치를 나타낸 도면으로, 도 1 내지 도 6을 참고하여 설명한 등장 객체 타입 탐지 모듈(110), 등장 객체 탐지 모듈(120), 범용 이벤트 탐지 모듈(130), 객체 타입 정의 모듈(140) 및 상세 이벤트 탐지 규칙 생성 모듈(150)의 기능 중 적어도 일부를 수행하는 데 사용할 수 있는 장치를 나타낸다.FIG. 7 is a block diagram illustrating an apparatus for generating a video event detection rule according to another embodiment of the present invention. FIG. 7 is a block diagram illustrating an apparatus for generating a video event detection rule according to another embodiment of the present invention. The system includes an object object type detection module 110, an object object detection module 120, An object type definition module 140, and a detailed event detection rule generation module 150. The module 150 may be used to perform at least some of the functions of the detection module 130, the object type definition module 140,

도 7을 참고하면, 비디오 이벤트 탐지 규칙 생성 장치(700)는 적어도 하나의 프로세서(710), 메모리(720), 저장 장치(730) 및 입출력(input/output, I/O) 인터페이스(740)를 포함한다.7, the video event detection rule generator 700 includes at least one processor 710, a memory 720, a storage 730, and an input / output (I / O) .

프로세서(710)는 중앙 처리 유닛(central processing unit, CPU)이나 기타 칩셋, 마이크로프로세서 등으로 구현될 수 있다.The processor 710 may be implemented as a central processing unit (CPU) or other chipset, microprocessor, or the like.

메모리(720)는 동적 랜덤 액세스 메모리(dynamic random access memory, DRAM), 램버스 DRAM(rambus DRAM, RDRAM), 동기식 DRAM(synchronous DRAM, SDRAM), 정적 RAM(static RAM, SRAM) 등의 RAM과 같은 매체로 구현될 수 있다. The memory 720 may be any type of memory such as RAM, such as dynamic random access memory (DRAM), random access memory (RAM) DRAM, random access memory (RDRAM), synchronous DRAM (SDRAM), static RAM . ≪ / RTI >

저장 장치(730)는 하드 디스크 (hard disk), CD-ROM(compact disk read only memory), CD-RW(CD rewritable), DVD-ROM(digital video disk ROM), DVD-RAM, DVD-RW 디스크, 블루레이(blu-ray) 디스크 등의 광학 디스크, 플래시 메모리, 다양한 형태의 RAM과 같은 영구 또는 휘발성 저장 장치로 구현될 수 있다. 저장 장치(730)는 본 발명의 실시 예에 따른 비디오 디스크립션 DB(160), 비디오 클립 DB(170), 이벤트 정의 DB(180), 이벤트 탐지 결과 DB(190) 및 이벤트 탐지 규칙 DB(200)를 포함할 수 있다. The storage device 730 may be a hard disk, a compact disk read only memory (CD-ROM), a compact disk rewritable (CD-RW), a digital video disk ROM, , An optical disk such as a blu-ray disk, a flash memory, various types of RAM, or a permanent or volatile storage device. The storage device 730 includes a video description DB 160, a video clip DB 170, an event definition DB 180, an event detection result DB 190, and an event detection rule DB 200 according to an embodiment of the present invention. .

I/O 인터페이스(740)는 프로세서(710) 및/또는 메모리(720)가 저장 장치(730)에 접근할 수 있도록 한다. 또한 I/O 인터페이스(740)는 사용자와 인터페이스를 제공할 수 있다. I / O interface 740 allows processor 710 and / or memory 720 to access storage 730. The I / O interface 740 may also provide an interface with the user.

프로세서(710)는 등장 객체 타입 탐지 모듈(110), 등장 객체 탐지 모듈(120), 범용 이벤트 탐지 모듈(130), 객체 타입 정의 모듈(140) 및 상세 이벤트 탐지 규칙 생성 모듈(150)의 기능을 수행할 수 있다. 프로세서(710)는 등장 객체 타입 탐지 모듈(110), 등장 객체 탐지 모듈(120), 범용 이벤트 탐지 모듈(130), 객체 타입 정의 모듈(140) 및 상세 이벤트 탐지 규칙 생성 모듈(150)의 기능을 구현하기 위한 프로그램 명령을 메모리(720)에 로드시켜, 도 1 내지 도 6을 참고로 하여 설명한 동작이 수행되도록 제어할 수 있다. 그리고 이러한 프로그램 명령은 저장 장치(730)에 저장되어 있을 수 있으며, 또는 네트워크로 연결되어 있는 다른 시스템에 저장되어 있을 수 있다. The processor 710 may perform functions of the object object type detection module 110, the object object detection module 120, the general event detection module 130, the object type definition module 140 and the detailed event detection rule generation module 150 Can be performed. The processor 710 may perform functions of the object object type detection module 110, the object object detection module 120, the general event detection module 130, the object type definition module 140 and the detailed event detection rule generation module 150 The program instructions for implementing the program may be loaded into the memory 720 so that the operations described with reference to FIGS. 1 to 6 may be performed. Such a program command may be stored in the storage device 730 or may be stored in another system connected to the network.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (1)

비디오 이벤트 탐지 규칙 생성 장치에서 비디오 이벤트를 탐지하는 규칙을 생성하는 방법으로서,
비디오 클립의 시각 정보를 설명하는 비디오 디스크립션에서 등장하는 객체의 타입을 탐지하는 단계,
상기 비디오 클립에서 등장하는 객체 및 해당 객체의 타입을 탐지하는 단계,
범용 이벤트 탐지 규칙과 상기 비디오 클립에서 등장하는 객체의 탐지 결과를 이용하여 상기 비디오 클립에 등장하는 범용 이벤트를 탐지하는 단계,
상기 탐지된 객체의 타입들과 기 정의된 객체의 타입들을 비교하여 정의되지 않은 객체의 타입을 신규로 정의하는 단계, 그리고
상기 비디오 클립에서 탐지된 범용 이벤트의 관련 객체의 타입과 상기 비디오 디스크립션에서 추출한 주요 명사의 타입을 비교하여 상기 범용 이벤트로부터 상세 이벤트를 탐지하는 규칙을 추가하는 단계
를 포함하는 비디오 이벤트 탐지 규칙 생성 방법. CLAIMS What is claimed is: 1. A method of generating a rule for detecting a video event in a device for generating a video event detection rule,
Detecting the type of object appearing in the video description that describes the visual information of the video clip,
Detecting an object appearing in the video clip and a type of the object;
Detecting a universal event appearing in the video clip using a general event detection rule and a detection result of an object appearing in the video clip,
Defining new types of the undefined objects by comparing the types of the detected objects with the types of predefined objects, and
Adding a rule for detecting a detail event from the general event by comparing the type of the related object of the general event detected in the video clip with the type of the main noun extracted from the video description
And generating a video event detection rule.
KR1020170037075A 2017-03-23 2017-03-23 Apparatus and method for generating rules for detecting video events KR20180108009A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170037075A KR20180108009A (en) 2017-03-23 2017-03-23 Apparatus and method for generating rules for detecting video events

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170037075A KR20180108009A (en) 2017-03-23 2017-03-23 Apparatus and method for generating rules for detecting video events

Publications (1)

Publication Number Publication Date
KR20180108009A true KR20180108009A (en) 2018-10-04

Family

ID=63862941

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170037075A KR20180108009A (en) 2017-03-23 2017-03-23 Apparatus and method for generating rules for detecting video events

Country Status (1)

Country Link
KR (1) KR20180108009A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528716A (en) * 2019-09-19 2021-03-19 杭州海康威视数字技术股份有限公司 Event information acquisition method and device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528716A (en) * 2019-09-19 2021-03-19 杭州海康威视数字技术股份有限公司 Event information acquisition method and device
CN112528716B (en) * 2019-09-19 2024-01-05 杭州海康威视数字技术股份有限公司 Event information acquisition method and device

Similar Documents

Publication Publication Date Title
US20150261743A1 (en) Generating a semantic network based on semantic connections between subject-verb-object units
US9424524B2 (en) Extracting facts from unstructured text
US20200334492A1 (en) Ablation on observable data for determining influence on machine learning systems
US9542477B2 (en) Method of automated discovery of topics relatedness
US9639601B2 (en) Question answering system adapted to style of user requests
EP3021239A2 (en) Display apparatus and method for summarizing of document
JP5387870B2 (en) Text implication determination device, text implication determination method, and program
JP5389273B1 (en) Context analysis device and context analysis method
TWI417748B (en) Method and computer-readable storage medium for expanding a query
GB2401972A (en) Identifying special word usage in a document
JP5496863B2 (en) Emotion estimation apparatus, method, program, and recording medium
CN109408829B (en) Method, device, equipment and medium for determining readability of article
Argamon et al. A systemic functional approach to automated authorship analysis
CN112036187A (en) Context-based video barrage text auditing method and system
JP5331023B2 (en) Important word extraction device, important word extraction method, and important word extraction program
CN109325135B (en) Text-based video generation method, device, computer equipment and storage medium
CN111159354A (en) Sensitive information detection method, device, equipment and system
Ziai et al. Automatic focus annotation: Bringing formal pragmatics alive in analyzing the Information Structure of authentic data
CN113971205A (en) Threat report attack behavior extraction method, device, equipment and storage medium
KR20180108009A (en) Apparatus and method for generating rules for detecting video events
CN113642739B (en) Training method of sensitive word shielding quality evaluation model and corresponding evaluation method
WO2018060777A1 (en) Method and system for optimizing software testing
CN110858244B (en) Verification method, data processing method, computer equipment and storage medium
CN105677827A (en) Method and device for obtaining form
Moketar et al. Extraction of essential requirements from natural language requirements