KR20170135319A - Apparatus for interactive event recognition - Google Patents

Apparatus for interactive event recognition Download PDF

Info

Publication number
KR20170135319A
KR20170135319A KR1020160067063A KR20160067063A KR20170135319A KR 20170135319 A KR20170135319 A KR 20170135319A KR 1020160067063 A KR1020160067063 A KR 1020160067063A KR 20160067063 A KR20160067063 A KR 20160067063A KR 20170135319 A KR20170135319 A KR 20170135319A
Authority
KR
South Korea
Prior art keywords
event
objects
general
module
detailed
Prior art date
Application number
KR1020160067063A
Other languages
Korean (ko)
Other versions
KR102499626B1 (en
Inventor
문진영
강규창
권용진
박종열
이전우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160067063A priority Critical patent/KR102499626B1/en
Publication of KR20170135319A publication Critical patent/KR20170135319A/en
Application granted granted Critical
Publication of KR102499626B1 publication Critical patent/KR102499626B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Abstract

An interactive event recognizing apparatus is disclosed. The interactive event recognizing apparatus includes an object detecting and tracking module which extracts information of objects that appears in an inputted video, a general-purpose event recognizing module which recognizes a general-purpose event through a spatial operation between objects, a detailed event recognizing module for embodying the general-purpose event based on the kind of the object, and an event descriptor management and output module which records an event recognition result and finally outputs the entire detected interaction event. Therefore, the event recognition result can be stably provided.

Description

상호작용 이벤트 인식장치{APPARATUS FOR INTERACTIVE EVENT RECOGNITION}{APPARATUS FOR INTERACTIVE EVENT RECOGNITION}

본 발명은 상호작용 이벤트 인식장치에 관한 것으로, 더욱 상세하게는 비디오에 등장하는 객체들을 탐지 및 추적하여 얻은 객체들의 종류와 위치를 바탕으로 근접 객체들간의 상호작용 이벤트를 인식하기 위해서 객체 간의 공간 정보를 기반으로 범용 이벤트를 인식하고 상호작용 이벤트에 관련된 객체들의 종류를 기반으로 상세 이벤트를 인식하는 상호작용 이벤트 인식장치에 관한 것이다.The present invention relates to an interactive event recognizing apparatus, and more particularly, to an interactive event recognizing apparatus for recognizing an interactive event between adjacent objects based on the types and positions of objects obtained by detecting and tracking objects appearing in a video, And more particularly, to an interactive event recognizing apparatus for recognizing a general event based on a type of an object and a detailed event based on a type of objects related to the interaction event.

비디오에서 발생한 이벤트를 분석하는 기존 기술들은 특정 이벤트를 학습하기 위해서 이벤트 데이터셋 중에 학습하고자 하는 이벤트가 발생한 비디오들에서 이벤트가 일어난 비디오 구간 내의 직접적으로 관련된 관심 영역으로부터 비디오 특징을 추출하고, 특징을 입력으로 기계학습을 통해 특정 이벤트를 인식할 수 있는 분류 모델을 생성한다.Existing techniques for analyzing an event occurring in a video include extracting a video feature from a directly related region of interest in a video section in which an event occurs in videos in which an event to be learned occurs in an event data set in order to learn a specific event, And generates a classification model capable of recognizing a specific event through machine learning.

그러나, 이렇게 생성된 이벤트 분류 모델은 학습에 사용한 데이터셋에 의존적이어서 비디오의 환경이나 등장 객체의 특징이 상이하면 이벤트 인식률이 떨어지는 문제가 있다. 그리고, 사람이 다른 객체와 상호작용하면서 만들어내는 이벤트들은 그 객체의 종류에 따라서 수백 여 가지로 구분된다. 기존 이벤트 분석 기술들은 어떤 객체와 상호작용하느냐에 따라서 별도로 이벤트 분류 모델을 구축하여야 한다.However, since the generated event classification model is dependent on the data set used for learning, there is a problem in that the event recognition rate drops when the characteristics of the video environment or the emerging object are different. In addition, events that a person generates while interacting with other objects are divided into hundreds depending on the type of object. Existing event analysis techniques should construct an event classification model based on which objects interact with each other.

상기한 바와 같은 문제점을 극복하기 위한 본 발명의 목적은 객체 간의 상호 작용으로 발생하는 이벤트에 대한 기 정의된 시각적 지식을 이용하여 근접한 객체들 간의 공간 관계를 바탕으로 범용 이벤트를 인식하고, 객체의 종류에 따라서 상세 이벤트를 인식할 수 있도록 한 상호작용 이벤트 인식장치를 제공하는 것이다.In order to overcome the above problems, an object of the present invention is to recognize a universal event based on a spatial relationship between adjacent objects using predefined visual knowledge of an event generated by interaction between objects, And the detailed event can be recognized according to the event information.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 상호작용 이벤트 인식장치는, 입력된 비디오에 등장하는 객체 정보를 추출하는 객체 탐지 및 추적 모듈과, 객체들 간의 공간 연산을 통해 범용 이벤트를 인식하는 범용 이벤트 인식 모듈과, 객체 종류 기반으로 범용 이벤트를 구체화하는 상세 이벤트 인식 모듈 및 이벤트 인식 결과를 기록하고 최종적으로 탐지한 상호작용 이벤트 전체를 출력하는 이벤트 디스크립터 관리 및 출력 모듈을 포함한다.According to an aspect of the present invention, there is provided an apparatus for recognizing an interaction event, the apparatus comprising: an object detection and tracking module for extracting object information appearing in input video; A detailed event recognition module for specifying a general purpose event based on the object type, and an event descriptor management and output module for recording the event recognition result and outputting all the finally detected interaction events.

상술한 바와 같은 상호작용 이벤트 인식장치에 따르면, 상호작용 이벤트를 두 객체간의 공간 관계에 의해 객체의 종류에 독립적인 상호작용 이벤트로 먼저 인식을 한 다음 객체의 종류에 따라 구체화시킨 상세 이벤트를 인식함으로써, 대부분 학습한 데이터셋의 객체의 특징과 객체의 종류에 의존적인 기계학습 기반 이벤트 인식 방법에 비해 새로운 데이터셋에 대해서도 안정적으로 이벤트 인식 결과를 제공할 수 있다.According to the above-described interactive event recognizing apparatus, the interactive event is recognized first as an interactive event independent of the object type by the spatial relationship between the two objects, and then the detailed event that is specified according to the object type is recognized , It is possible to provide event recognition results stably even for a new data set as compared with a machine learning based event recognition method which is dependent on characteristics of object of most learned data sets and object type.

또한, 적용한 시스템에서 발생 빈도가 높은 이벤트의 경우에는 튜닝과정에서 객체의 종류에 따라서 범용 이벤트를 추가 및 확장하면 높은 인식 결과를 제공할 수 있다.Also, in case of an event having a high frequency of occurrence in the applied system, it is possible to provide a high recognition result by adding and extending a general event according to the type of object during the tuning process.

도 1은 본 발명의 일 실시예에 따른 상호작용 이벤트 인식장치에 대한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 상호작용 이벤트 인식방법에 대한 흐름도이다.
도 3은 등장하는 주요 객체의 독립적인 범용 이벤트 인식 방법을 나타내는 흐름도이다.
도 4는 등장하는 주요 객체에 의해 구체화된 상세 이벤트 인식 방법을 나타내는 흐름도이다.
도 5는 범용 이벤트 및 상세 이벤트 인식의 일예를 나타내는 도면이다.1 is a block diagram of an interactive event recognition apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a method of recognizing an interactive event according to an exemplary embodiment of the present invention.
3 is a flowchart showing an independent general-purpose event recognition method of an emerging main object.
Figure 4 is a flow diagram illustrating a detailed event recognition method embodied by an emerging main object.
5 is a diagram showing an example of general-purpose event and detailed event recognition.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 본 출원에서, "연결하다"의 용어는 명세서상에 기재된 요소의 물리적인 연결만을 의미하는 것이 아니라, 적기적인 연결, 네트워크적인 연결 등을 포함하는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof. In the present application, the term "connect" should be understood to include not only physical connections of the elements described in the specification but also timely connections, network connections, and the like.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the relevant art and are to be interpreted in an ideal or overly formal sense unless explicitly defined in the present application Do not.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate the understanding of the present invention, the same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.

도 1은 본 발명의 일 실시예에 따른 상호작용 이벤트 인식장치에 대한 블록도이다.1 is a block diagram of an interactive event recognition apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 상호작용 이벤트 인식장치(100)는 객체 탐지 및 추적 모듈(110)과, 범용 이벤트 추론규칙 정의 모듈(120)과, 상세 이벤트 추론규칙 정의 모듈(130)과, 범용 이벤트 인식 모듈(140)과, 상세 이벤트 인식 모듈(150)과, 이벤트 디스크립터 관리 및 출력 모듈(160)을 포함한다.1, the interactive event recognition apparatus 100 includes an object detection and tracking module 110, a general event reasoning rule defining module 120, a detailed event reasoning rule defining module 130, A general event recognition module 140, a detailed event recognition module 150, and an event descriptor management and output module 160.

객체 탐지 및 추적 모듈(110)은 객체들 간의 상호작용 이벤트를 인식하고 그 결과를 반환하기 위해서 입력된 비디오에 등장하는 객체 정보를 추출한다.The object detection and tracking module 110 extracts object information appearing in the input video in order to recognize an interaction event between objects and to return the result.

범용 이벤트 추론규칙 정의 모듈(120)은 객체들 간의 공간 관계를 기반으로 범용 이벤트 추론규칙을 정의한다.The general-purpose event reasoning rule defining module 120 defines a general-purpose event reasoning rule based on a spatial relation between objects.

상세 이벤트 추론규칙 정의 모듈(130)은 객체 종류 기반으로 상세 이벤트 추론 규칙을 정의한다.The detail event reasoning rule defining module 130 defines detailed event reasoning rules based on the object type.

범용 이벤트 인식 모듈(140)은 객체들 간의 공간 연산을 통해 범용 이벤트를 인식한다. 여기서, 근접한 객체들 간의 공간 관계를 바탕으로 범용 이벤트를 인식한다. 등장하는 주요 객체들의 공간 관계를 파악하여 범용 이벤트 추론 규칙에 따라 객체의 종류의 독립적인 상호작용 범용 이벤트를 인식할 수 있다. 주요 객체란, 사용자가 관심 있는 객체로서 비디오 이벤트와 관련된 객체를 의미한다.The general-purpose event recognition module 140 recognizes general-purpose events through spatial operations among the objects. Here, the general event is recognized based on the spatial relationship between adjacent objects. By recognizing the spatial relations of the main objects, it is possible to recognize the universal events of independent interaction of objects according to the general event inference rules. The main object means an object related to a video event as an object of interest to a user.

상세 이벤트 인식 모듈(150)은 객체 종류 기반으로 범용 이벤트를 구체화한다. 여기서, 상호작용 이벤트에 관련된 객체들의 종류를 기반으로 상세 이벤트를 인식한다. 즉, 관련 객체들의 종류에 따라 범용 이벤트를 상세화하는 상세 이벤트 추론 규칙에 따라 상호작용 상세 이벤트를 인식할 수 있다.The detailed event recognition module 150 specifies a general purpose event based on the object type. Here, the detailed event is recognized based on the kind of objects related to the interaction event. That is, the interactive detailed event can be recognized according to the detailed event inference rule for detailing the general event according to the kind of the related objects.

이벤트 디스크립터 관리 및 출력 모듈(160)은 이벤트 인식 결과를 기록하고 최종적으로 탐지한 상호작용 이벤트 전체를 출력한다.The event descriptor management and output module 160 records the event recognition result and outputs the entire detected interaction event.

하기에서는 객체들 간의 공간정보 기반 범용 이벤트 인식 방법, 객체의 종류를 기반으로 상세 이벤트 인식 방법에 대해 상세히 설명하기로 한다.Hereinafter, a general event recognition method based on spatial information between objects and a detailed event recognition method based on object types will be described in detail.

도 2는 본 발명의 일 실시예에 따른 상호작용 이벤트 인식방법에 대한 흐름도이다.2 is a flowchart illustrating a method of recognizing an interactive event according to an exemplary embodiment of the present invention.

도 2를 참조하면, 상호작용 이벤트를 인식하기 위해서 근접한 객체들 간의 공간 관계를 바탕으로 범용 이벤트를 인식 한다(S210). 즉, 관련 객체들의 공간 관계를 파악하여 범용 이벤트 추론 규칙에 따라 객체의 종류의 독립적인 상호작용 범용 이벤트를 인식한다.Referring to FIG. 2, in order to recognize an interaction event, a general event is recognized based on a spatial relationship between adjacent objects (S210). That is, the spatial relation of the related objects is grasped and the general interactive event independent of the object type is recognized according to the general event inference rule.

이어서, 상호작용 이벤트에 관련된 객체들의 종류를 기반으로 상세 이벤트를 인식한다(S220). 즉, 관련 객체들의 종류에 따라 범용 이벤트를 상세화하는 상세 이벤트 추론 규칙에 따라 상호작용 상세 이벤트를 인식한다.Then, the detailed event is recognized based on the kind of objects related to the interaction event (S220). That is, the interactive detailed event is recognized according to the detailed event inference rule for detailing the general event according to the kind of related objects.

즉, 비디오에 등장하는 객체들을 탐지 및 추적하여 얻은 객체들의 종류와 위치 정보를 바탕으로 근접 객체들간의 상호작용 이벤트를 인식하기 위해서 객체들 간의 공간 정보를 기반으로 범용 이벤트를 인식하고, 상호작용 이벤트에 관련된 객체들의 종류를 기반으로 상세 이벤트를 인식한다.In other words, in order to recognize interaction events between neighboring objects based on the types and position information of the objects obtained by detecting and tracking the objects appearing in the video, the universal events are recognized based on the spatial information between the objects, And recognizes the detailed event based on the types of objects related to the object.

도 3은 등장하는 주요 객체의 독립적인 범용 이벤트 인식 방법을 나타내는 흐름도이다.3 is a flowchart showing an independent general-purpose event recognition method of an emerging main object.

도 3을 참조하면, 본 발명의 독립적인 범용 이벤트를 인식하는 방법을 살펴보면, 비디오에 등장하는 관련 객체 정보를 입력받는다(S310).Referring to FIG. 3, a method for recognizing an independent universal event according to an embodiment of the present invention includes receiving related object information appearing in a video (S310).

이어서, 관련 객체들 간의 공간 연산을 수행한다(S320).Next, a spatial operation between the related objects is performed (S320).

이어서, 상호작용 이벤트 발생 후보 구간 내에서 관련 객체들 간의 공간 정보를 기반으로 범용 이벤트 추론 규칙을 이용하여 범용 이벤트를 탐지한다(S330).Next, the general event is detected using the general event inference rule based on the spatial information between the related objects in the interactive event occurrence candidate section (S330).

이어서, 범용 이벤트 탐지 결과인 상호작용 이벤트 정보를 이벤트 디스크립터로 저장한다(S340).Next, the interactive event information, which is the result of the general event detection, is stored as an event descriptor (S340).

도 4는 등장하는 주요 객체에 의해 구체화된 상세 이벤트 인식 방법을 나타내는 흐름도이다.Figure 4 is a flow diagram illustrating a detailed event recognition method embodied by an emerging main object.

도 4를 참조하면, 객체에 종류에 따라 구체화된 상세 이벤트 인식 방법을 살펴보면, 먼저 범용 이벤트 탐지 결과로 객체들 간의 관련 객체에 대한 정보를 입력 받는다(S410).Referring to FIG. 4, a method for recognizing detailed events according to types of objects will be described. In operation S410, information about related objects among objects is input as a general event detection result.

이어서, 입력된 객체들 간의 정보에 기초하여 관련된 객체들의 종류를 조회한다(S420).Subsequently, the type of the related objects is inquired based on the information between the input objects (S420).

이어서, 범용 이벤트가 관련된 객체의 종류에 따라서 상세화되는 상세 이벤트 추론 규칙을 통해 객체에 특화된 상세 이벤트를 탐지한다(S430).Next, the detailed events specific to the object are detected through the detailed event reasoning rules in which the general event is classified according to the type of the object to which it is related (S430).

이어서, 상세 이벤트 추론 규칙을 통해 객체에 특화된 상세 이벤트를 탐지한 결과를 이벤트 디스크립터로 저장한다(S440).Subsequently, the result of detecting the detail event specific to the object through the detailed event reasoning rule is stored as an event descriptor (S440).

도 5는 범용 이벤트 및 상세 이벤트 인식의 일예를 나타내는 도면이다.5 is a diagram showing an example of general-purpose event and detailed event recognition.

도 5를 참조하면, 두 객체 X, Y가 근접해 있다가 객체 X가 다음 프레임에서 사라지는 경우 "객체 X가 객체 Y에 들어가다"라는 GoIn(X,Y)라는 범용 이벤트를 인식할 수 있다.Referring to FIG. 5, when two objects X and Y are close to each other, a general event "GoIn (X, Y)" in which "object X enters object Y" can be recognized when object X disappears in the next frame.

그리고, 상세화 규칙에 따라서 Y가 특별히 차인 경우에는 "승차하다"라는 GetInto(Person, Car)라는 상세 이벤트를 인식하고, Y가 특별히 출입문인 경우에는 "들어가다"라는 Enter(Person, Entrance)라는 상세 이벤트를 인식할 수 있다.According to the detailed rules, when Y is a special car, it recognizes a detailed event called "GetInto (Person, Car)" and "Enter" (Person, Entrance) Can be recognized.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. It will be possible.

100 : 상호작용 이벤트 인식장치
110 : 객체 탐지 및 추적 모듈
120 : 범용 이벤트 추론규칙 정의 모듈
130 : 상세 이벤트 추론규칙 정의 모듈
140 : 범용 이벤트 인식 모듈
150 : 상세 이벤트 인식 모듈
160 : 이벤트 디스크립터 관리 및 출력 모듈100: Interaction event recognition device
110: Object detection and tracking module
120: General event inference rule definition module
130: Detailed event inference rule definition module
140: Universal Event Recognition Module
150: Detailed event recognition module
160: Event descriptor management and output module

Claims (1)

상호작용 이벤트 인식장치로서,
입력된 비디오에 등장하는 객체 정보를 추출하는 객체 탐지 및 추적 모듈;
객체들 간의 공간 연산을 통해 범용 이벤트를 인식하는 범용 이벤트 인식 모듈;
객체 종류 기반으로 범용 이벤트를 구체화하는 상세 이벤트 인식 모듈; 및
이벤트 인식 결과를 기록하고 최종적으로 탐지한 상호작용 이벤트 전체를 출력하는 이벤트 디스크립터 관리 및 출력 모듈을 포함하는 상호작용 이벤트 인식장치.
An interactive event recognition device comprising:
An object detection and tracking module for extracting object information appearing in input video;
A general purpose event recognition module for recognizing general purpose events through spatial operations between objects;
A detailed event recognition module that materializes a general event based on an object type; And
And an event descriptor management and output module for recording the event recognition result and outputting the entire detected interaction event.
KR1020160067063A 2016-05-31 2016-05-31 Apparatus for interactive event recognition KR102499626B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160067063A KR102499626B1 (en) 2016-05-31 2016-05-31 Apparatus for interactive event recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160067063A KR102499626B1 (en) 2016-05-31 2016-05-31 Apparatus for interactive event recognition

Publications (2)

Publication Number Publication Date
KR20170135319A true KR20170135319A (en) 2017-12-08
KR102499626B1 KR102499626B1 (en) 2023-02-14

Family

ID=60920063

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160067063A KR102499626B1 (en) 2016-05-31 2016-05-31 Apparatus for interactive event recognition

Country Status (1)

Country Link
KR (1) KR102499626B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110109596A (en) * 2010-03-31 2011-10-06 한국과학기술원 System and method for tracking multiple objects in real time
KR20120067890A (en) * 2010-12-16 2012-06-26 한국전자통신연구원 Apparatus for video analysis and method thereof
JP2013114315A (en) * 2011-11-25 2013-06-10 Sony Corp Image processing device, program, image processing method, and terminal
KR20150029324A (en) * 2013-09-10 2015-03-18 주식회사 제론헬스케어 System for a real-time cashing event summarization in surveillance images and the method thereof
KR20150069622A (en) * 2013-12-13 2015-06-24 한국전자통신연구원 context representation model and context reasoning method and apparatus based on the same model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110109596A (en) * 2010-03-31 2011-10-06 한국과학기술원 System and method for tracking multiple objects in real time
KR20120067890A (en) * 2010-12-16 2012-06-26 한국전자통신연구원 Apparatus for video analysis and method thereof
JP2013114315A (en) * 2011-11-25 2013-06-10 Sony Corp Image processing device, program, image processing method, and terminal
KR20150029324A (en) * 2013-09-10 2015-03-18 주식회사 제론헬스케어 System for a real-time cashing event summarization in surveillance images and the method thereof
KR20150069622A (en) * 2013-12-13 2015-06-24 한국전자통신연구원 context representation model and context reasoning method and apparatus based on the same model

Also Published As

Publication number Publication date
KR102499626B1 (en) 2023-02-14

Similar Documents

Publication Publication Date Title
EP3333851B1 (en) Automated object and activity tracking in a live video feed
US20170193286A1 (en) Method and device for face recognition in video
US11068721B2 (en) Automated object tracking in a video feed using machine learning
Afshar et al. Investigation of event-based surfaces for high-speed detection, unsupervised feature extraction, and object recognition
Chen et al. Multimodal video indexing and retrieval using directed information
CN109918987A (en) A kind of video caption keyword recognition method and device
Coronato et al. A situation-aware system for the detection of motion disorders of patients with autism spectrum disorders
JP2016076073A (en) Data processing device, data processing method, and computer program
Shamsian et al. Learning object permanence from video
CN112733789B (en) Video reasoning method, device, equipment and medium based on dynamic space-time diagram
CN107341384A (en) A kind of service verification method and system
US20190034787A1 (en) Relative position encoding based networks for action recognition
Aziz et al. Multi-level refinement enriched feature pyramid network for object detection
WO2023123818A1 (en) Vehicle retrofitting detection method and apparatus, electronic device, computer-readable storage medium and computer program product
KR101825689B1 (en) Object recognition apparatus, learning method thereof and object recognition method using the same
Socher et al. Bayesian reasoning on qualitative descriptions from images and speech
Yan et al. ARTDL: Adaptive random testing for deep learning systems
Iyer et al. Sign Language Detection using Action Recognition
Shetty et al. Movie review prediction system by real time analysis of facial expression
KR20170135319A (en) Apparatus for interactive event recognition
Mi et al. Visual relationship forecasting in videos
KR102290857B1 (en) Artificial intelligence based smart user detection method and device using channel state information
AU2021240277A1 (en) Methods and apparatuses for classifying game props and training neural network
CN115599891B (en) Method, device and equipment for determining abnormal dialogue data and readable storage medium
Makantasis et al. The invariant ground truth of affect

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant