KR102499626B1 - 상호작용 이벤트 인식장치 - Google Patents

상호작용 이벤트 인식장치 Download PDF

Info

Publication number
KR102499626B1
KR102499626B1 KR1020160067063A KR20160067063A KR102499626B1 KR 102499626 B1 KR102499626 B1 KR 102499626B1 KR 1020160067063 A KR1020160067063 A KR 1020160067063A KR 20160067063 A KR20160067063 A KR 20160067063A KR 102499626 B1 KR102499626 B1 KR 102499626B1
Authority
KR
South Korea
Prior art keywords
event
general
interaction
detailed
event recognition
Prior art date
Application number
KR1020160067063A
Other languages
English (en)
Other versions
KR20170135319A (ko
Inventor
문진영
강규창
권용진
박종열
이전우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160067063A priority Critical patent/KR102499626B1/ko
Publication of KR20170135319A publication Critical patent/KR20170135319A/ko
Application granted granted Critical
Publication of KR102499626B1 publication Critical patent/KR102499626B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

상호작용 이벤트 인식장치가 개시된다. 상호작용 이벤트 인식장치는 입력된 비디오에 등장하는 객체 정보를 추출하는 객체 탐지 및 추적 모듈과, 객체들 간의 공간 연산을 통해 범용 이벤트를 인식하는 범용 이벤트 인식 모듈과, 객체 종류 기반으로 범용 이벤트를 구체화하는 상세 이벤트 인식 모듈 및 이벤트 인식 결과를 기록하고 최종적으로 탐지한 상호작용 이벤트 전체를 출력하는 이벤트 디스크립터 관리 및 출력 모듈을 포함한다. 따라서, 안정적으로 이벤트 인식 결과를 제공할 수 있다.

Description

상호작용 이벤트 인식장치{APPARATUS FOR INTERACTIVE EVENT RECOGNITION}
본 발명은 상호작용 이벤트 인식장치에 관한 것으로, 더욱 상세하게는 비디오에 등장하는 객체들을 탐지 및 추적하여 얻은 객체들의 종류와 위치를 바탕으로 근접 객체들간의 상호작용 이벤트를 인식하기 위해서 객체 간의 공간 정보를 기반으로 범용 이벤트를 인식하고 상호작용 이벤트에 관련된 객체들의 종류를 기반으로 상세 이벤트를 인식하는 상호작용 이벤트 인식장치에 관한 것이다.
비디오에서 발생한 이벤트를 분석하는 기존 기술들은 특정 이벤트를 학습하기 위해서 이벤트 데이터셋 중에 학습하고자 하는 이벤트가 발생한 비디오들에서 이벤트가 일어난 비디오 구간 내의 직접적으로 관련된 관심 영역으로부터 비디오 특징을 추출하고, 특징을 입력으로 기계학습을 통해 특정 이벤트를 인식할 수 있는 분류 모델을 생성한다.
그러나, 이렇게 생성된 이벤트 분류 모델은 학습에 사용한 데이터셋에 의존적이어서 비디오의 환경이나 등장 객체의 특징이 상이하면 이벤트 인식률이 떨어지는 문제가 있다. 그리고, 사람이 다른 객체와 상호작용하면서 만들어내는 이벤트들은 그 객체의 종류에 따라서 수백 여 가지로 구분된다. 기존 이벤트 분석 기술들은 어떤 객체와 상호작용하느냐에 따라서 별도로 이벤트 분류 모델을 구축하여야 한다.
상기한 바와 같은 문제점을 극복하기 위한 본 발명의 목적은 객체 간의 상호 작용으로 발생하는 이벤트에 대한 기 정의된 시각적 지식을 이용하여 근접한 객체들 간의 공간 관계를 바탕으로 범용 이벤트를 인식하고, 객체의 종류에 따라서 상세 이벤트를 인식할 수 있도록 한 상호작용 이벤트 인식장치를 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 상호작용 이벤트 인식장치는, 입력된 비디오에 등장하는 객체 정보를 추출하는 객체 탐지 및 추적 모듈과, 객체들 간의 공간 연산을 통해 범용 이벤트를 인식하는 범용 이벤트 인식 모듈과, 객체 종류 기반으로 범용 이벤트를 구체화하는 상세 이벤트 인식 모듈 및 이벤트 인식 결과를 기록하고 최종적으로 탐지한 상호작용 이벤트 전체를 출력하는 이벤트 디스크립터 관리 및 출력 모듈을 포함한다.
상술한 바와 같은 상호작용 이벤트 인식장치에 따르면, 상호작용 이벤트를 두 객체간의 공간 관계에 의해 객체의 종류에 독립적인 상호작용 이벤트로 먼저 인식을 한 다음 객체의 종류에 따라 구체화시킨 상세 이벤트를 인식함으로써, 대부분 학습한 데이터셋의 객체의 특징과 객체의 종류에 의존적인 기계학습 기반 이벤트 인식 방법에 비해 새로운 데이터셋에 대해서도 안정적으로 이벤트 인식 결과를 제공할 수 있다.
또한, 적용한 시스템에서 발생 빈도가 높은 이벤트의 경우에는 튜닝과정에서 객체의 종류에 따라서 범용 이벤트를 추가 및 확장하면 높은 인식 결과를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 상호작용 이벤트 인식장치에 대한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 상호작용 이벤트 인식방법에 대한 흐름도이다.
도 3은 등장하는 주요 객체의 독립적인 범용 이벤트 인식 방법을 나타내는 흐름도이다.
도 4는 등장하는 주요 객체에 의해 구체화된 상세 이벤트 인식 방법을 나타내는 흐름도이다.
도 5는 범용 이벤트 및 상세 이벤트 인식의 일예를 나타내는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 본 출원에서, "연결하다"의 용어는 명세서상에 기재된 요소의 물리적인 연결만을 의미하는 것이 아니라, 적기적인 연결, 네트워크적인 연결 등을 포함하는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 상호작용 이벤트 인식장치에 대한 블록도이다.
도 1을 참조하면, 본 발명의 상호작용 이벤트 인식장치(100)는 객체 탐지 및 추적 모듈(110)과, 범용 이벤트 추론규칙 정의 모듈(120)과, 상세 이벤트 추론규칙 정의 모듈(130)과, 범용 이벤트 인식 모듈(140)과, 상세 이벤트 인식 모듈(150)과, 이벤트 디스크립터 관리 및 출력 모듈(160)을 포함한다.
객체 탐지 및 추적 모듈(110)은 객체들 간의 상호작용 이벤트를 인식하고 그 결과를 반환하기 위해서 입력된 비디오에 등장하는 객체 정보를 추출한다.
범용 이벤트 추론규칙 정의 모듈(120)은 객체들 간의 공간 관계를 기반으로 범용 이벤트 추론규칙을 정의한다.
상세 이벤트 추론규칙 정의 모듈(130)은 객체 종류 기반으로 상세 이벤트 추론 규칙을 정의한다.
범용 이벤트 인식 모듈(140)은 객체들 간의 공간 연산을 통해 범용 이벤트를 인식한다. 여기서, 근접한 객체들 간의 공간 관계를 바탕으로 범용 이벤트를 인식한다. 등장하는 주요 객체들의 공간 관계를 파악하여 범용 이벤트 추론 규칙에 따라 객체의 종류의 독립적인 상호작용 범용 이벤트를 인식할 수 있다. 주요 객체란, 사용자가 관심 있는 객체로서 비디오 이벤트와 관련된 객체를 의미한다.
상세 이벤트 인식 모듈(150)은 객체 종류 기반으로 범용 이벤트를 구체화한다. 여기서, 상호작용 이벤트에 관련된 객체들의 종류를 기반으로 상세 이벤트를 인식한다. 즉, 관련 객체들의 종류에 따라 범용 이벤트를 상세화하는 상세 이벤트 추론 규칙에 따라 상호작용 상세 이벤트를 인식할 수 있다.
이벤트 디스크립터 관리 및 출력 모듈(160)은 이벤트 인식 결과를 기록하고 최종적으로 탐지한 상호작용 이벤트 전체를 출력한다.
하기에서는 객체들 간의 공간정보 기반 범용 이벤트 인식 방법, 객체의 종류를 기반으로 상세 이벤트 인식 방법에 대해 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 상호작용 이벤트 인식방법에 대한 흐름도이다.
도 2를 참조하면, 상호작용 이벤트를 인식하기 위해서 근접한 객체들 간의 공간 관계를 바탕으로 범용 이벤트를 인식 한다(S210). 즉, 관련 객체들의 공간 관계를 파악하여 범용 이벤트 추론 규칙에 따라 객체의 종류의 독립적인 상호작용 범용 이벤트를 인식한다.
이어서, 상호작용 이벤트에 관련된 객체들의 종류를 기반으로 상세 이벤트를 인식한다(S220). 즉, 관련 객체들의 종류에 따라 범용 이벤트를 상세화하는 상세 이벤트 추론 규칙에 따라 상호작용 상세 이벤트를 인식한다.
즉, 비디오에 등장하는 객체들을 탐지 및 추적하여 얻은 객체들의 종류와 위치 정보를 바탕으로 근접 객체들간의 상호작용 이벤트를 인식하기 위해서 객체들 간의 공간 정보를 기반으로 범용 이벤트를 인식하고, 상호작용 이벤트에 관련된 객체들의 종류를 기반으로 상세 이벤트를 인식한다.
도 3은 등장하는 주요 객체의 독립적인 범용 이벤트 인식 방법을 나타내는 흐름도이다.
도 3을 참조하면, 본 발명의 독립적인 범용 이벤트를 인식하는 방법을 살펴보면, 비디오에 등장하는 관련 객체 정보를 입력받는다(S310).
이어서, 관련 객체들 간의 공간 연산을 수행한다(S320).
이어서, 상호작용 이벤트 발생 후보 구간 내에서 관련 객체들 간의 공간 정보를 기반으로 범용 이벤트 추론 규칙을 이용하여 범용 이벤트를 탐지한다(S330).
이어서, 범용 이벤트 탐지 결과인 상호작용 이벤트 정보를 이벤트 디스크립터로 저장한다(S340).
도 4는 등장하는 주요 객체에 의해 구체화된 상세 이벤트 인식 방법을 나타내는 흐름도이다.
도 4를 참조하면, 객체에 종류에 따라 구체화된 상세 이벤트 인식 방법을 살펴보면, 먼저 범용 이벤트 탐지 결과로 객체들 간의 관련 객체에 대한 정보를 입력 받는다(S410).
이어서, 입력된 객체들 간의 정보에 기초하여 관련된 객체들의 종류를 조회한다(S420).
이어서, 범용 이벤트가 관련된 객체의 종류에 따라서 상세화되는 상세 이벤트 추론 규칙을 통해 객체에 특화된 상세 이벤트를 탐지한다(S430).
이어서, 상세 이벤트 추론 규칙을 통해 객체에 특화된 상세 이벤트를 탐지한 결과를 이벤트 디스크립터로 저장한다(S440).
도 5는 범용 이벤트 및 상세 이벤트 인식의 일예를 나타내는 도면이다.
도 5를 참조하면, 두 객체 X, Y가 근접해 있다가 객체 X가 다음 프레임에서 사라지는 경우 "객체 X가 객체 Y에 들어가다"라는 GoIn(X,Y)라는 범용 이벤트를 인식할 수 있다.
그리고, 상세화 규칙에 따라서 Y가 특별히 차인 경우에는 "승차하다"라는 GetInto(Person, Car)라는 상세 이벤트를 인식하고, Y가 특별히 출입문인 경우에는 "들어가다"라는 Enter(Person, Entrance)라는 상세 이벤트를 인식할 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 상호작용 이벤트 인식장치
110 : 객체 탐지 및 추적 모듈
120 : 범용 이벤트 추론규칙 정의 모듈
130 : 상세 이벤트 추론규칙 정의 모듈
140 : 범용 이벤트 인식 모듈
150 : 상세 이벤트 인식 모듈
160 : 이벤트 디스크립터 관리 및 출력 모듈

Claims (9)

  1. 상호작용 이벤트 인식장치로서,
    입력된 비디오에 등장하는 객체 정보를 추출하는 객체 탐지 및 추적 모듈;
    객체들 간의 공간 연산을 통해 범용 이벤트를 인식하는 범용 이벤트 인식 모듈;
    객체 종류 기반으로 범용 이벤트를 구체화하는 상세 이벤트 인식 모듈; 및
    이벤트 인식 결과를 기록하고 최종적으로 탐지한 상호작용 이벤트 전체를 출력하는 이벤트 디스크립터 관리 및 출력 모듈을 포함하고,
    상기 범용 이벤트 인식 모듈은 근접한 상기 객체들 간의 공간 관계를 바탕으로 범용 이벤트 추론 규칙에 따라 객체의 종류의 독립적인 상호작용 범용 이벤트를 인식하는 것
    인 상호작용 이벤트 인식장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 범용 이벤트 인식 모듈은 제1 객체와 제2 객체가 근접해 있다가 상기 제1 객체가 다음 프레임에서 사라지는 경우, 상기 제1 객체가 상기 제2 객체에 들어가는 것에 관한 범용 이벤트를 인식하는 것
    인 상호작용 이벤트 인식장치.
  4. 상호작용 이벤트 인식장치로서,
    입력된 비디오에 등장하는 객체 정보를 추출하는 객체 탐지 및 추적 모듈;
    객체들 간의 공간 연산을 통해 범용 이벤트를 인식하는 범용 이벤트 인식 모듈;
    객체 종류 기반으로 범용 이벤트를 구체화하는 상세 이벤트 인식 모듈; 및
    이벤트 인식 결과를 기록하고 최종적으로 탐지한 상호작용 이벤트 전체를 출력하는 이벤트 디스크립터 관리 및 출력 모듈을 포함하고,
    상기 상세 이벤트 인식 모듈은 상기 객체 종류 기반으로 상기 범용 이벤트를 상세화하는 상세 이벤트 추론 규칙에 따라 상호작용 상세 이벤트를 인식하는 것
    인 상호작용 이벤트 인식장치.
  5. 제4항에 있어서,
    상기 상세 이벤트 인식 모듈은 제1 객체가 제2 객체에 들어가는 것에 관한 범용 이벤트가 인식되면, 상세화 규칙 및 상기 제2 객체의 종류에 따라 상이한 상세 이벤트를 인식하는 것
    인 상호작용 이벤트 인식장치.
  6. (a) 입력된 비디오에 등장하는 객체 정보를 추출하는 단계;
    (b) 객체들 간의 공간 관계를 이용하여 범용 이벤트를 인식하는 단계;
    (c) 객체 종류를 기반으로 상기 범용 이벤트를 구체화하는 단계; 및
    (d) 이벤트 인식 결과를 기록하고 최종적으로 탐지한 상호작용 이벤트를 출력하는 단계를포함하고,
    상기 (b) 단계는 근접한 상기 객체들 간의 공간 관계를 바탕으로 범용 이벤트 추론 규칙에 따라 객체의 종류의 독립적인 상호작용 범용 이벤트를 인식하는 것
    인 상호작용 이벤트 인식방법.
  7. 삭제
  8. 제6항에 있어서,
    상기 (b) 단계는 제1 객체와 제2 객체가 근접해 있다가 상기 제1 객체가 다음 프레임에서 사라지는 경우, 상기 제1 객체가 상기 제2 객체에 들어가는 것에 관한 범용 이벤트를 인식하는 것
    인 상호작용 이벤트 인식방법.
  9. 제6항에 있어서,
    상기 (c) 단계는 상기 객체 종류 기반으로 상기 범용 이벤트를 상세화하는 상세 이벤트 추론 규칙에 따라 상호작용 상세 이벤트를 인식하되, 제1 객체가 제2 객체에 들어가는 것에 관한 범용 이벤트가 인식되면, 상세화 규칙 및 상기 제2 객체의 종류에 따라 상이한 상세 이벤트를 인식하는 것
    인 상호작용 이벤트 인식방법.
KR1020160067063A 2016-05-31 2016-05-31 상호작용 이벤트 인식장치 KR102499626B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160067063A KR102499626B1 (ko) 2016-05-31 2016-05-31 상호작용 이벤트 인식장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160067063A KR102499626B1 (ko) 2016-05-31 2016-05-31 상호작용 이벤트 인식장치

Publications (2)

Publication Number Publication Date
KR20170135319A KR20170135319A (ko) 2017-12-08
KR102499626B1 true KR102499626B1 (ko) 2023-02-14

Family

ID=60920063

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160067063A KR102499626B1 (ko) 2016-05-31 2016-05-31 상호작용 이벤트 인식장치

Country Status (1)

Country Link
KR (1) KR102499626B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114315A (ja) * 2011-11-25 2013-06-10 Sony Corp 画像処理装置、プログラム、画像処理方法及び端末装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101158729B1 (ko) * 2010-03-31 2012-06-22 한국과학기술원 실시간 다수 객체 추적시스템 및 방법
KR20120067890A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 영상분석장치 및 그 방법
KR101513180B1 (ko) * 2013-09-10 2015-04-17 주식회사 제론헬스케어 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법
KR20150069622A (ko) * 2013-12-13 2015-06-24 한국전자통신연구원 상황 지식 표현 모델 및 이를 이용한 상황 추론 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114315A (ja) * 2011-11-25 2013-06-10 Sony Corp 画像処理装置、プログラム、画像処理方法及び端末装置

Also Published As

Publication number Publication date
KR20170135319A (ko) 2017-12-08

Similar Documents

Publication Publication Date Title
Maraghi et al. Scaling Human‐Object Interaction Recognition in the Video through Zero‐Shot Learning
US10108709B1 (en) Systems and methods for queryable graph representations of videos
EP3333851B1 (en) Automated object and activity tracking in a live video feed
US20170193286A1 (en) Method and device for face recognition in video
CN109918987A (zh) 一种视频字幕关键词识别方法及装置
Shamsian et al. Learning object permanence from video
EP3937076A1 (en) Activity detection device, activity detection system, and activity detection method
CN104156691B (zh) 一种基于图像处理的检测行人翻越闸机的监控方法
US20160307044A1 (en) Process for generating a video tag cloud representing objects appearing in a video content
Yang et al. Anomaly detection in moving crowds through spatiotemporal autoencoding and additional attention
Youssef et al. Automatic vehicle counting and tracking in aerial video feeds using cascade region-based convolutional neural networks and feature pyramid networks
Qamar Bhatti et al. Explicit content detection system: An approach towards a safe and ethical environment
Choudhury et al. Movement epenthesis detection for continuous sign language recognition
CN113971776A (zh) 视听事件定位方法和系统
Deshpande et al. Anomaly detection in surveillance videos using transformer based attention model
CN108229285B (zh) 物体分类方法、物体分类器的训练方法、装置和电子设备
Abdelkarim et al. Long-tail visual relationship recognition with a visiolinguistic hubless loss
Kim et al. Motion guided attention fusion to recognize interactions from videos
KR101825689B1 (ko) 객체 인식 장치, 이의 학습 방법 및 이를 이용한 객체 인식 방법
KR102499626B1 (ko) 상호작용 이벤트 인식장치
Zhang et al. Video abnormal event detection via context cueing generative adversarial network
Mi et al. Visual relationship forecasting in videos
CN112818984B (zh) 标题生成方法、装置、电子设备和存储介质
Daldoss et al. Learning and matching human activities using regular expressions
KR101342018B1 (ko) 대표 특징을 이용한 실시간 객체 인식 및 추적 방법과 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant