KR102504321B1 - 온라인 행동 탐지 장치 및 방법 - Google Patents

온라인 행동 탐지 장치 및 방법 Download PDF

Info

Publication number
KR102504321B1
KR102504321B1 KR1020200106794A KR20200106794A KR102504321B1 KR 102504321 B1 KR102504321 B1 KR 102504321B1 KR 1020200106794 A KR1020200106794 A KR 1020200106794A KR 20200106794 A KR20200106794 A KR 20200106794A KR 102504321 B1 KR102504321 B1 KR 102504321B1
Authority
KR
South Korea
Prior art keywords
chunk
video
behavior
feature
sequence
Prior art date
Application number
KR1020200106794A
Other languages
English (en)
Other versions
KR20220026127A (ko
Inventor
문진영
김형일
박종열
배강민
윤기민
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200106794A priority Critical patent/KR102504321B1/ko
Priority to US17/411,728 priority patent/US11935296B2/en
Publication of KR20220026127A publication Critical patent/KR20220026127A/ko
Application granted granted Critical
Publication of KR102504321B1 publication Critical patent/KR102504321B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 온라인 행동 탐지 장치 및 방법에 관한 것이다.
본 발명의 실시예에 따른 온라인 행동 탐지 장치는 스트리밍 비디오의 비디오 청크 시퀀스에 대해 청크 레벨 특징을 추출하는 특징 추출부와, 청크 레벨 특징에 대한 필터링을 수행하는 필터링부 및 필터링된 청크 레벨 특징을 이용하여 행동 클래스를 분류하는 행동 분류부를 포함하는 것을 특징으로 한다.

Description

온라인 행동 탐지 장치 및 방법{APPARATUS AND METHOD FOR ONLINE ACTION DETECTION}
본 발명은 온라인 행동 탐지 장치 및 방법에 관한 것이다.
종래 기술에 따르면, 백그라운드가 포함되는 스트리밍 비디오에서의 온라인 행동 탐지 기술은 과거부터 현재까지의 시각 정보를 이용하여 현재 시점에서의 행동을 검출하여야 하는데, 현재 행동과 관련된 시각 정보만을 필터링하지 못하는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 스트리밍 동영상에서 시간적 행동 모델링을 통해, 현재 행동과 관련된 시각 정보를 강조하고, 현재 행동과 관련되지 않는 시각 정보를 필터링함으로써, 현재 행동을 검출하는 것이 가능한 온라인 행동 탐지 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 실시예에 따른 온라인 행동 탐지 장치는 스트리밍 비디오의 비디오 청크 시퀀스에 대해 청크 레벨 특징을 추출하는 특징 추출부와, 청크 레벨 특징에 대한 필터링을 수행하는 필터링부 및 필터링된 청크 레벨 특징을 이용하여 행동 클래스를 분류하는 행동 분류부를 포함하는 것을 특징으로 한다.
특징 추출부는 비디오 세그먼트에서 프레임을 추출하는 비디오 프레임 추출부와, 청크 별로 단일 청크 특징을 생성하는 단일 청크 특징 생성부 및 단일 청크 특징을 이용하여 청크 레벨 특징 시퀀스를 생성하는 청크 레벨 특징 추출부를 포함한다.
비디오 프레임 추출부는 처리 대상이 되는 과거에서 현재까지의 비디오 구간을 동일 길이의 비디오 청크로 분할하여, 기설정 개수의 청크에 해당하는 비디오 세그먼트에서 프레임을 추출한다.
비디오 프레임 추출부는 비디오 세그먼트에서 매 프레임을 추출하거나, 샘플링을 통해 RGB 프레임 또는 플로우 프레임을 추출한다.
필터링부는 청크 레벨 특징과 행동 인스턴스와의 관련성을 이용하여 필터링을 수행한다.
필터링부는 청크 레벨 특징 시퀀스를 수신하여 현재의 청크가 나타내는 행동 인스턴스와 다른 청크들과의 관계성을 추론하여, 행동 분류에 사용할 필터링된 청크 레벨 특징 시퀀스를 생성한다.
행동 분류부는 입력 청크 시퀀스에 대한 행동 클래스 확률을 획득한다.
행동 분류부는 필터링된 청크 레벨 특징 시퀀스를 수신하여 행동 클래스 및 백그라운드를 포함한 클래스 별로 현재 시점의 행동 클래스 확률을 출력한다.
본 발명의 실시예에 따른 온라인 행동 탐지 방법은 (a) 스트리밍 비디오의 비디오 청크 시퀀스에 대해 청크 레벨 특징을 추출하는 단계와, (b) 청크 레벨 특징에 대해 필터링을 수행하는 단계 및 (c) (b) 단계에서 필터링된 청크 레벨 특징을 이용하여 행동 클래스를 분류하고, 행동 클래스 확률을 출력하는 단계를 포함하는 것을 특징으로 한다.
(a) 단계는 비디오 세그먼트에서 프레임을 추출하고, 청크 별로 단일 청크 특징을 생성하고, 단일 청크 특징을 이용하여 청크 레벨 특징 시퀀스를 생성한다.
(a) 단계는 과거에서 현재까지의 비디오 구간을 동일 길이의 비디오 청크로 분할하고, 기설정된 개수의 청크에 해당하는 비디오 세그먼트에서 매 프레임을 추출하거나, 샘플링을 통해 프레임을 추출한다.
(b) 단계는 청크 레벨 특징과 행동 인스턴스와의 관련성을 이용하여 필터링을 수행한다.
(b) 단계는 청크 레벨 특징 시퀀스를 수신하여 현재의 청크가 나타내는 행동 인스턴스와 다른 청크들과의 관계성을 추론하여, 행동 분류에 사용할 필터링된 청크 레벨 특징 시퀀스를 생성한다.
(c) 단계는 필터링된 청크 레벨 특징 시퀀스를 수신하여 행동 클래스 및 백그라운드를 포함한 클래스 별로 현재 시점의 행동 클래스 확률을 출력한다.
본 발명의 실시예에 따른 온라인 행동 탐지 장치는 스트리밍 비디오의 비디오 청크 시퀀스를 수신하는 입력부와, 비디오 청크 시퀀스를 이용하여 행동을 탐지하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 비디오 청크 시퀀스에 대해 청크 레벨 특징을 추출하고, 청크 레벨 특징을 필터링하여 행동 분류에 사용할 청크 레벨 특징 시퀀스를 생성하고, 청크 레벨 특징 시퀀스를 이용하여 행동 클래스를 분류하고 행동 클래스 확률을 출력하는 것을 특징으로 한다.
프로세서는 청크에 해당하는 비디오 세그먼트에서 프레임을 추출하고, 청크 별로 단일 청크 특징을 생성하며, 단일 청크 특징을 이용하여 청크 레벨 특징 시퀀스를 생성한다.
프로세서는 청크 레벨 특징 시퀀스를 이용하여 현재의 청크가 나타내는 행동 인스턴스와 다른 청크들과의 관계성을 추론하여, 청크 레벨 특징 시퀀스를 생성한다.
프로세서는 청크 레벨 특징 시퀀스를 이용하여 행동 클래스 및 백그라운드를 포함한 클래스 별로 현재 시점의 행동 클래스 확률을 출력한다.
본 발명에 따르면, 청크 시퀀스 내에 관련된 청크 뿐만 아니라, 백그라운드 또는 다른 행동 인스턴스와 같이 관련 없는 청크가 포함됨을 고려하여, 청크 시퀀스에 대해 관련성 기반으로 필터링된 청크 레벨 특징 시퀀스를 도출함으로써, 현재 시점 행동 예측에 대한 온라인 행동 탐지 성능을 높이는 효과가 있다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 온라인 행동 탐지 장치를 도시한다.
도 2는 본 발명의 실시예에 따른 특징 추출부를 도시한다.
도 3은 본 발명의 실시예에 따른 필터링부를 도시한다.
도 4는 본 발명의 실시예에 따른 필터링 서브 모듈을 도시한다.
도 5는 본 발명의 실시예에 따른 현재 시점에 따른 관련성 ground-truth를 도시한다.
도 6은 본 발명의 실시예에 따른 행동 분류부를 도시한다.
도 7은 본 발명의 실시예에 따른 온라인 행동 탐지 장치를 도시한다.
도 8은 본 발명의 실시예에 따른 온라인 행동 탐지 방법을 도시한다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
이하에서는, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 서술하고, 본 발명의 실시예에 대하여 서술하기로 한다.
종래 기술에 따른 비디오에 포함된 행동을 인식하는 기술은 행동의 시작과 종료 구간으로 비디오를 잘라내어, 행동이 아닌 백그라운드를 포함하지 않은 well-trimmed 비디오에 대해서 행동 클래스를 인식한 결과를 제공한다.
그런데, 실세계 비디오들은 대부분 백그라운드를 포함한 untrimmed 비디오이고, 행동을 포함한 부분만으로 well-trimmed 비디오를 생성하는 자체가 어려운 태스크이다.
종래 기술에 따르면, 딥러닝 기반 행동 탐지 기술들이 제안되어, untrimmed 비디오 파일에서 행동을 탐지하기 위해서, 전체 비디오 구간에서 슬라이딩 윈도우 방식으로 비디오 세그먼트를 생성하고, 이 세그먼트가 행동이 포함되어 있는 프로포절인지 아닌지를 판단하는 네트워크를 학습시켜 행동 프로포절 스코어를 제공하고, 행동 프로포절 스코어가 높은 세그먼트들을 가지고 행동 클래스 분류 네트워크를 통해 행동 클래스의 신뢰도를 획득해서 해당 비디오 세그먼트의 행동 클래스를 인식한다.
이러한 종래 기술에 따르면, 입력으로 untrimmed 비디오 파일을 사용하기에 비디오 전구간의 정보를 사용해 행동 구간의 시작과 종료 시점을 파악한다.
그러나, 스트리밍 비디오에서의 온라인 행동 탐지 기술은 비디오 전체가 아닌, 과거부터 현재까지의 시각 정보를 이용해 현재 시점에서의 행동을 검출하며, untrimmed 비디오와 같이 백그라운드 정보를 포함하지만 전체가 아닌 일부분만을 가지고 행동을 탐지해야 한다.
따라서, 스트리밍 비디오에서 온라인 행동 탐지를 위해서는 입력으로 들어오는 과거부터 현재까지의 시각 정보 중에서, 현재 행동과 관련된 시각 정보만을 필터링해서 행동에 대한 시간적 모델링을 수행하여야 한다.
본 발명은 이러한 점에 착안하여 제안된 것으로, 백그라운드를 포함하는 untrimmed 스트리밍 비디오에서 행동 탐지를 위한 정교한 시간적 행동 모델링을 위해, 관련 시각 정보는 강조하고 관련되지 않은 시각 정보는 무시하는 필터링을 수행하여 입력 비디오 구간 내에서 현재 행동과 관련된 시각 정보를 사용함으로써, 현재 행동을 검출하는 것이 가능한 온라인 행동 탐지 장치 및 방법을 제안한다.
도 1은 본 발명의 실시예에 따른 온라인 행동 탐지 장치를 도시한다.
본 발명의 실시예에 따른 온라인 행동 탐지 장치는 스트리밍 비디오의 비디오 청크 시퀀스에 대해 청크 레벨 특징을 추출하는 특징 추출부(100)와, 청크 레벨 특징에 대한 필터링을 수행하는 필터링부(200) 및 필터링된 청크 레벨 특징을 이용하여 행동 클래스를 분류하는 행동 분류부(300)를 포함하는 것을 특징으로 한다.
스트리밍 비디오의 특성 상, 과거에서 현재까지의 비디오만 입력으로 사용 가능하다.
본 발명의 실시예에 따르면, 현재 처리할 과거에서 현재까지의 비디오 구간을 동일 길이의 비디오 청크로 나누어, 과거 T개의 청크들과 현재 1개, 총 T+1개의 청크들을 이용해 현재 시점의 행동 클래스를 탐지한다.
특징 추출부(100)는 비디오 세그먼트에서 프레임을 추출하는 비디오 프레임 추출부(110)와, 청크 별로 단일 청크 특징을 생성하는 단일 청크 특징 생성부(120) 및 단일 청크 특징을 이용하여 청크 레벨 특징 시퀀스를 생성하는 청크 레벨 특징 추출부(130)를 포함한다.
비디오 프레임 추출부(110)는 처리 대상이 되는 과거에서 현재까지의 비디오 구간을 동일 길이의 비디오 청크로 분할하여, 기설정 개수의 청크에 해당하는 비디오 세그먼트에서 프레임을 추출한다.
비디오 프레임 추출부(110)는 비디오 세그먼트에서 매 프레임을 추출하거나, 샘플링을 통해 RGB 프레임 또는 플로우 프레임을 추출한다.
필터링부(200)는 청크 레벨 특징과 행동 인스턴스와의 관련성을 이용하여 필터링을 수행한다.
필터링부(200)는 청크 레벨 특징 시퀀스를 수신하여 현재의 청크가 나타내는 행동 인스턴스와 다른 청크들과의 관계성을 추론하여, 행동 분류에 사용할 필터링된 청크 레벨 특징 시퀀스를 생성한다.
필터링부(200)는 현재 시점과 각 청크별 행동 관련성을 예측하여, 현재 시점과 관련된 청크의 특징은 강조하고, 관련없는 청크의 특징은 필터링 아웃시키는 필터링된 특징을 생성한다.
행동 분류부(300)는 입력 청크 시퀀스에 대한 행동 클래스 확률을 획득한다.
행동 분류부(300)는 필터링된 청크 레벨 특징 시퀀스를 수신하여 행동 클래스 및 백그라운드를 포함한 클래스 별로 현재 시점의 행동 클래스 확률을 출력한다.
도 2는 본 발명의 실시예에 따른 특징 추출부를 도시한다.
도 2를 참조하면, 특징 추출부의 비디오 프레임 추출부(110)는 T+1개의 청크에 해당하는 비디오 세그멘트에서 매 프레임 또는 샘플링을 통해 RGB 프레임 또는 플로우 프레임을 추출하고, 단일 청크 특징 생성부(120)는 청크별로 단일 청크 특징을 생성하고, 청크 레벨 특징 추출부(130)는 T+1개의 단일 청크 특징을 이용하여 청크 레벨 특징 시퀀스를 생성한다.
도 3은 본 발명의 실시예에 따른 필터링부를 도시한다.
필터링부(200)의 필터링 서브 모듈(220)은 청크 레벨 특징 시퀀스를 수신하여 현재 청크가 나타내는 행동 인스턴스와 다른 청크들과의 관계성을 추론하고, 원본 청크 레벨 특징 시퀀스에 관련성으로 주의를 준 청크 레벨 특징 시퀀스를 합하여, 행동 분류에 사용할 필터링된 청크 레벨 특징 시퀀스를 생성한다.
도 4는 본 발명의 실시예에 따른 필터링 서브 모듈(220)을 인코더(221)-디코더(222) 스타일로 구체화한 신경망의 일실시예를 도시한다.
도 5는 본 발명의 실시예에 따른 현재 시점에 따른 관련성 ground-truth를 도시한다.
도 5를 참조하면, 본 발명의 실시예에 따른 필터링부(200)를 구현한 신경망을 학습시키기 위한 학습 샘플을 구성하는 일 실시예를 도시한다.
도 5의 (a)에 도시한 바와 같이, 현재 시점이 특정 클래스의 행동 인스턴스인 경우, 동일한 인스턴스이면 1, 다른 행동 인스턴스에 포함되거나 백그라운드이면 0이 된다.
도 5의 (b)에 도시한 바와 같이, 현재 시점이 백그라운드인 경우, 연속된 백그라운드는 1이 되고, 행동 인스턴스들은 0이 된다.
도 6은 본 발명의 실시예에 따른 행동 분류부를 도시한다.
도 6을 참조하면, 본 발명의 실시예에 따른 필터링부(200)가 생성한 필터링된 청크 레벨 특징 시퀀스를 수신하여, 행동 클래스와 백그라운드를 포함한 K+1의 클래스별 현재 시점의 확률을 출력하는 신경망의 일 실시예를 도시한다.
도 7은 본 발명의 실시예에 따른 온라인 행동 탐지 장치를 도시한다.
본 발명의 실시예에 따른 온라인 행동 탐지 장치는 스트리밍 비디오의 비디오 청크 시퀀스를 수신하는 입력부(710)와, 비디오 청크 시퀀스를 이용하여 행동을 탐지하는 프로그램이 저장된 메모리(720) 및 프로그램을 실행시키는 프로세서(730)를 포함하고, 프로세서(730)는 비디오 청크 시퀀스에 대해 청크 레벨 특징을 추출하고, 청크 레벨 특징을 필터링하여 행동 분류에 사용할 청크 레벨 특징 시퀀스를 생성하고, 청크 레벨 특징 시퀀스를 이용하여 행동 클래스를 분류하고 행동 클래스 확률을 출력하는 것을 특징으로 한다.
프로세서(730)는 청크에 해당하는 비디오 세그먼트에서 프레임을 추출하고, 청크 별로 단일 청크 특징을 생성하며, 단일 청크 특징을 이용하여 청크 레벨 특징 시퀀스를 생성한다.
프로세서(730)는 청크 레벨 특징 시퀀스를 이용하여 현재의 청크가 나타내는 행동 인스턴스와 다른 청크들과의 관계성을 추론하여, 청크 레벨 특징 시퀀스를 생성한다.
프로세서(730)는 청크 레벨 특징 시퀀스를 이용하여 행동 클래스 및 백그라운드를 포함한 클래스 별로 현재 시점의 행동 클래스 확률을 출력한다.
도 8은 본 발명의 실시예에 따른 온라인 행동 탐지 방법을 도시한다.
본 발명의 실시예에 따른 온라인 행동 탐지 방법은 스트리밍 비디오의 비디오 청크 시퀀스에 대해 청크 레벨 특징을 추출하는 단계(S810)와, 청크 레벨 특징에 대해 필터링을 수행하는 단계(S820) 및 필터링된 청크 레벨 특징을 이용하여 행동 클래스를 분류하고, 행동 클래스 확률을 출력하는 단계(S830)를 포함하는 것을 특징으로 한다.
S810 단계는 비디오 세그먼트에서 프레임을 추출하고, 청크 별로 단일 청크 특징을 생성하고, 단일 청크 특징을 이용하여 청크 레벨 특징 시퀀스를 생성한다.
S810 단계는 과거에서 현재까지의 비디오 구간을 동일 길이의 비디오 청크로 분할하고, 기설정된 개수의 청크에 해당하는 비디오 세그먼트에서 매 프레임을 추출하거나, 샘플링을 통해 프레임을 추출한다.
S820 단계는 청크 레벨 특징과 행동 인스턴스와의 관련성을 이용하여 필터링을 수행한다.
S820 단계는 청크 레벨 특징 시퀀스를 수신하여 현재의 청크가 나타내는 행동 인스턴스와 다른 청크들과의 관계성을 추론하여, 행동 분류에 사용할 필터링된 청크 레벨 특징 시퀀스를 생성한다.
S830 단계는 필터링된 청크 레벨 특징 시퀀스를 수신하여 행동 클래스 및 백그라운드를 포함한 클래스 별로 현재 시점의 행동 클래스 확률을 출력한다.
한편, 본 발명의 실시예에 따른 온라인 행동 탐지 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 온라인 행동 탐지 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 온라인 행동 탐지 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 온라인 행동 탐지 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 온라인 행동 탐지 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

Claims (18)

  1. 스트리밍 비디오의 비디오 청크 시퀀스에 대해 청크 레벨 특징을 추출하는 특징 추출부;
    상기 청크 레벨 특징에 대한 필터링을 수행하는 필터링부; 및
    필터링된 상기 청크 레벨 특징을 이용하여 행동 클래스를 분류하는 행동 분류부를 포함하고,
    상기 특징 추출부는,
    비디오 세그먼트에서 프레임을 추출하는 비디오 프레임 추출부;
    상기 비디오 프레임 추출부가 추출한 상기 프레임을 입력받아, 청크 별로 단일 청크 특징을 생성하여 출력하는 단일 청크 특징 생성부; 및
    상기 단일 청크 특징 생성부로부터 수신한 상기 단일 청크 특징을 이용하여 청크 레벨 특징 시퀀스를 생성하는 청크 레벨 특징 추출부를 포함하고,
    상기 필터링부는 상기 청크 레벨 특징 시퀀스를 수신하여 현재 시점의 청크가 나타내는 행동 인스턴스와 다른 각 청크별 행동 관련성을 예측하고, 현재 시점과 관련된 청크의 특징을 강조하고 현재 시점과 관련없는 청크의 특징은 필터링 아웃시키는 필터링된 특징을 생성하되, 원본 청크 레벨 특징 시퀀스에 관련성으로 주의를 준 청크 레벨 특징 시퀀스를 합하여, 행동 분류에 사용할 필터링된 청크 레벨 특징 시퀀스를 생성하고,
    상기 행동 분류부는 상기 필터링된 청크 레벨 특징 시퀀스를 수신하여 행동 클래스 및 백그라운드를 포함한 클래스 별로 현재 시점의 입력 청크 시퀀스에 대한 행동 클래스 확률을 출력하는 것
    인 온라인 행동 탐지 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 비디오 프레임 추출부는 처리 대상이 되는 과거에서 현재까지의 비디오 구간을 동일 길이의 비디오 청크로 분할하여, 기설정 개수의 청크에 해당하는 상기 비디오 세그먼트에서 상기 프레임을 추출하는 것
    인 온라인 행동 탐지 장치.
  4. 제3항에 있어서,
    상기 비디오 프레임 추출부는 상기 비디오 세그먼트에서 매 프레임을 추출하거나, 샘플링을 통해 RGB 프레임 또는 플로우 프레임을 추출하는 것
    인 온라인 행동 탐지 장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 온라인 행동 탐지 장치에 의해 수행되는 온라인 행동 탐지 방법에 있어서,
    (a) 스트리밍 비디오의 비디오 세그먼트에서 프레임을 추출하고, 상기 프레임을 이용하여 청크 별로 단일 청크 특징을 생성하고, 상기 단일 청크 특징을 이용하여 청크 레벨 특징 시퀀스를 생성하여, 상기 스트리밍 비디오의 비디오 청크 시퀀스에 대해 청크 레벨 특징을 추출하는 단계;
    (b) 상기 청크 레벨 특징 시퀀스를 수신하여 현재 시점의 청크가 나타내는 행동 인스턴스와 다른 각 청크별 행동 관련성을 예측하고, 원본 청크 레벨 특징 시퀀스에 관련성으로 주의를 준 청크 레벨 특징 시퀀스를 합하여, 행동 분류에 사용할 필터링된 청크 레벨 특징 시퀀스를 생성하여, 현재 시점과 관련된 청크의 특징을 강조하고 현재 시점과 관련없는 청크의 특징은 필터링 아웃시키는 필터링된 특징을 생성하는 단계; 및
    (c) 행동 클래스 및 백그라운드를 포함한 클래스 별로, 상기 필터링된 청크 레벨 특징 시퀀스를 이용하여 현재 시점의 입력 청크 시퀀스에 대한 행동 클래스 확률을 출력하는 단계
    를 포함하는 온라인 행동 탐지 방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 (a) 단계는 과거에서 현재까지의 비디오 구간을 동일 길이의 비디오 청크로 분할하고, 기설정된 개수의 청크에 해당하는 상기 비디오 세그먼트에서 매 프레임을 추출하거나, 샘플링을 통해 프레임을 추출하는 것
    인 온라인 행동 탐지 방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
KR1020200106794A 2020-08-25 2020-08-25 온라인 행동 탐지 장치 및 방법 KR102504321B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200106794A KR102504321B1 (ko) 2020-08-25 2020-08-25 온라인 행동 탐지 장치 및 방법
US17/411,728 US11935296B2 (en) 2020-08-25 2021-08-25 Apparatus and method for online action detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200106794A KR102504321B1 (ko) 2020-08-25 2020-08-25 온라인 행동 탐지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220026127A KR20220026127A (ko) 2022-03-04
KR102504321B1 true KR102504321B1 (ko) 2023-02-28

Family

ID=80358692

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200106794A KR102504321B1 (ko) 2020-08-25 2020-08-25 온라인 행동 탐지 장치 및 방법

Country Status (2)

Country Link
US (1) US11935296B2 (ko)
KR (1) KR102504321B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230148579A (ko) * 2022-04-18 2023-10-25 한국전자통신연구원 머신 비전을 위한 영상 압축 방법 및 장치
CN116149896B (zh) * 2023-03-27 2023-07-21 阿里巴巴（中国）有限公司 时序数据异常检测方法、存储介质和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101675692B1 (ko) * 2015-06-26 2016-11-14 성균관대학교산학협력단 구조 학습 기반의 군중 행동 인식 방법 및 장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8428360B2 (en) * 2007-11-01 2013-04-23 International Business Machines Corporation System and method for real-time new event detection on video streams
US8358837B2 (en) * 2008-05-01 2013-01-22 Yahoo! Inc. Apparatus and methods for detecting adult videos
US20100316131A1 (en) * 2009-06-12 2010-12-16 Motorola, Inc. Macroblock level no-reference objective quality estimation of video
KR20130091596A (ko) * 2012-02-08 2013-08-19 한국전자통신연구원 비디오 정보를 통한 인간 행동 예측 방법
JP2015171450A (ja) * 2014-03-12 2015-10-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および内視鏡装置
KR20160035106A (ko) * 2014-09-19 2016-03-31 삼성전자주식회사 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록매체
CN104331442A (zh) * 2014-10-24 2015-02-04 华为技术有限公司 视频分类方法和装置
KR101807513B1 (ko) 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
US9721097B1 (en) * 2016-07-21 2017-08-01 Cylance Inc. Neural attention mechanisms for malware analysis
US10776628B2 (en) 2017-10-06 2020-09-15 Qualcomm Incorporated Video action localization from proposal-attention
KR102008290B1 (ko) 2017-11-14 2019-08-07 고려대학교 산학협력단 영상에서 객체의 행동을 인식하는 방법 및 그 장치
KR102152717B1 (ko) 2018-08-28 2020-09-07 한국전자통신연구원 휴먼 행동 인식 장치 및 방법
KR102134902B1 (ko) 2018-11-15 2020-07-17 (주)지와이네트웍스 딥러닝 기반 음영영상의 시공간적 특성 분석을 활용한 폭력검출 프레임워킹 방법
CN110148157B (zh) * 2019-05-10 2021-02-02 腾讯科技（深圳）有限公司 画面目标跟踪方法、装置、存储介质及电子设备
KR20210018586A (ko) * 2019-08-05 2021-02-18 삼성전자주식회사 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법 및 장치
US11678029B2 (en) * 2019-12-17 2023-06-13 Tencent Technology (Shenzhen) Company Limited Video labeling method and apparatus, device, and computer-readable storage medium
CN111797771B (zh) * 2020-07-07 2022-09-09 南京理工大学 一种基于迭代学习的弱监督视频行为检测方法及系统
US12008058B2 (en) * 2021-05-14 2024-06-11 Our Future Universe Classifying relevance of natural language text for topic-based notifications

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101675692B1 (ko) * 2015-06-26 2016-11-14 성균관대학교산학협력단 구조 학습 기반의 군중 행동 인식 방법 및 장치

Also Published As

Publication number Publication date
KR20220026127A (ko) 2022-03-04
US11935296B2 (en) 2024-03-19
US20220067382A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
KR102433393B1 (ko) 동영상 콘텐츠 내의 인물을 인식하는 장치 및 방법
US8358837B2 (en) Apparatus and methods for detecting adult videos
EP2304649B1 (en) Frame based video matching
KR101709085B1 (ko) 컨볼루션 신경망을 이용한 샷 경계 검출 방법 및 장치
KR102504321B1 (ko) 온라인 행동 탐지 장치 및 방법
JP5255372B2 (ja) ビデオ・ストリームに対するリアル・タイム新規イベント検出のシステムおよび方法
CN109922334B (zh) 一种视频质量的识别方法及系统
KR102233175B1 (ko) 특징배우 결정 및 특징배우 출연확률 기반 영상 식별 방법 및 장치
CN112434178B (zh) 图像分类方法、装置、电子设备和存储介质
CN115314268B (zh) 基于流量指纹和行为的恶意加密流量检测方法和系统
KR101195613B1 (ko) 동영상의 주제별 분할장치 및 방법
KR20090115132A (ko) 잠재적 샷 및 신 검출 정보의 자동 분류 방법 및 장치
Chaudhari et al. Profanity detection and removal in videos using machine learning
KR20150122855A (ko) 실시간 질의 및 정답을 위한 분산처리 시스템 및 방법
WO1999051022A1 (en) Method of selecting key-frames from a video sequence
KR101362768B1 (ko) 객체 검출 방법 및 장치
US20140307968A1 (en) Method and apparatus for automatic genre identification and classification
CN116017088A (zh) 视频字幕处理方法、装置、电子设备和存储介质
KR102546598B1 (ko) 이상 상황 감지 장치 및 방법
KR100656373B1 (ko) 시간구간별 우선순위와 판별정책을 적용하는 유해 동영상판별 방법 및 그 장치
KR101174176B1 (ko) 동영상 샘플링 방법 및 시스템
CN114286199B (zh) 一种基于神经网络模型的短视频片段自动生成方法及系统
Choroś Reduction of faulty detected shot cuts and cross dissolve effects in video segmentation process of different categories of digital videos
KR102285039B1 (ko) 다중 클래스화를 이용한 샷 경계 검출 방법 및 장치
KR20230036786A (ko) Rgb 프레임을 이용한 온라인 행동 탐지 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant