KR101413620B1 - 영상 분석을 통한 영상 텍스트화 장치 - Google Patents

영상 분석을 통한 영상 텍스트화 장치 Download PDF

Info

Publication number
KR101413620B1
KR101413620B1 KR1020140019547A KR20140019547A KR101413620B1 KR 101413620 B1 KR101413620 B1 KR 101413620B1 KR 1020140019547 A KR1020140019547 A KR 1020140019547A KR 20140019547 A KR20140019547 A KR 20140019547A KR 101413620 B1 KR101413620 B1 KR 101413620B1
Authority
KR
South Korea
Prior art keywords
unit
information
motion information
image
image data
Prior art date
Application number
KR1020140019547A
Other languages
English (en)
Inventor
이강석
하성욱
Original Assignee
하성욱
(주)리얼허브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하성욱, (주)리얼허브 filed Critical 하성욱
Priority to KR1020140019547A priority Critical patent/KR101413620B1/ko
Application granted granted Critical
Publication of KR101413620B1 publication Critical patent/KR101413620B1/ko
Priority to US14/564,354 priority patent/US9508010B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 영상 분석을 통한 영상 텍스트화 장치에 관한 것으로, 더욱 상세하게는 영상획득장치로부터 입력되는 영상데이터에 포함되는 적어도 하나의 객체를 분석하여 객체의 움직임 정보와 속성 정보를 패턴에 따라 하나의 문장 또는 단어 배열 형태로 제공하는 영상 분석을 통한 영상 텍스트화 장치에 관한 것이다.
이러한 본 발명은, 영상획득장치로부터 복수 개의 프레임으로 이루어진 영상데이터를 입력받아 영상데이터의 프레임별로 나타나는 적어도 하나의 객체의 영역 정보를 추출하여 상기 객체의 영역 정보로부터 시간대별로 변화하는 객체의 움직임 정보와 함께 객체의 속성 정보를 분석하는 분석부; 상기 분석부에서 분석된 상기 객체의 움직임 정보와 상기 객체의 속성 정보에 따라 복수 개의 패턴으로 분류하여 상기 패턴에 대응되게 복수 개의 이벤트 중 하나의 이벤트를 선택적으로 발생시키는 발생부; 상기 분석부에서 분석된 상기 객체의 움직임 정보와 상기 객체의 속성 정보에 대응되는 단어 집합을 저장하는 데이터베이스부; 및 상기 발생부에서 발생된 상기 이벤트의 주체가 되는 상기 객체의 움직임 정보와 속성 정보에 대응되는 단어들을 상기 데이터베이스부의 단어 집합에서 검색하고 상기 속성 정보와 상기 움직임 정보 및 상기 패턴에 따라 조합하여 하나의 문장 또는 단어 배열을 생성하는 생성부;를 포함하여 구성되는 것을 특징으로 하는 영상 분석을 통한 영상 텍스트화 장치를 기술적 요지로 한다.

Description

영상 분석을 통한 영상 텍스트화 장치{Apparatus for video to text using video analysis}
본 발명은 영상 분석을 통한 영상 텍스트화 장치에 관한 것으로, 더욱 상세하게는 영상획득장치로부터 입력되는 영상데이터에 포함되는 적어도 하나의 객체를 분석하여 객체의 움직임 정보와 속성 정보를 패턴에 따라 하나의 문장 또는 단어 배열 형태로 제공하는 영상 분석을 통한 영상 텍스트화 장치에 관한 것이다.
최근 들어 범죄, 교통사고 등의 사건이 빈번하게 일어나는 장소에는 영상데이터를 실시간으로 획득하여 저장하는 CCTV 등과 같은 영상획득장치를 설치하고 있다.
이러한 영상획득장치에 의해 획득 및 저장되는 상기 장소에 대한 영상데이터를 통해 상기 범죄, 교통사고 등의 사건의 후속 처리를 신속하게 할 수 있게 한다.
즉, 영상획득장치로부터 실시간으로 획득 및 저장된 범죄, 교통사고 등의 사건 사고에 대한 영상데이터를 다양한 방식으로 분석하여 사람, 차량 등과 같은 객체들의 움직임 정보를 추출함으로써 이를 통해 사건에 대한 관련 정보를 용이하게 획득할 수 있도록 하여 신속한 후속 처리를 가능하게 한다.
여기서 영상데이터를 분석하여 객체의 움직임을 추출할 때, 종래에는 영상데이터가 획득되는 장소의 특성에 맞게 영상데이터의 분석환경을 설정하여 그 분석환경을 토대로 하여 영상데이터를 분석하여 객체들의 움직임 정보를 추출하여 사건을 해결하는데 필요한 중요한 단서를 제공하고자 하였다.
즉, 종래의 영상 분석을 위한 검색 장치는 상기와 같은 분석환경을 장소에 맞게 별도로 설정해야 하는 불편함이 있을 뿐만 아니라 분석환경에 따라 사건의 해결을 위한 단서가 되는 객체들의 움직임 정보가 제대로 추출되지 않는 한계점이 있었다.
또한, 종래의 영상 분석을 위한 검색 장치는 사건이 발생한 이후에 관리자의 요청에 따라 영상데이터를 분석하여 객체들의 움직임 정보를 추출하여 사건의 해결 단서를 수동적으로 제공하는 구조이므로 객체들의 움직임 정보를 이용하여 사건의 발생 상황을 능동적으로 알려주지 못하는 단점도 있었다.
이러한 문제점들을 해소하기 위하여 본 출원인에 의해 분석환경을 자동으로 설정하면서 영상데이터를 스케줄링에 따라 자동으로 분석하여 객체들의 움직임 정보를 추출하고 추출된 객체들의 움직임 정보에 따라 복수 개의 이벤트로 분류 및 저장하는 아래의 특허문헌 1의 영상 분석을 위한 지능형 검색 로봇이 기등록되었다.
한편, 상기한 영상 분석을 위한 지능형 검색 로봇에 의해 제공되는 이벤트를 통해 범죄나 교통사고 등의 사건 발생시 단서를 포함하고 있는 영상정보를 관리자가 효과적으로 검색하여 해당 사건을 더욱 신속하게 처리 및 대응하기 위해서는 이벤트를 텍스트 형태로 제공하는 기술이 더 필요하다.
즉, 영상 분석을 통해 영상데이터로부터 분석되는 객체에 따른 이벤트들을 그 속에 포함되는 객체의 정보를 통해 하나의 문장 또는 단어 배열을 생성하여 텍스트화함으로써 더욱 신속 용이하게 해당 이벤트가 포함되는 영상을 검색할 수 있도록 하는 기술이 요구되고 있다.
국내 등록특허공보 제10-1285128호, 2013.07.05.자 등록.
본 발명은 상기한 문제점을 해소하기 위해 발명된 것으로서, 영상획득장치로부터 입력되는 영상데이터에 포함되는 적어도 하나의 객체를 분석하여 객체의 움직임 정보와 속성 정보에 따라 복수 개의 패턴으로 분류하고 패턴에 대응되는 복수 개의 이벤트 중 하나의 이벤트를 발생시킴과 동시에 객체의 움직임 정보와 속성 정보 및 패턴에 대응되는 단어들을 객체의 움직임 정보와 속성 정보 및 패턴에 따라 조합하여 하나의 문장 또는 단어 배열 형태로 제공하는 영상 분석을 통한 영상 텍스트화 장치를 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명에 따른 영상 분석을 통한 영상 텍스트화 장치는, 영상획득장치로부터 복수 개의 프레임으로 이루어진 영상데이터를 입력받아 영상데이터의 프레임별로 나타나는 적어도 하나의 객체의 영역 정보를 추출하여 상기 객체의 영역 정보로부터 시간대별로 변화하는 객체의 움직임 정보와 함께 객체의 속성 정보를 분석하는 분석부; 상기 분석부에서 분석된 상기 객체의 움직임 정보와 상기 객체의 속성 정보에 따라 복수 개의 패턴으로 분류하여 상기 패턴에 대응되게 복수 개의 이벤트 중 하나의 이벤트를 선택적으로 발생시키는 발생부; 상기 분석부에서 분석된 상기 객체의 움직임 정보와 상기 객체의 속성 정보에 대응되는 단어 집합을 저장하는 데이터베이스부; 및 상기 발생부에서 발생된 상기 이벤트의 주체가 되는 상기 객체의 움직임 정보와 속성 정보에 대응되는 단어들을 상기 데이터베이스부의 단어 집합에서 검색하고 상기 속성 정보와 상기 움직임 정보 및 상기 패턴에 따라 조합하여 하나의 문장 또는 단어 배열을 생성하는 생성부;를 포함하여 구성되는 것을 특징으로 한다.
상기 생성부에서 생성된 상기 하나의 문장 또는 단어 배열을 상기 이벤트가 발생된 시간 정보를 포함하는 인덱스와 함께 저장하는 저장부를 더 포함하는 것을 특징으로 한다.
상기 저장부에 저장된 상기 하나의 문장 또는 단어 배열과 상기 인덱스를 상기 이벤트 발생시 출력하는 출력부;를 포함하여 구성되는 것을 특징으로 한다.
상기 분석부는, 상기 영상데이터의 픽셀 영역에서 프레임에 따라 픽셀값이 변화하는 복수 개의 픽셀을 검출하는 픽셀검출부; 상기 픽셀검출부에서 검출된 상기 복수 개의 픽셀을 상하좌우로 연결하여 상기 객체의 영역 정보를 사각형 형태로 추출하는 객체추출부; 상기 객체추출부에서 추출된 상기 객체의 영역 정보가 상기 영상데이터의 프레임별에 따라 변화하는 형태를 근거로 하여 상기 객체의 움직임 정보를 분석하는 움직임분석부; 및 상기 객체추출부에서 추출된 상기 객체의 영역 정보의 픽셀 크기와 픽셀값을 근거로 하여 상기 객체의 속성 정보를 분석하는 속성분석부;를 포함하여 구성되는 것을 특징으로 한다.
상기 패턴은, 상기 영상데이터의 픽셀 영역에서 분석된 상기 객체의 움직임 정보에 따라 적어도 두 개의 객체가 상호 만나는 제1패턴, 적어도 한 개의 객체의 이동 방향이 전환되는 제2패턴, 적어도 한 개의 객체의 이동 속도가 변하는 제3패턴, 및 적어도 세 개의 객체가 군집하는 제4패턴;을 포함하여 구성되는 것을 특징으로 한다.
상기 객체의 속성 정보는, 상기 객체를 사람과 사물 중의 하나로 구분하는 제1속성, 및 상기 객체를 색상으로 구분하는 제2속성을 포함하여 구성되는 것을 특징으로 한다.
상기 문장 또는 단어 배열은, 상기 객체의 속성 정보를 나타내는 주어부, 및 상기 객체의 움직임 정보를 나타내는 술어부를 포함하여 구성되는 것을 특징으로 한다.
상기한 구성에 의한 본 발명은, 영상획득장치로부터 획득되는 영상데이터에 포함된 적어도 하나의 객체의 속성 정보와 움직임 정보를 분석하여 복수 개의 패턴으로 분류되는 이벤트를 발생하고 상기 이벤트의 주체가 되는 객체의 속성 정보와 움직임 정보 및 패턴에 따라 하나의 문장 또는 단어 배열을 생성하여 텍스트화함으로써 범죄나 교통사고 등의 사건 발생시 단서를 포함하고 있는 영상정보를 더욱 효율적으로 검색하여 해당 사건을 더욱 더 신속하게 처리 및 대응할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 영상 분석을 통한 영상 텍스트화 장치를 도시한 블록도.
도 2는 본 발명의 바람직한 실시예에 따른 영상 분석을 통한 영상 텍스트화 장치의 분석부를 도시한 블록도.
본 발명에 따른 영상 분석을 통한 영상 텍스트화 장치는, 범죄, 교통사고 등의 사건이 빈번하게 일어나는 장소에 설치된 CCTV 등의 영상획득장치에서 획득한 영상데이터에 포함된 객체를 실시간으로 분석하여 사건을 암시하는 복수 개의 패턴에 대응되는 이벤트 중의 하나를 발생한 후 이벤트의 주체가 되는 객체의 속성 정보와 움직임 정보 및 패턴에 따라 하나의 문장 또는 단어 배열 형태로 텍스트화하는 장치이다.
즉, 본 발명에 따른 영상 분석을 통한 영상 텍스트화 장치는, 기존에 이벤트만을 발생하는 방식에서 벗어나 이벤트에 따른 객체의 속성 정보와 움직임 정보를 토대로 하여 하나의 문장 또는 단어 배열 형태로 텍스트화하여 사건의 단서를 포함하고 있는 영상데이터를 더욱 효율적으로 검색하여 해당 사건을 더욱 더 신속하게 처리 및 대응하도록 한 것이다.
이는 영상데이터에 포함되는 객체의 속성 정보와 움직임 정보를 분석하는 분석부, 객체의 속성 정보와 움직임 정보에 따라 복수 개의 패턴으로 분류하여 대응되는 이벤트를 발생시키는 발생부, 객체의 움직임 정보와 상기 객체의 속성 정보에 대응되는 단어 집합을 저장하는 데이터베이스부, 이벤트의 주체가 되는 객체의 움직임 정보와 속성 정보에 대응되는 단어들을 단어 집합에서 검색하여 하나의 문장 또는 단어 배열을 생성하는 생성부를 포함하는 구성에 의해 달성된다.
따라서 영상데이터에 포함된 객체에 대한 분석을 통해 복수 개의 패턴으로 분류되어 발생되는 이벤트들을 하나의 문장 또는 단어 배열 형태로 제공함으로써 사건 발생시 텍스트 방식으로의 검색이 가능하여 이벤트에 기인하는 해당 사건의 단서를 신속 용이하게 획득하여 효과적으로 대응 및 처리할 수 있도록 한다.
이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.
도 1은 본 발명의 바람직한 실시예에 따른 영상 분석을 통한 영상 텍스트화 장치를 도시한 블록도이고, 도 2는 본 발명의 바람직한 실시예에 따른 영상 분석을 통한 영상 텍스트화 장치의 분석부를 도시한 블록도이다.
본 발명의 바람직한 실시예에 따른 영상 분석을 통한 영상 텍스트화 장치(100)는, 도 1에 도시된 바와 같이, 크게 분석부(110), 발생부(120), 데이터베이스부(130), 생성부(140)를 포함하여 구성될 수 있다.
먼저, 상기 분석부(110)는, 영상획득장치로부터 영상데이터를 입력받아 영상데이터에 나타나는 객체의 움직임 정보와 속성 정보를 분석하는 구성이다.
즉, 분석부(110)는 영상획득장치로부터 적어도 하나의 프레임으로 이루어진 영상데이터를 실시간으로 입력받아 영상데이터의 프레임별로 나타나는 적어도 하나의 객체의 영역 정보를 추출하여 시간대별로 변화하는 객체의 움직임 정보와 함께 객체가 가지는 객체의 속성 정보를 분석하는 것이다.
이때 분석부(110)는 도 2에 도시된 바와 같이 픽셀검출부(111), 객체추출부(112), 움직임분석부(113), 및 속성분석부(114)를 포함하여 구성될 수 있다.
상기 픽셀검출부(111)는, 영상 데이터의 픽셀 영역에서 프레임에 따라 픽셀값이 변화하는 복수 개의 픽셀을 검출하는 구성이다.
즉, t시간 대의 프레임과 t+1시간 대의 프레임을 차분하면 픽셀값이 임계값 이상으로 변화된 픽셀들을 추출하는 것이다.
상기 객체추출부(112)는, 픽셀검출부(111)에서 검출된 복수 개의 픽셀을 상하좌우로 연결하여 객체의 영역 정보를 사각형 형태로 추출하는 구성이다.
즉, 픽셀값이 임계값 이상으로 변화된 픽셀들을 상하좌우로 연결하여 최외각에 존재하는 픽셀들을 기준으로 하여 사각형 형태로 추출하여 객체의 영역 정보를 획득하는 것이다.
단, t+2시간 대의 프레임에서 추출된 객체의 영역 정보 중에서 그 이전 시간 대의 프레임에서 추출된 객체의 영역 정보와 가장 대응되는 픽셀 영역을 갖는 것을 동일한 객체로 판별하여 객체의 영역 정보를 시간대별로 갱신한다.
상기 움직임분석부(113)는, 객체추출부(112)에서 추출된 객체의 영역 정보가 영상 데이터의 프레임에 따라 변화하는 형태를 근거로 하여 객체의 움직임 정보를 분석하는 구성이다.
즉, 객체의 움직임 정보가 후술할 복수 개의 패턴과 같이 두 개의 객체가 상호 만나는 형태인지, 적어도 한 개의 객체의 이동 방향이 전환되는 형태인지, 적어도 한 개의 객체의 이동 속도가 변하는 형태인지, 적어도 세 개의 객체가 군집하는 형태인지를 분석하는 것이다.
상기 속성분석부(114)는, 객체추출부(112)에서 추출된 객체의 영역 정보의 픽셀 크기와 그 픽셀값들을 근거로 하여 객체의 속성 정보를 분석하는 구성이다. 이때 객체의 속성 정보는 체를 사람과 사물 중의 하나로 구분하는 제1속성, 및 상기 객체를 색상으로 구분하는 제2속성을 포함하여 구성될 수 있다.
즉, 객체의 영역 정보의 전체 픽셀 크기에 따라 해당 객체가 사람인지 차량인지를 분석하고 객체의 영역 정보의 픽셀값들에 따라 해당 객체가 어떤 색상을 가지는지를 분석하는 것이다.
예를 들어 객체의 영역 정보의 픽셀 크기가 기설정된 픽셀 크기보다 클 때는 차량으로 기설정된 픽셀 크기보다 작을 때는 사람으로 판별하고, 객체의 영역 정보의 픽셀들이 가지는 픽셀값인 RGB값에 따라 차량 또는 사람으로 분석된 객체의 색상을 결정한다.
이때 영상 데이터는 특정 장소를 기설정된 픽셀 크기로 촬영하여 획득한 것이므로 기설정된 픽셀 크기를 기준으로 하여 사람과 차량으로 구분하는 분석이 가능하다.
다음으로, 상기 발생부(120)는, 분석부(110)에서 분석된 객체의 움직임 정보와 객체의 속성 정보에 따라 복수 개의 패턴으로 분류하여 상기 패턴들에 대응되는 복수 개의 이벤트 중 하나의 이벤트를 선택적으로 발생시키는 구성이다.
이때 상기 패턴은 영상 데이터의 픽셀 영역에서 분석된 객체의 움직임 정보에 따라, 두 개의 객체가 상호 만나는 제1패턴, 적어도 한 개의 객체의 이동 방향이 전환되는 제2패턴, 적어도 한 개의 객체의 이동 속도가 변하는 제3패턴, 및 적어도 세 개의 객체가 군집하는 제4패턴으로 분류될 수 있다.
즉, 상기 제1패턴은 서로 다른 두 개 이상의 객체의 영역 정보가 맞물려지는 것을 포함하여 상기 객체들의 영역 정보가 일정 픽셀 이내로 근접한 상황을 포함하는 것으로, 제1이벤트를 발생하게 된다.
상기 제2패턴은 t시간대와 t+1시간대의 특정 객체의 움직임 정보를 비교하여 이동 방향이 적어도 픽셀 영역 상에서 특정 각도 이상 전환이 발생한 상황을 모두 포함하는 것으로, 제2이벤트를 발생하게 된다.
상기 제3패턴은 t~t+1시간대의 특정 객체의 움직임 정보에 따른 이동 거리보다 t+1~t+2의 이동 거리가 일정 이상 차이가 나면서 이동 속도가 증가 혹은 감소한 상황을 모두 포함하는 것으로, 제3이벤트를 발생하게 된다.
상기 제4패턴은 적어도 세 개 이상의 객체의 영역 정보가 일정 픽셀 영역 내에서 모여 있는 상황을 모두 포함하는 것으로, 제4이벤트를 발생하게 된다.
다음으로, 상기 데이터베이스부(130)는, 분석부(110)에서 분석된 객체의 움직임 정보와 객체의 속성 정보에 대응되는 단어 집합을 저장하는 구성이다.
즉, 데이터베이스부(130)는, 객체의 속성 정보와 움직임 정보를 패턴에 따라 텍스트화하기 위해 필요한 단어들로 이루어진 단어 집합을 데이터 형태로 저장하는 것이다.
예를 들어 객체의 속성 정보 중에서 객체의 종류를 나타내는 "사람"이나 "차량" 등을 포함하는 명사와, 객체의 개수를 나타내는 "한 명", "두 명", "세 명", "한 대" "두 대", "세 대" 등을 포함하는 관사와, 객체의 색상을 나타내는 "검은색", "빨간색", "노란색" 등을 포함하는 명사와, 객체의 움직임 정보를 패턴에 따라 나타내는 "상호 만나다", "이동 방향이 전환되다", "이동 속도가 변하다", "군집하다" 등을 포함하는 동사와, 상기 명사들과 동사들을 자연스럽게 연결하기 위하여 명사들에 붙는 "~가", "~이", "~와", "~의 "등을 포함하는 조사 등의 단어들을 저장하고 있다.
다음으로, 상기 생성부(140)는, 발생부(120)에서 발생된 이벤트의 주체가 되는 객체의 움직임 정보와 속성 정보에 대응되는 단어들을 데이터베이스부(130)의 단어 집합에서 검색하고 상기 속성 정보와 상기 움직임 정보 및 상기 패턴에 따라 조합하여 하나의 문장 또는 단어 배열을 생성하는 구성이다.
즉, 생성부(140)는 해당 이벤트를 하나의 문장 또는 단어 배열로 변환하되 해당 이벤트의 주체가 되는 객체의 움직임 정보와 속정 정보가 포함되면서 해당 이벤트가 분류된 패턴에 따라 하나의 문장 또는 단어 배열을 생성하는 것이다.
이때 상기 문장 또는 단어 배열은, 객체의 속성 정보를 나타내는 주어부, 및 객체의 움직임 정보를 나타내는 술어부를 포함하여 구성될 수 있다.
예를 들어 제1패턴에 대응되는 이벤트가 발생한 경우 "두 명의 사람이 상호 만나다"라는 하나의 완성된 문장을 생성하거나, 또는 "두 명, 사람, 상호 만나다"라는 단어 배열을 생성하는 것이다.
여기서, 본 발명의 바람직한 실시예에 따른 영상 분석을 통한 영상 텍스트화 장치(100)는 도 1에 도시된 바와 같이 생성부(140)에서 생성된 하나의 문장 또는 단어 배열을 이벤트가 발생된 시간 정보를 포함하는 인덱스와 함께 저장하는 저장부(150)를 더 포함하여 구성될 수 있다.
이때 저장부(150)는 생성부(140)에서 생성되는 하나의 문장 또는 단어 배열을 이벤트 발생 시간과 함께 저장함으로써 추후 이벤트들에 따른 문장 또는 단어 배열을 시간을 기준으로 하여 용이하게 검색하기 위한 구성이다.
그리고, 본 발명의 바람직한 실시예에 따른 영상 분석을 통한 영상 텍스트화 장치(100)는 도 1에 도시된 바와 같이 저장부(160)에 저장된 하나의 문장 또는 단어 배열과 인덱스를 이벤트 발생시마다 출력하는 출력부(160);를 포함하여 구성될 수 있다.
상기 출력부(160)는 이벤트의 발생시 해당 이벤트에 대응되는 하나의 문장 또는 단어 배열과 인덱스를 화면으로 자동으로 출력함으로써 관리자의 요청 없이도 이벤트의 발생을 표출하여 관리자가 신속하게 인지하도록 한 구성이다.
상기한 실시예는 예시적인 것에 불과한 것으로, 당해 기술분야에 대한 통상의 지식을 가진 자라면 이로부터 다양하게 변형된 다른 실시예가 가능하다.
따라서 본 발명의 진정한 기술적 보호범위에는 하기의 특허청구범위에 기재된 발명의 기술적 사상에 의해 상기의 실시예뿐만 아니라 다양하게 변형된 다른 실시예가 포함되어야 한다.
100: 영상 텍스트화 장치
110: 분석부 120: 발생부
130: 데이터베이스부 140: 생성부
111: 픽셀검출부 112: 객체추출부
113: 움직임분석부 114: 속성분석부

Claims (7)

  1. 영상획득장치로부터 복수 개의 프레임으로 이루어진 영상데이터를 입력받아 영상데이터의 프레임별로 나타나는 적어도 하나의 객체의 영역 정보를 추출하여 상기 객체의 영역 정보로부터 시간대별로 변화하는 객체의 움직임 정보와 함께 객체의 속성 정보를 분석하는 분석부(110);
    상기 분석부(110)에서 분석된 상기 객체의 움직임 정보와 상기 객체의 속성 정보에 따라 복수 개의 패턴으로 분류하여 상기 패턴에 대응되게 복수 개의 이벤트 중 하나의 이벤트를 선택적으로 발생시키는 발생부(120);
    상기 분석부(110)에서 분석된 상기 객체의 움직임 정보와 상기 객체의 속성 정보에 대응되는 단어 집합을 저장하는 데이터베이스부(130); 및
    상기 발생부(120)에서 발생된 상기 이벤트의 주체가 되는 상기 객체의 움직임 정보와 속성 정보에 대응되는 단어들을 상기 데이터베이스부(130)의 단어 집합에서 검색하고 상기 속성 정보와 상기 움직임 정보 및 상기 패턴에 따라 조합하여 하나의 문장 또는 단어 배열을 생성하는 생성부(140);를 포함하여 구성되되,
    상기 문장 또는 단어 배열은,
    상기 객체의 속성 정보를 나타내는 주어부, 및
    상기 객체의 움직임 정보를 나타내는 술어부를 포함하여 구성되는 것을 특징으로 하는 영상 분석을 통한 영상 텍스트화 장치.
  2. 제1항에 있어서,
    상기 생성부(140)에서 생성된 상기 하나의 문장 또는 단어 배열을 상기 이벤트가 발생된 시간 정보를 포함하는 인덱스와 함께 저장하는 저장부(150)를 더 포함하는 것을 특징으로 하는 영상 분석을 통한 영상 텍스트화 장치.
  3. 제2항에 있어서,
    상기 저장부(160)에 저장된 상기 하나의 문장 또는 단어 배열과 상기 인덱스를 상기 이벤트 발생시 출력하는 출력부(160);를 포함하여 구성되는 것을 특징으로 하는 영상 분석을 통한 영상 텍스트화 장치.
  4. 제1항에 있어서,
    상기 분석부(110)는,
    상기 영상데이터의 픽셀 영역에서 프레임에 따라 픽셀값이 변화하는 복수 개의 픽셀을 검출하는 픽셀검출부(111);
    상기 픽셀검출부(111)에서 검출된 상기 복수 개의 픽셀을 상하좌우로 연결하여 상기 객체의 영역 정보를 사각형 형태로 추출하는 객체추출부(112);
    상기 객체추출부(112)에서 추출된 상기 객체의 영역 정보가 상기 영상데이터의 프레임별에 따라 변화하는 형태를 근거로 하여 상기 객체의 움직임 정보를 분석하는 움직임분석부(113); 및
    상기 객체추출부(112)에서 추출된 상기 객체의 영역 정보의 픽셀 크기와 픽셀값을 근거로 하여 상기 객체의 속성 정보를 분석하는 속성분석부(114);를 포함하여 구성되는 것을 특징으로 하는 영상 분석을 통한 영상 텍스트화 장치.
  5. 제1항에 있어서,
    상기 패턴은,
    상기 영상데이터의 픽셀 영역에서 분석된 상기 객체의 움직임 정보에 따라
    적어도 두 개의 객체가 상호 만나는 제1패턴,
    적어도 한 개의 객체의 이동 방향이 전환되는 제2패턴,
    적어도 한 개의 객체의 이동 속도가 변하는 제3패턴, 및
    적어도 세 개의 객체가 군집하는 제4패턴;을 포함하여 구성되는 것을 특징으로 하는 영상 분석을 통한 영상 텍스트화 장치.
  6. 제1항에 있어서,
    상기 객체의 속성 정보는,
    상기 객체를 사람과 사물 중의 하나로 구분하는 제1속성, 및
    상기 객체를 색상으로 구분하는 제2속성을 포함하여 구성되는 것을 특징으로 하는 영상 분석을 통한 영상 텍스트화 장치.
  7. 삭제
KR1020140019547A 2014-02-20 2014-02-20 영상 분석을 통한 영상 텍스트화 장치 KR101413620B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140019547A KR101413620B1 (ko) 2014-02-20 2014-02-20 영상 분석을 통한 영상 텍스트화 장치
US14/564,354 US9508010B2 (en) 2014-02-20 2014-12-09 Apparatus for video to text conversion using video analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140019547A KR101413620B1 (ko) 2014-02-20 2014-02-20 영상 분석을 통한 영상 텍스트화 장치

Publications (1)

Publication Number Publication Date
KR101413620B1 true KR101413620B1 (ko) 2014-07-04

Family

ID=51740779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140019547A KR101413620B1 (ko) 2014-02-20 2014-02-20 영상 분석을 통한 영상 텍스트화 장치

Country Status (2)

Country Link
US (1) US9508010B2 (ko)
KR (1) KR101413620B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190118904A (ko) 2018-04-11 2019-10-21 김진회 영상 분석 기반 토픽 모델링 영상 검색 시스템 및 방법
KR102229261B1 (ko) * 2019-12-23 2021-03-17 한국해양대학교 산학협력단 복수 개의 카메라 모듈들을 이용한 객체 관련 상황 요약 장치 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734866B2 (en) * 2015-09-25 2017-08-15 Intel Corporation Perceptual computing input to determine post-production effects
US11227197B2 (en) 2018-08-02 2022-01-18 International Business Machines Corporation Semantic understanding of images based on vectorization
US10575061B1 (en) * 2018-08-23 2020-02-25 International Business Machines Corporation Providing textual instructions from a video capture

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001155169A (ja) 1999-11-24 2001-06-08 Nec Corp ビデオ画像の分割、分類、および要約のための方法およびシステム
JP2001520819A (ja) 1996-10-31 2001-10-30 センサーマティック・エレクトロニクス・コーポレーション インテリジェントビデオ情報管理システム
JP2005128711A (ja) * 2003-10-22 2005-05-19 Omron Corp 感性情報推定方法および文字アニメーション作成方法、これらの方法を用いたプログラム、記憶媒体、感性情報推定装置、文字アニメーション作成装置
KR101285128B1 (ko) * 2013-05-08 2013-07-19 (주)리얼허브 영상 분석을 위한 지능형 검색 로봇

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100537520B1 (ko) * 2004-02-18 2005-12-19 삼성전자주식회사 동영상의 자막 검출 방법 및 장치
US7835578B2 (en) * 2006-04-19 2010-11-16 Sarnoff Corporation Automated video-to-text system
US8041077B2 (en) * 2007-12-18 2011-10-18 Robert Bosch Gmbh Method of motion detection and autonomous motion tracking using dynamic sensitivity masks in a pan-tilt camera
US8718366B2 (en) * 2009-04-01 2014-05-06 Ati Technologies Ulc Moving text detection in video
US9602738B2 (en) * 2011-11-23 2017-03-21 Avigilon Fortress Corporation Automatic event detection, text generation, and use thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001520819A (ja) 1996-10-31 2001-10-30 センサーマティック・エレクトロニクス・コーポレーション インテリジェントビデオ情報管理システム
JP2001155169A (ja) 1999-11-24 2001-06-08 Nec Corp ビデオ画像の分割、分類、および要約のための方法およびシステム
JP2005128711A (ja) * 2003-10-22 2005-05-19 Omron Corp 感性情報推定方法および文字アニメーション作成方法、これらの方法を用いたプログラム、記憶媒体、感性情報推定装置、文字アニメーション作成装置
KR101285128B1 (ko) * 2013-05-08 2013-07-19 (주)리얼허브 영상 분석을 위한 지능형 검색 로봇

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190118904A (ko) 2018-04-11 2019-10-21 김진회 영상 분석 기반 토픽 모델링 영상 검색 시스템 및 방법
KR102229261B1 (ko) * 2019-12-23 2021-03-17 한국해양대학교 산학협력단 복수 개의 카메라 모듈들을 이용한 객체 관련 상황 요약 장치 및 방법

Also Published As

Publication number Publication date
US20150235089A1 (en) 2015-08-20
US9508010B2 (en) 2016-11-29

Similar Documents

Publication Publication Date Title
US9208226B2 (en) Apparatus and method for generating evidence video
Babu et al. Vehicle number plate detection and recognition using bounding box method
Zhao et al. SVM based forest fire detection using static and dynamic features
US9934453B2 (en) Multi-source multi-modal activity recognition in aerial video surveillance
KR101413620B1 (ko) 영상 분석을 통한 영상 텍스트화 장치
JP4777059B2 (ja) 画像検索装置および画像検索方法
CN108062349A (zh) 基于视频结构化数据及深度学习的视频监控方法和系统
KR20180135898A (ko) 기계 학습에 의해 객체 분류기를 훈련시키는 시스템 및 방법
CN106355154B (zh) 一种监控视频中检测频繁过人的方法
US10635908B2 (en) Image processing system and image processing method
KR101222100B1 (ko) 정면 얼굴 검출 장치
CN111091098A (zh) 检测模型的训练方法、检测方法及相关装置
CN104463232A (zh) 一种基于hog特征和颜色直方图特征的密度人群计数的方法
DE102012218870A1 (de) Verbessertes Erkennen herrenloser Objekte unter Verwendung des Erfassens von Fussgängern
CN112989950A (zh) 一种面向多模态特征语义关联特征的暴力视频识别系统
Goto et al. Text-tracking wearable camera system for the blind
KR20100093797A (ko) 카메라의 영상을 이용한 보행자 계수 방법 및 장치
CN108898098A (zh) 基于监控平台的早期视频烟雾检测方法
CN106529500A (zh) 一种信息处理方法和系统
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
Sarhan et al. Traffic light Detection using OpenCV and YOLO
KR102085070B1 (ko) 딥러닝 기반 영상 정합 장치 및 방법
KR101285128B1 (ko) 영상 분석을 위한 지능형 검색 로봇
JP5864230B2 (ja) 物体検出装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170317

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180323

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 6