KR20190027498A - 시각 지식 정보 저장 및 관리 시스템 및 그 방법 - Google Patents

시각 지식 정보 저장 및 관리 시스템 및 그 방법 Download PDF

Info

Publication number
KR20190027498A
KR20190027498A KR1020170114331A KR20170114331A KR20190027498A KR 20190027498 A KR20190027498 A KR 20190027498A KR 1020170114331 A KR1020170114331 A KR 1020170114331A KR 20170114331 A KR20170114331 A KR 20170114331A KR 20190027498 A KR20190027498 A KR 20190027498A
Authority
KR
South Korea
Prior art keywords
visual knowledge
information
unit
visual
schema
Prior art date
Application number
KR1020170114331A
Other languages
English (en)
Other versions
KR102052184B1 (ko
Inventor
권용진
문진영
오성찬
윤기민
박종열
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170114331A priority Critical patent/KR102052184B1/ko
Publication of KR20190027498A publication Critical patent/KR20190027498A/ko
Application granted granted Critical
Publication of KR102052184B1 publication Critical patent/KR102052184B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 다양한 입력 영상으로부터 생성한 시각지식 정보를 기 정의된 스키마 또는 자료 구조에 따라 저장하고, 일부 또는 전체 시각지식 정보를 분석 또는 응용 서비스에서 활용하기 위한 시각 지식 정보 저장 및 관리 시스템에 관한 것으로서, 상기 저장 및 관리 시스템은, 입력된 영상으로부터 적어도 하나 이상의 중요 정보를 담은 영상 구간을 취한 후, 해당 구간을 인식하고 이해하는 과정을 통해 정형화된 메타데이터인 시각지식을 생성하는 시각 지식 생성부; 상기 시각지식 생성부와 연동하여 상기 생성된 시각지식 정보를 미리 정의된 정형화된 스키마 또는 자료 구조에 대응되도록 다양한 유형의 저장 장치에 저장하는 시각지식 저장부; 상기 정형화된 스키마 또는 자료 구조를 저장하고, 상기 시각지식 활용부로 제공하는 스키마 제공부; 및 상기 시각지식 저장부와 연동하여 기 수집된 시각지식의 일부 또는 전체를 시각지식 분석 또는 시각지식을 이용한 응용 서비스에 제공하는 시각 지식 활용부를 포함한다.

Description

시각 지식 정보 저장 및 관리 시스템{Apparatus for storing and managing primitive visual knowledge information}
본 발명은 시각 지식 정보 저장 및 관리 시스템에 관한 것으로, 특히, 다양한 입력 영상으로부터 생성한 시각지식 정보를 기 정의된 스키마 또는 자료 구조에 따라 저장하고, 일부 또는 전체 시각지식 정보를 분석 또는 응용 서비스에서 활용하기 위한 시각 지식 정보 저장 및 관리 시스템에 관한 것이다.
최근, 전세계적으로 영상 데이터의 생산량이 급증하고 있는 가운데, 영상의 내용을 이해하여 실시간으로 감시 또는 이상 상황 감지를 하거나, 영상을 이해한 결과로부터 특정 이벤트, 상황 검색 등에 활용하고 있다. 예를 들어, 방송 콘텐츠의 경우, 각 영상 내 상황마다 전문가들이 직접 태그나 메타데이터를 작성하고, 키워드 검색을 이용한 원하는 장면을 찾고자 하는 방법이 고려되고 있다.
또한, 최근에는 시각지능 기술에 대한 관심이 급등하면서 자동으로 영상 내 객체들을 인식하고 상황, 이벤트 등을 이해하는 기술들이 많이 발전하고 있다. 예를 들어, 지능형 CCTV 분야에서는 실내외 공공장소에서 특정 장소에서 오래 머무는 객체를 감지하는 배회 감지 기술, 물건을 일정시간 이상 방치하는 상황을 감지하는 유기 감지 기술, CCTV 내 등장한 객체들을 추적하는 다중 객체 추적 기술, 갑작스러운 군중들의 행동 변화를 감지하는 비정상 이벤트 감지 기술 등 자동화된 시각지능 기술에 대해 많은 발전이 이루어지고, 실제 영상에 적용하기 위한 노력이 기울여지고 있다.
이와 같이 영상 데이터를 인식하고 이해하는 방법들을 통해, 영상에서 중요 정보만을 추출하여 정형화된 메타데이터인 “시각지식”을 생성하고, 시각지식 데이터에 대한 분석이나 특정 이벤트 검색 등 응용 서비스 개발과 같은 다양한 활용 방법들을 고려할 수 있다. 하지만 시각지식 정보를 그대로 분석 또는 응용 서비스에 활용하기에는 비효율적인 부분이 존재한다. 예를 들어, “승차하다”, “자전거를 타다” 등 특정 이벤트가 발생한 영상 구간을 검색하고자 할 때 시각지식 정보 중 이벤트 정보와 연관 객체 정보, 영상 구간 등의 정보만 활용하는 것이 검색 응용 시스템 구축에 용이할 수 있다.
또 다른 예로, 경로 클러스터링 등 영상 내 이동객체의 경로 데이터 분석을 수행하고자 할 때 시각지식 정보 중 매 프레임별 객체의 위치 정보, 객체의 등장 프레임 등의 정보만 활용하는 것이 분석 시스템에 용이할 수 있다.
이에, 본 발명의 목적은, 입력 영상으로부터 중요 정보만을 추출, 내용을 인식하고 이해하여 만들어낸 시각지식을 정형화하여 저장하고, 시각지식을 분석 또는 다양한 응용 서비스에서 활용하기 위해 필요한 방법과 갖춰야 할 시스템 구성 요소들에 대한 설명을 제공하도록 한 시각 지식 정보 저장 및 관리 시스템을 제공하는데 있다.
상기한 목적을 달성하기 위한 시각지식 정보 저장 및 관리 시스템은, 입력되는 영상으로부터 적어도 하나 이상의 중요 정보를 담은 영상 구간을 취한 후, 해당 구간을 인식하고 이해하는 과정을 통해 정형화된 메타데이터인 시각지식을 생성하는 시각 지식 생성부; 상기 시각지식 생성부와 연동하여 상기 생성된 시각지식 정보를 미리 정의된 정형화된 스키마 또는 자료 구조에 대응되도록 다양한 유형의 저장 장치에 저장하는 시각지식 저장부; 상기 정형화된 스키마 또는 자료 구조를 저장하고, 상기 시각지식 저장부로 제공하는 스키마 제공부; 및 상기 시각지식 저장부와 연동하여 기 수집된 시각지식의 일부 또는 전체를 시각지식 분석 또는 시각지식을 이용한 응용 서비스에 제공하는 시각 지식 활용부를 포함할 수 있다.
본 발명에 따르면, 입력된 영상으로부터 중요 정보를 담은 영상 구간에 대한 정형화된 시각지식을 생성하여 이를 정형화된 스키마 또는 자료 구조에 맞게 저장 및 관리할 수 있다. 또, 본 발명은 기 저장된 시각지식의 일부 또는 전체 정보를 제공하기 위한 방법 및 구성 요소를 포함하여 시각지식 분석 또는 응용 서비스 개발 시 시각지식의 일부 또는 전체 정보를 용이하게 활용할 수 있다.
도 1은 본 발명의 실시 예에 따른 시각 지식 정보 저장 및 관리 시스템에 대한 블록 구성을 나타낸 도면.
도 2는 본 발명의 실시 예에 따른 시각 지식 저장 정보 및 관리 시스템의 동작 원리를 설명하기 위한 도면.
도 3은 도 1에 도시된 시각 지식 생성부에 대한 상세 블록 구성을 나타낸 도면.
도 4는 도 1에 도시된 시각 지식 저장부에 대한 상세 블록 구성을 나타낸 도면.
도 5는 도 1에 도시된 시각 지식 저장부의 자료 구조를 나타낸 도면.
도 6은 도 1에 도시된 시각 지식 활용부에 대한 상세 블록 구성을 나타낸 도면.
도 7은 도 6에 도시된 시각 지식 활용부 스키마 구조에 대한 일 예를 나타낸 도면.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다. 본 발명의 실시 예를 설명하면서, 본 발명이 속하는 기술 분야에 익히 알려졌고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시 예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시 예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시 예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 시각 지식 정보 저장 및 관리 시스템에 대한 블록 구성을 나타낸 도면이다.
도 1에 도시한 바와 같이, 본 발명에 따른 시각 지식 정보 저장 및 관리 시스템은, 시각지식 생성부(10), 시각지식 저장부(20), 스키마 제공부(30) 및 시각지식 활용부(40)를 포함할 수 있다.
시각지식 생성부(10)는 적어도 하나 이상으로 구성될 수 있으며, 입력된 영상으로부터 적어도 하나 이상의 중요 정보를 담은 영상 구간을 취한 후, 해당 구간을 인식하고 이해하는 과정을 통해 정형화된 메타데이터인 시각지식을 생성하여 시각 지식 저장부(20)로 제공할 수 있다. 여기서, 상기 입력된 영상은 기 저장된 영상 파일, CCTV 등과 같이 연속적으로 계속 저장되는 스트림 영상 등을 포함할 수 있다.
한편, 상기 중요 정보를 담는 영상 구간은 적용 분야에 따라, 사람의 주관적인 기준에 따라, 또는 자동화된 알고리즘에 따라 전체 영상 중 일부를 판단할 수 있다. 예를 들어, 중요 정보를 담는 영상 구간을 화면 전환이 발생하여 다음 화면 전환이 이루어지는 순간까지로 정하거나, 움직이는 객체가 등장하여 사라질 때까지로 정하거나, optical flow 등의 수치의 크기가 급격히 증가하는 구간으로 정하는 방법을 포함할 수 있다.
시각지식은 중요 정보를 포함하는 영상 구간 내에 담겨있는 정보를 정형화된 메타데이터 형식으로 표현한 것이다. 다만 여기서의 시각지식은 단순한 객체 정보와 이벤트 정보뿐만 아니라 이에 대한 세부 속성들도 같이 포함할 수 있다. 예를 들어, 객체 정보의 경우 대표 색깔, 프레임별 색깔, 추정 크기, 움직임 여부 또는 평균 속도, 특징점 벡터, 객체가 사람인 경우 신체 부위 등을, 이벤트 정보의 경우 이벤트 정보간 인과 관계, 포함 관계, 상하 관계, 시공간 특징점 벡터 등을 포함할 수 있다.
시각지식 저장부(20)는 적어도 하나 이상의 시각지식 생성부(10)와 연동하여 생성된 시각지식 정보를 다양한 유형의 저장 장치에 저장할 수 있다.
그리고, 시각지식 저장부(20)는 정형화된 스키마 또는 자료 구조를 미리 정의를 해놓고, 시각지식 정보를 이에 맞추어 저장할 수 있다. 예를 들어, 시각지식 저장부(20)는 데이터베이스 관리 시스템(database management system)에서 제공하는 데이터 정의 언어(data definition language)를 이용하여 데이터베이스 스키마를 정의하고 데이터 관리 언어(data manipulation language)를 이용하여 시각지식 정보를 저장할 수 있다. 또 다른 예로, 시각지식 저장부(20)는 XML 스키마를 이용하여 저장하기 위한 구조를 기술하고, 시각지식 정보를 XML 스키마 구조에 맞는 XML 형태로 기술, 파일 형태로 저장할 수 있다.
시각지식 저장부(20)는 적어도 하나 이상의 시각지식 생성부(10)에서 제공한 시각지식 정보를 모두 포함할 수 있다.
시각지식 활용부(40)는 시각지식 저장부(20)와 연동하여 기 수집된 시각지식의 일부 또는 전체를 시각지식 분석 또는 시각지식을 이용한 응용 서비스 제공에 사용할 수 있다. 예를 들어, 시각지식에 기술되어 있는 객체들의 매 프레임 별 위치 정보를 이용하여 경로 클러스터링, 영상 내 의미 영역 분석 등 영상 내 이동 객체의 경로 데이터를 분석하는데 사용할 수 있다.
또 다른 예로, 시각 지식 활용부(40)는 시각지식 정보 중 이벤트 정보, 연관 객체 정보, 영상 구간 등의 정보를 이용하여 특정 이벤트가 발생한 영상 구간을 검색하는 응용 서비스를 제공할 수 있다.
시각지식 활용부(40)는 분석 또는 응용 서비스 종류에 따라 시각지식 정보 일부만을 저장할 수 있는 별도의 스키마 또는 자료 구조를 갖출 수 있다.
또한, 시각지식 활용부(40)는 시각지식의 일부 또는 전체 정보를 시각지식 저장부(20)의 스키마 또는 자료 구조와는 다른 방식의 스키마 또는 자료 구조를 갖출 수 있다.
시각지식 활용부(40)는 공개적으로 또는 별도로 제공하는 OAuth 등과 같은 인증을 받은 개발자, 사용자 등에 한정하여 네트워크 프로토콜을 이용한 파일 전송, 브라우저 등의 파일 다운로드 기능을 이용한 파일 전송, API를 이용한 데이터 전송 등의 방법을 통해 시각지식 저장부(20)로부터 시각지식의 일부 또는 전체를 제공받을 수 있다.
스키마 제공부(30)는 시각지식 저장부(20)에서 기 정의한 스키마 또는 자료 구조에 대한 정보를 저장할 수 있다. 이러한 정보는 문서, API 공개, 포털(portal) 등의 방법을 통해 제공할 수 있다.
시각지식 활용부(40)는 공개적으로 또는 스키마 제공부(30)에서 별도로 제공하는 OAuth 등과 같은 인증 방법을 통해 스키마 제공부에서 제공하는 스키마 또는 자료 구조에 대한 정보를 제공받을 수 있다.
이하, 상기와 같이 구성된 본 발명에 따른 시각지식 저장 및 관리 시스템에 대한 동작 원리에 대하여 도 2를 참조하여 설명하기로 한다.
도 2는 본 발명에 따른 시각 지식 정보 저장 및 관리 시스템의 동작 원리를 설명하기 위한 시스템 블록 구성도이다.
도 2에 도시한 바와 같이, 시각지식 생성부(10)는 입력된 영상으로부터 시각지식을 생성할 수 있다. 시각지식 저장부(20)는 적어도 하나의 시각지식 생성부(10)로부터 시각지식을 제공받아 기 정의된 스키마 또는 자료 구조에 따라 시각지식 정보를 저장할 수 있다.
또한, 시각지식 저장부(20)는 스키마 제공부(30)와 연동하여 기 정의된 스키마 또는 자료 구조에 대한 정보를 스키마 제공부(30)에 제공할 수 있다. 적어도 하나 이상의 시각지식 활용부(40)는 시각지식 저장부(20)와 연동하여 기 수집된 시각지식의 일부 또는 전체를 제공받아 시각지식 분석 또는 시각지식을 이용한 응용 서비스 제공에 사용할 수 있다.
시각지식 활용부(40)는 스키마 제공부(30)를 통해 시각지식 저장부(20)에서 사용하는 스키마 또는 자료 구조에 대한 정보를 받을 수 있으며, 이를 통해 시각지식 저장부(20)에서 제공하는 시각지식은 시각지식 활용부(40)에서 사용하는 스키마 또는 자료 구조로 변환될 수 있다.
또한, 시각지식 활용부(40)는 별도의 입력부와 출력부를 통해 적어도 하나 이상의 사용자와 연동하여 시각지식을 활용한 분석 또는 응용 서비스를 제공할 수 있다.
스키마 제공부(30)는 시각지식 저장부(20)에서 사용하는 스키마 또는 자료 구조에 대한 정보를 저장할 수 있다.
그리고, 스키마 제공부(30)는 적어도 하나의 시각지식 활용부(40)와 연동하여 기 저장된 스키마 또는 자료 구조를 제공할 수 있다.
여기서, 상기한 본 발명에 따른 시각 지식 정보 저장 및 관리 시스템에서 시각지식 생성부(10)에 대하여 구체적으로 살펴보기로 하자.
도 3은 본 발명의 일 실시예에 따른 시각 지식 정보 저장 및 관리 시스템에서 시각지식 생성부(10)의 상세 블록 구성을 나타낸 도면이다.
도 3에 도시된 바와 같이, 시각지식 생성부(10)는 영상 정보 입력부(11), 씬 생성부(12), 객체 정보 생성부(13), 객체간 관계 생성부(14), 이벤트 정보 생성부(15) 및 지식 생성부(16)를 포함할 수 있다.
영상 정보 입력부(11)는 시각지식 생성의 대상이 되는 영상을 입력으로 받어 씬 생성부(12)로 제공한다. 이때, 입력 영상은 기 저장된 영상 파일, CCTV 등과 같이 연속적으로 계속 저장되는 스트림 영상 등을 포함할 수 있다.
씬 생성부(12)는 영상 정보 입력부(11)로부터 제공되는 영상 내에서 발생하는 특정한 이벤트를 포함하는 영상 구간인 씬(scene)을 생성할 수 있다. 예를 들어, 길게 촬영된 CCTV 영상의 경우, 평소에는 유사한 배경 화면들만 지속적으로 촬영되지만 간혹 사람이나 자동차 등 객체가 등장하여 이벤트를 발생시킬 수 있다. 이러한 영상 구간을 씬으로 간주하고, 해당 씬에 대해서만 시각지식을 생성하여 저장하는 것이 효과적이면서도 효율적인 시스템 구성을 가능하게 해준다.
객체 정보 생성부(13)는 씬 생성부(12)에서 생성된 적어도 하나 이상의 각 씬에서 등장하는 객체들에 대한 정보를 생성할 수 있다. 여기서, 객체 정보는 사람이 직접 눈으로 보고 태그를 달아 생성하거나, 자동화된 객체 검출 및 인식 알고리듬을 통해 자동으로 생성할 수 있다.
객체간 관계 생성부(14)는 객체 정보 생성부(13)에서 생성된 객체 정보들을 이용하여 객체들 간의 관계를 분석하여 그 정보를 생성할 수 있다. 예를 들어, 객체의 공간 관계를 분석하여 두 객체가 가까워지거나, 계속하여 일정 거리를 유지하는 등의 정보를 추출하여, 객체간 관계 정보로 생성할 수 있다.
이벤트 정보 생성부(15)는 객체 정보 생성부(13)에서 생성된 객체 정보와 객체간 관계 생성부(14)에서 생성된 객체간 관계 생성 정보를 이용하여 해당 씬에서 발생한 이벤트를 검출하여 그 정보를 생성할 수 있다. 예를 들어, 어느 씬에서 객체로 사람과 차가 등장하며, 객체간 관계 정보로 사람과 차가 근접해 있다가 곧 이어 사람이 사라지는 경우 “사람이 차에 타다”라는 이벤트를 인식할 수 있다.
지식 생성부(16)은 씬 생성부(12)에서 생성된 씬 정보, 객체 정보 생성부(13)에서 생성된 객체 정보 및 이벤트 정보 생성부(15)에서 생성된 이벤트 정보에 따라 시각 지식 정보를 생성하는 것이다.
한편, 도 1에 도시된 본 발명에 따른 시각 지식 정보 저장 및 관리 시스템에서 시각지식 저장부(20)의 구체적인 구성 및 동작에 대하여 도 4를 참조하여 살펴보자.
도 4는 도 1에 도시된 시각지식 저장부(20)의 상세 블록 구성을 나타낸 도면이다.
도 4에 도시된 바와 같이, 시각지식 저장부(20)는, 지식 입력부(21), 씬 정보 저장부(22), 객체 정보 저장부(23), 이벤트 정보 저장부(24) 및 색인 구조 생성부(25)를 포함할 수 있다.
지식 입력부(21)는 시각지식 생성부(10)에서 생성한 시각지식 정보를 이용하여 시각지식 구조를 분석한 후 필요한 부분들을 씬 정보 저장부(22), 객체 정보 저장부(23), 이벤트 정보 저장부(24)에 제공할 수 있다. 여기서, 상기 시각 지식 생성부(10)에서 생성된 시각 지식 정보는, 도 3에 도시된 씬 생성부(12)에서 생성된 씬 정보, 객체 정보 생성부(13)에서 생성된 객체 정보 및 이벤트 정보 생성부(15)에서 생성된 이벤트 정보를 포함할 수 있다.
씬 저장 정보부(22)는 시각지식 중 지식정보 생성부(10)의 씬 생성부(12)에서 생성된 씬 정보를 저장할 수 있다.
객체 정보 저장부(23)는 시각지식 중 지식정보 생성부(10)의 객체 정보 생성부(13)에서 생성된 객체 정보를 저장할 수 있다. 이때, 도 3에서 도시한 바와 같이 객체 정보는 씬에서 검출하기 때문에 객체 정보는 씬 정보에 종속적인 형태로 저장할 수 있다.
이벤트 정보 저장부(24)는 시각지식 중 지식정보 생성부(10)의 이벤트 정보 생성부(14)에서 생성된 이벤트 정보를 저장할 수 있다. 이때, 도 3에서 도시한 바와 같이 이벤트 정보는 객체 정보와 객체간 관계 정보를 이용하여 생성하기 때문에 객체 정보에 종속적인 형태로 저장할 수 있다.
색인 구조 생성부(25)는 상기 씬 정보, 객체 정보 및 이벤트 정보들을 저장한 이후, 빠른 질의 및 효율적인 관리를 위해 다양한 형태의 색인 구조를 생성할 수 있다.
이하, 상기한 시각지식 저장부(20)의 자료 구조에 대하여 도 5를 참조하여 살펴보자.
도 5는 본 발명의 일 실시예에 따른 시각지식 저장부(20)의 자료 구조를 나타낸 도면이다.
먼저, 시각지식 저장부(20)의 자료 구조는 구성적 항목(Syntactics)과 의미적 항목(Semantics)에 상응하도록 구성될 수 있다.
구성적 항목에는 적어도 하나 이상의 씬 정보(Scenes)가 저장될 수 있다. 씬 정보는 적어도 하나 이상의 프레임 정보(Frames)가 연관되어 저장될 수 있다.
그리고, 구성적 항목에는 씬 내에서 검출된 객체 정보들(Objects)이 저장될 수 있다. 여기서, 객체 정보는 매 프레임마다 검출된 위치 정보(ObjectObservations)를 저장할 수 있다. 예를 들어, 객체 위치 정보는 검출된 프레임에 대한 참조, X축 좌표, Y축 좌표, 가로 길이, 세로 길이의 형태로 저장할 수 있다. 의미적 항목에는 씬 내에서 검출된 이벤트 정보들(Events)이 저장될 수 있다. 이때, 이벤트 정보는 적어도 하나 이상의 객체 정보와 관계를 갖고 저장될 수 있다.
상기 이벤트 정보는 매 프레임마다 검출된 위치 정보(EventObservations)를 저장할 수 있다. 예를 들어, 이벤트 위치 정보는 객체 위치 정보와 유사한 방법으로 검출된 프레임에 대한 참조, X축 좌표, Y축 좌표, 가로 길이, 세로 길이의 형태로 저장될 수 있다.
한편, 도 1에 도시된 시각 지식 활용부(40)에 대한 상세 구성과 동작에 대하여 도 6을 참조하여 살펴보자.
도 6은 본 발명의 일 실시예에 따른 시각지식 활용부(40)의 상세한 구성을 나타낸 블록 구성도이다.
도 6에 도시된 바와 같이, 시각지식 활용부(40)는 스키마 구성부(41), 데이터 수신부(41), 데이터 저장부(43), 데이터 제어부(44), 사용자 입력부(45) 및 결과 출력부(46)를 포함할 수 있다.
스키마 구성부(41)는 시각지식 활용을 위해 필요한 데이터의 저장 또는 구성 방법에 대해 분석하고, 응용 방법에 맞게 스키마를 만드는 작업을 수행할 수 있다. 이때, 시각지식 저장부(20)에서 사용한 시각지식 스키마 또는 저장 구조를 스키마 제공부(30)로부터 제공받아 스키마의 구성 시 참조할 수 있다.
데이터 수신부(42)는 스키마 구성부(41)에서 구성된 스키마를 기준으로 필요한 시각지식 정보를 시각지식 저장부(20)로부터 제공받는다.
데이터 저장부(43)는 스키마 구성부(41)에서 구성된 스키마를 기준으로 데이터 수신부(42)를 통해 수신된 시각지식 정보를 저장할 수 있다.
데이터 제어부(44)는 시각지식을 활용한 분석 또는 응용 서비스를 제공하기 위해 필요한 데이터를 데이터 저장부(43)로부터 제공받아 데이터 가공, 질의문 생성, 데이터 시각화 등의 작업을 수행할 수 있다.
데이터 제어부(44)는 필요에 따라 사용자 입력부(45)로부터 별도의 요구사항을 제공받아 분석 또는 응용 서비스 제공시 반영할 수 있다. 예를 들어, 시각지식을 이용한 검색 서비스의 경우, 사용자의 검색 대상을 요구사항으로 받아 데이터 저장부(43)로부터 검색하기 위한 질의문 생성을 수행할 수 있다.
사용자 입력부(45)는 사용자와 연동하여 시각지식을 활용한 분석 또는 응용 서비스를 제공하기 위해 사용자로부터 별도의 요구사항을 입력받을 수 있다. 예를 들어, 시각지식을 이용한 검색 서비스의 경우, 별도의 입력창을 통해 사용자가 검색하고 싶은 검색 대상, 가령 “사람”, “자동차”, “가방” 등과 같은 객체 타입이나 “승차하다”, “자전거를 타다” 등과 같은 이벤트 타입 등을 입력할 수 있다.
결과 출력부(46)는 사용자 입력부(45)를 통해 사용자 검색요구에 따라 데이터 제어부(44)의 분석 또는 응용 서비스의 결과를 별도의 인터페이스를 이용하여 사용자에게 출력해줄 수 있다.
도 7은 본 발명의 일 실시예에 따라 시각지식 검색 응용의 예에서 도 6에서의 시각지식 활용부(40) 내 데이터 저장부(43)가 사용하는 스키마 구조에 관한 구성을 나타낸 도면이다. 여기서, 시각지식 검색 응용의 예는 사용자가 검색하고 싶은 이벤트 타입, 예를 들어 “승차하다”, “자전거를 타다” 등이 도 6의 사용자 입력부(45)를 통해 입력되면, 도 6의 데이터 제어부(44)는 도 6의 데이터 저장부(43)에서 해당 이벤트를 포함하는 씬 정보와 연관 객체들, 해당 이벤트가 시작하는 시점 등을 가져오기 위한 질의문을 작성하여 데이터 저장부(43)에서 필요한 시각지식 정보를 제공받은 후, 도 6의 결과 출력부(46)에 시각지식 정보를 제공하여 사용자에게 출력하는 경우에 대해 설명한다.
도 7에 도시한 바와 같이, 시각지식 활용부(40)는 씬(Scenes) 테이블과 이벤트(Events) 테이블을 포함할 수 있다.
씬 테이블은 씬에 대해 필요한 정보들을 저장하며, 영상 파일 위치(VideoLocation), 영상 해상도(VideoResolution), 영상 프레임 속도(VideoFps), 씬 시작 지점(FrameStart)과 씬 종료 지점(FrameEnd)를 포함할 수 있다.
이벤트 테이블은 씬 테이블에 대한 참조(SceneRef)를 통해 이벤트가 씬에 종속되도록 할 수 있다.
이벤트 테이블은 검색의 효율성을 위해 객체 정보(Subject, Object1, Object2)를 포함할 수 있다. 여기서, 이벤트는 그 외에도 이벤트 이름(Activity), 이벤트 시작 지점(FrameStart), 이벤트 종료 지점(FrameEnd)를 포함할 수 있다.
도 5에 도시한 시각지식 저장부(20)의 자료 구조와 비교하였을 때, 도 7에 도시한 시각지식 활용부(40)의 스키마 구조는 원 자료 구조의 형태를 그대로 사용하지는 않으며 경우에 따라 일부 항목은 사용하지 않을 수 있다. 예를 들어, 도 7의 시각지식 활용부(40)의 스키마 구조는 도 5의 시각지식 저장부(20)의 자료 구조에서 사용하는 ObjectObservtions, EventObservations 항목을 포함하지 않는다.
이상에서 설명한 실시 예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 시각지식 생성부 11 : 영상 정보 입력부
12 : 씬 생성부 13 : 객체 정보 생성부
14 : 객체 간 관계 생성부 15 : 이벤트 정보 생성부
16 : 지식 생성부 20 : 시각지식 저장부
21 : 지식 입력부 22 : 씬 정보 저장부
23 : 객체 정보 저장부 24 : 이벤트 정보 저장부
30 : 스키마 제공부 40 : 시각지식 활용부
41 : 스키마 구성부 42 : 데이터 수신부
43 : 데이터 저장부 44 : 데이터 제어부
45 : 사용자 입력부 46 : 결과 출력부

Claims (1)

  1. 시각지식 정보 저장 및 관리 시스템에 있어서,
    입력된 영상으로부터 적어도 하나 이상의 중요 정보를 담은 영상 구간을 취한 후, 해당 구간을 인식하고 이해하는 과정을 통해 정형화된 메타데이터인 시각지식을 생성하는 시각 지식 생성부;
    상기 시각지식 생성부와 연동하여 상기 생성된 시각지식 정보를 미리 정의된 정형화된 스키마 또는 자료 구조에 대응되도록 다양한 유형의 저장 장치에 저장하는 시각지식 저장부;
    상기 정형화된 스키마 또는 자료 구조를 저장하고, 이를 제공하는 제공하는 스키마 제공부; 및
    상기 시각지식 저장부와 연동하여 기 수집된 시각지식의 일부 또는 전체를 시각지식 분석 또는 시각지식을 이용한 응용 서비스에 제공하는 시각 지식 활용부를 포함하는 것인 시각 지식 정보 저장 및 관리 시스템.
KR1020170114331A 2017-09-07 2017-09-07 시각 지식 정보 저장 및 관리 시스템 및 그 방법 KR102052184B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170114331A KR102052184B1 (ko) 2017-09-07 2017-09-07 시각 지식 정보 저장 및 관리 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170114331A KR102052184B1 (ko) 2017-09-07 2017-09-07 시각 지식 정보 저장 및 관리 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190027498A true KR20190027498A (ko) 2019-03-15
KR102052184B1 KR102052184B1 (ko) 2019-12-04

Family

ID=65762527

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170114331A KR102052184B1 (ko) 2017-09-07 2017-09-07 시각 지식 정보 저장 및 관리 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102052184B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101090763B1 (ko) * 2003-11-26 2011-12-08 한국전자통신연구원 디지털 아이템 사용에 따른 이벤트 리포팅을 위한 데이터구조와 이를 이용한 이벤트 보고 시스템 및 그 방법
KR20150142100A (ko) * 2014-06-10 2015-12-22 주식회사 유니인포 클라우드 컴퓨팅 기반 SaaS 형태의 동영상 서비스 시스템 및 그 방법
KR20160055591A (ko) * 2014-11-10 2016-05-18 한국전자통신연구원 편집형 영상객체 표현 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101090763B1 (ko) * 2003-11-26 2011-12-08 한국전자통신연구원 디지털 아이템 사용에 따른 이벤트 리포팅을 위한 데이터구조와 이를 이용한 이벤트 보고 시스템 및 그 방법
KR20150142100A (ko) * 2014-06-10 2015-12-22 주식회사 유니인포 클라우드 컴퓨팅 기반 SaaS 형태의 동영상 서비스 시스템 및 그 방법
KR20160055591A (ko) * 2014-11-10 2016-05-18 한국전자통신연구원 편집형 영상객체 표현 방법 및 장치

Also Published As

Publication number Publication date
KR102052184B1 (ko) 2019-12-04

Similar Documents

Publication Publication Date Title
JP6446971B2 (ja) データ処理装置、データ処理方法、及び、コンピュータ・プログラム
US11397462B2 (en) Real-time human-machine collaboration using big data driven augmented reality technologies
US10708635B2 (en) Subsumption architecture for processing fragments of a video stream
US20160357762A1 (en) Smart View Selection In A Cloud Video Service
US11789993B2 (en) Correlating non-text machine data using event fields
US10255243B2 (en) Data processing method and data processing system
KR102271929B1 (ko) 장면 이해를 통해 비디오 요약을 생성하는 방법 및 이를 위한 시스템
EP3087732A1 (en) Smart shift selection in a cloud video service
US20210124741A1 (en) Predicting potential incident event data structures based on multi-modal analysis
US20210117467A1 (en) Systems and methods for filtering of computer vision generated tags using natural language processing
US11776271B2 (en) Systems and methods for creating a story board with forensic video analysis on a video repository
KR101954717B1 (ko) 고속분석 영상처리장치 및 그 장치의 구동방법
US10719552B2 (en) Focalized summarizations of a video stream
KR101295842B1 (ko) 객체 태깅을 위한 플랫폼 시스템 및 그 방법
KR20150087034A (ko) 객체-콘텐츠 부가정보 상관관계를 이용한 객체 인식장치 및 그 방법
US10902249B2 (en) Video monitoring
CN116796015A (zh) 一种可视化多模态数据采集、传输、处理的方法
CN115630191B (zh) 基于全动态视频的时空数据集检索方法、装置及存储介质
KR102052184B1 (ko) 시각 지식 정보 저장 및 관리 시스템 및 그 방법
KR20220108668A (ko) 동영상 분석 방법
Hu et al. MmFilter: Language-guided video analytics at the edge
CN108809900B (zh) 一种统一资源访问的框架及方法
CN117216308B (zh) 基于大模型的搜索方法、系统、设备及介质
US20240212324A1 (en) Video retrieval system using object contextualization
KR102439122B1 (ko) 메타버스 환경 내 사용자 위치분석 모니터링 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant