KR101398700B1 - 비디오 동영상 데이터를 위한 주석 시스템 및 방법 - Google Patents

비디오 동영상 데이터를 위한 주석 시스템 및 방법 Download PDF

Info

Publication number
KR101398700B1
KR101398700B1 KR1020120149930A KR20120149930A KR101398700B1 KR 101398700 B1 KR101398700 B1 KR 101398700B1 KR 1020120149930 A KR1020120149930 A KR 1020120149930A KR 20120149930 A KR20120149930 A KR 20120149930A KR 101398700 B1 KR101398700 B1 KR 101398700B1
Authority
KR
South Korea
Prior art keywords
annotation
information
event
video
module
Prior art date
Application number
KR1020120149930A
Other languages
English (en)
Inventor
김유성
김학일
김주성
김경연
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020120149930A priority Critical patent/KR101398700B1/ko
Application granted granted Critical
Publication of KR101398700B1 publication Critical patent/KR101398700B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/006—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with video camera or receiver
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B2020/10935—Digital recording or reproducing wherein a time constraint must be met
    • G11B2020/10944—Real-time recording or reproducing, e.g. for ensuring seamless playback of AV data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 실시예는 비디오 동영상 데이터에 대한 메타 정보를 지원하는 시스템과 그 방법에 대한 것이다. 비디오 동영상의 촬영 정보를 수집하고 편집하는 촬영 정보 편집 모듈; 비디오 동영상에서 주석을 부여하고자 하는 객체와 이벤트를 정의하고 등록하는 객체와 이벤트 정의 및 특성 정보 관리 모듈; 자동 인식 프로그램을 통해 비디오 동영상으로부터 키 프레임을 구분하고 객체와 이벤트를 추출하여 주석 정보를 생성하는 키 프레임 객체 및 이벤트 자동 추출 모듈; 이러한 객체 및 이벤트 자동 인식 프로그램을 등록하고 실행 여부 및 순서를 결정하는 객체와 이벤트 자동 인식 프로그램 관리 모듈, 생성된 주석 정보를 편집하는 키 프레임 객체 및 이벤트 편집 모듈; 객체와 이벤트를 참조하여 주석 정보를 동적으로 생성하기 위한 동적 XML 스키마 자동 생성 모듈; 및 카메라를 통해 수집되는 촬영 정보와 편집된 주석 정보를 통합하여 데이터 파일을 생성하고 저장하는 주석 XML 데이터 생성 모듈을 포함하는 비디오 동영상 주석 시스템이 제공될 수 있다.

Description

비디오 동영상 데이터를 위한 주석 시스템 및 방법{ANNOTATION SYSTEM AND METHOD FOR VIDEO DATA}
본 발명의 실시예는 비디오 동영상 데이터에 대한 주석 메타 정보의 생성을 지원하는 시스템과 그 방법에 대한 것이다.
기존의 주석 시스템들은 비디오 동영상의 모든 프레임을 대상으로 수동으로 주석을 생성하도록 구비되어있기 때문에 주석 생성 시간이 오래 걸리며, 또한 장시간의 수작업으로 인해 생성된 주석 데이터는 질이 저하되는 문제점이 발생할 수 있다.
한편, 사회 범죄, 안전, 재난 대비 등의 목적으로 지능형 CCTV 시스템들을 국가 기관 및 다양한 기업에서 많이 운영하고 있다. 그러나, 다양한 시스템의 수만큼 다양한 데이터들을 통합해서 관리하는 시스템은 현재 부재하다.
이와 관련하여, 한국공개특허 제10-2011-0036934호에서는 비디오 컨텐츠 내 인물들의 자동화된 주석을 위한 방법과 시스템에 대해서 기재하고 있으며, 자세히는 비디오 스트림으로부터 얼굴 트랙을 생성하여 모델링함으로써 인물들에 대해 주석을 자동으로 제공하는 방법과 그 시스템에 대해서 기재하고 있다.
본 발명의 실시예에서는 비디오 동영상 데이터에 대해 객체 및 이벤트 자동 인식 프로그램을 사용하여 주석을 자동으로 생성한 후 주석 생성자가 수작업으로 검토하여 품질 높은 주석 정보를 생성할 수 있도록 지원하는 시스템과 방법을 제안한다.
또한, 여러 개의 객체와 이벤트 자동 인식 프로그램들을 조합적으로 사용하여 초기의 주석 정보를 생성할 수 있도록 지원하기 위해 객체와 이벤트 자동 인식 프로그램의 실행 모듈들을 등록하고 적용 여부 및 적용 순서를 결정하는 인터페이스를 지원한다. 그리고 생성되는 주석 데이터를 비디오 동영상 별로 XML 형태로 개별적으로 저장하거나 또는 전체 비디오 동영상을 위한 통합 주석 데이터베이스에 저장, 관리한다.
더불어, 이렇게 생성된 주석 정보를 비디오 동영상 데이터로부터 객체 및 이벤트들을 자동으로 인식하는 소프트웨어 프로그램의 기계 학습(Machine learning) 및 성능 평가를 위한 지상 실측 데이터(Ground truth data)로 제공하여 지능형 CCTV 시스템을 개발하는 관련 기업들이 쉽게 알고리즘 개발 및 성능 평가에 사용할 수 있도록 제공한다.
비디오 동영상의 촬영 정보를 수집하고 편집하는 촬영 정보 편집 모듈; 비디오 동영상에서 주석을 부여하고자 하는 객체와 이벤트를 정의하고 등록하는 객체와 이벤트 정의 및 특성 정보 관리 모듈; 주석의 자동 생성을 위해 비디오 동영상 자동 인식 프로그램을 등록하여 적용 여부 및 순서를 결정하는 객체와 이벤트 자동 인식 프로그램 관리 모듈; 등록된 자동 인식 프로그램을 이용하여 비디오 동영상으로부터 키 프레임을 구분하고 객체와 이벤트를 추출하여 주석 정보를 생성하는 키 프레임 객체 및 이벤트 자동 추출 모듈; 생성된 주석 정보를 편집하는 키 프레임 객체 및 이벤트 편집 모듈; 객체와 이벤트를 참조하여 주석 정보를 동적으로 생성하기 위한 동적 XML 스키마 자동 생성 모듈; 및 카메라를 통해 수집되는 촬영 정보와 편집된 주석 정보를 통합하여 데이터 파일을 생성하고 저장하는 주석 XML 데이터 생성 모듈을 포함하는 비디오 동영상 주석 시스템이 제공될 수 있다.
일측에 있어서, 객체와 이벤트 정의 및 특성 정보 관리 모듈은 등록되어 있는 객체와 이벤트에 대해서 추가, 삭제 및 수정이 가능하며, 각 객체와 이벤트에 대해서 특성을 추가, 삭제 및 수정이 가능하고, 객체와 이벤트 정의 및 특성 정보 관리 모듈의 변경 사항은 비디오 동영상의 주석 정보에 실시간으로 반영될 수 있다.
또 다른 측면에 있어서, 객체와 이벤트 자동 인식 프로그램 관리 모듈은 객체와 이벤트 자동 인식 프로그램을 하나 이상 포함하여 자유롭게 변경 등록할 수 있으며, 객체와 이벤트 자동 인식 프로그램은 객체와 이벤트가 존재하는 키 프레임을 찾기 위해 지정된 순서대로 비디오 동영상에 적용될 수 있다.
또 다른 측면에 있어서, 키 프레임 객체 및 이벤트 자동 추출 모듈은 이벤트 정의 및 특성 정보 관리 모듈에 등록된 객체와 이벤트 및 특성 정보를 참조하여 주석 정보의 구조를 결정할 수 있다.
또 다른 측면에 있어서, 키 프레임 객체 및 이벤트 편집 모듈은 생성된 주석 정보를 편집하거나 새로이 추가되는 키 프레임의 객체와 이벤트의 주석 정보를 추가 편집하며, 해당 주석 정보의 편집이 완료되면 키 프레임의 주석 정보만 남을 수 있다.
또 다른 측면에 있어서, 동적 XML 스키마 자동 생성 모듈은 주석 정보를 표현하기 위한 XML(eXtensible Markup Language) 스키마를 상기 객체와 이벤트의 특성들을 동적으로 반영하여 주석 정보의 생성을 지원할 수 있다.
또 다른 측면에 있어서, 객체와 이벤트의 특성 정보와 카메라와 비디오 관련 촬영 정보, 그리고 비디오 동영상의 주석 정보를 저장하는 통합 주석 DB로, 객체와 이벤트가 존재하는 키 프레임의 주석 정보와 카메라와 비디오 관련 촬영 정보 등을 종합하여 전달하는 주석 데이터 생성 모듈; 통합 주석 DB에 저장되어 있는 객체와 이벤트의 특성 정보의 스키마를 객체와 이벤트 정의 및 특성 정보 관리 모듈로 전달하는 동적 DB 스키마 관리 모듈; 및 통합 주석 DB에 저장된 주석 정보에 대해서 필요한 정보를 검색하여 사용자에게 제공하는 질의 검색 모듈을 더 포함할 수 있다.
또 다른 측면에 있어서, 질의 검색 모듈은 사용자의 다양한 방식의 질의를 통해서 자동 인식 프로그램을 위한 기계 학습 및 성능 평가용 지상 실측 데이터로서 필요한 정보를 검색하며, 통합 주석 DB로부터 검색한 결과를 XML 파일로 사용자에게 제공할 수 있다.
비디오 동영상을 획득하는 단계; 비디오 동영상으로부터 객체와 이벤트를 식별하는 단계; 객체와 이벤트를 이용하여 주석 정보를 생성하고 편집하는 단계; 및 편집된 주석 정보를 통합하여 데이터 파일로 생성하고 데이터베이스에 저장하는 단계를 포함하는 비디오 동영상 주석 방법이 제공될 수 있다.
본 발명의 실시예를 통해서 비디오 동영상 데이터에 대해 객체와 이벤트 자동 인식 프로그램을 사용하여 주석을 자동으로 생성한 후 주석 생성자가 수작업으로 검토하여 품질 높은 주석 정보를 생성할 수 있도록 지원하는 시스템과 방법을 제안할 수 있다.
또한, 여러 개의 객체와 이벤트 자동 인식 프로그램들을 조합적으로 사용하여 초기의 주석 정보를 생성할 수 있도록 지원하기 위해 객체와 이벤트 자동 인식 프로그램의 실행 모듈들을 등록하고 적용 여부 및 적용 순서를 결정하는 인터페이스를 지원할 수 있다. 그리고 생성되는 주석 데이터를 비디오 동영상 별로 XML 형태로 개별적으로 저장하거나 또는 전체 비디오 동영상을 위한 통합 주석 데이터베이스에 저장, 관리할 수 있다.
더불어, 이렇게 생성된 주석 정보를 비디오 동영상 데이터로부터 객체 및 이벤트들을 자동으로 인식하는 소프트웨어 프로그램의 기계 학습(Machine learning) 및 성능 평가를 위한 지상 실측 데이터(Ground truth data)로 사용될 수 있다.
도 1은 본 발명의 일실시예에 있어서, 비디오 동영상 주석 시스템의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 일실시예에 있어서, 사용자에게 제공되는 비디오 동영상 주석 시스템의 사용자 인터페이스 화면을 나타낸 것이다.
도 3은 본 발명의 일실시예에 있어서, 비디오 동영상 주석 방법을 설명하기 위한 흐름도이다.
이하, 비디오 동영상 주석 시스템과 시스템에서 수행되는 방법에 대해서 첨부된 도면을 참조하여 자세히 설명한다.
도 1은 본 발명의 일실시예에 있어서, 비디오 동영상 주석 시스템의 구성을 설명하기 위한 블록도이다. 본 발명에서 제안하는 비디오 동영상 주석 시스템은 크게 두 가지로 구분될 수 있는데, 사용 목적에 따라 개인용(소규모) 시스템과 기관용(대규모) 시스템으로 구분할 수 있다. 개인용은 사용자가 비디오 동영상의 주석 데이터를 직접 XML(eXtensible Markup Language) 파일 형태로 생성하는 기능을 가지며, 기관용은 비디오 동영상들의 주석 정보를 통합 주석 DB(130)에 저장하고 관리할 수 있도록 하며 필요한 기계 학습용 또는 성능 평가용 지상 실측 데이터를 검색하기 위한 검색 인터페이스를 통하여 사용자가 XML 파일 형태로 제공받도록 한다.
비디오 동영상 주석 시스템(100)은 촬영 정보 편집 모듈(111), 객체와 이벤트 정의 및 특성 정보 관리 모듈(112), 객체와 이벤트 자동 인식 프로그램 관리 모듈(114), 키 프레임 객체 및 이벤트 자동 추출 모듈(113), 키 프레임 객체 및 이벤트 편집 모듈(115), 동적 XML 스키마 자동 생성 모듈(116), 주석 XML 데이터 생성 모듈(117)을 기본적으로 개인용 시스템으로 포함할 수 있으며, 동적 DB 스키마 관리 모듈(121), 주석 데이터 생성 모듈(122), 질의 검색 모듈(123), 통합 주석 DB(130)까지를 기관용 시스템으로 더 포함하여 구성될 수 있다.
도 1에 도시된 화살표는 참조 관계, 정보 처리, 관리 관계를 표시한다. 실선은 개인용 시스템과 기관용 시스템에서 공통적으로 나타나는 정보의 이동을 나타낸 것이며, 파선은 참조 관계를 나타낸 것이다. 또한, 실시예에 있어서, “???”의 진한 파선은 기관용 시스템에서만 나타날 수 있는 정보 처리를, “????”의 엷은 파선은 개인용 시스템에서만 나타나는 정보 이동 관계를 도시한 것이다.
촬영 정보 편집 모듈(111)에서는 주석을 생성하기 위한 비디오 동영상에 관련된 다양한 정보를 수집하고 편집한다. 예컨대 카메라의 제원, 설치 장소, 고정되어 있는지 여부, GPS 정보, 촬영 방향과 앵글, 날짜, 날씨, 거리 등의 세부적인 정보를 편집하여 촬영 정보를 시스템(100)에 추가할 수 있도록 한다.
객체와 이벤트 정의 및 특성 정보 관리 모듈(112)은 비디오 동영상에서 주석을 부여하고자 하는 객체와 이벤트들을 정의, 등록하고 각 객체와 이벤트에 대해서 필요한 특성을 정의하고 편집할 수 있다. 이때 편집된 정보는 저장될 수 있다.
키 프레임 객체와 이벤트 자동 추출 모듈(113)은 입력 비디오 동영상으로부터 키 프레임을 구분하고 이때 객체와 이벤트 정의 및 특성 정보 관리 모듈(112)에서 정의한 객체와 이벤트를 참조하여, 객체와 이벤트 자동 인식 프로그램 관리 모듈(114)에서 설정된 자동 인식 프로그램들을 지정한 순서대로 비디오 동영상에 적용하여 주석 정보를 생성하고 합쳐진 주석 정보의 구조를 결정할 수 있다.
여기서, 객체와 이벤트 자동 인식 프로그램 관리 모듈(114)에서 키 프레임으로부터 객체와 이벤트 관련 정보를 자동으로 추출하는 자동 인식 프로그램을 관리하고, 이때 자동 인식 프로그램은 하나이상 포함되며, 객체와 이벤트 자동 인식 프로그램 관리 모듈(114)은 자동 인식 프로그램을 자유롭게 변경 등록하여 주석 정보를 생성할 수 있다.
키 프레임 객체 및 이벤트 편집 모듈(115)은 키 프레임 객체 및 이벤트 자동 추출 모듈(113)에서 생성된 주석 정보들을 편집하거나, 사용자의 요청에 의해 추가되는 키 프레임의 객체와 이벤트 정보를 추가적으로 편집할 수 있다. 이에, 해당 주석 정보들의 편집이 완료되면 비디오 동영상의 주석 정보는 모든 프레임에 대한 것이 아닌 키 프레임의 주석 정보만 남게 된다.
동적 XML 스키마 자동 생성 모듈(116)은 등록된 객체, 이벤트와 이에 대한 특성 정보를 참조하여 주석 정보를 표현하기 위해 XML 스키마를 동적으로 생성할 수 있다. 기존의 고정된 XML 스키마 대신 객체와 이벤트의 특성들을 동적으로 반영하여 주석 정보를 생성하도록 지원할 수 있다.
주석 XML 데이터 생성 모듈(117)은 사용자가 편집한 촬영 정보와, 자동 인식 프로그램으로 획득하고 수동 편집으로 생성한 키 프레임 주석 정보를 통합하여 주석 XML 데이터 파일을 생성할 수 있다. 이때, 동적 XML 스키마 자동 생성 모듈(116)에서 생성된 XML 스키마를 기반으로 하여 주석 XML 파일을 생성할 수 있다. 주석 XML 파일은 해당 비디오 동영상의 촬영 정보 그리고 객체와 이벤트들의 주석 데이터를 포함하여 구성되어 있다.
앞서 설명한 바와 같이, 비디오 동영상 주석 시스템(100)은 개인용과 기관용으로 제공될 수 있는데, 기본적으로 비디오 동영상의 기본 정보 및 부가 정보를 수집 및 편집하고, 주석 정보를 편집하는 등에 대해서는 일치하나 주석 정보를 관리하거나 저장하고, 사용자에게 제공하는 데에 차이점이 있다. 이에, 기관용 시스템은 상기에 설명한 구성을 비롯하여 동적 DB 스키마 관리 모듈(121), 주석 데이터 생성 모듈(122), 질의 검색 모듈(123), 통합 주석 DB(130)을 포함할 수 있다.
먼저, 기관용 시스템에서 객체와 이벤트 정의 및 특성 정보 관리 모듈(112)은 통합 주석 DB(130)의 객체와 특성 데이터의 스키마와 연동이 되고, 이에 동적 DB 스키마 관리 모듈(121)은 통합 주석 DB(130)의 객체와 특성 데이터의 스키마를 객체와 이벤트 정의 및 특성 정보 관리 모듈(112)로 제공해주는데, 이때 제공되는 내용은 가장 실시간의 변경된 내용이 된다.
여기서, 통합 주석 DB(130)는 객체와 이벤트의 특성 정보와 카메라를 통한 촬영 정보, 그리고 비디오 동영상 별 객체와 이벤트들의 주석 데이터를 저장하는 저장 공간으로, 시스템(100)의 외부에 존재하거나 시스템(100)에 포함되어 구성될 수 있다.
주석 데이터 생성 모듈(122)은 사용자가 자동 또는 수동으로 편집한 키 프레임 주석 데이터와 카메라의 촬영 정보를 통합 주석 DB(130)로 저장하기 위한 것으로, 편집 정보는 키 프레임 객체 편집 모듈(115)과 카메라 & 촬영 정보로부터 전달받을 수 있다.
질의 검색 모듈(123)은 통합 주석 DB(130)에 저장된 주석 정보 중에서 사용자가 자동 인식 프로그램을 위한 기계 학습 및 성능 평가용 지상 실측 데이터로 필요한 정보를 검색하기 위한 검색을 다양한 방식으로 수행할 수 있는 인터페이스를 제공할 수 있다. 질의 인터페이스를 통해 필요한 질의를 검색하는 요구가 제기되면, 통합 주석 DB(130)로부터 검색한 결과를 동적 XML 스키마 자동 생성 모듈(116)과 주석 XML 데이터 생성 모듈(117)을 통해 주석 XML 파일로 사용자에게 제공될 수 있다.
도 2는 본 발명의 일실시예에 있어서, 비디오 동영상 주석 시스템에서 제공하는 사용자 인터페이스 메인 화면(200)을 도시한 실시예이다. 메인 화면(200)은 컴퓨터, 랩톱(Laptop) 등의 디스플레이를 포함하는 기기에 제공되며, 이에 구성하는 각 부분에 대해서 설명한다.
영역(201)은 등록한 객체들과 이벤트들의 목록을 표시하기 위한 것으로, 주석에 포함될 수 있는 후보 객체와 이벤트를 표시한다. 이에 객체 정보들과 이벤트를 편집하기 위한 것으로, 객체와 이벤트의 추가, 삭제, 수정이 가능하고, 또한 각 객체와 이벤트들의 특성들을 추가, 삭제, 수정할 수 있다. 이는 비디오 동영상 주석 작업은 사용자의 다양한 목적과 작성하고자 하는 특성이 다를 수 있기 때문이다.
실시예에 있어서, 객체와 리스트를 보여주고 영역(201)의 우측에 있는 “Object_Event Info. Edit”버튼을 눌러 관련 정보를 추가하거나 삭제할 수 있고 해당 객체의 색상을 지정해 메인 화면(200)에서 객체의 ROI(Region of Interest)를 표시할 때 지정된 색상으로 나타나도록 표시할 수 있는 영역과, 선택된 객체와 이벤트의 특성들을 보여주고 추가, 삭제, 수정 작업을 할 수 있도록 해주는 영역이 각각 제공된다. 작업이 완료되면 저장 버튼을 통해 저장이 가능하다.
도 1을 참조하여 설명하면, 사용자가 편집한 객체와 이벤트에 관련된 특성 정보들은 개인용 시스템의 경우 동적 XML 스키마 자동 생성 모듈(116)에 반영되고, 기관용 시스템의 경우에는 통합 주석 DB(130)의 스키마에 동적으로 반영될 수 있다.
실시예에 있어서, 개인용 시스템에서 동적 XML 스키마 자동 생성 모듈(116)은 객체 및 이벤트와 관련 특성들을 “class”/“event”와 하위의 “attr” 엘리먼트를 이용하여 사용자가 원하는 객체들과 특성들을 반영할 수 있게 설계되어 있으며, 기관용 시스템은 통합 주석 DB(130)의 스키마에 객체 및 이벤트 스키마를 추가, 삭제, 변경할 수 있도록 동적 DB 스키마 관리 모듈(121)을 통하여 객체 및 이벤트와 관련된 특성들을 반영할 수 있게 설계되어 있다. 여기서, 등록된 객체와 이벤트에 관련된 특성 정보는 실시간 편집 중인 비디오 동영상의 주석에 바로 반영되어 사용자가 원하는 객체와 이벤트에 관련된 특성들을 만들 수 있다.
영역(202)에서는 현재 프레임에 있는 객체들의 정보가 표시된다. 이때 영역(202)의 객체 정보 중 하나를 선택하면 해당 객체에 대한 ROI 영역 이미지가 영역(203)에 나타난다. 또한, 하나의 객체를 선택한 후 더블 클릭하면 객체 특성을 편집할 수 있는 편집 화면이 나타나 해당 객체의 특성들 및 해당 객체와 관련 이벤트들을 편집할 수 있다.
영역(204)은 비디오 동영상내 모든 프레임의 객체들을 나타낸 리스트 화면이다. 영역(204)의 우측에 있는 “Save” 버튼을 누르면 현재까지 생성된 주석 데이터를 도 1의 비디오 동영상 주석 시스템(100) 중 개인용 시스템에서는 주석 XML 데이터 생성 모듈(117)에서 주석 XML 데이터 파일을 생성할 수 있고, 기관용에서는 주석 데이터 생성 모듈(122)을 통해서 통합 주석 DB(130)에 저장될 수 있다.
영역(205)은 비디오 동영상의 기본적인 정보들, 예컨대 동영상의 명칭, 전체 프레임 수, 총 재생시간, 초당 프레임 수(Frame per Sec.), 동영상의 해상도 등의 정보를 포함하고 있다. 영역(205)의 상단에 “Camera Info.” 버튼은 편집 비디오 동영상에 관련된 촬영 정보들과 비디오 동영상의 관계된 정보를 보여주고 편집하기 위한 기능이다.
이때, “Camera Info.” 버튼을 실행시키게 되면, 촬영 정보, 실시예에 있어서, 촬영 카메라에 대한 정보와 촬영 중인 비디오 동영상의 정보를 편집할 수 있는데, 이에 대한 정보는 제원, 촬영 방식, 촬영 위치, 촬영 당시 날짜, 날씨, 고정식 여부, GPS 정보, 촬영 방향과 앵글 정보 등이 촬영 정보에 해당하며, 촬영 정보 편집 모듈(111)과 관계되어 있으며, 편집된 정보는 다양하게 활용될 수 있는데, 예컨대 사용자는 다른 비디오 동영상과 비교 시에 활용하여 시간과 공간, 날씨 등 다채로운 비교를 통해 새로운 정보를 획득할 수 있다.
또한, 영역(206)의 “Navigation Display”는 편집 동영상의 프레임 위치 표시와 미리 보기 화면을 제공하고, 프레임 탐색 버튼, 스크롤 바, 숫자를 입력하여 원하는 프레임으로 이동하여 미리 보기 화면을 볼 수 있는 기능을 제공하며, 더불어 편집을 원하는 화면이 미리 보기 화면에 나타났을 때 영역(206)의 상단에 “Show this to ->” 버튼을 실행하여 영역(207) “Annotation Target Frame”의 편집 가능한 화면을 제공할 수 있다.
영역(207)의 “Annotation Target Frame”은 영역(206)의 “Navigation Display”에서 선택된 프레임의 영상을 디스플레이하며 해당 주석 정보를 편집하는 주 화면으로서, 객체의 ROI를 설정하여 주석을 생성하고자 하는 객체를 지정하고, 객체의 관련 특성으로 주석을 편집할 수 있는 화면이다.
도 2와 같은 사용자 인터페이스 화면에서는 객체와 이벤트의 자동 인식 프로그램을 관리하는 화면을 또한 제공할 수 있다. 자동 인식 프로그램 관리 화면은 비디오 동영상 정보로부터 자동으로 주석 정보를 생성하기 위해 다양한 자동 인식 프로그램을 등록하고, 이들의 실행 순서를 결정할 수 있으며, 이에 프로그램의 등록, 삭제, 편집이 가능하다.
자동 인식 프로그램 관리 인터페이스 화면은 자동 인식 프로그램을 동적으로 등록하여 적용 여부, 적용 순서 등을 관리하도록 한다. 실시예에 있어서, 자동 인식 프로그램의 실행 순서를 변경할 수 있고, 프로그램을 선택하여 실행 여부를 결정할 수 있다. 편집된 정보는 저장버튼을 제공함으로써 해당 작업들을 저장할 수 있으며, 앞서 설명한 객체와 이벤트 자동 인식 프로그램 관리 모듈(114)에 관계된 화면으로서, 객체와 이벤트 자동 인식 프로그램 관리 모듈(114)은 실행 순서와 실행 여부가 결정된 자동 인식 프로그램들을 순서대로 수행하고, 이에 대한 실행 결과는 로그(Log)에 기록될 수 있다.
기관용 시스템으로 제공되는 비디오 동영상 주석 시스템의 사용자 인터페이스는 사용자로부터 질의 검색을 받아 사용자가 원하는 질의의 결과를 XML 문서로서 제공할 수 있다. 도 1의 질의 검색 모듈(123)과 통합 주석 DB(130)와 관련하여, 인터페이스 화면을 제공할 수 있는데, SQL(Structured Query Language)을 이용하거나 GUI형식으로 제공되는 인터페이스를 통해 질의를 작성하고, 쿼리를 실행하게 함으로써 통합 주석 DB(130)로부터 질의 결과를 테이블로 획득할 수 있다.
실시예에 있어서, 나타난 테이블에서 XML 문서로 만들고자 하는 레코드를 검색하여 XML 문서를 획득할 수 있으며, 사용자는 기존 시스템의 결과와 작성한 XML 문서를 지상 실측 데이터와 비교하여 성능 평가용 자료로 활용할 수 있다.
도 2와 같은 인터페이스를 제공하는 비디오 동영상 주석 시스템(100)은 실시예에 있어서, 내비게이션 기능을 제공하여 비디오 동영상 내에서 편집하고자 하는 프레임을 빠르게 찾아갈 수 있도록 지원할 수 있다.
도 3은 본 발명의 일실시예에 있어서, 비디오 동영상 주석 방법에 대한 흐름도로서, 앞서 설명한 비디오 동영상 주석 시스템(100)의 구성을 통해 수행되는 방법에 대한 것으로, 개인용 또는 기관용으로 제공되는 시스템에서 수행될 수 있다.
단계(310)에서 비디오 동영상 주석 시스템(100)은 비디오 동영상을 획득할 수 있다. 이에, 단계(320)에서는 비디오 동영상 데이터의 모든 프레임에서 객체와 이벤트를 인식할 수 있다. 이때, 동적 자동 인식 프로그램을 사용하여, 객체 또는 이벤트가 발견된 키 프레임에 자동으로 주석 정보를 생성한다.
이때, 생성되는 주석 정보에 대해서 설명하면, 명칭과 경로를 등록하고, 기존의 모듈 정보, 예컨대 명칭과 경로에 대한 정보를 수정할 수 있으며, 실행 순서를 결정할 수 있다. 또한, 실행 여부를 함께 결정할 수 있으며, 실행 성공 여부, 실행 결과에 대해서 로그 기록으로 저장할 수 있다.
단계(330)에서 비디오 동영상 주석 시스템(100)은 단계(320)를 통해 생성된 주석 정보를 편집할 수 있다. 이때, 사용자는 해당 비디오 동영상의 주석 정보를 편집하고 사용자가 필요에 따라 프레임을 추가, 삭제, 그리고 객체나 이벤트의 정보를 편집할 수 있다. 더불어, 카메라 정보들, 예컨대 카메라의 제원, 촬영 장소, 목적 등에 대한 정보와 비디오 파일에 대한 정보들을 편집하고, 객체나 이벤트에 대한 종류, 정보에 대해서도 편집할 수 있다. 이렇게 편집된 정보들은 추후 검색할 때 유용한 정보들로서 제공될 수 있다.
단계(340)에서 비디오 동영상 주석 시스템(100)은 편집 결과를 통합 주석 DB에 저장하거나 주석 XML로서 저장할 수 있다. 저장된 주석 데이터는 검색 기능을 통해 사용자가 얻고자 하는 내용을 질의 검색을 하여 통합 주석 DB로부터 결과를 얻고 비디오 동영상 주석 시스템(100)을 통해 이를 XML 문서로서 사용자에게 제공할 수 있다.
이와 같이 본 발명의 실시예를 통해, 비디오 동영상 데이터에서 사용자는 모든 시간대의 자료를 편집하는 것이 아닌 자동 인식 모듈의 데이터를 편집하고 필요 시에 원하는 데이터를 추가, 삭제할 수 있도록 편집 기능을 제공하여 보다 빠르고 정확한 작업을 수행할 수 있으며, 자동 인식 프로그램 관리 기능을 사용하여 사용자가 원하는 자동 인식 모듈들을 선택적이고 효율적으로 사용할 수 있고, 자동 인식 모듈의 테스트도 자체적으로 할 수 있다.
또한, 비디오 데이터로부터 주석 XML 정보를 생성해서 비디오 인식 프로그램 개발을 위한 기계학습의 학습용 데이터 및 성능평가용 데이터로 사용할 수 있고, 작성된 주석 데이터를 통합 주석 DB에 저장 및 관리하여 다양한 질의가 가능하도록 하며, 새로운 정보를 찾을 수 있다. 이에, 질의 결과를 XML문서로 작성을 하여 기존 시스템들과 호환성 및 데이터 비교가 가능하다.
실시예에 따른 비디오 동영상 주석 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 비디오 동영상 주석 시스템
111: 촬영 정보 편집 모듈
112: 객체와 이벤트 정의 및 특성 정보 관리 모듈
114: 객체와 이벤트 자동 인식 프로그램 관리 모듈
113: 키 프레임 객체 및 이벤트 자동 추출 모듈
115: 키 프레임 객체 및 이벤트 편집 모듈
116: 동적 XML 스키마 자동 생성 모듈
117: 주석 XML 데이터 생성 모듈
121: 동적 DB 스키마 관리 모듈
122: 주석 데이터 생성 모듈
123: 질의 검색 모듈
130: 통합 주석 DB

Claims (9)

  1. 비디오 동영상의 촬영 정보를 수집하고 편집하는 촬영 정보 편집 모듈;
    상기 비디오 동영상에서 주석을 부여하고자 하는 객체와 이벤트를 정의하고 등록하는 객체와 이벤트 정의 및 특성 정보 관리 모듈;
    자동 인식 프로그램을 등록하는 객체와 이벤트 자동 인식 프로그램 관리 모듈;
    상기 등록된 자동 인식 프로그램을 통해 상기 비디오 동영상으로부터 키 프레임을 구분하고 상기 객체와 이벤트를 추출하여 주석 정보를 생성하는 키 프레임 객체 및 이벤트 자동 추출 모듈;
    상기 생성된 주석 정보를 편집하는 키 프레임 객체 및 이벤트 편집 모듈;
    상기 객체와 이벤트를 참조하여 상기 주석 정보를 동적으로 생성하기 위한 동적 XML 스키마 자동 생성 모듈; 및
    카메라를 통해 수집되는 촬영 정보와 상기 편집된 주석 정보를 통합하여 데이터 파일을 생성하고 저장하는 주석 XML 데이터 생성 모듈
    를 포함하고,
    상기 객체와 이벤트 자동 인식 프로그램 관리 모듈은 상기 키 프레임으로부터 상기 객체와 이벤트를 추출하는 상기 자동 인식 프로그램을 적어도 둘 이상 포함하여 등록하면서 상기 자동 인식 프로그램의 적용 순서를 결정하고,
    상기 키 프레임 객체 및 이벤트 자동 추출 모듈은 상기 비디오 동영상으로부터 상기 키 프레임을 구분한 후 상기 자동 인식 프로그램을 상기 결정된 적용 순서대로 상기 비디오 동영상에 적용함에 따라 상기 키 프레임 중 상기 객체와 이벤트가 존재하는 키 프레임을 구분하여 상기 비디오 동영상의 모든 프레임이 아닌 상기 객체와 이벤트가 존재하는 키 프레임에 대해 주석 정보를 자동 생성하는 것
    을 특징으로 하는 비디오 동영상 주석 시스템.
  2. 제1항에 있어서,
    상기 객체와 이벤트 정의 및 특성 정보 관리 모듈은 등록되어 있는 객체와 이벤트에 대해서 추가, 삭제 및 수정이 가능하며, 각 객체와 이벤트에 대해서 특성을 추가, 삭제 및 수정이 가능하고,
    상기 객체와 이벤트 정의 및 특성 정보 관리 모듈의 변경 사항은 상기 비디오 동영상의 주석에 실시간으로 반영되는 것
    을 특징으로 하는 비디오 동영상 주석 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 키 프레임 객체 및 이벤트 자동 추출 모듈은 상기 이벤트 정의 및 특성 정보 관리 모듈에 등록된 객체와 이벤트 및 특성 정보를 참조하여 비디오 동영상으로부터 객체 및 이벤트를 포함하고 있는 키 프레임을 자동으로 선택하여 관심의 객체 및 이벤트 정보를 추출하여 상기 주석 정보의 내용 및 구조를 결정하는 것
    을 특징으로 하는 비디오 동영상 주석 시스템.
  5. 제1항에 있어서,
    상기 키 프레임 객체 및 이벤트 편집 모듈은 상기 생성된 주석 정보를 편집하거나 새로이 추가되는 키 프레임의 객체와 이벤트의 주석 정보를 추가 편집하며,
    해당 주석 정보의 편집이 완료되면 상기 키 프레임의 주석 정보만 남는 것
    을 특징으로 하는 비디오 동영상 주석 시스템.
  6. 제1항에 있어서,
    상기 동적 XML 스키마 자동 생성 모듈은 상기 주석 정보를 표현하기 위한 XML(eXtensible Markup Language) 스키마를 상기 객체와 이벤트의 특성들을 동적으로 반영하여 상기 주석 정보의 생성을 지원하는 것
    을 특징으로 하는 비디오 동영상 주석 시스템.
  7. 제1항에 있어서,
    상기 객체와 이벤트의 특성 정보와 상기 카메라를 통해 수집된 촬영 정보, 그리고 상기 비디오 동영상의 주석 정보를 저장하는 통합 주석 DB로, 상기 키 프레임의 주석 정보와 상기 카메라를 통해 수집된 촬영 정보를 전달하는 주석 데이터 생성 모듈;
    상기 통합 주석 DB에 저장되어 있는 상기 객체와 이벤트의 특성 정보의 스키마를 상기 객체와 이벤트 정의 및 특성 정보 관리 모듈로 전달하는 동적 DB 스키마 관리 모듈; 및
    상기 통합 주석 DB에 저장된 상기 주석 정보에 대해서 필요한 정보를 검색하여 사용자에게 제공하는 질의 검색 모듈을 더 포함하는 것
    을 특징으로 하는 비디오 동영상 주석 시스템.
  8. 제7항에 있어서,
    상기 질의 검색 모듈은 사용자의 다양한 방식의 질의를 통해서 상기 자동 인식 프로그램을 위한 기계 학습 및 성능 평가용 지상 실측 데이터로서 필요한 정보를 검색하며,
    상기 통합 주석 DB로부터 검색한 결과를 XML 파일로 사용자에게 제공하는 것
    을 특징으로 하는 비디오 동영상 주석 시스템.
  9. 비디오 동영상을 획득하는 단계;
    상기 비디오 동영상으로부터 객체와 이벤트를 식별하는 단계;
    상기 객체와 이벤트를 이용하여 주석 정보를 생성하고 편집하는 단계; 및
    상기 편집된 주석 정보를 통합하여 데이터 파일로 생성하고 데이터베이스에 저장하는 단계
    를 포함하고,
    상기 비디오 동영상의 키 프레임으로부터 상기 객체와 이벤트를 식별하기 위한 자동 인식 프로그램을 적어도 둘 이상 포함하여 등록하면서 상기 자동 인식 프로그램의 적용 순서를 결정하고
    상기 식별하는 단계는,
    상기 비디오 동영상으로부터 키 프레임을 구분하는 단계; 및
    상기 자동 인식 프로그램을 상기 결정된 적용 순서대로 상기 비디오 동영상에 적용하여 상기 키 프레임 중 상기 객체와 이벤트가 존재하는 키 프레임을 구분하는 단계;
    를 포함하고,
    상기 생성된 주석 정보는 상기 비디오 동영상의 모든 프레임이 아닌 상기 객체와 이벤트가 존재하는 키 프레임에 대해 자동 생성되는 것
    을 특징으로 하는 비디오 동영상 주석 방법.
KR1020120149930A 2012-12-20 2012-12-20 비디오 동영상 데이터를 위한 주석 시스템 및 방법 KR101398700B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120149930A KR101398700B1 (ko) 2012-12-20 2012-12-20 비디오 동영상 데이터를 위한 주석 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120149930A KR101398700B1 (ko) 2012-12-20 2012-12-20 비디오 동영상 데이터를 위한 주석 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101398700B1 true KR101398700B1 (ko) 2014-05-30

Family

ID=50895080

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120149930A KR101398700B1 (ko) 2012-12-20 2012-12-20 비디오 동영상 데이터를 위한 주석 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101398700B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101658002B1 (ko) 2015-12-11 2016-09-21 서강대학교산학협력단 동영상 주석 시스템 및 주석 방법
CN106021585A (zh) * 2016-06-02 2016-10-12 同济大学 一种基于时空特性的交通事件视频存取方法及系统
KR20170114337A (ko) * 2016-04-04 2017-10-16 한국전자통신연구원 비디오 어노테이션 장치 및 방법
KR101855241B1 (ko) 2018-04-11 2018-05-08 고현승 콘텐츠 제공 방법
KR101865545B1 (ko) * 2018-03-07 2018-06-08 고현승 콘텐츠 제공 방법
WO2018164488A1 (ko) * 2017-03-07 2018-09-13 고현승 콘텐츠 제공 방법 및 장치
KR20200061560A (ko) * 2018-11-26 2020-06-03 전자부품연구원 움직임 객체 gt 생성 방법 및 시스템
KR102310596B1 (ko) * 2021-05-14 2021-10-13 주식회사 인피닉 연속된 이미지에 대한 메타데이터 생성 및 검수 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102313947B1 (ko) * 2021-05-14 2021-10-18 주식회사 인피닉 트래킹 아이디 부여 및 검수 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102313942B1 (ko) * 2021-06-17 2021-10-18 주식회사 인피닉 연속된 이미지의 객체 추적 정보를 포함하는 어노테이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102356914B1 (ko) * 2021-05-14 2022-02-08 주식회사 인피닉 메타데이터 자동 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR20220138145A (ko) * 2021-04-05 2022-10-12 한밭대학교 산학협력단 동영상 검토 시스템, 방법 그리고 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110035662A (ko) * 2009-09-30 2011-04-06 아주대학교산학협력단 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
KR20110036934A (ko) * 2008-07-14 2011-04-12 구글 인코포레이티드 비디오 컨텐츠 내의 인물들의 자동화된 주석을 위한 방법 및 시스템
KR20110044110A (ko) * 2009-10-22 2011-04-28 아주대학교산학협력단 영상감시 시스템을 위한 메타데이터 생성 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110036934A (ko) * 2008-07-14 2011-04-12 구글 인코포레이티드 비디오 컨텐츠 내의 인물들의 자동화된 주석을 위한 방법 및 시스템
KR20110035662A (ko) * 2009-09-30 2011-04-06 아주대학교산학협력단 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
KR20110044110A (ko) * 2009-10-22 2011-04-28 아주대학교산학협력단 영상감시 시스템을 위한 메타데이터 생성 장치 및 방법

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101658002B1 (ko) 2015-12-11 2016-09-21 서강대학교산학협력단 동영상 주석 시스템 및 주석 방법
KR102177455B1 (ko) 2016-04-04 2020-11-11 한국전자통신연구원 비디오 어노테이션 장치 및 방법
KR20170114337A (ko) * 2016-04-04 2017-10-16 한국전자통신연구원 비디오 어노테이션 장치 및 방법
CN106021585A (zh) * 2016-06-02 2016-10-12 同济大学 一种基于时空特性的交通事件视频存取方法及系统
WO2018164488A1 (ko) * 2017-03-07 2018-09-13 고현승 콘텐츠 제공 방법 및 장치
KR101865545B1 (ko) * 2018-03-07 2018-06-08 고현승 콘텐츠 제공 방법
KR101855241B1 (ko) 2018-04-11 2018-05-08 고현승 콘텐츠 제공 방법
KR20200061560A (ko) * 2018-11-26 2020-06-03 전자부품연구원 움직임 객체 gt 생성 방법 및 시스템
KR102362318B1 (ko) * 2018-11-26 2022-02-15 한국전자기술연구원 움직임 객체 gt 생성 방법 및 시스템
KR20220138145A (ko) * 2021-04-05 2022-10-12 한밭대학교 산학협력단 동영상 검토 시스템, 방법 그리고 프로그램
KR102467081B1 (ko) 2021-04-05 2022-11-11 한밭대학교 산학협력단 동영상 검토 시스템, 방법 그리고 프로그램
KR102310596B1 (ko) * 2021-05-14 2021-10-13 주식회사 인피닉 연속된 이미지에 대한 메타데이터 생성 및 검수 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102313947B1 (ko) * 2021-05-14 2021-10-18 주식회사 인피닉 트래킹 아이디 부여 및 검수 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102356914B1 (ko) * 2021-05-14 2022-02-08 주식회사 인피닉 메타데이터 자동 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102313942B1 (ko) * 2021-06-17 2021-10-18 주식회사 인피닉 연속된 이미지의 객체 추적 정보를 포함하는 어노테이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Similar Documents

Publication Publication Date Title
KR101398700B1 (ko) 비디오 동영상 데이터를 위한 주석 시스템 및 방법
US11195557B2 (en) Methods, systems, and computer program products for annotating video content with audio information
US9778817B2 (en) Tagging of images based on social network tags or comments
US8194940B1 (en) Automatic media sharing via shutter click
KR101430889B1 (ko) 복사 이미지들에 관한 메타데이터의 통합
US7110592B2 (en) Image recording apparatus, image reproducing apparatus and methods therefor
US10015463B2 (en) Logging events in media files including frame matching
US11640583B2 (en) Generation of user profile from source code
CN110914872A (zh) 用认知洞察力导航视频场景
US20120177345A1 (en) Automated Video Creation Techniques
US20180025215A1 (en) Anonymous live image search
JP5289151B2 (ja) データ管理装置、その制御方法及びプログラム
KR20120092644A (ko) 사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템
JP2008165303A (ja) コンテンツ登録装置、及びコンテンツ登録方法、及びコンテンツ登録プログラム
CN103780973A (zh) 视频标签添加方法及装置
JP2006155384A (ja) 映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体
JP2007265384A (ja) 構造化データ格納装置、構造化データ格納プログラム、及び構造化データ格納方法
US20080208829A1 (en) Method and apparatus for managing files and information storage medium storing the files
CN106095738A (zh) 推荐表单片段
US20070256007A1 (en) Methods, systems, and computer program products for managing information by annotating a captured information object
US20080313563A1 (en) Method and apparatus for creating map template and method and apparatus for managing devices using map template
KR20150004681A (ko) 미디어 정보 제공 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JP2013109578A (ja) 画像処理装置、画像処理プログラム及び画像処理システム
Zhang et al. Annotating and navigating tourist videos
Jamonnak et al. VisualCommunity: a platform for archiving and studying communities

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170223

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190408

Year of fee payment: 6