WO2020080606A1 - 비디오 메타데이터와 스크립트 데이터를 활용한 비디오 컨텐츠 통합 메타데이터 자동 생성 방법 및 시스템 - Google Patents

비디오 메타데이터와 스크립트 데이터를 활용한 비디오 컨텐츠 통합 메타데이터 자동 생성 방법 및 시스템 Download PDF

Info

Publication number
WO2020080606A1
WO2020080606A1 PCT/KR2018/016854 KR2018016854W WO2020080606A1 WO 2020080606 A1 WO2020080606 A1 WO 2020080606A1 KR 2018016854 W KR2018016854 W KR 2018016854W WO 2020080606 A1 WO2020080606 A1 WO 2020080606A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
script
metadata
scene
shot
Prior art date
Application number
PCT/KR2018/016854
Other languages
English (en)
French (fr)
Inventor
조근식
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to JP2021520997A priority Critical patent/JP7199756B2/ja
Publication of WO2020080606A1 publication Critical patent/WO2020080606A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata

Definitions

  • the present invention relates to a method and system for describing various information of video content from a video and a script of a video and automatically generating metadata for understanding a story.
  • Interactive video is a new type of video that allows video viewers to interact with video, etc., mainly by augmenting them on the video to instantly obtain additional information related to the video when the video viewer clicks on the object.
  • the viewer selects information related to a video that may be of interest, and imports information related to the video to annotate various information at a specific point in time to generate metadata of the video.
  • the method for automatically generating metadata of video content proposed by the present invention includes receiving a video to interconnect with a script processing unit and recognizing shots and scenes of a video, and script for interconnecting with a video processing unit Recognizing the script and scene by inputting, performing the pre-processing process of sorting the recognized video scene and the script scene, analyzing the pre-processed video content, analyzing the pre-processed script content, and analyzing the analyzed video content Storing the annotation metadata generated from and storing the narrative metadata generated from the analyzed script content, and the annotation knowledge base and the narrative knowledge base are complementary to each other by sharing episodes, sequences, scenes, and shots.
  • To automatically generate metadata The.
  • 1 is a structure of a system for automatically generating metadata of video content according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of analyzing video and generating metadata among methods for automatically generating metadata of video content according to an embodiment of the present invention.
  • the shot and scene classification step 210, script verification and scene detection 230, video scene and script scene alignment 240 corresponds to the pre-processing part of the method, and various information from the video and script It is a step of detecting shots and scenes of a video and classifying scenes of a script before extracting video content analysis step 220 and script content analysis step 250.
  • the shot and scene classification step 210 measures the similarity between every frame of the input video and detects the shots before and after the frame in which the similarity is rapidly changed (Shot Boundary Detection).
  • the scene of the video is detected by recognizing the point in time when the space changes in all the shots of the divided video.
  • the action is recognized using the pose and the relative position of the person in the step of shot captioning 330, and the activity of the person based on the pattern of the behavior recognized in the step of screen capturing 340.
  • classifying Activity
  • each event is assigned and stored in a story-oriented structure.
  • various information is extracted as a video and stored as annotation metadata.
  • the TV screen 710 plays a video used to generate annotation metadata and narrative metadata with a video playback program.
  • the video is played and the same video is simultaneously played on the mobile device 720, and the video on the TV screen and the video on the mobile device are synchronized (730) in real time using socket communication.
  • the synchronized video is also displayed in synchronization with the video time when displaying the story information related to the video to be displayed on the mobile device.
  • the face bounding box 740 on the video displays the face of an important person in the story of the scene using the data of annotation metadata among the characters appearing in the video.
  • the story information of the video in the narrative metadata is summarized to show additional information related to the video, such as the person relationship 750 and the scene story summary 760.
  • the device described above may be implemented with hardware components, software components, and / or combinations of hardware components and software components.
  • the devices and components described in the embodiments include, for example, a processor, controller, arithmetic logic unit (ALU), digital signal processor (micro signal processor), microcomputer, field programmable array (FPA), It may be implemented using one or more general purpose computers or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may run an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of the software.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

비디오 콘텐츠의 메타데이터 자동 생성 방법 및 시스템이 제시된다. 본 발명에서 제안하는 비디오 콘텐츠의 메타데이터 자동 생성 시스템은 대본 처리부와 상호 연결하기 위해 비디오를 입력 받아 비디오의 샷 및 씬을 인식하여 정렬하는 전처리 과정을 수행하고, 비디오 콘텐츠를 분석하는 비디오 처리부, 비디오 처리부와 상호 연결하기 위해 대본을 입력 받아 대본 및 씬을 인식하여 정렬하는 전처리 과정을 수행하고, 대본 콘텐츠를 분석하는 대본 처리부, 상기 비디오 처리부에서 생성된 어노테이션 메타데이터를 저장하는 어노테이션 지식 베이스 및 상기 대본 처리부에서 생성된 내러티브 메타데이터를 저장하는 내러티브 지식 베이스를 포함하고, 어노테이션 지식 베이스와 내러티브 지식 베이스는 에피소드, 시퀀스, 씬 및 샷을 공유함으로써 상호 보완적으로 사용하여 메타데이터를 자동으로 생성한다.

Description

비디오 메타데이터와 스크립트 데이터를 활용한 비디오 컨텐츠 통합 메타데이터 자동 생성 방법 및 시스템
본 발명은 비디오(Video)와 비디오의 대본(Script)으로부터 비디오 콘텐츠의 다양한 정보를 기술하고, 스토리 이해를 위한 메타데이터(Metadata)를 자동으로 생성하는 방법과 그 시스템에 관한 것이다.
본 발명은 과학기술정보통신부 및 정보통신기술진흥센터의 대학ICT연구센터육성지원사업의 연구 결과로부터 도출된 것이다. [과제관리번호:IITP-2017-0-01642, 과제명: 인공지능을 활용한 콘텐츠 창작 기술]
비디오 콘텐츠의 메타데이터(Metadata)는 비디오 자체의 정보를 기술하는 메타데이터와, 비디오와 관련된 정보를 기술하는 메타데이터로 구분할 수 있다. 예를 들어 MPEG 비디오 규격의 DASH 기술 중 MPD(Media Presentation Description)와 같이 미디어 전송에 적합한 데이터 모델로 비디오의 세그먼트(Segment)정보를 계층적으로 분리하여 표현하는 메타데이터와 MPEG-4 LASeR 또는 MPEG-7와 같이 비디오, 음성과 함께 XML형태로 비디오 콘텐츠와 관련된 부가 정보를 기술하는 객체의 위치, 크기, 등장시간, 관련정보 URL 등을 어노테이션(Annotation) 할 수 있는 메타데이터로 나눌 수 있다.
이와 같이 비디오의 부가 정보를 기술하는 메타데이터를 사용하는 대표적인 예로, 인터랙티브 비디오(Interactive Video)가 있다. 인터랙티브 비디오는 비디오와 상호 작용 가능한 객체 등을 주로 비디오 위에 증강하여 비디오 시청자가 해당 객체를 클릭하였을 때 비디오와 관련된 부가 정보를 바로 얻고, 쉽게 공유할 수 있는 새로운 형태의 비디오이다. 이와 같은 인터랙티브 비디오를 만들기 위해 시청자가 관심있어 할 만한 비디오와 관련된 정보를 선택하고 그와 관련된 정보를 가져와 비디오의 특정 시점에 다양한 정보를 어노테이션(Annotation)하여 비디오의 메타데이터를 생성한다.
그러나 이와 같은 비디오 콘텐츠의 메타데이터를 생성하는 데는 많은 시간과 비용이 필요하다. 또한 메타데이터로 사용될 비디오 콘텐츠와 관련된 의미 있는 정보는 비디오만을 이용해 생성하기 어렵다. 예를 들어 비디오에서 등장인물 또는 비디오의 스토리에 중요한 객체가 인식되었다고 해도, 이와 같은 인물, 객체의 정확한 명칭을 지정하거나 인물과 인물, 사건과 사건의 관계를 유추하거나 하는 복잡한 활용은 어렵다. 이를 해결하기 위해 비디오에서 메타데이터를 생성하는 것과 함께 대본을 이용해 메타데이터를 생성하고 비디오 순서와 맞춰주어 다양한 정보를 담는 메타데이터를 자동으로 생성하는 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는 비디오 콘텐츠와 관련된 다양한 정보를 갖는 메타데이터를 자동으로 생성하기 위해, 비디오로부터 다양한 정보를 추출하는 기술, 대본으로부터 의미 있는 정보를 추출하는 기술, 그리고 비디오와 대본의 시간 순서를 정렬하여 메타데이터의 사용성을 높이는 방법과 그 시스템을 제공하는데 있다.
일 측면에 있어서, 본 발명에서 제안하는 비디오 콘텐츠의 메타데이터 자동 생성 시스템은 대본 처리부와 상호 연결하기 위해 비디오를 입력 받아 비디오의 샷 및 씬을 인식하여 정렬하는 전처리 과정을 수행하고, 비디오 콘텐츠를 분석하는 비디오 처리부, 비디오 처리부와 상호 연결하기 위해 대본을 입력 받아 대본 및 씬을 인식하여 정렬하는 전처리 과정을 수행하고, 대본 콘텐츠를 분석하는 대본 처리부, 상기 비디오 처리부에서 생성된 어노테이션 메타데이터를 저장하는 어노테이션 지식 베이스 및 상기 대본 처리부에서 생성된 내러티브 메타데이터를 저장하는 내러티브 지식 베이스를 포함하고, 어노테이션 지식 베이스와 내러티브 지식 베이스는 에피소드, 시퀀스, 씬 및 샷을 공유함으로써 상호 보완적으로 사용하여 메타데이터를 자동으로 생성한다.
비디오 처리부는 입력된 비디오의 매 프레임 간의 유사도를 측정하여 유사도가 미리 정해진 기준 이상으로 급히 변경되는 프레임 전후로 비디오의 샷으로 검출하여 구분하고, 구분된 비디오의 모든 샷에서 시, 공간이 바뀌는 시점을 인식하여 비디오의 씬을 검출한다.
대본 처리부는 반 구조화된 대본 서식을 분석하고, 대본으로부터 인물, 발화, 설명문, 장소, 시간을 구분하기 위해 다양한 형태의 대본 구조 양식과 입력된 대본 구조를 비교하여 적합한 대본 양식을 선택하고, 구조화(Structured) 하며, 해당 양식을 입력된 대본이 따랐는지 검증하고, 잘못 입력된 양식이 구조화 결과로 변형되었을 경우 보정하며, 대본의 구조로부터 대본의 씬을 검출하여 정보를 메타데이터의 계층구조로 지정한다.
비디오와 대본의 씬 순서를 일치시키기 위해 비디오의 한 씬의 발화들을 음성인식 기술로 자막을 만들고 대본의 발화와 문자열 비교 알고리즘을 이용해 1차 정렬한 후, 다이나믹 프로그래밍 기법을 이용하여 비디오와 대본의 씬 순서를 정렬한다.
대본을 비디오의 샷 단위까지 일치시키기 위해 비디오의 씬 안에 속한 샷 안의 시간 및 음성 텍스트 정보를 대본 콘텐츠 분석 과정 전달해 이후에 처리한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 비디오 콘텐츠의 메타데이터 자동 생성 방법은 대본 처리부와 상호 연결하기 위해 비디오를 입력 받아 비디오의 샷 및 씬을 인식하는 단계, 비디오 처리부와 상호 연결하기 위해 대본을 입력 받아 대본 및 씬을 인식하는 단계, 인식된 비디오 씬 및 대본 씬을 정렬하는 전처리 과정을 수행하는 단계, 전처리된 비디오 콘텐츠를 분석하는 단계, 전처리된 대본 콘텐츠를 분석하는 단계, 분석된 비디오 콘텐츠로부터 생성된 어노테이션 메타데이터를 저장하는 단계 및 분석된 대본 콘텐츠로부터 생성된 내러티브 메타데이터를 저장하는 단계를 포함하고, 어노테이션 지식 베이스와 내러티브 지식 베이스는 에피소드, 시퀀스, 씬 및 샷을 공유함으로써 상호 보완적으로 사용하여 메타데이터를 자동으로 생성한다.
대본 처리부와 상호 연결하기 위해 비디오를 입력 받아 비디오의 샷 및 씬을 인식하는 단계는 인물 및 객체 인식을 통해 한 샷 안에서 샷의 첫번째, 마지막, 및 한 샷 내에서 프레임 간의 유사도가 급격히 바뀌는 한 개 이상의 프레임 들을 키프레임으로 지정하고, 키프레임 이미지에서 인물의 외형, 얼굴과 객체의 외형 및 카테고리를 인식하여 메타데이터로 저장한다.
비디오 처리부와 상호 연결하기 위해 대본을 입력 받아 대본 및 씬을 인식하는 단계는, 대본 샷 추출단계에서 전처리 단계에서 구조화된 대본의 계층 구조와 부가 정보를 입력으로 하여 씬 단위로 나뉘어진 대본과, 비디오로의 샷, 씬 정보와 비디오의 음성 자막을 입력으로 받아 한 비디오 안의 발화와 대본과 비교, 정렬하여 대본을 샷 단위로 나눈다.
전처리된 비디오 콘텐츠를 분석하는 단계는 인물과 객체가 인식되면, 프레임 캡셔닝 단계에서 인물과 인물, 인물과 객체, 객체와 객체의 모든 상대 위치를 계산하고, 장면을 기술하고, 장면이 기술되면, 샷 캡셔닝단계에서 인물의 포즈와 상대 위치를 이용해 행동을 인식하고, 씬 캡셔닝단계에서 인식된 행동의 패턴을 기반으로 인물의 활동을 구분하여 스토리 중심적 구조로 배정해 저장하고, 다양한 정보를 비디오로 추출하여 어노테이션 메타데이터로 저장한다.
전처리된 대본 콘텐츠를 분석하는 단계는 대본이 비디오와 같이 샷 단위로 나눈 후 등장인물, 공간, 객체 분석을 통해 비디오 안에 등장하는 등장인물, 공간, 객체를 모두 각각 클러스터링(Clustering)하여 등장하는 인물, 공간, 객체의 카테고리를 파악하고, 등장인물의 경우 등장인물과 등장인물이 한 샷에 같이 등장한 횟수를 카운트해 인물 간의 관계를 그리고, 객체의 이름을 인식한 후, 등장인물, 배경, 공간을 모두 시맨틱웹과 엔티티로 연결시키고, 다이얼로그 분석단계에서는 모든 발화를 분석해 형태소(POS), 개체명(Named-Entity) 감정(Emotion), 목적(Intent), 화행(Speech Act), 어투(Tone), 존칭(Honorific)을 인식, 모든 정보를 각 발화의 메타데이터로 저장하고, 플롯 분석 단계에서 분석된 발화의 화행과 발화를 분석해 대화를 사건 단위로 나누고, 사건간의 관계를 분석해 대본의 기승전결을 파악하여 내러티브 메타데이터로써 저장한다.
본 발명의 실시예들에 따르면 자동으로 비디오 콘텐츠와 관련된 정보와 비디오 콘텐츠의 구조, 그리고 스토리를 이해할 수 있는 비디오 콘텐츠의 다양한 정보를 담는 메타데이터를 생성해 메타데이터를 활용할 수 있는 여러 경우에 활용이 가능하다. 예를 들어 메타데이터의 활용은 만들어진 메타데이터에서 나뉘어진 비디오 구조를 통해 특정 시간에 특정 정보를 어노테이션 하는 인터랙티브 비디오와 같이 비디오 콘텐츠와 관련된 정보를 쉽고 빠르게 얻고자 할 때 메타데이터를 활용할 수 있으며, 비디오 콘텐츠와 관련된 정보를 검색(Information Retrieval) 하는 경우, 비디오 콘텐츠를 요약하여 요약된 비디오를 만드는 경우, 비디오의 등장인물의 발화 특성을 살린 인공지능 챗봇(Chatbot)을 말들 때, 장면의 정보를 기반으로 대화의 컨텍스트(Context)를 인지하는 챗봇을 만들 때와 같이 다양한 용도로 활용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 콘텐츠의 메타데이터 자동 생성 시스템 구조이다.
도 2는 본 발명의 일 실시예에 따른 비디오 콘텐츠의 메타데이터 자동 생성 방법에서 전처리 과정을 설명하기 위한 시스템 구조이다.
도 3은 본 발명의 일 실시예에 따른 비디오 콘텐츠의 메타데이터 자동 생성 방법 중 비디오를 분석하고 메타데이터를 생성하는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 비디오 콘텐츠의 메타데이터 자동 생성 방법 중 대본을 분석하고 메타데이터를 생성하는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 비디오 콘텐츠의 메타데이터 자동 생성 방법을 설명하기 위한 단계별 메타데이터 축적 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 생성한 비디오 콘텐츠의 메타데이터를 이용한 활용 예이다.
도 7은 본 발명의 또 다른 일 실시예에 따른 생성한 비디오 콘텐츠의 메타데이터를 이용한 활용 예이다.
도 8은 본 발명의 또 다른 일 실시예에 따른 생성한 비디오 콘텐츠의 메타데이터를 이용한 활용 예이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 비디오 콘텐츠의 메타데이터 자동 생성 방법을 설명하기 위한 간략한 시스템 구조이다.
도 1의 자동 비디오 콘텐츠 메타데이터 생성 시스템(100)은 비디오와 비디오의 대본을 입력으로 받아 어노테이션 메타데이터와 내러티브 메타데이터를 출력으로 하는 시스템이며, 비디오와 대본을 각각 처리하는 비디오 처리부(110)과 대본 처리부(130)를 포함한다. 비디오 처리부(110)와 대본 처리부(130)를 서로 연결하기 위해 비디오와 대본의 씬을 정렬하고, 샷을 인식해 정렬하는 과정을 전처리로 하며, 대본과 비디오에서 각각 인식된 객체를 씬 순서에 맞게 정렬한다. 어노테이션 메타데이터는 어노테이션 지식 베이스(120)에 저장되어 추론이 가능하고 URI로 쉽게 메타데이터에 접근 가능한 온톨로지 기반의 데이터저장 공간이다. 내러티브 메타데이터는 내러티브 지식 베이스(130)에 저장되며 어노테이션 지식 베이스와 같은 역할을 한다. 어노테이션 지식 베이스(120)와 내러티브 지식 베이스(130)는 에피소드, 시퀀스, 씬 및 샷 등을 공유함으로써 상호 보완적으로 사용하여 메타데이터를 자동으로 생성한다.
비디오 처리부(110)는 입력된 비디오의 매 프레임 간의 유사도를 측정하여 유사도가 미리 정해진 기준 이상으로 급히 변경되는 프레임 전후로 비디오의 샷으로 검출하여 구분하고, 구분된 비디오의 모든 샷에서 시, 공간이 바뀌는 시점을 인식하여 비디오의 씬을 검출한다.
대본 처리부(130)는 반 구조화된 대본 서식을 분석하고, 대본으로부터 인물, 발화, 설명문, 장소, 시간을 구분하기 위해 다양한 형태의 대본 구조 양식과 입력된 대본 구조를 비교하여 적합한 대본 양식을 선택하고, 구조화(Structured) 한다. 그리고, 해당 양식을 입력된 대본이 따랐는지 검증하고, 잘못 입력된 양식이 구조화 결과로 변형되었을 경우 보정하며, 대본의 구조로부터 대본의 씬을 검출하여 정보를 메타데이터의 계층구조로 지정한다.
이후, 비디오와 대본의 씬 순서를 일치시키기 위해 비디오의 한 씬의 발화들을 음성인식 기술로 자막을 만들고 대본의 발화와 문자열 비교 알고리즘을 이용해 1차 정렬한 후, 다이나믹 프로그래밍 기법을 이용하여 비디오와 대본의 씬 순서를 정렬한다. 이때, 대본을 비디오의 샷 단위까지 일치시키기 위해 비디오의 씬 안에 속한 샷 안의 시간 및 음성 텍스트 정보를 대본 콘텐츠 분석 과정 전달해 이후에 처리한다.
도 2는 본 발명의 일 실시예에 따른 비디오 콘텐츠의 메타데이터 자동 생성 방법에서 전처리 과정을 설명하기 위한 시스템 구조이다.
제안하는 비디오 콘텐츠의 메타데이터 자동 생성 방법은 대본 처리부와 상호 연결하기 위해 비디오를 입력 받아 비디오의 샷 및 씬을 인식하는 단계, 비디오 처리부와 상호 연결하기 위해 대본을 입력 받아 대본 및 씬을 인식하는 단계, 인식된 비디오 씬 및 대본 씬을 정렬하는 전처리 과정을 수행하는 단계, 전처리된 비디오 콘텐츠를 분석하는 단계, 전처리된 대본 콘텐츠를 분석하는 단계, 분석된 비디오 콘텐츠로부터 생성된 어노테이션 메타데이터를 저장하는 단계 및 분석된 대본 콘텐츠로부터 생성된 내러티브 메타데이터를 저장하는 단계를 포함한다. 도 2 내지 도 4를 참조하여 비디오 콘텐츠의 메타데이터 자동 생성 방법을 더욱 상세히 설명한다.
도 2를 참조하면, 샷 및 씬 구분단계(210), 대본 검증 및 씬 검출(230), 비디오 씬 및 대본 씬 정렬(240)은 본 방법의 전처리 부분에 해당하며, 비디오와 대본으로부터 다양한 정보를 추출하는 비디오 콘텐츠 분석 단계(220)와 대본 콘텐츠 분석 단계(250) 이전에 비디오의 샷, 씬을 검출하고, 대본의 씬을 구분하는 단계이다. 먼저 샷 및 씬 구분단계(210)은 입력된 비디오의 매 프레임(Frame) 간의 유사도를 측정하여 유사도가 급히 변경되는 프레임 전후로 비디오의 샷으로 검출(Shot Boundary Detection)하여 구분한다. 이렇게 구분된 비디오의 모든 샷에서 시, 공간이 바뀌는 시점을 인식하여 비디오의 씬을 검출한다. 대본 검증 및 씬 검출 단계에서(230)에서는 반 구조화된(Semi-Structured) 대본 서식을 분석, 대본으로부터 인물, 발화, 설명문, 장소, 시간을 구분하기 위해 다양한 형태의 대본 구조 양식과 입력된 대본 구조를 비교하여 적합한 대본 양식을 선택하고 처리 쉽도록 구조화(Structured) 하며, 해당 양식을 입력된 대본이 따랐는지 검증하고, 잘못 입력된 양식, 예를 들어 인물명-발화 순으로 나와야 하는 대본이 구조화 결과로, 인물명-인물명과 같이 대본의 구조가 변형되었을 경우 적합하게 보정한다. 또한 대본의 구조로부터 대본의 씬을 검출하여 그 정보를 메타데이터의 계층구조(Hierarchy)로 하여 지정한다. 이와 같이 비디오의 샷, 씬과 대본의 씬 정보를 추출한 후 비디오 씬 및 대본 씬 정렬(240)에서 비디오와 대본의 씬 순서를 정렬시킨다. 씬 순서를 일치시키기 위해 비디오의 한 씬의 발화들을 음성인식(Speech To Text) 기술로 자막을 만들고 대본의 발화와 문자열 비교 알고리즘을 이용해 1차 정렬한 후, 다이나믹 프로그래밍(Dynamic Programming)기법을 이용해 비디오와 대본의 씬 순서를 정렬한다. 이 때 비디오의 샷과 대본의 순서는 일치시키기 어려운데, 그 이유는 대본은 비디오의 단위인 샷 단위가 아닌 씬 단위로 나뉘어져 있기 때문에, 샷 단위까지 일치시키기 위해 비디오의 씬 안에 속한 샷 안의 시간 및 음성 텍스트 정보(260)를 대본 콘텐츠 분석 과정 전달해 이후에 처리한다.
도 3은 본 발명의 일 실시예에 따른 비디오 콘텐츠의 메타데이터 자동 생성 방법 중 비디오를 분석하고 메타데이터를 생성하는 흐름도이다.
이전의 전처리 과정을 통해 비디오의 샷, 씬 계층구조(270)을 통해 넘어오면, 먼저 인물 및 객체 인식(310)을 통해 한 샷 안에서 샷의 첫번째, 마지막, 그리고 한 샷 내에서 프레임(Frame) 간의 유사도가 급격히 바뀌는 한 개 이상의 프레임 들을 키프레임으로 지정하고, 이 키프레임 이미지에서 인물의 외형(Contour), 얼굴과 객체의 외형 및 그 카테고리를 인식하여 메타데이터로 저장한다. 인물과 객체가 인식되면, 프레임 캡셔닝(320) 단계에서 인물의 위치만 인식하는 것이 아닌 인물과 인물, 인물과 객체, 객체와 객체의 모든 상대 위치를 계산하고, 인물의 경우 인물의 팔, 다리, 몸의 위치와 모습을 이용해 포즈(Pose)를 인식하여 장면을 기술한다. 이와 같은 정보가 기술되면, 샷 캡셔닝(330)단계에서 인물의 포즈와 상대 위치를 이용해 행동(Action)을 인식하고, 씬 캡셔닝(340) 단계에서 인식된 행동의 패턴을 기반으로 인물의 활동(Activity)을 구분하여 각각 사건(Event)이란 스토리 중심적 구조로 배정해 저장한다. 이와 같이 다양한 정보를 비디오로 추출하여 어노테이션 메타데이터로 저장한다.
도 4는 본 발명의 일 실시예에 따른 비디오 콘텐츠의 메타데이터 자동 생성 방법 중 대본을 분석하고 메타데이터를 생성하는 흐름도이다.
대본 샷 추출(410)단계에서는 두개의 입력을 받는데 전처리 단계에서 구조화된 대본의 계층 구조와 부가 정보(280)를 입력으로 하여 씬 단위로 나뉘어진 대본과, 비디오로의 샷, 씬 정보(260)와 비디오의 음성 자막을 입력으로 받아 한 비디오 안의 발화와 대본과 비교, 정렬하여 대본을 샷 단위로 나누는 단계이다. 대본이 비디오와 같이 샷 단위로 나눈 후 등장인물, 공간, 객체 분석(420)을 통해 비디오 안에 등장하는 등장인물, 공간, 객체를 모두 각각 클러스터링(Clustering)하여 등장하는 인물, 공간, 객체의 카테고리를 파악하고, 등장인물의 경우 등장인물과 등장인물이 한 샷에 같이 등장한 횟수를 카운트해 인물 간의 관계를 그리고, 객체의 이름을 인식한 후, 등장인물, 배경, 공간을 모두 시맨틱웹과 엔티티로 Entity Linking 시켜 더 많은 부가 정보를 갖고 올 수 있게끔 한다. 다이얼로그 분석(430)단계에서는 모든 발화를 분석해 형태소(POS), 개체명(Named-Entity) 감정(Emotion), 목적(Intent), 화행(Speech Act), 어투(Tone), 존칭(Honorific)을 인식, 모든 정보를 각 발화의 메타데이터로 저장한다. 다음으로 플롯 분석(440)에서는 분석된 발화의 화행과 발화를 분석해 대화를 사건(Event) 단위로 나누고, 여러 사건간의 관계를 분석해 대본의 기승전결을 파악하여 메타데이터로 저장한다. 이렇게 생성된 메타데이터는 내러티브 메타데이터로써 저장한다.
도 5는 본 발명의 일 실시예에 따른 비디오 콘텐츠의 메타데이터 자동 생성 방법을 설명하기 위한 단계별 메타데이터 축적 흐름도이다.
먼저 비디오와 대본을 입력(510) 받아, 대본을 구조화(520)하고 비디오와 대본의 계층 구조를 분석해 씬, 샷의 정보를 추가한다. 이후 비디오와 대본안의 다양한 정보를 인식하고 추출하여 콘텐츠(530) 정보를 추가한다. 그 다음 비디오와 대본의 스토리를 분석하기 위해 행동, 발화의 특성들을 분석해 사건(540) 정보를 생성해 추가하고 마지막으로 메타데이터(550)를 생성해 지식베이스에 추가한다.
도 6은 본 발명의 일 실시예에 따른 생성한 비디오 콘텐츠의 메타데이터를 이용한 활용 예이다.
내러티브 메타데이터의 정보를 이용해 비디오 콘텐츠의 스토리에서 주요한 장면들(610)을 추출해 아래에 썸네일의 슬라이딩바 형태로 보여준다. 사용자가 관심있는 장면을 직접 클릭하여 해당 장면을 재생할 수 있으며, 화면 위의 검색창(620)에서 직접 검색할 수 있다. 검색은 예약어가 아닌 자연어(Natural Language)로 입력하면, 자동으로 형태소 분석, 개체명 인식을 통해 등장인물명, 장소, 행동과 같은 주요 단어를 추출해 자동으로 SPARQL Query를 생성해 내러티브 지식베이스와 어노테이션 지식베이스의 SPARQL Endpoint로 지식을 검색하여 해당하는 장면의 비디오를 가져와 화면에 보여준다. 비디오 콘텐츠와 관련된 정보를 상호작용가능한 증강객체로써 어노테이션 하며, 인식된 인물이나 객체의 외각선과 인물의 명칭을 (630)을 화면 위에 그려 클릭 가능한 객체임을 표시한다. 인물을 클릭할 경우 인물의 부가정보와 인물과 인물의 관계도, 인물과 관련된 씬, 사건 등의 정보를 보여주며, 객체를 클릭할 경우 객체가 스토리에서 어떠한 의미를 갖는지를 보여주고, 객체가 만약 인터넷에서 구입 가능하다면, 구입할 수 있는 추가 객체(650)를 띄워 바로 구입 가능하도록 한다.
도 7은 본 발명의 또 다른 일 실시예에 따른 생성한 비디오 콘텐츠의 메타데이터를 이용한 활용 예이다.
N-Screen 환경에서 TV 스크린(710)은 비디오 재생프로그램으로 어노테이션 메타데이터와 내러티브 메타데이터를 생성하기 위해 사용한 비디오를 재생한다. 비디오가 재생되며 모바일 디바이스(720)에서도 동시에 같은 비디오를 재생하며, TV 스크린의 비디오와 모바일 디바이스의 비디오를 소켓 통신을 이용해 실시간으로 재생시간을 맞추어 동기화(730)한다. 이렇게 동기화된 비디오는 모바일 디바이스에 비디오와 같이 보여줄 비디오와 관련된 스토리 정보를 보여줄 때 역시 비디오 시간과 동기화 하여 보여준다. 비디오 위의 얼굴 바운딩 박스(740)은 비디오에 등장하는 인물 중 해당 장면의 스토리에서 중요한 인물의 얼굴을 어노테이션 메타데이터의 데이터를 이용해 표시한다. 내러티브 메타데이터에 있는 비디오의 스토리 정보를 요약해 인물 관계(750)과 장면 스토리 요약(760)과 같은 비디오와 관련된 부가정보를 보여준다. 인물 관계는 해당 장면의 스토리에서 매우 중요한 인물의 인물 관계도를 보여주며, 비디오의 스토리를 쉽게 파악하고, 등장인물의 관계를 파악하기 위해 보여준다. 장면 스토리 요약은 해당 장면을 내러티브 메타데이터의 데이터를 이용해 요약하여 보여준다. 이와 같은 부가 정보를 통해 비디오를 보면서 사용자가 미처 파악하지 못한 추가 정보를 TV에서 재생중인 비디오를 멈추고 인터넷에서 검색할 필요 없이 모바일 디바이스에서 직관적으로 보여줘 스토리를 쉽게 이해하도록 한다.
도 8은 본 발명의 또 다른 일 실시예에 따른 생성한 비디오 콘텐츠의 메타데이터를 이용한 활용 예이다.
어노테이션 메타데이터 생성시 키프레임 이미지 위의 객체를 인식, 객체의 등장 시간과, 객체의 위치를 인식해 메타데이터에 저장한다. 비디오와 비디오 안의 객체와 관련된 정보를 가져와 비디오 위에 정보를 증강하기 위해 메타데이터에 저장된 객체의 등장 시간과 위치, 크기, 객체의 정보를 가져온다. 그리고 키프레임 사이의 프레임 위에 객체와 관련된 정보를 어노테이션 하기 위해 보간(interpolation)을 해 중간 값인 특정 시간의 객체 위치와 크기를 생성해 모든 프레임에 어노테이션 한다. 객체의 정보는 인식된 객체의 비디오와 객체의 이미지로 유사한 쇼핑몰의 제품 광고를 가져와 보여주거나, 내러티브 메타데이터에서 현재 장면과 관련된 객체, 예를 들어 선물과 같은 객체의 정보를 가져와 보여준다. 또한 제품 광고는 사용자에 따라 다른 정보를 추천하여 보여준다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 대본 처리부와 상호 연결하기 위해 비디오를 입력 받아 비디오의 샷 및 씬을 인식하여 정렬하는 전처리 과정을 수행하고, 비디오 콘텐츠를 분석하는 비디오 처리부;
    비디오 처리부와 상호 연결하기 위해 대본을 입력 받아 대본 및 씬을 인식하여 정렬하는 전처리 과정을 수행하고, 대본 콘텐츠를 분석하는 대본 처리부;
    상기 비디오 처리부에서 생성된 어노테이션 메타데이터를 저장하는 어노테이션 지식 베이스; 및
    상기 대본 처리부에서 생성된 내러티브 메타데이터를 저장하는 내러티브 지식 베이스
    를 포함하고,
    어노테이션 지식 베이스와 내러티브 지식 베이스는,
    에피소드, 시퀀스, 씬 및 샷을 공유함으로써 상호 보완적으로 사용하여 메타데이터를 자동으로 생성하는
    메타데이터 자동 생성 시스템.
  2. 제1항에 있어서,
    비디오 처리부는,
    입력된 비디오의 매 프레임 간의 유사도를 측정하여 유사도가 미리 정해진 기준 이상으로 급히 변경되는 프레임 전후로 비디오의 샷으로 검출하여 구분하고, 구분된 비디오의 모든 샷에서 시, 공간이 바뀌는 시점을 인식하여 비디오의 씬을 검출하는
    메타데이터 자동 생성 시스템.
  3. 제1항에 있어서,
    대본 처리부는,
    반 구조화된 대본 서식을 분석하고, 대본으로부터 인물, 발화, 설명문, 장소, 시간을 구분하기 위해 다양한 형태의 대본 구조 양식과 입력된 대본 구조를 비교하여 적합한 대본 양식을 선택하고, 구조화(Structured) 하며, 해당 양식을 입력된 대본이 따랐는지 검증하고, 잘못 입력된 양식이 구조화 결과로 변형되었을 경우 보정하며, 대본의 구조로부터 대본의 씬을 검출하여 정보를 메타데이터의 계층구조로 지정하는
    메타데이터 자동 생성 시스템.
  4. 제1항에 있어서,
    비디오와 대본의 씬 순서를 일치시키기 위해 비디오의 한 씬의 발화들을 음성인식 기술로 자막을 만들고 대본의 발화와 문자열 비교 알고리즘을 이용해 1차 정렬한 후, 다이나믹 프로그래밍 기법을 이용하여 비디오와 대본의 씬 순서를 정렬하는
    메타데이터 자동 생성 시스템.
  5. 제4항에 있어서,
    대본을 비디오의 샷 단위까지 일치시키기 위해 비디오의 씬 안에 속한 샷 안의 시간 및 음성 텍스트 정보를 대본 콘텐츠 분석 과정 전달해 이후에 처리하는
    메타데이터 자동 생성 시스템.
  6. 대본 처리부와 상호 연결하기 위해 비디오를 입력 받아 비디오의 샷 및 씬을 인식하는 단계;
    비디오 처리부와 상호 연결하기 위해 대본을 입력 받아 대본 및 씬을 인식하는 단계;
    인식된 비디오 씬 및 대본 씬을 정렬하는 전처리 과정을 수행하는 단계;
    전처리된 비디오 콘텐츠를 분석하는 단계;
    전처리된 대본 콘텐츠를 분석하는 단계;
    분석된 비디오 콘텐츠로부터 생성된 어노테이션 메타데이터를 어노테이션 지식 베이스에 저장하는 단계; 및
    분석된 대본 콘텐츠로부터 생성된 내러티브 메타데이터를 내러티브 지식 베이스에 저장하는 단계
    를 포함하고,
    어노테이션 지식 베이스와 내러티브 지식 베이스는 에피소드, 시퀀스, 씬 및 샷을 공유함으로써 상호 보완적으로 사용하여 메타데이터를 자동으로 생성하는
    메타데이터 자동 생성 방법.
  7. 제6항에 있어서,
    대본 처리부와 상호 연결하기 위해 비디오를 입력 받아 비디오의 샷 및 씬을 인식하는 단계는,
    인물 및 객체 인식을 통해 한 샷 안에서 샷의 첫번째, 마지막, 및 한 샷 내에서 프레임 간의 유사도가 급격히 바뀌는 한 개 이상의 프레임 들을 키프레임으로 지정하고, 키프레임 이미지에서 인물의 외형, 얼굴과 객체의 외형 및 카테고리를 인식하여 메타데이터로 저장하는
    메타데이터 자동 생성 방법.
  8. 제6항에 있어서,
    비디오 처리부와 상호 연결하기 위해 대본을 입력 받아 대본 및 씬을 인식하는 단계는,
    대본 샷 추출단계에서 전처리 단계에서 구조화된 대본의 계층 구조와 부가 정보를 입력으로 하여 씬 단위로 나뉘어진 대본과, 비디오로의 샷, 씬 정보와 비디오의 음성 자막을 입력으로 받아 한 비디오 안의 발화와 대본과 비교, 정렬하여 대본을 샷 단위로 나누는
    메타데이터 자동 생성 방법.
  9. 제7항에 있어서,
    전처리된 비디오 콘텐츠를 분석하는 단계는,
    인물과 객체가 인식되면, 프레임 캡셔닝 단계에서 인물과 인물, 인물과 객체, 객체와 객체의 모든 상대 위치를 계산하고, 장면을 기술하고,
    장면이 기술되면, 샷 캡셔닝단계에서 인물의 포즈와 상대 위치를 이용해 행동을 인식하고,
    씬 캡셔닝단계에서 인식된 행동의 패턴을 기반으로 인물의 활동을 구분하여 스토리 중심적 구조로 배정해 저장하고, 다양한 정보를 비디오로 추출하여 어노테이션 메타데이터로 저장하는
    메타데이터 자동 생성 방법.
  10. 제8항에 있어서,
    전처리된 대본 콘텐츠를 분석하는 단계는,
    대본이 비디오와 같이 샷 단위로 나눈 후 등장인물, 공간, 객체 분석을 통해 비디오 안에 등장하는 등장인물, 공간, 객체를 모두 각각 클러스터링(Clustering)하여 등장하는 인물, 공간, 객체의 카테고리를 파악하고, 등장인물의 경우 등장인물과 등장인물이 한 샷에 같이 등장한 횟수를 카운트해 인물 간의 관계를 그리고, 객체의 이름을 인식한 후, 등장인물, 배경, 공간을 모두 시맨틱웹과 엔티티로 연결시키고,
    다이얼로그 분석단계에서는 모든 발화를 분석해 형태소(POS), 개체명(Named-Entity) 감정(Emotion), 목적(Intent), 화행(Speech Act), 어투(Tone), 존칭(Honorific)을 인식, 모든 정보를 각 발화의 메타데이터로 저장하고,
    플롯 분석 단계에서 분석된 발화의 화행과 발화를 분석해 대화를 사건 단위로 나누고, 사건간의 관계를 분석해 대본의 기승전결을 파악하여 내러티브 메타데이터로써 저장하는
    메타데이터 자동 생성 시스템.
PCT/KR2018/016854 2018-10-19 2018-12-28 비디오 메타데이터와 스크립트 데이터를 활용한 비디오 컨텐츠 통합 메타데이터 자동 생성 방법 및 시스템 WO2020080606A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021520997A JP7199756B2 (ja) 2018-10-19 2018-12-28 ビデオメタデータと台本データを活用したビデオコンテンツ統合メタデータ自動生成方法およびシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180124863A KR101994592B1 (ko) 2018-10-19 2018-10-19 비디오 콘텐츠의 메타데이터 자동 생성 방법 및 시스템
KR10-2018-0124863 2018-10-19

Publications (1)

Publication Number Publication Date
WO2020080606A1 true WO2020080606A1 (ko) 2020-04-23

Family

ID=67066009

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/016854 WO2020080606A1 (ko) 2018-10-19 2018-12-28 비디오 메타데이터와 스크립트 데이터를 활용한 비디오 컨텐츠 통합 메타데이터 자동 생성 방법 및 시스템

Country Status (4)

Country Link
US (1) US10733230B2 (ko)
JP (1) JP7199756B2 (ko)
KR (1) KR101994592B1 (ko)
WO (1) WO2020080606A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766473B (zh) * 2018-11-30 2019-12-24 北京达佳互联信息技术有限公司 信息交互方法、装置、电子设备及存储介质
CA3168336A1 (en) * 2019-02-18 2020-08-27 David Nahamoo Intelligent document system
US11003915B2 (en) * 2019-03-29 2021-05-11 Wipro Limited Method and system for summarizing multimedia content
CN110147467A (zh) * 2019-04-11 2019-08-20 北京达佳互联信息技术有限公司 一种文本描述的生成方法、装置、移动终端及存储介质
CN110602566B (zh) * 2019-09-06 2021-10-01 Oppo广东移动通信有限公司 匹配方法、终端和可读存储介质
KR102264744B1 (ko) * 2019-10-01 2021-06-14 씨제이올리브네트웍스 주식회사 영상 데이터를 처리하는 방법 및 이를 실행시키기 위한 명령어들이 저장된 컴퓨터 판독 가능한 기록 매체
KR102287093B1 (ko) * 2019-11-22 2021-08-09 주식회사 코난테크놀로지 자동 생성된 비디오 메타데이터 검수 방법 및 이를 위한 장치
KR102294817B1 (ko) * 2019-11-26 2021-08-26 서울대학교 산학협력단 동영상 분석 장치 및 방법
US10904476B1 (en) 2019-12-12 2021-01-26 Amazon Technologies, Inc. Techniques for up-sampling digital media content
US10924629B1 (en) * 2019-12-12 2021-02-16 Amazon Technologies, Inc. Techniques for validating digital media content
US11694021B2 (en) 2020-04-16 2023-07-04 Samsung Electronics Co., Ltd. Apparatus for generating annotated image information using multimodal input data, apparatus for training an artificial intelligence model using annotated image information, and methods thereof
US20220028425A1 (en) * 2020-07-22 2022-01-27 Idomoo Ltd System and Method to Customizing Video
US20220030299A1 (en) * 2020-07-23 2022-01-27 Rovi Guides, Inc. Systems and methods for simultaneous content presentation
CN112001265B (zh) * 2020-07-29 2024-01-23 北京百度网讯科技有限公司 视频事件识别方法、装置、电子设备及存储介质
US11921712B2 (en) * 2020-10-05 2024-03-05 MeetKai, Inc. System and method for automatically generating question and query pairs
CN114501165A (zh) * 2020-10-23 2022-05-13 国家广播电视总局广播电视科学研究院 视频结构化表示方法、装置及电子设备
US11461379B1 (en) * 2021-03-31 2022-10-04 Bank Of America Corporation Speech to text (STT) and natural language processing (NLP) based video bookmarking and classification system
KR20230171457A (ko) * 2021-04-14 2023-12-20 씨사츠 인코포레이티드 자연어 처리 기술을 사용하는 컴퓨터 비전 기반 수술 작업 흐름 인식 시스템
CN113923521B (zh) * 2021-12-14 2022-03-08 深圳市大头兄弟科技有限公司 一种视频的脚本化方法
CN114242070B (zh) * 2021-12-20 2023-03-24 阿里巴巴（中国）有限公司 一种视频生成方法、装置、设备及存储介质
KR102438743B1 (ko) 2022-03-02 2022-08-31 인하대학교 산학협력단 클라우드 서비스용 3d 매뉴얼을 2d 인터랙티브 비디오로 변환하는 방법 및 장치
US11770590B1 (en) 2022-04-27 2023-09-26 VoyagerX, Inc. Providing subtitle for video content in spoken language
CN115883818B (zh) * 2022-11-29 2023-09-19 北京优酷科技有限公司 视频帧数自动统计方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080112975A (ko) * 2007-06-22 2008-12-26 서종훈 스크립트 정보 기반 동영상 검색을 위한 데이터베이스 구축방법, 데이터베이스 구축 시스템, 데이터베이스 구축용컴퓨터 프로그램이 기록된 기록매체 및 이를 이용한 동영상검색 방법
KR20100123204A (ko) * 2009-05-14 2010-11-24 인하대학교 산학협력단 동영상 상황정보 어노테이션 방법 및 장치
KR20120050016A (ko) * 2010-11-10 2012-05-18 한국전자통신연구원 멀티미디어 콘텐츠를 이용한 소셜 네트워크 구축 장치 및 방법
KR20170062722A (ko) * 2015-11-30 2017-06-08 인하대학교 산학협력단 멀티 스크린 환경에서 인터랙티브 비디오를 위한 썸네일 기반의 상호작용 방법
KR20180087969A (ko) * 2017-01-26 2018-08-03 한국전자통신연구원 동영상 장면과 메타데이터 저작 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009069A (ja) * 2001-06-26 2003-01-10 Canon Inc 動画記録装置、動画記録方法、動画再生装置、動画再生方法、プログラムおよび記憶媒体
US20050022252A1 (en) * 2002-06-04 2005-01-27 Tong Shen System for multimedia recognition, analysis, and indexing, using text, audio, and digital video
JP4114421B2 (ja) * 2002-07-22 2008-07-09 ソニー株式会社 電子機器装置、サーバ装置、レイアウト記述文書の提供方法
US7734562B1 (en) * 2005-12-30 2010-06-08 Brainpool, Inc. Voice to text conversion with keyword parse and match to semantic and transactional concepts stored in a brain pool state machine using word distance to generate character model interaction in a plurality of dramatic modes
US8645991B2 (en) * 2006-03-30 2014-02-04 Tout Industries, Inc. Method and apparatus for annotating media streams
US20110087703A1 (en) * 2009-10-09 2011-04-14 Satyam Computer Services Limited Of Mayfair Center System and method for deep annotation and semantic indexing of videos
US8818037B2 (en) * 2012-10-01 2014-08-26 Microsoft Corporation Video scene detection
US9600717B1 (en) * 2016-02-25 2017-03-21 Zepp Labs, Inc. Real-time single-view action recognition based on key pose analysis for sports videos
US10460023B1 (en) * 2016-03-10 2019-10-29 Matthew Connell Shriver Systems, methods, and computer readable media for creating slide presentations for an annotation set
US10380459B2 (en) * 2016-08-30 2019-08-13 Imagry (Israel) Ltd. System and method for image classification
US10445762B1 (en) * 2018-01-17 2019-10-15 Yaoshiang Ho Online video system, method, and medium for A/B testing of video content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080112975A (ko) * 2007-06-22 2008-12-26 서종훈 스크립트 정보 기반 동영상 검색을 위한 데이터베이스 구축방법, 데이터베이스 구축 시스템, 데이터베이스 구축용컴퓨터 프로그램이 기록된 기록매체 및 이를 이용한 동영상검색 방법
KR20100123204A (ko) * 2009-05-14 2010-11-24 인하대학교 산학협력단 동영상 상황정보 어노테이션 방법 및 장치
KR20120050016A (ko) * 2010-11-10 2012-05-18 한국전자통신연구원 멀티미디어 콘텐츠를 이용한 소셜 네트워크 구축 장치 및 방법
KR20170062722A (ko) * 2015-11-30 2017-06-08 인하대학교 산학협력단 멀티 스크린 환경에서 인터랙티브 비디오를 위한 썸네일 기반의 상호작용 방법
KR20180087969A (ko) * 2017-01-26 2018-08-03 한국전자통신연구원 동영상 장면과 메타데이터 저작 방법

Also Published As

Publication number Publication date
JP2022505092A (ja) 2022-01-14
JP7199756B2 (ja) 2023-01-06
US20200125600A1 (en) 2020-04-23
US10733230B2 (en) 2020-08-04
KR101994592B1 (ko) 2019-06-28

Similar Documents

Publication Publication Date Title
WO2020080606A1 (ko) 비디오 메타데이터와 스크립트 데이터를 활용한 비디오 컨텐츠 통합 메타데이터 자동 생성 방법 및 시스템
KR102018295B1 (ko) 구간 영상 검색 및 제공 장치, 방법 및 컴퓨터-판독가능 매체
JP6824332B2 (ja) 動画サービス提供方法およびこれを用いるサービスサーバ
US9961403B2 (en) Visual summarization of video for quick understanding by determining emotion objects for semantic segments of video
Hong et al. Dynamic captioning: video accessibility enhancement for hearing impairment
US6578040B1 (en) Method and apparatus for indexing of topics using foils
Vijayakumar et al. A study on video data mining
JP2008533580A (ja) オーディオ及び／又はビジュアルデータの要約
WO2020232796A1 (zh) 多媒体数据匹配方法、装置和存储介质
KR101658413B1 (ko) 동영상에서의 인물 정보 추출방법 및 그 장치
KR20080114786A (ko) 다수의 이미지들 요약의 자동 생성 방법 및 장치
CN113709561A (zh) 视频剪辑方法、装置、设备及存储介质
CN112100438A (zh) 一种标签抽取方法、设备及计算机可读存储介质
WO2020166883A1 (ko) 인공지능을 이용한 문맥 파악 기반의 동영상 편집 방법 및 시스템
CN110619284B (zh) 一种视频场景划分方法、装置、设备及介质
KR20190063352A (ko) 클립 간 유사도 분석에 의한 영상 콘텐츠의 클립 연결 장치 및 방법
CN112182297A (zh) 训练信息融合模型、生成集锦视频的方法和装置
KR102298066B1 (ko) 영상 콘텐츠 제공 방법 및 영상 콘텐츠 제공 장치
US20040008789A1 (en) Audio-assisted video segmentation and summarization
Hoai et al. Thread-safe: Towards recognizing human actions across shot boundaries
Bertini et al. Video annotation with pictorially enriched ontologies
Gagnon et al. Towards computer-vision software tools to increase production and accessibility of video description for people with vision loss
KR20200044435A (ko) 영상의 쇼트 분류를 이용한 사용자 맞춤형 영상 추천 시스템
CN114095782A (zh) 一种视频处理方法、装置、计算机设备及存储介质
Chen et al. Rule-based scene extraction from video

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18937433

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021520997

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18937433

Country of ref document: EP

Kind code of ref document: A1