KR20180087969A - 동영상 장면과 메타데이터 저작 방법 - Google Patents

동영상 장면과 메타데이터 저작 방법 Download PDF

Info

Publication number
KR20180087969A
KR20180087969A KR1020170012414A KR20170012414A KR20180087969A KR 20180087969 A KR20180087969 A KR 20180087969A KR 1020170012414 A KR1020170012414 A KR 1020170012414A KR 20170012414 A KR20170012414 A KR 20170012414A KR 20180087969 A KR20180087969 A KR 20180087969A
Authority
KR
South Korea
Prior art keywords
scene
metadata
generated
displaying
information
Prior art date
Application number
KR1020170012414A
Other languages
English (en)
Other versions
KR102028198B1 (ko
Inventor
이상윤
김선중
박원주
손정우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170012414A priority Critical patent/KR102028198B1/ko
Priority to US15/838,698 priority patent/US20180213289A1/en
Publication of KR20180087969A publication Critical patent/KR20180087969A/ko
Application granted granted Critical
Publication of KR102028198B1 publication Critical patent/KR102028198B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

동영상 장면과 메타데이터 저작 방법이 개시된다. 이 저작 방법은 (A) 동영상, 음성, 자막 및 대본을 포함하는 텍스트를 포함하는 방송 컨텐츠가 입력되는 단계, (B) 입력된 상기 방송 컨텐츠로부터 샷을 추출하고, 편집하는 단계, (C) 추출 및 편집된 상기 샷을 기반으로 장면을 생성하고, 편집하는 단계, (D) 생성 및 편집된 장면 별로 메타데이터를 자동으로 생성 및 편집하는 단계, (E) 생성 및 편집된 장면과 생성 및 편집된 메타데이터를 데이터베이스에 저장하는 단계 및 (F) 상기 단계들 (A), (B), (C), (D) 및 (E)에서 각각 수행되는 작업에서 표시되는 GUI(Graphical User Interface) 화면 구성을 생성하는 단계를 포함한다.

Description

동영상 장면과 메타데이터 저작 방법{DEVICE FOR AUTHORING VIDEO SCENE AND METADATA}
본 발명은 동영상으로부터 장면과 그 장면에 대응하는 메타데이터를 생성 및 편집하는 저작 방법에 관한 것이다.
유튜브, 네이버 등의 포털 사이트, 방송사 등과 같은 컨텐츠 제공 업체는 드라마, 영화와 같은 다양한 동영상 컨텐츠를 다운로딩 서비스 방식, 스트리밍 서비스 방식 또는 VOD 서비스 방식 등으로 사용자에게 제공하고 있다. 여기서, VOD 서비스 방식은 사용자가 동영상 컨텐츠의 일부 장면만을 선택하여 볼 수 있게 하는 서비스 방식이다.
일반적으로, 사용자는 동영상 컨텐츠의 스토리 또는 출연 배우에 높은 관심을 보이지만, 특정 장면에서 출연 배우가 소지한 소품이나 착용한 의복에 대한 관심도 매우 높다.
따라서, 특정 장면에서 출연 배우가 소지한 소품이나 착용한 의복에 관심은 사용자의 구매욕구로 이어지므로, 관련 물품을 판매하는 사업자 입장에서는 특정 장면에서 출연 배우가 소지한 소품이나 착용한 의복에 대한 정보를 사용자에게 제공할 수 있는 기술을 개발할 필요가 있다.
이와 같이, 동영상 내의 특정 장면과 이 특정 장면에 관련된 정보를 제공하는 다양한 종래 기술들이 연구되고 있으며, 이러한 종래 기술들은 다음과 같은 문제점이 있다.
첫째, 종래 기술은 동영상으로부터 장면을 생성할 때, 수작업으로 특정 장면을 생성할 뿐 기계적으로 장면을 자동으로 생성하는 장치가 존재하지 않는다.
둘째, 종래 기술은 장면과 관련된 정보(또는 메타 데이터)를 자동으로 생성하지 않는다.
셋째, 종래 기술은 장면을 수정하면, 장면에 대응하는 정보(메타데이터)를 재생성(업데이트)해야 하는데, 자동으로 다시 생성하지 않는다.
이와 같이, 종래 기술은 동영상을 다수의 장면으로 분할하고, 장면 기반의 메타데이터를 생성 및 편집하는 일련의 과정을 자동으로 처리하지 못하기 때문에, 수작업에 따른 불편함과 많은 처리 시간이 요구된다.
따라서, 본 발명의 목적은 동영상으로부터 장면과 그 장면에 대응하는 메타데이터를 자동으로 생성하는 저작 방법을 제공하는 데 있다.
본 발명의 다른 목적은 자동으로 생성된 샷과 장면 중 불필요한 부분을 제거하여 저장 용량을 절약할 수 있도록 결과물을 편집하는 저작 방법을 제공하는 데 있다.
본 발명의 목적은 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 동영상 장면과 메타데이터 저작 방법은, 동영상 장면과 메타데이터 저작 방법이 개시된다. 이 저작 방법은 (A) 동영상, 음성, 자막 및 대본을 포함하는 텍스트를 포함하는 방송 컨텐츠가 입력되는 단계, (B) 입력된 상기 방송 컨텐츠로부터 샷을 추출하고, 편집하는 단계, (C) 추출 및 편집된 상기 샷을 기반으로 장면을 생성하고, 편집하는 단계, (D) 생성 및 편집된 장면 별로 메타데이터를 자동으로 생성 및 편집하는 단계, (E) 생성 및 편집된 장면과 생성 및 편집된 메타데이터를 데이터베이스에 저장하는 단계 및 (F) 상기 단계들 (A), (B), (C), (D) 및 (E)에서 각각 수행되는 작업에서 표시되는 GUI(Graphical User Interface) 화면 구성을 생성하는 단계를 포함한다.
본 발명에 따르면, 동영상으로부터 샷, 장면 및 메타데이터를 추출 및 생성하는 과정을 자동화할 수 있고, 또한, 샷 추출, 장면 생성, 메타데이터 생성 단계의 진행을 인위적으로 제어할 수 있고, 또한, 자동으로 생성된 샷, 장면, 메타 데이터를 수정하고 편집할 수 있다
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 다른 저작 장치의 기능 블록도이다.
도 2는 도 1에 도시된 데이터 입력부에서 수행하는 작업에서 제공되는 GUI 화면 구성을 나타내는 도면이다.
도 3은 도 1에 도시된 샷 추출 및 편집부에서 수행하는 작업에서 제공되는 GUI 화면 구성을 나타내는 도면이다.
도 4는 도 1에 도시된 장면 생성 및 편집부에서 수행하는 작업에서 제공되는 GUI 화면 구성을 나타내는 도면이다.
도 5는 도 1에 도시된 메타데이터 생성 및 편집부에서 수행하는 작업에서 제공되는 GUI 화면 구성을 나타내는 도면이다.
도 6은 도 1에 도시된 데이터 저장부에서 수행하는 작업에서 제공되는 GUI 화면 구성을 나타내는 도면이다.
본 발명의 다양한 실시 예는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시 예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용된다.
본 발명은 동영상을 다수의 장면으로 분할하고, 각 장면에 대응하는 메타데이터를 생성 및 편집하는 일련의 과정을 자동으로 처리하는 저작 장치를 제공한다.
저작 장치는 통신망을 통해 동영상 제공자(예를 들면, 방송사 서버 등)로부터 동영상을 다운로딩, 스트리밍 방식으로 수신하도록 통신 기능을 구비하며, 동영상을 재생할 수 있는 모든 종류의 컴퓨팅 장치 또는 컴퓨팅 장치 내에 탑재될 수 있다.
컴퓨팅 장치는, 예를 들면, 마이컴이나 중앙처리장치(CPU: Central Processing Unit) 등으로 구성되는 제어부와, HDD(Hard Disk Drive)나 플래시 메모리 등 디지털 데이터를 저장하는 비휘발성 저장매체 등으로 구성되는 저장부와, CD-ROM이나 DVD-ROM 드라이버, 디스플레이부, 게임 음향을 출력하는 오디오부와, 키보드, 키패드, 마우스, 조이스틱, 마이크 등의 입력부와, 통신망을 통하여 동영상 제공자에 접속하는 유/무선 통신부 등을 포함할 수 있다. 여기서, 통신망은 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network), 인터넷망, 이동통신망 또는 이들이 혼합된 이종의 통신망 등 다양한 통신망으로 구성될 수 있다.
컴퓨팅 장치는, 예를 들면, 노트북 PC, 데스크탑 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone: Personal Communications Services phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000), 팜 PC(Palm Personal Computer), 노트북 PC, 개인용 디지털 보조기(PDA: Personal Digital Assistant), 스마트폰(Smart phone), 왑폰(WAP phone: Wireless application protocol phone), 게임기(Playstation) 등일 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 저작 장치에 대해 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 다른 저작 장치의 기능 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 다른 저작 장치(300)는 동영상 장면 저작 도구(100), 동영상 클립 데이터베이스(200), 화면구성 생성부(300), 그래픽 객체 저장부(400) 및 표시부(500)를 포함한다.
동영상 장면 저작 도구(100)는 컴퓨팅 장치에서 실행한 가능한 소프웨어 모듈 또는 하드웨어 모듈로서, 통신망(50)을 통해 동영상 제공서버(105)로부터 제공되는 방송 컨텐츠로부터 장면과 메타데이터를 생성한다(또는 추출한다).
동영상 클립 데이터베이스(200)는 상기 동영상 장면 저작 도구(100)에서 생성한(추출한) 장면과 메타데이터를 저장한다.
화면구성 생성부(300)는 컴퓨팅 장치에서 실행 가능한 소프트웨어 모듈 또는 하드웨어 모듈일 수 있다. 하드웨어 모듈은 그래픽 프로세서일 수 있다. 화면구성 생성부(300)는 그래픽 객체 저장부(400)에 저장된 다양한 그래픽 객체를 이용하여 동영상 장면 저작 도구(100)에서 수행하는 작업 과정을 인터페이스 화면으로 구성하고, 구성된 인터페이스 화면을 표시부(500)를 통해 출력한다.
그래픽 객체 저장부(400)에는 인터페이스 화면을 구성하기 위한 다양한 그래픽 객체가 저장되어 있으며, 화면구성 생성부(300)의 요청에 따라 해당 그래픽 객체를 화면구성 생성부(300)에 제공한다. 여기서, 그래픽 객체는 작업 진행 상황을 나타내는 다양 형태의 아이콘, 버튼, 입력창, 연결막대, 특정 화면의 표시영역을 정의하는 테두리, 화살표, 문자와 숫자를 포함하는 텍스트, 테이블 형상을 나타내는 표시 라인, 다양한 색상 등을 포함한다.
표시부(500)는 화면구성 생성부(300)에서 제공하는 인터페이스 화면(GUI 화면)을 시각적인 정보로 변환하여 출력하는 것으로, LCD 패널, OLED 패널, 터치 패널 등을 포함하는 표시패널 및 이러한 표시 패널을 제어하는 제어부를 포함할 수 있다.
동영상 장면 저작 도구(100)는, 도 1에 도시된 바와 같이, 통신부(105), 데이터 입력부(110), 샷 추출 및 편집부(120), 장면 생성 및 편집부(130), 메타데이터 생성 및 편집부(140) 및 데이터 저장부(150)를 포함한다.
통신부(105)는 통신망(50)을 통해 동영상 제공 서버(10)로부터 동영상 데이터, 음성 데이터, 자막 파일 및 대본 파일을 포함하는 텍스트 데이터 등을 포함하는 방송 컨텐츠를 수신한다.
데이터 입력부(110)는 상기 통신부(105)로부터 입력되는 상기 방송 컨텐츠를 프레임 단위로 수집하고, 수집된 방송 컨텐츠를 프레임 단위로 샷 추출 및 편집부(130)로 제공한다.
상기 샷 추출 및 편집부(120)는 상기 방송 컨텐츠로부터 다수의 샷을 추출하고, 추출된 각 샷에 대한 편집 작업을 수행한다. 여기서, 샷(shot)은 장면(scene)과 구분되는 용어로서, 다수의 카메라가 여러 각도에서 하나의 동일한 상황을 촬영했을 때, 각 카메라에서 획득한 이미지들 각각으로 정의될 수 있다. 따라서, 다수의 샷은 의미적 유사성 또는 의미적 연관성을 갖는다. 이러한 다수의 샷들의 집합은 장면으로 정의된다.
상기 샷 추출 및 편집부(120)는 상기 동영상 데이터를 구성하는 이전 프레임과 현재 프레임 간의 유사도에 기반하여 샷 시퀀스를 추출한다. 유사도는 HUG, 색상 히스토그램, SIFT, 모션 벡터, 인텐시티 등의 영상 특징의 차이를 기반으로 계산될 수 있다. 또한, 유사도는 LSTER, HZCRR, 스펙트럼 플럭스 등의 음성 특징의 차이를 기반으로 계산될 수 있다. 또한, 유사도는 각 샷에 대응하는 자막 또는 대본에서 검출되는 텍스트 특징의 차이를 기반으로 계산될 수 있다. 또한, 유사도는 상기 영상 특징의 차이, 상기 음성 특징의 차이 및 상기 텍스트 특징의 차이를 모두 고려하여 계산될 수 있다.
장면 생성 및 편집부(130)는 추출된 각 샷을 기반으로 장면을 생성하고, 생성된 장면에 대한 편집 작업을 수행한다.
장면 생성 및 편집부(130)에서는, 샷 간의 유사도를 기반으로 초기 장면을 생성한 후, 초기 장면과 다른 장면 간의 연관성을 계산한다. 장면 간의 연관성은 자막, 대본과 같은 데이터 분석을 통해 장면과 관련된 정보를 추출하고, 추출된 정보를 비정형 데이터 분석 방법(또는 비정형 데이터 마이닝)으로 측정될 수 있다.
메타데이터 생성 및 편집부(140)는 생성된 각 장면에 대한 메타데이터를 자동으로 생성하고, 자동으로 생성된 메타데이터에 대한 편집 작업을 수행한다. 여기서, 메타데이터는 장면 번호, 상기 장면 번호에 대응하는 장면 시작 시간, 상기 장면 번호에 대한 장면 종료 시간 및 상기 장면 번호로 할당된 장면을 대표하여 표현할 수 있는 표제어(Headword) 등과 같은 각 장면에 대한 속성 데이터일 수 있다. 특히, 장면 단위의 표제어는 다양한 응용 서비스 시스템과 연계될 수 있는 유용한 정보로 활용될 수 있다. 예를 들면, 상기 표제어는 각 장면에 대한 표제어를 상품과 연계시키는 상품 광고 시스템과 같은 응용 서비스 시스템과 연계될 수 있다.
상기 표제어는 각 장면에 대응하는 음성 데이터와 텍스트 데이터(예를 들면, 자막 파일 및 대본 파일)를 분석하여 생성할 수 있다. 음성 데이터 및 텍스트 데이터를 분석하는 방법으로, 음성 인식 기술, 언어 처리 기술, 비정형 데이터 마이닝, 딥-러닝, 기계학습 등이 이용될 수 있다.
이러한 분석을 통해 상기 표제어는 각 장면마다 여러 개의 표제어로 분류될 수 있으며, 분류된 각 표제어마다 중요도를 나타내는 가중치 값을 가질 수 있다.
데이터 저장부(150)는 장면 생성 및 편집부(130)에서 생성 및 편집한 장면과 메타데이터 생성부(140)에서 생성 및 편집한 메타데이터를 저장한다.
동영상 클립 데이터베이스(200)는 상기 장면과 상기 메타데이터를 특정한 자료 구조로 구성하여, 이를 저장한다. 상기 자료 구조는, 예를 들면, 방송 프로그램을 개별적으로 식별하기 위한 프로그램 식별자, 각 장면들을 개별적으로 식별하기 위한 장면 번호, 장면의 시작점을 표현하기 위한 장면 시작 시간, 장면의 끝점을 표현하기 위한 장면 종료시간, 및 각 장면에 대한 표제어를 포함하도록 구성될 수 있다. 이때 장면 시작 시간과 장면 종료 시간은 그 값을 시간 단위로 나타낼 수도 있고, 프레임 번호로 나타낼 수도 있다. 표제어 속성은 각 장면마다 여러 개의 표제어 값을 가질 수도 있는데, 각 표제어마다 중요도를 나타내는 가중치 값을 가질 수도 있다.
도 2는 도 1에 도시된 데이터 입력부에서 수행하는 작업에서 표시되는 화면 구성을 나타내는 도면이다.
도 2를 참조하면, 데이터 입력부(110)에서 수행하는 작업에서 표시되는 화면 구성은 진행 상태 블록(112), 제1 정보 출력창(113), 데이터 입력 블록(114), 제2 정보 출력창(115), 연결 막대 블록(116, 117) 및 이미지 창(118)을 포함한다.
진행 상태 블록(112)은 동영상 장면 저작도구(100)에서 진행하는 작업 단계의 진행 상황을 나타내기 위한 다수의 블록을 포함한다.
진행 상태 블록(112)은 동영상 선택 작업 단계를 나타내는 블록, 샷 생성 및 편집 작업 단계를 나타내는 블록, 장면 생성 및 편집 작업 단계를 나타내는 블록, 메타데이터 생성 및 편집 작업 단계를 나타내는 블록, 저장 작업 단계를 나타내는 블록 및 작업 완료 단계를 나타내는 블록을 포함한다. 현 작업 단계가 동영상을 선택하는 작업 단계인 경우, 동영상 선택 작업 단계를 나타내는 블록이 특정 색상으로 활성화된다. 사용자가 다수의 블록 중에서 임의의 블록을 터치하면, 터치된 블록에 대응하는 작업 단계로 작업 화면이 전환된다. 따라서, 진행 상태 블록(112)은 특정 작업 단계로 전환하기(또는 이동하기) 위한 입력 기능을 제공한다.
제1 정보 출력창(113)은 선택된 방송 컨텐츠의 동영상, 자막, 대본 등에 대한 정보를 표시한다.
데이터 입력 블록(114)은 동영상 정보, 에피소드 정보, 자막 정보, 대본 정보 등을 입력하기 위한 블록으로, 동영상 정보를 입력하는 입력 창, 에피소드를 입력하는 입력 창, 자막을 입력하는 입력 창 및 대본을 입력하는 입력 창을 포함한다.
제2 정보 출력창(115)은 동영상 장면 저작 도구(100)에 대한 소개 정보를 표시한다.
이미지 창(118)은 샷 또는 장면의 대표 키프레임 이미지들을 각각 표시하는 다수의 창을 포함하도록 구성된다. 포함한다. 동영상 데이터가 입력되기 전의 초기 상태는 아직 대표 키프레임 이미지가 존재하지 않으므로, 이미지 창(118)은 기본 이미지가 출력될 수 있다.
연결 막대블록(116, 117)는 샷 또는 장면의 대표 키프레임 이미지들 간의 연관성을 표시하는 것으로, 연관성이 높은 샷들 또는 장면들은 도 2에 도시된 바와 같이, 연속적인 연결막대로 표시된다.
도 3은 도 1에 도시된 샷 추출 및 편집부(120)에서 수행하는 작업에서 표시되는 화면구성을 나타내는 도면이다.
도 3을 참조하면, 샷 추출 및 편집부(120)에서 수행하는 작업에서 표시되는 화면구성은 진행 상태 블록(122), 샷 추출 결과 출력창(123), 샷 정보 출력창(124), 연결 막대 블록(126, 127) 및 이미지 창(128)을 포함한다.
진행 상태 블록(122)은 동영상 장면 저작도구(100)에서 진행하는 작업 단계의 진행 상황을 표시하거나, 특정 작업 단계로 전환하기 위한 입력 기능을 제공하며, 도 2에 도시된 진행 상태 블록(112)과 동일한 기능을 갖는다. 현 작업 단계가 선택된 동영상에서 샷을 추출하는 작업이므로, 샷을 추출하는 작업을 나타내는 블록이 특정 색상으로 활성화된다.
샷 추출 결과 출력창(123)은 선택된 동영상으로부터 샷이 추출되는 동안 생성되는 중간 결과 정보 또는 최종 결과 정보를 포함하는 샷 추출 결과 정보를 표시한다.
샷 정보 출력창(124)은 추출된 샷에 관한 정보를 표시한다.
연결 막대 블록(126, 127)은 동영상으로부터 추출된 샷들 간의 연관성을 표시한다.
이미지 창(128)은 동영상으로부터 추출된 샷의 대표 키프레임 이미지를 표시한다. 이미지 창(128)에는 샷이 추출되기 전 초기 상태는 대표 키프레임 이미지가 존재하지 않으므로, 기본 이미지가 출력될 수 있다. 이미지 창(128)에서 대표 키프레임을 선택해서 그 프레임을 포함하는 샷을 드래그 & 드랍 기능을 이용해 삭제할 수 있다. 또는 여러 개의 대표 키프레임들을 동시에 선택해서 한꺼번에 삭제할 수도 있다.
도 4는 도 1에 도시된 장면 생성 및 편집부에서 수행하는 작업에서 표시되는 화면 구성을 나타내는 도면이다.
도 4를 참조하면, 장면 생성 및 편집부(130)에서 수행하는 작업에서 표시되는 화면 구성은 진행 상태 블록(132), 장면 생성 결과 출력창(133), 장면 정보 출력창(134), 동영상 재생창(135), 연결 막대 블록(136, 137) 및 이미지 창(138)을 포함한다.
진행 상태 블록(132)은 전술한 진행 상태 블록(112, 122)의 표시 기능과 동일하다. 따라서, 이에 대한 설명은 전술한 진행 상태 블록(112, 122)의 표시 기능에 대한 설명으로 대신한다.
장면 생성 결과 출력창(133)은 장면 생성 과정에서 생성되는 중간 결과 또는 최종 결과 정보를 표시한다. 중간 결과 또는 최종 결과 정보는, 예를 들면, 파일명, 장면 시간, 해당 장면에 할당된 장면 번호 등을 포함한다.
장면 정보 출력창(134)은 생성된 장면에 관한 정보를 표시한다.
동영상 재생창(135)은 생성된 장면들을 연속적으로 표시한다.
연결 막대 블록(136, 137)은 전술한 연결 막대 블록(116, 117 또는 126, 127)의 표시 기능과 동일하다. 따라서, 이에 대한 설명은 전술한 연결 막대 블록(116, 117 또는 126, 127)의 표시 기능에 대한 설명으로 대신한다.
이미지 창(138)은 장면의 대표 키프레임 이미지를 표시한다. 장면이 생성되기 전 초기 상태에서는 대표 키프레임 이미지가 존재하지 않으므로, 이미지 창(138)에는 기본 이미지가 출력될 수 있다. 이미지 창(138)에서 대표 키프레임을 선택해서 그 프레임을 포함하는 장면을 드래그 & 드랍 기능을 이용해 삭제할 수 있다. 또는 여러 개의 대표 키프레임들을 동시에 선택해서 한꺼번에 삭제할 수도 있다.
도 5는 도 1에 도시된 메타데이터 생성 및 편집부에서 수행하는 작업에서 표시되는 화면 구성을 나타내는 도면이다.
도 5를 참조하면, 메타데이터 생성 및 편집부(140)에서 수행하는 작업에서 표시되는 화면 구성은 진행 상태 블록(142), 장면 정보 출력 창(143), 메타데이터 생성 결과 출력창(144), 동영상 재생창(145), 연결 막대 블록(146, 147) 및 이미지 창(148)을 포함한다.
진행 상태 블록(142)은 전술한 진행 상태 블록(112, 122, 132)의 표시 기능과 동일하므로, 이에 대한 설명은 전술한 진행 상태 블록(112, 122, 132)의 표시 기능에 대한 설명으로 대신한다.
장면 정보 출력 창(143)은 현재 생성 중인 메타데이터에 대응하는 장면에 대한 정보를 표시한다. 여기서, 장면에 대한 정보로, 장면 번호, 장면 시간 등을 예로 들 수 있다.
메타데이터 생성 결과 출력창(144)은 메타데이터가 생성되는 동안, 중간 결과 혹은 최종 결과들을 보여주거나 탐색할 수 있는 메타데이터 생성 결과 정보를 표시한다.
메타데이터 생성 결과 정보는 해당 장면과 연관된 토픽(topic)(또는 표제어)과 및 해당 장면과 토픽(또는 표제어) 간의 유사도(probability)(또는 가중치)를 갖는 테이블일 수 있다.
또한, 메타데이터 생성 결과 정보는 테이블 형태로 구성하지 않고, 해당 장면과 연관된 토픽에 대응하는 표제어들의 배열, 크기 및 색상을 다양하게 설정하여, 사용자가 해당 장면과 연관성이 높은 순서로 표제어들을 시각적으로 인지하기 쉽게 구성할 수도 있다. 예를 들면, 도면에 도시된 바와 같이, 선택된 동영상이 고려시대를 배경으로 하는 드라마이고, 생성된 장면에 대해 표제어들이 해당 장면과 연관성이 높은 순서로 "고려", "황후", "경사", "사랑" 등일 때, 표제어들을 달팽이관 형상으로 배열하고, 연관성이 가장 높은 순서에서 낮은 순서로 텍스트의 크기를 작게 설정할 수 있다.
동영상 재생창(145)은 해당 장면들을 재생하도록 연속적으로 표시한다.
연결 막대 블록(146, 147)은 장면들 간의 관계를 연결 막대로 표시한다.
이미지 창(148)은 장면의 대표 키프레임 이미지를 표시한다. 장면이 생성되기 전 초기 상태에서는 대표 키프레임 이미지가 존재하지 않으므로, 이미지 창(148)에는 기본 이미지가 출력될 수 있다. 이미지 창(138)에서 대표 키프레임을 선택해서 그 프레임을 포함하는 장면을 드래그 & 드랍 기능을 이용해 삭제할 수 있다. 또는 여러 개의 대표 키프레임들을 동시에 선택해서 한꺼번에 삭제할 수도 있다.
도 6은 도 1에 도시된 데이터 저장부(150)에서 수행하는 작업에서 표시되는 화면 구성을 나타내는 도면이다.
도 6을 참조하면, 데이터 저장부(150)에서 수행하는 작업에서 표시되는 화면 구성은 진행 상태 블록(152), 장면 정보 출력 창(153), 상태 정보 출력창(154) 및 동영상 재생창(155)을 포함한다.
진행 상태 블록(152)은 전술한 진행 상태 블록(112, 122, 132, 142)의 표시 기능과 동일하므로, 이에 대한 설명은 전술한 진행 상태 블록(112, 122, 132, 142)의 표시 기능에 대한 설명으로 대신한다.
장면 정보 출력창(153)은 데이터베이스(200)에 저장이 진행하는 동안 장면에 대한 정보를 표시한다. 여기서, 장면에 대한 정보는, 예를 들면, 장면 시간, 장면 번호 등일 수 있다.
상태 정보 출력창(154)은 데이터베이스(200)에 저장 진행 상황을 사용자가 시각적으로 인지할 수 있는 다양한 그래픽 객체를 이용하여 표시한다.
동영상 재생창(155)은 저장되고 있는 장면들을 재생하도록 연속적으로 표시한다.
이상 설명한 바와 같이, 본 발명의 동영상 장면과 메타데이터 저작 장치는 동영상을 다수의 장면으로 분할하고, 분할된 각 장면에 대한 메타데이터를 생성 및 편집하는 일련의 과정을 자동으로 처리하고, 이러한 자동 처리 과정을 접근성이 용이한 GUI 화면으로 제공할 수 있다.
이렇게 함으로써, 동영상으로부터 샷, 장면 및 메타데이터를 추출 및 생성하는 과정을 자동화할 수 있고, 또한, 샷 추출, 장면 생성, 메타데이터 생성 단계의 진행을 접근성이 용이한 GUI 화면을 통해 편리하게 수정 및 편집할 수 있다.
이상에서 본 발명에 대하여 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 컴퓨팅 장치에서 실행 가능한 동영상 장면과 메타데이터 저작 도구를 기반으로 하는 동영상 장면과 메타데이터를 저작하는 방법에서,
    (A) 동영상, 음성, 자막 및 대본을 포함하는 텍스트를 포함하는 방송 컨텐츠가 입력되는 단계
    (B) 입력된 상기 방송 컨텐츠로부터 샷을 추출하고, 편집하는 단계;
    (C) 추출 및 편집된 상기 샷을 기반으로 장면을 생성하고, 편집하는 단계;
    (D) 생성 및 편집된 장면 별로 메타데이터를 자동으로 생성 및 편집하는 단계;
    (E) 생성 및 편집된 장면과 생성 및 편집된 메타데이터를 데이터베이스에 저장하는 단계: 및
    (F) 상기 단계들 (A), (B), (C), (D) 및 (E)에서 각각 수행되는 작업에서 표시되는 GUI(Graphical User Interface) 화면 구성을 생성하는 단계;
    를 포함하는 동영상 장면과 메타데이터 저작 방법.
  2. 제1항에서, 상기 단계 (F)에서, 상기 단계 (A)에서 수행되는 작업에서 표시되는 GUI 화면 구성은,
    상기 단계들 (A), (B), (C), (D) 및 (E)로 이루어진 작업 진행 상황을 표시하는 진행 상태 블록;
    상기 방송 컨텐츠에 대한 정보를 표시하는 제1 정보 출력 창;
    상기 동영상 및 상기 텍스트에 대한 정보가 입력되는 데이터 입력 블록; 및
    상기 동영상 장면과 메타데이터 저작 도구에 대한 소개 정보가 표시되는 제2 정보 출력 창;을 포함함을 특징으로 하는 동영상 장면과 메타데이터 저작 방법.
  3. 제1항에서, 상기 단계 (F)에서, 상기 단계 (B)에서 수행되는 작업에서 표시되는 GUI 화면 구성은,
    상기 단계들 (A), (B), (C), (D) 및 (E)로 이루어진 작업 진행 상황을 표시하는 진행 상태 블록;
    상기 샷이 추출되는 동안 생성되는 샷 추출 결과 정보를 표시하는 샷 추출 결과 출력창;
    추출된 샷에 관한 정보를 표시하는 샷 정보 출력 창;
    추출된 샷 간의 연관성을 표시하는 연결 막대 블록;
    추출된 샷의 대표 키프레임 이미지를 표시하는 이미지 창;을 포함함을 특징으로 하는 동영상 장면과 메타데이터 저작 방법.
  4. 제3항에서, 추출된 샷의 대표 키프레임 이미지 중 선택된 적어도 하나의 대표 키프레임 이미지를 삭제하는 단계를 더 포함하고,
    상기 적어도 하나의 대표 키프레임 이미지는 드래그 & 드랍 기능을 이용하여 삭제됨을 특징으로 하는 동영상 장면과 메타데이터 저작 방법.
  5. 제1항에서, 상기 단계 (F)에서, 상기 단계 (C)에서 수행하는 작업에서 표시되는 GUI 화면 구성은,
    상기 단계들 (A), (B), (C), (D) 및 (E)로 이루어진 작업 진행 상황을 표시하는 진행 상태 블록;
    장면이 생성되는 동안 생성되는 결과 정보를 표시하는 장면 생성 결과 출력창;
    생성된 장면에 관한 정보를 표시하는 장면 정보 출력창
    생성된 장면 간의 연관성을 표시하는 연결 막대 블록; 및
    생성된 장면의 대표 키프레임 이미지를 표시하는 이미지 창;을 포함함을 특징으로 하는 동영상 장면과 메타데이터 저작 방법.
  6. 제5항에서, 생성된 장면의 대표 키프레임 이미지 중 선택된 적어도 하나의 대표 키프레임 이미지를 삭제하는 단계를 더 포함하고,
    상기 적어도 하나의 대표 키프레임 이미지는 드래그 & 드랍 기능을 이용하여 삭제됨을 특징으로 하는 동영상 장면과 메타데이터 저작 방법.
  7. 제1항에서, 상기 단계 (F)에서, 상기 단계 (D)에서 수행하는 작업에서 표시되는 GUI 화면 구성은,
    상기 단계들 (A), (B), (C), (D) 및 (E)로 이루어진 작업 진행 상황을 표시하는 진행 상태 블록;
    생성 중인 메타데이터에 대응하는 장면에 대한 정보를 표시하는 장면 정보 출력 창;
    메타데이터가 생성되는 동안, 생성되는 메타데이터 생성 결과 정보를 표시하는 메타데이터 생성 결과 출력창;
    생성 중인 메타데이터에 대응하는 장면의 대표 키프레임 이미지를 표시하는 이미지 창; 및
    장면들 간의 관계를 연결 막대로 표시하는 연결 막대 블록;을 포함함을 특징으로 하는 동영상 장면과 메타데이터 저작 방법.
  8. 제6항에서, 상기 메타데이터 생성 결과 출력창은,
    상기 메타데이터 생성 결과 정보를 테이블로 표시하고,
    상기 테이블은,
    해당 장면과 연관된 표제어 및 상기 해당 장면과 표제어 간의 유사도로 이루어짐을 특징으로 하는 동영상 장면과 메타데이터 저작 방법.
  9. 제6항에서, 상기 메타데이터 생성 결과 출력창은,
    상기 메타데이터 생성 결과 정보를 해당 장면과 연관된 표제어들로 표시하고,
    상기 표제어들은,
    해당 장면과의 연관성에 따라 서로 다른 텍스트 크기 및 색상으로 표시됨을 특징으로 하는 동영상 장면과 메타데이터 저작 방법.
  10. 제1항에서, 상기 단계 (F)에서, 상기 단계 (E)에서 수행하는 작업에서 표시되는 GUI 화면 구성은,
    상기 단계들 (A), (B), (C), (D) 및 (E)로 이루어진 작업 진행 상황을 표시하는 진행 상태 블록;
    생성 및 편집된 장면과 생성 및 편집된 메타데이터를 데이터베이스에 저장하는 동안 장면에 대한 정보를 표시하는 장면 정보 출력창; 및
    생성 및 편집된 장면과 생성 및 편집된 메타데이터가 데이터베이스에 저장되는 진행 상황을 사용자가 시각적으로 인지할 수 있는 그래픽 객체로 표시하는 상태 정보 출력창;을 포함함을 특징으로 하는 동영상 장면과 메타데이터 저작 방법.
KR1020170012414A 2017-01-26 2017-01-26 동영상 장면과 메타데이터 저작 방법 KR102028198B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170012414A KR102028198B1 (ko) 2017-01-26 2017-01-26 동영상 장면과 메타데이터 저작 방법
US15/838,698 US20180213289A1 (en) 2017-01-26 2017-12-12 Method of authorizing video scene and metadata

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170012414A KR102028198B1 (ko) 2017-01-26 2017-01-26 동영상 장면과 메타데이터 저작 방법

Publications (2)

Publication Number Publication Date
KR20180087969A true KR20180087969A (ko) 2018-08-03
KR102028198B1 KR102028198B1 (ko) 2019-10-04

Family

ID=62906905

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170012414A KR102028198B1 (ko) 2017-01-26 2017-01-26 동영상 장면과 메타데이터 저작 방법

Country Status (2)

Country Link
US (1) US20180213289A1 (ko)
KR (1) KR102028198B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101994592B1 (ko) * 2018-10-19 2019-06-28 인하대학교 산학협력단 비디오 콘텐츠의 메타데이터 자동 생성 방법 및 시스템
KR20210063026A (ko) * 2019-11-22 2021-06-01 주식회사 코난테크놀로지 자동 생성된 비디오 메타데이터 검수 방법 및 이를 위한 장치
KR20210122496A (ko) 2020-04-01 2021-10-12 한국전자통신연구원 벡터를 이용한 장면 묘사 기반의 메타데이터 생성 방법 및 이를 위한 장치
KR102334396B1 (ko) * 2021-04-08 2021-12-01 김선엽 인공지능을 이용한 저작물 제작 보조 방법 및 그 장치
US11758204B2 (en) 2018-11-28 2023-09-12 Samsung Electronics Co., Ltd. Electronic device and control method therefor

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314775B (zh) * 2018-12-12 2021-09-07 华为终端有限公司 一种视频拆分方法及电子设备
CN114788293B (zh) 2019-06-11 2023-07-14 唯众挚美影视技术公司 用于制作包括电影的多媒体数字内容的系统、方法和介质
WO2021022499A1 (en) 2019-08-07 2021-02-11 WeMovie Technologies Adaptive marketing in cloud-based content production
WO2021068105A1 (en) 2019-10-08 2021-04-15 WeMovie Technologies Pre-production systems for making movies, tv shows and multimedia contents
CN110781347B (zh) * 2019-10-23 2023-03-07 腾讯科技（深圳）有限公司 一种视频处理方法、装置、设备以及可读存储介质
WO2021225608A1 (en) 2020-05-08 2021-11-11 WeMovie Technologies Fully automated post-production editing for movies, tv shows and multimedia contents
US11070888B1 (en) * 2020-08-27 2021-07-20 WeMovie Technologies Content structure aware multimedia streaming service for movies, TV shows and multimedia contents
US11166086B1 (en) 2020-10-28 2021-11-02 WeMovie Technologies Automated post-production editing for user-generated multimedia contents
US11812121B2 (en) 2020-10-28 2023-11-07 WeMovie Technologies Automated post-production editing for user-generated multimedia contents
US11330154B1 (en) 2021-07-23 2022-05-10 WeMovie Technologies Automated coordination in multimedia content production
US11321639B1 (en) 2021-12-13 2022-05-03 WeMovie Technologies Automated evaluation of acting performance using cloud services
US11770590B1 (en) 2022-04-27 2023-09-26 VoyagerX, Inc. Providing subtitle for video content in spoken language

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040039113A (ko) * 2002-11-01 2004-05-10 주식회사 엠트로닉스 동영상 색인, 검색 및 편집 가능한 개인용 디지털 비디오녹화기(ｐｖｒ) 기능을 탑재한 셋탑박스시스템
KR101476878B1 (ko) * 2008-01-31 2014-12-26 톰슨 라이센싱 고화질 멀티미디어 인터페이스를 통한 룩 데이터 정의 및 전송을 위한 방법 및 시스템

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628303B1 (en) * 1996-07-29 2003-09-30 Avid Technology, Inc. Graphical user interface for a motion video planning and editing system for a computer
JP4438217B2 (ja) * 2000-11-10 2010-03-24 ソニー株式会社 番組付加データ作成装置、映像番組編集装置及び番組付加データの作成画面表示方法
JP3951778B2 (ja) * 2002-04-05 2007-08-01 ソニー株式会社 映像コンテンツ編集支援システム，撮像装置，編集者端末装置，記録媒体，プログラム，映像コンテンツ編集支援方法
US7383508B2 (en) * 2002-06-19 2008-06-03 Microsoft Corporation Computer user interface for interacting with video cliplets generated from digital video
US7551843B2 (en) * 2004-03-10 2009-06-23 Panasonic Corporation Authoring system, program, and authoring method
US8577683B2 (en) * 2008-08-15 2013-11-05 Thomas Majchrowski & Associates, Inc. Multipurpose media players
WO2006088941A2 (en) * 2005-02-14 2006-08-24 Teresis Media Management, Inc. Multipurpose media players
US7739599B2 (en) * 2005-09-23 2010-06-15 Microsoft Corporation Automatic capturing and editing of a video
US8196032B2 (en) * 2005-11-01 2012-06-05 Microsoft Corporation Template-based multimedia authoring and sharing
US7877690B2 (en) * 2006-09-20 2011-01-25 Adobe Systems Incorporated Media system with integrated clip views
US9502073B2 (en) * 2010-03-08 2016-11-22 Magisto Ltd. System and method for semi-automatic video editing
US9117483B2 (en) * 2011-06-03 2015-08-25 Michael Edward Zaletel Method and apparatus for dynamically recording, editing and combining multiple live video clips and still photographs into a finished composition
US9111579B2 (en) * 2011-11-14 2015-08-18 Apple Inc. Media editing with multi-camera media clips

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040039113A (ko) * 2002-11-01 2004-05-10 주식회사 엠트로닉스 동영상 색인, 검색 및 편집 가능한 개인용 디지털 비디오녹화기(ｐｖｒ) 기능을 탑재한 셋탑박스시스템
KR101476878B1 (ko) * 2008-01-31 2014-12-26 톰슨 라이센싱 고화질 멀티미디어 인터페이스를 통한 룩 데이터 정의 및 전송을 위한 방법 및 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101994592B1 (ko) * 2018-10-19 2019-06-28 인하대학교 산학협력단 비디오 콘텐츠의 메타데이터 자동 생성 방법 및 시스템
WO2020080606A1 (ko) * 2018-10-19 2020-04-23 인하대학교 산학협력단 비디오 메타데이터와 스크립트 데이터를 활용한 비디오 컨텐츠 통합 메타데이터 자동 생성 방법 및 시스템
US11758204B2 (en) 2018-11-28 2023-09-12 Samsung Electronics Co., Ltd. Electronic device and control method therefor
KR20210063026A (ko) * 2019-11-22 2021-06-01 주식회사 코난테크놀로지 자동 생성된 비디오 메타데이터 검수 방법 및 이를 위한 장치
KR20210122496A (ko) 2020-04-01 2021-10-12 한국전자통신연구원 벡터를 이용한 장면 묘사 기반의 메타데이터 생성 방법 및 이를 위한 장치
KR102334396B1 (ko) * 2021-04-08 2021-12-01 김선엽 인공지능을 이용한 저작물 제작 보조 방법 및 그 장치

Also Published As

Publication number Publication date
US20180213289A1 (en) 2018-07-26
KR102028198B1 (ko) 2019-10-04

Similar Documents

Publication Publication Date Title
KR102028198B1 (ko) 동영상 장면과 메타데이터 저작 방법
JP5552769B2 (ja) 画像編集装置、画像編集方法及びプログラム
US8191014B2 (en) Information processing apparatus, display control method and program
US11531457B2 (en) Video display for displaying a series of representative images for video
US20080079693A1 (en) Apparatus for displaying presentation information
KR20040044373A (ko) 비디오 썸네일 및 그 생성 방법
CN112887794B (zh) 视频剪辑方法及装置
CN113746874A (zh) 一种语音包推荐方法、装置、设备及存储介质
CN114040248A (zh) 一种视频处理方法、装置和电子设备
CN113918522A (zh) 一种文件生成方法、装置及电子设备
JPWO2008136466A1 (ja) 動画編集装置
CN113747230B (zh) 音视频处理方法、装置、电子设备及可读存储介质
JP5552987B2 (ja) 検索結果出力装置、検索結果出力方法及び検索結果出力プログラム
CN113242464A (zh) 视频编辑方法、装置
WO2024235088A1 (zh) 视频编辑方法、装置、电子设备和存储介质
CN107180058B (zh) 一种用于基于字幕信息进行查询的方法和装置
CN111954076A (zh) 资源显示方法、装置及电子设备
KR101576094B1 (ko) 애니메이션을 이용한 자막 삽입 시스템 및 방법
CN111625740A (zh) 图像显示方法、图像显示装置和电子设备
CN110780968B (zh) 信息展示方法、装置、设备及存储介质
CN111782309B (zh) 显示信息的方法、装置及计算机可读存储介质
CN109729425B (zh) 一种关键片段的预测方法及系统
CN111901659B (zh) 信息获取方法及电子设备
CN110730379B (zh) 一种视频信息处理方法、装置和存储介质
CN112764601B (zh) 信息显示方法、装置及电子设备

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170126

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180202

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20170126

Comment text: Patent Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190213

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190801

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190926

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190927

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220825

Start annual number: 4

End annual number: 4