KR102553519B1 - 컴퓨터와 사람의 협업을 통한 동영상 반자동 편집을 위한 인공지능 기반 동영상 편집 추천 방법 - Google Patents

컴퓨터와 사람의 협업을 통한 동영상 반자동 편집을 위한 인공지능 기반 동영상 편집 추천 방법 Download PDF

Info

Publication number
KR102553519B1
KR102553519B1 KR1020210173357A KR20210173357A KR102553519B1 KR 102553519 B1 KR102553519 B1 KR 102553519B1 KR 1020210173357 A KR1020210173357 A KR 1020210173357A KR 20210173357 A KR20210173357 A KR 20210173357A KR 102553519 B1 KR102553519 B1 KR 102553519B1
Authority
KR
South Korea
Prior art keywords
video
editor
editing
video clips
unit
Prior art date
Application number
KR1020210173357A
Other languages
English (en)
Other versions
KR20230085311A (ko
Inventor
송혁
고민수
주희영
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210173357A priority Critical patent/KR102553519B1/ko
Priority to PCT/KR2022/012475 priority patent/WO2023106554A1/ko
Publication of KR20230085311A publication Critical patent/KR20230085311A/ko
Application granted granted Critical
Publication of KR102553519B1 publication Critical patent/KR102553519B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

컴퓨터와 사람의 협업을 통한 동영상 반자동 편집을 위한 인공지능 기반 동영상 편집 추천 방법이 제공된다. 본 발명의 실시예에 따른 동영상 편집 추천 방법은, 동영상 콘텐츠를 컷 단위로 분할하고, 분할된 동영상 콘텐츠를 분석하여 상황을 추론하고 이벤트를 탐지하며, 상황 추론 결과, 이벤트 탐지 결과 및 장르 정보로부터 편집 과정에 필요한 동영상 클립들을 추천한다. 이에 의해, 인공지능 기반으로 동영상 편집에 필요한 영상 클립들을 자동으로 추천함으로써, 편집 작업의 전단계에 필요한 상당 부분의 작업을 인공지능이 대신하여 주고, 편집자는 보완 작업과 후속 작업만 하면 되므로, 편집에 드는 노력과 시간을 획기적으로 줄일 수 있게 된다.

Description

컴퓨터와 사람의 협업을 통한 동영상 반자동 편집을 위한 인공지능 기반 동영상 편집 추천 방법{AI-based video editing recommendation method for semi-automatic video editing through computer-human collaboration}
본 발명은 동영상 편집 기술에 관한 것으로, 더욱 상세하게는 인공지능을 이용하여 동영상 편집 작업을 경감시키기 위한 방법에 관한 것이다.
현재 동영상 편집은 동영상 자르기, 합치기, 분할 등을 지원하여 주는 편집 툴이나 소프트웨어를 이용하여 편집자가 직접 작업하고 있다. 여기에는 동영상의 내용 파악, 흐름에 따른 배열 작업, 편집 의도에 맞는 부분을 잘라내는 작업, 잘라낸 부분들을 재배열하는 작업, 재배열 이후의 가편집 작업 등이 요구되어, 많은 노력과 시간이 소요된다.
이에 따라, 동영상을 자동으로 편집하여 주기 위한 기술이 제시되고는 있지만, 동영상의 장르나 편집 의도 등이 제대로 반영되지 않은 기계적인 편집이라는 점에서 한계가 있다.
그러므로 컴퓨터에 의한 완전한 자동 편집 보다는 컴퓨터와 사람의 협업에 의한 반자동의 편집이 보다 적합하다는 전제 하에, 이 같은 반자동 편집을 보다 효과적으로 수행하기 위한 방안이 필요하다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 컴퓨터와 사람의 협업을 통한 동영상 반자동 편집을 위한 인공지능 기반 동영상 편집 추천 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 동영상 편집 추천 방법은, 동영상 콘텐츠를 컷 단위로 분할하는 단계; 분할된 동영상 콘텐츠에서 객체를 검출하는 단계; 검출된 객체를 인식하는 단계; 검출된 객체의 행동을 인지하는 단계; 객체 검출 결과, 객체 인식 결과, 행동 인지 결과로부터 상황을 추론하는 단계; 객체 검출 결과, 객체 인식 결과, 행동 인지 결과로부터 이벤트를 탐지하는 단계; 상황 추론 결과, 이벤트 탐지 결과 및 장르 정보로부터 편집 과정에 필요한 동영상 클립들을 추천하는 단계;를 포함한다.
추천 단계는, 동영상 클립들과 함께 동영상 클립들의 순서를 추천할 수 있다.
순서가 추천되는 동영상 클립들은, 동 시간대에 다른 앵글로 촬영된 것들을 포함할 수 있다.
장르 정보는, 편집자가 설정할 수 있다.
장르 정보는, 인공지능 모델을 이용하여 객체 검출 결과, 객체 인식 결과, 행동 인지 결과, 상황 추론 결과 및 이벤트 탐지 결과 중 적어도 하나로부터 추론될 수 있다.
추천 단계는, 편집자의 편집 의도를 더 반영하여, 편집 과정에 필요한 동영상 클립들을 추천할 수 있다. 편집 의도는, 편집자가 설정한 상황 정보와 이벤트 정보를 포함할 수 있다.
추천 단계는, 추천할 동영상 클립들 각각에 전후 동영상을 일정 시간 씩 더 부가하여 추천할 수 있다.
추천된 동영상 클립들에, 편집자가 입력한 추가 정보를 기초로 동영상 클립들을 추가할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 동영상 편집 추천 시스템은, 동영상 콘텐츠를 컷 단위로 분할하는 분할부; 분할된 동영상 콘텐츠에서 객체를 검출하는 검출부; 검출된 객체를 인식하는 인식부; 검출된 객체의 행동을 인지하는 인지부; 객체 검출 결과, 객체 인식 결과, 행동 인지 결과로부터 상황을 추론하는 추론부; 객체 검출 결과, 객체 인식 결과, 행동 인지 결과로부터 이벤트를 탐지하는 탐지부; 상황 추론 결과, 이벤트 탐지 결과 및 장르 정보로부터 편집 과정에 필요한 동영상 클립들을 추천하는 추천부;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 동영상 편집 추천 방법은, 동영상 콘텐츠를 컷 단위로 분할하는 단계; 분할된 동영상 콘텐츠에서 상황을 추론하는 단계; 분할된 동영상 콘텐츠에서 이벤트를 탐지하는 단계; 상황 추론 결과, 이벤트 탐지 결과 및 장르 정보로부터 편집 과정에 필요한 동영상 클립들을 추천하는 단계;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 동영상 편집 추천 시스템은, 동영상 콘텐츠를 컷 단위로 분할하는 분할부; 분할된 동영상 콘텐츠에서 상황을 추론하는 추론부; 분할된 동영상 콘텐츠에서 이벤트를 탐지하는 탐지부; 상황 추론 결과, 이벤트 탐지 결과 및 장르 정보로부터 편집 과정에 필요한 동영상 클립들을 추천하는 추천부;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 인공지능 기반으로 동영상 편집에 필요한 영상 클립들을 자동으로 추천함으로써, 편집 작업의 전단계에 필요한 상당 부분의 작업을 인공지능이 대신하여 주고, 편집자는 보완 작업과 후속 작업만 하면 되므로, 편집에 드는 노력과 시간을 획기적으로 줄일 수 있게 된다.
또한, 본 발명의 실시예들에 따르면, 컴퓨터에 의함에도 동영상의 장르와 편집 의도에 부합하는 적정의 영상 클립들이 자동으로 추천되어, 우수한 편집 퀄리티를 보장할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 동영상 반자동 편집 시스템의 블럭도,
도 2는 본 발명의 다른 실시예에 따른 동영상 반자동 편집 시스템의 블럭도,
도 3은 본 발명의 또 다른 실시예에 따른 동영상 반자동 편집 시스템의 블럭도, 그리고,
도 4는 본 발명의 또 다른 실시예에 따른 동영상 반자동 편집 시스템의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 인공지능 기반 동영상 편집 추천 방법을 제시한다. 컴퓨터가 동영상 편집에 사용할 영상 클립들을 편집 순서까지 맞추어 자동으로 추천하여 주면, 편집자가 이를 확인/보완하여 편집을 완성할 수 있도록 하는 방법이다.
도 1은 본 발명의 일 실시예에 따른 동영상 반자동 편집 시스템의 블럭도이다. 본 발명의 실시예에 따른 동영상 반자동 편집 시스템은, 인공지능과 편집자의 협업으로 동영상을 반자동으로 편집할 수 있게 하는 시스템이다.
이와 같은 기능을 수행하는 본 발명의 실시예에 따른 동영상 반자동 편집 시스템은, 도시된 바와 같이, 동영상 입력부(110), 동영상 분할부(115), 객체 검출부(120), 객체 인식부(125), 행동 인지부(130), 상황 추론부(상황), 이벤트 탐지부(140), 동영상 클립 추천부(145), 동영상 클립 추가부(150), 동영상 편집부(155)를 포함하여 구성된다.
동영상 입력부(110)는 편집 대상이 되는 동영상 콘텐츠를 입력받아 동영상 분할부(115)로 전달한다.
동영상 분할부(115)는 동영상 입력부(110)를 통해 전달되는 동영상을 컷(cut) 단위로 분할한다. 참고로, 동영상은 다수의 씬(scene)들로 이루어지는데, 씬은 다수의 샷(shot)들로 이루어지고, 샷은 다수의 컷들로 이루어져 있다. 동영상 분할부(115)는 동영상을 분석하여 컷 단위로 분할하도록 학습된 딥러닝 모델인 동영상 분할 모델을 이용하여 구현할 수 있다.
객체 검출부(120)는 동영상 분할부(115)에서 분할된 동영상 콘텐츠에서 객체를 검출한다. 객체 인식부(125)는 객체 검출부(120)에서 검출된 객체의 종류, 사람의 경우는 얼굴까지 인식한다. 행동 인지부(130)는 객체 검출부(120)에서 검출된 객체의 행동을 인지한다.
객체 검출부(120), 객체 인식부(125) 및 행동 인지부(130)는 모두 딥러닝 모델로 구현가능하다.
상황 추론부(135)는 객체 검출부(120)에 의한 객체 검출 결과, 객체 인식부(125)에 의한 객체 인식 결과 및 행동 인지부(130)에 의한 행동 인지 결과로부터 상황(context)을 추론한다.
상황 추론부(135)는 객체 검출 결과, 객체 인식 결과 및 행동 인지 결과를 분석하여 상황을 추론하도록 학습된 딥러닝 모델인 상황 추론 모델로 구현할 수 있다.
이벤트 탐지부(140)는 객체 검출부(120)에 의한 객체 검출 결과, 객체 인식부(125)에 의한 객체 인식 결과 및 행동 인지부(130)에 의한 행동 인지 결과로부터 이벤트를 탐지한다.
이벤트 탐지부(140)는 객체 검출 결과, 객체 인식 결과 및 행동 인지 결과를 분석하여 이벤트를 탐지하도록 학습된 딥러닝 모델인 이벤트 탐지 모델로 구현할 수 있다.
동영상 클립 추천부(145)는 상황 추론부(135)에 의한 상황 추론 결과와 이벤트 탐지부(140)에 의한 이벤트 탐지 결과 및 장르 정보로부터 동영상 편집 과정에 필요한 동영상 클립들을 추천한다.
추천되는 동영상 클립들은 편집 동영상에 포함되는 것이 적절하다고 동영상 클립 추천부(145)에 의해 판단된 것들이다.
동영상 클립 추천부(145)는 상황 추론 결과, 이벤트 탐지 결과 및 장르 정보를 분석하여 동영상 편집 과정에 필요한 동영상 클립들을 추천하도록 학습된 인공지능 모델인 추천 모델로 구현할 수 있다.
나아가, 동영상 클립 추천부(145)는 추천할 동영상 클립들 각각에 전후 동영상을 일정 시간씩 더 부가하여 추천할 수도 있다.
한편, 동영상 클립 추천부(145)는 동영상 클립들의 순서까지 추천할 수 있다. 즉, 동영상 클립 추천부(145)는 추천하는 동영상 클립들을 내용 흐름에 따라 나열하여 준다.
동영상 콘텐츠는 하나의 카메라로 촬영한 것이 아닌, 다수의 카메라, 즉, 각기 다른 앵글로 촬영된 동영상들이 포함되어 있을 수 있다. 즉, 동 시간대에 다른 앵글로 촬영된 동영상들이 존재한다.
따라서, 동영상 클립 추천부(145)에 의한 동영상 클립 순서 추천은, 동 시간대에 서로 다른 앵글로 촬영된 동영상 클립들이 모두 추천되는 경우에 특히 유용하다.
한편, 동영상 클립 추천부(145)로 입력되는 장르 정보는 편집자가 직접 설정/입력 한다.
동영상 클립 추가부(150)는 편집자의 추가 정보를 기초로, 동영상 클립들을 추가로 추천한다. 동영상 클립 추가부(150)에 의해 추가되는 동영상 클립들은 편집자의 입력한 추가 정보를 쿼리로 검색한 것들이다. 검색에는 상황 추론부(135)에 의한 추론 결과와 이벤트 탐지부(140)에 의한 이벤트 탐지 결과가 참조된다.
추가 정보는 편집자가 동영상 클립 추천부(145)에 의해 추천된 동영상 클립들을 보고, 부족하다고 생각되어 추가하고자 하는 상황과 이벤트에 대한 정보를 말한다.
동영상 클립 추가부(150)는 추가로 추천하는 동영상 클립들과 동영상 클립 추천부(145)에 의해 기추천된 동영상 클립들을 시간 순서에 맞게 자동으로 배열한다.
동영상 편집부(155)는 동영상 클립 추천부(145)에 의해 추천되고 동영상 클립 추가부(150)에 의해 추가된 동영상 클립들을 편집하여 편집자가 편집 동영상을 완성하도록 하여 주는 편집 툴 또는 편집 프로그램이다.
도 2는 본 발명의 다른 실시예에 따른 동영상 반자동 편집 시스템의 블럭도이다. 본 발명의 실시예에 따른 동영상 반자동 편집 시스템은, 도 1에 제시된 시스템에서 장르 추론부(160)가 추가되었다는 점에서 차이가 있다.
장르 추론부(160)는 객체 검출부(120)에 의한 객체 검출 결과, 객체 인식부(125)에 의한 객체 인식 결과 및 행동 인지부(130)에 의한 행동 인지 결과, 상황 추론부(135)에 의한 상황 추론 결과 및 이벤트 탐지부(140)에 의한 이벤트 탐지 결과를 분석하여 동영상 콘텐츠의 장르를 추론하도록 학습된 인공지능 모델이다.
도 1에 도시된 시스템의 경우 동영상 콘텐츠의 장르를 편집자가 설정/입력하였지만, 본 발명의 실시예에 따른 동영상 반자동 편집 시스템은 동영상 콘텐츠의 장르 추론이 자동으로 수행된다는 점에서 차이가 있다.
도 3은 본 발명의 또 다른 실시예에 따른 동영상 반자동 편집 시스템의 블럭도이다. 본 발명의 실시예에 따른 동영상 반자동 편집 시스템은, 동영상 클립 추천부(145)의 입력에 편집자의 편집 의도가 더 포함된다는 점에서, 도 1에 도시된 시스템과 차이가 있다.
편집 의도는 편집자가 비중을 두고 있는 상황 정보와 이벤트 정보를 말한다. 이에 따라, 동영상 클립 추천부(145)는 동영상 편집 과정에 필요한 동영상 클립들을 추천함에 있어, 편집 의도까지 분석하게 된다.
도 4는 본 발명의 또 다른 실시예에 따른 동영상 반자동 편집 시스템의 블럭도이다. 본 발명의 실시예에 따른 동영상 반자동 편집 시스템은, 동영상 클립 추천부(145)의 전단에 선별부(165)가 추가된다는 점에서, 도 1에 제시된 시스템과 차이가 있다.
선별부(165)는 상황 추론부(135)에 의한 상황 추론 결과들과 이벤트 탐지부(140)에 의한 이벤트 탐지 결과들 중 편집자의 편집 의도에 부합하는 상황 추론 결과와 이벤트 탐지 결과만을 선별하여 동영상 클립 추천부(145)로 전달한다.
이에 따라, 동영상 클립 추천부(145)에서 편집자의 편집 의도에 부합하지 않는 동영상 클립이 추천되는 것을 사전에 배제할 수 있다.
지금까지, 컴퓨터와 사람의 협업을 통한 동영상 반자동 편집을 위한 인공지능 기반 동영상 편집 추천 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
동영상 편집자가 동영상을 편집하여 제작함에 있어, 필요한 영상 클립들을 분석하여 추출하는 단순 작업을 인공지능이 대신하여 동영상 편집 시간을 줄이는 방법이다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 동영상 입력부
115 : 동영상 분할부
120 : 객체 검출부
125 : 객체 인식부
130 : 행동 인지부
135 : 상황 추론부
140 : 이벤트 탐지부
145 : 동영상 클립 추천부
150 : 동영상 클립 추가부
155 : 동영상 편집부

Claims (12)

  1. 동영상 콘텐츠를 컷 단위로 분할하는 단계;
    분할된 동영상 콘텐츠에서 객체를 검출하는 단계;
    검출된 객체를 인식하는 단계;
    검출된 객체의 행동을 인지하는 단계;
    객체 검출 결과, 객체 인식 결과, 행동 인지 결과로부터 상황을 추론하는 단계;
    객체 검출 결과, 객체 인식 결과, 행동 인지 결과로부터 이벤트를 탐지하는 단계;
    상황 추론 결과들 및 이벤트 탐지 결과들 중 편집자의 편집 의도에 부합하는 상황 추론 결과와 이벤트 탐지 결과만을 선별하는 단계;
    선별된 상황 추론 결과와 이벤트 탐지 결과 및 장르 정보로부터 편집 과정에 필요한 동영상 클립들을 추천하는 제1 추천단계;
    추천된 동영상 클립들에, 편집자가 입력한 추가 정보를 기초로 동영상 클립들을 추가로 추천하는 제2 추천단계;
    추천된 동영상 클립들을 편집자가 편집하여 편집 동영상을 완성하도록 하여 주는 편집 툴을 제공하는 단계;를 포함하고,
    편집 의도는,
    편집자가 설정한 상황 정보와 이벤트 정보를 포함하며,
    제2 추천단계는,
    편집자의 입력한 추가 정보를 쿼리로, 상황 추론 결과들 및 이벤트 탐지 결과들를 참조하여 검색한 동영상 클립들을 추가로 추천하며,
    추가 정보는,
    편집자가 추가하고자 하는 상황과 이벤트에 대한 정보로, 제1 추천단계에 의해 추천된 동영상 클립들을 본 편집자에 의해 입력되는 것을 특징으로 하는 동영상 편집 추천 방법.
  2. 청구항 1에 있어서,
    제1 추천 단계는,
    동영상 클립들과 함께 동영상 클립들의 순서를 추천하는 것을 특징으로 하는 동영상 편집 추천 방법.
  3. 청구항 2에 있어서,
    순서가 추천되는 동영상 클립들은,
    동 시간대에 다른 앵글로 촬영된 것들을 포함하는 것을 특징으로 하는 동영상 편집 추천 방법.
  4. 청구항 1에 있어서,
    장르 정보는,
    편집자가 설정하는 것을 특징으로 하는 동영상 편집 추천 방법.
  5. 청구항 1에 있어서,
    장르 정보는,
    인공지능 모델을 이용하여 객체 검출 결과, 객체 인식 결과, 행동 인지 결과, 상황 추론 결과 및 이벤트 탐지 결과 중 적어도 하나로부터 추론되는 것을 특징으로 하는 동영상 편집 추천 방법.
  6. 삭제
  7. 삭제
  8. 청구항 1에 있어서,
    제1 추천 단계는,
    추천할 동영상 클립들 각각에 전후 동영상을 일정 시간 씩 더 부가하여 추천하는 것을 특징으로 하는 동영상 편집 추천 방법.
  9. 삭제
  10. 동영상 콘텐츠를 컷 단위로 분할하는 분할부;
    분할된 동영상 콘텐츠에서 객체를 검출하는 검출부;
    검출된 객체를 인식하는 인식부;
    검출된 객체의 행동을 인지하는 인지부;
    객체 검출 결과, 객체 인식 결과, 행동 인지 결과로부터 상황을 추론하는 추론부;
    객체 검출 결과, 객체 인식 결과, 행동 인지 결과로부터 이벤트를 탐지하는 탐지부;
    상황 추론 결과들 및 이벤트 탐지 결과들 중 편집자의 편집 의도에 부합하는 상황 추론 결과와 이벤트 탐지 결과만을 선별하는 선별부;
    선별된 상황 추론 결과와 이벤트 탐지 결과 및 장르 정보로부터 편집 과정에 필요한 동영상 클립들을 추천하는 추천부;
    추천된 동영상 클립들에, 편집자가 입력한 추가 정보를 기초로 동영상 클립들을 추가로 추천하는 추가부;
    추천된 동영상 클립들을 편집자가 편집하여 편집 동영상을 완성하도록 하여 주는 편집 툴을 제공하는 편집부;를 포함하고,
    편집 의도는,
    편집자가 설정한 상황 정보와 이벤트 정보를 포함하며,
    추가부는,
    편집자의 입력한 추가 정보를 쿼리로, 상황 추론 결과들 및 이벤트 탐지 결과들를 참조하여 검색한 동영상 클립들을 추가로 추천하며,
    추가 정보는,
    편집자가 추가하고자 하는 상황과 이벤트에 대한 정보로, 추천부에 의해 추천된 동영상 클립들을 본 편집자에 의해 입력되는 것을 특징으로 하는 동영상 편집 추천 시스템.
  11. 동영상 콘텐츠를 컷 단위로 분할하는 단계;
    분할된 동영상 콘텐츠에서 상황을 추론하는 단계;
    분할된 동영상 콘텐츠에서 이벤트를 탐지하는 단계;
    상황 추론 결과들 및 이벤트 탐지 결과들 중 편집자의 편집 의도에 부합하는 상황 추론 결과와 이벤트 탐지 결과만을 선별하는 단계;
    선별된 상황 추론 결과와 이벤트 탐지 결과 및 장르 정보로부터 편집 과정에 필요한 동영상 클립들을 추천하는 제1 추천단계;
    추천된 동영상 클립들에, 편집자가 입력한 추가 정보를 기초로 동영상 클립들을 추가로 추천하는 제2 추천단계;
    추천된 동영상 클립들을 편집자가 편집하여 편집 동영상을 완성하도록 하여 주는 편집 툴을 제공하는 단계;를 포함하고,
    편집 의도는,
    편집자가 설정한 상황 정보와 이벤트 정보를 포함하며,
    제2 추천단계는,
    편집자의 입력한 추가 정보를 쿼리로, 상황 추론 결과들 및 이벤트 탐지 결과들를 참조하여 검색한 동영상 클립들을 추가로 추천하며,
    추가 정보는,
    편집자가 추가하고자 하는 상황과 이벤트에 대한 정보로, 제1 추천단계에 의해 추천된 동영상 클립들을 본 편집자에 의해 입력되는 것을 특징으로 하는 동영상 편집 추천 방법.
  12. 동영상 콘텐츠를 컷 단위로 분할하는 분할부;
    분할된 동영상 콘텐츠에서 상황을 추론하는 추론부;
    분할된 동영상 콘텐츠에서 이벤트를 탐지하는 탐지부;
    상황 추론 결과들 및 이벤트 탐지 결과들 중 편집자의 편집 의도에 부합하는 상황 추론 결과와 이벤트 탐지 결과만을 선별하는 선별부;
    선별된 상황 추론 결과와 이벤트 탐지 결과 및 장르 정보로부터 편집 과정에 필요한 동영상 클립들을 추천하는 추천부;
    추천된 동영상 클립들에, 편집자가 입력한 추가 정보를 기초로 동영상 클립들을 추가로 추천하는 추가부;
    추천된 동영상 클립들을 편집자가 편집하여 편집 동영상을 완성하도록 하여 주는 편집 툴을 제공하는 편집부;를 포함하고,
    편집 의도는,
    편집자가 설정한 상황 정보와 이벤트 정보를 포함하며,
    추가부는,
    편집자의 입력한 추가 정보를 쿼리로, 상황 추론 결과들 및 이벤트 탐지 결과들를 참조하여 검색한 동영상 클립들을 추가로 추천하며,
    추가 정보는,
    편집자가 추가하고자 하는 상황과 이벤트에 대한 정보로, 추천부에 의해 추천된 동영상 클립들을 본 편집자에 의해 입력되는 것을 특징으로 하는 동영상 편집 추천 시스템.
KR1020210173357A 2021-12-07 2021-12-07 컴퓨터와 사람의 협업을 통한 동영상 반자동 편집을 위한 인공지능 기반 동영상 편집 추천 방법 KR102553519B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210173357A KR102553519B1 (ko) 2021-12-07 2021-12-07 컴퓨터와 사람의 협업을 통한 동영상 반자동 편집을 위한 인공지능 기반 동영상 편집 추천 방법
PCT/KR2022/012475 WO2023106554A1 (ko) 2021-12-07 2022-08-22 컴퓨터와 사람의 협업을 통한 동영상 반자동 편집을 위한 인공지능 기반 동영상 편집 추천 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210173357A KR102553519B1 (ko) 2021-12-07 2021-12-07 컴퓨터와 사람의 협업을 통한 동영상 반자동 편집을 위한 인공지능 기반 동영상 편집 추천 방법

Publications (2)

Publication Number Publication Date
KR20230085311A KR20230085311A (ko) 2023-06-14
KR102553519B1 true KR102553519B1 (ko) 2023-07-10

Family

ID=86730576

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210173357A KR102553519B1 (ko) 2021-12-07 2021-12-07 컴퓨터와 사람의 협업을 통한 동영상 반자동 편집을 위한 인공지능 기반 동영상 편집 추천 방법

Country Status (2)

Country Link
KR (1) KR102553519B1 (ko)
WO (1) WO2023106554A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016105597A (ja) * 2011-11-14 2016-06-09 アップル インコーポレイテッド マルチメディアクリップの生成
JP2019213160A (ja) * 2018-06-08 2019-12-12 秀輝 衣斐 動画編集装置、動画編集方法、及び動画編集プログラム
KR102315699B1 (ko) * 2020-06-26 2021-10-21 주식회사 티앤엠테크 인공지능을 이용한 영상 데이터의 이벤트 발생 여부 판단 방법, 장치 및 컴퓨터프로그램

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110131617A (ko) * 2010-05-31 2011-12-07 임용수 상호작용이 가능한 동적 연출 컨텐츠 제작시스템 및 제작방법
KR101898765B1 (ko) * 2015-12-27 2018-09-13 전자부품연구원 콘텐츠 인식 기술 기반 콘텐츠 자동 생성 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016105597A (ja) * 2011-11-14 2016-06-09 アップル インコーポレイテッド マルチメディアクリップの生成
JP2019213160A (ja) * 2018-06-08 2019-12-12 秀輝 衣斐 動画編集装置、動画編集方法、及び動画編集プログラム
KR102315699B1 (ko) * 2020-06-26 2021-10-21 주식회사 티앤엠테크 인공지능을 이용한 영상 데이터의 이벤트 발생 여부 판단 방법, 장치 및 컴퓨터프로그램

Also Published As

Publication number Publication date
WO2023106554A1 (ko) 2023-06-15
KR20230085311A (ko) 2023-06-14

Similar Documents

Publication Publication Date Title
CN111866585B (zh) 一种视频处理方法及装置
KR100912984B1 (ko) 메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터 배신 장치, 메타데이터 검색 장치, 메타데이터 재생성 조건 설정 장치, 콘텐츠 배신 장치, 메타데이터 배신 방법, 메타데이터 재생성 장치, 메타데이터 재생성 방법
US7075683B1 (en) Dynamic image digest automatic editing system and dynamic image digest automatic editing method
JP2000350159A (ja) 視覚画像編集システム
KR20110032610A (ko) 장면 분할 장치 및 방법
US20100185628A1 (en) Method and apparatus for automatically generating summaries of a multimedia file
KR102350457B1 (ko) 딥러닝 기반의 영상 캡셔닝을 통한 비디오 스트림 처리 방법 및 그 시스템
KR102553519B1 (ko) 컴퓨터와 사람의 협업을 통한 동영상 반자동 편집을 위한 인공지능 기반 동영상 편집 추천 방법
KR20160123647A (ko) 객체 추적을 이용한 동영상 부가정보 제공 장치 및 제공 방법
CN100488246C (zh) 恢复重现系统
KR20210115401A (ko) 딥러닝 기반의 지능형 장면 분할 방법 및 그 시스템
KR20230000633A (ko) 딥러닝 기반의 중심 오브젝트 기반 비디오 스트림 처리 방법 및 그 시스템
EP3252770A1 (en) Automated identification and processing of audiovisual data
WO2016203469A1 (en) A digital media reviewing system and methods thereof
KR20020060964A (ko) 오디오/비디오 내용을 인덱스/요약하기 위한 시스템
KR20210117086A (ko) 딥러닝 기반의 vtt를 이용한 비디오 편집 방법 및 그 시스템
CN114339304A (zh) 直播视频处理方法、装置和存储介质
Corridoni et al. Film semantic analysis
KR102564174B1 (ko) 딥러닝 기반의 비디오 스트림 처리 방법 및 그 시스템
JP2004348553A (ja) メタデータ編集方法、装置、及びプログラム
KR20210115402A (ko) 비디오 스트림 내의 커맨드 인식을 통한 비디오 편집 방법 및 그 시스템
KR20190060027A (ko) 주요 등장인물의 감성에 기반한 비디오 자동 편집 방법 및 장치
KR20210115371A (ko) 딥러닝 기반의 이미지 캡셔닝을 이용한 비디오 편집 방법 및 그 시스템
Bailer et al. Comparison of content selection methods for skimming rushes video
Weers Automatic home video editing on music

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant