KR102570134B1 - 숏폼 클립 생성 방법 및 시스템 - Google Patents

숏폼 클립 생성 방법 및 시스템 Download PDF

Info

Publication number
KR102570134B1
KR102570134B1 KR1020220161379A KR20220161379A KR102570134B1 KR 102570134 B1 KR102570134 B1 KR 102570134B1 KR 1020220161379 A KR1020220161379 A KR 1020220161379A KR 20220161379 A KR20220161379 A KR 20220161379A KR 102570134 B1 KR102570134 B1 KR 102570134B1
Authority
KR
South Korea
Prior art keywords
short
video
subtitle
user
clip
Prior art date
Application number
KR1020220161379A
Other languages
English (en)
Inventor
김태훈
김선영
최광호
김경아
Original Assignee
앞으로아카데미 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 앞으로아카데미 주식회사 filed Critical 앞으로아카데미 주식회사
Priority to KR1020220161379A priority Critical patent/KR102570134B1/ko
Application granted granted Critical
Publication of KR102570134B1 publication Critical patent/KR102570134B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity

Abstract

숏폼 클립 생성 방법 및 그 방법이 적용된 시스템이 개시된다. 본 개시의 일 실시예에 따른 숏폼 클립 생성 방법은, 사용자로부터 입력 받은 검색어에 대응되는 복수의 영상을 식별하는 단계와, 상기 복수의 영상에 포함된 복수의 자막에서 복수의 자막 텍스트를 추출하는 단계와, 상기 검색어를 이용하여 상기 복수의 자막 텍스트 각각에 트림(trim) 스코어를 부여하는 단계 및 기준치 이상의 상기 트림 스코어를 갖는 상기 자막 텍스트를 포함하는 제1 영상에서, 상기 자막 텍스트에 따른 자막에 대응되는 발화의 시작 지점부터 발화의 종료 지점까지의 구간을 트림한 제1 숏폼(short-form) 클립을 획득하는 단계를 포함할 수 있다.

Description

숏폼 클립 생성 방법 및 시스템{METHOD FOR GENERATING SHORT-FORM CLIP AND SYSTEM THEREOF}
본 개시는 숏폼 클립 생성 방법 및 그 방법이 적용된 시스템에 관한 것이다. 보다 자세하게는, 사용자로부터 입력 받은 검색어에 기초하여 복수의 원본 영상으로부터 검색어에 대응되는 숏폼 클립을 추출하는 방법 및 그 방법이 적용된 시스템에 관한 것이다.
현재, 유튜브(YouTube), 틱톡(TikTok)과 같은 영상 공유 플랫폼(platform) 또는 인스타그램(Instagram), 페이스북(Facebook)과 같은 영상 공유 기능을 포함하는 SNS(Social Network Service) 플랫폼에서, 상대적으로 짧은 듀레이션(duration)을 갖는 숏폼(short-form) 컨텐츠가 다수의 사용자에 의해 소비되고 있다.
이에 상기한 플랫폼 및 기타 영상 공유 기능을 포함하는 플랫폼 등에서 숏폼 컨텐츠를 업로드하고, 공유하는 기능을 강화하고 있으며, 이러한 기능을 예능 프로그램의 하이라이트 부분을 트림(trim)하여 공유해 프로그램에 대한 시청을 유도하거나, 동영상 강의의 요점 부분을 트림하여 시청자로 하여금 핵심 내용의 파악이 용이하게끔 하는 데 이용하는 경우도 존재한다.
그러나, 종래의 숏폼 컨텐츠 생성 방법은 사용자가 직접 원본 영상을 편집(edit)하여 중요 구간을 간추려 낸 뒤, 간추려 낸 영상을 별도로 인코딩(encoding) 하여 별도의 영상으로써 업로드 하여야 했다. 이러한 종래의 숏폼 컨텐츠 생성 방법의 경우, 일반적인 사용자가 동영상 편집 프로그램에 접근하기도 어려울 뿐 아니라, 간추려 낸 영상을 별도로 인코딩 하는 컴퓨팅 및 시간적 비용이 비교적 높다는 문제점이 있었다.
따라서, 원본 영상의 중요한 부분만을 간추려 내어 자동으로 숏폼 컨텐츠를 생성하는 방법이 요구되나, 원본 영상의 중요한 부분을 평가하는 것을 기계적으로 구현하기 어렵다는 문제점으로 인해 기존의 동영상 공유 플랫폼에서는 이러한 기능을 제공하지 못하고 있는 실정이다.
이러한 문제점이 혼재하는 동시에, 일반적으로 영상 공유 플랫폼에는 다수의 영상이 업로드 되어 있는데, 사용자가 특정 정보를 담은 영상을 탐색하기 위한 검색어를 입력한다 하여도, 그 검색 결과가 영상의 썸네일(thumbnail)과 영상의 제목을 함께 표시하는 방식으로 디스플레이 된다.
그러므로 한 화면에 표시할 수 있는 검색 결과의 영상의 개수가 한정되어 있는데, 사용자가 입력한 검색어에 적합한 영상이 검색 결과의 상위에 노출되지 않아, 사용자가 일일이 확인하여, 사용자가 직접 찾고자 하는 영상을 검색 결과 내에서 재 탐색해야 하는 번거로움이 있었다.
이에 사용자가 찾고자 하는 영상을 검색 결과의 상위에 노출하는 방법이 요구되고 있으나, 기존의 컨텐츠 배열 방법은 사용자가 입력한 검색어에 대응되는 적절한 영상을 배열하는 기준을 확립하기 어렵다는 문제점이 있어 이러한 기능을 제공하지 못하고 있는 실정이다.
본 개시의 몇몇 실시예들을 통하여 달성하고자 하는 기술적 과제는, 복수의 영상으로부터 사용자가 입력한 검색어에 대응되는 구간을 숏폼 클립으로 생성하는 방법을 제공하는 것이다.
본 개시의 몇몇 실시예들을 통하여 달성하고자 하는 다른 기술적 과제는, 복수의 영상 각각에서 사용자가 입력한 검색어에 대응되는 구간을 특정하는 기준을 제공하는 것이다.
본 개시의 몇몇 실시예들을 통하여 달성하고자 하는 또 다른 기술적 과제는, 사용자가 입력한 검색어의 길이에 기초하여 생성되는 숏폼 클립의 듀레이션을 결정하는 방법을 제공하는 것이다.
본 개시의 몇몇 실시예들을 통하여 달성하고자 하는 또 다른 기술적 과제는, 사용자의 숏폼 클립 각각에 대한 피드백에 기초하여 사용자의 검색어 입력에 대한 응답으로 배열되는 복수의 숏폼 클립들의 배열 서순을 결정하는 방법을 제공하는 것이다.
본 개시의 몇몇 실시예들을 통하여 달성하고자 하는 또 다른 기술적 과제는, 복수의 숏폼 클립들의 배열 서순을 결정하는 기준 파라미터를 제공하는 것이다.
본 개시의 몇몇 실시예들을 통하여 달성하고자 하는 또 다른 기술적 과제는, 사용자가 제1 키워드를 입력하는 것에 응답하여 제1 키워드에 대응되는 보조어를 이용하여 검색어를 자동으로 완성하는 방법을 제공하는 것이다.
본 개시의 몇몇 실시예들을 통하여 달성하고자 하는 또 다른 기술적 과제는, 사용자가 입력한 검색어의 유사어에 대응되는 영상을 검색 결과로 제공하는 방법을 제공하는 것이다.
본 개시의 몇몇 실시예들을 통하여 달성하고자 하는 또 다른 기술적 과제는, 제1 영상에서 사용자가 입력한 검색어에 대응되는 복수의 숏폼 클립을 추출하는 방법을 제공하는 것이다.
본 개시의 몇몇 실시예들을 통하여 달성하고자 하는 또 다른 기술적 과제는, 사용자가 입력한 검색어의 결과로 제공된 복수의 숏폼 클립을 하나의 영상으로 합성하는 방법을 제공하는 것이다.
본 개시의 몇몇 실시예들을 통하여 달성하고자 하는 또 다른 기술적 과제는, 복수의 숏폼 클립이 합성된 영상의 수익을 영상을 합성한 사용자에게 배분하는 방법을 제공하는 것이다.
본 개시의 몇몇 실시예들을 통하여 달성하고자 하는 또 다른 기술적 과제는, 복수의 숏폼 클립을 새로운 영상으로 인코딩하지 않고 하나의 영상으로 합성하는 방법을 제공하는 것이다.
본 개시의 몇몇 실시예들을 통하여 달성하고자 하는 또 다른 기술적 과제는, 복수의 숏폼 클립을 합성한 영상에서 숏폼 클립 각각이 배치되는 순서를 결정하는 방법을 제공하는 것이다.
본 개시의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한, 본 개시의 일 실시예에 따른 숏폼 클립 생성 방법은, 사용자로부터 입력 받은 검색어에 대응되는 복수의 영상을 식별하는 단계와, 상기 복수의 영상에 포함된 복수의 자막에서 복수의 자막 텍스트를 추출하는 단계와, 상기 검색어를 이용하여 상기 복수의 자막 텍스트 각각에 트림(trim) 스코어를 부여하는 단계 및 기준치 이상의 상기 트림 스코어를 갖는 상기 자막 텍스트를 포함하는 제1 영상에서, 상기 자막 텍스트에 따른 자막에 대응되는 발화의 시작 지점부터 발화의 종료 지점까지의 구간을 트림한 제1 숏폼(short-form) 클립을 획득하는 단계를 포함할 수 있다.
몇몇 실시예에서, 상기 자막 텍스트 각각은, 상기 자막에 대응되는 발화의 종료에 의해 구분되는 것일 수 있다.
몇몇 실시예에서, 상기 트림 스코어는, 상기 영상을 시청한 사용자가 자막 텍스트 각각에 따른 자막에 대응되는 영상 구간을 리와인드(rewind)한 횟수, 상기 자막 텍스트와 상기 사용자로부터 입력 받은 검색어 간의 유사도, 상기 자막 텍스트 각각에 따른 자막에 대응되는 영상 구간에서 식별되는 객체의 종류 중 적어도 어느 하나 이상의 파라미터에 기초하여 부여되는 것일 수 있다.
몇몇 실시예에서, 상기 파라미터는, 크리에이터 각각의 상기 검색어와 기준치 이상의 관련도를 갖는 영상을 업로드(upload)한 횟수를 더 포함할 수 있다.
몇몇 실시예에서, 상기 숏폼 클립 생성 방법은 상기 사용자로부터 입력 받은 검색어가 기준치 이상의 길이를 갖는다는 판단에 응답하여, 상기 제1 숏폼 클립의 듀레이션(duration)을 상기 자막 텍스트에 따른 자막에 대응되는 발화의 시작 지점부터 발화의 종료 지점까지의 구간 보다 더 긴 것으로 결정하는 단계를 더 포함할 수 있다.
몇몇 실시예에서, 상기 숏폼 클립 생성 방법은, 기준치 이상의 상기 트림 스코어를 갖는 상기 자막 텍스트를 포함하는 제1 영상에서, 상기 자막 텍스트에 따른 자막에 대응되는 발화의 시작 지점부터 발화의 종료 지점까지의 구간을 트림한 복수의 숏폼(short-form) 클립을 획득하는 단계를 더 포함할 수 있다.
몇몇 실시예에서, 상기 숏폼 클립 생성 방법은, 상기 획득된 복수의 숏폼 클립을 사용자 단말에 송신하는 단계를 더 포함할 수 있다. 또한, 상기 복수의 숏폼 클립을 사용자 단말에 송신하는 단계는, 제2 영상으로부터 획득한 제2 숏폼 클립 및 제2 숏폼 클립의 재생 종료 이후에 재생되는 제3 숏폼 클립에 있어서, 상기 제2 숏폼 클립을 재생하는 사용자 단말의 화면 영역의 일부에 상기 제2 숏폼 클립은 상기 제2 영상의 제1 구간 숏폼 클립이라는 텍스트 또는, 상기 제3 숏폼 클립을 재생하는 사용자 단말의 화면 영역의 일부에 상기 제3 숏폼 클립은 상기 제2 영상의 제2 구간 숏폼 클립이라는 텍스트를 디스플레이 하는 단계를 포함할 수 있다.
몇몇 실시예에서, 상기 복수의 숏폼 클립을 사용자 단말에 송신하는 단계는 상기 복수의 숏폼 클립 각각을 재생하는 사용자 단말의 화면 영역의 일부에, 상기 복수의 숏폼 클립 각각의 원본 영상으로 리다이렉트(redirect) 되는 링크(link)를 디스플레이 하는 단계를 포함할 수 있다.
상기한 기술적 과제를 해결하기 위한 본 개시의 다른 실시예에 따른 동영상 컨텐츠 조회 시스템은 하나 이상의 프로세서 및 하나 이상의 인스트럭션(instruction)들을 저장하는 메모리를 포함할 수 있다. 그리고, 상기 하나 이상의 프로세서는 상기 저장된 하나 이상의 인스트럭션들을 실행시킴으로써, 사용자로부터 입력 받은 검색어에 대응되는 복수의 영상을 식별하는 동작과, 상기 복수의 영상에 포함된 복수의 자막에서 복수의 자막 텍스트를 추출하는 동작과, 상기 복수의 자막 텍스트 각각에 트림(trim) 스코어를 부여하는 동작 및 기준치 이상의 상기 트림 스코어를 갖는 상기 자막 텍스트를 포함하는 제1 영상에서, 상기 자막 텍스트에 따른 자막에 대응되는 발화의 시작 지점부터 발화의 종료 지점까지의 구간을 트림한 제1 숏폼(short-form) 클립을 획득하는 동작을 수행할 수 있다.
몇몇 실시예에서, 상기 하나 이상의 프로세서는, 상기 사용자로부터 입력 받은 검색어가 기준치 이상의 길이를 갖는다는 판단에 응답하여, 상기 제1 숏폼 클립의 듀레이션(duration)을 상기 자막 텍스트에 따른 자막에 대응되는 발화의 시작 지점부터 발화의 종료 지점까지의 구간 보다 더 긴 것으로 결정하는 동작을 더 수행할 수 있다.
몇몇 실시예에서, 상기 하나 이상의 프로세서는, 기준치 이상의 상기 트림 스코어를 갖는 상기 자막 텍스트를 포함하는 제1 영상에서, 상기 자막 텍스트에 따른 자막에 대응되는 발화의 시작 지점부터 발화의 종료 지점까지의 구간을 트림한 복수의 숏폼(short-form) 클립을 획득하는 동작을 더 수행할 수 있다.
몇몇 실시예에서, 상기 하나 이상의 프로세서는, 상기 획득된 복수의 숏폼 클립을 사용자 단말에 송신하는 동작을 더 수행할 수 있다. 또한, 상기 복수의 숏폼 클립을 사용자 단말에 송신하는 동작은, 제2 영상으로부터 획득한 제2 숏폼 클립 및 제2 숏폼 클립의 재생 종료 이후에 재생되는 제3 숏폼 클립에 있어서, 상기 제2 숏폼 클립을 재생하는 사용자 단말의 화면 영역의 일부에 상기 제2 숏폼 클립은 상기 제2 영상의 제1 구간 숏폼 클립이고, 상기 제3 숏폼 클립을 재생하는 사용자 단말의 화면 영역의 일부에 상기 제3 숏폼 클립은 상기 제2 영상의 제2 구간 숏폼 클립이라는 텍스트를 디스플레이 하는 동작을 포함할 수 있다.
몇몇 실시예에서, 상기 복수의 숏폼 클립을 사용자 단말에 송신하는 동작은, 상기 복수의 숏폼 클립 각각을 재생하는 사용자 단말의 화면 영역의 일부에, 상기 복수의 숏폼 클립 각각의 원본 영상으로 리다이렉트(redirect) 되는 링크(link)를 디스플레이 하는 동작을 포함할 수 있다.
도 1은 본 개시의 일 실시예에 따른 동영상 컨텐츠 조회 시스템의 예시적인 블록도이다.
도 2는 본 개시의 다른 실시예에 따른 숏폼 클립 생성 방법의 순서도이다.
도 3은 본 개시의 몇몇 실시예에서 등장할 수 있는 검색어 입력 영역을 설명하기 위한 예시적인 도면이다.
도 4는 도 2를 참조하여 설명한 검색어에 대응되는 복수의 영상을 식별하는 단계를 예시적으로 설명하기 위한 도면이다.
도 5는 본 개시의 몇몇 실시예에서 수행될 수 있는 자막 텍스트를 추출하는 단계를 예시적으로 설명하기 위한 도면이다.
도 6은 본 개시의 몇몇 실시예에서 수행 결과 획득될 수 있는 숏폼 클립을 예시적으로 설명하기 위한 도면이다.
도 7 내지 도 10은 본 개시의 몇몇 실시예에서 이용될 수 있는 파라미터를 예시적으로 설명하기 위한 도면이다.
도 11은 본 개시의 몇몇 실시예의 수행 결과 변화되는 숏폼 클립의 듀레이션을 예시적으로 설명하기 위한 도면이다.
도 12는 본 개시의 또 다른 실시예에 따른 사용자의 선호도에 따른 컨텐츠 배열 방법의 순서도이다.
도 13은 본 개시의 몇몇 실시예에서 수행될 수 있는 화면에 배열될 복수의 컨텐츠를 구성하는 단계를 예시적으로 설명하기 위한 도면이다.
도 14는 본 개시의 몇몇 실시예의 수행결과 사용자 단말에 표시될 수 있는 배열된 복수의 컨텐츠를 예시적으로 설명하기 위한 도면이다.
도 15는 본 개시의 몇몇 실시예의 수행결과 사용자 단말에 표시될 수 있는 배열된 복수의 컨텐츠를 예시적으로 설명하기 위한 도면이다.
도 16은 본 개시의 몇몇 실시예에서 수행될 수 있는 사용자의 정적 피드백에 기초하여 컨텐츠가 배열되는 단계를 예시적으로 설명하기 위한 도면이다.
도 17은 본 개시의 몇몇 실시예에서 수행될 수 있는 컨텐츠에 게재된 댓글의 내용에 기초하여 컨텐츠가 배열되는 단계를 예시적으로 설명하기 위한 도면이다.
도 18은 본 개시의 몇몇 실시예에서 수행될 수 있는 제2 사용자의 검색어 입력 이력에 기초하여 컨텐츠가 배열되는 단계를 예시적으로 설명하기 위한 도면이다.
도 19는 본 개시의 몇몇 실시예의 수행결과 사용자 단말에 표시될 수 있는 배열된 복수의 컨텐츠를 예시적으로 설명하기 위한 도면이다.
도 20은 본 개시의 몇몇 실시예의 수행결과 사용자 단말에 표시될 수 있는 배열된 복수의 컨텐츠를 예시적으로 설명하기 위한 도면이다.
도 21은 본 개시의 또 다른 실시예에 따른 숏폼 클립 생성 방법의 순서도이다.
도 22는 본 개시의 몇몇 실시예에서 수행될 수 있는 사용자 단말로부터 제1 키워드를 수신하는 단계를 예시적으로 설명하기 위한 도면이다.
도 23은 본 개시의 몇몇 실시예에서 수행될 수 있는 제1 키워드에 대응되는 보조어를 조회하는 단계를 예시적으로 설명하기 위한 도면이다.
도 24는 본 개시의 몇몇 실시예에서 수행될 수 있는 제1 키워드와 보조어가 함께 등장하는 자막 텍스트를 가지는 히트 영상을 선정하는 단계를 예시적으로 설명하기 위한 도면이다.
도 25는 본 개시의 몇몇 실시예에서 수행될 수 있는 히트 영상의 일부 영역을 트림하는 단계를 예시적으로 설명하기 위한 도면이다.
도 26은 본 개시의 몇몇 실시예에서 수행될 수 있는 제1 키워드 및 보조어가 단어 인접 수 이내로 함께 등장하는 히트 영상을 선정하는 단계를 예시적으로 설명하기 위한 도면이다.
도 27은 본 개시의 또 다른 실시예에 따른 숏폼 클립 생성 방법의 순서도이다.
도 28은 본 개시의 몇몇 실시예에서 수행될 수 있는 히트 영상을 선정하는 단계를 예시적으로 설명하기 위한 도면이다.
도 29는 본 개시의 몇몇 실시예에서 수행될 수 있는 제1 키워드와 보조어가 단어 인접 수 이내에 동일 문장 내부에 함께 등장하는 영상을 히트 영상으로 선정하는 단계를 예시적으로 설명하기 위한 도면이다.
도 30은 본 개시의 몇몇 실시예에서 수행될 수 있는 문장 구조에 기초하여 히트 영상을 선정하는 단계를 예시적으로 설명하기 위한 도면이다.
도 31은 본 개시의 몇몇 실시예에서 수행될 수 있는 복수의 사용자에 의해 리와인드된 이력이 존재하는 영역을 트림하는 단계를 예시적으로 설명하기 위한 도면이다.
도 32는 본 개시의 또 다른 실시예에 따른 숏폼 클립 합성 방법의 순서도이다.
도 33은 본 개시의 몇몇 실시예에서 수행될 수 있는 복수의 숏폼 클립을 추출하는 단계를 예시적으로 설명하기 위한 도면이다.
도 34는 도 32를 참조하여 설명한 일부 단계를 보다 자세히 설명하기 위한 순서도이다.
도 35는 본 개시의 몇몇 실시예에서 수행될 수 있는 복수의 숏폼 클립 각각의 재생 속도를 결정하는 단계를 예시적으로 설명하기 위한 도면이다.
도 36은 본 개시의 몇몇 실시예에서 수행될 수 있는 트랜지션 삽입 단계를 예시적으로 설명하기 위한 도면이다.
도 37은 도 34를 참조하여 설명한 일부 단계를 보다 자세히 설명하기 위한 순서도이다.
도 38은 본 개시의 몇몇 실시예에서 수행될 수 있는 숏폼 클립 각각의 배치 순서를 결정하는 단계를 예시적으로 설명하기 위한 도면이다.
도 39는 도 32를 참조하여 설명한 일부 단계를 보다 자세히 설명하기 위한 순서도이다.
도 40은 본 개시의 몇몇 실시예에서 수행될 수 있는 숏폼 클립 각각의 재생 지점을 연결하는 단계를 예시적으로 설명하기 위한 도면이다.
도 41은 본 개시의 몇몇 실시예의 수행 결과 사용자 단말에 표시될 수 있는 하나의 합성 영상을 예시적으로 설명하기 위한 도면이다.
도 42는 본 개시의 또 다른 실시예에 따른 동영상 컨텐츠 조회 시스템의 하드웨어 구성도이다.
이하, 첨부된 도면을 참조하여 본 개시의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명의 기술적 사상을 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.
본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
다른 정의가 없다면, 이하의 실시예들에서 사용되는 용어(기술 및 과학적 용어를 포함)는 본 개시가 속한 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수도 있다. 본 개시에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시의 범주를 제한하고자 하는 것은 아니다.
이하의 실시예들에서 사용되는 단수의 표현은 문맥상 명백하게 단수인 것으로 특정되지 않는 한, 복수의 개념을 포함한다. 또한, 복수의 표현은 문맥상 명백하게 복수인 것으로 특정되지 않는 한, 단수의 개념을 포함한다.
또한, 이하의 실시예들에서 사용되는 제1, 제2, A, B, (a), (b) 등의 용어는 어떤 구성요소를 다른 구성요소와 구별하기 위해 사용되는 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지는 않는다.
이하, 도면들을 참조하여 본 개시의 몇몇 실시예들을 설명한다.
도 1은 본 개시의 일 실시예에 따른 동영상 컨텐츠 조회 시스템(100)의 예시적인 블록도이다. 이하, 도 1을 참조하여 동영상 컨텐츠 조회 시스템(100)의 구성 요소 및 상기 구성 요소들 각각이 수행할 수 있는 동작에 관하여 설명한다.
본 개시의 일 실시예에 따른 동영상 컨텐츠 조회 시스템(100)은 숏폼 클립 생성부(11)를 포함할 수 있다. 본 개시의 몇몇 실시예에서, 숏폼 클립 생성부(11)는 특정 영상에 포함된 복수의 자막에서 복수의 자막 텍스트를 추출할 수 있다.
본 개시의 다른 몇몇 실시예에서, 숏폼 클립 생성부(11)는 상기 자막 텍스트 각각에 트림 스코어를 부여할 수 있다. 여기서, 상기 트림(trim) 스코어는 숏폼 클립 생성부(11)가 상기 자막 텍스트의 자막에 대응되는 상기 영상의 특정 구간을 숏폼 클립으로 트림할 지의 여부를 결정하기 위해 이용하는 것일 수 있으나, 이에 관하여는 후술한다.
본 개시의 또 다른 몇몇 실시예에서, 숏폼 클립 생성부(11)는 기준치 이상의 트림 스코어를 갖는 자막 텍스트를 포함하는 제1 영상에서, 상기 자막 텍스트에 따른 자막에 대응되는 발화의 시작 지점부터, 발화의 종료 지점까지의 구간을 트림하여, 제1 숏폼 클립을 생성할 수 있다.
단, 상기 제1 영상에서 제1 숏폼 클립을 생성하는 동작은 본 개시의 이해를 돕기 위한 예시일 뿐이며, 또 다른 몇몇 실시예에서는 숏폼 클립 생성부(11)가 상기 제1 영상에서 복수의 숏폼 클립을 생성할 수도 있다.
본 개시의 또 다른 몇몇 실시예에서, 숏폼 클립 생성부(11)는 사용자가 입력한 검색어의 길이에 기초하여, 상기 검색어 입력에 응답하여 생성되는 숏폼 클립의 듀레이션(duration)을 결정할 수 있다.
본 개시의 또 다른 몇몇 실시예에서, 숏폼 클립 생성부(11)는 상기 생성한 제1 숏폼 클립을 사용자 단말에 송신할 수 있다. 보다 자세하게는, 숏폼 클립 생성부(11)는 상기 생성한 제1 숏폼 클립의 스트리밍 데이터를 사용자 단말에 송신하고, 사용자 단말은 상기 제1 숏폼 클립의 스트리밍 데이터에 기초하여 상기 제1 숏폼 클립을 재생할 수 있는 것이다.
본 개시의 다른 실시예에 따른 동영상 컨텐츠 조회 시스템은, 컨텐츠 배열부(12)를 포함할 수 있다. 본 개시의 몇몇 실시예에서, 컨텐츠 배열부(12)는 사용자가 입력한 검색어의 데이터와 숏폼 클립 생성부(11)가 생성한 하나 이상의 숏폼 클립 각각의 자막 텍스트를 이용하여 상기 숏폼 클립 각각에 노출 스코어를 부여할 수 있다. 여기서, 상기 노출 스코어는 상기 숏폼 클립 각각이 사용자가 입력한 검색어에 대한 검색 결과 화면에 배치되는 순서를 결정하는 기준 값일 수 있다.
본 개시의 다른 몇몇 실시예에서, 컨텐츠 배열부(12)가 상기 노출 스코어를 부여하는 동작은 노출 스코어링 모델을 이용하여 수행하는 것일 수 있다. 더불어, 상기 노출 스코어링 모델은, 하나 이상의 특성(feature) 데이터를 입력 받는 것에 응답하여, 특정 컨텐츠에 대한 노출 스코어를 출력하는 모델로 이해될 수 있다.
본 개시의 또 다른 몇몇 실시예에서, 컨텐츠 배열부(12)는 상기 사용자의 피드백(user feedback)을 결정할 수 있다. 여기서, 사용자 피드백은 동적 피드백(dynamic feedback) 및 정적 피드백(static feedback)을 포함할 수 있으나, 이에 관하여는 후술한다.
본 개시의 또 다른 몇몇 실시예에서, 컨텐츠 배열부(12)는 사용자 피드백을 이용하여 노출 스코어링 모델을 추가적으로 기계 학습시킬 수 있다. 보다 자세하게는, 컨텐츠 배열부(12)는 상기 사용자의 동적 피드백 및 정적 피드백에 대한 정보를 노출 스코어링 모델에 입력하여 노출 스코어링 모델을 추가적으로 기계 학습시키고, 노출 스코어링 모델이 노출 스코어를 결정하는 특성이 변경됨에 따라, 상기한 실시예에서 기 부여된 복수의 컨텐츠 각각에 대한 노출 스코어는 다른 값으로 치환될 수 있는 것이다.
본 개시의 또 다른 몇몇 실시예에서, 컨텐츠 배열부(12)는 상기 치환된 노출 스코어에 기초하여 사용자의 검색어 입력에 따른 검색 결과 화면에 복수의 컨텐츠 각각을 배열할 수 있다.
본 개시의 또 다른 실시예에 따른 동영상 컨텐츠 조회 시스템(100)은 검색어 처리부(13)를 포함할 수 있다. 본 개시의 몇몇 실시예에서, 검색어 처리부(13)는 명사인 제1 키워드를 포함하는 검색어를 사용자 단말로부터 수신하고, 기 저장된 보조어 테이블에서 상기 제1 키워드에 대응되는 보조어를 조회할 수 있다.
여기서, 본 개시의 몇몇 실시예에 따른 상기 제1 키워드는 사용자가 입력한 검색어의 가장 서두에 등장하는 명사 단어일 수 있고, 상기 보조어는 상기 검색어에 포함된 상기 제1 키워드 이외의 모든 문자열을 의미할 수 있다.본 개시의 다른 몇몇 실시예에 따른 상기 제1 키워드는 사용자가 입력한 검색어에서 사용자가 별도로 지정한 명사 단어일 수 있고, 상기 보조어는 상기 검색어에 포함된 상기 제1 키워드 이외의 모든 문자열을 의미할 수 있다.
본 개시의 다른 몇몇 실시예에 따른 상기 제1 키워드는 사용자가 입력한 검색어에 포함된 모든 체언에 해당하는 단어일 수 있고, 상기 보조어는 상기 검색어에 포함된 모든 용언에 해당하는 단어일 수 있다.
본 개시의 다른 몇몇 실시예에서, 검색어 처리부(13)는 상기 제1 키워드와 상기 보조어가 함께 등장하는 자막 텍스트를 갖는 히트(hit) 영상을 복수의 영상 중에서 선정할 수 있으나, 이에 관하여는 이하 자세히 후술하도록 한다.
본 개시의 또 다른 몇몇 실시예에서, 검색어 처리부(13)는 상기 제1 키워드와, 기 저장된 유사어 테이블에 포함된 상기 보조어의 유사어가 함께 등장하는 자막 텍스트를 가지는 히트 영상을 상기 복수의 영상 중에서 선정할 수 있다.
본 개시의 또 다른 몇몇 실시예에서, 검색어 처리부(13)는 상기 히트 영상에서 상기 제1 키워드 및 상기 보조어가 함께 등장하는 자막 텍스트에 대응되는 구간에 대한 정보를 숏폼 클립 생성부(11)에 송신하고, 숏폼 클립 생성부(11)는 상기 히트 영상에서 상기 구간을 트림할 수 있다.
본 개시의 또 다른 몇몇 실시예에서, 검색어 처리부(13)는 사용자가 명사인 제1 키워드 및 동사 활용어인 보조어를 모두 포함하는 검색어를 사용자 단말로부터 수신함에 응답하여, 영상 내 기준 시간 이전에 상기 제1 키워드와 보조어가 순차적으로 동일한 문장 내부에 함께 등장하는 자막 텍스트를 포함하는 영상을 히트 영상으로 선정할 수 있다.
본 개시의 또 다른 몇몇 실시예에서, 검색어 처리부(13)는 상기 히트 영상에서, 기준 시간 이전에 존재하고, 상기 제1 키워드 및 상기 보조어가 순차적으로 동일한 문장 내부에 함께 등장하는 자막 텍스트에 대응되는 상기 히트 영상의 제1 영역에 대한 정보와, 상기 제1 영역 이후에 등장하는 상기 제1 키워드가 문장 서두에 등장하는 자막 텍스트를 갖는 제2 영역에 대한 정보를 숏폼 클립 생성부(11)에 송신하고, 숏폼 클립 생성부는 상기 히트 영상에서 상기 제1 영역 및 제2 영역에 대응되는 구간을 트림하여 제1 숏폼 클립 및 제2 숏폼 클립을 생성할 수 있다.
본 개시의 또 다른 실시예에 따른 동영상 컨텐츠 조회 시스템(100)은 숏폼 클립 합성부(14)를 포함할 수 있다. 본 개시의 몇몇 실시예에서, 숏폼 클립 합성부(14)는 숏폼 클립 생성부(11)에 의하여 생성된 적어도 두 개 이상의 숏폼 클립을 순차적으로 연결하여, 사용자가 입력한 검색어에 대응되는 하나의 합성 영상 컨텐츠를 생성할 수 있다. 상기한 숏폼 클립 합성부(14)가 하나의 합성 영상을 생성하는 단계에 관하여는 이하의 실시예들에서 자세히 설명하기로 한다.
본 개시의 다른 몇몇 실시예에서, 숏폼 클립 합성부(14)는 복수의 숏폼 클립의 자막에 포함된 자막 텍스트에 기초하여, 상기 복수의 숏폼 클립 각각의 유형을 결정할 수 있다.
본 개시의 또 다른 몇몇 실시예에서, 숏폼 클립 합성부(14)는 복수의 숏폼 클립 각각의 유형에 기초하여 상기 숏폼 클립들 각각이 하나의 합성 영상에 배치되었을 때의 재생 순서를 결정할 수 있다.
본 개시의 또 다른 몇몇 실시예에서, 숏폼 클립 합성부(14)는 복수의 숏폼 클립 각각의 자막이 전환되는 빈도에 기초하여 상기 복수의 숏폼 클립 각각이 하나의 합성 영상에 배치되었을 때의 재생 속도를 결정할 수 있다.
지금까지 도 1을 참조하여 동영상 컨텐츠 조회 시스템의 구성요소 및 상기 구성요소가 수행할 수 있는 동작들에 관하여 설명하였다. 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
이하, 도 2 내지 도 11을 참조하여, 본 개시의 다른 실시예에 따른 숏폼 클립 생성 방법에 관하여 자세히 설명한다. 이하, 몇몇 순서도에서 설명될 단계는 별도의 수행 주체 선언이 없는 한, 도 1을 참조하여 설명한 동영상 컨텐츠 조회 시스템(100)에 의하여 수행되는 것으로 이해되어야 한다.
도 2에 도시된 단계 S210에서, 동영상 컨텐츠 조회 시스템(100)은 사용자가 입력한 검색어에 대응되는 복수의 영상을 식별할 수 있다. 상기 복수의 영상을 식별하는 단계를 도 3 내지 도 4를 참조하여 설명한다.
단계 S210과 관련된 몇몇 실시예에서, 동영상 컨텐츠 조회 시스템(100)은, 사용자로부터 도 3에 도시된 검색 창(31)을 통해 검색어를 입력 받을 수 있다.
단계 S210과 관련된 몇몇 실시예에서, 도 4를 참조하면, 동영상 컨텐츠 조회 시스템(100)은 사용자가 입력한 '태슬컷 자르는 법' 검색어(41-1)를 입력 받고, 복수의 영상 중에서 '태슬컷 자르는 법' 검색어(41-1)와 기준치 이상의 유사도를 갖는 제목 또는 자막 텍스트를 포함하는 복수의 검색어에 대응되는 영상(42,43)을 식별할 수 있다.
도 4에 도시된 복수의 영상 리스트는 본 개시의 이해를 돕기 위한 예시일 뿐이며, 사용자의 '태슬컷 자르는 법' 검색어(41-1) 입력에 응답하여 제공되는 검색 결과 화면으로 이해되어서는 안된다.
단계 S220에서 동영상 컨텐츠 조회 시스템(100)은 사용자가 입력한 검색어에 대응되는 복수의 영상에서 자막 텍스트를 추출할 수 있다. 이하, 도 4 및 도 5를 참조하여 설명한다.
단계 S220과 관련된 몇몇 실시예에서, 동영상 컨텐츠 조회 시스템(100)은 사용자가 입력한 '태슬컷 자르는 법' 검색어(41-1)에 기초하여 식별된 제2 영상(43)에서 복수의 자막 텍스트를 추출할 수 있다.
도 5를 참조하면, 동영상 컨텐츠 조회 시스템(100)은 제2 영상(43)의 제1 구간의 화자의 발화에 따른 제1 자막(42-1)과 제2 영상(43)의 제1 구간의 화자의 발화에 따른 제2 자막(42-2)에서 제1 자막 텍스트 및 제2 자막 텍스트를 추출할 수 있다. 즉, 도 5를 참조하면, 동영상 컨텐츠 조회 시스템(100)은 제1 자막(42-1)에서 '요즘 들어서 이렇게 풀뱅 스타일을 원하시는 고객 님들이' 텍스트를, 제2 자막(42-2)에서 '이번 영상은 단발 태슬컷 영상입니다' 텍스트를 추출할 수 있는 것이다.
도 2에 도시된 단계 S230에서, 동영상 컨텐츠 조회 시스템(100)은 자막 텍스트 각각에 트림 스코어를 부여할 수 있다. 이하, 도 4 내지 도 10을 참조하여 설명한다. 여기서, 트림 스코어는 특정 자막 텍스트에 따른 자막에 대응되는 영상의 특정 구간을 트림하여 숏폼 클립으로 생성할 지의 여부를 결정하는 기준이 되는 스코어일 수 있으나, 이에 관하여는 이하의 실시예를 참조하면 명확히 이해될 수 있다.
단계 S230과 관련된 몇몇 실시예에서, 동영상 컨텐츠 조회 시스템(100)은 제2 영상(43)의 제1 및 제2 자막(42-1, 42-2) 각각의 자막 텍스트와 사용자가 입력한 '태슬컷 자르는 법'검색어(41-1) 간의 유사도를 비교하고, 상기 유사도에 기초하여 제1 및 제2 자막(42-1, 42-2)의 자막 텍스트 각각에 트림 스코어를 부여할 수 있다.
예를 들어, 제2 자막(42-2)의 자막 텍스트와 '태슬컷 자르는 법'검색어(41-1) 간의 유사도가 기준치 이상이라는 것에 응답하여, 도 6에 도시된 바와 같이 제2 자막(42-2)의 배치 시작 시간과 배치 종료 시간 사이의 구간을 트림하여 제1 숏폼 클립(43a)을 생성할 수 있다.
도 6에 도시된 바와 같이 동영상 컨텐츠 조회 시스템(100)이 사용자 단말에 제1 숏폼 클립(43a)에 대한 스트리밍 데이터를 송신함에 따라 재생되는 제1 숏폼 클립(43a)이 표시되는 인터페이스(interface)에는 제1 숏폼 클립(43a)의 원본 영상인 제2 영상(43)의 원작자 정보(61) 및 제2 영상(43)의 제목(62)이 포함될 수 있다.
본 개시의 몇몇 실시예에서, 도 6을 참조하면, 동영상 컨텐츠 조회 시스템(100)은 사용자의 제2 영상(43)의 원작자 정보(61)에 대한 조작에 응답하여, 제2 영상(43)의 원작자의 채널에 대한 정보를 사용자 단말에 송신할 수 있다. 또한, 동영상 컨텐츠 조회 시스템(100)은 사용자의 제2 영상(43)의 제목(62)에 대한 조작에 응답하여, 제2 영상(43)에 대한 스트리밍 데이터를 사용자 단말에 송신할 수도 있다.
본 개시의 다른 몇몇 실시예에서, 제1 숏폼 클립(43a)의 재생 종료 이후에 재생되는 제2 숏폼 클립이 제1 숏폼 클립(43a)과 같이 제2 영상(43)으로부터 트림 된 숏폼 클립일 경우, 제2 숏폼 클립의 인터페이스에 표시되는 제2 영상(43)의 제목(62)에 '2'를 부가하여 사용자로 하여금 제2 영상(43)으로부터 추출된 2 번째 숏폼 클립임을 인지하도록 할 수 있다.
단계 S230과 관련된 다른 몇몇 실시예에서, 도 7을 참조하여 설명하면, 동영상 컨텐츠 조회 시스템(100)은 제1 영상(42)을 시청한 복수의 사용자가 리와인드(rewind)를 요청한 구간에 대한 정보에 기초하여 제1 영상(42)의 자막 텍스트 각각에 트림 스코어를 부여할 수 있다. 예를 들어, 도 7에 도시된 제1 영상(42)을 시청한 복수의 사용자들의 사용자 단말이 제2 구간(72)에 대한 리와인드 요청을 제1 구간(71)에 대한 리와인드 요청 보다 더 많이 송신하였을 경우, 제2 구간(72)의 '디스커넥션을 위해 1센티 정도 짧게!' 자막 텍스트는 제1 구간(71)의 '똑단발이 표현 안되실 수 있어요!' 자막 텍스트 보다 높은 트림 스코어를 부여받을 수 있다.
단계 S230과 관련된 또 다른 몇몇 실시예에서, 동영상 컨텐츠 조회 시스템(100)은 특정 영상에 포함된 복수의 자막 텍스트 각각과 사용자가 입력한 검색어 이력에 기초하여 상기 자막 텍스트 각각에 트림 스코어를 부여할 수 있다.
도 8을 참조하여 설명하면, 동영상 컨텐츠 조회 시스템(100)은 사용자가 입력한 검색어 이력에 '태슬컷' 키워드가 기준치 이상 포함되어 있다는 판단 및, 사용자가 입력한 검색어 이력에 '주의' 키워드가 기준치 이상 포함되어 있다는 판단에 응답하여, 제1 영상(42)의 제1 자막(81) 및 제2 자막(82)에 다른 자막 대비 높은 트림 스코어를 부여할 수도 있다.
단계 S230과 관련된 또 다른 몇몇 실시예에서, 동영상 컨텐츠 조회 시스템(100)은 특정 영상의 자막 텍스트 각각에 따른 자막에 대응되는 영상 구간에서 식별되는 객체의 종류에 기초하여 상기 자막 텍스트 각각에 트림 스코어를 부여할 수 있다.
예를 들어 도 9를 참조하여 설명하면, 동영상 컨텐츠 조회 시스템(100)은 제1 영상의 제1 구간(91)에서 사람의 머리로 식별되는 객체보다 텍스트로 식별되는 객체가 영상 화면에서 점유하는 영역이 더 크고, 제1 영상의 제2 구간에서 사람의 머리만 식별되고, 사용자가 검색 창(31)에 '태슬컷 완성본' 검색어를 입력하였을 때, 제1 구간(91)의 '태슬컷 완성된 모습' 자막 텍스트가 제2 구간(92)의 '제 헤어스타일을 즐겨주세요' 자막 텍스트보다 '태슬컷 완성본' 검색어와의 유사도가 더 높은 것으로 판단됨에도 불구하고, 제2 구간(92)의 '제 헤어스타일을 즐겨주세요' 자막 텍스트가 제1 구간(92)의 '태슬컷 완성된 모습' 자막 텍스트 보다 높은 트림 스코어를 갖는 것으로 결정할 수 있다.
단계 S230과 관련된 또 다른 몇몇 실시예에서, 동영상 컨텐츠 조회 시스템(100)은 사용자가 입력한 검색어에 대응되는 복수의 영상 중 영상을 업로드하는 크리에이터 각각이, 사용자가 입력한 검색어와 기준치 이상의 관련도를 갖는 영상을 업로드 한 횟수에 기초하여 상기 사용자가 입력한 검색어에 대응되는 복수의 영상에 포함된 자막 텍스트 각각에 트림 스코어를 부여할 수 있다.
예를 들어 도 10을 참조하여 설명하면, 동영상 컨텐츠 조회 시스템(100)은 사용자로부터 '숏컷 자르는 법' 검색어를 검색 창(31)에 입력 받고, 상기 '숏컷 자르는 법' 검색어에 대응되는 영상이 4개일 때, 크리에이터 C가 '숏컷 자르는 법' 검색어에 대응되는 영상을 업로드한 횟수가 2회로 가장 높다는 판단에 응답하여, 크리에이터 C의 제1 영상(101)과 제2 영상(102)에 포함된 자막 텍스트가 크리에이터 A 및 크리에이터 B의 영상에 포함된 자막 텍스트 보다 높은 트림 스코어를 갖는 것으로 결정할 수 있다.
지금까지 단계 S230과 관련된 몇몇 실시예들에 관하여 자세하게 설명하였다.
이하, 도 2를 참조하여 계속 설명한다.
도 2에 도시된 단계 S240에서, 동영상 컨텐츠 조회 시스템(100)은 사용자가 입력한 검색어의 길이를 평가하여 생성되는 숏폼 클립의 듀레이션(duration)을 결정할 수 있다.
단계 S240과 관련된 몇몇 실시예에서, 도 11을 참조하면, 동영상 컨텐츠 조회 시스템(100)은 제1 영상(42)의 '언더존에 모발이 제일 많이 뭉치는 부분이잖아요' 자막 텍스트가 사용자가 입력한 ‘태슬컷 자르는 법 및 스타일링’ 검색어(111) 및 '태슬컷 자르는 법' 검색어(112)에 모두 대응될 때, '태슬컷 자르는 법' 검색어(112) 입력에 응답하여 생성된 제2 숏폼 클립(42b)의 듀레이션이 1분이나, '태슬컷 자르는 법' 검색어(112) 대비 포함하는 단어의 개수가 많은 '태슬컷 자르는 법 및 스타일링' 검색어(111) 입력에 응답하여 생성된 제1 숏폼 클립(42a)의 듀레이션은 1분 보다 높은 1분 30초인 것으로 결정할 수 있다.
다시금 도 2에 도시된 단계 S250에서, 동영상 컨텐츠 조회 시스템(100)은 제1 영상에 포함된 자막 텍스트 각각에 부여된 트림 스코어에 기초하여, 제1 숏폼 클립을 획득할 수 있다. 상기 제1 영상에서 제1 숏폼 클립을 획득하는 단계는 예시적인 것일 뿐이며, 다른 몇몇 실시예에서 동영상 컨텐츠 조회 시스템(100)은 제1 영상으로부터 복수의 숏폼 클립을 획득할 수도 있다.
단계 S250과 관련된 몇몇 실시예에서, 동영상 컨텐츠 조회 시스템(100)은 제1 영상에 포함된 자막 텍스트 중 기준치 이상의 트림 스코어를 갖는 자막 텍스트의 자막에 대응되는 제1 영상의 구간을 트림하여 복수의 숏폼 클립을 생성할 수 있되, 상기 기준치는 사용자에 의해 변경될 수 있다.
지금까지 도 2 내지 도 11을 참조하여 본 개시의 다른 실시예에 따른 숏폼 클립 생성 방법에 관하여 자세히 설명하였다. 이상에서 기술한 실시예들은 예시적인 것이며, 한정적이 아닌 것으로 이해해야만 한다.
이하, 도 12 내지 도 20을 참조하여 본 개시의 또 다른 실시예에 따른 사용자의 선호도에 따른 컨텐츠 배열 방법에 관하여 자세히 설명한다. 이하 몇몇 순서도에서 설명될 단계는 별도의 선언이 없을 경우, 도 1을 참조하여 설명한 동영상 컨텐츠 조회 시스템(100)에 의하여 수행되는 것으로 이해되어야 한다.
도 12의 단계 S1210에서, 동영상 컨텐츠 조회 시스템(100)은 사용자의 검색어 입력에 따른 검색 결과 화면에 배열될 복수의 컨텐츠를 구성할 수 있다. 여기서, 상기 복수의 컨텐츠는 동영상 컨텐츠 조회 시스템(100)이 도 2에 도시된 숏폼 클립 생성 방법을 수행하여 획득한 복수의 숏폼 클립을 의미할 수 있다. 이하, 상기 사용자의 선호도에 따른 컨텐츠 배열 방법을 설명하는 데 있어 언급되는 '컨텐츠' 또는 '영상'은 별도의 언급이 없을 경우 상기 숏폼 클립을 의미하는 것으로 이해될 수 있다.
단계 S1210과 관련된 몇몇 실시예에서 도 13을 참조하면 동영상 컨텐츠 조회 시스템(100)은 예를 들면, 사용자의 '울프컷 자르는 법' 검색어 입력에 대응되는 복수의 영상 중 제1 영상(131)에서, 기준치 이상의 트림 스코어를 갖는 자막 텍스트에 대응되는 구간을 트림하여, 사용자의 ‘울프컷 자르는 법’ 검색어 입력에 응답하여 생성되는 제1 숏폼 클립(131a)을 획득할 수 있다.
단계 S1220에서 동영상 컨텐츠 조회 시스템(100)은 사용자가 입력한 검색어와 복수의 컨텐츠 각각에 포함된 자막 텍스트 간 유사도에 기초하여 복수의 컨텐츠 각각에 포함된 자막 텍스트 각각에 노출 스코어를 부여할 수 있다.
상기 노출 스코어를 부여하는 단계는, 동영상 컨텐츠 조회 시스템(100)이 특정 컨텐츠에 포함된 자막 텍스트 및 상기 사용자가 입력한 검색어를 노출 스코어링 모델에 입력하여 획득되는 값을 복수의 컨텐츠 각각에 부여하는 것일 수 있다.
단계 S1230에서 동영상 컨텐츠 조회 시스템(100)은 상기 노출 스코어에 기초하여 사용자의 검색어 입력에 응답하여 사용자 단말에 표시되는 검색 결과 화면에 복수의 컨텐츠를 배열할 수 있다.
단계 S1230과 관련된 몇몇 실시예에서, 동영상 컨텐츠 조회 시스템(100)은 사용자의 검색어 입력에 응답하여 상기 노출 스코어의 내림차순(descending)으로 사용자 단말에 표시되는 검색 결과에 복수의 컨텐츠를 배열할 수 있다.
단계 S1230과 관련된 몇몇 실시예에서, 동영상 컨텐츠 조회 시스템(100)은 사용자의 검색어 입력에 응답하여 상기 노출 스코어의 오름차순(ascending)으로 사용자 단말에 표시되는 검색 결과에 복수의 컨텐츠를 배열할 수 있다.
단계 S1230과 관련된 다른 몇몇 실시예에서, 도 14를 참조하면, 동영상 컨텐츠 조회 시스템(100)은 사용자가 검색 창(31)에 '울프컷 자르는 법' 검색어를 입력한 것에 응답하여, 사용자의 검색어 입력에 대한 응답으로 제공되는 제1 숏폼 클립(141)에 대한 스트리밍 데이터를 사용자 단말에 송신할 수 있다. 그리고, 사용자 단말은 상기 스트리밍 데이터에 기초하여 제1 숏폼 클립(141)을 재생할 수 있다. 즉, 제1 숏폼 클립(141)은 사용자의 '울프컷 자르는 법' 검색어 입력에 대한 응답으로 제공되는 검색 결과의 첫 번째 컨텐츠일 수 있는 것이다. 따라서, 제1 숏폼 클립(141)은 사용자가 입력한 '울프컷 자르는 법' 검색어에 대응되는 복수의 원본 영상에 포함된 복수의 자막 텍스트 중 가장 높은 트림 스코어를 갖는 자막 텍스트에 대응되는 제1 영상의 특정 구간을 트림한 클립일 수 있다.
단계 S1230과 관련된 또 다른 몇몇 실시예에서, 도 14 및 도 15를 참조하면 사용자는 사용자 단말의 화면에서 제1 숏폼 클립(141)이 표시되는(재생되는) 영역에 대해 스와이프(swipe) 동작 또는 마우스 휠 스크롤(mouse wheel scroll) 조작을 수행함으로써, 제1 숏폼 클립(141) 보다 낮은 트림 스코어를 갖는 자막 텍스트를 포함하는 제2 숏폼 클립(142)을 시청할 수 있다. 또한, 사용자가 제2 숏폼 클립(142)이 표시되는 영역에 대한 스와이프 동작 또는 마우스 휠 스크롤 조작을 수행함으로써, 제3 숏폼 클립(143)을 시청할 수 있음은 물론이다.
단계 S1240에서 동영상 컨텐츠 조회 시스템(100)은 사용자 피드백을 결정할 수 있다. 여기서, 상기 사용자 피드백은 동적 피드백(dynamic feedback) 및 정적 피드백(static feedback)을 결정할 수 있다.
단계 S1240과 관련된 몇몇 실시예에서, 상기 동적 피드백은 사용자가 입력한 검색어에 대응되는 복수의 컨텐츠에 대하여 사용자가 취한 액션일 수 있고, 상기 정적 피드백은 사용자의 상태에 관한 정보일 수 있으나, 이에 관하여는 후술한다.
단계 S1240과 관련된 다른 몇몇 실시예에서, 예를 들어 도 15를 참조하면, 동영상 컨텐츠 조회 시스템(100)은 사용자의 제2 숏폼 클립(142)에 대한 선호 버튼(151) 입력 또는 비선호 버튼(152) 입력에 기초하여, 사용자의 동적 피드백을 결정할 수 있다. 보다 자세하게는, 예를 들면, 동영상 컨텐츠 조회 시스템(100)은 사용자가 제2 숏폼 클립(142)에 대한 선호 버튼(151)을 입력한 경우에, 상기 사용자의 사용자 피드백 정보에 상기 사용자가 제2 숏폼 클립(142)의 특성(feature) 정보를 저장하고, 차후 사용자가 특정 검색어를 입력할 경우, 상기 특성 정보를 고려하여 검색결과를 제공할 수 있다.
여기서, 상기 제2 숏폼 클립(142)의 특성 정보는 제2 숏폼 클립(142)의 자막 텍스트, 제2 숏폼 클립(142)의 원작자, 제2 숏폼 클립(142)의 제목 텍스트, 제2 숏폼 클립(142)의 영상 카테고리, 제2 숏폼 클립(142)의 조회수, 제2 숏폼 클립(142)에 게시된 복수의 사용자들의 코멘트(comment) 텍스트, 제2 숏폼 클립(142)이 업로드 된 시각 정보, 제2 숏폼 클립(142)을 시청한 다른 사용자들의 사용자 피드백 정보를 포함할 수 있다.
단계 S1240과 관련된 또 다른 몇몇 실시예에서, 상기 액션은 사용자의 컨텐츠 선호 버튼 입력에 대한 정보, 사용자가 복수의 컨텐츠 각각을 시청한 횟수, 사용자의 복수의 컨텐츠 각각에 대한 코멘트 입력 횟수를 포함할 수 있다.
단계 S1240과 관련된 또 다른 몇몇 실시예에서, 상기 사용자의 상태는 상기 사용자의 성별을 포함할 수 있다. 예를 들어 도 16을 참조하여 설명하면, 동영상 컨텐츠 조회 시스템(100)은'커트 방법' 검색어를 입력한 사용자의 성별이 남성이라는 판단에 응답하여, 영상 제목에 '남자'를 포함하는 제1 영상(161)으로부터 트림 된 제1 숏폼 영상이 성별과 관련된 키워드를 포함하지 않는 제2 숏폼 영상(162) 및 여성과 관련된 키워드가 자막 텍스트에 포함된 제3 영상(163) 보다 높은 노출 스코어를 갖는 것으로 결정할 수도 있는 것이다.
단계 S1240과 관련된 또 다른 몇몇 실시예에서, 상기 사용자의 상태는 상기 사용자의 연령을 포함할 수 있다. 예를 들어 동영상 컨텐츠 조회 시스템(100)은 '커트 방법' 검색어를 입력한 사용자의 연령이 20대라는 판단에 응답하여, 영상의 자막 텍스트에 '20대' 키워드를 포함하는 영상으로부터 추출된 숏폼 클립이 상기 검색어에 대응되는 다른 영상에서 추출된 숏폼 클립 보다 높은 노출 스코어를 갖는 것으로 결정할 수도 있는 것이다.
단계 S1240과 관련된 또 다른 몇몇 실시예에서, 상기 사용자의 상태는 사용자의 특정 영상에 대한 시청 지속 시간을 포함할 수 있다. 예를 들어, 동영상 컨텐츠 조회 시스템(100)은 '태슬 컷' 키워드를 검색한 사용자가 상기 검색어의 응답으로 제공된 1분의 듀레이션을 갖는 제1 숏폼 클립을 복수 회 조회하여 5분 이상 시청을 지속한 것에 기초하여, 상기 제1 숏폼 클립에 대응되는 제1 원본 영상의 특성 정보와 기준치 이상의 유사도를 갖는 특성 정보를 가진, ‘울프 컷’ 검색어의 응답으로 제공된, 제2 원본 영상으로부터 추출된 제2 숏폼 클립이 상기 '울프 컷' 검색어의 응답으로 제공된 제3 및 제4 숏폼 클립 보다 높은 노출 스코어를 갖는 것으로 결정할 수 있다.
단계 S1240과 관련된 또 다른 몇몇 실시예에서, 상기 사용자 피드백은 복수의 컨텐츠 각각에 포함된 댓글의 문자열과, 사용자가 상기 복수의 컨텐츠를 획득하기 위하여 입력한 문자열(검색어) 간의 유사도를 포함할 수 있다.
도 17을 참조하여 설명하면, 동영상 컨텐츠 조회 시스템(100)은 사용자의 '태슬컷 자르는 법' 검색어 입력의 응답으로 제공된 제1 숏폼 클립(171)과 제2 숏폼 클립(172)에 있어서, 제1 숏폼 클립(171)의 댓글(171-1)의 댓글 텍스트가 상기 사용자가 입력한 검색어에 포함된 '태슬컷' 문자열을 포함하고, 제2 숏폼 클립(172)의 댓글의 댓글 텍스트는 상기 사용자가 입력한 검색어와 기준치 이상의 유사도를 갖지 않는다는 판단에 응답하여, 제1 숏폼 클립(171)의 노출 스코어가 제2 숏폼 클립(172)의 노출 스코어보다 높은 것으로 결정할 수 있다.
단계 S1240과 관련된 또 다른 몇몇 실시예에서, 상기 사용자 피드백은 검색어를 입력한 제1 사용자와 기준치 이상 동일한 검색어를 입력한 이력이 존재하는 제2 사용자의 복수의 컨텐츠 각각에 대한 조회수를 포함할 수 있다.
예를 들어, 도 18을 참조하여 설명하면, 상기 기준치가 3이고, 제1 사용자가 '샤기컷 미용법' 검색어를 입력하였고, 제1 사용자의 검색어 입력 이력(181)과 제2 사용자의 검색어 입력 이력(182)의 비교 결과, 제1 사용자의 검색어 입력 이력(181)과 제2 사용자의 검색어 입력 이력(182) 모두에 동일하게'숏컷 붙임머리 잘하는 법', '태슬컷 잘하는법', '울프컷 자르는법' 검색어가 존재할 때, 동영상 컨텐츠 조회 시스템(100)은 제2 사용자가 조회한 횟수가 제2 숏폼 클립(184) 보다 더 많은 제1 숏폼 클립(183)이 제2 숏폼 클립(184) 보다 높은 노출 스코어를 갖는 것으로 결정할 수 있다.
지금까지 S1240과 관련된 몇몇 실시예에 관하여 설명하였다.
이하, 도 12를 참조하여 계속 설명한다.
도 12의 단계 S1250에서, 동영상 컨텐츠 조회 시스템(100)은 상기 결정된 사용자 피드백에 기초하여 노출 스코어링 모델을 추가 학습시킬 수 있다. 또한, 단계 S1260에서 동영상 컨텐츠 조회 시스템(100)은 상기 추가 학습된 노출 스코어링 모델을 이용하여 사용자의 검색어 입력에 따른 검색 결과 화면에 배열될 복수의 컨텐츠 각각에 노출 스코어를 부여할 수 있다.
보다 자세하게는, 상기한 실시예들에서 노출 스코어는 노출 스코어링 모델에 사용자가 입력한 검색어 및 특정 컨텐츠에 포함된 자막 텍스트를 입력하여 획득되는 값이었으나, 단계 S1250에서 동영상 컨텐츠 조회 시스템(100)은 사용자가 입력한 검색어, 특정 컨텐츠에 포함된 자막 텍스트 및 상기 결정된 사용자 피드백을 상기 추가 학습된 노출 스코어링 모델에 입력하여 복수의 컨텐츠 각각에 대한 노출 스코어를 획득할 수 있는 것이다.
예를 들어, 도 14 및 도 15에서, 동영상 컨텐츠 조회 시스템(100)이 제1 숏폼 클립(141), 제2 숏폼 클립(142), 제3 숏폼 클립(143) 각각의 자막 텍스트 및 사용자가 입력한 검색어 만을 노출 스코어링 모델에 입력하였을 때, 노출 스코어의 내림차순에 따른 컨텐츠 배열 순서는 제1 숏폼 클립(141), 제2 숏폼 클립(142), 제3 숏폼 클립(143) 순이었다.
반면, 도 19 및 도 20에서, 예를 들어 사용자가 제2 숏폼 클립(142)의 원작자의 다른 영상들을 제1 숏폼 클립(141) 및 제3 숏폼 클립(143)의 원작자의 영상보다 많이 조회하였을 때, 동영상 컨텐츠 조회 시스템(100)이 제1 숏폼 클립(141), 제2 숏폼 클립(142), 제3 숏폼 클립(143) 각각의 자막 텍스트, 사용자가 검색 창(31)에 입력한 검색어 '울프컷 자르는 법' 및 사용자 피드백을 노출 스코어링 모델에 입력하였을 때, 노출 스코어의 내림차순에 따른 컨텐츠 배열 순서는 제2 숏폼 클립(142), 제1 숏폼 클립(141), 제3 숏폼 클립(143) 순일 수도 있는 것이다.
다른 예를 들면, 사용자가 제2 숏폼 클립(142)의 원작자의 다른 영상들에 대한 선호 버튼(151) 입력을 한 이력이 존재할 때, 동영상 컨텐츠 조회 시스템(100)이 제1 숏폼 클립(141), 제2 숏폼 클립(142), 제3 숏폼 클립(143) 각각의 자막 텍스트, 사용자가 검색 창(31)에 입력한 검색어 ‘울프컷 자르는 법’ 및 사용자 피드백을 노출 스코어링 모델에 입력하였을 때, 노출 스코어의 내림차순에 따른 컨텐츠 배열 순서는 제2 숏폼 클립(142), 제1 숏폼 클립(141), 제3 숏폼 클립(143) 순일 수도 있는 것이다.
본 실시예에 따르면, 사용자는 사용자가 선호하는 영상을 찾기 위한 추가적인 탐색을 수행하지 않아도, 동영상 컨텐츠 조회 시스템(100)이 동일한 검색어를 입력한 복수의 사용자 각각에게도, 사용자 각각의 사용자 피드백을 추가적인 입력으로 고려하여, 사용자 각각에게 상이한 검색 결과를 제공할 수 있는 효과가 달성될 수 있다.
지금까지 본 개시의 또 다른 실시예에 따른 사용자의 선호도에 따른 컨텐츠 배열 방법에 관하여 자세히 설명하였다. 이상에서 기술한 실시예들은 예시적인 것이며, 한정적이 아닌 것으로 이해되어야 한다.
이하, 도 21 내지 도 26을 참조하여, 본 개시의 또 다른 실시예에 따른 숏폼 클립 생성 방법에 관하여 설명한다. 이하 몇몇 순서도에서 설명될 단계는 별도의 언급이 없을 경우, 도 1을 참조하여 설명한 동영상 컨텐츠 조회 시스템(100)에 의하여 수행되는 것일 수 있다.
단계 S1910에서 동영상 컨텐츠 조회 시스템(100)은 제1 키워드를 포함하는 검색어를 사용자 단말로부터 수신할 수 있다. 단계 S1910과 관련된 몇몇 실시예에서, 동영상 컨텐츠 조회 시스템(100)은 제1 키워드 만을 검색어로써 사용자 단말로부터 수신할 수도 있다.
단계 S1910과 관련된 몇몇 실시예에서, 도 22를 참조하면, 동영상 컨텐츠 조회 시스템(100)은 사용자가 검색 창(31)에 입력한 제1 키워드를 포함하는 검색어를 사용자 단말로부터 수신할 수 있다.
단계 S1920에서, 동영상 컨텐츠 조회 시스템(100)은 상기 사용자가 입력한 제1 키워드에 대응되는 보조어를 기 저장된 보조어 테이블에서 조회할 수 있다. 본 개시의 몇몇 실시예에서, 상기 보조어는 제1 키워드를 포함하는 검색어를 입력한 복수의 사용자들이 기준치 이상으로 입력한, 상기 제1 키워드를 포함하는 검색어에 포함된 제1 키워드 이외의 문자열일 수 있으나, 본 개시의 몇몇 실시예에 따른 보조어가 이에 한정되는 것은 아니다.
예를 들어, 제1 키워드가 '태슬컷' 이고, 제1 사용자가 입력한 검색어가 '태슬컷 자르는 법' 일 때, '태슬컷'은 제1 키워드이고, '자르는 법'은 보조어인 것이다.
단계 S1920과 관련된 몇몇 실시예에서, 상기 제1 키워드는 사용자가 입력한 검색어의 가장 서두에 등장하는 명사 단어일 수 있고, 상기 보조어는 상기 검색어에 포함된 상기 제1 키워드 이외의 모든 문자열을 의미할 수 있다.
단계 S1920과 관련된 다른 몇몇 실시예에서, 상기 제1 키워드는 사용자가 입력한 검색어에서 사용자가 별도로 지정한 명사 단어일 수 있고, 상기 보조어는 상기 검색어에 포함된 상기 제1 키워드 이외의 모든 문자열을 의미할 수 있다.
단계 S1920과 관련된 또 다른 몇몇 실시예에서, 상기 제1 키워드는 사용자가 입력한 검색어에 포함된 모든 체언에 해당하는 단어일 수 있고, 상기 보조어는 상기 검색어에 포함된 모든 용언에 해당하는 단어일 수 있다.
단계 S1920과 관련된 또 다른 몇몇 실시예에서, 도 23을 참조하면, 동영상 컨텐츠 조회 시스템(100)은 사용자가 검색 창(31)에 입력한 '샤기컷' 키워드(211)에 대응되는 '하는법' 보조어(212), '잘하는법' 보조어(213), '스타일링' 보조어(214)를 '샤기컷' 키워드(211)와 각각 조합하여, 사용자의 사용자 단말에 표시되는 검색 창(31) 인터페이스의 하단에 표시할 수 있다.
단계 S1920과 관련된 또 다른 몇몇 실시예에서, 동영상 컨텐츠 조회 시스템(100)은 '하는법’ 보조어(212), ‘잘하는법’ 보조어(213), ‘스타일링’ 보조어(214)와 ‘샤기컷’ 키워드(211)가 각각 조합된 복수의 검색어 중 하나에 대한 사용자의 선택에 응답하여, 사용자가 선택한 검색어를 기초로 영상을 검색할 수 있다.
단계 S1930에서, 동영상 컨텐츠 조회 시스템(100)은 복수의 영상 각각의 자막을 이용하여, 제1 키워드 및 상기 제1 키워드에 대응되는 보조어가 함께 등장하는 자막 텍스트를 갖는 영상을 히트 영상으로서 상기 복수의 영상 중에서 선정할 수 있다.
단계 S1930과 관련된 몇몇 실시예에서, 상기 복수의 영상은 동영상 컨텐츠 조회 시스템(100)에 저장된 영상 전체를 의미할 수 있다. 그러나, 단계 S1930과 관련된 다른 몇몇 실시예에서, 상기 복수의 영상은 상기 제1 키워드에 대응되는 영상을 의미할 수 있으나, 상기 제1 키워드 및 보조어를 모두 포함하는 검색어에 대응되는 영상일 수도 있다.
단계 S1930과 관련된 다른 몇몇 실시예에서, 상기 보조어는 동사 활용어에 한정되지 아니하고, 제1 키워드 이외의 제2 키워드일 수 있다.
단계 S1930과 관련된 또 다른 몇몇 실시예에서, '허쉬컷' 키워드(221) 및 '하는 방법' 보조어(222)를 포함하는, '허쉬컷 하는 방법' 검색어에 대응되는 복수의 영상에 있어서, 동영상 컨텐츠 조회 시스템(100)은 '허쉬컷' 키워드(221) 및 '하는 방법' 보조어(222)를 모두 포함하는 제1 자막 텍스트의 자막(223-1)을 포함하는 제1 영상(223)과 ‘허쉬컷’ 키워드(221) 및 ‘하는 방법’ 보조어(222)를 모두 포함하는 제2 자막 텍스트의 자막(224-1)을 포함하는 제2 영상을 히트 영상으로서 선정할 수 있다.
다음으로 단계 S1940에서, 동영상 컨텐츠 조회 시스템(100)은 상기 히트 영상에서, 제1 키워드 및 보조어가 함께 등장하는 자막 텍스트를 갖는 영역을 트림(trim)할 수 있다.
단계 S1940과 관련된 몇몇 실시예에서 도 24 내지 도 25를 참조하면, 동영상 컨텐츠 조회 시스템(100)은 '허쉬컷' 키워드(221) 및 '허쉬컷' 키워드(221)에 대응되는 보조어인 '하는 방법' 보조어(222)에 대응되는 히트 영상 제1 영상(223)에서, '허쉬컷' 키워드(221)와 '하는방법' 보조어(222)가 함께 등장하는 제1 영상(223)의 제1 자막 텍스트의 자막(223-1)의 배치 시작 지점부터 기준 시간 이후에 존재하는 자막 텍스트의 자막(223-2)의 종료 지점 까지를 트림할 수 있다.
단계 S1940과 관련된 다른 몇몇 실시예에서, 상기 보조어는 상기 제1 키워드와의 단어 인접수를 가질 수 있고, 동영상 컨텐츠 조회 시스템(100)은 상기 제1 키워드와 상기 보조어가 상기 단어 인접수 이내로 함께 등장하는 자막 텍스트를 가지는 히트 영상의 특정 영역을 트림할 수 있다. 또한, 상기 트림한 히트 영상의 특정 영역을 숏폼 컨텐츠로서 변환될 수 있다.
예를 들어, 도 26을 참조하면, 동영상 컨텐츠 조회 시스템(100)은 '레이어드컷' 키워드(251)와 '하는법' 보조어(252)에 대응되는 제3 영상(253)에서, '레이어드컷' 키워드(251)와 '하는법' 보조어(252)가 9 단어 이내로 함께 등장하는 제3 자막 텍스트의 자막(253-1)에 대응되는 제3 영상(253)의 영역을 시작 지점으로 하여 기준 시간 이후의 구간 까지를 트림하여 숏폼 컨텐츠를 획득할 수 있다.
지금까지 도 21 내지 도 26을 참조하여 본 개시의 또 다른 실시예에 따른 숏폼 클립 생성 방법에 관하여 설명하였다. 이상에서 기술한 실시예들은 본 개시의 이해를 돕기 위한 예시일 뿐이며, 한정적이 아닌 것으로 이해되어야 한다.
이하, 도 27 내지 도 31을 참조하여 본 개시의 또 다른 실시예에 따른 숏폼 클립 생성 방법에 관하여 설명한다. 이하 몇몇 순서도에서 설명될 단계는 별도의 언급이 없는 한 도 1을 참조하여 설명한 동영상 컨텐츠 조회 시스템(100)에 의해 수행되는 것으로 이해될 수 있다.
단계 S2610에서, 동영상 컨텐츠 조회 시스템(100)은 명사인 제1 키워드 및 상기 제1 키워드에 대응되는 동사 활용어인 보조어를 포함하는 검색어를 사용자 단말로부터 수신할 수 있다. 단계 S2610과 관련된 몇몇 실시예에서, 상기 보조어는 동사 활용어에 한정되지 아니하고, 제1 키워드 이외의 또 다른 명사 제2 키워드일 수 있다.
단계 S2610과 관련된 다른 몇몇 실시예에서, 상기 보조어는 상기 제2 키워드 및 동사 활용어를 모두 포함할 수도 있다.
단계 S2610과 관련된 또 다른 몇몇 실시예에서, 도 28을 참조하면 동영상 컨텐츠 조회 시스템(100)은 명사인 제1 키워드로서 '레이어드 컷' 키워드(261)를, 보조어로서 명사형 제2 키워드인 '셀프' 보조어(262) 및 '자르는 법' 보조어(263)를 사용자 단말로부터 수신할 수 있다.
단계 S2620에서, 동영상 컨텐츠 조회 시스템(100)은 복수의 영상 각각의 자막을 이용하여, 상기 제1 키워드 및 상기 보조어가 순차적으로 동일 문장 내부에 함께 등장하는 자막 텍스트가 영상 초기에 등장하는 히트 영상을 상기 복수의 영상 중에서 선정할 수 있다. 여기서, 상기 영상 초기는 기 설정된 기준 시간 이전의 시간일 수 있다.
단계 S2620과 관련된 몇몇 실시예에서, 도 28을 참조하면, 동영상 컨텐츠 조회 시스템(100)은 '레이어드 컷' 키워드(261), '셀프' 보조어(262) 및 '자르는 법' 보조어(263)가 순차적으로 함께 등장하는 자막이 기준 시간인 60초 이내에 등장하는 제1 영상(264)을 복수의 영상 중에서 히트 영상으로서 선정할 수 있다.
단계 S2620과 관련된 다른 몇몇 실시예에서, 도 29를 참조하면, 동영상 컨텐츠 조회 시스템(100)은 '레이어드 컷' 키워드(261), '셀프' 보조어(262) 및 '자르는 법' 보조어(263)가 순차적으로 등장하지 않더라도, 하나의 자막 이내에 '레이어드 컷' 키워드(261), '셀프' 보조어(262) 및 '자르는 법' 보조어(263)가 서로 3 단어 이내로 인접하여 등장하는 자막 텍스트에 대응되는 자막이 기준시간 1분 30초 이내에 등장하는 제2 영상(271)을 히트 영상으로서 선정할 수 있다.
단계 S2620과 관련된 또 다른 몇몇 실시예에서, 동영상 컨텐츠 조회 시스템(100)은 사용자가 입력한 검색어의 문장 구조를 분석하여, 상기 검색어와 기준치 이상의 문장 구조 유사도를 갖고, 제1 키워드 및 보조어가 동일 문장 내부에 함께 등장하는 자막 텍스트의 자막이 기준시간 1분 30초 이내에 등장하는 영상을 히트 영상으로서 선정할 수 있다.
예를 들어, 도 30을 참조하여 설명하면, 사용자가 입력한 검색어가 '울프컷' 키워드(281), '어울리는' 보조어(282), '얼굴형' 보조어(283)를 포함하고 하나의 히트 영상을 선정하여야 할 때, 동영상 컨텐츠 조회 시스템(100)은 상기 검색어에 대한 문장 구조 분석의 결과, 상기 검색어를 구성하는 단어가 체언, 용언, 체언 순으로 배치되어 있음을 저장할 수 있다.
이어서, 제3 영상(280-1)의 기준시간 1분 30초 이내에 존재하는 자막의 제1 자막 텍스트에는 체언인 '울프컷' 키워드(281), 용언인 '어울리는' 보조어(282), 체언인 '얼굴형' 보조어(283)가 순차적으로 배치되어 있고, 제4 영상(280-2)의 기준시간 1분 30초 이내에 존재하는 자막의 제2 자막 텍스트에는 체언인 '얼굴형' 보조어(283), 체언인 '울프컷' 키워드(281), 용언인 '어울리는 보조어(282)의 활용형인 '어울리지' 보조어가 순차적으로 배치되어 있을 때, 동영상 컨텐츠 조회 시스템(100)은 상기 사용자가 입력한 검색어와 가장 유사한 문장 구조를 갖는 자막 텍스트를 포함하는 제3 영상(280-1)을 히트 영상으로서 선정할 수 있다.
다음으로, 단계 S2630에서 동영상 컨텐츠 조회 시스템(100)은 상기 선정된 히트 영상의 일부 영역을 트림하여 숏폼 컨텐츠를 획득할 수 있다. 여기서, 상기 트림 되는 영역은 상기 히트 영상을 선정하는 근거가 된 기준 시간 이내에 존재하고, 상기 제1 키워드와 상기 보조어가 동일 문장 내부에 함께 등장하는 자막 텍스트의 자막이 등장하는 제1 영역과, 상기 제1 영역 이후에 등장하는 영역으로써, 상기 제1 키워드가 문장 서두에 등장하는 자막 텍스트의 자막을 포함하는 제2 영역일 수 있다.
단계 S2630과 관련된 몇몇 실시예에서, 도 28을 참조하면, 동영상 컨텐츠 조회 시스템(100)은 히트 영상으로 선정된 제1 영상(264)에서, '레이어드 컷' 키워드(261), '셀프' 보조어(262), '자르는 법' 보조어(263)가 순차적으로 함께 등장하고, 기준 시간 60초 이내에 등장하는 자막 텍스트를 포함하는 자막의 배치 시작 지점부터, 60초 이후의 지점 까지를 트림하여 제1 숏폼 클립을 생성할 수 있다. 또한, 동영상 컨텐츠 조회 시스템(100)은 상기 60초 이후의 지점 이후의 영역 중, '레이어드 컷' 키워드(261)가 문장 서두에 등장하는 자막 텍스트를 포함하는 자막의 배치 시작 지점부터, 60초 이후의 지점 까지를 트림하여 제2 숏폼 클립을 생성할 수 있다.
단계 S2630과 관련된 다른 몇몇 실시예에서, 도 29를 참조하면, 동영상 컨텐츠 조회 시스템(100)은 히트 영상으로 선정된 제2 영상(271)에서, '레이어드 컷' 키워드(261), '셀프' 보조어(262), '자르는 법' 보조어(263)가 서로 3 단어 이내에 인접하여 등장하고, 기준 시간 1분 30초 이내에 존재하는 자막 텍스트의 자막의 배치 시작 지점으로부터 60초 후의 지점에 해당하는 구간 까지를 트림하여 제3 숏폼 클립을 생성할 수 있다. 또한, 상기 60초 후의 구간에 해당하는 지점 이후에, '레이어드 컷' 키워드(261)가 문장 서두에 등장하는 자막 텍스트에 대응되는 자막의 배치 시작 지점부터, 상기 배치 시작 지점의 60초 이후에 해당하는 지점 까지를 트림하여 제4 숏폼 클립을 생성할 수 있다.
단계 S2630과 관련된 또 다른 몇몇 실시예에서, 도 31을 참조하면, 사용자가 입력한 검색어가 '다운펌' 키워드(292) 및 '잘하는 법' 보조어(293)를 포함할 때, 동영상 컨텐츠 조회 시스템(100)은 히트 영상으로 선정된 제5 영상(291-1)에서, '다운펌' 키워드(292) 및 '잘하는 법' 보조어(293)가 순차적으로 등장하고, 기준시간 3분 이내에 존재하는 자막 텍스트의 자막의 배치 시작 지점으로부터 60초 후의 지점에 해당하는 구간 까지를 트림하여 제5 숏폼 클립을 생성할 수 있다.
또한, 제5 영상(291-1)에서, 제5 영상(291-1)을 시청한 복수의 사용자가 기준치 이상의 횟수로 리와인드 한 이력이 존재하는 구간에 등장하는 제1 자막(294)의 배치 시작 지점부터 60초 후의 지점에 해당하는 구간 까지를 트림하여 제5 숏폼 클립을 생성할 수 있다.
지금까지 본 개시의 또 다른 실시예에 따른 숏폼 클립 생성 방법에 관하여 자세히 설명하였다. 이상에서 기술한 실시예들은 예시적인 것이며 한정적이 아닌 것으로 이해되어야 한다.
이하, 도 32 내지 도 41을 참조하여 본 개시의 또 다른 실시예에 따른 숏폼 클립 합성 방법에 관하여 자세히 설명한다. 이하 몇몇 순서도에서 설명될 단계는 별도의 언급이 없는 한 도 1을 참조하여 설명한 동영상 컨텐츠 조회 시스템(100)에 의하여 수행되는 것으로 이해될 수 있다.
단계 S3010에서, 동영상 컨텐츠 조회 시스템(100)은 사용자가 입력한 검색어에 대응되는 복수의 영상 컨텐츠를 식별할 수 있다. 예를 들어 도 33을 참조하여 설명하면, 동영상 컨텐츠 조회 시스템(100)은 사용자가 검색 창(31)에 입력한 ‘처피뱅 자르기’ 검색어에 대응되는 제1 원본 영상(311) 및 제2 원본 영상(312)을 식별할 수 있다.
단계 S3020에서, 동영상 컨텐츠 조회 시스템(100)은 상기 식별된 복수의 영상 컨텐츠 중 적어도 일부로부터, 복수의 숏폼 클립을 추출할 수 있다. 여기서, 상기 복수의 숏폼 클립은 상기 도 2를 참조하여 설명한 숏폼 클립 생성 방법의 수행 결과 획득되는 복수의 숏폼 클립을 의미할 수 있다.
예를 들어 도 33을 참조하여 설명하면, 동영상 컨텐츠 조회 시스템(100)은 사용자가 검색 창(31)에 입력한 '처피뱅 자르기' 검색어에 대응되는 제1 원본 영상(311) 및 제2 원본 영상(312)으로부터 제1 숏폼 클립(311-1) 및 제2 숏폼 클립(312-1)을 추출할 수 있다.
다음으로, 단계 S3030에서, 동영상 컨텐츠 조회 시스템(100)은 상기 복수의 숏폼 클립을 연결하여, 상기 사용자가 입력한 검색어에 대응되는 하나의 합성 영상 컨텐츠를 생성할 수 있다. 이하, 상기 하나의 합성 영상 컨텐츠를 생성하는 단계에 관하여는 이후 도 34 내지 도 41을 참조하여 자세히 설명하도록 한다.
이하, 단계 S3030과 관련된 일 실시예에 관하여 설명한다.
도 34에 도시된 단계 S3031-1에서, 동영상 컨텐츠 조회 시스템(100)은 상기 하나의 합성 영상에서 복수의 숏폼 클립 각각이 배치되는 순서를 결정할 수 있다. 여기서, 상기 복수의 숏폼 클립은 상기 하나의 합성 영상에서 상기 결정된 배치 순서에 기초하여 재생되는 것으로 이해될 수 있다. 여기서, 상기 숏폼 클립의 배치 순서를 결정하는 단계에 관하여는 도 37 및 도 38을 참조하여 자세히 후술하도록 한다.
단계 S3032-1에서, 동영상 컨텐츠 조회 시스템(100)은 상기 하나의 합성 영상에서 복수의 숏폼 클립 각각이 재생되는 속도를 결정할 수 있다. 예를 들어, 도 35를 참조하면, 동영상 컨텐츠 조회 시스템(100)은 상기 하나의 합성 영상에 포함되는 것으로 결정된 제3 숏폼 클립(341)의 제1 자막(341-1)의 배치 종료 3초 후 제2 자막(341-2)이 등장하고, 제2 자막(341-2)의 배치 종료 5초 후 제3 자막(341-3)이 등장한다는 판단에 응답하여, 제3 숏폼 클립(341)은 상기 하나의 합성 영상에서 1배속으로 재생되는 것으로 결정할 수 있다.
다른 예를 들면, 동영상 컨텐츠 조회 시스템(100)은 상기 하나의 합성 영상에 포함되는 것으로 결정된 제4 숏폼 클립(342)의 제4 자막(342-1)의 배치 종료 5초 후 제5 자막(342-2)이 등장하고, 제2 자막(342-2)의 배치 종료 7초 후 제6 자막(342-3)이 등장한다는 판단에 응답하여, 제4 숏폼 클립(342)은 상기 하나의 합성 영상에서 1.5배속으로 재생되는 것으로 결정할 수 있다.
상기 동영상 컨텐츠 조회 시스템(100)이 숏폼 클립 각각의 자막이 전환되는 속도에 따라 재생 속도를 결정하는 기준은 본 개시의 이해를 돕기 위한 예시일 뿐이며, 이에 한정되지 아니한 것으로 이해되어야 한다.
단계 S3033-1에서, 동영상 컨텐츠 조회 시스템(100)은 상기 결정된 하나의 합성 영상에 포함되는 것으로 결정된 복수의 숏폼 클립 각각의 배치 순서 및 재생 속도에 기초하여 상기 복수의 숏폼 클립 각각을 하나의 영상으로 제1 비디오 코덱을 이용하여 인코딩할 수 있다.
단계 S3033-1에서, 동영상 컨텐츠 조회 시스템(100)은 상기 복수의 숏폼 클립 각각의 종료 지점에, 기 지정된 트랜지션(transition) 효과를 삽입할 수 있다.
예를 들어, 도 36을 참조하면, 기 지정된 트랜지션이 페이드-인(fade-in), 페이드-아웃(fade-out)일 때, 동영상 컨텐츠 조회 시스템(100)은 하나의 합성 영상 내에 제5 숏폼 클립(351)에서 제6 숏폼 클립(352)으로 전환되는 구간에 제5 숏폼 클립(351)의 마지막 지점과 제6 숏폼 클립(352)의 시작 지점을 포함하는 제1 트랜지션(353)을 삽입하고, 제5 숏폼 클립(351)과 제6 숏폼 클립(352)을 제1 비디오 코덱을 이용하여 인코딩 해 하나의 합성 영상으로 생성할 수 있다.
이하 도 34를 참조하여 설명한 단계 S3031-1에 관하여 도 37 내지 도 38을 참조하여 설명하기로 한다.
도 37에 도시된 단계 S3031-11에서, 동영상 컨텐츠 조회 시스템(100)은 숏폼 클립 각각이 포함하는 자막 텍스트에 대한 의미 분석을 수행할 수 있다.
단계 S3031-12에서, 동영상 컨텐츠 조회 시스템(100)은 상기 의미 분석의 수행 결과에 기초하여 복수의 숏폼 클립 각각의 유형을 결정할 수 있다.
단계 S3031-12와 관련된 몇몇 실시예에서, 제1 원본 영상으로부터 추출된 제1 숏폼 클립(361a)에 있어서, 동영상 컨텐츠 조회 시스템(100)은 제1 숏폼 클립(361a)의 자막 텍스트(361-1)가 사용자가 입력한 제1 키워드 '댄디컷'이후에 '이란' 조사를 포함한다는 판단에 응답하여, 제1 숏폼 클립(361a)의 유형을 제1 키워드의 정의로 결정할 수 있다.
단계 S3031-12와 관련된 다른 몇몇 실시예에서, 제1 원본 영상으로부터 추출된 제2 숏폼 클립(361b)에 있어서, 동영상 컨텐츠 조회 시스템(100)은 제2 숏폼 클립(361b)의 자막 텍스트(361-2)가 사용자가 입력한 제1 키워드 '댄디컷' 키워드 이후 기준 단어 인접 수 이내에'완성' 키워드를 포함한다는 판단에 응답하여, 제2 숏폼 클립(361b)의 유형을 제1 키워드의 완성으로 결정할 수 있다.
이상에서 기술한 단계 S3031-12와 관련된 실시예들은 본 개시의 이해를 돕기 위한 예시일 뿐이며, 동영상 컨텐츠 조회 시스템(100)이 결정하는 숏폼 클립 각각의 유형의 종류와 상기 숏폼 클립 각각의 유형을 결정하는 방법은 이에 한정되는 것이 아님에 주의하여야 한다.
이하, S3030과 관련된 다른 실시예에 관하여 도 39 내지 도 41을 참조하여 설명한다.
도 39에 도시된 단계 S3031-2에서, 동영상 컨텐츠 조회 시스템(100)은 하나의 합성 영상에 포함되는 것으로 결정된 복수의 숏폼 클립 각각이 상기 하나의 합성 영상에 배치되는 순서를 결정할 수 있다. 상기 복수의 숏폼 클립 각각의 배치 순서를 결정하는 단계는 상기 도 37 내지 38을 참조하여 설명한 S3031-1과 관련된 실시예를 참조하면 명확히 이해될 수 있다.
다음으로 단계 S3032-2에서, 동영상 컨텐츠 조회 시스템(100)은 하나의 합성 영상에 포함되는 것으로 결정된 복수의 숏폼 클립 각각이 상기 하나의 합성 영상에서 재생되는 속도를 결정할 수 있다. 상기 복수의 숏폼 클립 각각의 재생 속도를 결정하는 단계는 상기 도 34를 참조하여 설명한 단계 S3032-1과 관련된 실시예를 참조하면 명확히 이해될 수 있다.
단계 S3033-2에서, 동영상 컨텐츠 조회 시스템(100)은 하나의 합성 영상에 포함되는 것으로 결정된 복수의 숏폼 클립 각각의 종료 지점과, 시작 지점을 연결하여 상기 하나의 합성 영상을 생성할 수 있다.
예를 들어 도 40을 참조하여 설명하면, 동영상 컨텐츠 조회 시스템(100)은 하나의 합성 영상의 시작 지점(383)에는 제7 숏폼 클립(381)의 시작 지점이 재생되고, 제7 숏폼 클립(381)의 종료 지점인 상기 하나의 합성 영상의 제1 지점(384)에서는 제8 숏폼 클립(382)의 시작 지점이 재생되는 것으로 하여, 제7 숏폼 클립(381)과 제8 숏폼 클립(382)이 하나의 영상인 것처럼 재생할 수 있다.
여기서, 동영상 컨텐츠 조회 시스템(100)은 제1 지점(384)에서 제7 숏폼 클립(381)의 종료와 동시에 제8 숏폼 클립(382)의 스트리밍 데이터를 지연 없이 사용자 단말에 송신하는 것일 뿐, 제7 숏폼 클립(381)과 제8 숏폼 클립(382)이 하나의 영상으로 인코딩 된 것이 아님은 물론이다.
복수의 숏폼 클립을 하나의 영상으로 생성할 때, 상기 숏폼 클립 각각의 듀레이션과 용량이 적더라도 별도의 비디오 코덱(video codec)으로 새로이 인코딩하는 것은 시간적 및 컴퓨팅 비용의 낭비를 야기한다. 본 실시예에 따르면, 동영상 컨텐츠 조회 시스템(100)은 복수의 숏폼 클립을 별도로 인코딩하지 않고도, 사용자로 하여금 하나의 영상으로 인지되도록 재생할 수 있는 효과를 달성할 수도 있다.
이하, 도 32를 참조하여 계속 설명한다.
단계 S3040에서, 동영상 컨텐츠 조회 시스템(100)은 상기 생성된 하나의 합성 영상 컨텐츠의 스트리밍 데이터를 사용자 단말에 송신할 수 있다. 또한, 상기 사용자 단말은 상기 스트리밍 데이터에 기초하여 상기 하나의 합성 영상을 재생할 수 있다.
예를 들어 도 41을 참조하여 설명하면, 제1 하나의 합성 영상(410)의 제1 지점(414)에서 동영상 컨텐츠 조회 시스템(100)은 제1 순위로 배치되는 것으로 결정된 제7 숏폼 클립(381)의 스트리밍 데이터를 사용자 단말에 송신하고, 사용자 단말은 상기 스트리밍 데이터에 기초하여 제1 하나의 합성 영상(410)의 제1 지점(414)에서 제7 숏폼 클립(381)을 재생할 수 있다.
단계 S3040과 관련된 몇몇 실시예에서, 상기 생성된 하나의 합성 영상은 상기 하나의 합성 영상에 포함된 복수의 숏폼 클립 각각과 별도의 사용자 피드백을 수신할 수 있다.
예를 들어 도 41을 참조하여 설명하면, 동영상 컨텐츠 조회 시스템(100)은 제1 하나의 합성 영상(41)에 대한 복수의 사용자의 선호 버튼(411) 입력 횟수와 제1 하나의 합성 영상(410)의 제1 지점(414)에서 재생되는 제7 숏폼 클립(381)의 선호 버튼 입력 횟수를 별도로 집계(count)할 수 있다.
다른 예를 들면, 동영상 컨텐츠 조회 시스템(100)은 제1 하나의 합성 영상(41)에 대한 복수의 사용자의 비선호 버튼(412) 입력 횟수와 제1 하나의 합성 영상(410)의 제1 지점(414)에서 재생되는 제7 숏폼 클립(381)의 선호 버튼 입력 횟수를 별도로 집계(count)할 수 있다.
또 다른 예를 들면, 동영상 컨텐츠 조회 시스템(100)은 제1 하나의 합성 영상(41)에 대한 복수의 사용자에 의해 게재된 코멘트(413)와 제1 하나의 합성 영상(410)의 제1 지점(414)에서 재생되는 제7 숏폼 클립(381)의 코멘트를 별도로 저장할 수 있다.
단계 S3040과 관련된 다른 몇몇 실시예에서, 동영상 컨텐츠 조회 시스템(100)은 생성된 하나의 합성 영상에 대한 컨텐츠 패키지 생성 요청을 수신할 수 있다.
단계 S3040과 관련된 또 다른 몇몇 실시예에서, 동영상 컨텐츠 조회 시스템(100)은 생성된 하나의 합성 영상에 대한 컨텐츠 패키지를 개시할 수 있다. 상기 개시된 컨텐츠 패키지는 복수의 사용자에 의하여 공유될 수 있다.
단계 S3040과 관련된 또 다른 몇몇 실시예에서, 동영상 컨텐츠 조회 시스템(100)은 상기 생성된 하나의 합성 영상에 대해 발생한 수익의 지급 대상에, 상기 하나의 합성 영상을 생성하기 위하여 검색어를 입력한 사용자를 포함시킬 수 있다. 또한, 상기 수익의 지급 대상에 상기 하나의 합성 영상을 구성하는 복수의 숏폼 클립 각각의 원작자가 포함될 수 있음은 물론이다.
지금까지 본 개시의 또 다른 실시예에 따른 숏폼 클립 합성 방법에 대하여 자세히 설명하였다. 이상에서 기술한 실시예들은 본 개시의 이해를 돕기 위한 예시일 뿐이며, 모든 면에서 한정적이 아닌 것으로 이해되어야 한다.
도 42는 본 개시의 몇몇 실시예들에 따른 동영상 컨텐츠 조회 시스템의 하드웨어 구성도이다. 도 42의 동영상 컨텐츠 조회 시스템(100)은, 예를 들어 도 1을 참조하여 설명한 동영상 컨텐츠 조회 시스템(100)을 가리키는 것일 수 있다. 동영상 컨텐츠 조회 시스템(100)은 하나 이상의 프로세서(1100), 시스템 버스(1600), 통신 인터페이스(1200), 프로세서(1100)에 의하여 수행되는 컴퓨터 프로그램(1500)을 로드(load)하는 메모리(1400)와, 컴퓨터 프로그램(1500)을 저장하는 스토리지(1300)를 포함할 수 있다.
프로세서(1100)는 동영상 컨텐츠 조회 시스템(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(1100)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 메모리(1400)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(1400)는 본 개시의 다양한 실시예들에 따른 방법/동작들을 실행하기 위하여 스토리지(1300)로부터 하나 이상의 컴퓨터 프로그램(1500)을 로드(load) 할 수 있다. 버스(1600)는 전자 차트 입력 시스템 (100)의 구성 요소 간 통신 기능을 제공한다. 통신 인터페이스(1200)는 전자 차트 입력 시스템(100)의 인터넷 통신을 지원한다. 스토리지(1300)는 하나 이상의 컴퓨터 프로그램(1500)을 비임시적으로 저장할 수 있다. 컴퓨터 프로그램(1500)은 본 개시의 다양한 실시예들에 따른 방법/동작들이 구현된 하나 이상의 인스트럭션들(instructions)을 포함할 수 있다. 컴퓨터 프로그램(1500)이 메모리(1400)에 로드 되면, 프로세서(1100)는 상기 하나 이상의 인스트럭션들을 실행시킴으로써 본 개시의 다양한 실시예들에 따른 방법/동작들을 수행할 수 있다.
본 개시의 몇몇 실시예들에서, 도 42를 참조하여 설명된 동영상 컨텐츠 조회 시스템(100)은 가상 머신 등 클라우드 기술에 기반하여 서버 팜(server farm)에 포함된 하나 이상의 물리 서버(physical server)를 이용하여 구성될 수 있다. 이 경우, 도 16에 도시된 구성 요소 중 프로세서(1100), 메모리(1400) 및 스토리지(1300) 중 적어도 일부는 가상 하드웨어(virtual hardware)일 수 있을 것이며, 통신 인터페이스(1200) 또한 가상 스위치(virtual switch) 등 가상화 된 네트워킹 요소로 구성될 수 있을 것이다.
지금까지 도 1 내지 도 16을 참조하여 본 개시의 다양한 실시예들 및 그 실시예들에 따른 효과들을 언급하였다. 본 개시의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
지금까지 설명된 본 개시의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 이상 첨부된 도면을 참조하여 본 개시의 실시예들을 설명하였지만, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 발명이 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 컴퓨팅 시스템에 의하여 수행되는 방법에 있어서,
    사용자로부터 입력 받은 검색어에 대응되는 복수의 영상을 식별하는 단계;
    상기 복수의 영상에 포함된 복수의 자막에서 복수의 자막 텍스트를 추출하는 단계;
    상기 검색어를 이용하여 상기 복수의 자막 텍스트 각각에 트림(trim) 스코어를 부여하는 단계; 및
    기준치 이상의 상기 트림 스코어를 갖는 상기 자막 텍스트를 포함하는 제1 영상에서, 상기 자막 텍스트에 따른 자막에 대응되는 발화의 시작 지점부터 발화의 종료 지점까지의 구간을 트림한 제1 숏폼(short-form) 클립을 획득하는 단계;를 포함하고,
    상기 트림 스코어는 상기 복수의 자막 각각에 상기 복수의 자막 텍스트 각각과 상기 사용자가 입력한 검색어 이력에 기초하여 부여되는 것인,
    숏폼 클립 생성 방법.
  2. 제1 항에 있어서,
    상기 자막 텍스트 각각은,
    상기 자막에 대응되는 발화의 종료에 의해 구분되는 것인,
    숏폼 클립 생성 방법.
  3. 제1 항에 있어서,
    상기 트림 스코어는,
    상기 영상을 시청한 사용자가 자막 텍스트 각각에 따른 자막에 대응되는 영상 구간을 리와인드(rewind)한 횟수, 상기 자막 텍스트와 상기 사용자로부터 입력 받은 검색어 간의 유사도, 상기 자막 텍스트 각각에 따른 자막에 대응되는 영상 구간에서 식별되는 객체의 종류 중 적어도 어느 하나 이상의 파라미터에 기초하여 부여되는 것인,
    숏폼 클립 생성 방법.
  4. 제3 항에 있어서,
    상기 파라미터는,
    크리에이터 각각의 상기 검색어와 기준치 이상의 관련도를 갖는 영상을 업로드(upload)한 횟수를 더 포함하는,
    숏폼 클립 생성 방법.
  5. 제1 항에 있어서,
    상기 사용자로부터 입력 받은 검색어가 기준치 이상의 길이를 갖는다는 판단에 응답하여, 상기 제1 숏폼 클립의 듀레이션(duration)을 상기 자막 텍스트에 따른 자막에 대응되는 발화의 시작 지점부터 발화의 종료 지점까지의 구간 보다 더 긴 것으로 결정하는 단계;를 더 포함하는,
    숏폼 클립 생성 방법.
  6. 제1 항에 있어서,
    기준치 이상의 상기 트림 스코어를 갖는 상기 자막 텍스트를 포함하는 제1 영상에서, 상기 자막 텍스트에 따른 자막에 대응되는 발화의 시작 지점부터 발화의 종료 지점까지의 구간을 트림한 복수의 숏폼(short-form) 클립을 획득하는 단계;를 더 포함하는,
    숏폼 클립 생성 방법.
  7. 제6 항에 있어서,
    상기 획득된 복수의 숏폼 클립을 사용자 단말에 송신하는 단계를 더 포함하되,
    상기 복수의 숏폼 클립을 사용자 단말에 송신하는 단계는,
    제2 영상으로부터 획득한 제2 숏폼 클립 및 제2 숏폼 클립의 재생 종료 이후에 재생되는 제3 숏폼 클립에 있어서,
    상기 제2 숏폼 클립을 재생하는 사용자 단말의 화면 영역의 일부에 상기 제2 숏폼 클립은 상기 제2 영상의 제1 구간 숏폼 클립이고, 상기 제3 숏폼 클립을 재생하는 사용자 단말의 화면 영역의 일부에 상기 제3 숏폼 클립은 상기 제2 영상의 제2 구간 숏폼 클립이라는 텍스트를 디스플레이 하는 단계;를 포함하는,
    숏폼 클립 생성 방법.
  8. 제7 항에 있어서,
    상기 복수의 숏폼 클립을 사용자 단말에 송신하는 단계는,
    상기 복수의 숏폼 클립 각각을 재생하는 사용자 단말의 화면 영역의 일부에, 상기 복수의 숏폼 클립 각각의 원본 영상으로 리다이렉트(redirect) 되는 링크(link)를 디스플레이 하는 단계;를 포함하는,
    숏폼 클립 생성 방법.
  9. 하나 이상의 프로세서; 및
    하나 이상의 인스트럭션(instruction)들을 저장하는 메모리를 포함하고,
    상기 하나 이상의 프로세서는,
    상기 저장된 하나 이상의 인스트럭션들을 실행시킴으로써,
    사용자로부터 입력 받은 검색어에 대응되는 복수의 영상을 식별하는 동작;
    상기 복수의 영상에 포함된 복수의 자막에서 복수의 자막 텍스트를 추출하는 동작;
    상기 복수의 자막 텍스트 각각에 트림(trim) 스코어를 부여하는 동작; 및
    기준치 이상의 상기 트림 스코어를 갖는 상기 자막 텍스트를 포함하는 제1 영상에서, 상기 자막 텍스트에 따른 자막에 대응되는 발화의 시작 지점부터 발화의 종료 지점까지의 구간을 트림한 제1 숏폼(short-form) 클립을 획득하는 동작;을 수행하고,
    상기 트림 스코어는 상기 복수의 자막 각각에 상기 복수의 자막 텍스트 각각과 상기 사용자가 입력한 검색어 이력에 기초하여 부여되는 것인,
    동영상 컨텐츠 조회 시스템.
  10. 제9 항에 있어서,
    상기 트림 스코어는,
    상기 영상을 시청한 사용자가 자막 텍스트 각각에 따른 자막에 대응되는 영상 구간을 리와인드(rewind)한 횟수, 상기 자막 텍스트와 상기 사용자로부터 입력 받은 검색어 간의 유사도, 상기 제1 영상을 시청한 사용자가 입력한 검색어 이력, 상기 자막 텍스트 각각에 따른 자막에 대응되는 영상 구간에서 식별되는 객체의 종류 중 적어도 어느 하나 이상의 파라미터에 기초하여 부여되는 것인,
    동영상 컨텐츠 조회 시스템.
  11. 제10 항에 있어서,
    상기 파라미터는,
    크리에이터 각각의 상기 검색어와 기준치 이상의 관련도를 갖는 영상을 업로드(upload)한 횟수를 더 포함하는,
    동영상 컨텐츠 조회 시스템.
  12. 제9 항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 사용자로부터 입력 받은 검색어가 기준치 이상의 길이를 갖는다는 판단에 응답하여, 상기 제1 숏폼 클립의 듀레이션(duration)을 상기 자막 텍스트에 따른 자막에 대응되는 발화의 시작 지점부터 발화의 종료 지점까지의 구간 보다 더 긴 것으로 결정하는 동작;을 더 수행하는,
    동영상 컨텐츠 조회 시스템.
  13. 제9 항에 있어서,
    상기 하나 이상의 프로세서는,
    기준치 이상의 상기 트림 스코어를 갖는 상기 자막 텍스트를 포함하는 제1 영상에서, 상기 자막 텍스트에 따른 자막에 대응되는 발화의 시작 지점부터 발화의 종료 지점까지의 구간을 트림한 복수의 숏폼(short-form) 클립을 획득하는 동작;을 더 수행하는,
    동영상 컨텐츠 조회 시스템.
  14. 제13 항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 획득된 복수의 숏폼 클립을 사용자 단말에 송신하는 동작을 더 수행하되,
    상기 복수의 숏폼 클립을 사용자 단말에 송신하는 동작은,
    제2 영상으로부터 획득한 제2 숏폼 클립 및 제2 숏폼 클립의 재생 종료 이후에 재생되는 제3 숏폼 클립에 있어서,
    상기 제2 숏폼 클립을 재생하는 사용자 단말의 화면 영역의 일부에 상기 제2 숏폼 클립은 상기 제2 영상의 제1 구간 숏폼 클립이고, 상기 제3 숏폼 클립을 재생하는 사용자 단말의 화면 영역의 일부에 상기 제3 숏폼 클립은 상기 제2 영상의 제2 구간 숏폼 클립이라는 텍스트를 디스플레이 하는 동작;을 포함하는,
    동영상 컨텐츠 조회 시스템.
  15. 제14 항에 있어서,
    상기 복수의 숏폼 클립을 사용자 단말에 송신하는 동작은,
    상기 복수의 숏폼 클립 각각을 재생하는 사용자 단말의 화면 영역의 일부에, 상기 복수의 숏폼 클립 각각의 원본 영상으로 리다이렉트(redirect) 되는 링크(link)를 디스플레이 하는 동작;을 포함하는,
    동영상 컨텐츠 조회 시스템.
KR1020220161379A 2022-11-28 2022-11-28 숏폼 클립 생성 방법 및 시스템 KR102570134B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220161379A KR102570134B1 (ko) 2022-11-28 2022-11-28 숏폼 클립 생성 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220161379A KR102570134B1 (ko) 2022-11-28 2022-11-28 숏폼 클립 생성 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102570134B1 true KR102570134B1 (ko) 2023-08-28

Family

ID=87806340

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220161379A KR102570134B1 (ko) 2022-11-28 2022-11-28 숏폼 클립 생성 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102570134B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102602936B1 (ko) * 2023-07-14 2023-11-16 (주)엔아이지씨 인공 지능을 통해 수집한 데이터를 기반으로 숏폼을 자동으로 생성하는 전자 장치 및 이를 이용한 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101968599B1 (ko) * 2017-11-14 2019-04-15 한성호 입력 텍스트에 따른 스토리 동영상 생성방법 및 장치
KR20200023013A (ko) * 2018-08-24 2020-03-04 에스케이텔레콤 주식회사 영상 컨텐츠 검색을 지원하는 영상 서비스 장치 및 영상 컨텐츠 검색 지원 방법
KR20200084379A (ko) * 2018-12-20 2020-07-13 김기홍 빅데이터를 활용한 상호 적합도 기반 채용 매칭 온라인 플랫폼 서비스 시스템 및 방법
KR20210030064A (ko) * 2019-09-09 2021-03-17 원상연 반려동물 인플루언서 매칭 시스템 및 정보매칭방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101968599B1 (ko) * 2017-11-14 2019-04-15 한성호 입력 텍스트에 따른 스토리 동영상 생성방법 및 장치
KR20200023013A (ko) * 2018-08-24 2020-03-04 에스케이텔레콤 주식회사 영상 컨텐츠 검색을 지원하는 영상 서비스 장치 및 영상 컨텐츠 검색 지원 방법
KR20200084379A (ko) * 2018-12-20 2020-07-13 김기홍 빅데이터를 활용한 상호 적합도 기반 채용 매칭 온라인 플랫폼 서비스 시스템 및 방법
KR20210030064A (ko) * 2019-09-09 2021-03-17 원상연 반려동물 인플루언서 매칭 시스템 및 정보매칭방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102602936B1 (ko) * 2023-07-14 2023-11-16 (주)엔아이지씨 인공 지능을 통해 수집한 데이터를 기반으로 숏폼을 자동으로 생성하는 전자 장치 및 이를 이용한 방법

Similar Documents

Publication Publication Date Title
US20220075829A1 (en) Voice searching metadata through media content
JP5829000B2 (ja) 会話シナリオ編集装置
JP4550725B2 (ja) 映像視聴支援システム
US20110222788A1 (en) Information processing device, information processing method, and program
JP2005348055A (ja) ユーザプロファイル編集装置及びユーザプロファイル編集方法並びにプログラム
KR102570134B1 (ko) 숏폼 클립 생성 방법 및 시스템
US11609738B1 (en) Audio segment recommendation
JP4741406B2 (ja) ノンリニア編集装置およびそのプログラム
JP5338450B2 (ja) 再生装置及びプログラム
JP2006019778A (ja) マルチメディアデータ再生装置およびマルチメディアデータ再生方法
KR101042585B1 (ko) 음악 재생 장치 및 음악 재생 방법
JP2003084783A (ja) 音楽データ再生装置、音楽データ再生方法、音楽データ再生プログラム、並びに音楽データ再生プログラムを記録した記録媒体
KR102566303B1 (ko) 사용자의 선호도에 따른 컨텐츠 배열 방법 및 시스템
KR102202372B1 (ko) 영상 컨텐츠를 재사용하여 사용자 인터랙션을 인지할 수 있는 인터랙티브 미디어 제작 시스템 및 그 운용방법
JP2006343941A (ja) コンテンツ検索・再生方法、装置、プログラム、及び記録媒体
JP2004289530A (ja) 記録再生装置
JP2002157112A (ja) 音声情報変換装置
KR20050012101A (ko) 시나리오를 기록한 정보저장매체, 기록장치 및 기록방법,그 정보저장매체의 재생장치 및 시나리오의 검색방법
JP6602423B2 (ja) コンテンツ提供サーバ、コンテンツ提供端末及びコンテンツ提供方法
JP4865469B2 (ja) コンテンツ制作サーバ、コンテンツ提示装置、コンテンツ制作プログラム、及びコンテンツ提示プログラム
JP5025398B2 (ja) 画像再生装置、及びプログラム
KR102296779B1 (ko) 예술인의 오디오 컨텐츠를 이용한 온라인 문학 작품 제공 방법 및 시스템
KR101477492B1 (ko) 동영상 콘텐츠 편집 및 재생을 위한 장치 및 그 방법
KR20120128157A (ko) 챕터 작성 장치, 챕터 작성 방법 및, 챕터 작성 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체
JP5152857B2 (ja) 電子機器、表示制御方法、およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant