KR20240021662A - 하이라이트 비디오의 자동 생성을 위한 컴퓨터 시스템 및 방법 - Google Patents
하이라이트 비디오의 자동 생성을 위한 컴퓨터 시스템 및 방법 Download PDFInfo
- Publication number
- KR20240021662A KR20240021662A KR1020220123449A KR20220123449A KR20240021662A KR 20240021662 A KR20240021662 A KR 20240021662A KR 1020220123449 A KR1020220123449 A KR 1020220123449A KR 20220123449 A KR20220123449 A KR 20220123449A KR 20240021662 A KR20240021662 A KR 20240021662A
- Authority
- KR
- South Korea
- Prior art keywords
- segment
- segments
- video
- livestream
- videos
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000009471 action Effects 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims description 74
- 230000003993 interaction Effects 0.000 claims description 11
- 238000012384 transportation and delivery Methods 0.000 description 36
- 238000001514 detection method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 12
- 230000007704 transition Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 238000013068 supply chain management Methods 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000012552 review Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 229920001690 polydopamine Polymers 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002716 delivery method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8545—Content authoring for generating interactive applications
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Security & Cryptography (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Game Theory and Decision Science (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
하이라이트 비디오의 자동 생성을 위한 컴퓨터 구현 시스템 및 방법이 개시된다. 이 시스템 및 방법은 미리 결정된 시간 기간으로부터 복수의 소스 비디오에 대한 사용자 액션 데이터를 검색하고; 검색된 사용자 액션 데이터에 기초하여, 복수의 소스 비디오 중 미리 결정된 수의 소스 비디오를 선택하고; 선택된 소스 비디오를 검색하고; 선택된 소스 비디오 각각에 대해: 클립 포인트를 식별하도록 소스 비디오를 분석하고; 분석된 소스 비디오를 복수의 세그먼트로 분할하고; 복수의 세그먼트의 각 세그먼트에 대해: 세그먼트 데이터를 결정하고; 결정된 세그먼트 데이터에 기초하여 세그먼트 하이라이트 스코어를 계산하고; 각 세그먼트의 계산된 세그먼트 하이라이트 스코어에 기초하여 복수의 세그먼트로부터 다수의 세그먼트를 선택하고; 선택된 세그먼트에 기초하여 새 비디오를 생성하고; 그리고 새 비디오를 저장하도록 구성될 수 있다.
Description
본 개시는 일반적으로 하이라이트 비디오의 자동 생성을 위한 컴퓨터화된 시스템 및 방법에 관한 것이다. 특히, 본 개시의 실시예는 라이브스트림 비디오 내의 중요한 세그먼트를 식별하기 위해 오디오 및 비디오 프로세싱 기술뿐만 아니라 사용자 액션 통계를 사용함으로써 VOD(video-on-demand) 플랫폼 상의 소스 라이브스트림 비디오로부터 하이라이트 비디오를 자동적으로 생성하는 창의적이고 독특한 시스템에 관한 것이다.
라이브스트림 전자 상거래 플랫폼은 판매자와 고객 양방에게 실시간 방송을 통해 서로 상호작용할 기회를 제공한다. 또한, 라이브스트림은 동시에 녹화되어 구매자가 VOD(video-on-demand)를 통해 언제든지 볼 수 있게 할 수 있다. 그러나, 라이브스트림은 보통 길이가 길어서(예로써, 대략 1시간), 고객이 자신에게 중요할 수 있는 부분을 찾기 위해 전체 비디오를 보는데 부담이 될 수 있다. 또한, 라이브스트림 비디오는 판매자(즉, 스트리머)가 자신을 소개하는 도입 세그먼트, 스트리머가 자신의 표준 클로징 멘트를 말할 수 있는 종료 세그먼트, 및 스트리머가 특정 시간 기간 동안 아무 말도 하지 않는 뮤트(예로써, 스트리머가 라이브스트림에서 멀리 떨어져 있음)와 같이, 라이브스트림에서 판매되고 있는 하나 이상의 제품과 반드시 관련되지는 않는 세그먼트를 포함할 수 있다.
이런 문제를 줄이기 위해, 종래의 라이브스트림 시스템은 하이라이트(즉 요약) 비디오를 구현한다. 예를 들어, 하이라이트 비디오는, 합쳤을 때 그 비디오를 전체적으로 요약할 수 있는 라이브스트림 비디오에서의 중요한 시기(moment)들을 식별하도록, 라이브스트림 비디오 전체를 누군가 수동으로 살펴봄으로써 생성될 수 있다. 그러나, 수동 방법은 세그먼트가 하이라이트 비디오에 포함되어야 할지 여부에 영향을 미치는 다수의 팩터뿐만 아니라 팩터와 연관된 데이터를 수집하는 프로세스를 고려하는 것이 너무 복잡해서 수동으로 하이라이트 비디오를 효율적으로 생성할 수 없기 때문에 적합하지 않다. 또 다른 예에서, 하이라이트 비디오는 미리 결정된 기간의 세그먼트를 시작과 끝에서 트리밍하고 그리고/또는 미리 결정된 기간의 세그먼트(예로써, 5분마다 취해진 1분 세그먼트)를 함께 스티칭함으로써 자동으로 생성될 수 있다. 그러나, 모든 라이브스트림 비디오에 대해 하이라이트 비디오를 생성하는 것은 프로세싱 리소스의 낭비일 수 있으며, 이로 인해 프로세싱 비효율 및 불필요한 비용이 발생할 수 있다. 예를 들어, 일부 라이브스트림 비디오는 다른 비디오보다 훨씬 더 많은 고객 관심을 끌 수 있어서, 더 많은 조회수를 유도할 가능성이 더 높으므로, 덜 인기 있는 비디오보다 하이라이트 비디오를 생성하는데 보다 최적의 선택이다. 그러나, 어떤 라이브스트림 비디오가 다른 비디오보다 더 인기있는지 식별하는 것은, 프로세싱 리소스가 낭비되지 않도록 관련 정보를 효율적으로 모니터하고 추적하는 것이 요구된다. 마찬가지로, 하이라이트 비디오에 포함할 라이브스트림 비디오 내의 최고의 세그먼트를 식별하는 것은, 필요한 정보만을 효율적으로 모니터하고 추적하기 위해 특정 조합의 팩터를 고려하는 것이 요구된다. 게다가, 팩터의 중요도가 고려되지 않아서, 하이라이트 비디오를 생성하는 프로세스에서 보다 덜 중요한 팩터가 노이즈 생성을 야기할 수 있다.
그러므로, 오디오 프로세싱 기술, 비디오 프로세싱 기술, 및 하이라이트 세그먼트를 결정함에 있어서 각 팩터의 중요도를 설명하는 사용자 액션 통계에 기초한 하이라이트 비디오의 자동 생성을 위한 개선된 방법 및 시스템이 요구된다.
본 개시의 일 형태는 명령을 저장하는 하나 이상의 메모리 디바이스 및 하이라이트 비디오의 자동 생성을 위한 방법을 수행하기 위해 명령을 실행하도록 구성된 하나 이상의 프로세서를 포함하는 컴퓨터 구현 시스템에 관한 것이다. 방법은 미리 결정된 시간 기간으로부터 복수의 소스 비디오에 대한 사용자 액션 데이터를 검색하고, 검색된 사용자 액션 데이터에 기초하여, 복수의 소스 비디오 중 소스 비디오의 세트를 선택하고, 선택된 소스 비디오의 세트를 검색하고, 그리고, 선택된 소스 비디오의 세트 각각에 대해, 클립 포인트를 식별하도록 소스 비디오를 분석하고, 분석된 소스 비디오를 복수의 세그먼트로 분할하는 것을 포함한다. 방법은 추가로, 복수의 세그먼트의 각 세그먼트에 대해, 세그먼트 데이터를 결정하고, 결정된 세그먼트 데이터에 기초하여 세그먼트 하이라이트 스코어를 계산하고, 각 세그먼트의 계산된 세그먼트 하이라이트 스코어에 기초하여 복수의 세그먼트로부터 다수의 세그먼트를 선택하고, 선택된 세그먼트에 기초하여 새 비디오를 생성하고, 그리고 새 비디오를 저장하는 것을 포함한다.
본 개시의 다른 형태는 하이라이트 비디오의 자동 생성을 위한 방법에 관한 것이다. 이 방법은 미리 결정된 시간 기간으로부터 복수의 소스 비디오에 대한 사용자 액션 데이터를 검색하고, 검색된 사용자 액션 데이터에 기초하여, 복수의 소스 비디오 중 소스 비디오의 세트를 선택하고, 선택된 소스 비디오의 세트를 검색하고, 그리고, 선택된 소스 비디오의 세트 각각에 대해, 클립 포인트를 식별하도록 소스 비디오를 분석하고, 분석된 소스 비디오를 복수의 세그먼트로 분할하는 것을 포함한다. 이 방법은 추가로, 복수의 세그먼트의 각 세그먼트에 대해, 세그먼트 데이터를 결정하고, 결정된 세그먼트 데이터에 기초하여 세그먼트 하이라이트 스코어를 계산하고, 각 세그먼트의 계산된 세그먼트 하이라이트 스코어에 기초하여 복수의 세그먼트로부터 다수의 세그먼트를 선택하고, 선택된 세그먼트에 기초하여 새 비디오를 생성하고, 그리고 새 비디오를 저장하는 것을 포함한다.
본 개시의 또 다른 형태는 적어도 하나의 프로세서, 및 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서가 하이라이트 비디오의 자동 생성을 위한 방법을 수행하게 하는 명령을 포함하는 적어도 하나의 비일시적 저장 매체를 포함하는 컴퓨터 구현 시스템에 관한 것이다. 방법은 미리 결정된 시간 기간으로부터 복수의 소스 비디오에 대한 사용자 액션 데이터를 검색하고 - 사용자 액션 데이터는 적어도 복수의 소스 비디오의 각 소스 비디오와 연관된 복수의 모니터된 사용자 인터랙션을 포함함 - , 검색된 사용자 액션 데이터에 기초하여, 복수의 소스 비디오 중 미리 결정된 수의 소스 비디오를 선택하고, 선택된 소스 비디오를 검색하고, 그리고 선택된 소스 비디오 각각에 대해, 클립 포인트를 식별하도록 소스 비디오를 오디오 프로세싱으로 분석하고, 분석된 소스 비디오를 복수의 세그먼트로 분할하는 것을 포함한다. 방법은 추가로, 복수의 세그먼트의 각 세그먼트에 대해, 오디오 프로세싱에 적어도 부분적으로 기초하여 세그먼트 데이터를 결정하고, 결정된 세그먼트 데이터에 기초하여 세그먼트 하이라이트 스코어를 계산하고, 각 세그먼트의 계산된 세그먼트 하이라이트 스코어에 기초하여 복수의 세그먼트로부터 다수의 세그먼트를 선택하고, 선택된 세그먼트에 기초하여 새 비디오를 생성하고, 그리고 새 비디오를 저장하는 것을 포함한다.
또한 다른 시스템, 방법, 및 컴퓨터 판독 가능 매체가 여기서 논의된다.
도 1a는 개시된 실시예에 따른, 배송, 운송, 및 물류 운영을 가능하게 하는 통신을 위한 컴퓨터 시스템을 포함하는 네트워크의 예시적인 실시예를 나타낸 개략적인 블록도이다.
도 1b는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라 검색 요청을 만족시키는 하나 이상의 검색 결과를 포함하는 검색 결과 페이지(SRP; Search Result Page)의 샘플을 나타낸 도면이다.
도 1c는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라 제품 및 제품에 대한 정보를 포함하는 싱글 디테일 페이지(SDP; Single Detail Page)의 샘플을 나타낸 도면이다.
도 1d는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라 가상의 쇼핑 장바구니에 아이템을 포함하는 장바구니 페이지의 샘플을 나타낸 도면이다.
도 1e는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라, 가상의 쇼핑 장바구니로부터 구매 및 배송에 관한 정보에 따른 아이템을 포함하는 주문 페이지의 샘플을 나타낸 도면이다.
도 2는 개시된 실시예에 따른, 전자 상거래 라이브스트리밍을 위한 컴퓨터화된 시스템을 포함하는 네트워크의 예시적인 실시예를 나타낸 개략적인 블록도이다.
도 3은 개시된 실시예에 따른, 클립 생성 모듈의 예시적인 실시예를 나타낸 개략적인 블록도이다.
도 4는 개시된 실시예에 따른, 오디오 및 비디오 프로세싱을 사용하여 하이라이트 비디오를 자동적으로 생성하는 예시적인 방법을 보여주는 도면이다.
도 5는 개시된 실시예에 따른, 팩터 및 그것들과 연관된 스코어 가중치의 예시적인 테이블을 보여주는 도면이다.
도 6은 개시된 실시예에 따른, 하이라이트 비디오를 자동적으로 생성하는 예시적인 흐름을 나타낸 다이어그램을 보여주는 도면이다.
도 1b는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라 검색 요청을 만족시키는 하나 이상의 검색 결과를 포함하는 검색 결과 페이지(SRP; Search Result Page)의 샘플을 나타낸 도면이다.
도 1c는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라 제품 및 제품에 대한 정보를 포함하는 싱글 디테일 페이지(SDP; Single Detail Page)의 샘플을 나타낸 도면이다.
도 1d는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라 가상의 쇼핑 장바구니에 아이템을 포함하는 장바구니 페이지의 샘플을 나타낸 도면이다.
도 1e는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라, 가상의 쇼핑 장바구니로부터 구매 및 배송에 관한 정보에 따른 아이템을 포함하는 주문 페이지의 샘플을 나타낸 도면이다.
도 2는 개시된 실시예에 따른, 전자 상거래 라이브스트리밍을 위한 컴퓨터화된 시스템을 포함하는 네트워크의 예시적인 실시예를 나타낸 개략적인 블록도이다.
도 3은 개시된 실시예에 따른, 클립 생성 모듈의 예시적인 실시예를 나타낸 개략적인 블록도이다.
도 4는 개시된 실시예에 따른, 오디오 및 비디오 프로세싱을 사용하여 하이라이트 비디오를 자동적으로 생성하는 예시적인 방법을 보여주는 도면이다.
도 5는 개시된 실시예에 따른, 팩터 및 그것들과 연관된 스코어 가중치의 예시적인 테이블을 보여주는 도면이다.
도 6은 개시된 실시예에 따른, 하이라이트 비디오를 자동적으로 생성하는 예시적인 흐름을 나타낸 다이어그램을 보여주는 도면이다.
이어서 첨부된 도면을 참조하여 자세하게 설명된다. 가능하면, 다음의 설명에서 같거나 유사한 부분에 대해 참조되도록 도면에서 같은 도면 부호가 사용된다. 여기에 몇몇 예시적인 실시예가 설명되지만, 변경, 조정 및 다른 구현도 가능하다. 예를 들면, 도면 내의 구성 및 스텝에 대해 교체, 추가, 또는 변경이 이루어질 수 있고, 여기에 설명된 예시적인 방법은 개시된 방법에 대해 스텝을 교체, 순서 변경, 제거 또는 추가함으로써 변경될 수 있다. 따라서, 다음의 자세한 설명은 개시된 실시예 및 예시로 제한되는 것은 아니다. 대신에 본 발명의 적절한 범위는 청구범위에 의해 규정된다.
본 개시의 실시예는 사용자 액션 데이터에 기초하여 미리 결정된 수의 소스 비디오를 선택하고 검색하고, 선택된 소스 비디오 각각에 대해, 소스 비디오를 분석하고, 그리고 분석된 소스 비디오를 복수의 세그먼트로 분할함으로써 하이라이트 비디오를 자동 생성하도록 구성된 시스템 및 방법에 관한 것이다. 방법은 추가로, 복수의 세그먼트의 각 세그먼트에 대해, 세그먼트 데이터를 결정하고, 결정된 세그먼트 데이터에 기초하여 세그먼트 하이라이트 스코어를 계산하고, 각 세그먼트의 계산된 세그먼트 하이라이트 스코어에 기초하여 다수의 세그먼트를 선택하고, 그리고 VOD 플랫폼에서 한 명 이상의 사용자가 보기 위해, 선택된 세그먼트에 기초하여 새 비디오를 생성하는 것을 포함한다. 개시된 실시예는 효율적인 방식으로 하이라이트 비디오의 자동 생성을 가능하게 하는 획기적인 기술적 특징을 제공한다. 예를 들어, 개시된 실시예는, 하이라이트 비디오의 생성을 위해, 사용자 액션 데이터에 기초하여 특정 수의 소스 비디오를 선택 가능하게 하고, 최적의 클립핑 포인트를 식별하도록 선택된 소스 비디오를 오디오 및/또는 비디오 프로세싱으로 분석하여 분석된 소스 비디오를 복수의 세그먼트로 분할 가능하게 하고, 오디오 프로세싱, 비디오 프로세싱, 및 사용자 액션 통계로 세그먼트 데이터를 결정 가능하게 하고, 각 세그먼트에 대한 스코어를 계산 가능하게 하고, 그리고 계산된 스코어에 기초하여, 세그먼트를 선택 가능하게 한다.
도 1a를 참조하면, 배송, 운송 및 물류 운영을 가능하게 하는 통신을 위한 컴퓨터 시스템을 포함하는 예시적인 시스템의 실시예를 나타낸 개략적인 블록도(100)가 도시되어 있다. 도 1a에 나타낸 바와 같이, 시스템(100)은 다양한 시스템을 포함할 수 있으며, 이들 각각은 하나 이상의 네트워크를 통해 서로 연결될 수 있다. 시스템은 (예를 들어, 케이블을 사용한) 직접 연결을 통해 서로 연결될 수 있다. 도시된 시스템은 배송 기관 기술(shipment authority technology, SAT) 시스템(101), 외부 프론트 엔드 시스템(103), 내부 프론트 엔드 시스템(105), 운송 시스템(107), 모바일 디바이스(107A, 107B, 107C), 판매자 포털(109), 배송 및 주문 트래킹(shipment and order tracking, SOT) 시스템(111), 풀필먼트 최적화(fulfillment optimization, FO) 시스템(113), 풀필먼트 메시징 게이트웨이(fulfillment messaging gateway, FMG)(115), 공급 체인 관리(supply chain management, SCM) 시스템(117), 창고 관리 시스템(119), 모바일 디바이스(119A, 119B, 119C)(풀필먼트 센터(fulfillment center, FC)(120) 내부에 있는 것으로 도시됨), 제3자 풀필먼트 시스템(121A, 121B, 121C), 풀필먼트 센터 인증 시스템(fulfillment center authorization system, FC Auth)(123), 및 노동 관리 시스템(labor management system, LMS)(125)을 포함한다.
일부 실시예에서, SAT 시스템(101)은 주문 상태와 배달 상태를 모니터링하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, SAT 시스템(101)은 주문이 약속된 배달 날짜(Promised Delivery Date, PDD)를 지났는지를 결정할 수 있고, 새로운 주문을 개시시키고, 배달되지 않은 주문의 아이템을 다시 배송하며, 배달되지 않은 주문을 취소하고, 주문 고객과 연락을 시작하는 것 등을 포함하는 적합한 조치를 취할 수 있다. SAT 시스템(101)은 또한, (특정 기간 동안 배송된 패키지의 개수와 같은) 출력, 및 (배송시 사용하기 위해 수신된 빈 카드보드 박스의 개수와 같은) 입력을 포함하는 다른 데이터를 감시할 수 있다. SAT 시스템(101)은 또한, 외부 프론트 엔드 시스템(103) 및 FO 시스템(113)과 같은 장치들 간의 (예를 들면, 저장 전달(store-and-forward) 또는 다른 기술을 사용하는) 통신을 가능하게 하는 시스템(100) 내의 상이한 장치들 사이의 게이트웨이로서 동작할 수 있다.
일부 실시예에서, 외부 프론트 엔드 시스템(103)은 외부 사용자가 시스템(100) 내의 하나 이상의 시스템과 상호 동작할 수 있게 하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 시스템(100)이 시스템의 프레젠테이션을 가능하게 하여 사용자가 아이템에 대한 주문을 할 수 있도록 하는 실시예에서, 외부 프론트 엔드 시스템(103)은 검색 요청을 수신하고, 아이템 페이지를 제시하며, 결제 정보를 요청하는 웹 서버로서 구현될 수 있다. 예를 들면, 외부 프론트 엔드 시스템(103)은 Apache HTTP 서버, Microsoft Internet Information Services(IIS), NGINX 등과 같은 소프트웨어를 실행하는 컴퓨터 또는 컴퓨터들로서 구현될 수 있다. 다른 실시예에서, 외부 프론트 엔드 시스템(103)은 외부 디바이스(예를 들어, 모바일 디바이스(102A) 또는 컴퓨터(102B))로부터 요청을 수신 및 처리하고, 이들 요청에 기초하여 데이터베이스 및 다른 데이터 저장 장치로부터 정보를 획득하며, 획득한 정보에 기초하여 수신된 요청에 대한 응답을 제공하도록 설계된 커스텀 웹 서버 소프트웨어를 실행할 수 있다.
일부 실시예에서, 외부 프론트 엔드 시스템(103)은 웹 캐싱 시스템, 데이터베이스, 검색 시스템, 또는 결제 시스템 중 하나 이상을 포함할 수 있다. 일 양상에서, 외부 프론트 엔드 시스템(103)은 이들 시스템 중 하나 이상을 포함할 수 있는 반면, 다른 양상에서는 외부 프론트 엔드 시스템(103)은 이들 시스템 중 하나 이상에 연결된 인터페이스(예를 들면, 서버 대 서버, 데이터베이스 대 데이터베이스, 또는 다른 네트워크 연결)를 포함할 수 있다.
도 1b, 1c, 1d 및 1e에 의해 나타낸 단계들의 예시적인 세트는 외부 프론트 엔드 시스템(103)의 일부 동작을 설명하는 것에 도움이 될 것이다. 외부 프론트 엔드 시스템(103)은 프레젠테이션 및/또는 디스플레이를 위해 시스템(100) 내의 시스템 또는 디바이스로부터 정보를 수신할 수 있다. 예를 들면, 외부 프론트 엔드 시스템(103)은 검색 결과 페이지(Search Result Page, SRP)(예를 들면, 도 1b), 싱글 디테일 페이지(Single Detail Page, SDP)(예를 들면, 도 1c), 장바구니 페이지(Cart page)(예를 들면, 도 1d), 또는 주문 페이지(예를 들면, 도 1e)를 포함하는 하나 이상의 웹페이지를 호스팅하거나 제공할 수 있다. (예를 들면, 모바일 디바이스(102A) 또는 컴퓨터(102B)를 사용하는) 사용자 디바이스는 외부 프론트 엔드 시스템(103)으로 이동하고 검색 박스에 정보를 입력함으로써 검색을 요청할 수 있다. 외부 프론트 엔드 시스템(103)은 시스템(100) 내의 하나 이상의 시스템으로부터 정보를 요청할 수 있다. 예를 들면, 외부 프론트 엔드 시스템(103)은 FO 시스템(113)으로부터 검색 요청을 만족하는 정보를 요청할 수 있다. 외부 프론트 엔드 시스템(103)은 또한, (FO 시스템(113)으로부터) 검색 결과에 포함된 각 제품에 대한 약속된 배달 날짜(Promised Delivery Date) 또는 "PDD"를 요청하고 수신할 수 있다. 일부 실시예에서, PDD는 제품이 들어있는 패키지가 특정 기간 이내, 예를 들면, 하루의 끝(PM 11:59)까지 주문되면 언제 사용자가 원하는 장소에 도착할 것인지에 대한 추정 또는 제품이 사용자가 원하는 장소에 배달될 약속된 날짜를 나타낼 수 있다(PDD는 FO 시스템(113)과 관련하여 이하에서 더 논의된다).
외부 프론트 엔드 시스템(103)은 정보에 기초하여 SRP(예를 들면, 도 1b)를 준비할 수 있다. SRP는 검색 요청을 만족하는 정보를 포함할 수 있다. 예를 들면, 이는 검색 요청을 만족하는 제품의 사진을 포함할 수 있다. SRP는 또한, 각 제품에 대한 각각의 가격, 또는 각 제품, PDD, 무게, 크기, 오퍼(offer), 할인 등에 대한 개선된 배달 옵션에 관한 정보를 포함할 수 있다. 외부 프론트 엔드 시스템(103)은 (예를 들면, 네트워크를 통해) SRP를 요청 사용자 디바이스로 전송할 수 있다.
사용자 디바이스는 SRP에 나타낸 제품을 선택하기 위해, 예를 들면, 사용자 인터페이스를 클릭 또는 탭핑하거나, 다른 입력 디바이스를 사용하여 SRP로부터 제품을 선택할 수 있다. 사용자 디바이스는 선택된 제품에 관한 정보에 대한 요청을 만들어 내고 이를 외부 프론트 엔드 시스템(103)으로 전송할 수 있다. 이에 응답하여, 외부 프론트 엔드 시스템(103)은 선택된 제품에 관한 정보를 요청할 수 있다. 예를 들면, 정보는 각각의 SRP 상에 제품에 대해 제시된 것 이상의 추가 정보를 포함할 수 있다. 이는, 예를 들면, 유통 기한, 원산지, 무게, 크기, 패키지 내의 아이템 개수, 취급 지침, 또는 제품에 대한 다른 정보를 포함할 수 있다. 정보는 또한, (예를 들면, 이 제품 및 적어도 하나의 다른 제품을 구입한 고객의 빅 데이터 및/또는 기계 학습 분석에 기초한) 유사한 제품에 대한 추천, 자주 묻는 질문에 대한 답변, 고객의 후기, 제조 업체 정보, 사진 등을 포함할 수 있다.
외부 프론트 엔드 시스템(103)은 수신된 제품 정보에 기초하여 SDP(Single Detail Page)(예를 들면, 도 1c)를 준비할 수 있다. SDP는 또한, "지금 구매(Buy Now)" 버튼, "장바구니에 추가(Add to Cart)" 버튼, 수량 필드, 아이템 사진 등과 같은 다른 상호 동작 요소를 포함할 수 있다. SDP는 제품을 오퍼하는 판매자의 리스트를 포함할 수 있다. 이 리스트는 최저가로 제품을 판매하는 것으로 오퍼하는 판매자가 리스트의 최상단에 위치하도록, 각 판매자가 오퍼한 가격에 기초하여 순서가 정해질 수 있다. 이 리스트는 또한 최고 순위 판매자가 리스트의 최상단에 위치하도록, 판매자 순위에 기초하여 순서가 정해질 수 있다. 판매자 순위는, 예를 들어, 약속된 PPD를 지켰는지에 대한 판매자의 과거 추적 기록을 포함하는, 복수의 인자에 기초하여 만들어질 수 있다. 외부 프론트 엔드 시스템(103)은 (예를 들면, 네트워크를 통해) SDP를 요청 사용자 디바이스로 전달할 수 있다.
요청 사용자 디바이스는 제품 정보를 나열하는 SDP를 수신할 수 있다. SDP를 수신하면, 사용자 디바이스는 SDP와 상호 동작할 수 있다. 예를 들면, 요청 사용자 디바이스의 사용자는 SDP의 "장바구니에 담기(Place in Cart)" 버튼을 클릭하거나, 이와 상호 동작할 수 있다. 이렇게 하면 사용자와 연계된 쇼핑 장바구니에 제품이 추가된다. 사용자 디바이스는 제품을 쇼핑 장바구니에 추가하기 위해 외부 프론트 엔드 시스템(103)으로 이러한 요청을 전송할 수 있다.
외부 프론트 엔드 시스템(103)은 장바구니 페이지(예를 들면, 도 1d)를 생성할 수 있다. 일부 실시예에서, 장바구니 페이지는 사용자가 가상의 "쇼핑 장바구니(shopping cart)"에 추가한 제품을 나열한다. 사용자 디바이스는 SRP, SDP, 또는 다른 페이지의 아이콘을 클릭하거나, 상호 동작함으로써 장바구니 페이지를 요청할 수 있다. 일부 실시예에서, 장바구니 페이지는 사용자가 장바구니에 추가한 모든 제품 뿐 아니라 각 제품의 수량, 각 제품의 품목당 가격, 관련 수량에 기초한 각 제품의 가격, PDD에 관한 정보, 배달 방법, 배송 비용, 쇼핑 장바구니의 제품을 수정(예를 들면, 수량의 삭제 또는 수정)하기 위한 사용자 인터페이스 요소, 다른 제품의 주문 또는 제품의 정기적인 배달 설정에 대한 옵션, 할부(interest payment) 설정에 대한 옵션, 구매를 진행하기 위한 사용자 인터페이스 요소 등과 같은 장바구니의 제품에 관한 정보를 나열할 수 있다. 사용자 디바이스의 사용자는 쇼핑 장바구니에 있는 제품의 구매를 시작하기 위해 사용자 인터페이스 요소(예를 들면, "지금 구매(Buy Now)"라고 적혀있는 버튼)를 클릭하거나, 이와 상호 동작할 수 있다. 그렇게 하면, 사용자 디바이스는 구매를 시작하기 위해 이러한 요청을 외부 프론트 엔드 시스템(103)으로 전송할 수 있다.
외부 프론트 엔드 시스템(103)은 구매를 시작하는 요청을 수신하는 것에 응답하여 주문 페이지(예를 들면, 도 1e)를 생성할 수 있다. 일부 실시예에서, 주문 페이지는 쇼핑 장바구니로부터의 아이템을 재나열하고, 결제 및 배송 정보의 입력을 요청한다. 예를 들면, 주문 페이지는 쇼핑 장바구니의 아이템 구매자에 관한 정보(예를 들면, 이름, 주소, 이메일 주소, 전화번호), 수령인에 관한 정보(예를 들면, 이름, 주소, 전화번호, 배달 정보), 배송 정보(예를 들면, 배달 및/또는 픽업 속도/방법), 결제 정보(예를 들면, 신용 카드, 은행 송금, 수표, 저장된 크레딧), 현금 영수증을 요청하는 사용자 인터페이스 요소(예를 들면, 세금 목적) 등을 요청하는 섹션을 포함할 수 있다. 외부 프론트 엔드 시스템(103)은 사용자 디바이스에 주문 페이지를 전송할 수 있다.
사용자 디바이스는 주문 페이지에 정보를 입력하고 외부 프론트 엔드 시스템(103)으로 정보를 전송하는 사용자 인터페이스 요소를 클릭하거나, 상호 동작할 수 있다. 그로부터, 외부 프론트 엔드 시스템(103)은 정보를 시스템(100) 내의 다른 시스템으로 전송하여 쇼핑 장바구니의 제품으로 새로운 주문을 생성하고 처리할 수 있도록 한다.
일부 실시예에서, 외부 프론트 엔드 시스템(103)은 판매자가 주문과 관련된 정보를 전송 및 수신할 수 있도록 추가로 구성될 수 있다.
일부 실시예에서, 내부 프론트 엔드 시스템(105)은 내부 사용자(예를 들면, 시스템(100)을 소유, 운영 또는 임대하는 조직의 직원)가 시스템(100) 내의 하나 이상의 시스템과 상호작용할 수 있게 하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 시스템(100)이 사용자가 아이템에 대한 주문을 할 수 있게 하는 시스템의 프레젠테이션을 가능하게 하는 실시예에서, 내부 프론트 엔드 시스템(105)은 내부 사용자가 주문에 대한 진단 및 통계 정보를 볼 수 있게 하고, 아이템 정보를 수정하며, 또는 주문에 대한 통계를 검토할 수 있게 하는 웹 서버로서 구현될 수 있다. 예를 들면, 내부 프론트 엔드 시스템(105)은 Apache HTTP 서버, Microsoft Internet Information Services(IIS), NGINX 등과 같은 소프트웨어를 실행하는 컴퓨터 또는 컴퓨터들로서 구현될 수 있다. 다른 실시예에서, 내부 프론트 엔드 시스템(105)은 (도시되지 않은 다른 디바이스뿐 아니라) 시스템(100) 내에 나타낸 시스템 또는 디바이스로부터 요청을 수신 및 처리하고, 그러한 요청에 기초하여 데이터베이스 및 다른 데이터 저장 장치로부터 정보를 획득하며, 획득한 정보에 기초하여 수신된 요청에 대한 응답을 제공하도록 (설계된 커스텀 웹 서버 소프트웨어를 실행)할 수 있다.
일부 실시예에서, 내부 프론트 엔드 시스템(105)은 웹 캐싱 시스템, 데이터베이스, 검색 시스템, 결제 시스템, 분석 시스템, 주문 모니터링 시스템 등 중 하나 이상을 포함할 수 있다. 일 양상에서, 내부 프론트 엔드 시스템(105)은 이들 시스템 중 하나 이상을 포함할 수 있는 반면, 다른 양상에서는 내부 프론트 엔드 시스템(105)은 이들 시스템 중 하나 이상에 연결된 인터페이스(예를 들면, 서버 대 서버, 데이터베이스 대 데이터베이스, 또는 다른 네트워크 연결)를 포함할 수 있다.
일부 실시예에서, 운송 시스템(107)은 시스템(100) 내의 시스템 또는 디바이스와 모바일 디바이스(107A-107C) 간의 통신을 가능하게 하는 컴퓨터 시스템으로서 구현될 수 있다. 일부 실시예에서, 운송 시스템(107)은 하나 이상의 모바일 디바이스(107A-107C)(예를 들면, 휴대 전화, 스마트폰, PDA 등)로부터 정보를 수신할 수 있다. 예를 들면, 일부 실시예에서, 모바일 디바이스(107A-107C)는 배달원에 의해 동작되는 디바이스를 포함할 수 있다. 정규직, 임시적 또는 교대 근무일 수 있는 배달원은 사용자에 의해 주문된 제품들이 들어 있는 패키지의 배달을 위해 모바일 디바이스(107A-107C)를 이용할 수 있다. 예를 들면, 패키지를 배달하기 위해, 배달원은 배달할 패키지와 배달할 위치를 나타내는 모바일 디바이스 상의 알림을 수신할 수 있다. 배달 장소에 도착하면, 배달원은 (예를 들면, 트럭의 뒤나 패키지의 크레이트에) 패키지를 둘 수 있고, 모바일 디바이스를 사용하여 패키지 상의 식별자와 관련된 데이터(예를 들면, 바코드, 이미지, 텍스트 문자열, RFID 태그 등)를 스캔하거나, 캡처하며, (예를 들면, 현관문에 놓거나, 경비원에게 맡기거나, 수령인에게 전달하는 것 등에 의해) 패키지를 배달할 수 있다. 일부 실시예에서, 배달원은 모바일 디바이스를 사용하여 패키지의 사진(들)을 찍거나 및/또는 서명을 받을 수 있다. 모바일 디바이스는, 예를 들면, 시간, 날짜, GPS 위치, 사진(들), 배달원에 관련된 식별자, 모바일 디바이스에 관련된 식별자 등을 포함하는 배달에 관한 정보를 포함하는 정보를 운송 시스템(107)에 전송할 수 있다. 운송 시스템(107)은 시스템(100) 내의 다른 시스템에 의한 접근을 위해 데이터베이스(미도시)에 이러한 정보를 저장할 수 있다. 일부 실시예에서, 운송 시스템(107)은 다른 시스템에 특정 패키지의 위치를 나타내는 트래킹 데이터를 준비 및 전송하기 위해 이러한 정보를 사용할 수 있다.
일부 실시예에서, 특정 사용자는, 한 종류의 모바일 디바이스를 사용할 수 있는 반면(예를 들면, 정규 직원은 바코드 스캐너, 스타일러스 및 다른 장치와 같은 커스텀 하드웨어를 갖는 전문 PDA를 사용할 수 있음), 다른 사용자는 다른 종류의 모바일 디바이스를 사용할 수 있다(예를 들면, 임시 또는 교대 근무 직원이 기성 휴대 전화 및/또는 스마트폰을 사용할 수 있음).
일부 실시예에서, 운송 시스템(107)은 사용자를 각각의 디바이스와 연관시킬 수 있다. 예를 들면, 운송 시스템(107)은 사용자(예를 들면, 사용자 식별자, 직원 식별자, 또는 전화번호에 의해 표현됨)와 모바일 디바이스(예를 들면, International Mobile Equipment Identity(IMEI), International Mobile Subscription Identifier(IMSI), 전화번호, Universal Unique Identifier(UUID), 또는 Globally Unique Identifier(GUID)에 의해 표현됨) 간의 연관성(association)을 저장할 수 있다. 운송 시스템(107)은, 다른 것들 중에 작업자의 위치, 작업자의 효율성, 또는 작업자의 속도를 결정하기 위해 데이터베이스에 저장된 데이터를 분석하기 위해 배달시 수신되는 데이터와 관련하여 이러한 연관성을 사용할 수 있다.
일부 실시예에서, 판매자 포털(109)은 판매자 또는 다른 외부 엔터티(entity)가 시스템(100) 내의 하나 이상의 시스템과 전자 통신할 수 있게 하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 판매자는 판매자 포털(109)을 사용하여 시스템(100)을 통해 판매하고자 하는 제품에 대하여, 제품 정보, 주문 정보, 연락처 정보 등을 업로드하거나 제공하는 컴퓨터 시스템(미도시)을 이용할 수 있다.
일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 고객(예를 들면, 디바이스(102A-102B)를 사용하는 사용자)에 의해 주문된 제품들이 들어 있는 패키지의 위치에 관한 정보를 수신, 저장 및 포워딩하는 컴퓨터 시스템으로서 구현될 수 있다. 일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 고객에 의해 주문된 제품들이 들어 있는 패키지를 배달하는 배송 회사에 의해 운영되는 웹 서버(미도시)로부터 정보를 요청하거나 저장할 수 있다.
일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 시스템(100)에 나타낸 시스템들로부터 정보를 요청하고 저장할 수 있다. 예를 들면, 배송 및 주문 트래킹 시스템(111)은 운송 시스템(107)으로부터 정보를 요청할 수 있다. 전술한 바와 같이, 운송 시스템(107)은 사용자(예를 들면, 배달원) 또는 차량(예를 들면, 배달 트럭) 중 하나 이상과 연관된 하나 이상의 모바일 디바이스(107A-107C)(예를 들면, 휴대 전화, 스마트폰, PDA 등)로부터 정보를 수신할 수 있다. 일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 또한, 풀필먼트 센터(예를 들면, 풀필먼트 센터(120)) 내부의 개별 제품의 위치를 결정하기 위해 창고 관리 시스템(WMS)(119)으로부터 정보를 요청할 수 있다. 배송 및 주문 트래킹 시스템(111)은 운송 시스템(107) 또는 WMS(119) 중 하나 이상으로부터 데이터를 요청하고, 이를 처리하며, 요청시 디바이스(예를 들면, 사용자 디바이스(102A, 102B))로 제공할 수 있다.
일부 실시예에서, 풀필먼트 최적화(FO) 시스템(113)은 다른 시스템(예를 들면, 외부 프론트 엔드 시스템(103) 및/또는 배송 및 주문 트래킹 시스템(111))으로부터의 고객 주문에 대한 정보를 저장하는 컴퓨터 시스템으로서 구현될 수 있다. FO 시스템(113)은 또한, 특정 아이템이 유지 또는 저장되는 곳을 나타내는 정보를 저장할 수 있다. 예를 들면, 소정 아이템은 하나의 풀필먼트 센터에만 저장될 수 있는 반면, 소정 다른 아이템은 다수의 풀필먼트 센터에 저장될 수 있다. 또 다른 실시예에서, 특정 풀필먼트 센터는 아이템의 특정 세트(예를 들면, 신선한 농산물 또는 냉동 제품)만을 저장하도록 구성될 수 있다. FO 시스템(113)은 이러한 정보뿐 아니라 관련 정보(예를 들면, 수량, 크기, 수령 날짜, 유통 기한 등)를 저장한다.
FO 시스템(113)은 또한, 각 제품에 대해 대응하는 PDD(약속된 배달 날짜)를 계산할 수 있다. 일부 실시예에서, PDD는 하나 이상의 요소에 기초할 수 있다. 예를 들면, FO 시스템(113)은 제품에 대한 과거 수요(예를 들면, 그 제품이 일정 기간 동안 얼마나 주문되었는지), 제품에 대한 예측된 수요(예를 들면, 얼마나 많은 고객이 다가오는 기간 동안 제품을 주문할 것으로 예상되는지), 일정 기간 동안 얼마나 많은 제품이 주문되었는지를 나타내는 네트워크 전반의 과거 수요, 다가오는 기간 동안 얼마나 많은 제품이 주문될 것으로 예상되는지를 나타내는 네트워크 전반의 예측된 수요, 각각의 제품을 저장하는 각 풀필먼트 센터(120)에 저장된 제품의 하나 이상의 개수, 그 제품에 대한 예상 또는 현재 주문 등에 기초하여 제품에 대한 PDD를 계산할 수 있다.
일부 실시예에서, FO 시스템(113)은 주기적으로(예를 들면, 시간별로) 각 제품에 대한 PDD를 결정하고, 검색하거나 다른 시스템(예를 들면, 외부 프론트 엔드 시스템(103), SAT 시스템(101), 배송 및 주문 트래킹 시스템(111))으로 전송하기 위해 이를 데이터베이스에 저장할 수 있다. 다른 실시예에서, FO 시스템(113)은 하나 이상의 시스템(예를 들면, 외부 프론트 엔드 시스템(103), SAT 시스템(101), 배송 및 주문 트래킹 시스템(111))으로부터 전자 요청을 수신하고 요구에 따라 PDD를 계산할 수 있다.
일부 실시예에서, 풀필먼트 메시징 게이트웨이(FMG)(115)는 FO 시스템(113)과 같은 시스템(100) 내의 하나 이상의 시스템으로부터 하나의 포맷 또는 프로토콜로 요청 또는 응답을 수신하고, 그것을 다른 포맷 또는 프로토콜로 변환하여, 변환된 포맷 또는 프로토콜로 된 요청 또는 응답을 WMS(119) 또는 제3자 풀필먼트 시스템(121A, 121B, 또는 121C)과 같은 다른 시스템에 포워딩하며, 반대의 경우도 가능한 컴퓨터 시스템으로서 구현될 수 있다.
일부 실시예에서, 공급 체인 관리(SCM) 시스템(117)은 예측 기능을 수행하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, SCM 시스템(117)은, 예를 들어 제품에 대한 과거 수요, 제품에 대한 예측된 수요, 네트워크 전반의 과거 수요, 네트워크 전반의 예측된 수요, 각각의 풀필먼트 센터(120)에 저장된 제품 개수, 각 제품에 대한 예상 또는 현재 주문 등에 기초하여, 특정 제품에 대한 수요의 수준을 예측할 수 있다. 이러한 예측된 수준과 모든 풀필먼트 센터를 통한 각 제품의 수량에 응답하여, SCM 시스템(117)은 특정 제품에 대한 예측된 수요를 만족시키기에 충분한 양을 구매 및 비축하기 위한 하나 이상의 구매 주문을 생성할 수 있다.
일부 실시예에서, 창고 관리 시스템(WMS)(119)은 작업 흐름을 모니터링하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, WMS(119)는 개개의 디바이스(예를 들면, 디바이스(107A-107C 또는 119A-119C))로부터 개별 이벤트를 나타내는 이벤트 데이터를 수신할 수 있다. 예를 들면, WMS(119)는 패키지를 스캔하기 위해 이들 디바이스 중 하나를 사용한 것을 나타내는 이벤트 데이터를 수신할 수 있다. 풀필먼트 프로세스 동안, 패키지 식별자(예를 들면, 바코드 또는 RFID 태그 데이터)는 특정 스테이지의 기계(예를 들면, 자동 또는 핸드헬드 바코드 스캐너, RFID 판독기, 고속 카메라, 태블릿(119A), 모바일 디바이스/PDA(119B), 컴퓨터(119C)와 같은 디바이스 등)에 의해 스캔되거나 판독될 수 있다. WMS(119)는 패키지 식별자, 시간, 날짜, 위치, 사용자 식별자, 또는 다른 정보와 함께 대응하는 데이터베이스(미도시)에 패키지 식별자의 스캔 또는 판독을 나타내는 각 이벤트를 저장할 수 있고, 이러한 정보를 다른 시스템(예를 들면, 배송 및 주문 트래킹 시스템(111))에 제공할 수 있다.
일부 실시예에서, WMS(119)는 하나 이상의 디바이스(예를 들면, 디바이스(107A-107C 또는 119A-119C))와 시스템(100)과 연관된 하나 이상의 사용자를 연관시키는 정보를 저장할 수 있다. 예를 들면, 일부 상황에서, (파트 타임 또는 풀 타임 직원과 같은) 사용자는 모바일 디바이스(예를 들면, 모바일 디바이스는 스마트폰임)를 소유한다는 점에서, 모바일 디바이스와 연관될 수 있다. 다른 상황에서, 사용자는 임시로 모바일 디바이스를 보관한다는 점에서(예를 들면, 하루의 시작에서부터 모바일 디바이스를 대여받은 사용자가, 하루 동안 그것을 사용하고, 하루가 끝날 때 그것을 반납할 것임), 모바일 디바이스와 연관될 수 있다.
일부 실시예에서, WMS(119)는 시스템(100)과 연관된 각각의 사용자에 대한 작업 로그를 유지할 수 있다. 예를 들면, WMS(119)는 임의의 할당된 프로세스(예를 들면, 트럭에서 내리기, 픽업 구역에서 아이템을 픽업하기, 리비닝 월(rebin wall) 작업, 아이템 패킹하기), 사용자 식별자, 위치(예를 들면, 풀필먼트 센터(120)의 바닥 또는 구역), 직원에 의해 시스템을 통해 이동된 유닛의 수(예를 들면, 픽업된 아이템의 수, 패킹된 아이템의 수), 디바이스(예를 들면, 디바이스(119A-119C))와 관련된 식별자 등을 포함하는, 각 직원과 관련된 정보를 저장할 수 있다. 일부 실시예에서, WMS(119)는 디바이스(119A-119C)에서 작동되는 계시(timekeeping) 시스템과 같은 계시 시스템으로부터 체크-인 및 체크-아웃 정보를 수신할 수 있다.
일부 실시예에서, 제3자 풀필먼트 (3PL) 시스템(121A-121C)은 물류 및 제품의 제3자 제공자와 관련된 컴퓨터 시스템을 나타낸다. 예를 들면, 일부 제품이 풀필먼트 센터(120)에 저장되는 반면, 다른 제품은 오프-사이트(off-site)에 저장될 수 있거나, 수요에 따라 생산될 수 있으며, 달리 풀필먼트 센터(120)에 저장될 수 없다. 3PL 시스템(121A-121C)은 FO 시스템(113)으로부터 (예를 들면, FMG(115)를 통해) 주문을 수신하도록 구성될 수 있으며, 고객에게 직접 제품 및/또는 서비스(예를 들면, 배달 또는 설치)를 제공할 수 있다. 일부 구현예에서, 하나 이상의 3PL 시스템(121A-121C)은 시스템(100)의 일부일 수 있지만, 다른 구현예에서는, 하나 이상의 3PL 시스템(121A-121C)이 시스템(100)의 외부에 있을 수 있다(예를 들어, 제3자 제공자에 의해 소유 또는 운영됨)일 수 있다.
일부 실시예에서, 풀필먼트 센터 인증 시스템(FC Auth)(123)은 다양한 기능을 갖는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 일부 실시예에서, FC Auth(123)는 시스템(100) 내의 하나 이상의 다른 시스템에 대한 단일-사인 온(single-sign on, SSO) 서비스로서 작동할 수 있다. 예를 들면, FC Auth(123)는 내부 프론트 엔드 시스템(105)을 통해 사용자가 로그인하게 하고, 사용자가 배송 및 주문 트래킹 시스템(111)에서 리소스에 액세스하기 위해 유사한 권한을 갖고 있다고 결정하며, 두 번째 로그인 프로세스 요구 없이 사용자가 그러한 권한에 액세스할 수 있게 한다. 다른 실시예에서, FC Auth(123)는 사용자(예를 들면, 직원)가 자신을 특정 작업과 연관시킬 수 있게 한다. 예를 들면, 일부 직원은 (디바이스(119A-119C)와 같은) 전자 디바이스를 갖지 않을 수 있으며, 대신 하루 동안 풀필먼트 센터(120) 내에서 작업들 사이 및 구역들 사이에서 이동할 수 있다. FC Auth(123)는 이러한 직원들이 상이한 시간 대에 수행 중인 작업과 속해 있는 구역을 표시할 수 있도록 구성될 수 있다.
일부 실시예에서, 노동 관리 시스템(LMS)(125)은 직원(풀-타임 및 파트-타임 직원을 포함함)에 대한 출근 및 초과 근무 정보를 저장하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, LMS(125)는 FC Auth(123), WMS(119), 디바이스(119A-119C), 운송 시스템(107), 및/또는 디바이스(107A-107C)로부터 정보를 수신할 수 있다.
도 1a에 나타낸 특정 구성은 단지 예시일 뿐이다. 예를 들면, 도 1a는 FO 시스템(113)에 연결된 FC Auth 시스템(123)을 나타낸 반면, 모든 실시예가 이러한 특정 구성을 필요로 하는 것은 아니다. 실제로, 일부 실시예에서, 시스템(100) 내의 시스템은 인터넷, 인트라넷, WAN(Wide-Area Network), MAN(Metropolitan-Area Network), IEEE 802.11a/b/g/n 표준을 따르는 무선 네트워크, 임대 회선 등을 포함하는 하나 이상의 공공 또는 사설 네트워크를 통해 서로 연결될 수 있다. 일부 실시예에서, 시스템(100) 내의 시스템 중 하나 이상은 데이터 센터, 서버 팜 등에서 구현되는 하나 이상의 가상 서버로서 구현될 수 있다.
도 2는 개시된 실시예에 따른, 전자 상거래 라이브스트리밍을 위한 컴퓨터화된 시스템을 포함하는 네트워크의 예시적인 실시예를 나타낸 개략적인 블록도이다. 도 2에서, 스트리밍 시스템(200)은, 예를 들어, 사용자(예로써, 스트리머 및 뷰어)가 제품을 광고, 판매 및 구매하기 위해 라이브스트림을 통해 통신할 수 있도록 실시간으로 데이터 스트림을 처리하도록 구성된 라이브스트림 서버(210)를 포함할 수 있다. 또한, 라이브스트림 서버(210)는, 사용자가 라이브스트리밍이 종료된 라이브스트림 비디오를 볼 수 있도록, 사용자에게 VOD(video-on-demand) 서비스를 제공하도록 구성될 수 있다. 시스템(200)은 라이브스트림 서버(210), 사용자 디바이스(들)(220), 외부 프론트 엔드 시스템(103), 및 네트워크(230)를 포함할 수 있다.
라이브스트림 서버(210)는 서버, 범용 컴퓨터, 메인프레임 컴퓨터, GPU(graphical processing unit)와 같은 특수용 컴퓨팅 디바이스, 랩톱, 또는 이들 컴퓨팅 디바이스의 임의의 조합의 형태를 취할 수 있다. 이러한 실시예에서, 라이브스트림 서버(210)의 컴포넌트(즉, 데이터베이스(212), 캐로셀(carousel) 생성 모듈(214), 채팅 모듈(216), 클립 생성 모듈(218))는 하나 이상의 메모리에 저장된 명령에 기초하여 하나 이상의 프로세서에 의해 수행되는 하나 이상의 기능적 단위로 구현될 수 있다. 라이브스트림 서버(210)는 독립형 시스템일 수 있고, 또는 보다 큰 시스템의 일부분일 수 있는 서브시스템의 일부분일 수 있다.
데이터베이스(212)는 내부 데이터베이스 또는 네트워크(230)를 통해서 라이브스트림 서버(210)에 통신 가능하게 연결된 외부 데이터베이스로 구현될 수 있다. 데이터베이스(212)는 라이브스트림 서버(210)의 사용자와 연관된 데이터를 수집 및/또는 유지하도록 구성될 수 있다. 예를 들어, 데이터베이스(212)는 라이브스트림 서버(210)의 사용자와 연관된 선호도 및 액션에 대한 정보를 저장할 수 있다. 또한, 데이터베이스(212)는 복수의 라이브스트림 비디오 및 복수의 라이브스트림 비디오와 관련된 정보를 포함할 수 있다. 예를 들어, 데이터베이스(212)는 조회수, 시간에 따른 재생 빈도, 시간에 따른 탐색 빈도, 시간에 따른 좋아요 빈도, 시간에 따른 채팅 빈도, 시간에 따른 언급된 제품 키워드의 빈도, 제품 보드가 검출되는 빈도와 시기, 시간에 따른 제품이 사용자 장바구니에 추가된 횟수, 시간에 따른 CTR(click-through rate), 및 시간에 따른 CVR(conversion rate)과 같은, 각 라이브스트림 비디오와 관련된 정보를 포함할 수 있지만, 이것으로 한정되는 것은 아니다. CVR은 비디오에 등장하는 하나 이상의 제품을 자신의 각각의 장바구니에 추가하도록 비디오에 의해 설득된 고객의 비율의 측정 값일 수 있다. CTR은 라이브스트림 비디오가 VOD 플랫폼의 사용자 인터페이스에 표시되는 횟수 및 한 명 이상의 사용자가 표시된 라이브스트림 비디오를 클릭하는 횟수에 기초하여 결정된 퍼센티지일 수 있다. 예를 들어, 클릭 수를 임프레션 수(즉, 라이브스트림 비디오가 표시되는 횟수)로 나눈 다음, 그 결과에 100을 곱하면 CTR 측정 값을 제공할 수 있다. 또한, 데이터베이스(212)는, 아래에서 더 자세하게 논의되는, 복수의 라이브스트림 비디오로부터 생성된 복수의 하이라이트 비디오를 포함할 수 있다.
일부 실시예에서, 캐로셀 생성 모듈(214)은 데이터베이스(212)에 저장된 데이터에 기초하여 라이브스트림 캐로셀 위젯을 생성하도록 구성된 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 캐로셀 생성 모듈(214)은 한 명 이상의 사용자와 관련된 데이터 및 복수의 라이브스트림과 관련된 데이터에 기초하여 복수의 후보 라이브스트림을 검색하고, 검색된 복수의 후보 라이브스트림을 정리(organize)하고, 제1 사용자와 관련된 데이터 및 검색된 복수의 후보 라이브스트림과 관련된 데이터를 랭킹 뉴럴 네트워크와 같은 랭킹 모델에 입력하고, 그리고 랭킹 모델로부터 정리된 복수의 후보 라이브스트림의 각 라이브스트림에 대한 값을 출력할 수 있다. 또한, 출력된 각 라이브스트림에 대한 값에 기초하여, 캐로셀 생성 모듈(214)은 정리된 복수의 후보 라이브스트림의 각 라이브스트림에 대한 순위를 결정하고, 결정된 순위에 기초하여 다수의 후보 라이브스트림을 포함하는 라이브스트림 캐로셀 위젯을 생성하고, 그리고 제1 사용자와 연관된 사용자 인터페이스에 표시하기 위해 생성된 라이브스트림 캐로셀 위젯을 전송할 수 있다.
일부 실시예에서, 채팅 모듈(216)은 라이브스트림 참여를 강화하도록 구성된 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 채팅 모듈(216)은, 데이터베이스(212)로부터, 제1 세트의 텍스트를 검색하고, 라이브스트림에 등장하는 하나 이상의 제품의 각 제품에 대해, 제2 세트의 텍스트를 검색할 수 있다. 여기서, 제2 세트의 텍스트는, 제품과 연관된 리뷰 데이터에서 복수의 키워드를 컴파일하고, 각 키워드와 연관된 출현율(prevalence) 값을 결정하고, 각 키워드와 연관된 결정된 출현율 값에 기초하여 하나 이상의 키워드를 선택하고, 선택된 하나 이상의 키워드를 정리하고, 그리고 데이터베이스(212)에 정리된 키워드를 제2 세트의 텍스트로서 저장함으로써 생성된다. 또한, 채팅 모듈(216)은 하나 이상의 사용자 디바이스와 연관된 하나 이상의 사용자 인터페이스에 표시하기 위해 적어도 제1 및 제2 세트의 텍스트를 포함하는 복수의 텍스트를 전송하고, 하나 이상의 사용자 디바이스 중 적어도 하나로부터 사용자 인터랙션 데이터를 수신할 수 있다. 여기서, 사용자 인터랙션 데이터는 하나 이상의 사용자 인터페이스 중 적어도 하나를 통해 복수의 텍스트 중 적어도 하나 이상의 텍스트와의 한 명 이상의 사용자에 의한 사용자 인터랙션의 인디케이션을 포함한다. 또한, 채팅 모듈(216)은 하나 이상의 텍스트의 각 텍스트를 제2 사용자 디바이스에 전송할 수 있다. 여기서, 전송하는 것은, 텍스트가 질의를 포함하는지 여부를 결정하고, 텍스트가 질의를 포함하지 않는 것에 기초하여 제2 사용자 디바이스와 연관된 제2 사용자 인터페이스의 제1 페이지에 표시하기 위해 텍스트를 전송하고, 그리고 텍스트가 질의를 포함하는 것에 기초하여 제2 사용자 인터페이스의 제2 페이지에 표시하기 위해 텍스트를 전송하는 것에 기초한다.
일부 실시예에서, 클립 생성 모듈(218)은 데이터베이스(212)에 저장된 소스 라이브스트림 비디오에 기초하여 하이라이트 비디오를 자동적으로 생성하도록 구성된 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 클립 생성 모듈(218)은 데이터베이스(212)로부터 복수의 소스 비디오에 대한 사용자 액션 데이터를 검색하고, 그리고 데이터베이스(212)로부터 검색하기 위해 복수의 소스 비디오 중 소스 비디오의 세트를 선택할 수 있다. 선택된 소스 비디오 각각에 대해, 클립 생성 모듈(218)은 소스 비디오를 복수의 세그먼트로 분할하고, 그리고 각 세그먼트에 대해, 세그먼트 데이터를 결정하여 결정된 세그먼트 데이터에 기초하여 세그먼트 하이라이트 스코어를 계산할 수 있다. 다수의 세그먼트는 계산된 세그먼트 하이라이트 스코어에 기초하여 선택될 수 있으며, 클립 생성 모듈(218)은 선택된 세그먼트에 기초하여 새 비디오를 생성할 수 있다.
대안적으로, 라이브스트림 서버(210)의 컴포넌트는 네트워크를 통해 서로 통신하는 하나 이상의 컴퓨터 시스템으로 구현될 수 있다. 이 실시예에서, 하나 이상의 컴퓨터 시스템 각각은 하나 이상의 프로세서, 하나 이상의 메모리(즉, 비일시적 컴퓨터 판독 가능 매체), 및 하나 이상의 입력/출력 (I/O) 디바이스를 포함할 수 있다. 일부 실시예에서, 하나 이상의 컴퓨터 시스템 각각은 서버, 범용 컴퓨터, 메인프레임 컴퓨터, GPU와 같은 특수용 컴퓨팅 디바이스, 랩톱, 또는 이들 컴퓨팅 디바이스의 임의의 조합의 형태를 취할 수 있다.
사용자 디바이스(들)(220)는 설계, 기능, 또는 동작면에서 도 1a와 관련하여 위에서 설명된 모바일 디바이스(102A) 또는 컴퓨터(102B)와 유사할 수 있다. 사용자 디바이스(들)(220)는 개시된 실시예에 따른 하나 이상의 동작을 수행하도록 구성된 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 사용자 디바이스(들)는 데스크톱 컴퓨터, 랩톱, 서버, 모바일 디바이스(예로써, 태블릿, 스마트폰 등), 또는 라이브스트림 서버(210)와 연관된 컴퓨터 프로그램이나 소프트웨어 애플리케이션을 실행할 수 있는 다른 타입의 컴퓨팅 디바이스를 포할 수 있다. 예를 들어, 사용자 디바이스(220)의 사용자는 라이브스트림 서버(210)에서 이용 가능한 서비스에 액세스하기 위해 모바일 커머스 애플리케이션을 다운로드할 수 있다. 일부 실시예에서, 사용자 디바이스(들)(220)는 시스템(100)(도 1a)의 일부일 수 있다. 사용자 디바이스(들)(220)는 외부 프론트 엔드 시스템(103)을 탐색하고 검색창에 정보를 입력함으로써 검색을 요청할 수 있다. 그러나, 다른 실시예에서, 사용자 디바이스(들)(220)는 시스템(100)으로부터 독립적일 수 있다. 사용자 디바이스(들)(220)는, 아래에 설명되는 기능을 구현하도록 동작을 수행하기 위해, 사용자 디바이스(들)(220)에 포함된 메모리와 같은 메모리에 저장된 소프트웨어 명령을 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 사용자 디바이스(들)(220)는 유선 및/또는 무선 통신을 위해 구성될 수 있고, 프로세서에 의해 실행될 때, 인터넷 관련 통신(예로써, TCP/IP) 및 콘텐츠 표시 프로세스를 수행하는 소프트웨어를 포함할 수 있다. 예를 들어, 사용자 디바이스(들)(220)는 사용자 디바이스(들)(220)에 포함되거나 연결된 디스플레이 디바이스에 콘텐츠를 포함하는 인터페이스를 생성 및 표시하는 브라우저 소프트웨어를 실행할 수 있다. 사용자 디바이스(들)(220)는 사용자 디바이스(들)(220)가 네트워크(230)를 통해 컴포넌트들과 통신하고 사용자 디바이스(들)(220)에 포함된 디스플레이 디바이스를 통해 인터페이스 내에 콘텐츠를 표시하게 하는 애플리케이션을 실행할 수 있다.
네트워크(230)는 시스템(200)의 컴포넌트들 사이에 통신을 제공하도록 구성된 임의의 타입의 네트워크일 수 있다. 예를 들어, 네트워크(230)는 인터넷, 또는 시스템(200)의 컴포넌트들 사이에서 정보의 전송 및 수신을 가능하게 하는 기타 적합한 커넥션(들)과 같이, 통신을 제공하고, 정보를 교환하고, 그리고/또는 정보의 교환을 용이하게 하는 임의의 타입의 네트워크(인프라 포함)일 수 있다. 다른 실시예에서, 네트워크(230)는 예를 들어 네트워크들의 네트워크를 구성하는 다수의 네트워크를 포함할 수 있다.
도 3은 개시된 실시예에 따른, 클립 생성 모듈의 예시적인 실시예를 나타낸 개략적인 블록도(300)이다. 도 3에서, 클립 생성 모듈(218)은 오디오 프로세싱 모듈(301), 비디오 프로세싱 모듈(302), 분할 모듈(303), 사용자 데이터 프로세싱 모듈(304), 선택 모듈(305), 스코어링 모듈(306), 및 병합 모듈(307)을 포함할 수 있다.
일부 실시예에서, 오디오 프로세싱 모듈(301)은 음성 활동 감지(VAD, voice activity detection) 및/또는 자동 음성 인식(ASR, automatic speech recognition)을 수행하여 소스 라이브스트림 비디오에서 비디오의 헤드 및 테일, 문장 브레이크(sentence break), 뮤트 및 키워드를 검출하도록 구성된 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 오디오 프로세싱 모듈(301)은 음성 활동 감지(VAD)를 수행하여 라이브스트림의 오디오 데이터를 여러 오디오 프레임으로 프레이밍하고 에너지를 서로 다른 서브밴드로 필터링하도록 구성될 수 있다. 오디오 프로세싱 모듈(301)은 추가로 수학적 모델(예로써, 가우시안 혼합 모델)을 사용하여 여러 오디오 프레임의 오디오 프레임이 음성 신호인지 여부를 결정하도록 구성될 수 있다. 추가적으로, 모델 파라미터는 모델의 정확성을 향상시키기 위해 적응적으로 업데이트될 수 있다. 일부 실시예에서, 오디오 프로세싱 모듈(301)은 자동 음성 인식(ASR)을 수행하도록 구성된 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 오디오 프로세싱 모듈은 일련의 입력 음향 특징을 일련의 단어로 매핑하도록 트레이닝된 딥 러닝 모델을 포함할 수 있다. 일부 실시예에서, 오디오 프로세싱 모듈(301)은 라이브스트림이 시작하기 전에 제시되는 스트리머 소개(즉, 제품과 관련없는 표준 코멘트) 및/또는 슬라이드쇼(들) 또는 브랜드 비디오(들)를 포함할 수 있는 비디오의 시작 섹션(즉, 헤드)을 검출하고 제거할 수 있다. 예를 들어, 오디오 프로세싱 모듈(301)은 자연 언어 처리를 사용하여 비디오의 시작 섹션(예로써, 임의의 스트리머 소개, 슬라이드쇼, 브랜드 비디오 등을 포함하는 섹션)을 검출하여 비디오로부터 검출된 시작 섹션을 제거할 수 있다. 일부 실시예에서, 오디오 프로세싱 모듈(301)은 스트리머가 공식적으로 하나 이상의 제품에 대해 말하기 시작하는 시간을 검출하여 시작 섹션을 식별할 수 있다. 예를 들어, 비디오의 시간 t1에서, 오디오 프로세싱 모듈(301)은 스트리머가 "오늘은 이러한 제품을 살펴볼 것입니다"라고 말하기 시작하는 것을 검출하고, 리뷰가 공식적으로 시작되었다고 이해할 수 있다. 오디오 프로세싱 모듈(301)은 시간 t1까지의 비디오의 세그먼트를, 비디오의 시작 또는 "헤드"로서 라벨링하고, 비디오로부터 그 헤드를 제거할 수 있다. 유사하게, 오디오 프로세싱 모듈(301)은 자연 언어 처리를 사용하여 비디오의 종료 섹션(즉, 테일)을 검출하여 비디오로부터 검출된 종료 섹션을 제거할 수 있다. 일부 실시예에서, 오디오 프로세싱 모듈(301)은 스트리머가 리뷰를 끝내고 클로징 멘트(즉, 제품과 관련없는 표준 코멘트)를 시작하는 시간을 검출하여 종료 섹션을 식별하고, 비디오로부터 그 테일을 제거할 수 있다. 또한, 오디오 프로세싱 모듈(301)은 문장의 시작과 끝의 식별을 포함할 수 있는 문장 브레이크를 검출하고, 또한 묵음 세그먼트(즉, 뮤트)를 검출할 수 있다. 또한, 오디오 프로세싱 모듈(301)은 라이브스트림 비디오의 스트리머가 키워드(예로써, 제품명, 제품과 연관된 가격)를 발화하는 때를 모니터하고, 키워드가 언급된 각 시간을 추적하고 저장할 수 있다.
일부 실시예에서, 비디오 프로세싱 모듈(302)은 소스 라이브스트림 비디오에서, 텍스트 검출, 에지 검출, 텍스트 인식, 컬러 히스토그램 분석, 모션 벡터 분석, 절대 차분 합(SAD, sum of absolute differences) 및/또는 차분 제곱 합(SSD, sum of squared differences) 계산을 수행하도록 구성된 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 일부 실시예에서, 비디오 프로세싱 모듈(302)은 소스 라이브스트림 비디오에서 에지 검출 기술을 사용하여 하나 이상의 보드가 나타나는 다양한 시간을 검출할 수 있다. 예를 들어, 비디오 프로세싱 모듈은 밝기의 불연속성을 검출하여 비디오 프레임 내의 오브젝트의 경계를 찾고, 특정 모양(예로써, 정사각형)을 갖는 오브젝트를 보드로서 식별할 수 있다. 추가적으로 또는 대안적으로, 비디오 프로세싱 모듈(302)은 텍스트 검출을 수행하여 보드 내의 텍스트를 식별할 수 있다. 예를 들어, 비디오 프로세싱 모듈(302)은 기계 학습 기술(예로써, 서포트 벡터 머신) 및 콘볼루션 뉴럴 네트워크로 텍스트 검출을 수행하여 비디오 프레임 내의 컴포넌트를 텍스트 또는 비텍스트로서 분류할 수 있다. 또한, 비디오 프로세싱 모듈(302)은, 소스 라이브스트림 비디오에서 하이라이트 세그먼트를 검출하기 위해, 광학식 문자 인식과 같은 텍스트 인식을 사용하여 타이핑된, 수기의, 또는 프린트된 텍스트의 이미지를 기계 인코딩된 텍스트로 전환할 수 있다. 또한, 비디오 프로세싱 모듈(302)은 컬러 히스토그램 분석, 모션 벡터 분석, SAD 및/또는 SSD를 사용하여 장면 전환을 검출할 수 있다. 예를 들어, 비디오 프로세싱 모듈(302)은 복수의 세그먼트의 각 세그먼트에 대한 차이 스코어(difference score)를 결정할 수 있다(도 4와 관련하여 아래에서 더 자세하게 논의됨). 일부 실시예에서, 비디오 프로세싱 모듈(302)은 라이브스트림 비디오 내의 시각적 데이터를 분석 및 이해하도록 트레이닝된 컴퓨터 비전 뉴럴 네트워크를 포함할 수 있다.
일부 실시예에서, 분할 모듈(303)은 오디오 프로세싱 모듈(301) 및/또는 비디오 프로세싱 모듈(302)에 의해 수행된 분석에 기초하여 세그먼트를 생성하도록 구성된 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 분할 모듈(303)은 VAD 및/또는 ASR를 이용한 오디오 프로세싱 모듈(301)에 의해 검출된 문장에 적어도 부분적으로 기초하여 세그먼트를 생성하도록 구성될 수 있다. 일부 실시예에서, 분할 모듈(303)은 텍스트 검출 및/또는 에지 검출을 이용한 비디오 프로세싱 모듈(302)에 의해 검출된 프로모션 표지(예로써, 수제 포스터)에 적어도 부분적으로 기초하여 세그먼트를 생성하도록 구성될 수 있다. 일부 실시예에서, 분할 모듈(303)은 오디오 프로세싱 모듈(301) 및 비디오 프로세싱 모듈(302)에 의해 생성된 오디오 및 비디오 데이터 양방을 고려하여 소스 라이브스트림 비디오에서 최적의 클립 위치를 식별할 수 있다. 일부 실시예에서, 분할 모듈(303)은 각 세그먼트가 유사한 시간 기간(예로써, 1분)이 되도록 세그먼트를 생성하도록 구성될 수 있다.
일부 실시예에서, 사용자 데이터 프로세싱 모듈(304)은 복수의 소스 라이브스트림 비디오와 연관된 사용자 데이터를 수집하도록 구성된 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 사용자 데이터 프로세싱 모듈(304)은 하나 이상의 사용자 클라이언트를 통해 라이브스트림 비디오와 연관된 사용자 액션을 모니터함으로써 라이브 데이터 및 VOD(video on demand) 데이터를 모니터하고 추적하도록 구성될 수 있으며, 로깅을 위해 이 데이터를 서버에 전송할 수 있다. 일부 실시예에서, 사용자 프로세싱 모듈(304)은 글랜스 뷰(즉, 비디오를 본 횟수), 메모리 할당, 및/또는 라이브스트림과 연관된 웹 트래픽의 급증을 측정할 수 있다. 일부 실시예에서, 사용자 프로세싱 모듈(304)은 라이브스트림에서 중요한 실시간 사용자 인터랙션이 있었던 동안의 세그먼트(즉, 하이라이트 라이브 세그먼트)를 식별하기 위해 각각의 좋아요, 채팅, 및 장바구니 추가 액션과 연관된 타임스탬프를 따라서 라이브스트림 동안 수행된 각각의 좋아요, 채팅, 및 장바구니 추가 액션을 추적할 수 있다. 일부 실시예에서, 사용자 프로세싱 모듈(304)은 뷰어들 사이에서 가장 인기있는 비디오를 식별하기 위해 소스 라이브스트림 비디오의 각 비디오와 관련된 비디오 뷰, 탐색, 및 장바구니 추가 액션의 수를 포함할 수 있는 VOD 데이터를 결정할 수 있다. 일부 실시예에서, 사용자 프로세싱 모듈(304)은 라이브스트림 VOD 비디오에서 중요한 VOD 사용자 인터랙션이 있었던 세그먼트(즉, 하이라이트 비디오 세그먼트)를 식별하기 위해 라이브스트림 VOD 비디오의 각 세그먼트에 대한 뷰, 탐색, 장바구니 추가 액션의 수를 결정할 수 있다. 또한, 사용자 데이터 프로세싱 모듈(304)은 라이브스트림 VOD 비디오의 각 세그먼트에 대한 CVR(conversion rate) 및/또는 CTR(click-through rate)을 결정할 수 있다. 일부 실시예에서, 사용자 데이터 프로세싱 모듈(304)은 주기적으로(예로써, 1-10초마다) 재생된 비디오의 타임스탬프 위치를 포함하는 현재 재생 상태(예로써, 재생, 일시 정지, 정지, 되감기/빨리 감기)를 전송한다.
일부 실시예에서, 선택 모듈(305)은 제품 키워드, 탐색, 재생, 장바구니 추가, 좋아요, 채팅 및 보드 검출의 빈도를 포함하는 복수의 팩터 중 서로 다른 팩터에 따라 특정 세그먼트를 식별하도록 구성된 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 일부 실시예에서, 선택 모듈(305)은 오디오 프로세싱 모듈(301)에 의해 수행된 ASR에 기초하여 가장 높은 제품 키워드 빈도를 가지는 다수의 세그먼트를 식별하고 선택하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 선택 모듈(305)은 사용자 데이터 프로세싱 모듈(304)에 의해 결정된 가장 높은 재생 빈도를 가지는 다수의 세그먼트, 가장 높은 사용자 좋아요 빈도를 가지는 다수의 세그먼트, 가장 높은 사용자 채팅 빈도를 가지는 다수의 세그먼트, 및 가장 높은 장바구니 추가 액션 빈도를 가지는 다수의 세그먼트를 선택하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 선택 모듈(305)은 비디오 프로세싱 모듈(302)에 의해 검출된 보드 또는 표지를 가지는 모든 세그먼트를 선택하도록 구성될 수 있다.
일부 실시예에서, 스코어링 모듈(306)은 오디오 프로세싱 모듈(301), 비디오 프로세싱 모듈(302), 분할 모듈(303), 사용자 데이터 프로세싱 모듈(304) 및 선택 모듈(305)에 의해 처리된 데이터를 수신하고, 라이브스트림 비디오의 복수의 세그먼트의 각 세그먼트에 대한 스코어를 출력하도록 구성된 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 일부 실시예에서, 스코어링 모듈(306)은 복수의 세그먼트의 각 세그먼트에 대해 중립 스코어(예로써, 0)를 설정하여 스코어링 프로세스를 시작하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 스코어링 모듈(306)은 복수의 팩터에 따라 선택 모듈(305)에 의해 선택된 세그먼트에 대해 세그먼트 스코어에 미리 결정된 가중치를 선택적으로 적용하도록 구성될 수 있다. 예를 들어, 스코어링 모듈(306)은 가장 높은 제품 키워드 빈도를 갖는 것으로 선택된 세그먼트에 최대 가중치를 적용할 수 있다(즉, 세그먼트 스코어에 최대 가중치 값인 1을 곱함). 추가적으로 또는 대안적으로, 스코어링 모듈(306)은 비디오 프로세싱 모듈(302)에 의해 수행된 분석에 기초하여 복수의 세그먼트의 각 세그먼트에 대해 차이 스코어를 결정할 수 있다. 예를 들어, 스코어링 모듈(306)은 각 세그먼트에 대해 결정된 차이 스코어를 복수의 세그먼트 스코어의 각 세그먼트 스코어에 추가할 수 있다. 여기서, 결정된 차이 스코어는 절대 차분 합(SAD)에 기초하여 계산된 차이 스코어에 적용되는 미리 결정된 가중치에 기초할 수 있다. 본 개시의 내용에서, "가중치를 적용한다"는 것은 값(예로써, 스코어)에 미리 결정된 가중치 값(예로써, 0.1 내지 1 사이의 값)을 곱하는 것을 나타낸다.
일부 실시예에서, 병합 모듈(307)은 스코어링 모듈(306)에 의해 결정된 스코어에 기초하여 다수의 세그먼트를 선택하고, 선택된 세그먼트를 병합하여 새 하이라이트 비디오를 생성하도록 구성된 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 병합 모듈(307)은 새 하이라이트 비디오를 생성하기 위해 가장 높은 스코어를 가지는 미리 결정된 수의 세그먼트를 선택하고 병합하도록 구성될 수 있다. 일부 실시예에서, 병합 모듈(307)은 선택된 세그먼트의 하나 이상의 쌍들 사이에 트랜지션 효과(예로써, 크로스 페이드)를 삽입하도록 구성될 수 있다.
도 4는 오디오 및 비디오 프로세싱을 사용하여 하이라이트 비디오를 자동적으로 생성하는 예시적인 방법(400)을 보여준다. 이 방법 또는 그 일부는 라이브스트림 서버(210)에 의해 수행될 수 있다. 예를 들어, 시스템은 하나 이상의 프로세서, 및 하나 이상의 프로세서에 의해 실행될 때, 시스템이 도 4에 도시된 스텝을 수행하게 하는 명령을 저장하는 메모리를 포함할 수 있다.
스텝 402에서, 적어도 하나의 프로세서는 미리 결정된 시간 기간으로부터 복수의 소스 비디오에 대한 사용자 액션 데이터를 검색하도록 구성될 수 있다. 예를 들어, 라이브스트림 서버(210)는 주어진 기간(예로써, 3일, 4일, 1주 등과 같은 지난 며칠)에 수행된 각각의 라이브스트림과 연관된 데이터를 자동적으로 검색할 수 있다. 일부 실시예에서, 실시간 라이브스트림이 종료되면(즉, 방송 종료), 라이브스트림 서버(210)는 데이터베이스(212)와 같은 데이터베이스에, 라이브스트림과 연관된 사용자 액션 데이터와 함께, 라이브스트림을 저장할 수 있다. 예를 들어, 라이브스트림 서버(210)는 라이브스트림이 실시간으로 방송될 때 각 사용자 액션에 대한 타임스탬프를 따라 사용자 액션(예로써, 좋아요, 채팅, 장바구니 추가 액션)을 추적할 수 있고, 추후 검색을 위해 데이터베이스(212)에 사용자 액션 데이터를 저장할 수 있다. 추가적으로 또는 대안적으로, 라이브스트림 서버(210)는 라이브스트림이 데이터베이스(212)에 저장되어 VOD를 통해 사용자가 볼 수 있게 된 후에 각 라이브스트림과 연관된 사용자 액션(예로써, 탐색, 보기, 장바구니 추가 액션)을 추적할 수 있다. 예를 들어, 라이브스트림 서버(210)는 각 라이브스트림 VOD 비디오에서 탐색되고, 보여지고, 사용자 장바구니에 제품이 추가되었던 특정 순간을 식별하기 위해 각 액션과 연관된 타임스탬프 정보를 따라 한 명 이상의 사용자에 의해 수행된 각각의 탐색, 보기 및 장바구니 추가 액션을 추적할 수 있다. 추가적으로 또는 대안적으로, 라이브스트림 서버(210)는 글랜스 뷰, 메모리 할당, 및/또는 웹 트래픽 급증과 같이 라이브스트림 및 라이브스트림 VOD 비디오와 연관된 사용자 액션을 모니터할 수 있으며, 추후 검색을 위해 데이터베이스(212)에 사용자 액션을 저장할 수 있다.
스텝 404에서, 적어도 하나의 프로세서는, 검색된 사용자 액션 데이터에 기초하여, 복수의 소스 비디오 중 소스 비디오의 세트를 선택하도록 구성될 수 있다. 일부 실시예에서, 라이브스트림 서버(210)는 검색된 사용자 액션 데이터에 기초하여 선택할 다수의 소스 비디오를 결정할 수 있다. 예를 들어, 라이브스트림 서버(210)는 좋아요, 채팅, 탐색, 보기, 및/또는 장바구니 추가 액션의 수에 기초하여 미리 결정된 시간 기간 동안 라이브스트림 VOD 비디오 중 어느 것이 가장 인기가 있었는지를 결정할 수 있다. 일부 실시예에서, 라이브스트림 서버(210)는 검색된 사용자 액션 데이터에 기초하여 각 라이브스트림 VOD 비디오에 순위를 할당할 수 있다. 예를 들어, 라이브스트림 서버(210)는 가장 높은 사용자 액션 빈도(예로써, 일정 시간 기간 동안 가장 높은 조회수, 예로써, 라이브스트림 VOD 비디오의 길이 동안의 조회 수)를 가지는 라이브스트림 VOD 비디오에 가장 높은 1순위를 할당하고, 다음으로 가장 높은 사용자 액션 빈도를 가지는 라이브스트림 VOD 비디오에 2순위를 할당하는 등, 가장 낮은 사용자 액션 빈도를 가지는 라이브스트림 VOD 비디오에 가장 낮은 순위를 할당할 때까지 모든 라이브스트림 VOD 비디오에 대해서 할당할 수 있다. 일부 실시예에서, 라이브스트림 서버(210)는 미리 결정된 수의 VOD 비디오를 선택할 수 있다. 예를 들어, 추가 프로세싱을 위해 선택할 소스 비디오의 수가 라이브스트림 서버(210)에 의해 자동적으로 미리 설정될 수 있다. 랭킹에 기초하여, 라이브스트림 서버(210)는 가장 높은 순위의 라이브스트림 VOD 비디오들의 미리 결정된 수(예로써, 10개, 50개, 100개 등)의 소스 비디오를 선택할 수 있다. 일부 실시예에서, 라이브스트림 서버(210)는 미리 결정된 임계값보다 높은 사용자 액션의 수를 가지는 모든 소스 비디오를 선택할 수 있다. 예를 들어, 라이브스트림 서버(210)는 미리 결정된 임계값인 100,000뷰보다 높은 조회 수를 가지는 모든 소스 비디오를 선택할 수 있다. 일부 실시예에서, 추가 프로세싱을 위해 선택할 소스 비디오의 수는 관리자에 의해 수동적으로 미리 설정될 수 있다.
스텝 406에서, 적어도 하나의 프로세서는 데이터베이스로부터 선택된 소스 비디오의 세트를 검색하도록 구성될 수 있다. 예를 들어, 주어진 기간에 데이터베이스(212)에 저장된 모든 라이브스트림 VOD 비디오(예로써, 1000개, 2000개, 10000개 등) 중에서, 라이브스트림 서버(210)는 추가 프로세싱을 위해 사용자들 사이에서 가장 인기가 있다고 결정된 10퍼센트의 라이브스트림 VOD 비디오만을 데이터베이스(212)로부터 검색할 수 있다. 이렇게 함으로써, 라이브스트림 서버(210)는 프로세싱 비효율 및 비용을 줄이는 기능을 제공할 수 있다. (다양한 실시예에서 10퍼센트 이외의 값도 가능하다.)
스텝 408에서, 적어도 하나의 프로세서는, 선택된 소스 비디오의 각 소스 비디오에 대해, 클립 포인트를 식별하기 위해 소스 비디오를 분석하도록 구성될 수 있다. 예를 들어, 라이브스트림 서버(210)는 라이브스트림 VOD 비디오의 헤드(즉, 도입 섹션)와 테일(즉, 클로징 섹션), 문장의 시작과 끝, 뮤트의 시작과 끝, 및 라이브스트림 VOD 비디오의 스트리머에 의해 언급된 키워드에 대한 타임스탬프를 식별하기 위해 음성 활동 감지(VAD) 및 자동 음성 인식(ASR)과 같은 오디오 프로세싱을 수행하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 라이브스트림 서버(210)는 라이브스트림 VOD 비디오에서 프레임들 간의 차이 검출(예로써, 컬러 히스토그램 분석, 모션 벡터 분석, 및 절대 차분 합(SAD) 및/또는 차분 제곱 합(SSD)의 계산), 가격 보드 검출(예로써, 텍스트 검출, 에지 검출), 및 텍스트 인식(예로써, 광학식 문자 인식)과 같은 비디오 프로세싱을 수행하도록 구성될 수 있다. 오디오 및/또는 비디오 프로세싱에 기초하여, 라이브스트림 서버(210)는 라이브스트림 VOD 비디오를 다수의 세그먼트로 클립핑하기 위한 타임스탬프를 식별할 수 있다.
스텝 410에서, 적어도 하나의 프로세서는 이 분석에 기초하여 분석된 소스 비디오를 복수의 세그먼트로 분할하도록 구성될 수 있다. 예를 들어, 각 라이브스트림 VOD 비디오는 대략 1시간일 수 있고, 각각의 분석된 VOD에 대해, 라이브스트림 서버(210)는 식별된 타임스탬프에서 라이브스트림 VOD 비디오를 클립하여 복수의 세그먼트를 생성할 수 있다. 이 분할로 인해, 라이브스트림 VOD 비디오의 헤드와 테일뿐만 아니라 뮤트를 포함하는 세그먼트를 생성할 수 있으며, 이는 라이브스트림 서버(210)가 추가 프로세싱을 위해 복수의 세그먼트로부터 제거할 수 있다. 추가적으로 또는 대안적으로, 라이브스트림 서버(210)는 문장 브레이크에 대한 타임스탬프(즉, 문장의 시작과 끝)를 식별할 수 있으며, 식별된 타임스탬프에서 클립하여 문장 세그먼트를 생성할 수 있다. 일부 실시예에서, 라이브스트림 서버(210)는 복수의 세그먼트의 각 세그먼트가 미리 결정된 시간 범위 내에 있도록 라이브스트림 VOD 비디오를 클립할 수 있다. 예를 들어, 라이브스트림 서버(210)는 각 세그먼트가 30초-90초가 되도록 라이브스트림 VOD 비디오를 클립할 수 있다. 또 다른 예에서, 라이브스트림 서버(210)는 각 세그먼트가 50초-70초가 되도록 라이브스트림 VOD 비디오를 클립할 수 있다. 이 경우에, 대략 1시간 길이의 라이브스트림 VOD 비디오는 헤드, 테일 및 뮤트를 포함하여 대략 50-70개의 세그먼트가 된다. 일부 실시예에서, 라이브스트림 서버(210)는 각 세그먼트가 동등한 기간(예로써, 30초, 1분)이 되도록 라이브스트림 VOD 비디오를 클립할 수 있다. 추가적으로 또는 대안적으로, 라이브스트림 서버(210)는 이미 클립된 세그먼트를 추가로 클립할 수 있다. 예를 들어, 라이브스트림 서버(210)는 먼저 복수의 문장 세그먼트를 생성하기 위해 문장 브레이크의 검출에 기초하여 라이브스트림 VOD 비디오를 복수의 세그먼트로 클립할 수 있다. 문장 세그먼트 기간이 미리 결정된 시간 범위보다 긴 경우에, 라이브스트림 서버(210)는 최적의 2차 클립핑 포인트를 찾기 위해 자동 음성 인식(ASR)에 기초하여 문장 세그먼트를 추가로 클립할 수 있으며, 문장 세그먼트 기간이 미리 결정된 시간 범위 내에 속할 때까지 이 프로세스를 반복할 수 있다.
스텝 412에서, 적어도 하나의 프로세서는, 복수의 세그먼트의 각 세그먼트에 대해, 세그먼트 데이터를 결정하고, 결정된 세그먼트 데이터에 기초하여 세그먼트 하이라이트 스코어를 계산하도록 구성될 수 있다. 일부 실시예에서, 라이브스트림 서버(210)는 검색된 사용자 액션 데이터를 사용하여 각 세그먼트에 대해 사용자 액션 데이터(예로써, 제품 키워드(ASR), 탐색(VOD), 재생(VOD), 장바구니 추가(VOD), 장바구니 추가(live), 가격 키워드(ASR), 좋아요(live), 채팅(live))와 연관된 복수의 팩터의 각 팩터에 대한 값을 결정할 수 있다. 예를 들어, 제품 키워드(ASR)에 대한 값은 ASR을 사용하여 세그먼트에서 제품 키워드가 검출된 횟수일 수 있다. 또 다른 예에서, 장바구니 추가(VOD)에 대한 값은 라이브스트림 VOD 비디오에 등장한 제품이 사용자 장바구니에 추가된 횟수일 수 있으며, 반면에 장바구니 추가(live)에 대한 값은 라이브스트림이 실시간으로 방송될 때 라이브스트림에 등장한 제품이 사용자 장바구니에 추가된 횟수일 수 있다. 추가적으로 또는 대안적으로, 라이브스트림 서버(210)는, 각 세그먼트에 대해, 세그먼트 내에 보드나 표지의 출현이 있는지 여부를 결정할 수 있다.
결정된 세그먼트 데이터에 기초하여, 라이브스트림 서버(210)는 각 세그먼트에 대한 세그먼트 하이라이트 스코어를 계산하도록 구성될 수 있으며, 각 세그먼트 스코어는 중립 스코어(예로써, 0)에서 시작한다. 일부 실시예에서, 각 세그먼트에 대한 세그먼트 하이라이트 스코어를 계산하기 전에, 라이브스트림 서버(210)는 복수의 팩터의 각 팩터에 대한 다수의 세그먼트를 선택할 수 있다. 예를 들어, 라이브스트림 서버(210)는 가장 높은 제품 키워드의 빈도를 가지는 미리 결정된 수(예로써, 2개, 5개, 10개 등)의 세그먼트를 선택할 수 있다. 추가적으로 또는 대안적으로, 라이브스트림 서버(210)는 가장 높은 재생 빈도를 가지는 미리 결정된 수의 세그먼트를 선택할 수 있다. 추가적으로 또는 대안적으로, 라이브스트림 서버(210)는 보드 또는 표지의 출현이 있는 것으로 결정된 모든 세그먼트를 선택할 수 있다.
일부 실시예에서, 라이브스트림 서버(210)는 복수의 팩터의 각 팩터에 대해 선택된 각각의 세그먼트에 미리 결정된 스코어 가중치를 적용할 수 있다. 예를 들어, 각 팩터는 팩터의 중요도와 관련된 미리 결정된 연관 스코어 가중치를 가질 수 있다. 예를 들어, 자주 언급되는 키워드는 복수의 세그먼트 중에서 더 제품 관련도가 높은 세그먼트를 나타낼 수 있기 때문에, 제품 키워드가 세그먼트에서 언급된 횟수는 모든 팩터 중에서 가장 높은 연관 스코어 가중치를 가질 수 있다. 따라서, 라이브스트림 서버(210)는 제품 키워드와 연관된 스코어 가중치를 가장 높은 제품 키워드의 빈도를 갖는 것으로 선택된 세그먼트에 적용할 수 있다. 추가적으로 또는 대안적으로, 가격 보드의 검출은 복수의 세그먼트 중에서 더 제품 관련도가 높은 세그먼트를 나타낼 수 있기 때문에, 가격 보드의 검출은 라이브스트림 서버(210)가 가격 보드 스코어 가중치를 적용하여 세그먼트의 스코어를 증가시키도록 할 수 있다. 한편, 좋아요(live)의 수 및 채팅(live)의 수는 각각 모든 팩터 중에서 비교적 낮은 스코어 가중치를 가질 수 있다. 왜냐하면, 라이브스트림이 실시간으로 방송될 때 모니터된 좋아요 및 채팅의 수는 다른 팩터와 비교하여 제품 관련도가 더 적을 수 있어서 제품 관련 세그먼트를 결정하는데 있어서 중요한 팩터가 아닐 수 있기 때문이며, 하지만, 상기 팩터가 없는 세그먼트보다는 여전히 더 높은 가중치를 가질 수 있다. 예시적인 스코어 가중치는 도 5와 관련하여 아래에서 논의된다.
추가적으로 또는 대안적으로, 라이브스트림 서버(210)는 복수의 세그먼트의 각 세그먼트에 대한 차이 스코어를 계산하도록 구성될 수 있다. 예를 들어, 라이브스트림 서버(210)는, 컬러 히스토그램 및 모션 벡터 분석을 수행하여, 세그먼트에서 서로 인접한 비디오 프레임들의 각 쌍에 대해, 두개의 서로 인접한 비디오 프레임의 각 픽셀 값(즉, 픽셀의 밝기와 컬러를 설명하는 값)의 절대차를 계산하여 서로 인접한 비디오 프레임을 비교할 수 있다(예로써, 프레임 1의 (x,y)를 프레임 2의 (x,y)와 비교). 각 픽셀 값의 절대차가 결정되어, 그 값들이 합산되면, 서로 인접한 비디오 프레임에 대한 절대 차분 합(SAD)이 된다. 결과 프레임 SAD 값이 0보다 크면, 라이브스트림 서버(210)는 이 값을 세그먼트에 대한 기존의 토털 SAD 값에 집계할 수 있다. 프레임 SAD가 세그먼트에서 서로 인접한 비디오 프레임의 각 쌍에 대해 결정되고, 토털 세그먼트 SAD가 업데이트되면, 라이브스트림 서버(210)는 토털 세그먼트 SAD를 최대 세그먼트 SAD와 비교할 수 있다. 예를 들어, 최대 세그먼트 SAD는 처음에 0 값으로 설정될 수 있다. 라이브스트림 서버(210)가 제1 토털 세그먼트 SAD가 0보다 큰 것으로 계산하면, 제1 토털 세그먼트 SAD는 최대 세그먼트 SAD로 설정될 수 있다. 추가적으로, 라이브스트림 서버(210)가 제2 토털 세그먼트 SAD가 제1 토털 세그먼트 SAD보다 큰 것으로 계산하면, 최대 세그먼트 SAD는 제2 토털 세그먼트 SAD 값으로 업데이트될 수 있다. 결국, 세그먼트에 대해 가장 큰 토털 세그먼트 SAD 값이 최대 세그먼트 SAD로 설정될 수 있다.
토털 세그먼트 SAD가 복수의 세그먼트의 각 세그먼트에 대해 결정되면, 라이브스트림 서버(210)는 최대 세그먼트 SAD에 대한 각각의 토털 세그먼트 SAD의 비를 결정하여 각 세그먼트에 대한 차이 스코어를 계산할 수 있다. 예를 들어, 라이브스트림 서버(210)는 세번째 세그먼트의 토털 세그먼트 SAD 값(예로써, 100)이 가장 큰 값을 갖는 것으로 결정할 수 있고, 이 값을 최대 세그먼트 SAD 값으로 설정할 수 있다. 이 경우에, 첫번째 세그먼트의 토털 세그먼트 SAD 값이 10값을 갖는다고 가정하면, 첫번째 세그먼트에 대한 세그먼트 하이라이트 스코어는 10/100(즉, 0.1)이 된다. 추가적으로, 세번째 세그먼트에 대한 세그먼트 하이라이트 스코어는 100/100(즉, 1)이 된다. 차이 스코어가 각 세그먼트에 대해 결정되면, 라이브스트림 서버(210)는 각 차이 스코어에 미리 결정된 차이 스코어 가중치(위에서 논의된 미리 결정된 스코어 가중치와 유사함)를 적용하고, 복수의 세그먼트의 각 세그먼트에 대한 기존의 세그먼트 하이라이트 스코어에 가중치 적용된 차이 스코어를 가할 수 있다.
스텝 414에서, 적어도 하나의 프로세서는 각 세그먼트의 계산된 세그먼트 하이라이트 스코어에 기초하여 복수의 세그먼트로부터 다수의 세그먼트를 선택하도록 구성될 수 있다. 일부 실시예에서, 라이브스트림 서버(210)는 계산된 세그먼트 하이라이트 스코어에 기초하여 복수의 세그먼트 각각의 순위를 정하도록 구성될 수 있다. 예를 들어, 라이브스트림 서버(210)는 가장 높은 하이라이트 스코어를 가지는 세그먼트에 1순위를 할당하고, 가장 낮은 하이라이트 스코어를 가지는 세그먼트에 세그먼트 수에 상당하는 순위를 할당할 수 있다. 일부 실시예에서, 라이브스트림 서버(210)는 가장 높은 스코어(즉, 가장 높은 순위)를 가지는 다수의 세그먼트를 선택하도록 구성될 수 있다. 예를 들어, 라이브스트림 서버(210)는 가장 높은 스코어를 가지는 미리 결정된 수의 세그먼트(예로써, 4개, 5개, 10개 등)를 선택하도록 구성될 수 있다. 일부 실시예에서, 라이브스트림 서버(210)는 모든 세그먼트의 총 기간이 미리 결정된 시간 범위 내에 있도록 다수의 세그먼트를 선택하도록 구성될 수 있다. 예를 들어, 라이브스트림 서버(210)는 모든 세그먼트의 총 기간이 4-5분 사이가 되도록 다수의 세그먼트를 선택하도록 구성될 수 있다. 이 경우에, 각 세그먼트가 대략 1분이면, 라이브스트림 서버(210)는 4-5개의 세그먼트를 선택하도록 구성될 수 있다.
스텝 416에서, 적어도 하나의 프로세서는 선택된 세그먼트에 기초하여 새 비디오를 생성하도록 구성될 수 있다. 일부 실시예에서, 라이브스트림 서버(210)는 선택된 세그먼트를 병합하여 새 비디오를 생성하도록 구성될 수 있다. 일부 실시예에서, 라이브스트림 서버(210)는 세그먼트의 하나 이상의 쌍 사이에 트랜지션을 삽입하도록 구성될 수 있다. 예를 들어, 라이브스트림 서버(210)는 각 세그먼트 사이에 3초의 트랜지션을 삽입할 수 있다. 일부 실시예에서, 트랜지션은 정보를 가지는 프레임일 수 있다. 예를 들어, 트랜지션은 라이브스트림 서버(210)가 이전에 수행한 오디오 및/또는 비디오 프로세싱에 의해 결정된 다음 세그먼트에 대한 정보를 가지는 프레임을 포함할 수 있다. 일부 실시예에서, 트랜지션은 데이터베이스(212)와 같은 데이터베이스로부터 검색된 제품 정보를 포함할 수 있다. 추가적으로 또는 대안적으로, 라이브스트림 서버(210)는 소스 비디오에서 나타난 순서대로 선택된 세그먼트를 병합하도록 구성될 수 있다. 일부 실시예에서, 라이브스트림 서버(210)는 계산된 세그먼트 하이라이트 스코어에 기초하여 결정된 순위 순서로 선택된 세그먼트를 병합하도록 구성될 수 있다.
스텝 418에서, 적어도 하나의 프로세서는 새 비디오를 저장하도록 구성될 수 있다. 일부 실시예에서, 새 비디오는 복수의 소스 라이브스트림 비디오를 저장하는 동일한 데이터베이스에 저장될 수 있다. 다른 실시예에서, 새 비디오는 복수의 소스 라이브스트림 비디오를 저장하는 데이터베이스와 별개의 데이터베이스에 저장될 수 있다. 추가적으로 또는 대안적으로, 데이터베이스(212)와 같은 데이터베이스에 새 비디오를 저장하는 것은, 새 비디오를 라이브스트림 서버(210)와 연관된 VOD 플랫폼에서 사용자가 볼 수 있게 할 수 있다. 일부 실시예에서, 라이브스트림 서버(210)는 사용자 디바이스(들)(220)에 새 하이라이트 비디오가 VOD 플랫폼에서 볼 수 있음을 나타내는 통지를 전송할 수 있다.
도 5는 팩터 및 예시적 연관 스코어 가중치의 예시적인 테이블(500)을 보여준다. 상술한 바와 같이, 제품 키워드(ASR), 가격 보드, 탐색(VOD), 재생(VOD), 장바구니 추가(VOD), 장바구니 추가(live), 가격 키워드(ASR), 좋아요(live), 채팅(live) 및 장면 전환과 같은 팩터는, 어느 세그먼트가 가장 제품 관련도가 높은지를 결정하기 위해 각 세그먼트에 대한 스코어를 결정하는데 있어서 고려될 수 있다. "제품 키워드(ASR)"는 자동 음성 인식(ASR)을 사용하여 세그먼트에서 검출된 제품 키워드(예로써, 제품명)의 수일 수 있다. "가격 보드"는 에지 검출 및/또는 텍스트 검출과 같은 비디오 프로세싱을 사용하여 세그먼트에서 가격 보드(예로써, 텍스트를 가지는 보드, 표지)가 검출되는지 여부의 결정(예로써, 예 또는 아니오)일 수 있다. "탐색(VOD)" 및 "재생(VOD)"은 라이브스트림 VOD 비디오에서 가장 자주 다시보기된 세그먼트와 연관된 팩터일 수 있다. 예를 들어, "탐색(VOD)"은 라이브스트림 VOD 비디오의 특정 세그먼트를 한 명 이상의 사용자가 탐색한 횟수일 수 있으며, 이는 데이터베이스(212)와 같은 데이터베이스에 저장하기 위한 사용자 재생 로그에서 사용자 인터랙션을 모니터하고 추적하여 결정될 수 있다. 마찬가지로, "재생(VOD)"은 라이브스트림 VOD 비디오의 특정 세그먼트가 한 명 이상의 사용자에 의해 재생된 횟수일 수 있으며, 이는 데이터베이스(212)와 같은 데이터베이스에 저장하기 위한 사용자 재생 로그에서 사용자 인터랙션을 모니터하고 추적하여 결정될 수 있다. "장바구니 추가(VOD)"는 라이브스트림 서버(210)가 라이브스트림 VOD 비디오의 특정 세그먼트 동안 제품이 사용자 장바구니에 추가된 것을 검출하는 횟수일 수 있다. "장바구니 추가(Live)"는 라이브스트림 서버(210)가 실시간으로 방송되고 있는 라이브스트림의 특정 세그먼트 동안 제품이 사용자 장바구니에 추가된 것을 검출하는 횟수일 수 있다. "가격 키워드(ASR)"는 ASR을 사용하여 세그먼트에서 검출된 가격 키워드(예로써, 제품 가격)의 수일 수 있다. "좋아요(Live)" 및 "채팅(Live)"은, 각각, 실시간으로 방송되고 있는 라이브스트림의 특정 세그먼트 동안 검출된 좋아요의 수 및 채팅의 수일 수 있다. "장면 전환"은 컬러 히스토그램 및 모션 벡터 분석에 기초하여 프레임 간의 차이(예로써, 스트리머의 중요 움직임, 카메라에 대한 스트리머의 근접도 변화, 표지 검출 등)를 검출하는 것, 그리고 절대 차분 합(SAD) 및/또는 차분 제곱 합(SSD)을 계산하는 것과 관련된 팩터일 수 있다.
도 6은 상기 방법(400)에서 설명된 예시적인 스텝의 흐름을 나타낸 다이어그램(600)을 보여준다. 다이어그램(600)은 도입부(헤드), 종료부(테일), 뮤트(m1, m2, … m7), 세그먼트(s1, s2, … s9), 및 타임스탬프(t0, t1, … t18)를 포함하는 소스 라이브스트림 비디오(610)로 시작한다. 이것들은 위에서 설명한 오디오 및 비디오 프로세싱 기술 중 어느 것으로 식별될 수 있다. 타임스탬프(t1, t2, … 및 t17)는 문장 브레이크를 나타낼 수 있다. 라이브스트림 서버(210)는 타임스탬프(t1, t2, … t17)에서 소스 라이브스트림 비디오(610)를 클립하도록 진행하고, 도입부(헤드), 종료부(테일), 및 뮤트(m1, m2, … m7)를 제거하여, 세그먼트(s1, s2, … s9)만으로 되도록 할 수 있으며, 여기서 각 세그먼트는 대략 1분 길이이다. 각각의 세그먼트는 위에서 설명한 스코어링 기술에 따라서 스코어링되어, 스코어링된 세그먼트(620)로 될 수 있다. 스코어링된 세그먼트 중에서, 상위 4개의 세그먼트만 선택되어, 선택된 세그먼트(630)로 될 수 있다. 선택된 세그먼트(630) 각각은 소스 라이브스트림 비디오(610)에서 나타나는 것과 동일한 순서로 각 세그먼트 사이에 트랜지션을 가지고 병합되어, 하이라이트 비디오(640)로 될 수 있다.
본 개시는 그 특정 실시예를 참조하여 도시되고 설명되었지만, 본 개시는 다른 환경에서, 변경없이, 실시될 수 있음을 이해할 것이다. 전술한 설명은 예시의 목적으로 제시되었다. 그것은 개시된 정확한 형태나 실시예에 대해 총망라된 것이 아니며 이것으로 한정되는 것은 아니다. 개시된 실시예의 설명 및 실시를 고려하는 것으로부터 변경 및 조정이 통상의 기술자에게 명백할 것이다. 추가적으로, 비록 개시된 실시예의 형태가 메모리에 저장되는 것으로서 설명되었지만, 통상의 기술자는 이들 형태가 2차 저장 디바이스, 예를 들면, 하드디스크나 CD ROM, 또는 다른 형태의 RAM이나 ROM, USB 매체, DVD, 블루레이, 또는 다른 광 드라이브 매체와 같이, 다른 형태의 컴퓨터 판독 가능한 매체에 저장될 수도 있는 것을 이해할 것이다.
상술한 설명 및 개시된 방법에 기초한 컴퓨터 프로그램은 숙련된 개발자의 기술 내에 있다. 여러 프로그램 혹은 프로그램 모듈은 통상의 기술자에게 알려진 어느 기술을 이용하여 생성되거나, 또는 기존의 소프트웨어와 연결하여 설계될 수 있다. 예를 들면, 프로그램 섹션 혹은 프로그램 모듈은 닷넷 프레임워크, 닷넷 컴팩트 프레임워크(및 비주얼 베이식, C 등과 같은, 관련 언어), 자바, C++, 오브젝티브 C, HTML, HTML/AJAX 조합, XML, 또는 자바 애플릿이 포함된 HTML 내에서 혹은 그것들에 의해서 설계될 수 있다.
게다가, 여기에서는 예시적인 실시예가 설명되었지만, 본 개시에 기초하여 통상의 기술자가 이해할 수 있는 바와 같이, 일부 또는 모든 실시예의 범위는 동등한 요소, 변경, 생략, 조합(예로써, 여러 실시예에 걸치는 형태의 조합), 조정 및/또는 수정을 가질 수 있다. 청구범위 내의 제한 사항은 그 청구범위 내에 적용된 언어에 기초하여 폭넓게 이해되도록 하는 것이며, 응용의 수행 동안 혹은 본 명세서 내에 설명된 예시로 한정되는 것은 아니다. 그 예시는 비배타적으로 해석되도록 하기 위한 것이다. 추가로, 개시된 방법의 스텝은 어떤 다른 방법으로 변경되거나, 스텝을 재배열 및/또는 스텝을 삽입하거나 삭제하는 것을 포함할 수 있다. 그러므로, 설명 및 예시는 오직 예시적으로 고려되는 것이며, 진정한 범위 및 기술 사상은 다음의 청구범위 및 그 동등한 전체 범위에 의해 나타내지는 것으로 의도된다.
Claims (20)
- 하이라이트 비디오의 자동 생성을 위한 컴퓨터 구현 시스템으로서,
명령을 저장하는 하나 이상의 메모리 디바이스; 및
동작을 수행하기 위해 상기 명령을 실행하도록 구성된 하나 이상의 프로세서를 포함하고,
상기 동작은:
미리 결정된 시간 기간으로부터 복수의 소스 비디오에 대한 사용자 액션 데이터를 검색하고;
상기 검색된 사용자 액션 데이터에 기초하여, 상기 복수의 소스 비디오 중 소스 비디오의 세트를 선택하고;
상기 선택된 소스 비디오의 세트를 검색하고;
상기 선택된 소스 비디오의 세트 각각에 대해:
클립 포인트를 식별하도록 상기 소스 비디오를 분석하고;
상기 분석된 소스 비디오를 복수의 세그먼트로 분할하고;
상기 복수의 세그먼트의 각 세그먼트에 대해:
세그먼트 데이터를 결정하고; 그리고
상기 결정된 세그먼트 데이터에 기초하여 세그먼트 하이라이트 스코어를 계산하고;
각 세그먼트의 상기 계산된 세그먼트 하이라이트 스코어에 기초하여 상기 복수의 세그먼트로부터 다수의 세그먼트를 선택하고;
상기 선택된 세그먼트에 기초하여 새 비디오를 생성하고; 그리고
상기 새 비디오를 저장하는 것을 포함하는 컴퓨터 구현 시스템. - 청구항 1에 있어서,
상기 명령을 실행하도록 구성된 상기 하나 이상의 프로세서가 수행하는 동작은:
라이브스트림 비디오 동안의 복수의 실시간 사용자 액션을 모니터하고;
하나 이상의 사용자 액션 로그에서 상기 복수의 실시간 사용자 액션을 컴파일하고; 그리고
데이터베이스에 상기 하나 이상의 사용자 액션 로그를 저장하는 것을 더 포함하고,
상기 복수의 소스 비디오는 복수의 완료된 라이브스트림 비디오인 컴퓨터 구현 시스템. - 청구항 2에 있어서,
상기 사용자 인터랙션은 한 명 이상의 사용자에 의한 각 소스 비디오와 연관된 탐색 액션 및 재생 액션 중 적어도 하나를 포함하는 컴퓨터 구현 시스템. - 청구항 1에 있어서,
상기 세그먼트 데이터를 결정하는 것은 상기 검색된 사용자 액션 데이터에 기초하는 컴퓨터 구현 시스템. - 청구항 1에 있어서,
상기 복수의 세그먼트의 각 세그먼트의 기간은 미리 결정된 시간 범위 내인 컴퓨터 구현 시스템. - 청구항 1에 있어서,
상기 세그먼트 데이터를 결정하는 것은 복수의 팩터의 각 팩터에 대한 값을 결정하는 것을 포함하는 컴퓨터 구현 시스템. - 청구항 6에 있어서,
상기 복수의 팩터는 적어도 언급된 제품 키워드의 빈도, 재생 빈도, 탐색 빈도, 좋아요 빈도, 채팅 빈도, 및 제품이 뷰어의 장바구니에 추가된 횟수를 포함하는 컴퓨터 구현 시스템. - 청구항 7에 있어서,
상기 결정된 세그먼트 데이터에 기초하여 세그먼트 하이라이트 스코어를 계산하는 것은 상기 복수의 팩터의 각 팩터에 대한 팩터 스코어를 계산하는 것을 포함하는 컴퓨터 구현 시스템. - 청구항 8에 있어서,
상기 복수의 팩터의 각 팩터는 연관된 미리 결정된 가중치를 가지며,
상기 세그먼트 하이라이트 스코어를 계산하는 것은 상기 복수의 팩터의 각 팩터에 대한 상기 계산된 팩터 스코어 및 상기 미리 결정된 가중치에 적어도 부분적으로 기초하는 컴퓨터 구현 시스템. - 청구항 1에 있어서,
상기 각 세그먼트의 상기 계산된 세그먼트 하이라이트 스코어에 기초하여 상기 복수의 세그먼트로부터 다수의 세그먼트를 선택하는 것은, 상기 계산된 세그먼트 하이라이트 스코어 중 가장 높은 세그먼트 하이라이트 스코어를 가지는 미리 결정된 수의 세그먼트를 선택하는 것을 포함하는 컴퓨터 구현 시스템. - 하이라이트 비디오의 자동 생성을 위한 컴퓨터 구현 방법으로서,
미리 결정된 시간 기간으로부터 복수의 소스 비디오에 대한 사용자 액션 데이터를 검색하고;
상기 검색된 사용자 액션 데이터에 기초하여, 상기 복수의 소스 비디오 중 소스 비디오의 세트를 선택하고;
데이터베이스로부터 상기 선택된 소스 비디오의 세트를 검색하고;
상기 선택된 소스 비디오의 세트 각각에 대해:
클립 포인트를 식별하도록 상기 소스 비디오를 분석하고;
상기 분석된 소스 비디오를 복수의 세그먼트로 분할하고;
상기 복수의 세그먼트의 각 세그먼트에 대해:
세그먼트 데이터를 결정하고; 그리고
상기 결정된 세그먼트 데이터에 기초하여 세그먼트 하이라이트 스코어를 계산하고;
각 세그먼트의 상기 계산된 세그먼트 하이라이트 스코어에 기초하여 상기 복수의 세그먼트로부터 다수의 세그먼트를 선택하고;
상기 선택된 세그먼트에 기초하여 새 비디오를 생성하고; 그리고
상기 데이터베이스에 상기 새 비디오를 저장하는 것을 포함하는 컴퓨터 구현 방법. - 청구항 11에 있어서,
라이브스트림 비디오 동안의 복수의 실시간 사용자 액션을 모니터하고;
하나 이상의 사용자 액션 로그에서 상기 복수의 실시간 사용자 액션을 컴파일하고; 그리고
데이터베이스에 상기 하나 이상의 사용자 액션 로그를 저장하는 것을 더 포함하고,
상기 복수의 소스 비디오는 복수의 완료된 라이브스트림 비디오인 컴퓨터 구현 방법. - 청구항 12에 있어서,
상기 사용자 인터랙션은 한 명 이상의 사용자에 의한 각 소스 비디오와 연관된 탐색 액션 및 재생 액션 중 적어도 하나를 포함하는 컴퓨터 구현 방법. - 청구항 11에 있어서,
상기 세그먼트 데이터를 결정하는 것은 사용자 액션 데이터에 기초하는 컴퓨터 구현 방법. - 청구항 11에 있어서,
상기 복수의 세그먼트의 각 세그먼트의 기간은 미리 결정된 시간 범위 내인 컴퓨터 구현 방법. - 청구항 11에 있어서,
상기 세그먼트 데이터를 결정하는 것은 복수의 팩터의 각 팩터에 대한 값을 결정하는 것을 포함하는 컴퓨터 구현 방법. - 청구항 16에 있어서,
상기 복수의 팩터는 적어도 언급된 제품 키워드의 빈도, 재생 빈도, 탐색 빈도, 좋아요 빈도, 채팅 빈도, 및 제품이 뷰어의 장바구니에 추가된 횟수를 포함하는 컴퓨터 구현 방법. - 청구항 17에 있어서,
상기 세그먼트 하이라이트 스코어를 계산하는 것은 상기 복수의 팩터의 각 팩터에 대한 팩터 스코어를 계산하는 것을 포함하며, 상기 복수의 팩터의 각 팩터와 연관된 미리 결정된 가중치에 적어도 부분적으로 기초하는 컴퓨터 구현 방법. - 청구항 11에 있어서,
상기 각 세그먼트의 상기 계산된 세그먼트 하이라이트 스코어에 기초하여 상기 복수의 세그먼트로부터 다수의 세그먼트를 선택하는 것은, 상기 계산된 세그먼트 하이라이트 스코어 중 가장 높은 세그먼트 하이라이트 스코어를 가지는 미리 결정된 수의 세그먼트를 선택하는 것을 포함하는 컴퓨터 구현 방법. - 하이라이트 비디오의 자동 생성을 위한 컴퓨터 구현 시스템으로서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 스텝을 수행하게 하는 명령을 포함하는 적어도 하나의 비일시적 저장 매체를 포함하고,
상기 스텝은:
미리 결정된 시간 기간으로부터 복수의 소스 비디오에 대한 사용자 액션 데이터를 검색하고 - 상기 사용자 액션 데이터는 적어도 상기 복수의 소스 비디오의 각 소스 비디오와 연관된 복수의 모니터된 사용자 인터랙션을 포함함 - ;
상기 검색된 사용자 액션 데이터에 기초하여, 상기 복수의 소스 비디오 중 미리 결정된 수의 소스 비디오를 선택하고;
상기 선택된 소스 비디오를 검색하고;
상기 선택된 소스 비디오 각각에 대해:
클립 포인트를 식별하도록 상기 소스 비디오를 오디오 프로세싱으로 분석하고;
상기 분석된 소스 비디오를 복수의 세그먼트로 분할하고;
상기 복수의 세그먼트의 각 세그먼트에 대해:
상기 오디오 프로세싱에 적어도 부분적으로 기초하여 세그먼트 데이터를 결정하고; 그리고
상기 결정된 세그먼트 데이터에 기초하여 세그먼트 하이라이트 스코어를 계산하고;
각 세그먼트의 상기 계산된 세그먼트 하이라이트 스코어에 기초하여 상기 복수의 세그먼트로부터 다수의 세그먼트를 선택하고;
상기 선택된 세그먼트에 기초하여 새 비디오를 생성하고; 그리고
상기 새 비디오를 저장하는 것을 포함하는 컴퓨터 구현 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/885,234 | 2022-08-10 | ||
| US17/885,234 US20240054160A1 (en) | 2022-08-10 | 2022-08-10 | Computerized systems and methods for automatic generation of highlight videos |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240021662A true KR20240021662A (ko) | 2024-02-19 |
Family
ID=89846226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220123449A KR20240021662A (ko) | 2022-08-10 | 2022-09-28 | 하이라이트 비디오의 자동 생성을 위한 컴퓨터 시스템 및 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240054160A1 (ko) |
| KR (1) | KR20240021662A (ko) |
| TW (1) | TW202415079A (ko) |
| WO (1) | WO2024033714A1 (ko) |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8543454B2 (en) * | 2011-02-18 | 2013-09-24 | Bluefin Labs, Inc. | Generating audience response metrics and ratings from social interest in time-based media |
| US10616626B2 (en) * | 2015-03-31 | 2020-04-07 | The Hong Kong University Of Science And Technology | Method and system for analyzing user activities related to a video |
| KR101777242B1 (ko) * | 2015-09-08 | 2017-09-11 | 네이버 주식회사 | 동영상 컨텐츠의 하이라이트 영상을 추출하여 제공하는 방법과 시스템 및 기록 매체 |
| US10972524B1 (en) * | 2016-06-28 | 2021-04-06 | Amazon Technologies, Inc. | Chat based highlight algorithm |
| US10410060B2 (en) * | 2017-12-14 | 2019-09-10 | Google Llc | Generating synthesis videos |
| WO2020148658A2 (en) * | 2019-01-18 | 2020-07-23 | Rathod Yogesh | Methods and systems for displaying on map current or nearest and nearby or searched and selected location(s), geo-fence(s), place(s) and user(s) and identifying associated payments and account information for enabling to make and receive payments |
| US11620334B2 (en) * | 2019-11-18 | 2023-04-04 | International Business Machines Corporation | Commercial video summaries using crowd annotation |
| KR102487794B1 (ko) * | 2020-02-21 | 2023-01-13 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 비디오 중의 핫스팟 세그먼트를 추출하는 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램 제품 |
| KR20220102522A (ko) * | 2021-01-13 | 2022-07-20 | 삼성전자주식회사 | 요약 영상 생성 방법 및 그 전자 장치 |
-
2022
- 2022-08-10 US US17/885,234 patent/US20240054160A1/en active Pending
- 2022-09-28 KR KR1020220123449A patent/KR20240021662A/ko unknown
-
2023
- 2023-05-26 WO PCT/IB2023/055437 patent/WO2024033714A1/en unknown
- 2023-07-25 TW TW112127706A patent/TW202415079A/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| US20240054160A1 (en) | 2024-02-15 |
| WO2024033714A1 (en) | 2024-02-15 |
| TW202415079A (zh) | 2024-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11334897B2 (en) | Enabling to creating, selecting and associating tags or hashtags with contents | |
| US11432033B2 (en) | Interactive video distribution system and video player utilizing a client server architecture | |
| US10909586B2 (en) | System and methods for providing user generated video reviews | |
| US12057143B2 (en) | System and methods for providing user generated video reviews | |
| US20190268650A1 (en) | Interactive video distribution system and video player utilizing a client server architecture | |
| US20080306999A1 (en) | Systems and processes for presenting informational content | |
| US8725795B1 (en) | Content segment optimization techniques | |
| KR20240021662A (ko) | 하이라이트 비디오의 자동 생성을 위한 컴퓨터 시스템 및 방법 | |
| WO2017218712A1 (en) | Computing a score for opportunities in a placement system | |
| US20150213486A1 (en) | Method and Device For Placing Branded Products As Advertisements Within Media | |
| US12047653B2 (en) | Computerized systems and methods for automatic generation of livestream engagement enhancing features | |
| KR20240041796A (ko) | 라이브스트림 캐러셀 위젯의 자동 생성을 위한 컴퓨터화된 시스템 및 방법 | |
| TW202215322A (zh) | 用於自動電子訂單創建的設備及電腦實行方法 |