KR20210104152A - 베이지안 추론을 이용하여 정합 그래프에서 검토 결정들 예측 - Google Patents

베이지안 추론을 이용하여 정합 그래프에서 검토 결정들 예측 Download PDF

Info

Publication number
KR20210104152A
KR20210104152A KR1020217024060A KR20217024060A KR20210104152A KR 20210104152 A KR20210104152 A KR 20210104152A KR 1020217024060 A KR1020217024060 A KR 1020217024060A KR 20217024060 A KR20217024060 A KR 20217024060A KR 20210104152 A KR20210104152 A KR 20210104152A
Authority
KR
South Korea
Prior art keywords
media item
segment
prediction value
current media
labeled
Prior art date
Application number
KR1020217024060A
Other languages
English (en)
Inventor
요한 그랜스트룀
바트 판 델프트
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20210104152A publication Critical patent/KR20210104152A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

구현들은, Bayesian 추론을 이용하여 정합 그래프에서 검토 결정들을 예측하기 위한 방법들 및 시스템들을 개시한다. 한 방법은 : 처리할 현재 미디어 항목을 식별하는 단계; 현재 미디어 항목의 세그먼트들 중 하나와 유사한 적어도 하나의 상응하는 세그먼트를 포함하는 라벨링된 미디어 항목들을 식별하기 위해 라벨링된 미디어 항목들을 처리하는 단계; 현재 미디어 항목의 세그먼트들 각각에 대해, 대응하는 세그먼트와 유사한 상응하는 세그먼트를 각각 포함하는 상응하는 라벨링된 미디어 항목들과 연관된 속성들에 기초하여 상기 현재 미디어 항목의 대응하는 세그먼트와 연관된 특정한 속성을 나타내는 세그먼트 예측 값을 생성하는 단계; 현재 미디어 항목의 세그먼트들 각각의 생성된 세그먼트 예측 값에 기초하여 현재 미디어 항목에 대한 미디어 항목 예측 값을 계산하는 단계; 및 계산된 미디어 항목 예측 값에 기초하여 현재 미디어 항목이 처리되게 하는 단계를 포함한다.

Description

베이지안 추론을 이용하여 정합 그래프에서 검토 결정들 예측
본 개시내용의 양태들 및 구현들은 검토 결정들을 예측하고, 특히 미디어 항목들의 검토 결정들을 예측하는 것에 관한 것이다.
비디오 항목들, 오디오 항목들 등의, 미디어 항목들은 미디어 항목 플랫폼에 업로드될 수 있다. 미디어 항목들은, 미디어 항목들의 콘텐츠 유형, 미디어 항목들의 적합성, 미디어 항목들의 품질 등에 기초하여 라벨링될 수 있다.
이하에서는 본 개시내용의 일부 양태들의 기본적인 이해를 제공하기 위하여 본 개시내용의 간략화된 요약을 제공한다. 이 요약은 본 개시내용의 광범위한 개요는 아니다. 이것은, 본 개시내용의 주요한 또는 결정적인 요소들을 확인하기 위한 것도 아니며, 본 개시내용의 특정한 구현의 범위 또는 청구항들의 범위를 정하기 위한 것도 않는다. 그 유일한 목적은 이하에서 제공되는 더욱 상세한 설명에 대한 서두로서 본 개시내용의 몇 가지 개념을 간략화된 형태로 제시하는 것이다.
본 개시내용의 양태들은 미디어 항목들의 속성들을 자동으로 결정한다. Bayesian(베이지안) 추론은 정합 그래프에서 미디어 항목들의 속성들을 예측하는데 이용할 수 있다.
본 개시내용의 한 양태에서, 한 방법은, 처리될 현재 미디어 항목을 식별하는 단계 및 현재 미디어 항목의 복수의 세그먼트 중 하나와 유사한 적어도 하나의 상응하는 세그먼트를 포함하는 라벨링된 미디어 항목들을 식별하기 위해 복수의 라벨링된 미디어 항목을 처리하는 단계를 포함할 수 있다. 이 방법은, 현재 미디어 항목의 복수의 세그먼트 각각에 대해, 각각이 현재 미디어 항목의 대응하는 세그먼트와 유사한 상응하는 세그먼트를 포함하는 상응하는 라벨링된 미디어 항목들과 연관된 속성들에 기초하여 현재 미디어 항목의 대응하는 세그먼트와 연관된 특정한 속성을 나타내는 세그먼트 예측 값을 생성하는 단계를 더 포함할 수 있다. 이 방법은, 현재 미디어 항목의 복수의 세그먼트 각각의 생성된 세그먼트 예측 값에 기초하여 현재 미디어 항목에 대한 미디어 항목 예측 값을 계산하는 단계, 및 현재 미디어 항목이 계산된 미디어 항목 예측 값에 기초하여 처리되도록 하는 단계를 더 포함할 수 있다.
라벨링된 미디어 항목들 각각에는 상응하는 라벨이 할당될 수 있고; 현재 미디어 항목의 복수의 세그먼트 각각은 라벨링된 미디어 항목들의 하나 이상의 세그먼트와 적어도 부분적으로 정합할 수 있다. 현재 미디어 항목의 복수의 세그먼트 각각에 대해, 대응하는 세그먼트에 대한 세그먼트 예측 값의 생성은, 대응하는 세그먼트의 길이, 현재 미디어 항목의 길이, 또는 각각이 현재 미디어 항목의 대응하는 세그먼트와 유사한 상응하는 세그먼트를 포함하는 상응하는 라벨링된 미디어 항목들의 길이 중 적어도 하나를 포함하는 복수의 파라미터에 기초할 수 있다. 이 방법은 : 현재 미디어 항목의 제1 세그먼트가 제1 라벨링된 미디어 항목의 제1 대응하는 세그먼트와 정합한다고 결정하는 단계; 현재 미디어 항목의 제2 세그먼트가 제2 라벨링된 미디어 항목의 제2 대응하는 세그먼트와 정합한다고 결정하는 단계; 제1 세그먼트가 제2 세그먼트의 서브-세그먼트라고 결정하는 단계를 더 포함할 수 있고, 여기서, 제2 세그먼트는 제1 세그먼트 및 제3 세그먼트를 포함하고, 복수의 세그먼트 각각에 대해 세그먼트 예측 값의 생성은 : 제1 라벨링된 미디어 항목의 제1 상응하는 라벨 및 제2 라벨링된 미디어 항목의 제2 상응하는 라벨에 기초하여 제1 세그먼트에 대한 제1 라벨을 나타내는 제1 세그먼트 예측 값을 생성하는 단계; 및 제2 라벨링된 미디어 항목의 제2 상응하는 라벨에 기초하여 제3 세그먼트에 대한 제2 라벨을 나타내는 제2 세그먼트 예측 값을 생성하는 단계를 포함하며, 여기서 미디어 항목 예측 값의 계산은 생성된 제1 세그먼트 예측 값 및 생성된 제2 세그먼트 예측 값에 기초한다. 현재 미디어 항목이 처리되도록 하는 단계는, 다음 중 하나를 포함할 수 있다 : 계산된 미디어 항목 예측 값이 제1 임계 조건을 만족하는 것에 응답하여, 미디어 항목 플랫폼을 통한 현재 미디어 항목의 재생이 방지되도록 하는 단계; 계산된 미디어 항목 예측 값이 제2 임계 조건을 만족하는 것에 응답하여, 미디어 항목 플랫폼을 통한 현재 미디어 항목의 재생이 허용되게 하는 단계; 및 계산된 미디어 항목 예측 값이 제3 임계 조건을 만족하는 것에 응답하여, 현재 미디어 항목이 검토받게 하여 현재 미디어 항목의 재생이 미디어 항목 플랫폼을 통해 허용되어야 하는지를 나타내는 라벨을 생성하는 단계. 복수의 세그먼트 각각의 세그먼트 예측 값은, 복수의 파라미터 및 복수의 파라미터 중 하나 이상과 연관된 하나 이상의 가중치에 기초하여 생성될 수 있다. 이 방법은, 현재 미디어 항목에 대해 생성된 라벨에 기초하여 하나 이상의 가중치를 조정하는 단계를 더 포함할 수 있다. 하나 이상의 가중치의 조정은, 튜닝 입력 및 튜닝 입력에 대한 타겟 튜닝 출력에 기초하여 조정된 하나 이상의 가중치를 제공하도록 머신 학습 모델을 훈련시키는 단계를 포함하고; 튜닝 입력은, 현재 미디어 항목의 복수의 세그먼트 각각에 대해, 대응하는 세그먼트의 길이, 현재 미디어 항목의 길이, 및 각각이 현재 미디어 항목의 대응하는 세그먼트와 유사한 상응하는 세그먼트를 포함하는 상응하는 라벨링된 미디어 항목들의 길이를 포함하고; 튜닝 입력에 대한 튜닝 타겟 출력은 현재 미디어 항목에 대한 생성된 라벨을 포함한다.
양태들은 임의의 편리한 형태로 구현될 수 있다는 것을 이해할 것이다. 예를 들어, 양태들은, 유형 캐리어 매체(예를 들어, 디스크들) 또는 무형 캐리어 매체(예를 들어, 통신 신호들)일 수 있는 적절한 캐리어 매체 상에서 운반될 수 있는 적절한 컴퓨터 프로그램들에 의해 구현될 수 있다. 본 발명을 구현하도록 배열된 컴퓨터 프로그램을 실행하는 프로그램가능한 컴퓨터들의 형태를 취할 수 있는 적절한 장치를 이용하여 양태들이 구현될 수도 있다. 한 양태의 정황에서 설명된 피처들이 또 다른 양태에서 구현될 수 있도록 양태들은 결합될 수 있다.
본 개시내용은, 첨부된 도면들에서, 제한이 아닌 예로서 예시된다.
도 1은 본 개시내용의 구현들에 따른 예시적인 시스템 아키텍쳐를 예시하는 블록도이다.
도 2는 본 개시내용의 구현들에 따른 머신 학습 모델에 대한 튜닝 데이터를 생성하기 위한 예시적인 튜닝 세트 생성기이다.
도 3a 내지 도 3d는 본 개시내용의 구현들에 따른 미디어 항목들의 검토 결정들을 예측하는 예시적인 방법들을 나타내는 흐름도들이다.
도 4a 및 도 4b는 본 개시내용의 구현들에 따른 미디어 항목들의 검토 결정들을 예측하기 위한 테이블들이다.
도 5는 본 개시내용의 구현들에 따른 컴퓨터 시스템의 한 구현을 예시하는 블록도이다.
본 개시내용의 양태들 및 구현들은, 예를 들어, 정합 그래프에서 검토 결정들을 예측하기 위해, Bayesian 추론을 이용하여 미디어 항목들의 속성들을 자동으로 결정하는 것에 관한 것이다. 서버 디바이스는 사용자 디바이스들에 의해 업로드된 미디어 항목들을 수신할 수 있다. 서버 디바이스는 미디어 항목들이 미디어 항목 플랫폼을 통해 이들 또는 다른 사용자 디바이스들에 의한 재생에 이용가능하게 할 수 있다. 사용자가 미디어 항목을 (예를 들어, 재생 동안) 콘텐츠 유형을 갖는 것으로서 플래깅하는 것에 응답하여, 서버 디바이스는 검토(예를 들어, 수동 검토)를 위해 미디어 항목을 제출할 수 있다. 검토 동안에, 사용자(예를 들어, 미디어 항목 플랫폼의 관리자)는 미디어 항목의 재생을 수행하고 미디어 항목을 라벨링할 수 있다. 검토로부터의 라벨에 기초하여, 서버는 미디어 항목을 라벨과 연관시킬 수 있다. 라벨은, 미디어 항목이, 부적절하거나, 권리를 침해하거나, 기술적 문제를 갖거나, 어떤 등급을 갖거나, 광고에 적합하거나 등의 콘텐츠 유형을 갖고 있다는 것을 나타낼 수 있다.
서버 디바이스는 미디어 항목의 라벨에 기초하여 미디어 항목에 관해 상이한 동작들이 수행되게 할 수 있다. 예를 들어, 부적절한 콘텐츠 유형을 포함하는 것으로 라벨링된 (예를 들어, "부정적 검토" 라벨을 갖는) 미디어 항목의 재생은 방지될 수 있다. 대안으로서, 부적절한 콘텐츠 유형을 포함하지 않은 것으로 라벨링된 (예를 들어, "긍정적 검토" 라벨을 갖는) 미디어 항목의 재생은 허용될 수 있다. 또 다른 예에서, 미디어 항목의 라벨에 기초하여, 라벨에 기초한 미디어 항목의 재생 동안 광고들이 포함될 수 있다. 역시 또 다른 예에서, 기술적인 문제를 갖는 것으로 라벨링된 미디어 항목을 업로드한 사용자 디바이스에 메시지가 전송될 수 있다.
새로 업로드된 미디어 항목들은 라벨링된 미디어 항목들과 적어도 부분적으로 정합할 수 있다. 일반적으로, 새로 업로드된 각각의 미디어 항목은 전형적으로 플래깅되고 수동 검토에 제출되며, 수동 검토에 기초하여 라벨링된다(예를 들어, 미디어 항목이 라벨링된 미디어 항목과 정합하는지 여부에 관계없이). 통상적으로, 라벨링된 미디어 항목과 적어도 부분적으로 정합하지 않는 제2 미디어 항목을 검토하는데 요구되는 것과 동일한 양의 시간과 자원(예를 들어, 프로세서 오버헤드, 대역폭, 전력 소비, 이용가능한 인가 검토자 등)이 라벨링된 미디어 항목과 적어도 부분적으로 정합하는 제1 미디어 항목을 검토하는데 요구될 수 있다. 미디어 항목들이 재생에 이용가능하도록 허용하기 전에 미디어 항목들을 검토하는 것은 긴 시간량을 요구할 수 있고, 피크치의 요구되는 자원들(예를 들어, 높은 프로세서 오버헤드, 전력 소비, 및 대역폭)을 요구할 수 있다. 미디어 항목들을 검토하기 전에 미디어 항목들이 재생에 이용가능하도록 허용하는 것은, 문제점들 및 부적절한 콘텐츠를 포함하는 미디어 항목들의 재생을 허용할 수 있다. 미디어 항목들에 잘못 라벨링하는 것은 수정하기 위해 시간과 자원들을 요구할 수 있다.
본 개시내용의 양태들은 미디어 항목들의 속성들을 자동으로 결정함으로써(예를 들어, Bayesian 추론을 이용하여 정합 그래프에서 검토 결정들을 예측함으로써) 상기 언급된 및 기타의 과제들을 해결한다. 처리 디바이스는 처리될 현재 미디어 항목(예를 들어, 새로 업로드된 미디어 항목)을 식별할 수 있고, 현재 미디어 항목의 세그먼트들 중 하나와 유사한 적어도 하나의 상응하는 세그먼트를 포함하는 라벨링된 미디어 항목들을 찾기 위해 라벨링된 미디어 항목들(예를 들어, 이전에 검토된 미디어 항목들)을 식별할 수 있다(예를 들어, 현재 미디어 항목의 적어도 일부와 정합하는 라벨링된 미디어 항목들을 포함하는 정합 그래프가 생성될 수 있다). 현재 미디어 항목의 세그먼트들(예를 들어, 라벨링된 미디어 항목의 적어도 일부와 유사한 세그먼트들) 각각에 대해, 처리 디바이스는 현재 미디어 항목의 대응하는 세그먼트와 연관된 특정한 속성을 나타내는 세그먼트 예측 값을 (예를 들어, 정합 그래프에 기초하여, 현재 미디어 항목의 대응하는 세그먼트와 유사한 상응하는 세그먼트를 갖는 라벨링된 미디어 항목들과 연관된 속성들에 기초하여) 생성할 수 있다. 처리 디바이스는 생성된 현재 미디어 항목의 세그먼트들 각각의 세그먼트 예측 값에 기초하여 미디어 항목 예측 값을 계산하고, 계산된 미디어 항목 예측 값에 기초하여 현재 미디어 항목이 처리되게 할 수 있다. 예를 들어, 미디어 항목 예측 값에 기초하여, 미디어 항목 플랫폼을 통한 현재 미디어 항목의 재생이 허용되거나 방지될 수 있고, 또는 현재 미디어 항목이 검토되어 현재 미디어 항목의 재생이 허용되는지를 나타내는 현재 미디어 항목에 대한 라벨이 생성할 수 있다.
본 명세서에 개시된 바와 같이, 미디어 항목들에 대한 속성들을 자동으로 생성하는 것(예를 들어, 검토 결정들을 예측하는 것)은 사용자 경험을 개선하고 기술적 이점들을 제공하기 때문에 유리하다. 새로 업로드된 많은 미디어 항목들은 라벨링된 (예를 들어, 이전에 검토된) 미디어 항목들과 유사한 세그먼트들을 가질 수 있다. 추가 처리를 위한 미디어 항목들을 선택하기 위해 초기 처리를 수행함으로써, 미디어 항목들에 속성들을 할당하는 것이 더 효율적으로 수행될 수 있으며, 더 적은 수의 미디어 항목들이 추가 처리에 요구될 수 있다. 따라서, 계산된 미디어 항목 예측 값들에 기초하여 (예를 들어, 새로 업로드된 미디어 항목들과 적어도 부분적으로 정합하는 라벨링된 미디어 항목들에 기초하여) 새로 업로드된 미디어 항목들을 처리하는 것은, 동일한 프로세스를 수행하여 미디어 항목이 이전에 라벨링된 미디어 항목들과 적어도 부분적으로 정합하는지에 관계없이 임의의 미디어 항목에 라벨링하는 것에 비해, 감소된 프로세서 오버헤드, 요구되는 대역폭, 및 에너지 소비를 가질 수 있다. 계산된 미디어 항목 예측 값들에 기초하여 새로 업로드된 미디어 항목들의 재생을 허용하거나 방지하는 것은, 미디어 항목들이 더 신속하게 처리되는 것을 허용할 수 있고 그에 따라 새로 업로드된 모든 미디어 항목을 재생을 위해 제공하고 사용자가 미디어 항목을 플래깅하고 후속 수동 검토를 통해 미디어 항목을 라벨링한 후에만 재생을 방지하는 것보다 더 양호한 사용자 경험을 제공할 수 있다. 업로드된 미디어 항목에 대한 미디어 항목 예측 값을 생성하는 것은, 그 미디어 항목을 업로드한 사용자에게 유리하고 미디어 항목 플랫폼의 사용자들에게 유리할 수 있다. 예를 들어, 기술적 문제를 나타내는 미디어 항목 예측 값을 생성하는 것에 응답하여, 미디어 항목 예측 값에 기초한 표시가 미디어 항목을 업로드한 사용자에게 전송되어 사용자에게 미디어 항목이 기술적 문제를 갖고 있음을 경고할 수 있다(예를 들어, 미디어 항목 수정을 권장). 또 다른 예에서, 미디어 항목들에 대한 미디어 항목 예측 값들을 생성하는 것에 응답하여, 미디어 항목들이 처리되어 미디어 항목들이 라벨링(예를 들어, 연령 적합성, 카테고리 등)되어 검색 결과들 및 미디어 항목 플랫폼의 사용자들에 대한 추천을 개선할 수 있다.
도 1은 본 개시내용의 한 구현에 따른 예시적인 시스템 아키텍쳐(100)를 나타낸다. 시스템 아키텍쳐(100)는, 미디어 항목 서버(110), 사용자 디바이스(120), 예측 서버(130), 콘텐츠 소유자 디바이스(140), 네트워크(150), 및 데이터 저장소(160)를 포함한다. 예측 서버(130)는 예측 시스템(105)의 일부일 수 있다.
미디어 항목 서버(110)는, (랙마운트 서버, 라우터 컴퓨터, 서버 컴퓨터, 개인용 컴퓨터, 메인프레임 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 데스크탑 컴퓨터 등의) 하나 이상의 컴퓨팅 디바이스, 데이터 저장소들(예를 들어, 하드 디스크들, 메모리들, 데이터베이스들 등), 네트워크들, 소프트웨어 컴포넌트들, 및/또는 하드웨어 컴포넌트들을 포함할 수 있다. 미디어 항목 서버(110)는, 사용자에게 미디어 항목들(112)(예를 들어, 이미 라벨링된 미디어 항목들("라벨링된 미디어 항목들"(114)), 현재 라벨링 프로세스를 겪고 있는 미디어 항목들("현재 미디어 항목들"(116)) 등)에 대한 액세스를 제공하는데 이용될 수 있다. 미디어 항목 서버(110)는 미디어 항목들(112)을 사용자에게 제공할 수 있다(예를 들어, 사용자는 미디어 항목(112)의 요청 또는 구매에 응답하여 미디어 항목(112)을 선택하고 미디어 항목 서버(110)로부터 미디어 항목(112)을 다운로드할 수 있다). 미디어 항목 서버(110)는, 사용자들이 미디어 항목들(112)을 소비, 개발, 업로드, 다운로드, 평가, 플래깅, 공유, 검색, 찬성("좋아요"), 싫어요, 및/또는 코멘트하는 것을 허용할 수 있는 미디어 항목 플랫폼(예를 들어, 콘텐츠 호스팅 서비스를 제공하는 콘텐츠 호스팅 플랫폼)의 일부일 수 있다. 미디어 항목 플랫폼은 또한, 사용자에게 미디어 항목(112)에 대한 액세스를 제공하는데 이용될 수 있는 웹사이트(예를 들어, 웹페이지) 또는 애플리케이션 백엔드 소프트웨어를 포함할 수 있다.
미디어 항목 서버(110)는 미디어 항목들(112) 등의 콘텐츠를 호스팅할 수 있다. 미디어 항목들(112)은, 사용자에 의해 선택된 디지털 콘텐츠, 사용자에 의해 이용가능하게 된 디지털 콘텐츠, 사용자에 의해 개발된 디지털 콘텐츠, 사용자에 의해 업로드된 디지털 콘텐츠, 콘텐츠 소유자에 의해 개발된 디지털 콘텐츠, 콘텐츠 소유자에 의해 업로드된 디지털 콘텐츠, 미디어 항목 서버(110) 등에 의해 제공된 디지털 콘텐츠일 수 있다. 미디어 항목들(112)의 예는, 비디오 항목들(예를 들어, 디지털 비디오, 디지털 영화들 등), 오디오 항목들(예를 들어, 디지털 음악, 디지털 오디오 서적들 등), 광고들, 시간 경과에 따라 슬라이드들을 전환하는 슬라이드쇼, 시간 경과에 따라 스크롤되는 텍스트, 시간 경과에 따라 변하는 도형들 등을 포함하며 이것으로 제한되는 것은 아니다.
미디어 항목들(112)은, 사용자 디바이스(120) 상의 웹 브라우저를 통해, 또는 앱 스토어를 통해 사용자 디바이스(120)에 설치될 수 있는 모바일 애플리케이션("앱")을 통해 소비될 수 있다. 웹 브라우저 또는 모바일 앱은 사용자가 하나 이상의 (예를 들어, 설명 정보, 다른 미디어 항목들(112) 등의) 검색을 수행하는 것을 허용할 수 있다. 본 명세서에서 사용될 때, "애플리케이션", "모바일 애플리케이션", "스마트 텔레비전 애플리케이션", "데스크탑 애플리케이션", "소프트웨어 애플리케이션", "디지털 콘텐츠", "콘텐츠", "콘텐츠 항목", "미디어", "미디어 항목", "비디오 항목", "오디오 항목", "연락처 초대", "게임" 및 "광고"는, 미디어 항목들(112)을 엔티티 상에 프리젠팅하도록 구성된 소프트웨어, 펌웨어 또는 하드웨어를 이용하여 실행되거나 로드될 수 있는 전자적 파일을 포함할 수 있다. 한 구현에서, 미디어 항목 플랫폼은 데이터 저장소(160)를 이용하여 미디어 항목들(112)을 저장할 수 있다. 미디어 항목들(112)은 미디어 항목 서버(110)(예를 들어, 콘텐츠 호스팅 플랫폼 등의 미디어 항목 플랫폼)로부터 사용자 디바이스(120)의 사용자에게 프리젠팅되거나 사용자에 의해 다운로드될 수 있다. 미디어 항목들(112)은 미디어 항목 플랫폼에 의해 제공되거나 로컬 저장된 내장형 미디어 플레이어(뿐만 아니라 기타의 컴포넌트들)를 통해 재생될 수 있다. 미디어 항목 플랫폼은, 예를 들어 애플리케이션 배포 플랫폼, 콘텐츠 호스팅 플랫폼, 또는 소셜 네트워킹 플랫폼일 수 있고, 사용자에게 미디어 항목들(112)에 대한 액세스를 제공하거나 미디어 항목들(112)을 사용자에게 제공하는데 이용될 수 있다. 예를 들어, 미디어 항목 플랫폼은 사용자가 미디어 항목들(112)을 소비, 플래깅, 업로드, 검색, 찬성("좋아요"), 싫어요, 및/또는 코멘트하는 것을 허용할 수 있다. 미디어 항목 서버(110)는 미디어 항목 플랫폼의 일부이거나, 독립적인 시스템이거나, 상이한 플랫폼의 일부일 수 있다.
네트워크(150)는, 사용자 디바이스(120) 및 콘텐츠 소유자 디바이스(140)에게, 미디어 항목 서버(110), 예측 서버(130), 및 기타의 공개적으로 이용가능한 컴퓨팅 디바이스들에 대한 액세스를 제공하는 공용 네트워크일 수 있다. 네트워크(150)는, 하나 이상의 광역 네트워크(WAN)들, 근거리 통신망(LAN)들, 유선 네트워크들(예를 들어, 이더넷 네트워크), 무선 네트워크들(예를 들어, 802.11 네트워크 또는 Wi-Fi 네트워크), 셀룰러 네트워크들(예를 들어, LTE(Long Term Evolution) 네트워크), 라우터들, 허브들, 스위치들, 서버 컴퓨터들, 및/또는 이들의 조합을 포함할 수 있다.
데이터 저장소(160)는, 메모리(예를 들어, 랜덤 액세스 메모리), 드라이브(예를 들어, 하드 드라이브, 플래시 드라이브), 데이터베이스 시스템, 또는 데이터를 저장할 수 있는 또 다른 유형의 컴포넌트 또는 디바이스일 수 있다. 데이터 저장소(160)는, 복수의 컴퓨팅 디바이스(예를 들어, 복수의 서버 컴퓨터)에 걸쳐 있을 수 있는 복수의 저장 컴포넌트(예를 들어, 복수의 드라이브 또는 복수의 데이터베이스)를 포함할 수 있다. 일부 구현에서, 데이터 저장소(160)는, 미디어 항목들, 라벨들(164), 또는 예측 값들(166)(예를 들어, 세그먼트 예측 값들(168), 미디어 항목 예측 값들(169))과 연관된 정보(162)를 저장할 수 있다. 라벨링된 미디어 항목들(114) 각각은 대응하는 라벨(164)을 가질 수 있다. 라벨링된 미디어 항목들(114) 각각은 (예를 들어, 재생 동안 사용자에 의해, 이미지들의 입력 및 라벨 출력으로 훈련된 머신 학습 모델을 통해) 플래깅되었을 수 있다. 미디어 항목들(112) 각각은 대응하는 정보(162)(예를 들어, 전체 길이, 각각의 세그먼트의 길이, 미디어 항목 식별자 등)를 가질 수 있다.
사용자 디바이스(120) 및 콘텐츠 소유자 디바이스(140)는, 개인용 컴퓨터(PC)들, 랩탑들, 모바일 전화들, 스마트 폰들, 태블릿 컴퓨터들, 넷북 컴퓨터들, 네트워크 접속된 텔레비전들("스마트 TV"), 네트워크 접속된 미디어 플레이어들(예를 들어, Blu-ray 플레이어), 셋탑 박스, OTT(Over-the-Top) 스트리밍 디바이스들, 오퍼레이터 박스들 등의 컴퓨팅 디바이스들를 포함할 수 있다.
각각의 사용자 디바이스(120)는, 사용자들이 미디어 항목들(112)의 재생을 수행하고 미디어 항목들(112)을 플래깅하는 것을 허용하는 운영 체제를 포함할 수 있다. 미디어 항목들(112)은 미디어 뷰어 또는 웹 브라우저를 통해 프리젠팅될 수 있다. 웹 브라우저는, 웹 서버에 의해 서빙되는 콘텐츠(예를 들어, HTML(Hyper Text Markup Language) 페이지들 등의 웹 페이지들, 디지털 미디어 항목들, 텍스트 대화들, 통보들 등)를 액세스, 회수, 프리젠팅, 및/또는 네비게이트할 수 있다. 내장 미디어 플레이어(예를 들어, Flash® 플레이어 또는 HTML5 플레이어)는 웹 페이지에 내장되거나(예를 들어, 온라인 판매자가 판매하는 제품에 대한 정보를 제공) 사용자 디바이스(120)에 설치된 미디어 뷰어(모바일 앱)의 일부일 수 있다. 또 다른 예에서, 미디어 항목들(112)은 사용자가 디지털 미디어 항목들(예를 들어, 디지털 비디오들, 디지털 오디오들, 디지털 이미지들 등)을 보는 것을 허용하는 독립형 애플리케이션(예를 들어, 모바일 애플리케이션 또는 앱)을 통해 프리젠팅될 수 있다.
사용자 디바이스(120)는, 재생 컴포넌트(124), 플래깅 컴포넌트(126), 및 데이터 저장소(122) 중 하나 이상을 포함할 수 있다. 일부 구현에서, 재생 컴포넌트(124) 또는 플래깅 컴포넌트(126) 중 하나 이상은, 웹 브라우저 또는 사용자 디바이스(120)에서 실행되는 애플리케이션(예를 들어, 모바일 애플리케이션, 데스크탑 애플리케이션)에 의해 제공될 수 있다.
데이터 저장소(122)는, 메모리(예를 들어, 랜덤 액세스 메모리), 드라이브(예를 들어, 하드 드라이브, 플래시 드라이브), 데이터베이스 시스템, 또는 데이터를 저장할 수 있는 또 다른 유형의 컴포넌트 또는 디바이스일 수 있다. 데이터 저장소(122)는, 복수의 컴퓨팅 디바이스(예를 들어, 복수의 서버 컴퓨터)에 걸쳐 있을 수 있는 복수의 저장 컴포넌트(예를 들어, 복수의 드라이브 또는 복수의 데이터베이스)를 포함할 수 있다. 데이터 저장소(122)는 미디어 항목 캐시(123) 및 플래그 캐시(125)를 포함할 수 있다.
재생 컴포넌트(124)는 사용자 디바이스(120)를 통해 미디어 항목(112)의 재생을 제공할 수 있다. 미디어 항목(112)의 재생은, 미디어 항목(112)의 재생을 요청하고 요청을 미디어 항목 서버(110)에 전송하는 사용자 입력(예를 들어, 사용자 디바이스를 통해 디스플레이되는 그래픽 사용자 인터페이스(GUI)를 통해)을 수신하는 재생 컴포넌트(124)에 응답할 수 있다. 일부 구현에서, 미디어 항목 서버(110)는 미디어 항목(112)을 사용자 디바이스(120)에 스트리밍할 수 있다. 일부 구현에서, 미디어 항목 서버(110)는 미디어 항목(112)을 사용자 디바이스(120)에 전송할 수 있다. 재생 컴포넌트(124)는, 나중 시점에서의 재생(예를 들어, 네트워크(150)에 대한 접속에 관계없는 후속 재생)을 위해 미디어 항목(112)을 미디어 항목 캐시(123)에 저장할 수 있다.
플래깅 컴포넌트(126)는 미디어 항목(112)을 플래깅하는 사용자 입력(예를 들어, GUI를 통해, 미디어 항목(112)의 재생 동안)을 수신할 수 있다. 미디어 항목(112)은 하나 이상의 유형의 콘텐츠에 대해 플래깅될 수 있다. 사용자 입력은 콘텐츠의 유형을 나타낼 수 있다(예를 들어, 목록으로부터 콘텐츠 유형을 선택함으로써). 사용자 입력에 기초하여, 플래깅 컴포넌트(126)는, 부적절하거나(예를 들어, 성적인 콘텐츠, 폭력적 또는 혐오스러운 콘텐츠, 증오성 또는 학대성 콘텐츠, 유해한 위험한 행위, 아동 학대, 테러 조장, 스팸 또는 오도성 등 중 하나 이상을 포함), 권리를 침해하거나, 기술적 문제(예를 들어, 캡션 문제 등)를 갖거나, 등급(예를 들어, 연령 적합성 등급 등)을 갖거나, 광고에 적합한 등의 콘텐츠 유형을 갖는 것으로서 미디어 항목(112)을 플래깅할 수 있다. 플래깅 컴포넌트(126)는, 미디어 항목(112)이 플래깅되었다는 표시를 예측 시스템(105), 예측 서버(130), 데이터 저장소(160) 등 중 하나 이상에 전송할 수 있다.
플래깅되는 것에 응답하여, 미디어 항목들(112)은 라벨링된 미디어 항목들(114)을 생성하기 위해 (예를 들어, 수동 검토를 통해) 라벨링될 수 있다. 라벨링된 미디어 항목들(114)과 연관된 정보(162) 및 라벨들(164)은 라벨링된 미디어 항목들(114)과 함께 데이터 저장소(160)에 저장될 수 있다. 대안으로서, 라벨링된 미디어 항목들(114)은 별도의 데이터 저장소에 저장될 수 있고 미디어 항목 식별자들을 통해 정보(162) 및 라벨들(164)과 연관될 수 있다.
콘텐츠 소유자 디바이스(140)는, 전송 컴포넌트(144), 수신 컴포넌트(146), 수정 컴포넌트(148), 및 데이터 저장소(142)를 포함할 수 있다.
데이터 저장소(142)는, 메모리(예를 들어, 랜덤 액세스 메모리), 드라이브(예를 들어, 하드 드라이브, 플래시 드라이브), 데이터베이스 시스템, 또는 데이터를 저장할 수 있는 또 다른 유형의 컴포넌트 또는 디바이스일 수 있다. 데이터 저장소(142)는, 복수의 컴퓨팅 디바이스(예를 들어, 복수의 서버 컴퓨터)에 걸쳐 있을 수 있는 복수의 저장 컴포넌트(예를 들어, 복수의 드라이브 또는 복수의 데이터베이스)를 포함할 수 있다. 데이터 저장소(142)는 미디어 항목 캐시(143)를 포함할 수 있다.
전송 컴포넌트(144)는, 콘텐츠 소유자 디바이스(140)에 대응하는 콘텐츠 소유자에 의해 생성되거나, 수정되거나, 업로드되거나, 콘텐츠 소유자와 연관된 미디어 항목(112)을 수신할 수 있다. 전송 컴포넌트(144)는 미디어 항목(112)을 미디어 항목 캐시(143)에 저장할 수 있다. 전송 컴포넌트(144)는, (예를 들어, 미디어 항목(112)을 업로드하라는 콘텐츠 소유자 입력에 응답하여) 미디어 항목(112)을 미디어 항목 서버(110)에 전송(예를 들어, 업로드)할 수 있다.
수신 컴포넌트(146)는, 예측 서버(130)로부터의 (예를 들어, 예측 관리자(132)에 의해 생성된) 미디어 항목 예측 값(169)에 기초한 표시를 수신할 수 있다. 수신 컴포넌트(146)는 그 표시를 데이터 저장소(142)에 저장할 수 있다.
수정 컴포넌트(148)는, 미디어 항목 예측 값(169)에 기초한 표시에 기초하여 미디어 항목(112)을 수정할 수 있다. 예를 들어, 미디어 항목(112)의 콘텐츠가 부적절하거나 기술적인 문제(예를 들어, 캡션의 오류 등)가 있다는 것을 나타내는 미디어 항목 예측 값(169)에 기초한 표시에 응답하여, 수정 컴포넌트(148)는 미디어 항목(112)의 콘텐츠가 수정되게 할 수 있다(예를 들어, 부적절한 콘텐츠 제거, 기술적 문제 수정). 일부 구현에서, 콘텐츠가 수정되게 하기 위해, 수정 컴포넌트(148)는 GUI를 통해 콘텐츠를 수정하는 방법에 대한 표시 또는 추천을 콘텐츠 소유자에게 제공할 수 있다. 일부 구현에서, 콘텐츠가 수정되게 하기 위해, 수정 컴포넌트(148)는 콘텐츠를 자동으로 수정할 수 있다(예를 들어, 기술적 문제를 수정하고, 부적절한 콘텐츠를 제거하는 등).
예측 서버(130)는 네트워크(150)를 통해 사용자 디바이스(120) 및 콘텐츠 소유자 디바이스(140)에 결합되어 미디어 항목(112)의 검토 결정들의 예측을 용이화할 수 있다. 한 구현에서, 예측 서버(130)는 미디어 항목 플랫폼의 일부일 수 있다(예를 들어, 미디어 항목 서버(110) 및 예측 서버(130)는 동일한 미디어 항목 플랫폼의 일부일 수 있음). 또 다른 구현에서, 예측 서버(130)는, 랙마운트 서버, 라우터 컴퓨터, 서버 컴퓨터, 개인용 컴퓨터, 메인프레임 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 데스크탑 컴퓨터 등의 하나 이상의 컴퓨팅 디바이스를 포함하는 독립적인 플랫폼일 수 있고, 미디어 항목 플랫폼 및/또는 다양한 다른 플랫폼(예를 들어, 소셜 네트워크 플랫폼, 온라인 뉴스 플랫폼, 메시징 플랫폼, 화상 회의 플랫폼, 온라인 미팅 플랫폼)에 의해 이용될 수 있는 검토 결정 예측 서비스를 제공할 수 있다.
예측 서버(130)는 예측 관리자(132)를 포함할 수 있다. 본 개시내용의 일부 양태에 따르면, 예측 관리자(132)는 처리될(예를 들어, 플래깅 컴포넌트(126)에 의해 제공된 표시에 기초하여 사용자 입력없이 자동으로 평가될) 현재 미디어 항목(116)(예를 들어, 새로 업로드된 미디어 항목)을 식별할 수 있고, 현재 미디어 항목의 세그먼트들 중 하나와 유사한 적어도 하나의 상응하는 세그먼트를 포함하는 라벨링된 미디어 항목들(114)을 찾기 위해 라벨링된 미디어 항목들(114)을 처리할 수 있다(예를 들어, 라벨링된 미디어 항목들(114)의 정합 그래프를 생성). (예를 들어, 라벨링된 미디어 항목(114)과 적어도 부분적으로 정합하는) 현재 미디어 항목(116)의 세그먼트들 각각에 대해, 예측 관리자(132)는 현재 미디어 항목(116)의 대응하는 세그먼트와 연관된 특정한 속성을 나타내는 세그먼트 예측 값(168)을 생성할 수 있다(예를 들어, 정합 그래프에 기초하여, 현재 미디어 항목(116)의 대응하는 세그먼트와 유사한 상응하는 세그먼트를 각각 포함하는 상응하는 라벨링된 미디어 항목들(114)과 연관된 속성들에 기초하여). 예측 관리자(132)는, 현재 미디어 항목(116)의 세그먼트들 각각의 생성된 세그먼트 예측 값(168)에 기초하여 현재 미디어 항목(116)에 대한 미디어 항목 예측 값(169)을 계산하고, 계산된 미디어 항목 예측 값(169)에 기초하여 현재 미디어 항목(116)을 처리할 수 있다. 일부 구현에서, 예측 관리자는 (예를 들어, 훈련된 머신 학습 모델(190)을 통해, 훈련된 머신 학습 모델(190)없이) Bayesian 추론을 이용하여 정합 그래프에서 검토 결정들(예를 들어, 미디어 항목 예측 값들(169))을 예측할 수 있다(예를 들어, 도 4a의 테이블(400A) 등에 기초하여, 현재 미디어 항목(116)과 적어도 부분적으로 정합하는 라벨링된 미디어 항목들(114)에 기초하여).
(예를 들어, 현재 미디어 항목(116)이 부적절하거나 기술적 문제를 갖고 있는 콘텐츠를 가지고 있다는 것을 나타내는) 미디어 항목 예측 값(169)에 응답하여, 예측 관리자(132)는 현재 미디어 항목(116)이 미디어 항목 플랫폼을 통한 재생에 이용가능하게 되는 것이 방지되게 할 수 있다. 예측 관리자(132)는, 미디어 예측 값(169)에 기초한 표시를 미디어 항목 플랫폼(또는 기타 임의의 플랫폼)에 또는 콘텐츠 소유자 디바이스(140)로 직접 전송하여 현재 미디어 항목(116)의 결정된 속성을 나타낼 수 있다. 콘텐츠 소유자 디바이스(140)는 (예를 들어, 미디어 항목 플랫폼 또는 예측 관리자(132)로부터) 표시를 수신하고, 표시에 기초하여 현재 미디어 항목(116)이 수정되게 할 수 있으며, 수정된 현재 미디어 항목을 다시 업로드 (예를 들어, 미디어 항목 서버(110), 예측 서버(130), 또는 미디어 항목 플랫폼에) 할 수 있다.
일부 구현에서, 예측 관리자(132)는 훈련된 머신 학습 모델(190)을 이용하여 미디어 항목 예측 값(169)을 결정할 수 있다. 예측 시스템(105)은, 예측 서버(130), 서버 머신(170) 또는 서버 머신(180) 중 하나 이상을 포함할 수 있다. 서버 머신(170-180)은, (예를 들어, 랙마운트 서버, 라우터 컴퓨터, 서버 컴퓨터, 개인용 컴퓨터, 메인프레임 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 데스크탑 컴퓨터 등의) 하나 이상의 컴퓨팅 디바이스, 데이터 저장소(예를 들어, 하드 디스크들, 메모리들, 데이터베이스들), 네트워크들, 소프트웨어 컴포넌트들, 또는 하드웨어 컴포넌트들일 수 있다.
서버 머신(170)은 머신 학습 모델을 훈련시키기 위해 튜닝 데이터(예를 들어, 튜닝 입력 세트 및 타겟 출력 세트)를 생성할 수 있는 튜닝 세트 생성기(171)를 포함한다. 서버 머신(180)은, 튜닝 세트 생성기(171)로부터의 튜닝 데이터를 이용하여 머신 학습 모델(190)을 훈련시킬 수 있는 튜닝 엔진(181)을 포함한다. 머신 학습 모델(190)은 여기서 설명된 튜닝 입력들(210) 및 타겟 출력들(220)(예를 들어, 타겟 튜닝 출력들)을 이용하여 훈련될 수 있다(도 2 및 도 3c 참조). 그 다음, 훈련된 머신 학습 모델(190)은 미디어 항목 예측 값(169)을 결정하는데 이용될 수 있다. 머신 학습 모델(190)은, 튜닝 입력들 및 대응하는 타겟 출력들(상응하는 튜닝 입력들에 대한 정답들)을 포함하는 튜닝 데이터를 이용하여 튜닝 엔진(181)에 의해 생성된 모델 아티팩트를 참조할 수 있다. 튜닝 입력을 타겟 출력(정답)에 맵핑하는 튜닝 데이터에서의 패턴들이 발견될 수 있고, 이들 패턴들을 캡처하는 머신 학습 모델(190)이 제공된다. 머신 학습 모델(190)은, 미디어 항목 예측 값(169)이 결정된 현재 미디어 항목(116)의 후속 라벨링에 기초하여 튜닝될 수 있는(예를 들어, 연관된 가중치들이 조정될 수 있는) 파라미터들(191)(예를 들어, k, f, g, 구성 파라미터들, 하이퍼파라미터들 등)를 포함할 수 있다. 일부 구현에서, 파라미터들(191)은 후술하는 k, f 또는 g 중 하나 이상을 포함한다. 일부 구현에서, 파라미터들은, 현재 미디어 항목(116)의 대응하는 세그먼트의 길이, 현재 미디어 항목(116)의 길이, 또는 (예를 들어, 현재 미디어 항목(116)의 대응하는 세그먼트와 유사한 상응하는 세그먼트를 각각 포함하는) 상응하는 라벨링된 미디어 항목들(114)의 길이 중 적어도 하나를 포함한다.
예측 관리자(132)는, 현재 미디어 항목(116)과 연관된 정보(예를 들어, 현재 미디어 항목(116)의 길이, 라벨링된 미디어 항목들(114)의 상응하는 세그먼트와 유사한 현재 미디어 항목(116)의 세그먼트들의 길이) 및 라벨링된 미디어 항목(114)과 연관된 정보(예를 들어, 라벨링된 미디어 항목들(114)의 길이)를 결정할 수 있고, 이 정보를 훈련된 머신 학습 모델(190)에 제공할 수 있다. 훈련된 머신 학습 모델(190)은 출력을 생성할 수 있고 예측 관리자(132)는 훈련된 머신 학습 모델의 출력으로부터 미디어 항목 예측 값(169)을 결정할 수 있다. 예를 들어, 예측 관리자(132)는, 훈련된 머신 학습 모델(190)의 출력으로부터 미디어 항목 예측 값(169)을 추출하고 현재 미디어 항목(116)이 미디어 항목 예측 값(169)에 의해 표시된 콘텐츠 유형을 포함하는 신뢰 수준(예를 들어, 미디어 항목 예측 값(169)이 수동 검토 결정을 정확하게 예측하는 신뢰 수준)을 나타내는 신뢰 데이터를 출력으로부터 추출할 수 있다.
한 구현에서, 신뢰 데이터는 현재 미디어 항목(116)이 특정한 속성들을 갖는다는(예를 들어, 소정 유형의 콘텐츠를 포함하는) 신뢰 수준을 포함하거나 나타낼 수 있다. 하나의 예에서, 신뢰 수준은 0과 1 사이(양쪽 끝값 포함)의 실수이며, 여기서, 0은 현재 미디어 항목(116)이 특정한 유형의 콘텐츠를 가지고 있다는 아무런 신뢰가 없음을 나타내고 1은 현재 미디어 항목(116)이 특정한 유형의 콘텐츠를 가지고 있다는 절대적 신뢰를 나타낸다.
또한, 위에서 언급한 바와 같이, 제한이 아닌 예시의 목적으로, 본 개시내용의 양태들은 미디어 항목들(112)과 연관된 정보(162)를 이용한 머신 학습 모델(190)의 훈련 및 훈련된 머신 학습 모델(190)의 이용을 설명한다. 다른 구현들에서, 휴리스틱 모델 또는 규칙 기반의 모델은 현재 미디어 항목(116)에 대한 미디어 항목 예측 값(169)을 결정하는데 이용된다. 도 2의 튜닝 입력들(210)과 관련하여 설명된 임의의 정보는 휴리스틱 또는 그렇지 않으면 규칙 기반의 모델에서 모니터링되거나 기타의 방식으로 이용될 수 있다는 점에 유의할 수 있다.
일부 다른 구현에서, 서버 머신(170), 서버 머신(180), 예측 서버(130), 또는 미디어 항목 서버(110)의 기능들은 더 적은 수의 머신들에 의해 제공될 수 있다는 점에 유의해야 한다. 예를 들어, 일부 구현에서 서버 머신들(170 및 180)이 단일 머신으로 통합될 수 있는 반면, 일부 다른 구현에서는 서버 머신(170), 서버 머신(180) 및 예측 서버(130)가 단일 머신으로 통합될 수 있다. 또한, 일부 구현에서 서버 머신(170), 서버 머신(180) 및 예측 서버(130) 중 하나 이상이 미디어 항목 서버(110)에 통합될 수 있다.
일반적으로, 미디어 항목 서버(110), 서버 머신(170), 서버 머신(180), 또는 예측 서버(130)에 의해 수행되는 것으로 한 구현에서 설명된 기능들은 또한, 적절한 경우 다른 구현들에서 사용자 디바이스(120)에서 수행될 수도 있다. 예를 들어, 미디어 항목 서버(110)는 미디어 항목(112)을 사용자 디바이스(120)에 스트리밍하고 미디어 항목(112)의 플래깅을 나타내는 사용자 입력을 수신할 수 있다.
일반적으로, 한 구현에서 사용자 디바이스(120)에서 수행되는 것으로 설명된 기능은 또한, 적절한 경우 다른 구현들에서 미디어 항목 서버(110) 또는 예측 서버(130)에 의해 수행될 수도 있다. 예를 들어, 미디어 항목 서버(110)는 미디어 항목(112)을 사용자 디바이스(120)에 스트리밍하고 미디어 항목(112)의 플래깅을 수신할 수 있다.
또한, 특정한 컴포넌트로 인한 기능은 함께 동작하는 상이한 또는 복수의 컴포넌트들에 의해 수행될 수 있다. 미디어 항목 서버(110), 서버 머신(170), 서버 머신(180), 또는 예측 서버(130)는 적절한 애플리케이션 프로그래밍 인터페이스(API)를 통해 다른 시스템들이나 디바이스들에 제공된 서비스로서 또한 액세스될 수 있으므로, 웹사이트들 및 애플리케이션들에서의 이용으로 제한되지 않는다.
본 개시내용의 구현들에서, "사용자"는 단일 개인으로서 표현될 수 있다. 그러나, 본 개시내용의 다른 구현들은 사용자들의 집합 및/또는 자동화된 소스에 의해 제어되는 엔티티로서의 "사용자"를 포함한다. 예를 들어, 소셜 네트워크에서 커뮤니티로 연합된 개별 사용자들의 집합은 "사용자"로서 간주될 수 있다. 또 다른 예에서, 자동화된 소비자는 애플리케이션 배포 플랫폼의 자동화된 수집 파이프라인(automated ingestion pipeline)일 수 있다.
본 개시내용의 구현들이, 미디어 항목 서버(110), 예측 서버(130), 및 미디어 항목 플랫폼의 관점에서 논의되었지만, 구현들은 또한 일반적으로, 콘텐츠 및 사용자들 간의 접속을 제공하는 임의의 유형의 플랫폼에 적용될 수 있다.
위의 설명에 더하여, 사용자에게는, 여기서 설명된 시스템들, 프로그램들 또는 피처들이 사용자 정보(예를 들어, 사용자의 소셜 네트워크, 소셜 행동 또는 활동, 직업, 사용자의 선호들, 또는 사용자의 현재 위치에 관한 정보)의 수집을 가능케할 수 있는지 및 그 시기와 사용자가 서버(예를 들어, 미디어 항목 서버(110) 또는 예측 서버(130))로부터 콘텐츠 또는 통신을 받는지의 양쪽 모두에 대해 사용자가 선택하는 것을 허용하는 제어를 제공받을 수 있다. 또한, 소정의 데이터는 저장되거나 이용되기 전에 하나 이상의 방식으로 취급될 수 있어서, 개인 식별 정보가 제거될 수 있다. 예를 들어, 사용자의 신원은 그 사용자에 대해 어떠한 개인 식별 정보도 결정될 수 없도록 취급되거나, (도시, ZIP 코드, 또는 주 레벨 등에 관한 등의) 위치 정보가 얻어지는 경우 사용자의 특정한 위치가 결정될 수 없도록 사용자의 지리적 위치가 일반화될 수 있다. 따라서, 사용자는, 사용자에 관해 어떤 정보가 수집되는지, 정보가 어떻게 이용되는지, 및 사용자에게 무슨 정보가 제공되는지를 제어할 수 있다.
도 2는, 본 개시내용의 한 구현에 따른, 정보를 이용하여 머신 학습 모델에 대한 튜닝 데이터를 생성하는 한 예시적인 튜닝 세트 생성기이다. 시스템(200)은, 튜닝 세트 생성기(171), 튜닝 입력들(210), 및 타겟 출력(220)(예를 들어, 타겟 튜닝 출력)을 도시한다. 시스템(200)은, 도 1과 관련하여 설명된 바와 같이, 시스템(100)과 유사한 컴포넌트들을 포함할 수 있다. 도 1의 시스템(100)과 관련하여 설명된 컴포넌트들은 도 2의 시스템(200)을 설명하는 것을 돕기 위해 이용될 수 있다.
구현들에서, 튜닝 세트 생성기(171)는 하나 이상의 튜닝 입력(210) 및 하나 이상의 타겟 출력(220)을 포함하는 튜닝 데이터를 생성한다. 튜닝 데이터는 또한, 튜닝 입력들(210)을 타겟 출력들(220)에 맵핑하는 맵핑 데이터를 포함할 수 있다. 튜닝 입력(210)은 또한, "피처들", "속성들" 또는 "정보"라고 지칭될 수 있다. 일부 구현에서, 튜닝 세트 생성기(171)는 튜닝 세트에서 튜닝 데이터를 제공할 수 있고, 튜닝 세트를 튜닝 엔진(181)에 제공할 수 있으며, 여기서, 튜닝 세트는 머신 학습 모델(190)을 훈련시키는데 이용된다. 튜닝 세트를 생성하는 일부 구현은 도 3c와 관련하여 더 설명될 수 있다.
한 구현에서, 튜닝 입력들(210)은, 현재 미디어 항목(116)과 연관된 정보(162), 및 현재 미디어 항목(116)의 세그먼트들 중 하나와 유사한 적어도 하나의 상응하는 세그먼트를 포함하는 하나 이상의 라벨링된 미디어 항목(114)을 포함할 수 있다. 현재 미디어 항목(116)의 경우, 정보(162)는, 현재 미디어 항목(116)의 세그먼트(214A)의 길이(212A), 현재 미디어 항목(116)의 세그먼트(214B)의 길이(212B) 등(이하 세그먼트(214)의 길이(212)), 및 현재 미디어 항목(116)의 길이(216)를 포함할 수 있다. 각각의 라벨링된 미디어 항목들(114)에 대해, 정보(162)는 라벨링된 미디어 항목(114)의 길이(218)를 포함할 수 있다.
구현들에서, 타겟 출력들(220)은 현재 미디어 항목(116)의 생성된 라벨(164)을 포함할 수 있다. 일부 구현에서, 생성된 라벨(164)은 현재 미디어 항목(116)의 수동 검토에 의해 생성되었을 수 있다. 일부 구현에서, 생성된 라벨(164)은 현재 미디어 항목(116)의 자동 검토에 의해 생성되었을 수 있다.
일부 구현에서, 튜닝 세트를 생성하고 튜닝 세트를 이용하여 머신 학습 모델(190)을 훈련시킨 후, 머신 학습 모델(190)은, 현재 미디어 항목들(116)에 대한 생성된 라벨들(164)을 이용하여 추가로 훈련되거나(예를 들어, 튜닝 세트를 위한 추가 데이터) 조정될 수 있다(예를 들어, 파라미터들(191)의 가중치들을 조정).
도 3a 내지 도 3d는, 본 개시내용의 구현들에 따른, 미디어 항목들의 검토 결정들을 예측하기 위한 방법들(300, 320, 340 및 360)의 예시적인 예들에 대한 흐름도를 도시한다. 방법들(300, 320, 340 및 360)은, 예측 시스템(105)(예를 들어, 서버 머신(170), 서버 머신(180), 또는 예측 서버(130) 중 하나 이상)(예를 들어, 및/또는 미디어 항목 플랫폼 또는 미디어 항목 서버(110))의 관점에서의 예시적인 방법들이다. 방법들(300, 320, 340 및 360)은, 하드웨어(예를 들어, 회로, 전용 로직), (범용 컴퓨터 시스템 또는 전용 머신에서 실행되는 등의) 소프트웨어, 또는 이들의 조합을 포함할 수 있는 처리 디바이스들에 의해 수행될 수 있다. 방법들(300, 320, 340, 360) 및 그들 개개의 기능들, 루틴들, 서브루틴들, 또는 동작들 각각은 방법을 실행하는 컴퓨터 디바이스의 하나 이상의 프로세서에 의해 수행될 수 있다. 소정의 구현들에서, 방법들(300, 320, 340 및 360) 각각은 단일 처리 스레드에 의해 수행될 수 있다. 대안으로서, 각각의 방법(300, 320, 340 및 360)은 2개 이상의 처리 스레드에 의해 수행될 수 있고, 각각의 스레드는, 하나 이상의 개개의 기능, 루틴, 서브루틴, 또는 방법의 동작들을 실행한다.
설명의 간소화를 위해, 본 개시내용의 방법들은 일련의 동작들로서 묘사되고 설명된다. 그러나, 본 개시내용에 따른 동작들은 다양한 순서로 및/또는 동시에 발생할 수 있고, 다른 동작들은 제시되지 않거나 여기서는 설명되지 않는다. 또한, 개시된 주제에 따른 방법들을 구현하기 위해 모든 예시된 행위들이 요구되는 것은 아닐 수도 있다. 또한, 본 기술분야의 통상의 기술자라면, 이 방법들은 대안으로서 상태도 또는 이벤트들을 통해 일련의 상관된 상태들로서 표현될 수 있다는 것을 이해하고 인정할 것이다. 추가로, 본 명세서에서 개시된 방법들은 이러한 방법들의 컴퓨팅 디바이스로의 이송 및 전달을 용이화하기 위해 제조품에 저장될 수 있다는 것을 이해해야 한다. 용어 "제조품"은, 여기서 사용될 때, 임의의 컴퓨터 판독가능한 디바이스나 저장 매체로부터 액세스될 수 있는 컴퓨터 프로그램을 포괄하기 위한 것이다. 예를 들어, 비일시적인 머신 판독가능한 저장 매체는, 실행될 때 (예를 들어, 예측 시스템(105), 미디어 항목 서버(110), 사용자 디바이스(120), 예측 서버(130), 콘텐츠 소유자 디바이스(140), 서버 머신(170), 서버 머신(180), 미디어 항목 플랫폼 등의) 처리 디바이스로 하여금, 개시된 방법들을 포함하는 동작들을 수행하게 하는 명령어들을 저장할 수 있다. 또 다른 예에서, 시스템은, 명령어들을 저장하는 메모리 및 메모리에 통신가능하게 결합된 처리 디바이스를 포함하고, 처리 디바이스는 명령어들을 실행하여 개시된 방법들을 수행한다. 한 구현에서, 방법들(300, 320, 340 및 360)은 도 1의 예측 시스템(105)에 의해 수행될 수 있다.
도 3a를 참조하면, 방법(300)은 미디어 항목들의 검토 결정들을 예측하기 위해 예측 서버(130)의 하나 이상의 처리 디바이스에 의해 수행될 수 있다. 방법(300)은 예측 서버(130) 상의 하나 이상의 처리 디바이스에서 실행되는 애플리케이션 또는 백그라운드 스레드에 의해 수행될 수 있다. 일부 구현에서, 방법(300)의 하나 이상의 부분은, 예측 시스템(105), 미디어 항목 서버(110), 예측 서버(130)(예를 들어, 예측 관리자(132)), 또는 미디어 항목 플랫폼 중 하나 이상에 의해 수행될 수 있다.
블록 302에서, 처리 디바이스는 처리될 현재 미디어 항목(116)을 식별한다. 예를 들어, 현재 미디어 항목(116)은 콘텐츠 소유자 디바이스(140)에 의해 업로드되어 미디어 항목 플랫폼을 통해 재생에 이용가능하게 될 수 있다. 일부 구현에서, 현재 미디어 항목(116)은 이전에 검토되었고 (예를 들어, 라벨(164)과 연관됨) 현재 미디어 항목(116)은 라벨(164)을 업데이트하거나 확인하기 위해 (예를 들어, 방법 300을 통해) 추가 처리를 겪도록 식별된다. 일부 구현에서, 미디어 항목(116)은, (예를 들어, 재생 동안 사용자 디바이스(120)에 의해, 이미지들 및 라벨들(164)로 훈련된 머신 학습 모델에 의해) 플래깅되었고 현재 미디어 항목(116)은 (예를 들어, 방법(300)을 통해) 추가 처리를 겪도록 식별된다. 일부 구현에서, 현재 미디어 항목(116)은 처리될 미디어 항목들의 큐(queue)에서 다음 미디어 항목이다.
블록 304에서, 처리 디바이스는, 현재 미디어 항목(116)의 세그먼트들 중 하나와 유사한(예를 들어, 정합하는, 실질적으로 동일한) 적어도 하나의 상응하는 세그먼트를 포함하는 라벨링된 미디어 항목들을 식별하기 위해 라벨링된 미디어 항목들(114)을 처리한다. 예를 들어, 현재 미디어 항목(116)의 프레임들은 라벨링된 미디어 항목들(114)의 프레임들과 비교될 수 있다(예를 들어, 현재 미디어 항목(116)의 프레임들은 라벨링된 미디어 항목들(114)의 프레임들의 인덱스와 비교된다). 처리 디바이스는, 라벨링된 미디어 항목들(114)의 제1 세그먼트 및 현재 미디어 항목(116)의 제2 세그먼트가 경계 또는 프레임을 갖거나, 및/또는 반전되거나, 및/또는 가속되거나 감속되거나, 및/또는 정적이거나, 및/또는 상이한 품질을 갖는 등의 세그먼트들 중 하나에도 불구하고 유사하다고(예를 들어, 정합하거나, 실질적으로 유사하다고) 결정할 수 있다. 처리 디바이스는, 현재 미디어 항목(116)의 프레임 또는 오디오 세그먼트의 적어도 일부가 라벨링된 미디어 항목(114)의 프레임 또는 오디오 세그먼트의 적어도 일부와 정합한다고 결정할 수 있다. 처리 디바이스는 현재 미디어 항목(116)의 세그먼트들을 식별할 수 있으며, 여기서 세그먼트들 각각은 라벨링된 미디어 항목들(114)의 하나 이상의 세그먼트와 적어도 부분적으로 정합한다. 처리 디바이스는 현재 미디어 항목(116)(V)을 세그먼트들(S)(예를 들어, V=S1 + ...+ Sk)로 분할될 수 있고, 여기서 인접한 세그먼트들은 상이한 클러스터들에 속하거나 어떠한 클러스터에도 속하지 않는다.
블록 306에서, 처리 디바이스는, 현재 미디어 항목(116)의 세그먼트들 각각에 대해, 상응하는 라벨링된 미디어 항목들(114)과 연관된 속성들에 기초하여 현재 미디어 항목(116)의 대응하는 세그먼트와 연관된 특정한 속성을 나타내는 세그먼트 예측 값(168)을 생성한다. 처리 디바이스는, 긍정적 예측들(예를 들어, 세그먼트가 "긍정적 검토" 라벨을 갖는 하나 이상의 라벨링된 미디어 항목과 유사함) 및 부정적 예측들(예를 들어, 세그먼트는 또한, "부정적 검토" 라벨을 갖는 하나 이상의 라벨링된 미디어 항목과 유사함)을 결합할 수 있다. 세그먼트가 ("양호"로 라벨링된) "긍정적 검토" 라벨을 갖는 하나 이상의 라벨링된 미디어 항목 및 ("불량"으로 라벨링된) "부정적 검토" 라벨을 갖는 하나 이상의 미디어 항목과 유사하다고 결정하는 것은, 그 세그먼트에 대한 정합 그래프를 결정하는 것이라고 지칭될 수 있다. Bayesian 추론은, (예를 들어, 라벨링된 미디어 항목들(114)의 상응하는 세그먼트들과 유사한 하나 이상의 세그먼트를 갖는) 정합 그래프 내의 현재 미디어 항목(116)의 검토 결정들(예를 들어, 세그먼트 예측 값들(168)에 기초한 미디어 항목 예측 값(169))을 예측하는데 이용될 수 있다.
미디어 항목(V)에 대해, 다음과 같은 값들이 이용될 수 있다(예를 들어, 도 4a의 테이블 400A에 기초하여):
Figure pct00001
- 비디오 V가 "부정적 검토" 라벨을 가져야 한다는 가설
Figure pct00002
-
Figure pct00003
의 이전 확률
Figure pct00004
Figure pct00005
- 비디오 V가 "부정적 검토" 라벨을 갖고 있다는 이벤트
Figure pct00006
-
Figure pct00007
의 한계 가능성 ~ 21%
Figure pct00008
- V가 "부정적 검토" 라벨을 가져야 한다는 가설하에 V가 부정적 검토 라벨을 갖는 확률
Figure pct00009
Figure pct00010
- V가 "부정적 검토" 라벨을 갖는다는 가정하에 V가 부정적 검토 라벨을 가져야 하는 확률
Figure pct00011
이들 값들(예를 들어, Bayes의 공식)은 다음과 같은 방정식에 의해 연결될 수 있다 :
Figure pct00012
이 방정식은 테이블 400A의 값들 이용함으로써 검증될 수 있다.
Figure pct00013
방법(300)은, 라벨링된 미디어 항목들(114)의 라벨들(164)(이벤트 E)(예를 들어, 이벤트 E로 표시되는 이전 검토자 결정들)에 기초하여 미디어 항목 예측 값(169)을 예측할 수 있다(예를 들어, 미디어 항목이 "긍정적 검토" 라벨 또는 "부정적 검토" 라벨을 가져야 하는지를 예측할 수 있다). 미디어 항목이 분리된 세그먼트들 S1, ..., Sk를 포함한다면, 미디어 항목 V가 '긍정적 검토' 라벨을 가져야 할 확률은 세그먼트들의 확률들의 곱이다:
Figure pct00014
미디어 항목(112)은 미디어 항목(112)의 모든 세그먼트가 소정의 콘텐츠 유형을 포함하지 않는 경우에만 그 소정의 콘텐츠 유형을 포함하지 않는 것으로 라벨링되어야 한다(예를 들어, 미디어 항목(112)은 그 모든 부분이 "긍정적 검토" 라벨을 갖는 경우에만 "긍정적 검토" 라벨을 갖는다.) 이 방정식은 증거가 없는 경우에도 적용된다:
Figure pct00015
여기서,
Figure pct00016
는 상수이다(예를 들어, 파라미터(191), 임의의 미디어 항목이 정보의 부재시 "부정적 검토" 라벨을 가져야 할 확률). 소정의 콘텐츠 유형을 포함하는 미디어 항목(112)(예를 들어, "부정적 검토" 라벨을 갖는 미디어 항목(112))의 (이전) 확률이 미디어 항목(112)의 길이와는 무관하다는 가정 하에서, 현재 미디어 항목(116)(예를 들어, 고려중인 미디어 항목(112))의 세그먼트가 그 콘텐츠 유형을 포함할(예를 들어, "부정적인 검토"라벨을 가질) (이전) 확률은 세그먼트의 단편적 길이와 함께 기하급수적으로 감소하고 있다. (예를 들어, "부정적 검토" 라벨을 갖는 라벨링된 미디어 항목(114)의 상응하는 세그먼트와 정합하는) 현재 미디어 항목(116)의 세그먼트가 짧을수록, 현재 미디어 항목(116)이 "부정적 검토" 라벨을 가져야할 확률이 더 낮을 수 있다.
소정의 콘텐츠 유형을 포함하는 것으로 라벨링된(예를 들어, "부정적 검토" 라벨을 갖는) 라벨링된 미디어 항목(116)은 미디어 항목 A라 지칭되고, 그 콘텐츠 유형을 포함하지 않는 것으로 라벨링된(예를 들어, "긍정적 검토" 라벨을 갖는) 라벨링된 미디어 항목(116)은 미디어 항목 O라고 지칭될 수 있다.
현재 미디어 항목 116(V)의 세그먼트(S)는 소정의 콘텐츠 유형을 포함하는 것으로 라벨링되어진 라벨링된 미디어 항목(114)(A)와 유사(예를 들어, 정합)할 수 있다(예를 들어, V 및 A 양쪽 모두가 S를 포함).
Figure pct00017
와
Figure pct00018
사이의 관계는,
Figure pct00019
에 미치는
Figure pct00020
의 영향을 이용하여
Figure pct00021
에 미치는
Figure pct00022
의 영향을 추정함으로써 표현될 수 있다.
Figure pct00023
에 미치는
Figure pct00024
의 영향은 다음과 같은 방정식에 의해 표현될 수 있다:
Figure pct00025
Figure pct00026
에 미치는
Figure pct00027
의 영향은 (테이블(400A)의 값들 이용하여) 약 6.3%의 곱셈 팩터일 수 있다. 영향의 이러한 추정은 S가 A 모두를 커버하는 경우 정확할 가능성이 높다. S가 A 모두를 커버하지 않는다면, S에 의해 커버되는 A의 부분은 지수로서 고려될 수 있다. S가 2개의 세그먼트 S1과 S2로 분할되는 것에 응답하여, 그 양쪽 모두는 A의 상이한 부분들과 정합하고, 결과적인 확률들은 승산되어, 팩터는, 다음과 같은 방정식에서 나타낸 바와 같이, 지수로서 이용될 수 있다:
Figure pct00028
여기서 f는 일정한 팩터
Figure pct00029
이다. 일부 구현에서, f는 영향 팩터이고 라벨링된 미디어 항목(A) 특유이다. 예를 들어, 85% 정합은 9.5%의 영향, 50% 정합은 25%의 영향, 10% 정합은 76%의 영향 갖는 등등이다.
라벨링된 미디어 항목(114)이 소정의 콘텐츠 유형을 포함하지 않는 것으로 라벨링되는 것(예를 들어, "긍정적 검토" 라벨을 가짐)에 응답하여, 라벨링된 미디어 항목(114)의 모든 세그먼트도 역시 그 콘텐츠 유형을 포함하지 않는다(예를 들어, 역시 "긍정적 검토" 라벨을 가짐). 긴 미디어 항목(112)의 경우, 검토자가 모든 미디어 항목(112)을 고려할 가능성은 거의 없을 수 있다(예를 들어, 검토자가 모든 미디어 항목(112)을 고려해야 함을 나타내는 신호가 없는 경우).
Figure pct00030
에 미치는
Figure pct00031
의 영향은 다음과 같은 방정식으로 도시될 수 있다:
Figure pct00032
여기서,
Figure pct00033
상수 g는 라벨링된 미디어 항목(O) 특유일 수 있다. 소정의 콘텐츠 유형을 포함하는 것으로 라벨링되어진 라벨링된 미디어 항목들(114)의 세그먼트와 유사함에 기초하여 세그먼트(S)가 소정의 콘텐츠 유형을 포함하지 않을 확률(x)(예를 들어, x는 S가 "부정적 검토" 라벨들에 기초하여 "긍정적 검토" 라벨을 가져야 할 확률임)은 다음과 같은 방정식으로 표현될 수 있다:
Figure pct00034
소정의 콘텐츠 유형을 포함하지 않는 것으로 라벨링되어진 라벨링된 미디어 항목들(114)의 세그먼트와 유사함에 기초하여 세그먼트(S)가 소정의 콘텐츠 유형을 포함할 확률(y)(예를 들어, y는 S가 "긍정적 검토" 라벨들에 기초하여 "부정적 검토" 라벨을 가져야 할 확률임)은 다음과 같은 방정식으로 표현될 수 있다:
Figure pct00035
이들 확률들은 도 4b의 테이블(400B)에 기초하여 결합될 수 있다. 2개의 독립적인 증거가 있고 4가지 가능성이 있으며, 그 중 2개는 제외될 수 있다(예를 들어, 테이블(400B)의 음영 처리된 셀들).
세그먼트(S)가 그 콘텐츠 유형을 포함하지 않을 결과적인 확률(예를 들어, 라벨(164)과 연관된 특정한 속성을 갖고, S가 "긍정적인 검토" 라벨을 가져야 할 결과적인 확률)은 다음과 같은 방정식으로 표시될 수 있다 :
Figure pct00036
예측이 동일하면(즉, x = 1-y인 경우), 방정식은
Figure pct00037
Figure pct00038
으로 감축된다(예를 들어, 시그모이드 함수). 만일 y=1/2이면, 방정식은
Figure pct00039
Figure pct00040
로 감축된다. 만일 x=1/2이면, 방정식은 1-y로 감축된다.
그 콘텐츠 유형을 포함하지 않는 것으로 라벨링되어진 라벨링된 미디어 항목들(114)과 유사한 세그먼트(S)가 없는 경우(예를 들어, "긍정적인 검토" 라벨이 없는 경우), 세그먼트(S)가 그 콘텐츠 유형을 포함한다는(예를 들어, '부정적 검토' 라벨을 가져야 하는) 가정의 이전 확률은 절반(예를 들어,
Figure pct00041
)일 수 있다.
Figure pct00042
이고 세그먼트(S)가 그 콘텐츠 유형을 포함하지 않는 것으로 라벨링되어진 라벨링된 미디어 항목들(114)과만 유사하다면(예를 들어, "긍정적인 검토" 라벨들만 있음),
Figure pct00043
및
Figure pct00044
Figure pct00045
및
Figure pct00046
은
Figure pct00047
가 100%와 가까운 경우
Figure pct00048
와 매우 가깝다(예를 들어,
Figure pct00049
가
Figure pct00050
이면, 에러는 1% 미만이다).
일부 구현에서, 검토들
Figure pct00051
및
Figure pct00052
를 갖는, 각각의 세그먼트
Figure pct00053
에 대해, x와 y는 다음과 같이 계산된다 :
Figure pct00054
,
Figure pct00055
여기서
Figure pct00056
(y에서 팩터
Figure pct00057
는 "긍정적 검토" 라벨들과 "부정적 검토" 라벨들을 결합하는 것이 중립적이라는 점에서 비롯된다)
그러면,
Figure pct00058
어떠한 검토도 없다면, 이것은
Figure pct00059
로 감축된다. 다른 구현들에서, "긍정적 검토" 라벨들과 "부정적 검토" 라벨에 기초한 x와 y 확률들은 다른 방식들로 결합될 수도 있다.
블록 308에서, 처리 디바이스는, 현재 미디어 항목(116)의 세그먼트들 각각의 생성된 세그먼트 예측 값(168)에 기초하여 현재 미디어 항목(116)에 대한 미디어 항목 예측 값(169)(예를 들어, 결합된 확률)을 계산한다. 세그먼트 예측 값들(168)은 결합되어, 다음과 같은 방정식에 의해 전체 현재 미디어 항목(116)에 대한 미디어 항목 예측 값(169)이 될 수 있다 :
Figure pct00060
일부 구현에서, 미디어 항목 예측 값(169)은 현재 미디어 항목(116)이 그 콘텐츠 유형 또는 속성을 포함하지 않을 확률(예를 들어, "긍정적 검토" 라벨을 가져야할 확률)을 나타낼 수 있다. 예를 들어, 미디어 항목 예측 값(169)은 현재 미디어 항목(116)이 콘텐츠 또는 속성의 유형을 포함하지 않을 90% 확률을 갖는다는 것을 나타낼 수 있다. 일부 구현에서, 세그먼트 예측 값들(168) 및 미디어 항목 예측 값(169)은 콘텐츠 유형 또는 속성을 포함할 상대적 확률을 나타내는 점수들일 수 있다. 예를 들어, 제1 현재 미디어 항목의 제1 미디어 항목 예측 값은 더 큰 최종 점수를 나타낼 수 있고, 제2 현재 미디어 항목의 제2 미디어 항목 예측 값은 더 작은 최종 점수를 나타낼 수 있다. 비교적 더 큰 최종 점수는, 제1 현재 미디어 항목이 제2 현재 미디어 항목보다 그 콘텐츠 유형을 포함할 가능성이 더 높다는 것을 나타낸다. 일부 구현에서, 세그먼트 예측 값들(168)은 함께 곱해져서 미디어 항목 예측 값(169)을 계산한다. 일부 구현에서, 세그먼트 예측 값들(168)은 (예를 들어, 곱셈 대신, 곱셈과 조합하여, 등) 하나 이상의 다른 연산을 이용하여 결합된다. 일부 구현에서, 세그먼트 예측 값들(168)은 하나 이상의 연산(예를 들어, 곱셈 등)을 통해 현재 미디어 항목(116)에 대한 이전 예측 값(예를 들어, 현재 미디어 항목(116)의 이전 검토에 의해 생성된 확률 또는 점수)과 결합된다.
한 예에서, 블록 304에서, 처리 디바이스는, 현재 미디어 항목(116)의 제1 세그먼트(예를 들어, 0-15초)가 제1 라벨링된 미디어 항목(114A)의 제1 대응하는 세그먼트와 정합하고, 현재 미디어 항목(116)의 제2 세그먼트(예를 들어, 0-30초)가 제2 라벨링된 미디어 항목(114B)의 제2 대응하는 세그먼트와 정합하고, 제1 세그먼트는 제2 세그먼트의 서브-세그먼트라고 결정할 수 있다. 현재 미디어 항목(116)의 제2 세그먼트는, 현재 미디어 항목(116)의 제1 세그먼트 및 제3 세그먼트를 포함할 수 있다. 블록 306에서, 처리 디바이스는, 제1 라벨링된 미디어(114A) 항목의 제1 상응하는 라벨(164A) 및 제2 라벨링된 미디어 항목(114B)의 제2 상응하는 라벨(164B)에 기초하여 제1 세그먼트를 처리할 수 있다(예를 들어, 제1 세그먼트에 대한 제1 라벨을 나타내는 제1 세그먼트 예측 값을 생성). 블록 306에서, 처리 디바이스는, 제2 라벨링된 미디어 항목(114B)의 제2 상응하는 라벨(164B)에 기초하여 제2 세그먼트를 처리할 수 있다(예를 들어, 제1 세그먼트에 대한 제2 라벨을 나타내는 제2 세그먼트 예측 값을 생성). 블록 308에서, 처리 디바이스는, 생성된 제1 세그먼트 예측 값(168) 및 생성된 제2 세그먼트 예측 값(168)에 기초하여 미디어 항목 예측 값(169)을 계산할 수 있다.
블록 310에서, 처리 디바이스는 현재 미디어 항목(116)이 미디어 항목 예측 값(169)에 기초하여 처리되게 한다. 예를 들어, 처리 디바이스는, 현재 미디어 항목(116)의 처리를 개시하기 위해 미디어 항목 예측 값(169)(또는 미디어 항목 예측 값(169)과 관련된 정보)을 미디어 항목 플랫폼에 제공할 수 있다. 대안으로서, 처리 디바이스는 미디어 항목 예측 값(169)에 기초하여 현재 미디어 항목(116)의 처리를 자체적으로 수행할 수 있다. 일부 구현에서, 현재 미디어 항목(116)의 처리는 미디어 항목 예측 값(169)에 기초하여 정책을 현재 미디어 항목(116)에 적용하는 것(예를 들어, 재생 방지, 재생 적용, 검토를 위해 전송 등)을 포함한다. 일부 구현에서, 미디어 항목 예측 값(169)에 기초한 현재 미디어 항목(116)의 처리가 도 3b에 의해 예시된다. 일부 구현에서, 처리 디바이스는 하나 이상의 미디어 항목(예를 들어, 광고들, 틈새 미디어 항목들)이 현재 미디어 항목(116)의 재생과 연관되게 할 수 있다(예를 들어, 현재 미디어 항목(116)의 재생과 연계하여 추가 미디어 항목의 재생을 유발). 일부 구현에서, 처리 디바이스는, 미디어 항목 예측 값(169)에 기초하여 현재 미디어 항목(116)과 연관된 콘텐츠 소유자 디바이스(140)에 표시가 전송되게 할 수 있다(예를 들어, 현재 미디어 항목(116)과 관련된 문제를 표시하는, 등). 일부 구현에서, 처리 디바이스는 미디어 항목 예측 값(169)에 기초하여 현재 미디어 항목(116)을 수정하거나 수정되게 할 수 있다. 일부 구현에서, 처리 디바이스는 미디어 항목 예측 값(169)에 기초하여 라벨(164)을 현재 미디어 항목(116)과 연관시킨다.
일부 구현에서, 처리 디바이스는 검토(예를 들어, 수동 검토)를 위해 현재 미디어 항목(116)을 전송할 수 있고 하나 이상의 검토 결정(예를 들어, 수동 검토 결정들)을 수신할 수 있다. 처리 디바이스는, (예를 들어, 재훈련을 통해, 피드백 루프를 통해) 검토 결정에 기초하여,
Figure pct00061
및
Figure pct00062
(예를 들어, 파라미터들(191))이 튜닝되게 할 수 있다. 일부 구현에서, 튜닝은 곡선 아래 면적(area under the curv; AUC)을 최적화한다. 일부 구현에서, 튜닝은 특정한 리콜 지점에서 정밀도를 최적화한다.
도 3b를 참조하면, 방법(320)은, 예측 시스템(105) 및/또는 검토 결정을 예측하기 위한 미디어 항목 플랫폼의 하나 이상의 처리 디바이스에 의해 수행될 수 있다. 방법(320)은 미디어 항목 예측 값(169)에 기초하여 현재 미디어 항목(116)을 처리하는데 이용될 수 있다. 일부 구현에서, 도 3a의 블록 310은 방법(320)을 포함한다. 방법(320)은, 예측 시스템(105) 및/또는 미디어 항목 플랫폼의 하나 이상의 처리 디바이스에서 실행되는 애플리케이션 또는 백그라운드 스레드에 의해 수행될 수 있다. 본 명세서에 설명된 바와 같이, 임계 조건은, 임계 미디어 항목 예측 값, 확률, 점수, 신뢰 수준 등 중에서 하나 이상일 수 있다. 예를 들어, 제1 임계 조건은 99% 이상의 미디어 항목 예측 값일 수 있다. 일부 구현에서, 임계 조건은, 임계 미디어 항목 예측 값, 확률, 점수, 신뢰 수준 등 중에서 하나 이상의 조합일 수 있다. 예를 들어, 제1 임계 조건은 제1 미디어 항목 예측 값과 신뢰의 임계 수준을 충족할 수 있다.
블록 322에서, 처리 디바이스는 계산된 미디어 항목 예측 값(169)이 제1 임계 조건을 만족하는지를 결정한다. 계산된 미디어 항목 예측 값(169)이 제1 임계 조건을 만족하는 것에 응답하여, 흐름은 블록 324로 계속된다. 계산된 미디어 항목 예측 값(169)이 제1 임계 조건을 만족하는 않는 것에 응답하여, 흐름은 블록 326으로 계속된다.
블록 324에서, 처리 디바이스는 미디어 항목 플랫폼을 통한 현재 미디어 항목(116)의 재생을 방지한다. 예를 들어, 미디어 항목 예측 값(169)이 현재 미디어 항목(116)이 (예를 들어, 부적절하거나 기술적 문제를 갖거나, 콘텐츠 소유자의 권리를 침해하는 등) 소정 콘텐츠 유형을 포함할 제1 확률(예를 들어, 99% 이상의 확률)을 충족하는 경우, 현재 미디어 항목(116)은 미디어 항목 플랫폼에 의해 차단될 수 있다. 일부 구현에서, 콘텐츠 유형의 표시(예를 들어, 부적절, 기술적 문제, 침해 등)는 현재 미디어 항목(116)을 업로드한 콘텐츠 소유자 디바이스(140)에 전송될 수 있다. 콘텐츠 소유자 디바이스는 현재 미디어 항목(116)을 수정(예를 들어, 또는 교체)하고 수정된(또는 새로운) 미디어 항목(112)을 업로드할 수 있다.
블록 326에서, 처리 디바이스는 계산된 미디어 항목 예측 값(168)이 제2 임계 조건을 만족하는지를 결정한다. 계산된 미디어 항목 예측 값(168)이 제2 임계 조건을 만족하는 것에 응답하여, 흐름은 블록 328로 계속된다. 계산된 미디어 항목 예측 값(168)이 제2 임계 조건을 만족하는 않는 것에 응답하여, 흐름은 블록 330으로 계속된다.
블록 328에서, 처리 디바이스는 미디어 항목 플랫폼을 통한 미디어 항목의 재생을 허용한다. 예를 들어, 미디어 항목 예측 값(169)이 현재 미디어 항목(116)이 (예를 들어, 부적절하거나, 기술적 문제를 갖거나, 콘텐츠 소유자의 권리를 침해하는 등의) 소정 유형의 콘텐츠를 포함할 제2 확률(예를 들어, 50% 확률 이하)을 충족한다면, 현재 미디어 항목(116)의 재생이 허용될 수 있다(예를 들어, 현재 미디어 항목(116)은 미디어 항목 플랫폼을 통한 재생을 위해 액세스가능하게 될 수 있다). 일부 구현에서, 미디어 항목 플랫폼을 통한 현재 미디어 항목(116)의 재생이 허용된다는 표시는, 현재 미디어 항목(116)을 업로드한 콘텐츠 소유자 디바이스(140)에 전송될 수 있다.
블록 330에서, 처리 디바이스는 계산된 미디어 항목 예측 값(169)이 제3 임계 조건을 만족하는지를 결정한다. 계산된 미디어 항목 예측 값(169)이 제3 임계 조건을 만족하는 것에 응답하여, 흐름은 블록 332로 계속된다. 계산된 미디어 항목 예측 값(169)이 제3 임계 조건을 만족하지 않는 것에 응답하여, 흐름은 종료된다.
블록 332에서, 처리 디바이스는 현재 미디어 항목(116)이 검토되어 미디어 항목 플랫폼을 통한 재생이 허용되는지를 나타내는 라벨(164)을 생성하게 한다. 일부 구현에서, 제3 임계 조건은 제1 임계 조건과 제2 임계 조건 사이에 있다(예를 들어, 제1 임계 조건보다 낮은 확률 및 제2 임계 조건보다 높은 확률, 예를 들어 50-99% 확률). 처리 디바이스는 현재 미디어 항목(116)이 수동으로 검토되게 할 수 있다.
블록 334에서, 처리 디바이스는 현재 미디어 항목(116)에 대한 생성된 라벨(164)을 수신한다. 처리 디바이스는, 미디어 항목 예측 값(169)이 제3 임계 조건을 충족하는 것에 응답하여 현재 미디어 항목(116)을 수동으로 검토한 사용자(예를 들어, 미디어 항목 플랫폼의 관리자)에 의해 생성되었던 생성된 라벨(164)을 수신할 수 있다.
일부 구현에서, 블록 336에서, 처리 디바이스는 생성된 라벨(164)에 기초하여 세그먼트 예측 값들(168)을 생성하기 위해 가중치들(예를 들어, 모델(190)의 파라미터들(191))을 조정한다(예를 들어, 훈련된 머신 학습 모델(190)을 재튜닝한다).
블록 338에서, 처리 디바이스는 생성된 라벨(164)이 재생 허용을 나타내는지를 결정한다. 재생 허용을 나타내는 생성된 라벨(164)에 응답하여, 흐름은 블록 328로 계속된다. 재생 불허를 나타내는 생성된 라벨(164)에 응답하여, 흐름은 블록 324로 계속된다.
도 3c를 참조하면, 방법(340)은 검토 결정들을 예측하기 위한 예측 시스템(105)의 하나 이상의 처리 디바이스에 의해 수행될 수 있다. 예측 시스템(105)은 본 개시내용의 구현들에 따라 방법(340)을 이용하여 머신 학습 모델을 훈련시킬 수 있다. 한 구현에서, 방법(340)의 일부 또는 모든 동작은 도 1의 시스템(100)의 하나 이상의 컴포넌트에 의해 수행될 수 있다. 다른 구현들에서, 방법(340)의 하나 이상의 동작은 도 1 및 도 2와 관련하여 설명된 바와 같이 서버 머신(170)의 튜닝 세트 생성기(171)에 의해 수행될 수 있다.
방법(340)은 머신 학습 모델에 대한 튜닝 데이터를 생성한다. 일부 구현에서, 블록 342에서 방법(300)을 구현하는 처리 로직은 데이터 세트(예를 들어, 튜닝 세트) T를 비어 있는 세트로 초기화한다.
블록 344에서, 처리 로직은, 현재 미디어 항목(116)의 세그먼트들(214) 각각에 대해, 대응하는 세그먼트(214)의 길이(212), 현재 미디어 항목(116)의 길이(216), 및 (예를 들어, 현재 미디어 항목(116)의 세그먼트와 유사한 세그먼트를 갖는) 상응하는 라벨링된 미디어 항목들(114)의 길이(218)를 포함하는 튜닝 입력을 생성한다.
블록 346에서, 처리 로직은 튜닝 입력들 중 하나 이상에 대한 타겟 출력을 생성한다. 타겟 출력은 현재 미디어 항목(116)의 라벨(164)을 포함할 수 있다. 일부 구현에서, 라벨(164)은 도 3b의 블록 334에서 수신될 수 있다.
블록 348에서, 처리 로직은, 선택사항으로서, 입력/출력 맵핑을 나타내는 맵핑 데이터(예를 들어, 현재 미디어 항목(116)의 라벨(164)에 맵핑된 현재 미디어 항목(116)과 연관된 정보(162))를 생성한다. 입력/출력 맵핑(또는 맵핑 데이터)은, 튜닝 입력(예를 들어, 여기서 설명된 튜닝 입력들 중 하나 이상), 튜닝 입력에 대한 타겟 출력(예를 들어, 타겟 출력이 상응하는 전송의 취소에 대한 사용자의 선호의 표시를 식별하는 경우), 및 튜닝 입력(들)과 타겟 출력 사이의 연관성을 참조할 수 있다.
블록 350에서, 처리 로직은 블록 342에서 초기화된 데이터 세트 T에 맵핑 데이터를 추가한다.
블록 352에서, 처리 로직은 튜닝 세트 T가 머신 학습 모델(190)을 훈련하기에 충분한지에 기초하여 분기된다. 만일 그렇다면, 실행은 블록 354로 진행하고, 그렇지 않으면 실행은 블록 344에서 다시 계속된다. 일부 구현에서, 튜닝 세트 T의 충분성은 단순히 튜닝 세트 내의 입력/출력 맵핑의 수에 기초하여 결정될 수 있는 반면, 일부 다른 구현에서는, 튜닝 세트 T의 충분성은, 입력/출력 맵핑의 수에 추가하여 또는 그 대신에, 하나 이상의 다른 기준(예를 들어, 튜닝 예들의 다양성 측정값, 정확도 등)에 기초하여 결정될 수 있다는 점에 유의해야 한다.
블록 354에서, 처리 로직은 머신 학습 모델(190)을 훈련시키기 위해 튜닝 세트 T를 제공한다. 한 구현에서, 튜닝 세트 T는 서버 머신(180)의 튜닝 엔진(181)에 제공되어 모델(190)의 훈련 또는 재훈련을 수행한다. 일부 구현에서, 모델의 훈련 또는 재훈련은 모델(190)의 파라미터들(191)의 가중치들을 조정하는 것을 포함한다(도 3b의 블록 336 참조). 블록 354 후에, 머신 학습 모델(190)은 튜닝 세트 T에 기초하여 훈련되거나 재훈련될 수 있고, 훈련된 머신 학습 모델(190)은 현재 미디어 항목들(116)에 대한 검토 결정들을 예측하도록 (예를 들어, 예측 관리자(132)에 의해) 구현될 수 있다.
도 3d를 참조하면, 방법(360)은 검토 결정들을 예측하기 위한 예측 시스템(105)의 하나 이상의 처리 디바이스에 의해 수행될 수 있다. 방법(360)은 검토 결정들을 예측하는데 이용될 수 있다. 방법(360)은, 예측 시스템(105)(예를 들어, 예측 관리자(132))의 하나 이상의 처리 디바이스에서 실행되는 애플리케이션 또는 백그라운드 스레드에 의해 수행될 수 있다.
블록 362에서, 처리 디바이스는, 현재 미디어 항목(116)의 세그먼트들(214) 각각에 대해, 대응하는 세그먼트(214)의 길이(212), 현재 미디어 항목(116)의 길이(216), 및 상응하는 라벨링된 미디어 항목들(114)의 길이(218)를 훈련된 머신 학습 모델(190)에 제공한다. 훈련된 머신 학습 모델(190)은 도 3c의 방법(340)에 의해 훈련될 수 있다. 훈련된 머신 학습 모델(190)은 도 3a의 방법의 블록들(306-308) 중 하나 이상을 수행할 수 있다. 예를 들어, 훈련된 머신 학습 모델은, 블록 362에서 제공된 튜닝 입력 및 파라미터들(191)에 기초하여 세그먼트 예측 값들(168)을 결정할 수 있다. 일부 구현에서, 훈련된 머신 학습 모델은 세그먼트 예측 값들(168)을 처리(예를 들어, 세그먼트 예측 값들(168)을 함께 승산, 세그먼트 예측 값들(168)을 결합)하여 미디어 항목 예측 값(169)을 생성할 수 있다.
블록 344에서, 처리 디바이스는 훈련된 머신 학습 모델(190)로부터 하나 이상의 출력을 획득할 수 있다. 블록 346에서, 처리 디바이스는, 하나 이상의 출력에 기초하여, 현재 미디어 항목(116)에 대한 미디어 항목 예측 값(169)을 결정할 수 있다. 일부 구현에서, 처리 디바이스는, 하나 이상의 출력으로부터, 미디어 항목 예측 값(169)이 생성된 라벨(164)(예를 들어, 현재 미디어 항목(116)의 수동 검토에 응답하여 수신된 라벨(164))에 대응(예를 들어, 정합)할 신뢰 수준을 추출할 수 있다.
도 4a 및 도 4b는 본 개시내용의 한 구현에 따른 미디어 항목(112)의 검토 결정들을 예측하는 것과 연관된 테이블(400)을 도시한다. 본 명세서에서 사용될 때, (예를 들어, 양호한, 실제로 양호한, 양호한 검토 등으로 평가된) "긍정적 검토" 및 (불량한, 실제로 불량한, 불량한 검토로 평가된) "부정적 검토"라는 용어들은 미디어 항목(112)의 속성들 또는 라벨(164)을 나타낼 수 있다. 일부 구현에서, "부정적 검토"는 미디어 항목(112)이 소정 유형의 콘텐츠 또는 속성(예를 들어, 부적절하거나, 기술적 문제를 갖거나, 다른 사람의 권리를 침해하는 등)을 포함한다는 것을 나타내는 라벨일 수 있으며, "긍정적 검토"는 그러한 유형의 콘텐츠 또는 속성이 없음을 나타내는 라벨이다. 일부 구현에서, 미디어 항목(112)은 복수의 라벨과 동시에 연관될 수 있다. 예를 들어, 미디어 항목(112)의 제1 라벨은 연령 적합성 등급(예를 들어, 10대 이상)을 나타낼 수 있고, 미디어 항목(112)의 제2 라벨은 미디어 항목(112)이 특정한 광고에 적합함을 나타낼 수 있으며, 미디어 항목(112)의 제3 라벨은 특정한 기술 문제(예를 들어, 캡션 문제) 나타낼 수 있는 등등이다. 라벨들은, 부적절하거나(예를 들어, 성적인 콘텐츠, 폭력적 또는 혐오스러운 콘텐츠, 증오성 또는 학대성 콘텐츠, 유해한 위험한 행위, 아동 학대, 테러 조장, 스팸 또는 오도성 등 중 하나 이상을 포함), 권리를 침해하거나, 기술적 문제(예를 들어, 캡션 문제 등)를 갖거나, 등급(예를 들어, 연령 적합성 등급 등)을 갖거나, 광고에 적합한 등의 특정한 콘텐츠 유형을 나타낼 수 있다.
도 4a는, 본 개시내용의 한 구현에 따른, 미디어 항목(112)(예를 들어, 라벨링된 미디어 항목(114))에 대한 라벨(164)과 연관된 테이블(400A)을 도시한다. 미디어 항목(112)은 수동으로 검토되어 라벨(164)을 할당받았을 수 있다. 테이블 400A에 도시된 바와 같이, 수동 검토들은, 미디어 항목(112)에 대한 긍정적 검토의 79% 확률 및 미디어 항목(112)에 대한 부정적 검토의 21% 확률을 나타내는 라벨(164)을 생성했다. 긍정적 검토는 미디어 항목이 부적절하거나 기술적 문제를 갖는 콘텐츠를 포함하지 않음을 나타낼 수 있다. 부정적 검토는 미디어 항목이 부적절하거나 기술적 문제를 갖는 콘텐츠를 포함함을 나타낼 수 있다. 용어들 "긍정적 검토" 및 "부정적 검토" 및 용어 "콘텐츠 유형"이 본 명세서에서 사용되지만, 본 개시내용은 미디어 항목(112)의 임의의 유형의 라벨에 적용된다는 것을 이해해야 한다.
수동 검토들은 부분적으로 정확할 수 있다. 예를 들어, 수동 검토 동안에, 미디어 항목(112)의 하나 이상의 부분이 검토될 수 있고 미디어 항목(112)의 하나 이상의 다른 부분은 검토되지 않을 수 있다(예를 들어, 미디어 항목(112)의 부분들의 무작위 추출 검사, 미디어 항목(112)의 스키밍 등). 상이한 사용자들은 동일한 미디어 항목(112)에 대해 상이한 라벨들을 제공할 수 있다. 예를 들어, 도발적인 댄싱 라벨의 경우, 제1 사용자는 미디어 항목(112)의 댄싱이 부정적 검토 라벨을 받을만큼 충분히 도발적이지 않은 것으로 간주할 수 있고, 제2 사용자는 미디어 항목(112)의 댄싱이 부정적 검토 라벨을 받을만큼 충분히 도발적인 것으로 간주할 수 있다.
실제 정확성은, 관리자(예를 들어, 초기 수동 검토들을 수행한 사용자들의 감독자)에 의한 수동 검토에 의해 결정될 수 있다. 테이블 400A에 도시된 바와 같이, 실제 값들은, 미디어 항목(112)에 대한 긍정적 검토의 76% 확률(예를 들어, 실제로 긍정적이면, 관리자가 긍정적 검토 라벨을 할당함)과 미디어 항목(112)에 대한 부정적 검토의 24% 확률(예를 들어, 실제로 부정적이면, 관리자는 부정적 검토 라벨을 할당함)을 나타내는 라벨(164)을 생성한다. 테이블(400A)로부터의 값들은 미디어 항목 예측 값(169)을 계산하는데 이용될 수 있다.
테이블(400A)의 실제 백분율들은, 이용가능한 경우, 실제 데이터로 대체될 수 있다. 테이블(400A)의 값들은 분포가 변경됨에 따라 주기적으로 업데이트될 수 있다. 테이블(400A)의 값들은 최근성 편향(recency bias)을 가질 수 있다(예를 들어, 미디어 항목들(112)의 더 최근의 검토들은 미디어 항목들(112)의 덜 최근의 검토들보다 더 많이 가중치가 부여될 수 있음).
도 4b는, 본 개시내용의 구현에 따른, 미디어 항목들(112)의 검토 결정들을 예측하는 것을 나타내는 테이블(400B)을 도시한다.
본 명세서에서 논의된 바와 같이, 방정식들은 세그먼트 예측 값들(168)을 계산하는데 이용될 수 있다. 현재 미디어 항목(116)의 제1 세그먼트(214A)는 "긍정적 검토" 라벨을 갖는 제1 라벨링된 미디어 항목(114A)의 대응하는 제1 세그먼트와 유사할 수 있고, 현재 미디어 항목(116)의 제2 세그먼트(214B)는 "부정적 검토" 라벨을 갖는 제2 라벨링된 미디어 항목(114B)의 대응하는 제2 세그먼트와 유사할 수 있다. 현재 미디어 항목(116)의 세그먼트가 "긍정적 검토" 라벨(예를 들어, 양호한 검토들로부터의 양호)을 갖는 라벨링된 미디어 항목(114A)과 유사함에 기초하여 "긍정적 검토" 라벨을 가질 확률은 제1 방정식으로 표현될 수 있다 :
x * (1-y)
현재 미디어 항목(116)의 세그먼트가 "긍정적 검토" 라벨(예를 들어, 양호한 검토들로부터의 양호)을 갖는 라벨링된 미디어 항목(114A)과 유사함에 기초하여 "부정적 검토" 라벨을 가질 확률은 제2 방정식으로 표현될 수 있다 :
(1-x) * y
세그먼트 예측 값(168)은 도 3a의 블록(306)에 설명된 바와 같이 제1 및 제2 방정식들에 기초하여 계산될 수 있다.
도 5는 본 개시내용의 한 구현에 따른 컴퓨터 시스템의 한 구현을 예시하는 블록도이다. 소정 구현들에서, 컴퓨터 시스템(500)은 (예를 들어, 근거리 통신망(LAN), 인트라넷, 엑스트라 넷 또는 인터넷 등의 네트워크를 통해) 다른 컴퓨터 시스템들에 접속될 수 있다. 컴퓨터 시스템(500)은, 클라이언트-서버 환경에서의 서버 또는 클라이언트 컴퓨터의 용량에서, 또는 피어-투-피어 또는 분산형 네트워크 환경에서의 피어 컴퓨터로서 동작할 수 있다. 컴퓨터 시스템(500)은, 개인용 컴퓨터(PC), 태블릿 PC, 셋탑 박스(STB), PDA(Personal Digital Assistant), 셀룰러 전화, 웹 기기, 서버, 네트워크 라우터, 스위치 또는 브릿지, 또는 디바이스에 의해 취해질 동작들을 명시하는 한 세트의 명령어들을 (순차적 또는 기타의 방식으로) 실행할 수 있는 임의의 디바이스에 의해 제공될 수 있다. 또한, "컴퓨터"라는 용어는, 여기서 설명된 방법 중 임의의 하나 이상을 수행하는 한 세트의(또는 복수 세트의) 명령어들을 개별적으로 또는 공동으로 실행하는 컴퓨터들의 임의의 모음을 포함해야 한다.
추가 양태에서, 컴퓨터 시스템(500)은, 버스(508)를 통해 서로 통신할 수 있는, 처리 디바이스(502), 휘발성 메모리(504)(예를 들어, 랜덤 액세스 메모리(RAM)), 비휘발성 메모리(506)(예를 들어, 판독 전용 메모리(ROM) 또는 전기적으로 소거가능하고 프로그램가능한 ROM(EEPROM)), 및 데이터 저장 디바이스(516)를 포함할 수 있다.
처리 디바이스(502)는, (예를 들어, CISC(complex instruction set computing) 마이크로프로세서, RISC(reduced instruction set computing) 마이크로프로세서, VLIW(very long instruction word) 마이크로프로세서, 다른 유형들의 명령어 세트들을 구현하는 마이크로프로세서, 또는 명령어 세트 유형들의 조합들을 구현하는 마이크로프로세서 등의) 범용 프로세서, 또는 (예를 들어, ASIC(application specific integrated circuit), FPGA(field programmable gate array), DSP(digital signal processor), 또는 네트워크 프로세서 등의) 전문화된 프로세서 등의 하나 이상의 프로세서에 의해 제공될 수 있다.
컴퓨터 시스템(500)은 네트워크 인터페이스 디바이스(522)를 더 포함할 수 있다. 컴퓨터 시스템(500)은 또한, 비디오 디스플레이 유닛(510)(예를 들어, LCD), 영숫자 입력 디바이스(512)(예를 들어, 키보드), 커서 제어 디바이스(514)(예를 들어, 마우스), 및 신호 생성 디바이스(520)를 포함할 수 있다.
일부 구현에서, 데이터 저장 디바이스(516)는 도 1의 예측 관리자(132)를 인코딩하고 방법들(300, 320, 340 또는 360) 중 하나 이상을 구현하기 위한 명령어들을 포함한, 여기서 설명된 방법들 또는 기능들 중 임의의 하나 이상을 인코딩하는 명령어들(526)을 저장할 수 있는 비일시적인 컴퓨터 판독가능한 저장 매체(524)를 포함할 수 있다.
명령어들(526)은 또한, 컴퓨터 시스템(500)에 의한 그 실행 동안에 휘발성 메모리(504) 내에 및/또는 처리 디바이스(502) 내에 완전히 또는 부분적으로 상주할 수 있으므로, 휘발성 메모리(504) 및 처리 디바이스(502)도 역시 머신 판독가능한 저장 매체를 구성할 수 있다.
컴퓨터 판독가능한 저장 매체(524)가 예시적인 예들에서 단일 매체로서 도시되어 있지만, 용어 "컴퓨터 판독가능한 저장 매체"는 하나 이상의 세트의 실행가능한 명령어들을 저장하는 단일 매체 또는 복수의 매체(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 및/또는 연관된 캐시들 및 서버들)를 포함해야 한다. 용어 "컴퓨터 판독가능한 저장 매체"는 또한, 컴퓨터로 하여금 여기서 설명된 임의의 하나 이상의 방법을 수행하게 하는 컴퓨터에 의한 실행을 위한 한 세트의 명령어들을 저장하거나 인코딩할 수 있는 임의의 유형 매체를 포함해야 한다. 용어 '컴퓨터 판독가능한 저장 매체"는, 고체-상태 메모리들, 광학 매체, 및 자기 매체를 포함하지만, 이것으로 제한되지 않아야 한다.
여기서 설명된 방법들, 컴포넌트들, 및 피처들은 개별 하드웨어 컴포넌트들에 의해 구현될 수 있거나, ASIC들, FPGA들, DSP들 또는 유사한 디바이스들 등의 다른 하드웨어 컴포넌트들의 기능에 통합될 수 있다. 추가로, 방법들, 컴포넌트들, 및 피처들은, 하드웨어 디바이스들 내의 펌웨어 모듈들 또는 기능 회로에 의해 구현될 수 있다. 또한, 방법들, 컴포넌트들, 및 피처들은, 하드웨어 디바이스들과 컴퓨터 프로그램 컴포넌트들의 임의의 조합으로, 또는 컴퓨터 프로그램들로 구현될 수 있다.
구체적으로 달리 언급되지 않는 한, "식별", "처리", "생성", "계산", "처리", "결정", "방지", "허용", "야기", "조정", "훈련", "튜닝" 등의 용어들은, 컴퓨터 시스템 레지스터들 및 메모리들 내의 물리적(전자적) 양들로서 표현된 데이터를, 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 이러한 정보 저장, 전송, 또는 디스플레이 디바이스들 내의 물리적 양들로서 유사하게 표현된 다른 데이터로 조작 및 변환하는 컴퓨터 시스템들에 의해 수행되거나 구현된 동작들 및 프로세스들을 말한다. 또한, 여기서 사용되는 "제1", "제2", "제3", "제4" 등의 용어들은, 상이한 요소들 간을 구별하는 라벨들로서 의미되고, 반드시 그들의 수치 지정에 따른 서수적 의미를 갖는 것은 아닐 수도 있다.
여기서 설명된 예들은 또한, 여기서 설명된 방법들을 수행하기 위한 장치에 관한 것이다. 이 장치는 여기서 설명된 방법들을 수행하기 위해 특별히 구성될 수 있거나, 컴퓨터 시스템에 저장된 컴퓨터 프로그램에 의해 선택적으로 프로그램된 범용 컴퓨터 시스템을 포함할 수 있다. 이러한 컴퓨터 프로그램은 컴퓨터 판독가능한 유형의 저장 매체에 저장될 수 있다.
여기서 설명된 방법들 및 예시적인 예들은 본질적으로 임의의 특정한 컴퓨터 또는 기타의 장치와 관련되는 것은 아니다. 다양한 범용 시스템이 여기서 설명된 교시에 따라 이용될 수 있거나, 방법들(300, 320, 340 및 360 및/또는 그들 개개의 기능들, 루틴들, 서브루틴들, 또는 동작들 각각을 수행하도록 더 전문화된 장치를 구성하는 것이 편리하다고 입증될 수 있다. 다양한 이들 시스템들에 대한 구조의 예들은 상기의 설명에 개시되어 있다.
상기 설명은 예시를 의도한 것이지 제한하고자 함이 아니다. 본 개시내용이 특정한 예시적인 예들 및 구현들을 참조하여 설명되었지만, 본 개시내용은 설명된 예들 및 구현들로 제한되지 않는다는 것을 인식할 것이다. 따라서, 본 개시내용의 범위는, 이하의 청구항들을 참조하여 청구항들에 부여된 균등물들의 전체 범위와 함께 결정되어야 한다.

Claims (20)

  1. 방법으로서,
    처리할 현재 미디어 항목을 식별하는 단계;
    상기 현재 미디어 항목의 복수의 세그먼트 중 하나와 유사한 적어도 하나의 상응하는 세그먼트를 포함하는 라벨링된 미디어 항목들을 식별하기 위해 복수의 라벨링된 미디어 항목을 처리하는 단계;
    상기 현재 미디어 항목의 복수의 세그먼트 각각에 대해, 현재 미디어 항목의 대응하는 세그먼트와 유사한 상응하는 세그먼트를 각각 포함하는 상응하는 라벨링된 미디어 항목들과 연관된 속성들에 기초하여 상기 현재 미디어 항목의 상기 대응하는 세그먼트와 연관된 특정한 속성을 나타내는 세그먼트 예측 값을 생성하는 단계;
    상기 현재 미디어 항목의 상기 복수의 세그먼트 각각의 생성된 세그먼트 예측 값에 기초하여 상기 현재 미디어 항목에 대한 미디어 항목 예측 값을 계산하는 단계; 및
    상기 계산된 미디어 항목 예측 값에 기초하여 상기 현재 미디어 항목이 처리되게 하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 라벨링된 미디어 항목들 각각에는 상응하는 라벨이 할당되고;
    상기 현재 미디어 항목의 상기 복수의 세그먼트 각각은, 상기 라벨링된 미디어 항목들의 하나 이상의 세그먼트와 적어도 부분적으로 정합하는, 방법.
  3. 제1항 또는 제2항에 있어서, 상기 현재 미디어 항목의 상기 복수의 세그먼트 각각에 대해, 상기 대응하는 세그먼트에 대한 상기 세그먼트 예측 값의 생성은, 상기 대응하는 세그먼트의 길이, 상기 현재 미디어 항목의 길이, 또는 상기 현재 미디어 항목의 상기 대응하는 세그먼트와 유사한 상응하는 세그먼트를 각각 포함하는 상응하는 라벨링된 미디어 항목들의 길이 중 적어도 하나를 포함하는 복수의 파라미터에 기초하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 현재 미디어 항목의 제1 세그먼트가 제1 라벨링된 미디어 항목의 제1 대응하는 세그먼트와 정합한다고 결정하는 단계;
    상기 현재 미디어 항목의 제2 세그먼트가 제2 라벨링된 미디어 항목의 제2 대응하는 세그먼트와 정합한다고 결정하는 단계;
    상기 제1 세그먼트가 상기 제2 세그먼트의 서브-세그먼트라고 결정하는 단계
    를 더 포함하고, 상기 제2 세그먼트는 상기 제1 세그먼트 및 제3 세그먼트를 포함하며, 상기 복수의 세그먼트 각각에 대해 세그먼트 예측 값의 생성은 :
    상기 제1 라벨링된 미디어 항목의 제1 상응하는 라벨 및 상기 제2 라벨링된 미디어 항목의 제2 상응하는 라벨에 기초하여 상기 제1 세그먼트에 대한 제1 라벨을 나타내는 제1 세그먼트 예측 값을 생성하는 단계; 및
    상기 제2 라벨링된 미디어 항목의 상기 제2 상응하는 라벨에 기초하여 상기 제3 세그먼트에 대한 제2 라벨을 나타내는 제2 세그먼트 예측 값을 생성하는 단계를 포함하고, 상기 미디어 항목 예측 값의 계산은 상기 생성된 제1 세그먼트 예측 값 및 상기 생성된 제2 세그먼트 예측 값에 기초하는, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 현재 미디어 항목이 처리되게 하는 단계는 :
    상기 계산된 미디어 항목 예측 값이 제1 임계 조건을 만족하는 것에 응답하여, 미디어 항목 플랫폼을 통한 상기 현재 미디어 항목의 재생이 방지되게 하는 단계;
    상기 계산된 미디어 항목 예측 값이 제2 임계 조건을 만족하는 것에 응답하여, 상기 미디어 항목 플랫폼을 통한 상기 현재 미디어 항목의 재생이 허용되게 하는 단계; 또는
    상기 계산된 미디어 항목 예측 값이 제3 임계 조건을 만족하는 것에 응답하여, 상기 현재 미디어 항목이 검토되어 상기 미디어 항목 플랫폼을 통한 현재 미디어 항목의 재생이 허용되는지를 나타내는 라벨을 생성하게 하는 단계
    중 하나를 포함하는, 방법.
  6. 제5항에 있어서, 상기 복수의 세그먼트 각각의 세그먼트 예측 값은, 복수의 파라미터 및 상기 복수의 파라미터 중 하나 이상과 연관된 하나 이상의 가중치에 기초하여 생성되는, 방법.
  7. 제6항에 있어서, 상기 현재 미디어 항목에 대한 상기 생성된 라벨에 기초하여 상기 하나 이상의 가중치를 조정하는 단계를 더 포함하는 방법.
  8. 제7항에 있어서,
    상기 하나 이상의 가중치의 조정은, 튜닝 입력 및 상기 튜닝 입력에 대한 타겟 튜닝 출력에 기초하여, 조정된 하나 이상의 가중치를 제공하도록 머신 학습 모델을 훈련시키는 단계를 포함하고;
    상기 튜닝 입력은, 상기 현재 미디어 항목의 상기 복수의 세그먼트 각각에 대해, 상기 대응하는 세그먼트의 길이, 상기 현재 미디어 항목의 길이, 및 상기 현재 미디어 항목의 상기 대응하는 세그먼트와 유사한 상응하는 세그먼트를 각각 포함하는 상응하는 라벨링된 미디어 항목들의 길이를 포함하고;
    상기 튜닝 입력에 대한 상기 튜닝 타겟 출력은 상기 현재 미디어 항목에 대한 생성된 라벨을 포함하는, 방법.
  9. 실행될 때, 처리 디바이스로 하여금 동작들을 수행하게 하는 명령어들을 저장한 비일시적인 머신 판독가능한 저장 매체로서, 상기 동작들은 :
    처리할 현재 미디어 항목을 식별하는 단계;
    상기 현재 미디어 항목의 복수의 세그먼트 중 하나와 유사한 적어도 하나의 상응하는 세그먼트를 포함하는 라벨링된 미디어 항목들을 식별하기 위해 복수의 라벨링된 미디어 항목을 처리하는 단계;
    상기 현재 미디어 항목의 복수의 세그먼트 각각에 대해, 현재 미디어 항목의 대응하는 세그먼트와 유사한 상응하는 세그먼트를 각각 포함하는 상응하는 라벨링된 미디어 항목들과 연관된 속성들에 기초하여 상기 현재 미디어 항목의 상기 대응하는 세그먼트와 연관된 특정한 속성을 나타내는 세그먼트 예측 값을 생성하는 단계;
    상기 현재 미디어 항목의 상기 복수의 세그먼트 각각의 생성된 세그먼트 예측 값에 기초하여 상기 현재 미디어 항목에 대한 미디어 항목 예측 값을 계산하는 단계; 및
    상기 계산된 미디어 항목 예측 값에 기초하여 상기 현재 미디어 항목이 처리되게 하는 단계
    를 포함하는, 비일시적인 머신 판독가능한 저장 매체.
  10. 제9항에 있어서,
    상기 라벨링된 미디어 항목들 각각에는 상응하는 라벨이 할당되고;
    상기 현재 미디어 항목의 상기 복수의 세그먼트 각각은, 상기 라벨링된 미디어 항목들의 하나 이상의 세그먼트와 적어도 부분적으로 정합하고;
    상기 현재 미디어 항목의 상기 복수의 세그먼트 각각에 대해, 상기 대응하는 세그먼트에 대한 상기 세그먼트 예측 값의 생성은, 상기 대응하는 세그먼트의 길이, 상기 현재 미디어 항목의 길이, 또는 상기 현재 미디어 항목의 대응하는 세그먼트와 유사한 상응하는 세그먼트를 각각 포함하는 상응하는 라벨링된 미디어 항목들의 길이 중 적어도 하나를 포함하는 복수의 파라미터에 기초하는, 비일시적인 머신 판독가능한 저장 매체.
  11. 제9항 또는 제10항에 있어서, 상기 동작들은 :
    상기 현재 미디어 항목의 제1 세그먼트가 제1 라벨링된 미디어 항목의 제1 대응하는 세그먼트와 정합한다고 결정하는 단계;
    상기 현재 미디어 항목의 제2 세그먼트가 제2 라벨링된 미디어 항목의 제2 대응하는 세그먼트와 정합한다고 결정하는 단계;
    상기 제1 세그먼트가 상기 제2 세그먼트의 서브-세그먼트라고 결정하는 단계
    를 더 포함하고, 상기 제2 세그먼트는 상기 제1 세그먼트 및 제3 세그먼트를 포함하며, 상기 복수의 세그먼트 각각에 대해 세그먼트 예측 값의 생성은 :
    상기 제1 라벨링된 미디어 항목의 제1 상응하는 라벨 및 상기 제2 라벨링된 미디어 항목의 제2 상응하는 라벨에 기초하여 상기 제1 세그먼트에 대한 제1 라벨을 나타내는 제1 세그먼트 예측 값을 생성하는 단계; 및
    상기 제2 라벨링된 미디어 항목의 상기 제2 상응하는 라벨에 기초하여 상기 제3 세그먼트에 대한 제2 라벨을 나타내는 제2 세그먼트 예측 값을 생성하는 단계를 포함하고, 상기 미디어 항목 예측 값의 계산은 상기 생성된 제1 세그먼트 예측 값 및 상기 생성된 제2 세그먼트 예측 값에 기초하는, 비일시적인 머신 판독가능한 저장 매체.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서, 상기 현재 미디어 항목이 처리되게 하는 단계는 :
    상기 계산된 미디어 항목 예측 값이 제1 임계 조건을 만족하는 것에 응답하여, 미디어 항목 플랫폼을 통한 상기 현재 미디어 항목의 재생이 방지되게 하는 단계;
    상기 계산된 미디어 항목 예측 값이 제2 임계 조건을 만족하는 것에 응답하여, 상기 미디어 항목 플랫폼을 통한 상기 현재 미디어 항목의 재생이 허용되게 하는 단계; 또는
    상기 계산된 미디어 항목 예측 값이 제3 임계 조건을 만족하는 것에 응답하여, 상기 현재 미디어 항목이 검토되어 상기 미디어 항목 플랫폼을 통한 현재 미디어 항목의 재생이 허용되는지를 나타내는 라벨을 생성하게 하는 단계
    중 하나를 포함하는, 비일시적인 머신 판독가능한 저장 매체.
  13. 제12항에 있어서,
    상기 복수의 세그먼트 각각의 세그먼트 예측 값은, 복수의 파라미터 및 상기 복수의 파라미터 중 하나 이상과 연관된 하나 이상의 가중치에 기초하여 생성되고;
    상기 동작들은, 상기 현재 미디어 항목에 대한 상기 생성된 라벨에 기초하여 상기 하나 이상의 가중치를 조정하는 단계를 더 포함하는, 비일시적인 머신 판독가능한 저장 매체.
  14. 제13항에 있어서,
    상기 하나 이상의 가중치의 조정은, 튜닝 입력 및 상기 튜닝 입력에 대한 타겟 튜닝 출력에 기초하여, 조정된 하나 이상의 가중치를 제공하도록 머신 학습 모델을 훈련시키는 단계를 포함하고;
    상기 튜닝 입력은, 상기 현재 미디어 항목의 상기 복수의 세그먼트 각각에 대해, 상기 대응하는 세그먼트의 길이, 상기 현재 미디어 항목의 길이, 및 상기 현재 미디어 항목의 상기 대응하는 세그먼트와 유사한 상응하는 세그먼트를 각각 포함하는 상응하는 라벨링된 미디어 항목들의 길이를 포함하고;
    상기 튜닝 입력에 대한 상기 튜닝 타겟 출력은 상기 현재 미디어 항목에 대한 생성된 라벨을 포함하는, 비일시적인 머신 판독가능한 저장 매체.
  15. 시스템으로서,
    명령어들을 저장하는 메모리; 및
    상기 메모리에 통신가능하게 결합된 처리 디바이스를 포함하고,
    상기 처리 디바이스는 상기 명령어들을 실행하여 :
    처리할 현재 미디어 항목을 식별하고;
    상기 현재 미디어 항목의 복수의 세그먼트 중 하나와 유사한 적어도 하나의 상응하는 세그먼트를 포함하는 라벨링된 미디어 항목들을 식별하기 위해 복수의 라벨링된 미디어 항목을 처리하고;
    상기 현재 미디어 항목의 복수의 세그먼트 각각에 대해, 현재 미디어 항목의 대응하는 세그먼트와 유사한 상응하는 세그먼트를 각각 포함하는 상응하는 라벨링된 미디어 항목들과 연관된 속성들에 기초하여 상기 현재 미디어 항목의 상기 대응하는 세그먼트와 연관된 특정한 속성을 나타내는 세그먼트 예측 값을 생성하고;
    상기 현재 미디어 항목의 상기 복수의 세그먼트 각각의 생성된 세그먼트 예측 값에 기초하여 상기 현재 미디어 항목에 대한 미디어 항목 예측 값을 계산하고;
    상기 계산된 미디어 항목 예측 값에 기초하여 상기 현재 미디어 항목이 처리되게 하도록
    구성된, 시스템.
  16. 제15항에 있어서,
    상기 라벨링된 미디어 항목들 각각에는 상응하는 라벨이 할당되고;
    상기 현재 미디어 항목의 상기 복수의 세그먼트 각각은, 상기 라벨링된 미디어 항목들의 하나 이상의 세그먼트와 적어도 부분적으로 정합하고;
    상기 처리 디바이스는, 상기 현재 미디어 항목의 상기 복수의 세그먼트 각각에 대해, 상기 대응하는 세그먼트에 대한 상기 세그먼트 예측 값을, 상기 대응하는 세그먼트의 길이, 상기 현재 미디어 항목의 길이, 또는 상기 현재 미디어 항목의 상기 대응하는 세그먼트와 유사한 상응하는 세그먼트를 각각 포함하는 상응하는 라벨링된 미디어 항목들의 길이 중 적어도 하나를 포함하는 복수의 파라미터에 기초하여 생성하는, 시스템.
  17. 제15항 또는 제16항에 있어서, 상기 처리 디바이스는 추가로 :
    상기 현재 미디어 항목의 제1 세그먼트가 제1 라벨링된 미디어 항목의 제1 대응하는 세그먼트와 정합한다고 결정하고;
    상기 현재 미디어 항목의 제2 세그먼트가 제2 라벨링된 미디어 항목의 제2 대응하는 세그먼트와 정합한다고 결정하고;
    상기 제1 세그먼트가 상기 제2 세그먼트의 서브-세그먼트라고 결정하고,
    상기 제2 세그먼트는 상기 제1 세그먼트 및 제3 세그먼트를 포함하며, 상기 복수의 세그먼트 각각에 대해 세그먼트 예측 값을 생성하기 위해, 상기 처리 디바이스는 :
    상기 제1 라벨링된 미디어 항목의 제1 상응하는 라벨 및 상기 제2 라벨링된 미디어 항목의 제2 상응하는 라벨에 기초하여 상기 제1 세그먼트에 대한 제1 라벨을 나타내는 제1 세그먼트 예측 값을 생성하고;
    상기 제2 라벨링된 미디어 항목의 상기 제2 상응하는 라벨에 기초하여 상기 제3 세그먼트에 대한 제2 라벨을 나타내는 제2 세그먼트 예측 값을 생성하고,
    상기 처리 디바이스는, 상기 생성된 제1 세그먼트 예측 값 및 상기 생성된 제2 세그먼트 예측 값에 기초하여 상기 미디어 항목 예측 값을 계산하는, 시스템.
  18. 제15항 내지 제17항 중 어느 한 항에 있어서, 상기 현재 미디어 항목이 처리되게 하기 위해, 상기 처리 디바이스는 :
    상기 계산된 미디어 항목 예측 값이 제1 임계 조건을 만족하는 것에 응답하여, 미디어 항목 플랫폼을 통한 상기 현재 미디어 항목의 재생이 방지되게 하는 것;
    상기 계산된 미디어 항목 예측 값이 제2 임계 조건을 만족하는 것에 응답하여, 상기 미디어 항목 플랫폼을 통한 상기 현재 미디어 항목의 재생이 허용되게 하는 것; 또는
    상기 계산된 미디어 항목 예측 값이 제3 임계 조건을 만족하는 것에 응답하여, 상기 현재 미디어 항목이 검토되어 상기 미디어 항목 플랫폼을 통한 현재 미디어 항목의 재생이 허용되는지를 나타내는 라벨을 생성하게 하는 것
    중 하나를 수행하는, 시스템.
  19. 제18항에 있어서,
    상기 복수의 세그먼트 각각의 세그먼트 예측 값은, 복수의 파라미터 및 상기 복수의 파라미터 중 하나 이상과 연관된 하나 이상의 가중치에 기초하여 생성되고;
    상기 처리 디바이스는 추가로, 상기 현재 미디어 항목에 대한 상기 생성된 라벨에 기초하여 상기 하나 이상의 가중치를 조정하는, 시스템.
  20. 제19항에 있어서,
    상기 하나 이상의 가중치를 조정하기 위해, 상기 처리 디바이스는, 튜닝 입력 및 상기 튜닝 입력에 대한 타겟 튜닝 출력에 기초하여, 조정된 하나 이상의 가중치를 제공하도록 머신 학습 모델을 훈련시키고;
    상기 튜닝 입력은, 상기 현재 미디어 항목의 상기 복수의 세그먼트 각각에 대해, 상기 대응하는 세그먼트의 길이, 상기 현재 미디어 항목의 길이, 및 상기 현재 미디어 항목의 상기 대응하는 세그먼트와 유사한 상응하는 세그먼트를 각각 포함하는 상응하는 라벨링된 미디어 항목들의 길이를 포함하고;
    상기 튜닝 입력에 대한 상기 튜닝 타겟 출력은 상기 현재 미디어 항목에 대한 생성된 라벨을 포함하는, 시스템.
KR1020217024060A 2018-12-31 2019-02-19 베이지안 추론을 이용하여 정합 그래프에서 검토 결정들 예측 KR20210104152A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862786713P 2018-12-31 2018-12-31
US62/786,713 2018-12-31
PCT/US2019/018622 WO2020142108A1 (en) 2018-12-31 2019-02-19 Using bayesian inference to predict review decisions in a match graph

Publications (1)

Publication Number Publication Date
KR20210104152A true KR20210104152A (ko) 2021-08-24

Family

ID=65686031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217024060A KR20210104152A (ko) 2018-12-31 2019-02-19 베이지안 추론을 이용하여 정합 그래프에서 검토 결정들 예측

Country Status (6)

Country Link
US (1) US20220121975A1 (ko)
EP (1) EP3891622A1 (ko)
JP (2) JP7242865B2 (ko)
KR (1) KR20210104152A (ko)
CN (1) CN113272800A (ko)
WO (1) WO2020142108A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022139943A2 (en) * 2020-10-23 2022-06-30 Remmie, Inc. Machine learning for ear disease diagnosis assistance

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6774917B1 (en) * 1999-03-11 2004-08-10 Fuji Xerox Co., Ltd. Methods and apparatuses for interactive similarity searching, retrieval, and browsing of video
EP1374174A2 (en) * 2000-09-07 2004-01-02 Koninklijke Philips Electronics N.V. Image matching
US20050060350A1 (en) * 2003-09-15 2005-03-17 Baum Zachariah Journey System and method for recommendation of media segments
EP2382791B1 (en) * 2009-01-27 2014-12-17 Telefonaktiebolaget L M Ericsson (PUBL) Depth and video co-processing
US10200381B2 (en) * 2015-08-05 2019-02-05 Mcafee, Llc Systems and methods for phishing and brand protection
DE112017000054T5 (de) * 2017-03-03 2019-01-31 Google Llc Systeme und verfahren zum detektieren einer unzweckmässigen implementierung einer präsentation von inhaltselementen durch anwendungen, die auf client-geräten ablaufen

Also Published As

Publication number Publication date
WO2020142108A1 (en) 2020-07-09
CN113272800A (zh) 2021-08-17
JP2023065653A (ja) 2023-05-12
JP7242865B2 (ja) 2023-03-20
EP3891622A1 (en) 2021-10-13
JP2022516520A (ja) 2022-02-28
US20220121975A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
US11947594B2 (en) Personalized content sharing
US10652605B2 (en) Visual hot watch spots in content item playback
US10645054B1 (en) Promoting social network sharing of a content item on a content sharing platform
US9684656B2 (en) Creating personalized and continuous playlists for a content sharing platform based on user history
EP3675014B1 (en) System and method for optimizing videos
US9799081B1 (en) Content recommendation platform
KR102066773B1 (ko) 콘텐츠 추천 방법, 장치 및 시스템
US9872058B2 (en) Splitting content channels
US9864951B1 (en) Randomized latent feature learning
US10911384B2 (en) Staggered notification by affinity to promote positive discussion
US10206003B1 (en) Identifying media channels that have a high likelihood of multiple consumptions by one or more users
US9641574B1 (en) Generating connection recommendations on a social network using social contacts
US20130124627A1 (en) Providing universal social context for concepts in a social networking system
JP2023065653A (ja) マッチグラフにおいてレビューの判断を予測するためのベイズ推定の使用
US10210465B2 (en) Enabling preference portability for users of a social networking system
Singh et al. Impact of ratings of content on OTT platforms and prediction of its success rate
US10877982B1 (en) Detection of popular content with narrow appeal
US20230020043A1 (en) Method for identifying new audiences for content of a content provider

Legal Events

Date Code Title Description
E902 Notification of reason for refusal