KR20180117163A - 모델을 이용한 콘텐츠 분포의 최적화 - Google Patents

Abstract

콘텐츠 표현을 최적화하기 위해, 컴퓨터 저장 매체 상에 인코딩된 컴퓨터 프로그램을 포함하는 방법, 시스템 및 디바이스가 제공된다. 일 양상에서, 시스템은 복수의 사용자들에 대한 속성 정보 및 콘텐츠 프리젠테이션 이후에 상기 복수의 사용자에 의한 온라인 행동을 정량화하는 대응 프록시 메트릭(proxy metrics)을 포함하는 트레이닝 데이터를 저장하는 트레이닝 데이터베이스; 다양한 제3자 콘텐츠 제공자들로부터 수신된 제3자 콘텐츠를 저장하는 콘텐츠 데이터베이스; 상기 트레이닝 데이터베이스 내의 트레이닝 데이터에 액세스하고 상기 트레이닝 데이터에 기초하여 제3자 콘텐츠 분배를 위한 모델을 훈련시키는 모델 생성기; 및 클라이언트 디바이스에서 콘텐츠의 다른 부분과 함께 제시될 제3자 콘텐츠에 대한 요청을 수신하는 콘텐츠 분배 서버를 포함하고, 상기 콘텐츠 분배 서버는 상기 요청에 응답하여 상기 클라이언트 디바이스에 배포될 제3자 콘텐츠를 선택하도록 상기 모델을 사용하며 그리고 선택된 제3자 콘텐츠를 식별하는 데이터를 상기 클라이언트 디바이스로 전송하며, 상기 모델은, 상기 요청으로부터 속성들의 세트를 획득하고, 상기 속성들의 세트는 상기 요청과 관련된 사용자의 정보에 관한 것이며; 상기 콘텐츠 데이터베이스에 저장된 소정의 제3자 콘텐츠에 관한 정보를 수신하고; 상기 속성들의 세트 및 상기 제3자 콘텐츠에 관한 정보에 기초하여, 상기 소정의 제3자 콘텐츠에 대한 프록시 메트릭을 예측하고, 상기 예측된 프록시 메트릭은 상기 소정의 제3자 콘텐츠의 프리젠테이션으로부터 야기될 대상 기억력 또는 대상 인지도 중 적어도 하나에 대한 정보를 제공하고; 그리고 상기 예측된 프록시 메트릭을 사용하여 그리고 상기 콘텐츠 분배 서버를 위해, 임계값을 충족하는 예측된 프록시 메트릭에 기초하여 분배될 상기 소정의 제3자 콘텐츠를 식별한다.

Description

모델을 이용한 콘텐츠 분포의 최적화

본 발명은 콘텐츠 프리젠테이션의 최적화에 관한 발명이다.

비디오 콘텐츠는 인터넷을 통해 모바일 디바이스 및 개인용 컴퓨터 등과 같은 다양한 클라이언트 디바이스에 프리젠테이션을 위해 배포될 수 있다. 특정 사용자가 관심을 가질만한 콘텐츠를 제공하기 위해서 특정 사용자에게 제공될 콘텐츠 유형들은 다양한 방식으로 선택될 수 있다.

일반적으로, 본 명세서에 기술된 주제의 하나의 혁신적인 양상은 시스템으로 구현될 수 있으며, 상기 시스템은 복수의 사용자들에 대한 속성 정보 및 콘텐츠 프리젠테이션 이후에 상기 복수의 사용자에 의한 온라인 행동을 정량화하는 대응 프록시 메트릭(proxy metrics)을 포함하는 트레이닝 데이터를 저장하는 트레이닝 데이터베이스; 다양한 제3자 콘텐츠 제공자들로부터 수신된 제3자 콘텐츠를 저장하는 콘텐츠 데이터베이스; 상기 트레이닝 데이터베이스 내의 트레이닝 데이터에 액세스하고 상기 트레이닝 데이터에 기초하여 제3자 콘텐츠 분배를 위한 모델을 훈련시키는 모델 생성기; 및 클라이언트 디바이스에서 콘텐츠의 다른 부분과 함께 제시될 제3자 콘텐츠에 대한 요청을 수신하는 콘텐츠 분배 서버를 포함하고, 상기 콘텐츠 분배 서버는 상기 요청에 응답하여 상기 클라이언트 디바이스에 배포될 제3자 콘텐츠를 선택하도록 상기 모델을 사용하며 그리고 선택된 제3자 콘텐츠를 식별하는 데이터를 상기 클라이언트 디바이스로 전송하며, 상기 모델은, 상기 요청으로부터 속성들의 세트를 획득하고, 상기 속성들의 세트는 상기 요청과 관련된 사용자의 정보에 관한 것이며; 상기 콘텐츠 데이터베이스에 저장된 소정의 제3자 콘텐츠에 관한 정보를 수신하고; 상기 속성들의 세트 및 상기 제3자 콘텐츠에 관한 정보에 기초하여, 상기 소정의 제3자 콘텐츠에 대한 프록시 메트릭을 예측하고, 상기 예측된 프록시 메트릭은 상기 소정의 제3자 콘텐츠의 프리젠테이션으로부터 야기될 대상 기억력 또는 대상 인지도 중 적어도 하나에 대한 정보를 제공하고; 그리고 상기 예측된 프록시 메트릭을 사용하여 그리고 상기 콘텐츠 분배 서버를 위해, 임계값을 충족하는 예측된 프록시 메트릭에 기초하여 분배될 상기 소정의 제3자 콘텐츠를 식별한다. 이러한 양상의 다른 실시예들은 컴퓨터 저장 디바이스 상에 인코딩된, 방법들의 동작들을 수행하도록 된 대응 방법들, 디바이스들 및 컴퓨터 프로그램들을 포함한다.

이들 및 다른 실시예들 각각은 선택적으로 다음과 같은 하나 이상의 특징들을 포함할 수 있다. 일부 구현예에서, 상기 콘텐츠 데이터베이스 내의 상기 소정의 제3자 콘텐츠에 관한 정보는 상기 소정의 제3자 콘텐츠의 카테고리, 상기 제3자 콘텐츠의 지속 기간 및 상기 소정의 제3자 콘텐츠의 특징 중 적어도 하나를 포함한다. 상기 트레이닝 데이터베이스는 특정한 제3자 콘텐츠를 상기 클라이언트 디바이스에 디스플레이하는 것과 관련된 프록시 메트릭을 또한 수신할 수 있으며, 상기 모델 생성기는 상기 특정한 제 3자 콘텐츠를 상기 클라이언트 디바이스에 디스플레이하는 것과 관련된 수신된 프록시 메트릭을 사용하여 상기 모델을 또한 리트레이닝할 수 있다. 일부 구현예에서, 상기 모델은 또한 속성 정보의 소정 카테고리들을 가중화하며 그리고 가중화된 속성 정보에 기초하여 상기 프록시 메트릭을 예측할 수 있다.

상기 제3자 콘텐츠에 대한 요청은 알려진 속성 정보를 포함하지 않지만, 상기 모델은 속성 정보에 관계없이 트레이닝 데이터를 식별할 수 있다. 일부 구현예에서, 상기 프록시 메트릭은 상기 비디오 콘텐츠에 대한 클릭들, 상기 비디오 콘텐츠와 관련된 시청 시간, 상기 비디오 콘텐츠와 관련된 스킵 타임, 상기 비디오 콘텐츠와 관련된 시청가능성 메트릭, 및 상기 비디오 콘텐츠와 관련된 청취가능성(audioability) 중 적어도 하나를 포함한다. 일부 구현예에서, 상기 다양한 제3자 콘텐츠 제공자들로부터 수신된 제3자 콘텐츠 각각은 대상 기억력 또는 대상 인지도에 대한 선호도를 포함한다.

일부 구현예에서, 상기 모델은 상기 선호도에 기초하여 상기 소정의 제3자 콘텐츠를 식별한다. 일부 구현예에서, 상기 모델 생성기는 특정 프록시 메트릭과 대상 기억력 사이의 상관 관계를 식별 및 저장한다. 일부 구현예에서, 상기 모델 생성기는 특정 프록시 메트릭과 대상 인지도 사이의 상관 관계를 식별 및 저장한다. 일부 구현예에서, 상기 모델은 로지스틱 회귀 기계 머신 러닝 및 선형 회귀 머신 러닝 중 적어도 하나를 사용하여 상기 프록시 메트릭을 예측한다.

본 명세서에 기술된 주제의 또 다른 혁신적인 양태는 컴퓨터 구현 방법으로 구현될 수 있으며, 이러한 컴퓨터 구현 방법은, 복수의 사용자들에 대한 속성 정보 및 콘텐츠 프리젠테이션 이후의 온라인 행동을 정량화하는 대응 프록시 메트릭(proxy metrics)을 포함하는 트레이닝 데이터를 트레이닝 데이터베이스에 저장하는 단계; 다양한 제3자 콘텐츠 제공자들로부터 수신된 제3자 콘텐츠를 콘텐츠 데이터베이스에 저장하는 단계; 모델 생성기에 의해서 상기 트레이닝 데이터베이스 내의 트레이닝 데이터에 액세스하고 상기 트레이닝 데이터에 기초하여 제3자 콘텐츠 분배를 위한 모델을 훈련시키는 단계; 콘텐츠의 다른 부분과 함께 클라이언트 디바이스에서 제시될 제3자 콘텐츠에 대한 요청을 콘텐츠 분배 서버에 의해서 수신하는 단계; 상기 콘텐츠 분배 서버에 의해서 그리고 상기 모델을 사용하여, 상기 요청에 응답하여 상기 클라이언트 디바이스에 배포될 제3자 콘텐츠를 선택하는 단계, 상기 모델은, 상기 요청으로부터 속성들의 세트를 획득하고, 상기 속성들의 세트는 상기 요청과 관련된 사용자의 정보에 관한 것이며, 상기 콘텐츠 데이터베이스에 저장된 소정의 제3자 콘텐츠에 관한 정보를 수신하고, 상기 속성들의 세트 및 상기 제3자 콘텐츠에 관한 정보에 기초하여, 상기 소정의 제3자 콘텐츠에 대한 프록시 메트릭을 예측하고, 상기 예측된 프록시 메트릭은 상기 소정의 제3자 콘텐츠의 프리젠테이션으로부터 야기될 대상 기억력 또는 대상 인지도 중 적어도 하나에 대한 정보를 제공하고, 그리고 상기 예측된 프록시 메트릭을 사용하여 그리고 상기 콘텐츠 분배 서버를 위해, 임계값을 충족하는 예측된 프록시 메트릭에 기초하여 분배될 상기 소정의 제3자 콘텐츠를 식별하며; 선택된 제3자 콘텐츠를 식별하는 데이터를 상기 콘텐츠 분배 서버에 의해서 상기 클라이언트 디바이스로 전송하는 단계를 포함한다.

이들 및 다른 실시예들 각각은 하나 이상의 다음 특징들을 포함할 수 있다. 일부 구현예에서, 상기 콘텐츠 데이터베이스 내의 상기 소정의 제3자 콘텐츠에 관한 정보는 상기 소정의 제3자 콘텐츠의 카테고리, 상기 제3자 콘텐츠의 지속 기간 및 상기 소정의 제3자 콘텐츠의 특징 중 적어도 하나를 포함한다. 일부 구현예에서, 상기 방법은 상기 트레이닝 데이터베이스에 의해서, 특정한 제3자 콘텐츠를 상기 클라이언트 디바이스에 디스플레이하는 것과 관련된 프록시 메트릭을 수신하는 단계; 및 상기 특정한 제 3자 콘텐츠를 상기 클라이언트 디바이스에 디스플레이하는 것과 관련된 수신된 프록시 메트릭을 사용하여 상기 모델을 리트레이닝 단계를 더 포함할 수 있다. 일부 구현예에서, 상기 모델은 또한 속성 정보의 소정 카테고리들을 가중화하며 그리고 가중화된 속성 정보에 기초하여 상기 프록시 메트릭을 예측할 수 있다. 일부 구현예에서, 상기 프록시 메트릭은 상기 비디오 콘텐츠에 대한 클릭들, 상기 비디오 콘텐츠와 관련된 시청 시간, 상기 비디오 콘텐츠와 관련된 스킵 타임, 상기 비디오 콘텐츠와 관련된 시청가능성 메트릭, 및 상기 비디오 콘텐츠와 관련된 청취가능성(audioability) 중 적어도 하나를 포함한다. 일부 구현예에서,상기 다양한 제3자 콘텐츠 제공자들로부터 수신된 제3자 콘텐츠 각각은 대상 기억력 또는 대상 인지도에 대한 선호도를 포함한다. 일부 구현예에서, 상기 방법은 특정 프록시 메트릭과 대상 기억력 사이의 상관 관계를 식별 및 저장하는 단계를 더 포함할 수 있다. 일부 구현예에서, 상기 방법은 특정 프록시 메트릭과 대상 인지도 사이의 상관 관계를 식별 및 저장하는 단계를 더 포함할 수 있다.

본 명세서에서 설명된 주제의 또 다른 혁신적인 양상은 컴퓨터-판독가능 매체에 구현될 수 있으며, 이는 비-일시적인 컴퓨터 판독가능 매체일 수 있지만, 이러한 양상은 이에 한정되는 것은 아니며, 하나 이상의 프로세서는 여기에 설명된 임의의 방법을 포함하는 동작 성능을 야기한다.

온라인 콘텐츠 제공자들은 그들의 콘텐츠를 프리젠테이션하는 것과 관련된 다양한 목표를 가지고 있다. 일부 콘텐츠 제공자는 특정 원인(particular cause)이나 브랜드와 같이 콘텐츠와 관련된 대상(subject)에 대한 인지도(awareness)를 높이는데 주력한다. 대상에 대한 인지도를 높이는데 중점을 둔 콘텐츠 제공 업체는 콘텐츠와 관련된 대상(subject) 또는 토픽(topic)을 배우게 하거나 알리기 위하여 사람들이 콘텐츠를 보도록 우선 순위를 정한다. 일부 콘텐츠 제공자는 콘텐츠와 관련된 대상에 대한 기억력 (retention)을 향상시키는 것을 목표로 한다. 특히, 콘텐츠 제공자는 시청자가 이전에 보았던 콘텐츠를 기억하기를 원하며 그리고 나중에 콘텐츠와 관련된 대상이나 토픽을 다시 회상할 수 있기를 원한다. 하지만, 특정 콘텐츠 공급자의 목표가 무엇이든간에, 콘텐츠 공급자는 항상 콘텐츠를 사용자에게 리소스 효율적으로 제공하려고 한다. 예를 들어, 콘텐츠 제공자는 콘텐츠 제공자와 하나 이상의 사용자 디바이스를 연결하는 통신 네트워크(예컨대, 로컬 영역 네트워크, 광역 네트워크, 무선 네트워크 및/또는 인터넷)의 대역폭을 절약하고자 한다(네트워크가 사용자 디바이스에 전달하는 데이터의 양을 감소시킴으로써). 사용자에게 아무런 관심이 없는 콘텐츠가 사용자에게 전송된다면, 해당 콘텐츠를 사용자에게 전송하는데 사용된 네트워크 리소스는 효과적으로 낭비된다. 본 명세서에서 설명된 구현예들은 콘텐츠 제공자가 그들의 콘텐츠의 프리젠테이션 및 분배를 최적화하는 것을 도울 수 있는바, 이는 콘텐츠 제공자의 목표를 여전히 만족시키면서도(예를 들어, 대상 인지도 및 대상에 대한 기억력 중 적어도 하나를 개선하는 것과 같은) 콘텐츠의 자원 효율적인 프리젠테이션 및 분배를 제공하도록 도울 수 있다.

본 명세서에 사용된 바와 같이, 속성 정보는 인구 통계학적 정보(demographic information)와 같은 사용자에 관한 정보와 관련된다. 프록시 메트릭은 동영상 클릭, 콘텐츠 시청 시간, 스킵 시간 및 시청가능성(viewability)을 포함하는, 콘텐츠 시청에 응답하는 사용자의 거동과 관련된 정량적 값들을 나타낸다.

제3자 콘텐츠는 텍스트, 이미지, 비디오 파일, 사운드 클립 또는 이들의 조합을 포함하여 제3자가 제공하는 모든 유형의 콘텐츠를 지칭할 수 있다. 제3자 콘텐츠의 일례는 비디오 클립이다. 대상 기억력(subject retention)은 나중에 사용자가 콘텐츠 아이템과 관련된 대상 또는 토픽을 기억할 가능성을 나타낸다. 대상 인지도는 콘텐츠 아이템과 관련된 특정 대상 또는 토픽과 누군가가 친숙한지 또는 누군가가 얼마나 친숙한지를 나타낸다.

본 명세서에서 설명된 주제의 특정 구현예들은 다음 이점들 중 하나 이상을 실현하도록 구현될 수 있다. 본 발명의 기술은 보다 리소스 효율적인 콘텐츠 프리젠테이션 및 배포를 제공하는바, 사용자가 흥미를 가질 수 있으며 상호작용할 가능성이 가장 높은 콘텐츠를 콘텐츠 공급자가 선택할 수 있게 함으로써, 이를 가능케한다. 따라서, 사용자에게 관심이 없는 사용자 콘텐츠를 전송할 때 네트워크 리소스 낭비를 줄일 수 있다. 또한, 본 명세서의 구현예들은 사용자가 콘텐츠에 어떻게 응답할 것인지를 직접적으로 나타내는 데이터가 없는 경우에도 리소스 효율적인 콘텐츠 프리젠테이션을 가능하게 한다. 대신에, 본 명세서에 설명된 구현예는, 예를 들어, 직접적으로 측정된 사용자 응답 데이터가 충분하게 이용가능하지 않은 경우와 같이, 콘텐츠 프리젠테이션에 대한 사용자 응답 가능성에 대한 지표로서 프록시 메트릭의 사용을 제공한다. 또한, 본 명세서에 서술된 특정 구현예는, 특정 사용자의 관심사항들에 관한 데이터가 알려지지 않았으며 그리고 특정 사용자들에 관한 데이터가 저장될 필요가 없는 더 작은 메모리 요건들을 포함하는 상황들에서의 증가된 유연성을 포함하는 다른 장점들을 달성한다.

본 명세서에서 설명된 주제들의 하나 이상의 구현예들의 세부 사항은 첨부된 도면들 및 이하의 설명에서 개시된다. 본 발명의 주제의 다른 특징들, 양상들 및 장점들은 상세한 설명, 도면 및 청구범위로부터 명백해질 것이다.

도 1은 콘텐츠 분배 시스템이 콘텐츠의 분배를 관리하는 예시적인 환경의 블록도이다.
도 2는 콘텐츠 분배를 최적화하기 위한 예시적인 프로세스의 흐름도이다.
도 3은 비디오 콘텐츠에 대한 트레이닝 데이터의 일례를 보여주는 테이블이다.
도 4는 비디오 콘텐츠에 대한 추가적인 예시적인 트레이닝 데이터를 도시하는 테이블이다.
도 5는 디스플레이를 위해 제3자 콘텐츠를 선택하기 위한 예시적인 프로세스의 흐름도이다.
도 6a 및 도 6b는 비디오 콘텐츠에 대한 트레이닝 데이터의 또 다른 일례를 도시하는 테이블이다.
도 7은 본 명세서에 설명된 컴퓨터 구현방법 및 다른 기술을 구현하는데 사용될 수 있는 컴퓨팅 디바이스 및 모바일 컴퓨팅 디바이스의 일례이다.
다양한 도면에서 동일한 참조 번호 및 명칭은 동일한 요소를 나타낸다.

본 명세서에는 프록시 메트릭의 사용이 서술되어 있는바, 이는 대상 "리프트"(subject "lift")를 최적화하거나 또는 특정 대상에서의 관심의 증가를 최적화하기 위한 것이다. 예를 들어, 대상 "리프트"와 관련된 정보가 피드백 루프 또는 다른 피드백 메커니즘을 통해 직접적으로 이용가능하지 않은 경우, 특정 대상과 관련된 "리프트" 메트릭에 대하여 직접적으로 측정가능한 메트릭과 강한 상관 관계를 갖는 프록시 메트릭이 사용되어, 콘텐츠의 다양한 부분들(예컨대, 콘텐츠의 속성들에 기초하여)에 의해서 제공될 예상 "리프트" 를 예측할 수 있는 예측 모델을 생성할 수 있다. "리프트" 메트릭은 관심의 증가, 인지도 또는 콘텐츠의 소정 부분에 노출되었던 사용자들에 의한 특정 대상의 회상(가령, 콘텐츠의 소정 부분에 노출되었던 사용자들의 대상 기억력 및 대상 인지도와 같은)을 나타내는 정량적인 값들과 관련된다.

대상 리프트(subject lift)와 강한 상관 관계가 있는 비디오 콘텐츠 디스플레이와 관련된 프록시 메트릭의 일례로는 비디오 콘텐츠에 대한 물리적 클릭, 콘텐츠 시청 시간, 콘텐츠 스킵 시간, 시청가능성 및 청취가능성을 포함한다. 콘텐츠에 대한 물리적 클릭은, 사용자가 콘텐츠를 클릭하는 것(예를 들어, 프리젠테이션 중인 비디오를 사용자가 클릭하거나, 또는 콘텐츠를 제공한 제3자와 관련된 웹 사이트 링크를 클릭하는 것)을 포함할 수 있다. 콘텐츠 시청 시간은, 비디오가 중단되기 전에 또는 비디오가 프리젠테이션되는 어플리케이션(예컨대, 웹 페이지 또는 비디오 플레이어 어플리케이션)이 닫히기 전에, 클라이언트 디바이스에서 비디오 콘텐츠가 제공되는 시간량을 지칭한다. 콘텐츠 스킵 시간은, 스킵가능한 비디오 콘텐츠의 시청을 스킵 혹은 패스(예컨대, 다른 콘텐츠를 보기 위하여)하거나 또는 스킵가능한 비디오 콘텐츠의 재생을 중단(예컨대, 정지 또는 스킵)하기 위한 입력 이전에, 스킵가능한 비디오 콘텐츠가 클라이언트 디바이스에서 제공되는 시간량을 지칭한다. 시청 가능성은 사용자가 실제로 물리적으로 출석하여 디스플레이된 콘텐츠를 시청할 가능성을 지칭한다. 예를 들어, 사용자가 컴퓨터에 디스플레이된 다른 영역들을 클릭하거나 또는 컴퓨터에 디스플레이된 콘텐츠와 상호 작용한다면, 사용자는 출석할 가능성이 있으며 콘텐츠를 볼 수 있다. 청취 가능성은 사용자가 실제로 물리적으로 출석하고 그리고 오디오를 제공하는 콘텐츠를 청취하게 될 가능성을 지칭한다. 청취 가능성은 예를 들어 사용자의 컴퓨팅 디바이스의 오디오 레벨을 식별하여 사용자가 오디오 콘텐츠를 들을 수 있는지 여부를 결정함으로써 결정될 수 있다.

본 출원은 콘텐츠 프리젠테이션의 최적화를 위하여, 대상 리프트 메트릭과 상관 관계가 있는 이러한 프록시 메트릭들을 논의하고 있다. 예를 들어, 본 출원은 프록시 메트릭 트레이닝 데이터를 사용하는 모델을 트레이닝하는 것을 개시하고 있는바, 이는 추후에 디스플레이될 콘텐츠에 대한 프록시 메트릭을 예측하기 위한 것이다. 기결정된 임계값(예를 들어, 평균 또는 다른 현재 값보다 높음)을 초과하는 예측된 프록시 메트릭을 갖는 콘텐츠는 콘텐츠와 관련된 대상에 대한 대상 기억력 또는 대상 인지도의 최적화(또는 달리 개선)를 하기 위하여, 프리젠테이션을 위해 선택될 수 있다.

도 1은 콘텐츠 프리젠테이션을 최적화하기 위해 프록시 메트릭을 사용하는 예시적인 환경(100)의 개략도이다. 일부 구현예에서, 예시적인 환경은 콘텐츠에 대한 요청(104)에 응답하여 콘텐츠를 선택한다(상기 요청과 관련된 속성들에 대한 프록시 메트릭을 분석함으로써).

예시적인 환경(100)은 근거리 통신망(LAN), 광역 통신망(WAN), 인터넷, 또는 이들의 조합과 같은 데이터 통신 네트워크(102)를 포함한다. 네트워크(102)는 다수의 전자 디바이스들 및 시스템들 간의 데이터 통신을 가능하게 한다. 특히, 네트워크(102)는 클라이언트 디바이스(106), 콘텐츠 분배 서버(108), 콘텐츠 데이터베이스(110), 트레이닝 데이터베이스(112), 복수의 제3자 콘텐츠 제공자(114) 및 모델 생성기(116)를 연결한다. 네트워크의 통신 링크는 유선 또는 무선 링크 또는 이들 둘다일 수 있다. 클라이언트 디바이스(106)는 사용자의 제어 하에 있으며 네트워크(102)를 통해 리소스를 요청하고 수신할 수 있는 전자 디바이스이다. 예시적인 클라이언트 디바이스(106)는 랩탑 컴퓨터, 데스크탑 컴퓨터, 온라인 비디오 콘텐츠를 스트리밍할 수 있는 텔레비전 디바이스, 모바일 통신 디바이스(예컨대, 스마트 폰, 태블릿 컴퓨팅 디바이스, 넷북, 노트북 컴퓨터 또는 웨어러블 디바이스) 및 네트워크(102)를 통해 데이터를 송수신할 수 있는 기타 디바이스를 포함할 수 있다.

일반적으로, 클라이언트 디바이스(106)는 네트워크(102)를 통한 데이터 송수신을 용이하게 하는 사용자 어플리케이션(가령, 웹 브라우저)을 포함한다. 콘텐츠 분배 서버(108), 콘텐츠 데이터베이스(110), 트레이닝 데이터베이스(112) 및 모델 생성기(116)는 랩탑, 데스크탑, 워크 스테이션, 개인용 정보 단말기(PDA), 서버, 블레이드 서버, 메인 프레임 및 기타 적절한 컴퓨터를 포함할 수 있다. 서버는 일반적으로 하나 이상의 컴퓨터들의 집합을 포함할 수 있고, 하나 이상의 지리적으로 떨어진 위치들에서 하나 이상의 컴퓨터들에 걸친 프로세싱을 수행할 수 있다.

많은 경우에서, 콘텐츠 제공자(114)는 그들 자신의 콘텐츠(예를 들어, 비디오)를 유기적으로 생성하여 서로 공유하는 당사자들을 포함할 수 있지만, 콘텐츠 제공자(114)는 또한 하나 이상의 다른 당사자들에 의해 실제로 생성되었지만 제 1 당사자가 공유하고 싶어하는 콘텐츠를 업로드하는 당사자드를 지칭할 수도 있다. 콘텐츠 제공자(114)는 오리지널 콘텐츠를 콘텐츠 데이터베이스(110)에 업로드할 수 있다. 콘텐츠 데이터베이스(110)는 일반적으로 배포가 가능하게 된 제3자 콘텐츠를 저장하는 책임이 있다.

콘텐츠 분배 서버(108), 콘텐츠 데이터베이스(110), 및 트레이닝 데이터베이스(112), 및 모델 생성기(116) 각각은 도 7과 관련하여 서술된 컴퓨터들처럼, 일반적으로 하나 이상의 위치에서 하나 이상의 컴퓨터의 하드웨어 및 소프트웨어의 조합으로서 구현될 수 있다. 콘텐츠 분배 서버(108), 콘텐츠 데이터베이스(110), 및 트레이닝 데이터베이스(112) 및 모델 생성기(116) 각각은 네트워크 통신을 가능하게 하는 각각의 네트워크 인터페이스를 포함할 수 있다. 일부 구현예에서, 콘텐츠 분배 서버(108), 콘텐츠 데이터베이스(110) 및/또는 트레이닝 데이터베이스 중 하나 이상은 데이터를 처리하기 위해 다수의 상이한 컴퓨터들 및/또는 서버들을 사용하는 분산 컴퓨팅 환경에서 구현될 수 있다.

일부 구현예에서, 클라이언트 디바이스(106)는 네트워크를 통해 콘텐츠(104)에 대한 요청을 제출한다. 클라이언트 디바이스(106)의 사용자는 클라이언트 디바이스(106) 상의 웹 브라우저에서 HTML 페이지, 전자 문서, 이미지 파일, 비디오 파일 및 오디오 파일과 같은 콘텐츠를 브라우징할 수 있다. 예를 들어, 요청된 웹 페이지는 콘텐츠 분배 서버(108)로부터 요청된 특정 콘텐츠(118)를 포함할 수 있다. 요청된 콘텐츠(118)는 콘텐츠의 다른 부분과 함께 클라이언트 디바이스에서 프리젠테이션될 수 있다. 클라이언트 디바이스(106) 상에서 프리젠테이션을 위해 어떤 콘텐츠가 제공될지를 결정하기 위해, 콘텐츠 분배 서버(108)는 콘텐츠 데이터베이스(110)로부터 제3자 콘텐츠를 선택하기 위해 모델을 사용할 수 있다.

모델은 트레이닝 데이터베이스(112)에 저장된 트레이닝 데이터에 액세스하는 모델 생성기(116)를 사용하여 생성된다. 트레이닝 데이터베이스(112)는 트레이닝 데이터를 저장하며, 트레이닝 데이터는 속성 정보(예를 들어, 사용자 인구 통계) 및 상응하는 프록시 메트릭을 포함하는 다양한 데이터를 포함한다. 프록시 메트릭은 특정 콘텐츠의 프리젠테이션 이후의 사용자의 온라인 거동을 정량화하며 그리고 상기 온라인 거동을 나타내는 사용자 혹은 사용자들에 대한 특정한 속성 정보에 대응한다. 예를 들어, 트레이닝 데이터베이스는 트레이닝 데이터를 저장할 수 있는데, 트레이닝 데이터는 저장된 데이터 중에서, 스포츠카와 관련된 비디오가 제공되었을 때 긍정적으로 반응하는 경향이 있는(예컨대, 비디오 콘텐츠를 클릭하거나 또는 높은 콘텐츠 시청 시간을 갖는) 18-24세 사이의 남성들을 나타내는 데이터를 포함한다. 이와 유사하게 트레이닝 데이터베이스는 스포츠카와 관련된 동일한 비디오가 제공되었을 때 부정적으로 반응하는 경향이 있는(예컨대, 비디오 콘텐츠를 스킵하거나 또는 낮은 콘텐츠 시청 시간을 갖는) 18-24세 사이의 여성들을 나타내는 트레이닝 데이터를 저장할 수 있다. 트레이닝 데이터의 일례들은 도 3, 4 및 도 6A-6B에 도시되며, 이에 대해서는 후술될 것이다.

콘텐츠 분배 서버(108)가 클라이언트 디바이스에서 프리젠테이션될 제3자 콘텐츠(104)에 대한 요청을 수신하면, 콘텐츠 분배 서버(108)는 모델 생성기(116)에 의해 생성된 모델을 사용하여, 상기 요청(41)에 응답하여 클라이언트 디바이스에 분배될 제3자 콘텐츠를 선택한다. 상기 모델은 먼저, 콘텐츠에 대한 요청으로부터 속성들의 세트를 획득함으로써, 프리젠테이션을 위한 콘텐츠를 식별한다. 이어서, 상기 모델은 콘텐츠에 대한 요청으로부터의 속성 정보의 세트와 매칭되는 속성 정보에 대응하는 프록시 메트릭(예를 들어, 저장된 트레이닝 데이터베이스(112)에서)을 식별한다. 다음으로, 모델은 콘텐츠 데이터베이스(110)에 저장된 특정 제3자 콘텐츠에 관한 정보를 수신한다. 콘텐츠(104)에 대한 요청으로부터의 속성들의 세트, 속성들의 세트에 대응하는 프록시 메트릭 및 특정 제3자 콘텐츠에 대한 정보에 기초하여, 상기 모델은 상기 특정 제3자 콘텐츠의 속성들의 세트에 대한 프록시 메트릭을 예측한다.

일부 구현예에서, 예측된 프록시 메트릭은 대상 기억력 또는 대상 인지도 중 적어도 하나와 상관 관계가 있다. 즉, 예측된 프록시 메트릭의 값이 증가함에 따라, 콘텐츠와 관련된 대상에 대한 사용자의 기억(recollection)에서의 대응하는 증가 또는 콘텐츠에 관련된 대상에 대한 사용자 인지도에서의 대응하는 증가가 존재한다. 다음으로, 상기 모델은 임계값(예컨대, 미리-특정된 값)을 충족 혹은 초과하는 예측된 프록시 메트릭에 기초하여 제3자 콘텐츠를 선택한다. 콘텐츠 분배 서버(108)는 선택된 제3자 콘텐츠를 식별하는 데이터를 클라이언트 디바이스(106)로 전송한다. 일부 구현예에서, 예측된 프록시 메트릭에 기초하여 상기 모델이 제3자 콘텐츠를 선택한 후에, 제3자 콘텐츠와 관련된 선택 기준이 조정된다.

도 2는 콘텐츠 프리젠테이션을 최적화하기 위한 예시적인 프로세스(200)의 흐름도이다. 단계 202에서, 트레이닝 데이터베이스(112)는 트레이닝 데이터를 저장한다. 트레이닝 데이터는 속성 정보(예를 들어, 사용자 인구 통계) 및 상응하는 프록시 메트릭을 포함하는 다양한 데이터를 포함한다. 프록시 메트릭은 특정 콘텐츠의 프리젠테이션 이후의 사용자의 온라인 거동을 정량화하고 그리고 이러한 온라인 거동을 나타내는 사용자 또는 사용자들에 대한 특정 속성 정보에 대응한다. 프록시 메트릭의 예로는 콘텐츠에 대한 물리적 클릭들, 콘텐츠 시청 시간, 콘텐츠 스킵 시간, 시청 가능성 및 청취 가능성을 포함한다.

트레이닝 데이터베이스(112)는 서로 다른 속성 정보를 포함하는 다양한 데이터를 저장할 수 있다. 예를 들어, 트레이닝 데이터베이스(112)는 스포츠카와 관련된 비디오가 제공되었을 때 긍정적으로 반응하는 경향이 있는(예컨대, 비디오 콘텐츠를 클릭하거나 또는 높은 콘텐츠 시청 시간을 갖는) 18-24세 사이의 남성들을 나타내는 데이터를 포함하는 트레이닝 데이터를 저장할 수 있다. 이와 유사하게, 트레이닝 데이터는 스포츠카와 관련된 동일한 비디오가 제공되었을 때 부정적으로 반응하는 경향이 있는(예컨대, 비디오 콘텐츠를 스킵하거나 또는 낮은 콘텐츠 시청 시간을 갖는) 18-24세 사이의 여성들을 나타내는 트레이닝 데이터를 저장할 수 있다. 이러한 경향은 스포츠카에 관한 비디오에 긍정적인 응답을 나타내는 대응 프록시 메트릭를 갖는 18-24세 사이의 남성들이 트레이닝 데이터베이스(112) 내의 트레이닝 데이터의 많은 수의 엔트리들을 갖는 것으로 도시될 수 있다(예를 들어, 도 3에 도시된 바와 같이).

도 3에 도시된 예시적인 트레이닝 데이터에서, 18-24세 사이의 남성과 여성 둘다를 포함하는 14명의 사용자들에게 스포츠카와 관련된 비디오 콘텐츠가 제공된다. 비디오 콘텐츠의 길이는 2 분이다. 첫 번째 컬럼은 사용자들을 나타내고, 두 번째 컬럼은 사용자가 남성인지 여성인지를 나타내며, 세 번째 컬럼은 사용자의 나이를 나타내고 네 번째 컬럼은 사용자가 2 분짜리 비디오를 보는데 소비한 시간을 나타낸다. 14 명의 사용자 모두의 평균 시청 시간은 약 59 초이다. 그러나 여성 사용자의 평균 시청 시간은 약 27 초이며 남성 사용자의 평균 시청 시간은 약 91 초이다. 따라서, 트레이닝 데이터는 18-24 세 사이의 남성 사용자가 18-24 세 사이의 여성 사용자보다 스포츠카와 관련된 비디오 콘텐츠에 더 긍정적으로 반응하는 경향이 있음을 보여준다(예를 들어, 비디오 콘텐츠를 더 많이 시청함으로써). 비록, 트레이닝 데이터에는 열외자가 존재하지만(예를 들어, 사용자 5는 21세 여성이지만 스포츠카 비디오 콘텐츠를 거의 다 보았으며, 사용자 11은 22세 남성이지만 스포츠카 비디오 콘텐츠를 오직 7 초만 시청하였음), 일반적인 경향이 프록시 메트릭 및 속성 정보에서 보여질 수 있다.

도 4에 도시된 다른 일례에서, 트레이닝 데이터베이스(112)는 트레이닝 데이터를 저장할 수 있는바, 이러한 트레이닝 데이터는, 18-24세 사이의 남성들 및 여성들 모두는 곧 개봉될 슬랩스틱 코미디 영화와 관련된 콘텐츠가 제공될 때 긍정적으로 반응하는 경향이 있지만, 65세 이상인 남성들 및 여성들은 동일한 콘텐츠가 제공될 때 부정적인 반응을 보이는 경향이 있음을 나타내는 데이터를 포함한다. 도 3에서와 같이, 첫 번째 컬럼은 사용자들을 나타내고, 두 번째 컬럼은 사용자가 남성인지 여성인지를 나타내며, 세 번째 컬럼은 사용자의 나이를 나타내고 네 번째 컬럼은 사용자가 2 분짜리 비디오를 보는데 소비한 시간을 나타낸다. 14 명의 사용자 모두의 평균 시청 시간은 약 1 분 10 초이다. 18-24 세 사이의 남성과 여성 사용자의 평균 시청 시간은 약 1 분 42 초이며, 65 세 이상의 남성과 여성 사용자의 평균 시청 시간은 약 38 초이다. 따라서, 이러한 트레이닝 데이터는, 18-24 세 사이의 남성과 여성 사용자 모두가 65세 이상의 남성 및 여성 사용자들 보다, 슬랩스틱 코미디와 관련된 비디오 콘텐츠에 더 긍정적으로 반응하는 경향(예컨대, 비디오 콘텐츠를 더 많이 시청한다)이 있음을 나타낸다. 비록, 데이터에 열외자가 존재하지만(예컨대, 사용자 12는 77세의 여성이지만 슬랩스틱 코미디 트레일러의 전체 2 분을 시청했음), 일반적인 경향이 프록시 메트릭 및 속성 정보에서 보여질 수 있다.

단계 204에서, 콘텐츠 데이터베이스는 하나 이상의 제3자 콘텐츠 제공자(114)로부터 제3자 콘텐츠를 수신 및 저장한다. 콘텐츠는 다양한 애셋들(예를 들어, HTML 콘텐츠, Javascript®, 이미지 파일, 비디오 파일 등)을 포함하는 압축 파일의 형태일 수 있다. 일부 구현예에서, 콘텐츠는 압축되지 않은 개별 콘텐츠 파일(예컨대, 비디오 파일)의 형태일 수 있다. 콘텐츠 데이터베이스(110)는 제목, 짧은 텍스트 설명 및 주어진 콘텐츠 아이템에 대한 생성자 ID를 포함하는 모든 콘텐츠의 인덱스를 포함할 수 있다.

일부 구현예에서, 제3자 콘텐츠 제공자(114)는 제3자 콘텐츠와 함께, 대상 인지도 또는 대상 기억력을 도출하기 위한 선호도를 포함할 수 있다. 제3자 콘텐츠 제공자(114)는 대상 인지도 또는 대상 기억력 또는 둘 모두를 도출하기 위한 요망(desire)을 나타낼 수 있다. 이러한 선호도는 대상 인지도 또는 대상 기억력을 최적화하기 위해 특정 모델을 사용하여 프리젠테이션할 콘텐츠를 선택할 때 고려될 수 있다. 그들의 콘텐츠에 관련된 주제 또는 토픽의 인지도를 증가시키고자 하는 제3자 콘텐츠 제공자들(114)은 그들의 콘텐츠를 시청한 이후에 상기 주제 또는 토픽을 인지할 가능성이 있는 사용자들에게 제공할 필요가 있다. 대상 기억력을 향상시키고자 하는 제3자 콘텐츠 제공자(114)는, 콘텐츠를 프리젠테이션한 후 특정 시간 동안(예를 들어, 콘텐츠를 보고 나서 2주 후) 그들의 콘텐츠를 보거나 또는 콘텐츠 제시를 기억할 가능성이 있는 사람들에게 그들의 콘텐츠를 제공하는데 집중할 수 있다. 대상 "리프트"(subject"lift")의 가능성을 직접적으로 나타내는 데이터가 없으면, 다른 데이터가 대상 "리프트" 데이터를 위한 프록시로서 사용될 수 있다. 이러한 다른 데이터는, 사용자들의 속성들 및 콘텐츠의 속성들이 알려져 있는 개별 사용자들로부터의 직접 피드백을 통해 획득될 수 있다.

단계(206)에서, 모델 생성기(116)는 트레이닝 데이터베이스(112) 내의 트레이닝 데이터에 액세스하고 그리고 콘텐츠 분배를 위해 모델을 트레이닝시킨다. 일부 구현예에서는, 대규모의 감독된 머신 러닝을 허용하는 프레임워크가 모델을 트레이닝하는데 사용될 수 있다. 일부 구현예에서, 모델을 트레이닝하기 위한 머신 러닝 알고리즘으로서 로지스틱 회귀 및 선형 회귀가 사용된다. 예를 들어, 로지스틱 회귀는 물리적 클릭들, 시청 가능성, 및 청취 가능성을 위해 이용될 수 있는 반면에, 선형 회귀는 시청 시간 및 스킵 시간을 위해 이용될 수 있다. 모델 생성기(116)는 모델을 트레이닝시키기 위해, 제3자 콘텐츠에 관한 피처들 및 사용자와 관련된 속성들을 포함하는 다양한 유형의 정보를 사용한다. 제3자 콘텐츠와 관련된 피처들의 일례들은, 콘텐츠의 지속 기간(예컨대, 비디오 클립의 길이), 콘텐츠와 연결된 제3자 콘텐츠 제공자, 및 콘텐츠의 주제 또는 카테고리(예컨대, 콘텐츠가 스포츠카, 여행 목적지 또는 여성 의류에 관련되는지)를 포함한다. 사용자들과 관련된 속성들의 일례들은 사용자가 남성인지 여성인지의 여부, 사용자의 나이 또는 사용자와 관련된 연령대, 사용자의 관심사항 및 사용자와 관련된 위치를 포함한다.

제3자 콘텐츠 피처 및 속성들을 사용하여, 각각의 프록시 메트릭에 대해 개별 모델들이 생성되고 트레이닝될 수 있다. 예를 들어, 모델 생성기(116)는 비디오 클릭들에 관련된 프록시 메트릭에 대한 제 1 모델, 시청 가능성에 관련된 프록시 메트릭에 대한 제 2 모델, 시청 시간에 관련된 프록시 메트릭에 대한 제 3 모델, 프록시에 대한 제 4 모델 스킵 시간에 관련된 프록시 메트릭에 대한 제 4 모델, 기타 등등을 포함할 수 있다. 프레임워크 내의 개별 파라미터들(예: 정규화 파라미터)은 각 모델에 대해 조정될 수 있다. 트레이닝 데이터에 오버피팅(overfitting)되는 것을 방지하도록 파라미터가 튜닝될 수 있다. 오버피팅(overfitting)은, 모델이 미세한 피쳐(fine grained feature)를 선택하고 그리고 더 높은 가중치를 할당하여, 결과적으로 정확도가 떨어지는 경우를 지칭한다. 튜닝은, 모델의 정확도 레벨이 테스트 데이터 상에서 어떻게 영향을 받는지를 판별하기 위하여 파라미터들에 대한 서로 다른 값들을 테스트하는 것을 수반한다. 일부 구현예에서, 모델은 새로운 트레이닝 데이터로 규칙적인 간격(예를 들어, 3 분마다)으로 업데이트된다. 트레이닝 데이터는 사용자에게 제3자 콘텐츠가 제공될 때마다 수집될 수 있다.

상기 모델은 예를 들어 콘텐츠 분배 서버(108)를 포함하는 서버에 저장될 수 있다. 모델이 콘텐츠 분배 서버(108)에 저장되지 않는 구현예에서, 콘텐츠 분배 서버(108)는 원격 데이터베이스의 모델에 액세스할 수 있거나, 네트워크(102) 통해 서버에 액세스할 수 있다.

단계 208에서, 콘텐츠 분배 서버(108)는 제3자 콘텐츠에 대한 요청을 수신한다. 상기 요청은 클라이언트 디바이스에서 콘텐츠의 다른 부분과 함께 프리젠테이션될 제3자 콘텐츠에 대한 것일 수 있다. 요청된 콘텐츠는 텍스트, 이미지, 비디오 콘텐츠, 오디오 콘텐츠 또는 이들의 임의의 조합을 위한 것일 수 있다. 상기 요청은 소정의 속성들과 연관될 수 있다. 일부 구현예에서, 상기 요청은 콘텐츠를 요청하는 사용자 및/또는 클라이언트 디바이스와 관련된 속성들의 세트를 포함할 수 있다. 예를 들어, 요청은 스마트 폰 또는 퍼스널 컴퓨터와 같이 콘텐츠를 요청하는 클라이언트 디바이스의 유형을 식별할 수 있다. 요청은 클라이언트 디바이스의 제조업체 및 모델을 포함하여 클라이언트 디바이스의 특정 유형을 또한 식별할 수 있다. 일부 구현예에서, 요청은 클라이언트 디바이스에서 실행중인 운영 체제 또는 제3자 콘텐츠에 대한 요청과 관련된 어플리케이션을 식별할 수 있다. 이러한 속성들은 디바이스 능력들과 매칭되는 적절한 콘텐츠를 선택하는데 도움이 될 수 있다.

일부 구현예에서, 상기 요청은 클라이언트 디바이스의 사용자와 관련된 속성들의 세트를 식별할 수 있다. 속성들의 세트는 예를 들어, 사용자의 성별, 나이, 위치 및 관심사항들을 포함하여 클라이언트 디바이스의 사용자에 관한 인구 통계학적 정보를 포함할 수 있다. 일부 구현예에서, 상기 요청은 사용자가 시청중인 또는 이미 제시되었던 콘텐츠와 관련된 속성들의 세트를 식별할 수 있는바, 이는 그 콘텐츠와 관련하여 프리젠테이션될 제3 콘텐츠를 보다 양호하게 선택하기 위한 것이다. 예를 들어, 사용자가 특정 카테고리(예: 자동차 또는 요리)와 관련된 비디오를 보고 있다면, 동일한 토픽과 관련된 추가적인 제3자 콘텐츠를 선택하여 사용자에게 제공하는 것이 유리할 수 있는바, 따라서 상기 사용자는 이러한 추가적인 제3자 콘텐츠에 관심을 가질 가능성이 보다 높아진다.

단계 210에서, 콘텐츠 분배 서버(108)는 요청에 응답하여 제3자 콘텐츠를 선택한다. 특히, 콘텐츠 분배 서버(108)는 제3자 콘텐츠를 선택하기 위해 모델 생성기(116)에 의해 생성된 모델에 액세스한다. 모델을 사용하여 제3자 콘텐츠를 선택하는 프로세스는 도 5를 참조하여 아래에서 보다 상세하게 설명된다.

단계 212에서, 콘텐츠 분배 서버(108)는 선택된 제3자 콘텐츠를 식별하는 데이터를 전송한다. 일부 구현예에서, 콘텐츠 분배 서버(108)는 선택된 제3자 콘텐츠를 식별하는 데이터를 클라이언트 디바이스(106)로 전송한다. 일부 구현예에서 클라이언트 디바이스(106)로 전송된 데이터는 선택된 제3자 콘텐츠의 프리젠테이션을 시작하는 머신 판독가능 명령들을 포함한다. 예를 들어, 상기 명령들은 클라이언트 디바이스(106)로 하여금, 선택된 제3자 콘텐츠가 획득될 다른 온라인 서버에 대한 요청을 개시하게 할 수 있다. 대안적으로, 선택된 제3자 콘텐츠는 클라이언트 디바이스(106)로 전송되는 데이터에 포함될 수 있으며, 상기 명령들은 클라이언트 디바이스(106)로 하여금 클라이언트 디바이스(106)의 디스플레이에 제3자 콘텐츠를 프리젠테이션하게 할 수 있다.

도 5는 모델을 이용하여 콘텐츠를 선택하기 위한 예시적인 프로세스(500)의 흐름도이다. 일부 구현예에서, 프로세스(500)의 동작 중 일부 또는 전부는 콘텐츠 분배 서버(108), 모델 생성기(116), 별도의 콘텐츠 분배 시스템 또는 이들의 임의의 조합에 의해 수행될 수 있다. 아래에 설명되는 모델은 예를 들어, 트레이닝 데이터베이스(112)에 저장된 프록시 메트릭 및 속성 정보를 포함하는 트레이닝 데이터를 이용하여 모델 생성기(116)에 의해서 트레이닝될 수 있다. 예시적인 목적으로, 상기 프로세스(500)는 콘텐츠 분배 시스템(content distribution system)에 관하여 광범위하게 논의되지만, 이는 콘텐츠 분배 서버(108), 모델 생성기(116) 및 별도의 콘텐츠 분배 시스템의 임의의 조합에 의해 달성될 수도 있다.

단계 502에서, 콘텐츠 분배 시스템은 제3자 콘텐츠에 대한 요청으로부터 속성들의 세트를 획득한다. 예를 들어, 제3자 콘텐츠에 대한 요청은 상기 요청이 스마트 폰 디바이스를 사용하는 미네소타주 미니애폴리스의 22세 남성 사용자가 사용하는 클라이언트 디바이스에서 보낸 요청임을 식별할 수 있다. 부가적으로 또는 대안적으로, 속성들의 세트는 사용자가 이미 시청중이거나 보려고 하는 콘텐츠와 관련될 수 있다. 예를 들어 제3자 콘텐츠에 대한 요청은 사용자가 이미 시청중인 동영상이 스포츠, 자동차 또는 요리와 같은 특정 카테고리와 관련되어 있음을 나타낼 수 있다.

단계 504에서, 콘텐츠 분배 시스템은 콘텐츠 데이터베이스에 저장된 소정의 제3자 콘텐츠에 관한 정보를 수신한다. 상기 일례에서 계속해서, 콘텐츠 분배 시스템은 미네소타 퍽스 하키 팀(Minnesota Pucks hockey team)과 관련된 콘텐츠 아이템을 식별할 수 있다. 콘텐츠 아이템에 관한 정보는, 콘텐츠 아이템이 비디오 클립이고, 비디오 클립이 2분 분량이며, 비디오 클립과 관련된 키워드가 "스포츠", "하키", "미네소타" 및 "퍽스"를 포함한다는 것을 나타낼 수 있다.

단계 506에서, 콘텐츠 분배 시스템은 모델을 사용하여, 소정의 제3자 콘텐츠에 대해, 상기 요청으로부터의 속성들의 세트 및 제3자 콘텐츠에 관한 정보에 기초하여 프록시 메트릭을 예측한다. 일부 구현예에서, 상기 모델은 요청으로부터 속성들의 세트 및 제3자 콘텐츠에 관한 정보를 수신하고, 수신된 속성들 및 정보에 할당할 가중치를 식별하고, 그리고 프록시 메트릭을 계산함으로써, 프록시 메트릭을 예측할 수 있다. 상기 모델은 이전 데이터에 기초한 미리 결정된 가중치를 가질 수 있으므로, 모델이 프록시 메트릭을 예측할 때 동시에 가중치를 계산할 필요가 없다. 예측된 프록시 메트릭은 소정의 제3자 콘텐츠의 프리젠테이션으로 인해 야기되는 대상 기억력 또는 대상 인지도 중 적어도 하나에 관한 정보를 제공할 수 있다. 일부 구현예에서, 제3자 콘텐츠 제공자(114)는 대상 기억력 또는 대상 인지도에 대한 선호도를 포함할 수 있다.

앞서 설명한 바와 같이, 특정 프록시 메트릭은 대상 인지도(subject awareness) 또는 대상 거부(subject rejection) 중 하나 이상과 강한 상관 관계를 갖고 있다. 특정 프록시 메트릭(예를 들어, 시청 시간)과 대상 인지도 또는 대상 리콜(recall) 사이의 상관 관계를 결정하기 위해, 제3자 콘텐츠 제공자는 분석을 위해 그 콘텐츠를 제공할 수 있다. 사용자들은 노출된 그룹이나 통제 그룹(control group)에 임의로 할당될 수 있다. 제3자 콘텐츠 제공자의 당사자는 노출된 그룹의 사용자들에게 보여지지만 통제 그룹의 사용자들에게는 보여지지 않는다. 사용자들이 그룹에 할당되고 제3자 콘텐츠에 노출되거나 노출되지 않은 후 일정 시간이 지나고 난후, 2 그룹의 사용자들은 여러 가지 질문을 받는다(예를 들어, 이들이 최근에 제3자 콘텐츠를 보았는지). 특정 질문에 대한 노출 그룹과 통제 그룹 간의 긍정적인 응답 비율의 차이는 해당 질문에 대한 대상 리프트(subject lift)라고 알려진다. 예를 들어, 100 명의 사용자들이 있는 노출된 그룹의 각각의 사용자에게는 영화 A의 영화 예고편이 제공될 수 있으며, 100 명의 사용자들이 있는 통제 그룹의 사용자에게는 영화 예고편(movie trailer)이 제공되지 않을 수 있다. 그런 다음 2일 후 노출 그룹과 통제 그룹의 사용자들에게 영화 A의 영화 예고편을 본 적이 있는지를 질문한다. 노출된 그룹의 80 명의 사용자가 영화 A의 영화 예고편을 보았다고 대답하고 그리고 통제 그룹의 0 명의 사용자가 영화 A의 영화 예고편을 보았다라고 대답한다면, 그 질문에 대한 대상 리프트(subject lift)는 80 이다. 불행하게도, 대상 리프트 메트릭과 관련하여 많은 데이터가 이용가능하지 않다. 따라서, 대상 리프트와 강한 상관 관계를 갖는 것으로 알려진 특정한 프록시 메트릭, 가령 콘텐츠에 대한 물리적 클릭들, 비디오 콘텐츠와 관련된 시청 시간, 비디오 콘텐츠와 관련된 스킵 시간 및 시청가능성 메트릭 등을 이용하는 것이 특히 유용하다. 대상 리프트는 대상 인지도 및 대상 기억력과 또한 관련될 수 있다. 일반적으로 대부분의 프록시 메트릭은 대상 인지도와 강한 상관 관계가 있으며 시청 시간과 스킵 시간은 대상 기억력과 밀접한 관련이 있다.

전술한 바와 같이, 제3자 콘텐츠 제공자(114)는 그들의 제3자 콘텐츠와 함께, 대상 인지도 또는 대상 기억력 중 하나 또는 이들 둘다를 도출하기 위한 선호도를 포함할 수 있다. 특정 구현예에서, 프리젠테이션을 위해 콘텐츠를 선택할 때 이러한 선호도가 고려될 수 있다.

위의 일례에서 계속하여, 콘텐츠 분배 시스템은, 미네소타 퍽스 하키 팀(Minnesota Pucks hockey team) 비디오 클립에 대하여, 사용자에 대한 속성들의 세트(남성, 22 세, 미니애폴리스, 스마트 폰) 및 제3자 콘텐츠에 관한 정보("스포츠", "하키", "미네소타" 및 "퍽스(Pucks)"와 관련된 2 분 분량의 비디오 클립)에 기초하여 프록시 메트릭을 예측한다. 예를 들어, 콘텐츠 분배 시스템은 도 6a 및 도 6b에 도시된 프록시 메트릭을 식별할 수 있다. 도 6a 및 도 6b에 도시된 프록시 메트릭 및 속성 정보는 트레이닝 데이터센터(112)에 저장될 수 있고 그리고 모델 생성기(116)에 의해 사용되어 모델을 생성할 수 있다. 도 6a 및 도 6b는 프록시 메트릭 및 속성 정보 둘다를 포함한다. 예를 들어, 두 번째, 세 번째 및 네 번째 컬럼은 열은 속성 정보(남성/여성, 나이, 위치)를 포함하고 다섯 번째 컬럼은 프록시 메트릭(시청 시간)을 포함한다. 도 6a는 미네소타 선원(Minnesota seafarers)에 관한 비디오 콘텐츠가 제시된 18 명의 사용자들에 대한 시청 시간을 도시하고, 도 6B는 역대 탑 텐(top ten) 하키 골과 관련된 비디오 콘텐츠가 제시된 18 명의 사용자들에 대한 시청 시간을 도시한다. 컬럼들은 사용자가 남성인지 여성인지, 사용자의 나이, 사용자의 위치 및 콘텐츠의 시청 시간을 나타낸다.

도 6a는 트레이닝 데이터에 대한 평균 시청 시간이 미네소타 선원에 관한 2 분 분량의 비디오 클립에 대해 1분 4초임을 나타낸다. 하지만, 상기 일례의 사용자에 매칭되는 사용자들(즉, 미니애폴리스의 18-24 세 사이의 남성들만)의 평균 시청 시간은 약 1 분 41 초이다. 예상되는 바와 같이, 트레이닝 데이터에 따르면 일리노이주, 미시간주, 위스콘신주 등의 미네소타주 외부의 사용자들은 미네소타 선원과 관련된 비디오 클립에 거의 관심을 보이지 않았지만, 미니애폴리스로부터의 사용자, 특히 18-24세 사이의 남성 사용자들은 높은 시청 시간을 보여준다.

도 6b는 역대 탑 텐 하키 골과 관련된 2 분 분량의 비디오 클립과 관련된 것이다. 도 6b에 도시된 트레이닝 데이터는, 상기 비디오 클립에 대한 평균 시청 시간이 1 분 6 초임을 나타낸다. 하지만, 상기 일례에서 사용자와 매칭되는 사용자들 즉, 미니애폴리스에 있는 18 ~ 24 세 사이의 남성들만의 평균 시청 시간은 약 1 분 51 초이다.

도 6a 및 도 6b에 도시된 트레이닝 데이터, 특히 미네소타주의 미니애폴리스에 위치한 18-24 세 사이의 남성들에 대한 트레이닝 데이터는, 미네소타 퍽스(Minnesota Pucks) 비디오 클립에 대한 프록시 메트릭을 예측하는데 이용될 수 있다. 예를 들어, 도 6a의 트레이닝 데이터는 미네소타 선원(Minnesota seafarers)에 관한 비디오 클립과 관련되며, 이는 "스포츠", "풋볼", "미네소타" 및 "선원"과 관련될 수 있으며, 도 6b의 트레이닝 데이터는 역대 탑 텐 하키 골에 관한 비디오 클립에 관련되며, 이는 "스포츠", "하키", "골들" 및 "하이라이트"와 관련된 키워드들에 관련될 수 있다. 따라서, 도 6a 및 도 6b에 도시된 트레이닝 데이터는, 미네소타 퍽스(Minnesota Pucks)(즉, "스포츠", "미네소타","하키")에 관한 제3자 콘텐츠와 유사한 주제(subject) 혹은 토픽을 공유한다. 이러한 트레이닝 데이터에 기초하여, 콘텐츠 분배 시스템은 가령, 예측된 1 분 46 초의 시청 시간과 같은 특정 사용자에 대한 프록시 메트릭을 예측할 수 있다(즉, 도 6a 및 도 6b에서 공유된 속성들을 갖는 사용자들 각각에 대한 평균 시청 시간들, 1분 41초 및 1분 51초의 평균).

단계 508에서, 콘텐츠 분배 시스템은 예측된 프록시 메트릭이 소정의 제3자 콘텐츠에 대한 임계값을 충족하거나 또는 초과하는지를 결정한다. 임계값은 미리 설정된 값 또는 퍼센트일 수 있다(예를 들어, 시청 시간은 비디오 클립의 전체 길이의 퍼센트가 될 수 있다). 일부 구현예에서, 임계값은 평균값에 기초할 수 있다. 위의 일례에서, 임계값은 소정의 제3자 콘텐츠에 대한 평균 시청 시간이 될 수 있다. 예를 들어, 미네소타 퍽스(Minnesota Pucks) 비디오 클립은 프레젠테이션을 위해 사용자들에게 제공될 때 평균 시청 시간이 1 분 25 초일 수 있다. 따라서, 시청 시간에 대한 예측된 프록시 메트릭이 1 분 46 초인 경우, 콘텐츠 분배 시스템은 1 분 46 초의 예측된 프록시 메트릭이 1 분 25 초인 임계값을 초과한다고 결정한다. 일부 실시예에서, 제3자 콘텐츠 제공자는 임계값을 정의할 수 있거나 또는 임계값을 결정하기 위한 하나 이상의 파라미터를 정의할 수 있다.

일부 구현예에서, 상기 모델은 모델의 특정 속성들을 가중화하도록 트레이닝될 수 있다. 예를 들어, 특정 속성이 다른 속성 보다 중요하다면, 모델은 다른 속성들에 비하여 상기 속성에 가중치를 부여할 수 있다. 이러한 구현예들에서, 콘텐츠 분배 시스템은 속성들의 가중치들을 기반으로 프록시 메트릭(들)을 예측한다.

단계 510에서, 콘텐츠 분배 시스템은 예측된 프록시 메트릭에 기초하여 분배를 위해 소정의 제3자 콘텐츠를 식별한다. 위의 일례에서 계속하면, 1분 46초의 예측된 프록시 메트릭이 1분 25초의 임계값을 초과한다고 결정한 것에 응답하여, 콘텐츠 분배 시스템은 프리젠테이션을 위해 그리고 콘텐츠 분배 서버를 위해 미네소타 퍽스 비디오 클립을 식별한다.

일부 구현예들에서, 예측된 프록시 메트릭에 기초하여 분배를 위해 콘텐츠 분배 시스템이 소정의 제3자 콘텐츠를 식별한 이후에, 콘텐츠 분배 서버는 상기 소정의 제3자 콘텐츠와 관련된 선택 기준의 값을 증가시킨다. 콘텐츠 분배 시스템은 분배를 위해 다수의 제3자 콘텐츠 아이템들을 선택할 수 있으며, 그리고 예측된 프록시 메트릭에 대해 평가된 각각의 선택 기준 값을 제 3 콘텐츠 아이템들에 각각에 할당할 수 있다. 예를 들어, 예측된 프록시 메트릭이 높을수록 각각의 선택 기준이 높아진다. 더 높은 선택 기준값들을 갖는 제3자 콘텐츠 아이템들은, 클라이언트 디바이스 상에 프리젠테이션되도록 선택될 가능성이 더 높을 수 있다.

도 6a 및 도 6b에 도시된 트레이닝 데이터는 또한, 특정 콘텐츠가 콘텐츠 프리젠테이션을 위해 바람직하지 않을 수 있는지를 설명하기 위해 사용될 수 있다. 예를 들어, 단계 502에서, 제3자 콘텐츠에 대한 요청은 상기 요청이 미네소타 주 미니애폴리스의 19세 여성 사용자가 사용하는 클라이언트 디바이스로부터 온 것임을 식별할 수 있다. 단계 504에서, 콘텐츠 분배 시스템은 미네소타 퍽스에 관한 것이며 "스포츠", "하키", "미네소타" 및 "퍽스(Pucks)" 키워드들과 관한 것인 2분 분량의 비디오 클립을 식별한다.

단계 506에서, 콘텐츠 분배 시스템은 미네소타 퍽스 비디오 클립에 대하여, 사용자에 대한 속성들의 세트(여성, 19세, 미니애폴리스) 및 제3자 콘텐츠에 관한 정보("스포츠", "하키", "미네소타" 및 "퍽스"와 관련된 2분 분량의 비디오 클립)에 기초하여 프록시 메트릭을 예측한다. 도 6a는 미니애폴리스의 18-24세 사이의 여성들의 미네소타 선원들(Minnesota Seafarers) 비디오 클립에 대한 평균 시청 시간이 48 초임을 나타낸다(전체 평균은 1분 4초). 도 6B는 미니애폴리스의 18-24 세 사이의 여성들의 역대 탑 텐 하키 골 비디오 클립에 대한 평균 시청 시간이 45 초임을 나타낸다(전체 평균은 1분 6초). 콘텐츠 분배 시스템은 상기 모델을 사용하여, 미네소타 퍽스(Minnesota Pucks) 비디오 클립과 미네소타 선원 비디오 클립 및 탑 텐 하키 골 비디오 클립 둘다 사이의 유사성에 기초하여, 미니애폴리스의 19세 여성의 미네소타 퍽스(Minnesota Pucks) 비디오 클립에 대한 47.5 초(평균 45 초 및 48 초)의 프록시 메트릭을 예측할 수 있다. 이러한 47초의 예측된 프록시 메트릭(시청 시간)에 기초하여, 콘텐츠 분배 시스템은 상기 예측된 프록시 메트릭이 소정의 제3자 콘텐츠에 대한 임계값(예를 들어, 1분 25초의 평균 시청 시간)을 만족시키지 않거나 초과하지 않는다고 결정할 수 있으며, 따라서 콘텐츠 분배 시스템은 디스플레이를 위해 특정 제3자 콘텐츠를 선택하지 않는다. 일부 구현예에서, 콘텐츠 분배 시스템이 소정의 제3자 콘텐츠에 대한 예측된 프록시 메트릭이 임계값을 만족시키지 못한다고 결정한 이후, 콘텐츠 분배 서버는 소정의 제3자 콘텐츠와 관련된 선택 기준의 값을 감소시킨다.

콘텐츠 분배 시스템은, 특정 제3자 콘텐츠 아이템에 대한 예측된 프록시 메트릭이 상기 특정 제3자 콘텐츠 아이템에 대한 임계값을 초과할 때까지, 복수의 제3자 콘텐츠 아이템에 대해 단계 504 및 506을 반복할 수 있다. 단계들(504 및 506)의 각각의 루프를 통해, 콘텐츠 분배 서버는 각각의 예측된 프록시 메트릭에 기초하여 각각의 제3자 콘텐츠 아이템에 대해 각각의 선택 기준을 위 또는 아래로 조정할 수 있다.

도 7은 본 명세서에 설명된 컴퓨터 구현 방법 및 다른 기술을 구현하는데 사용될 수 있는 컴퓨팅 디바이스(700) 및 모바일 컴퓨팅 디바이스의 예를 도시한다. 컴퓨팅 디바이스(700)는 랩탑, 데스크탑, 워크 스테이션, PDA, 서버, 블레이드 서버, 메인프레임 및 다른 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위한 것이다. 모바일 컴퓨팅 디바이스는 개인용 디지털 보조 디바이스, 셀룰러 전화기, 스마트 폰 및 다른 유사한 컴퓨팅 디바이스와 같은 다양한 형태의 모바일 디바이스를 나타내기 위한 것이다. 여기에 도시된 구성 요소, 그들의 접속 및 관계, 및 그 기능은 단지 예시적인 것으로 의도되며 설명된 발명 및/또는 청구항의 구현을 제한하는 것을 의미하지 않는다.

컴퓨팅 디바이스(700)는 프로세서(702), 메모리(704), 저장 디바이스(706), 메모리(704)와 다수의 고속 확장 포트(710)에 연결되는 고속 인터페이스(708), 그리고 저속 확장 포트(714) 및 저장 디바이스(706)에 연결되는 저속 인터페이스(712)를 포함한다.

프로세서(702), 메모리(704), 저장 디바이스(706), 고속 인터페이스(708), 고속 확장 포트(710), 저속 인터페이스(712) 각각은 다양한 버스들을 사용하여 상호접속되고, 공통 마더보드 상에 또는 적절하게 다른 방식으로 마운트될 수 있다. 프로세서(702)는 메모리(704) 또는 저장 디바이스(706)에 저장된 명령을 포함하여, 컴퓨팅 디바이스(700) 내에서의 실행을 위해 명령들을 프로세싱하여, 고속 인터페이스(708)에 접속된 디스플레이(716)와 같은 외부 입/출력 디바이스 상에 GUI를 위한 그래픽 정보를 디스플레이한다. 다른 구현예에서는, 다수의 메모리들 및 메모리 유형들과 함께, 다수의 프로세서들 및/또는 다수의 버스들이 적절하게 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스들이 연결될 수도 있는바, 여기서 각각의 디바이스는 필요한 연산들의 일부분을 제공한다(예를 들어, 서버 뱅크, 블레이드 서버들의 그룹 또는 멀티 프로세서 시스템으로서).

메모리(704)는 컴퓨팅 디바이스(700) 내에 정보를 저장한다. 일 실시예에서, 메모리(704)는 휘발성 메모리 유닛(들)이다. 또 다른 구현예에서, 메모리(704)는 비휘발성 메모리 유닛(들)이다. 또한, 메모리(704)는 자기 또는 광학 디스크와 같은 다른 형태의 컴퓨터 판독가능 매체일 수 있다.

저장 디바이스(706)는 대용량 저장소를 컴퓨팅 디바이스(700)에 제공할 수 있다. 일 구현예에서, 저장 디바이스(706)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성의 디바이스들을 포함하는 디바이스들의 어레이 등과 같은 컴퓨터 판독가능 매체이거나 이를 포함할 수 있다. 컴퓨터 프로그램 제품은 실행될 때, 전술한 바와 같은 하나 이상의 방법들을 수행하는 명령들을 포함할 수 있다. 또한, 컴퓨터 프로그램 제품은 메모리(704), 저장 디바이스(706) 또는 프로세서(702) 상의 메모리와 같은, 컴퓨터-판독가능 또는 머신-판독가능한 매체에 유형적으로 구현될 수 있다.

고속 인터페이스(708)는 컴퓨팅 디바이스(700)를 위해, 대역폭-집중형 연산들을 관리하고, 저속 인터페이스(712)는 낮은 대역폭-집중형 연산들을 관리한다. 기능들의 이러한 할당은 단지 예시일 뿐이다. 일 구현예에서, 고속 인터페이스(708)는 메모리(704), 디스플레이(716)(예를 들어 그래픽 프로세서 또는 가속기를 통해)에 접속되며, 그리고 다양한 확장 카드(미도시)를 수용할 수 있는 고속 확장 포트(710)에 접속된다. 일 구현예에서, 저속 인터페이스(712)는 저장 디바이스(706) 및 저속 확장 포트(714)에 접속된다. 다양한 통신 포트들(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함하는 저속 확장 포트는 키보드, 포인팅 디바이스, 스캐너와 같은 하나 이상의 입력/출력 디바이스에 접속되거나 또는 네트워크 어댑터를 통해 스위치 또는 라우터와 같은 네트워킹 디바이스에 접속될 수 있다.

컴퓨팅 디바이스(700)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 표준 서버(720)로서 구현되거나, 또는 그러한 서버들의 그룹에서 여러 번 구현될 수도 있다. 또한, 랙 서버(rack server) 시스템(724)의 일부로서 구현될 수도 있다. 또한, 랩탑 컴퓨터(722)와 같은 개인용 컴퓨터로 구현될 수도 있다. 대안적으로, 컴퓨팅 디바이스(700)의 구성 요소들은 가령, 모바일 컴퓨팅 디바이스(750)와 같은 모바일 디바이스(미도시)의 다른 구성요소들과 결합될 수 있다. 이러한 디바이스들 각각은 하나 이상의 컴퓨팅 디바이스(700) 및 모바일 컴퓨팅 디바이스(750)를 포함할 수 있으며, 그리고 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스들로 구성될 수 있다.

모바일 컴퓨팅 디바이스(750)는 다른 구성요소들 중에서 프로세서(752), 메모리(764), 디스플레이(754)와 같은 입/출력 디바이스, 통신 인터페이스(766) 및 송수신기(768)를 포함한다. 모바일 컴퓨팅 디바이스(750)에는 추가 저장소를 제공하기 위해 마이크로-드라이브 또는 다른 디바이스와 같은 저장 디바이스가 제공될 수 있다. 프로세서(752), 메모리(764), 디스플레이(754), 통신 인터페이스(766) 및 송수신기(768) 각각은 다양한 버스를 사용하여 상호접속되고, 구성요소들 중 몇몇은 공통 마더 보드 상에 또는 적절하게 다른 방식으로 마운트될 수 있다.

프로세서(752)는 메모리(764)에 저장된 명령들을 포함하여, 모바일 컴퓨팅 디바이스(750) 내의 명령들을 실행할 수 있다. 프로세서는 개별적인 다수의 아날로그 및 디지털 프로세서들을 포함하는 칩들의 칩셋으로서 구현될 수 있다. 프로세서는 예를 들어 사용자 인터페이스들의 제어, 모바일 컴퓨팅 디바이스(750)에 의해 실행되는 어플리케이션들 및 모바일 컴퓨팅 디바이스(750)에 의한 무선 통신과 같은 모바일 컴퓨팅 디바이스(750)의 다른 구성요소들 간의 조정을 제공할 수 있다.

프로세서(752)는 제어 인터페이스(758) 및 디스플레이(754)에 연결된 디스플레이 인터페이스(756)를 통해 사용자와 통신할 수 있다. 디스플레이(754)는 예를 들어, TFT LCD(박막 트랜지스터 액정 디스플레이) 또는 OLED(Organic Light Emitting Diode: 유기 발광 다이오드) 디스플레이, 또는 다른 적절한 디스플레이 기술을 이용할 수 있다. 디스플레이 인터페이스(756)는 사용자에게 그래픽 및 다른 정보를 제공하기 위해 디스플레이(754)를 구동하기 위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(758)는 사용자로부터 커맨드들을 수신하고 그리고 프로세서(752)에 제출하기 위해 이들을 변환할 수 있다. 또한, 프로세서(752)와 통신하기 위해 외부 인터페이스(762)가 제공되는바, 다른 디바이스들과 디바이스(750)의 근거리 통신이 가능해진다. 예를 들어, 외부 인터페이스(762)는 일부 구현에서는 유선 통신을 제공하고, 다른 구현예에서는 무선 통신을 제공할 수 있으며, 다중 인터페이스들이 또한 사용될 수 있다.

메모리(764)는 모바일 컴퓨팅 디바이스(750) 내에 정보를 저장한다. 메모리(764)는 컴퓨터 판독가능 매체(들), 휘발성 메모리 유닛(들) 또는 비휘발성 메모리 유닛(들) 중 하나 이상으로서 구현될 수 있다. 또한, 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스(1172)를 통해 확장 메모리(774)가 모바일 컴퓨팅 디바이스(750)에 제공되고 접속될 수 있다. 이러한 확장 메모리(774)는 여분의 저장 공간을 모바일 컴퓨팅 디바이스(750)에 제공할 수 있으며, 또는 모바일 컴퓨팅 디바이스(750)를 위한 어플리케이션들 혹은 다른 정보를 저장할 수도 있다. 특히, 확장 메모리(774)는 전술한 프로세스들을 수행하거나 보충하기 위한 명령들을 포함할 수 있고, 또한 보안 정보를 포함할 수 있다. 따라서, 예를 들어, 확장 메모리(774)는 모바일 컴퓨팅 디바이스(750)에 대한 보안 모듈로서 제공될 수 있고, 모바일 컴퓨팅 디바이스(750)의 보안 사용을 허용하는 명령들로 프로그램될 수 있다. 또한, 보안 어플리케이션은 SIMM 카드를 통해 제공될 수 있는데 가령, 식별 정보를 해킹불가능한 방식으로 SIMM 카드에 배치하는 것과 같이 추가 정보와 함께 제공될 수 있다.

메모리는, 예를 들어, 후술되는 바와 같이, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 실시예에서, 컴퓨터 프로그램 제품은 정보 캐리어에 유형적으로 구현된다. 컴퓨터 프로그램 제품은 실행될 때 전술한 방법들과 같은 하나 이상의 방법들을 수행하는 명령들을 포함한다. 컴퓨터 프로그램 제품은 가령, 메모리(764), 확장 메모리(774) 또는 프로세서(752) 상의 메모리와 같은 컴퓨터 판독가능 또는 머신 판독가능한 매체가 될 수 있다. 일부 구현예에서, 컴퓨터 프로그램 제품은 송수신기(768) 또는 외부 인터페이스(762)를 통해 수신될 수 있다.

모바일 컴퓨팅 디바이스(750)는 필요한 경우 디지털 신호 처리 회로를 포함할 수 있는 통신 인터페이스(766)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(766)는 GSM 음성 호출, SMS, EMS 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000 또는 GPRS와 같은 다양한 모드들 또는 프로토콜들 하에서 통신을 제공할 수 있다. 이러한 통신은 예를 들어 무선 주파수 송수신기(768)를 통해 수행될 수 있다. 또한, 블루투스, Wi-Fi 또는 다른 트랜시버(미도시)를 사용하여 단거리 통신이 수행될 수 있다. 또한, GPS(Global Positioning System) 수신기 모듈(770)은 추가적인 네비게이션-관련 및 위치-관련 무선 데이터를 디바이스(750)에 제공할 수 있는바, 이는 모바일 컴퓨팅 디바이스(750) 상에서 구동되는 어플리케이션들에 의해 적절히 사용될 수 있다.

또한, 모바일 컴퓨팅 디바이스(750)는 오디오 코덱(760)을 사용하여 청각적으로 통신할 수 있는바, 이는 사용자로부터 음성 정보를 수신하고 이것을 이용가능한 디지털 정보로 변환할 수 있다. 이와 유사하게, 오디오 코덱(760)은, 예를 들어 모바일 컴퓨팅 디바이스(750)의 핸드셋 내의 스피커를 통하는 것과 같이, 사용자를 위한 가청 사운드를 생성할 수 있다. 이러한 사운드는 음성 전화 호출로부터의 사운드를 포함할 수 있고, 기록된 사운드(예를 들어, 음성 메시지들, 음악 파일들 기타 등등)를 포함할 수 있으며 그리고 모바일 컴퓨팅 디바이스(750) 상에서 동작하는 어플리케이션에 의해 생성된 사운드를 또한, 포함할 수 있다.

모바일 컴퓨팅 디바이스(750)는 도면에 도시된 바와 같이 다수의 상이한 형태들로 구현될 수 있다. 예를 들어, 디바이스는 셀룰러 전화(770)로서 구현될 수 있다. 또한, 스마트 폰(772), 개인 휴대 정보 단말기(personal digital assistant), 또는 다른 유사한 모바일 디바이스의 일부로서 구현될 수도 있다.

본 명세서에 서술된 시스템들 및 기술들의 다양한 구현예들은, 디지털 전자 회로, 집적 회로, 특별히 설계된 ASIC(주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 구현될 수 있다. 이러한 다양한 구현들은 적어도 하나의 프로그램가능한 프로세서를 포함하는 프로그램가능한 시스템 상에서 실행 및/또는 해석가능한 하나 이상의 컴퓨터 프로그램들에서의 구현을 포함하며, 프로세서는 특수용 혹은 범용일 수 있으며, 데이터와 명령들을 송수신하도록 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스에 접속될 수 있다.

이들 컴퓨터 프로그램들(프로그램, 소프트웨어, 소프트웨어 어플리케이션 또는 코드로도 알려짐)은 프로그램가능 프로세서에 대한 머신 명령어들을 포함하고, 그리고 고레벨 절차적 프로그래밍 언어 및/또는 객체-지향 프로그래밍 언어 및/또는 어셈블리/기계어로 구현될 수 있다. 본 명세서에서 사용되는 바와 같이, "머신 판독가능 매체", "컴퓨터 판독가능 매체"라는 용어는 프로그램가능 프로세서에 머신 명령들 및/또는 데이터를 제공하는데 이용되는 임의의 컴퓨터 프로그램 제품, 장치 및/또는 디바이스(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램가능 논리 디바이스(PLD))를 지칭하며, 머신-판독가능 신호로서 머신 명령들을 수신하는 머신-판독가능 매체를 포함한다. "머신 판독가능 신호"라는 용어는 머신 명령들 및/또는 데이터를 프로그램가능 프로세서에 제공하는데 사용되는 임의의 신호를 지칭한다.

사용자와의 상호 작용을 제공하기 위해, 본 명세서에 서술된 시스템들 및 기술들은 컴퓨터 상에서 구현될 수 있는바, 이러한 컴퓨터는 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스(예를 들어, CRT 또는 LCD 모니터)와 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 갖는다. 사용자와의 상호작용을 제공하는데 다른 종류의 디바이스들이 사용될 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각 피드백 또는 촉각 피드백)일 수 있다. 그리고 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다.

본 명세서에 서술된 시스템들 및 기술들은 컴퓨팅 시스템에서 구현될 수 있으며, 이러한 컴퓨팅 시스템은 백 엔드 구성 요소(예컨대, 데이터 서버)를 포함하거나, 또는 미들웨어 구성 요소(예컨대, 응용 프로그램 서버)를 포함하거나, 또는 프론트 엔드 구성 요소(예컨대, 사용자가 여기에 설명된 시스템 및 기술의 구현과 상호작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저가 있는 클라이언트 컴퓨터)를 포함하거나, 또는 이러한 백 엔드, 미들웨어 또는 프론트 엔드 구성요소들의 임의의 조합을 포함할 수 있다. 시스템의 구성요소들은 디지털 데이터 통신의 임의의 형태 또는 매체(예컨대, 통신 네트워크)에 의하여 상호연결될 수 있다. 통신 네트워크의 일례는, 근거리 통신망(LAN), 광대역 통신망(WAN), 및 인터넷을 포함한다.

컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 통신 네트워크를 통해 상호작용하는 것이 통상적이다. 클라이언트와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램의 덕택으로 발생한다.

시스템, 방법, 디바이스 및 기타 기술이 사용자에 관한 개인 정보(예 : 컨텍스트 데이터)를 수집하거나 개인 정보를 사용할 수 있는 상황에서, 사용자는 프로그램이나 피처들이 사용자 정보(예: 사용자의 소셜 네트워크, 사회적 행동 또는 활동, 직업, 사용자의 선호도 또는 사용자의 현재 위치에 대한 정보)를 수집할지의 여부를 제어하거나, 또는 사용자와 보다 관련이 있을 수 있는 콘텐츠 분배 시스템으로부터 콘텐츠를 수신할지의 여부 및/또는 어떻게 수신할지를 제어할 수 있는 기회를 제공받을 수 있다. 또한 특정 데이터는 저장되거나 사용되기 전에 하나 이상의 방법으로 취급되어 개인 식별 정보가 제거된다. 예를 들어, 사용자의 신원이 처리되어, 사용자에 대해 개인 식별 정보를 결정할 수 없거나 또는 사용자의 특정 위치를 결정할 수 없도록 사용자의 지리적 위치를 위치 정보가 획득된 곳(예: 도시, 우편 번호 또는 주 수준)으로 일반화할 수 있다. 따라서, 사용자는 사용자에 관해 정보가 어떻게 수집되고 콘텐츠 분배 시스템에 의해 사용되는지에 대한 제어 권한을 가질 수 있다.

다양한 구현예가 상술되었지만, 다른 수정이 가능하다. 또한, 도면에 도시된 논리 흐름은 바람직한 결과를 달성하기 위해 도시된 특정 순서 또는 순차 순서를 요구하지 않는다. 또한, 설명된 흐름들로부터 다른 단계들이 제공되거나 단계들이 제거될 수 있으며, 설명된 시스템들에 다른 컴포넌트들이 추가되거나 제거될 수 있다. 따라서, 다른 구현예들은 다음의 청구항들의 범위 내에 있다. 예를 들어, 본 발명의 양상 및 구현이 비디오 클립과 같은 제3자 콘텐츠와 관련하여 기술되었지만, 상기 양상 및 구현은 텍스트, 이미지, 비디오 파일, 사운드 클립, 광고들, 비디오 클립들, 또는 이들의 임의의 조합을 포함할 수 있다.

Claims (20)

1. 시스템으로서,
   복수의 사용자들에 대한 속성 정보 및 콘텐츠 프리젠테이션 이후에 상기 복수의 사용자에 의한 온라인 행동을 정량화하는 대응 프록시 메트릭(proxy metrics)을 포함하는 트레이닝 데이터를 저장하는 트레이닝 데이터베이스;
   다양한 제3자 콘텐츠 제공자들로부터 수신된 제3자 콘텐츠를 저장하는 콘텐츠 데이터베이스;
   상기 트레이닝 데이터베이스 내의 트레이닝 데이터에 액세스하고 상기 트레이닝 데이터에 기초하여 제3자 콘텐츠 분배를 위한 모델을 훈련시키는 모델 생성기; 및
   클라이언트 디바이스에서 콘텐츠의 다른 부분과 함께 제시될 제3자 콘텐츠에 대한 요청을 수신하는 콘텐츠 분배 서버
   를 포함하고,
   상기 콘텐츠 분배 서버는 상기 요청에 응답하여 상기 클라이언트 디바이스에 배포될 제3자 콘텐츠를 선택하도록 상기 모델을 사용하며 그리고 선택된 제3자 콘텐츠를 식별하는 데이터를 상기 클라이언트 디바이스로 전송하며,
   상기 모델은,
   상기 요청으로부터 속성들의 세트를 획득하고, 상기 속성들의 세트는 상기 요청과 관련된 사용자의 정보에 관한 것이며;
   상기 콘텐츠 데이터베이스에 저장된 소정의 제3자 콘텐츠에 관한 정보를 수신하고;
   상기 속성들의 세트 및 상기 제3자 콘텐츠에 관한 정보에 기초하여, 상기 소정의 제3자 콘텐츠에 대한 프록시 메트릭을 예측하고, 상기 예측된 프록시 메트릭은 상기 소정의 제3자 콘텐츠의 프리젠테이션으로부터 야기될 대상 기억력(subject retention) 또는 대상 인지도(subject awareness) 중 적어도 하나에 대한 정보를 제공하고; 그리고
   상기 예측된 프록시 메트릭을 사용하여 그리고 상기 콘텐츠 분배 서버를 위해, 임계값을 충족하는 예측된 프록시 메트릭에 기초하여 분배될 상기 소정의 제3자 콘텐츠를 식별하는 것을 특징으로 하는 시스템.
2. 제1항에 있어서,
   상기 콘텐츠 데이터베이스 내의 상기 소정의 제3자 콘텐츠에 관한 정보는 상기 소정의 제3자 콘텐츠의 카테고리, 상기 제3자 콘텐츠의 지속 기간 및 상기 소정의 제3자 콘텐츠의 특징 중 적어도 하나를 포함하는 것을 특징으로 하는 시스템.
3. 제1항에 있어서,
   상기 트레이닝 데이터베이스는 특정한 제3자 콘텐츠를 상기 클라이언트 디바이스에 디스플레이하는 것과 관련된 프록시 메트릭을 또한 수신하고, 그리고 상기 모델 생성기는 상기 특정한 제 3자 콘텐츠를 상기 클라이언트 디바이스에 디스플레이하는 것과 관련된 수신된 프록시 메트릭을 사용하여 상기 모델을 또한 리트레이닝하는 것을 특징으로 하는 시스템.
4. 제1항에 있어서,
   상기 모델은 또한 속성 정보의 소정 카테고리들을 가중화하며 그리고 가중화된 속성 정보에 기초하여 상기 프록시 메트릭을 예측하는 것을 특징으로 하는 시스템.
5. 제1항에 있어서,
   상기 제3자 콘텐츠에 대한 요청은 알려진 속성 정보를 포함하지 않으며, 상기 모델은 속성 정보에 관계없이 트레이닝 데이터를 식별하는 것을 특징으로 하는 시스템.
6. 제1항에 있어서,
   상기 프록시 메트릭은 상기 비디오 콘텐츠에 대한 클릭들, 상기 비디오 콘텐츠와 관련된 시청 시간, 상기 비디오 콘텐츠와 관련된 스킵 타임, 상기 비디오 콘텐츠와 관련된 시청가능성(viewability) 메트릭, 및 상기 비디오 콘텐츠와 관련된 청취가능성(audioability) 중 적어도 하나를 포함하는 것을 특징으로 하는 시스템.
7. 제1항에 있어서,
   상기 다양한 제3자 콘텐츠 제공자들로부터 수신된 제3자 콘텐츠 각각은 대상 기억력 또는 대상 인지도에 대한 선호도를 포함하는 것을 특징으로 하는 시스템.
8. 제1항에 있어서,
   상기 모델은 상기 선호도에 기초하여 상기 소정의 제3자 콘텐츠를 식별하는 시스템.
9. 제1항에 있어서,
   상기 모델 생성기는 특정 프록시 메트릭과 대상 기억력 사이의 상관 관계를 식별 및 저장하는 것을 특징으로 하는 시스템.
10. 제1항에 있어서,
    상기 모델 생성기는 특정 프록시 메트릭과 대상 인지도 사이의 상관 관계를 식별 및 저장하는 것을 특징으로 하는 시스템.
11. 제1항에 있어서,
    상기 모델은 로지스틱 회귀 기계 머신 러닝 및 선형 회귀 머신 러닝 중 적어도 하나를 사용하여 상기 프록시 메트릭을 예측하는 것을 특징으로 하는 시스템.
12. 컴퓨터 구현 방법으로서,
    복수의 사용자들에 대한 속성 정보 및 콘텐츠 프리젠테이션 이후의 온라인 행동을 정량화하는 대응 프록시 메트릭(proxy metrics)을 포함하는 트레이닝 데이터를 트레이닝 데이터베이스에 저장하는 단계;
    다양한 제3자 콘텐츠 제공자들로부터 수신된 제3자 콘텐츠를 콘텐츠 데이터베이스에 저장하는 단계;
    모델 생성기에 의해서 상기 트레이닝 데이터베이스 내의 트레이닝 데이터에 액세스하고 상기 트레이닝 데이터에 기초하여 제3자 콘텐츠 분배를 위한 모델을 훈련시키는 단계;
    콘텐츠의 다른 부분과 함께 클라이언트 디바이스에서 제시될 제3자 콘텐츠에 대한 요청을 콘텐츠 분배 서버에 의해서 수신하는 단계;
    상기 콘텐츠 분배 서버에 의해서 그리고 상기 모델을 사용하여, 상기 요청에 응답하여 상기 클라이언트 디바이스에 배포될 제3자 콘텐츠를 선택하는 단계,
    상기 모델은,
    상기 요청으로부터 속성들의 세트를 획득하고, 상기 속성들의 세트는 상기 요청과 관련된 사용자의 정보에 관한 것이며,
    상기 콘텐츠 데이터베이스에 저장된 소정의 제3자 콘텐츠에 관한 정보를 수신하고,
    상기 속성들의 세트 및 상기 제3자 콘텐츠에 관한 정보에 기초하여, 상기 소정의 제3자 콘텐츠에 대한 프록시 메트릭을 예측하고, 상기 예측된 프록시 메트릭은 상기 소정의 제3자 콘텐츠의 프리젠테이션으로부터 야기될 대상 기억력 또는 대상 인지도 중 적어도 하나에 대한 정보를 제공하고, 그리고
    상기 예측된 프록시 메트릭을 사용하여 그리고 상기 콘텐츠 분배 서버를 위해, 임계값을 충족하는 예측된 프록시 메트릭에 기초하여 분배될 상기 소정의 제3자 콘텐츠를 식별하며;
    선택된 제3자 콘텐츠를 식별하는 데이터를 상기 콘텐츠 분배 서버에 의해서 상기 클라이언트 디바이스로 전송하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
13. 제12항에 있어서,
    상기 콘텐츠 데이터베이스 내의 상기 소정의 제3자 콘텐츠에 관한 정보는 상기 소정의 제3자 콘텐츠의 카테고리, 상기 제3자 콘텐츠의 지속 기간 및 상기 소정의 제3자 콘텐츠의 특징 중 적어도 하나를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
14. 제12항에 있어서,
    상기 트레이닝 데이터베이스에 의해서, 특정한 제3자 콘텐츠를 상기 클라이언트 디바이스에 디스플레이하는 것과 관련된 프록시 메트릭을 수신하는 단계; 및
    상기 특정한 제 3자 콘텐츠를 상기 클라이언트 디바이스에 디스플레이하는 것과 관련된 수신된 프록시 메트릭을 사용하여 상기 모델을 리트레이닝 단계
    를 더 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
15. 제12항에 있어서,
    상기 모델은 또한 속성 정보의 소정 카테고리들을 가중화하며 그리고 가중화된 속성 정보에 기초하여 상기 프록시 메트릭을 예측하는 것을 특징으로 하는 컴퓨터 구현 방법.
16. 제12항에 있어서,
    상기 프록시 메트릭은 상기 비디오 콘텐츠에 대한 클릭들, 상기 비디오 콘텐츠와 관련된 시청 시간, 상기 비디오 콘텐츠와 관련된 스킵 타임, 상기 비디오 콘텐츠와 관련된 시청가능성 메트릭, 및 상기 비디오 콘텐츠와 관련된 청취가능성 중 적어도 하나를 포함하는 것을 컴퓨터 구현 방법.
17. 제12항에 있어서,
    상기 다양한 제3자 콘텐츠 제공자들로부터 수신된 제3자 콘텐츠 각각은 대상 기억력 또는 대상 인지도에 대한 선호도를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
18. 제12항에 있어서,
    특정 프록시 메트릭과 대상 기억력 사이의 상관 관계를 식별 및 저장하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
19. 제12항에 있어서,
    특정 프록시 메트릭과 대상 인지도 사이의 상관 관계를 식별 및 저장하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
20. 명령들이 저장된 하나 이상의 컴퓨터 판독가능 매체로서, 상기 명령들은 하나 이상의 프로세서들에 의해서 실행될 때,
    복수의 사용자들에 대한 속성 정보 및 콘텐츠 프리젠테이션 이후의 온라인 행동을 정량화하는 대응 프록시 메트릭(proxy metrics)을 포함하는 트레이닝 데이터를 트레이닝 데이터베이스에 저장하는 단계;
    다양한 제3자 콘텐츠 제공자들로부터 수신된 제3자 콘텐츠를 콘텐츠 데이터베이스에 저장하는 단계;
    모델 생성기에 의해서 상기 트레이닝 데이터베이스 내의 트레이닝 데이터에 액세스하고 상기 트레이닝 데이터에 기초하여 제3자 콘텐츠 분배를 위한 모델을 훈련시키는 단계;
    콘텐츠의 다른 부분과 함께 클라이언트 디바이스에서 제시될 제3자 콘텐츠에 대한 요청을 콘텐츠 분배 서버에 의해서 수신하는 단계;
    상기 콘텐츠 분배 서버에 의해서 그리고 상기 모델을 사용하여, 상기 요청에 응답하여 상기 클라이언트 디바이스에 배포될 제3자 콘텐츠를 선택하는 단계,
    상기 모델은,
    상기 요청으로부터 속성들의 세트를 획득하고, 상기 속성들의 세트는 상기 요청과 관련된 사용자의 정보에 관한 것이며,
    상기 콘텐츠 데이터베이스에 저장된 소정의 제3자 콘텐츠에 관한 정보를 수신하고;
    상기 속성들의 세트 및 상기 제3자 콘텐츠에 관한 정보에 기초하여, 상기 소정의 제3자 콘텐츠에 대한 프록시 메트릭을 예측하고, 상기 예측된 프록시 메트릭은 상기 소정의 제3자 콘텐츠의 프리젠테이션으로부터 야기될 대상 기억력 또는 대상 인지도 중 적어도 하나에 대한 정보를 제공하고, 그리고
    상기 예측된 프록시 메트릭을 사용하여 그리고 상기 콘텐츠 분배 서버를 위해, 임계값을 충족하는 예측된 프록시 메트릭에 기초하여 분배될 상기 소정의 제3자 콘텐츠를 식별하며;
    선택된 제3자 콘텐츠를 식별하는 데이터를 상기 콘텐츠 분배 서버에 의해서 상기 클라이언트 디바이스로 전송하는 단계
    를 포함하는 동작들이 수행되게 하는 것을 특징으로 하는 컴퓨터 판독가능 매체.

Images