KR102557271B1 - 기여도 증분 기계 학습 모델 - Google Patents

Abstract

기계 학습 모델을 훈련하고 사용하기 위해 컴퓨터 저장 매체에 인코딩된 방법, 시스템 및 컴퓨터 프로그램이 개시된다. 방법은 지정된 타겟 액션에 대한 사용자 속성, 콘텐츠 노출 및 퍼포먼스 레벨 간의 관계를 나타내는 모델을 생성하는 단계; 특정 사용자가 특정 타겟 액션을 수행하기 전에 특정 사용자가 지정된 시간 동안 특정 사용자가 경험한 하나 이상의 유기적 노출을 지정하는 유기적 노출 데이터를 획득하는 단계; 지정된 시간 동안 특정 사용자에 대한 특정 유형의 디지털 컴포넌트의 제3자 노출을 지정하는 제3자 노출 데이터를 획득하는 단계; 상기 모델을 사용하여, 특정 사용자에 의해 지정된 타겟 액션이 수행된 액션 시간에 제3자 노출 각각에 기인하는 증분 퍼포먼스 레벨을 결정하는 단계; 적어도 일부 디지털 컴포넌트의 제3자 노출에 기인하는 증분 퍼포먼스 레벨에 기초하여 특정 사용자가 노출된 적어도 일부 디지털 컴포넌트에 대한 전송 기준을 수정하는 단계를 포함한다.

Description

기여도 증분 기계 학습 모델

본 명세서는 데이터 처리 및 기계 학습 모델에 관한 것이다.

사용자는 다양한 온라인 활동에 참여하며 이러한 각 활동으로 인해 사용자는 다른 정보에 노출된다. 사용자의 후속 온라인 활동은 이전 활동과 노출된 정보의 영향을 받을 수 있다. 그러나 각 이전 활동이 후속 활동에 미치는 영향의 정도는 평가하기 어렵다.

일반적으로, 본 명세서에 기술된 요지의 하나의 혁신적인 양태는, 하나 이상의 컴퓨팅 장치에 의해, 지정된 타겟 액션에 대한 사용자 속성, 콘텐츠 노출 및 퍼포먼스 레벨 간의 관계를 나타내는 모델을 생성하는 단계; 특정 사용자가 특정 타겟 액션을 수행하기 전에 특정 사용자가 지정된 시간 동안 특정 사용자가 경험한 하나 이상의 유기적 노출을 지정하는 유기적 노출 데이터를 획득하는 단계 -상기 유기적 노출은 특정 유형의 디지털 컴포넌트에 대한 노출이나 지정된 타겟 액션의 수행이 아님-; 지정된 시간 동안 특정 사용자에 대한 특정 유형의 디지털 컴포넌트의 제3자 노출을 지정하는 제3자 노출 데이터를 획득하는 단계 -제3자 노출 데이터는 제3자 노출 각각에 대해, 제3자 노출이 발생한 시기를 지정하는 노출 시간을 포함함-; 상기 모델을 사용하여, 특정 사용자에 의해 지정된 타겟 액션이 수행된 액션 시간에 제3자 노출 각각에 기인하는(attributable) 증분 퍼포먼스(incremental performance) 레벨을 결정하는 단계; 하나 이상의 컴퓨팅 장치에 의해, 적어도 일부 디지털 컴포넌트의 제3자 노출에 기인하는 증분 퍼포먼스 레벨에 기초하여 특정 사용자가 노출된 적어도 일부 디지털 컴포넌트에 대한 전송 기준을 수정하는 단계를 포함하는 방법으로 구현될 수 있다. 이 양태의 다른 실시 예는 컴퓨터 저장 장치에 인코딩된 방법의 동작을 수행하도록 구성된 대응하는 방법, 장치 및 컴퓨터 프로그램을 포함한다. 이들 및 다른 실시 예는 각각 선택적으로 다음 특징 중 하나 이상을 포함할 수 있다.

방법은, 특정 세트의 디지털 컴포넌트에 노출되지 않은 제어 사용자 세트에 대한 제어 결과의 세트를 획득하기 위해 애블레이션(ablation) 실험을 수행하는 단계 -제어 결과는 제어 사용자 세트의 각 특정 제어 사용자에 대해 특정 제어 사용자가 지정된 액션을 수행했는지 여부를 지정함-; 제어 사용자 세트에 포함되지 않은 노출된 사용자 세트에 대한 노출 결과를 수집하는 단계를 포함할 수 있으며, 상기 노출 결과는, 노출 사용자 세트의 각 노출 사용자에 대해, 노출 사용자가 지정된 액션을 수행했는지 여부를 지정한다.

방법은 기계 학습 프레임워크를 사용하여, 사용자 속성을 사용하는 모델, 각 특정 제어 사용자에 대한 제어 결과 및 각 노출 사용자에 대한 노출 결과를 생성하는 단계를 포함할 수 있다.

방법은, 제3자 노출 각각에 기인하는 상기 증분 퍼포먼스 레벨을 결정하는 단계를 더 포함할 수 있으며, 상기 증분 퍼포먼스 레벨을 결정하는 단계는, 각 제3자 노출에 대해: 제3자 노출의 노출 시간과 지정된 타겟 액션이 발생한 액션 시간 사이의 차이를 결정하는 단계; 제3자 노출의 노출 시간과 지정된 타겟 액션이 발생한 액션 시간 사이의 차이에 기초하여, 상기 액션 시간에 남아있는 제3자 노출로부터의 퍼포먼스 레벨 기여도의 잔여량을 결정하는 단계; 그리고 퍼포먼스 레벨의 잔여량을 제3자 노출에 부여(attributing)하는 단계를 포함할 수 있다.

방법은, 각각의 상이한 유형의 제3자 노출에 대해, 시간 함수로서 남은 퍼포먼스 레벨 기여도의 감쇠율을 지정하는 감쇠 함수를 결정하는 단계; 그리고 각 제3자 노출에 대해, 제3자 노출의 노출 시간과 액션 시간 간의 차이 및 감쇠 함수에 기초하여 액션 시간에 남아있는 제3자 노출로 인한 퍼포먼스 레벨 기여도의 잔여량(residual amount)을 결정하는 단계를 포함할 수 있다.

방법은, 적어도 일부 디지털 컴포넌트에 대한 전송 기준을 수정하는 단계를 포함할 수 있으며, 이는 특정 디지털 컴포넌트의 제3자 노출에 기인한 증분 퍼포먼스 레벨의 크기에 비례하여 특정 디지털 컴포넌트에 대한 전송 기준을 조정하는 단계를 포함할 수 있다.

방법은, 전송 기준을 조정하는 단계를 포함할 수 있으며, 이는 특정 전송 기준의 제3자 노출에 기인한 증분 퍼포먼스 레벨의 지정된 크기보다 작은 특정 전송 기준을 비활성화하는 단계를 포함할 수 있다.

본 명세서에 설명된 요지의 특정 실시 예는 다음의 장점 중 하나 이상을 실현하도록 구현될 수 있다. 기계 학습 모델은 다양한 이벤트가 발생한 후 어느 시점에서나 결과에 대한 다양한 이벤트의 나머지 효과를 설명하도록 훈련될 수 있다. 결과 시점에 각 이전 이벤트의 나머지 효과의 정량화는 각 이전 이벤트에 기인한 결과의 일부를 나타낼 수 있다. 나머지 효과를 정량화하면 이벤트가 서로 다른 시간에 발생할 수 있더라도 최종 결과에 대한 각 이벤트의 효과를 직접 비교할 수 있다. 본 명세서에서 설명된 모델은 타겟 결과에 도달하는 사용자의 베이스라인 경향(baseline tendency)에 대한 각 이벤트(예를 들어, 콘텐츠 노출)의 증분(incremental) 효과를 정량화할 수 있다. 여기에 설명된 데이터 수집은, 기계 학습 모델이 사용자가 타겟 결과에 도달할 고유(intrinsic) 가능성을 특성화하도록 훈련(학습)될 수 있고 그리고 사용자의 고유 가능성에 대한 이벤트의 초기 효과와 이벤트 이후 시간에 따른 초기 효과의 변화를 정량화하도록 훈련(학습)될 수 있는 방식으로 수행된다. 디지털 컴포넌트에 대한 전송 기준은 기계 학습 모델의 출력을 기반으로 수정하여 디지털 컴포넌트가 네트워크를 통해 전송되는 시기 또는 방법을 수정할 수 있다.

본 명세서에 기술된 요지의 하나 이상의 실시 예의 세부 사항은 첨부된 도면 및 이하의 설명에서 설명된다. 요지의 다른 특징, 양태 및 장점은 설명, 도면 및 청구 범위로부터 명백해질 것이다.

도 1은 온라인 콘텐츠가 배포되는 예시적인 환경의 블록도이다.
도 2는 시간에 따른 타겟 액션의 퍼포먼스에 대한 콘텐츠 노출의 예시적인 효과를 나타내는 그래프이다.
도 3은 시간에 따른 콘텐츠 노출 효과의 예시적인 감쇠(decay) 그래프이다.
도 4는 베이스라인 모델을 구현하는 예시적인 모델 장치의 블록도이다.
도 5는 애블레이션 실험(ablation experiment)을 나타내는 블록도이다.
도 6a는 단일 디지털 컴포넌트에 대한 노출의 증분 효과를 예시하는 그래프이다.
도 6b는 다중 디지털 컴포넌트에 대한 노출의 증분 효과를 나타내는 그래프이다.
도 7은 디지털 컴포넌트의 증분 효과에 기초하여 디지털 컴포넌트에 대한 전송 기준을 수정하는 예시적인 프로세스의 흐름도이다.
도 8은 본 명세서에 설명된 동작을 수행하는 데 사용될 수 있는 예시적인 컴퓨터 시스템의 블록도이다.

인터넷에 연결된 사용자는 다양한 디지털 콘텐츠(예: 검색 결과, 웹 페이지, 디지털 컴포넌트, 뉴스 기사, 소셜 미디어 게시물, 디지털 어시스턴트 장치에서 출력되는 오디오 정보)에 노출된다. 콘텐츠에 대한 이러한 노출 중 일부는 지정된 타겟 액션을 수행하는 사용자에게 기여할 수 있다. 예를 들어, ES(endangered species)에 대한 웹 페이지에 노출된 사용자는 ES를 세이브하기 위한 뉴스레터에 가입할 수 있으며, 뉴스레터에 가입하는 것은 지정된 타겟 액션으로 간주될 수 있다. 유사하게, 특정 유형의 모바일 장치에 대한 정보에 노출된 사용자는 궁극적으로 그 특정 유형의 모바일 장치를 획득할 수 있으며, 여기서 모바일 장치의 획득은 타겟 액션으로 간주될 수 있다. 타겟 액션의 예로는 웹사이트/서비스 등록, 온라인 카트에 아이템 추가, 화이트페이퍼 다운로드 또는 제품 구입이 포함될 수 있다.

사용자에 대한 콘텐츠의 각 노출이 사용자가 후속 타겟 액션을 수행하는 데 기여하는 정도를 결정하는 것은 어려울 수 있다. 예를 들면, 사용자가 "sports cars(스포츠카)"를 검색하고 "스포츠카"라는 검색어(검색 쿼리) 제출에 대한 응답으로 리턴된 검색 결과를 검토하고 특정 브랜드의 스포츠카를 묘사하는 디지털 컴포넌트에 노출되어 스포츠카에 대한 정보를 제공하는 다양한 웹사이트를 방문한다고 가정한다. 또한 이 예의 사용자가 특정 브랜드의 스포츠카 획득에 대한 정보를 얻기 위해 온라인 요청을 제출한다고 가정한다. 이 예에서, 각 온라인 활동이 사용자가 특정 브랜드의 스포츠카 획득에 대한 정보를 얻기 위한 요청을 제출하는 데 기여한 양(amount)은 직접 관찰할 수 있는 것이 아니며 제3자(즉, 사용자가 아닌 다른 사람)의 관점에서 볼 때, 특히 온라인 활동과 후속 사용자 액션 사이의 시간이 증가함에 따라 확인하기가 어렵다. 그러나, 도출될 수 있는 각 온라인 활동 및 콘텐츠 노출의 상대적 기여도에 대한 정보는 온라인 콘텐츠 배포 시스템에서 사용자와 관련된 정보를 사용자에게 보다 효율적이고 효과적으로 제공하는 데 사용할 수 있으며, 제3자가 생성 및 배포하는 콘텐츠가 후속 사용자 액션에 미치는 영향을 이해할 수 있다.

본 명세서에서는 특정 타겟 액션의 사용자 퍼포먼스에 대한 다양한 콘텐츠 노출의 상대적 기여도를 결정하는 기술에 대해 설명한다. 예를 들어, 본 명세서에서 설명하는 기술은 특정 타겟 액션에 대한 사용자의 후속 퍼포먼스과 관련하여 온라인 콘텐츠에 대한 각 노출의 효과를 결정할 수 있는 모델을 만든다. 또한 본 명세서에 설명된 기술을 통해 시스템은 지정된 타겟 액션이 수행된 시점에 남아있는 각 노출의 증분 기여도(incremental contribution)를 결정할 수 있다.

보다 구체적으로, 본 명세서에 설명된 기술은 사용자의 유기적(organic) 온라인 활동에 기인하는 지정된 타겟 액션의 베이스라인(baseline) 퍼포먼스 레벨을 결정하고, 제3자가 온라인 리소스에 삽입한 디지털 컴포넌트에 노출된 사용자가 타겟 액션의 사용자 퍼포먼스에 미치는 증분 영향(incremental effect)을 결정할 수 있다.

본 명세서 전체에서 사용되는 "디지털 컴포넌트"라는 용어는 디지털 콘텐츠 또는 디지털 정보의 개별 단위(예: 비디오 클립, 오디오 클립, 멀티미디어 클립, 이미지, 텍스트 또는 다른 콘텐츠 단위)를 의미한다. 디지털 컴포넌트는 물리적 메모리 장치에 단일 파일 또는 파일 모음(컬렉션)으로 전자적으로 저장될 수 있으며, 디지털 컴포넌트는 비디오 파일, 오디오 파일, 멀티미디어 파일, 이미지 파일 또는 텍스트 파일의 형태를 취할 수 있으며 광고 정보를 포함할 수 있다(광고는 디지털 컴포넌트의 한 유형임). 본 명세서에서 사용되는 디지털 컴포넌트라는 용어는 유기적 이벤트라고 하며 아래에서 자세히 설명하는 유기적 콘텐츠 노출과는 다른 개별 콘텐츠 단위를 나타낸다.

도 1은 콘텐츠가 배포되는 예시적인 환경(100)의 블록도이다. 아래에서 더 상세히 설명되는 바와 같이, 사용자는 환경(100)에서 다양한 온라인 콘텐츠에 노출되고, 본 명세서 전체에서 설명된 기술은 특정 타겟 액션을 수행하는 사용자에 대한 노출 각각의 증분 효과를 결정할 수 있다.

예시적인 환경(100)은 근거리 통신망(LAN), 광역 통신망(WAN), 인터넷, 또는 이들의 조합과 같은 네트워크(102)를 포함한다. 네트워크(102)는 콘텐츠 서버(104), 사용자 장치(106), 디지털 컴포넌트 서버(108) 및 디지털 컴포넌트 배포(분배) 시스템(110)(컴포넌트 분배 시스템이라고도 함)을 연결한다.

전자 문서는 클라이언트 장치(106)에서 콘텐츠 세트를 제공하는 데이터이다. 전자 문서의 예로는 웹 페이지, 워드 프로세싱 문서, PDF(Portable Document Format) 문서, 이미지, 비디오, 검색 결과 페이지 및 피드 소스가 있다. 모바일, 태블릿 또는 데스크톱 컴퓨팅 장치에 설치된 애플리케이션과 같은 네이티브 애플리케이션(예: "앱")도 전자 문서의 예이다. 전자 문서는 콘텐츠 서버(104)에 의해 사용자 장치(106)에 제공될 수 있다. 예를 들어, 콘텐츠 서버(104)는 게시자 웹사이트를 호스팅하는 서버를 포함할 수 있다. 이 예에서, 사용자 장치(106)는 소정의 게시자 웹 페이지에 대한 요청을 시작할 수 있고, 소정의 게시자 웹 페이지를 호스팅하는 콘텐츠 서버(104)는 클라이언트 장치(106)에서 소정의 웹 페이지의 표시를 시작하는 기계 실행 가능 명령어를 전송함으로써 요청에 응답할 수 있다.

다른 예에서, 콘텐츠 서버(104)는 사용자 장치(106)가 앱(애플리케이션(apps))을 다운로드할 수 있는 앱 서버를 포함할 수 있다. 이 예에서, 사용자 장치(106)는 사용자 장치(106)에 앱을 설치하는 데 필요한 파일을 다운로드한 다음 다운로드된 앱을 로컬에서 실행할 수 있다. 앱은 유기적 콘텐츠(예: 앱 개발자가 지정한 콘텐츠)를 제공할 수 있으며, 경우에 따라 디지털 컴포넌트 서버(108)에서 획득한 하나 이상의 디지털 컴포넌트(예: 제3자가 생성/배포한 콘텐츠)를 제공할 수도 있으며, 앱이 사용자 장치(106)에서 실행되는 동안 앱에 삽입된다.

전자 문서에는 다양한 콘텐츠가 포함될 수 있다. 예를 들어, 전자 문서는 전자 문서 자체 내에 있거나 시간이 지나도 변경되지 않는 정적 콘텐츠(예: 텍스트 또는 기타 지정된 콘텐츠)를 포함할 수 있다. 전자 문서에는 시간이 지남에 따라 또는 요청별로 변경될 수 있는 동적 콘텐츠도 포함될 수 있다. 예를 들어, 특정 전자 문서의 게시자(발행자)는 전자 문서의 일부를 채우는 데 사용되는 데이터 소스를 유지할 수 있다. 이 예에서, 소정의 전자 문서는 소정의 전자 문서가 사용자 장치(106)에 의해 처리(예를 들어, 렌더링 또는 실행)될 때 사용자 장치(106)가 데이터 소스로부터 콘텐츠를 요청하게 하는 태그 또는 스크립트를 포함할 수 있다. 사용자 장치(106)는 데이터 소스로부터 획득된 콘텐츠를 포함하는 복합 전자 문서를 생성하기 위해 데이터 소스로부터 획득된 콘텐츠를 소정의 전자 문서에 통합한다.

일부 상황에서, 소정의 전자 문서는 디지털 컴포넌트 배포 시스템(110)을 참조하는 디지털 컴포넌트 태그 또는 디지털 컴포넌트 스크립트를 포함할 수 있다. 이러한 상황에서, 디지털 컴포넌트 태그 또는 디지털 컴포넌트 스크립트는 소정의 전자 문서가 사용자 장치(106)에 의해 처리될 때 클라이언트 장치(106)에 의해 실행된다. 디지털 컴포넌트 태그 또는 디지털 컴포넌트 스크립트의 실행은 네트워크(102)를 통해 디지털 컴포넌트 분배 시스템(110)으로 전송되는 디지털 컴포넌트에 대한 요청("컴포넌트 요청"으로 지칭됨)(112)을 생성하도록 사용자 장치(106)를 구성한다. 예를 들어, 디지털 컴포넌트 태그 또는 디지털 컴포넌트 스크립트는 사용자 장치(106)가 헤더 및 페이로드 데이터를 포함하는 패킷화된 데이터 요청을 생성하도록할 수 있다. 컴포넌트 요청(112)은 디지털 컴포넌트가 요청되는 서버의 이름(또는 네트워크 위치), 요청하는 장치(예: 사용자 장치(106))의 이름(또는 네트워크 위치) 및/또는 디지털 컴포넌트 배포 시스템(컴포넌트 배포 시스템)(110)이 요청에 대한 응답하여 하나 이상의 디지털 컴포넌트를 선택하기 위해 사용할 수 있는 정보와 같은 특징을 지정하는 이벤트 데이터를 포함할 수있다. 컴포넌트 요청(112)은 사용자 장치(106)에 의해, 네트워크(102)(예를 들어, 통신 네트워크)를 통해 디지털 컴포넌트 분배(배포) 시스템(110)의 서버로 전송된다.

컴포넌트 요청(112)은 요청되는 전자 문서 및 디지털 컴포넌트가 제시될 수 있는 전자 문서의 위치의 특퍼포먼스 같은 다른 이벤트 특징을 지정하는 이벤트 데이터를 포함할 수 있다. 예를 들면, 디지털 컴포넌트가 표시될 전자 문서(예: 웹 페이지)에 대한 참조(예: URL)를 지정하는 이벤트 데이터, 디지털 컴포넌트를 표시하는 데 사용 가능한 전자 문서의 사용 가능한 위치, 사용 가능한 위치의 크기 및/또는 위치에서 프레젠테이션에 적합한 미디어 유형이 디지털 컴포넌트 분배 시스템(110)에 제공될 수 있다. 유사하게, 전자 문서에 의해 참조되는 전자 문서("문서 키워드") 또는 엔티티(예: 사람, 장소 또는 사물)와 관련된 키워드를 지정하는 이벤트 데이터는 또한 컴포넌트 요청(112)에 (예를 들어, 페이로드 데이터로서) 포함되고, 전자 문서와 함께 제시하기에 적합한 디지털 컴포넌트의 식별을 용이하게 하기 위해 디지털 컴포넌트 분배 시스템(110)에 제공된다. 이벤트 데이터는 또한 검색 결과 페이지를 획득하기 위해 사용자 장치(106)로부터 제출된 검색 쿼리 및/또는 검색 결과 및/또는 검색 결과에 포함된 텍스트, 청각적 또는 다른 시각적 콘텐츠를 지정하는 데이터를 포함할 수 있다.

컴포넌트 요청(112)은 또한 사용자 장치의 사용자가 제공한 정보, 컴포넌트 요청이 제출된 스테이트(state) 또는 지역을 나타내는 지리 정보 또는 디지털 컴포넌트가 표시되는 환경에 대한 컨텍스트를 제공하는 기타 정보(예: 컴포넌트 요청 시간, 컴포넌트 요청 요일, 디지털 컴포넌트가 표시될 장치 유형(예: 모바일 장치 또는 태블릿 장치)와 같은 다른 정보와 관련된 이벤트 데이터를 포함할 수 있다. 컴포넌트 요청(112)은 예를 들어 패킷화된 네트워크를 통해 전송될 수 있으며, 컴포넌트 요청(112) 자체는 헤더 및 페이로드 데이터를 갖는 패킷화된 데이터로서 포맷될 수 있다. 헤더는 패킷의 대상을 지정할 수 있으며, 페이로드 데이터는 위에서 설명한 정보를 포함할 수 있다.

하나 이상의 디지털 컴포넌트 배포 서버를 포함하는 컴포넌트 배포 시스템(110)은, 컴포넌트 요청(112)을 수신하고 및/또는 컴포넌트 요청(112)에 포함된 정보를 사용하는 것에 응답하여 소정의 전자 문서와 함께 제공될 디지털 컴포넌트를 선택한다. 일부 구현에서, 디지털 컴포넌트의 지연된 선택에 의해 야기될 수 있는 오류를 회피하기 위해 1초 이내에 디지털 컴포넌트가 선택된다. 예를 들어, 컴포넌트 요청(112)에 대한 응답으로 디지털 컴포넌트를 제공하는 데 있어 지연은 사용자 장치(106)에서 페이지로드 오류를 초래하거나 전자 문서의 다른 부분이 클라이언트 장치(106)에 제시된 후에도 전자 문서의 일부가 채워지지않게 할 수 있다. 또한, 클라이언트 장치(106)에 디지털 컴포넌트를 제공하는 지연이 증가함에 따라, 디지털 컴포넌트가 클라이언트 장치(106)에 전달될 때 전자 문서가 더 이상 클라이언트 장치(106)에 제시되지 않을 가능성이 높아져서 전자 문서에 대한 사용자의 경험에 부정적인 영향을 미친다. 또한, 디지털 컴포넌트 제공의 지연은 예를 들어, 디지털 컴포넌트가 제공될 때 전자 문서가 더 이상 클라이언트 장치(106)에 제공되지 않는 경우 디지털 컴포넌트의 전달 실패를 초래할 수 있다.

전자 문서의 검색을 용이하게 하기 위해, 환경(100)은 전자 문서를 크롤링(crawling) 및 인덱싱함으로써(예를 들어, 전자 문서의 크롤링된 콘텐츠에 기초하여 인덱싱됨) 전자 문서를 식별하는 검색 시스템(150)을 포함할 수 있다. 전자 문서에 대한 데이터는 데이터가 연결된 전자 문서를 기반으로 인덱싱될 수 있다. 전자 문서의 인덱싱되고 선택적으로 캐시된 카피(copies)는 검색 인덱스(152)(예를 들어, 하드웨어 메모리 장치(들))에 저장된다. 전자 문서와 관련된 데이터는 전자 문서에 포함된 콘텐츠 및/또는 전자 문서에 대한 메타데이터를 나타내는 데이터이다.

사용자 장치(106)는 네트워크(102)를 통해 검색 시스템(150)에 검색 쿼리를 제출할 수 있다. 이에 응답하여, 검색 시스템(150)은 검색 쿼리와 관련된 전자 문서를 식별하기 위해 검색 인덱스(152)에 액세스한다. 검색 시스템(150)은 검색 결과의 형태로 전자 문서를 식별하고, 검색 결과 페이지에서 검색 결과를 사용자 장치(106)로 리턴한다. 검색 결과는 특정 검색 쿼리에 응답하는(예를 들어, 관련성이있는) 전자 문서를 식별하는 검색 시스템(150)에 의해 생성된 데이터이며, 검색 결과와의 사용자 상호작용에 대한 응답으로 클라이언트 장치가 지정된 위치에서 데이터를 요청하도록 하는 활성 링크(예: 하이퍼텍스트 링크)를 포함한다. 예시적인 검색 결과는 웹 페이지 제목, 텍스트 스니펫 또는 웹 페이지에서 추출된 이미지의 일부 및 웹 페이지의 URL을 포함할 수 있다. 다른 예시적인 검색 결과는 다운로드 가능한 애플리케이션의 제목, 다운로드 가능한 애플리케이션을 설명하는 텍스트 스니펫, 다운로드 가능한 애플리케이션의 사용자 인터페이스를 묘사하는 이미지, 및/또는 애플리케이션이 사용자 장치(106)로 다운로드될 수 있는 위치에 대한 URL을 포함할 수 있다. 또 다른 검색 결과는 스트리밍 미디어의 제목, 스트리밍 미디어를 설명하는 텍스트 스니펫, 스트리밍 미디어의 콘텐츠를 묘사하는 이미지 및/또는 스트리밍 미디어가 클라이언트 장치(106)로 다운로드 될 수 있는 위치에 대한 URL을 포함할 수 있다. 다른 전자 문서와 마찬가지로 검색 결과 페이지에는 디지털 컴포넌트(예: 광고, 비디오 클립, 오디오 클립, 이미지 또는 기타 디지털 컴포넌트)가 표시될 수 있는 하나 이상의 슬롯이 포함될 수 있다. 위에서 설명한 것처럼 사용자가 인터넷을 통해 사용 가능한 온라인 리소스와 상호작용할 때 다양한 온라인 콘텐츠가 사용자에게 제공될 수 있다. 이러한 온라인 콘텐츠는 일반적으로 유기적 콘텐츠 또는 디지털 컴포넌트로 분류될 수 있다. 유기적(organic) 콘텐츠는 콘텐츠가 제공되는 온라인 리소스의 소유자 또는 관리자가 지정 및/또는 제공하는 콘텐츠이다. 유기적 콘텐츠의 예로는 검색 엔진에서 제공하는 검색 결과와 게시자가 제공하는 웹 페이지에 제공되는 콘텐츠가 있다. 이러한 각 예에서, 제시된 콘텐츠는 온라인 리소스를 제공하는 엔티티에 의해 지정되므로 제1 파티(first party) 콘텐츠로 간주된다. 예를 들어, 검색 엔진은 제출된 검색 쿼리와 관련된 온라인 리소스를 식별하고, 이러한 관련 리소스를 식별하는 검색 결과를 생성하고, 검색 엔진에서 생성된 검색 결과를 포함하는 (검색 엔진 도메인에서) 검색 결과 페이지를 생성한다. 따라서, 검색 결과는 검색 엔진에 의해 생성되고 검색 엔진에 의해 생성된 검색 결과 페이지에 표시되어 검색 결과를 제1 파티 콘텐츠로 만들어 유기적 콘텐츠가 된다. 마찬가지로, 사용자가 특정 웹 페이지를 방문하면, 해당 웹 페이지는 해당 웹 페이지의 게시자가 지정 및/또는 생성한 콘텐츠를 포함할 것이며, 이 콘텐츠는 또한 제1 파티 콘텐츠로 간주되며 본 설명의 목적을 위한 유기적 콘텐츠가 된다.

이 설명의 목적상, 디지털 컴포넌트는 디지털 컴포넌트가 제공되는 온라인 리소스를 제공하는 엔티티와 다른 엔티티에 의해 생성 및/또는 제공되기 때문에 디지털 컴포넌트는 제3자 콘텐츠로 간주된다. 검색 결과 페이지의 컨텍스트에서, 제3자 콘텐츠를 포함하는 디지털 컴포넌트는 온라인 리소스가 표시될 때 온라인 리소스에 포함되도록 선택된 디지털 컴포넌트일 수 있다(예: 날씨 데이터, 주식 데이터 또는 광고). 예를 들어, 디지털 컴포넌트(예: 현재 기상 조건, 주가 또는 광고 표시)는 검색 결과 페이지가 생성되는 시간에 제3자(예: 검색 엔진 도메인과 다른 도메인)에 의해 선택될 수 있으며, 검색 결과 페이지 내에서 표시(프레젠테이션)되도록 제공된다. 위에서 설명된 바와 같이, 검색 결과 페이지와 함께 제공되는 디지털 컴포넌트는 사용자가 제출한 검색 쿼리에 적어도 부분적으로 기초하여 검색 결과 페이지를 제공하는 엔티티 이외의 엔티티에 의해 선택될 수 있다. 게시자가 제공하는 웹 페이지(예: 블로그, 뉴스 웹 페이지, 날씨 웹 페이지, 주식 정보 웹 페이지)의 컨텍스트에서, 웹 페이지의 게시자와는 다른 제3자가 제공하는 디지털 컴포넌트는 클라이언트 장치에서 웹 페이지를 요청할 때 웹 페이지에 표시(프레젠테이션)하기 위해 선택된다. 소정의 웹 페이지와 함께 표시(프레젠테이션)하기 위해 선택된 디지털 컴포넌트는 예를 들어 소정의 웹 페이지의 유기적 콘텐츠 및/또는 소정의 웹 페이지를 방문하는 사용자의 특성(예: 관심사, 프로필 정보 등)에 기초하여 선택될 수 있다.

콘텐츠에 대한 각 노출은 사용자의 향후 온라인(또는 오프라인) 활동에 영향을 미칠 수 있다. 예를 들어, 특정 신발 브랜드(예: 리뷰, 뉴스 기사 또는 광고)와 관련된 콘텐츠를 보는 사용자는 사용자가 노출되지 않았던 특정 브랜드의 신발을 획득할 가능성이 더 높을 수 있다. 일부 상황에서, 다른 콘텐츠 노출의 효과는 사용자가 이후에 어떤 특정 타겟 액션을 수행하는 것과 관련되어 있기 때문에 그 효과를 정량화할 수 있는 것이 유리할 수 있다.

일부 구현에서, 타겟 액션은 디지털 컴포넌트 제공자에 의해 지정될 수 있다. 예를 들면, 디지털 컴포넌트 제공자는 사용자가 화이트페이퍼를 다운로드하고, 웹사이트의 적어도 소정의 깊이로 내비케이팅하고, 적어도 특정 수의 웹 페이지를 보고, 웹사이트나 웹 페이지에서 최소한 미리 정해진 시간을 보내고, 웹 사이트 등록 절차를 완료하고, 디지털 서비스를 구독하고, 장바구니에 아이템을 추가하거나 제품을 구매하는 것 중 하나 이상으로 타겟 액션을 지정한다. 사용자가 지정된 타겟 액션을 수행하면 지정된 타겟 액션의 퍼포먼스는 전환(conversion)이라고 할 수 있다.

사용자가 특정 타겟 액션을 수행(퍼포먼스)하기 전에 종종 온라인 콘텐츠에 대한 일련의 노출이 선행된다. 예를 들어, 사용자(160)가 특정 카메라에 관심이 있고 카메라에 대해 더 알고 싶어한다고 가정한다. 또한 특정 카메라에 대한 정보가 포함된 디지털 컴포넌트를 배포하는 디지털 컴포넌트 공급자(제공자)가 특정 카메라의 획득으로 타겟 액션을 지정했다고 가정한다.

이 예에서, 사용자(160)는 네트워크(102)를 통해 검색 시스템(150)에 검색 쿼리를 제출함으로써 사용자 장치(106)의 특정 카메라에 관한 정보를 검색할 수 있다. 검색 시스템(150)은 검색 쿼리에 응답하는 검색 결과를 식별하고, 디스플레이를 위해 검색 결과를 사용자 장치(106)에 리턴하며, 이는 사용자(160)에 대한 특정 카메라에 대한 유기적 콘텐츠의 노출로 간주된다(예: 특정 카메라에 대한 디지털 컴포넌트가 검색 결과 페이지에 표시되지 않는다고 가정). 사용자 장치(106)에서 검색 결과를 보는 사용자(160)는 각각 특정 카메라에 대한 정보를 포함하는 웹사이트(180, 182, 184)를 (예를 들어, 검색 결과 중 여러 개를 클릭함으로써) 방문할 수 있다. 사용자(160)에 의한 웹사이트 방문 각각은 또한 사용자(160)에 대한 유기적 콘텐츠의 노출로 간주될 수 있다. 사용자(160)가 궁극적으로 특정 카메라를 획득한다고 가정하면(즉, 지정된 타겟 액션을 수행), 유기적 이벤트라고 하는 유기적 콘텐츠에 대한 이러한 노출 각각은 지정된 타겟 액션의 사용자 퍼포먼스에 기여할 것이며, 이러한 유기적 노출의 기여도는 아래에 자세히 설명된대로 정량화될 수 있다.

위의 예에서, 사용자(160)는 지정된 타겟 액션을 수행하기 전에 특정 카메라에 대한 유기적 콘텐츠에 노출되었지만 사용자(160)는 특정 카메라에 대한 디지털 컴포넌트(예: 지정된 유형의 디지털 컴포넌트)에 노출되지 않았다고 가정한다. 디지털 컴포넌트에 대한 노출은 지정된 타겟 액션에 대한 사용자의 퍼포먼스에도 기여할 수 있다. 예를 들어, 지정된 타겟 액션을 수행하기 전에 사용자(160)가 다른 검색을 수행한다고 가정한다. 또한, 이 검색에 응답하여, 검색 시스템(150)이 검색 결과(예를 들어, SR1 및 SR2)를 포함하는 검색 결과 페이지(186)를 리턴하고, 디지털 컴포넌트 서버(108)가 검색 결과와 함께 프레젠테이션하기 위해 특정 카메라에 대한 디지털 컴포넌트(188)를 제공한다고 가정한다.

이 예에서, 사용자(160)가 이후에 지정된 타겟 액션을 수행할 때(예를 들어, 특정 카메라를 획득하는), 디지털 컴포넌트(188)에 대한 사용자의 노출은 또한 그 지정된 타겟 액션의 수행(퍼포먼스)에 기여할 것이다. 그러나, 디지털 컴포넌트 노출의 영향 레벨은 지정된 타겟 액션에 대한 사용자의 후속 퍼포먼스와 관련이 있으므로 쉽게 명확하지 않고 직접 관찰할 수 없으며 결정하기가 어렵다. 또한, 콘텐츠 노출과 관련된 원시 데이터만으로는 유기적 노출의 기여도와 디지털 컴포넌트에 대한 노출의 기여도를 구별하는 방법이 타겟 액션의 사용자 후속 퍼포먼스에 영향을 미치기 때문에 쉽게 명확하지 않다. 따라서 특히 디지털 컴포넌트와 관련하여 콘텐츠를 사용자에게 효과적이고 효율적으로 배포하기가 어려울 수 있다.

특정 타겟 액션을 수행하는 사용자와 관련된 콘텐츠 노출의 영향을 결정하기 위해, 환경(100)은 콘텐츠 노출을 평가하도록 구성된 모델 장치(130)를 포함할 수 있고, 특정 타겟 액션의 사용자의 후속 수행(퍼포먼스)에 대한 이들 콘텐츠 노출 각각의 기여도 레벨을 결정한다. 이 정보는 컴포넌트 배포(분배) 시스템(110)에 의해 분배된 특정 유형의 디지털 컴포넌트의 퍼포먼스를 결정하는 데 사용될 수 있으며, 예를 들어, 디지털 컴포넌트가 사용자에게 프레젠테이션을 위해 전송되는 시기, 장소 또는 방법을 제어하는 전송 기준(transmission criteria)을 수정하여 사용자에게 제공되는 콘텐츠의 관련성을 개선하는 데 사용할 수 있다.

아래에서 자세히 설명하는 것처럼, 모델 장치(130)는, 모델 장치(130)가 사용자의 속퍼포먼스 지정된 타겟 액션의 베이스라인 퍼포먼스 레벨(예를 들어, 특정 속성을 가진 사용자가 지정된 타겟 상호작용을 수행하는 레벨) 사이의 관계를 학습 할 수 있게 하는 데이터 수집 기술을 구현하도록 구성된다. 이러한 관계는 시스템에 입력된 속성을 기반으로 베이스라인 퍼포먼스 레벨을 출력할 수 있는 베이스라인 액션 모델이라고 할 수 있다. 이 베이스라인 퍼포먼스 모델은 독립 실행형 모델이거나 아래에 자세히 설명된대로 다른 데이터도 고려하는 더 복잡한 모델 구조에 통합될 수 있다.

베이스라인 퍼포먼스 레벨은 사용자가 지정된 유형의 디지털 컴포넌트에 노출되지 않은 경우 지정된 타겟 액션의 퍼포먼스 레벨을 나타낸다. 예를 들어, 특정 신발 유형의 판매자에게 배포된 디지털 컴포넌트에 노출되지 않은 사용자가 특정 유형의 신발을 획득하는 비율을 나타내기 위해 특정 베이스라인 퍼포먼스 레벨을 생성할 수 있다. 특정 예에서, 베이스라인 퍼포먼스 측정치는 사용자가 특정 유형의 신발에 대한 광고에 노출되지 않고 특정 유형의 신발을 획득할 특정 속성 세트를 갖는 사용자의 부분(portion)을 나타낼 수 있다.

모델 장치(130)에 의해 구현된 데이터 수집 기술은 또한 모델 장치(130)가 이후에 지정된 타겟 액션을 수행하는 사용자와 관련되어 시간에 따른 다양한 콘텐츠 노출의 효과를 모델링할 수 있게 한다. 예를 들어, 모델 장치(130)는, 아래에 자세히 설명된 바와 같이, 특정 유형의 콘텐츠(예: 유기적 콘텐츠 또는 디지털 컴포넌트)에 노출된 직후에 지정된 타겟 액션을 수행하는 사용자의 부분의 초기 변화를 정량화하고, 시간에 따른 초기 변화의 감쇠(decay)(예: 베이스라인 퍼포먼스 측정치 기준)를 나타내는 모델을 생성할 수있다. 베이스라인 퍼포먼스 레벨과 시간에 따른 다양한 콘텐츠 노출의 나머지 효과 사이를 묘사하는 이러한 능력은 모델 장치(130)가 지정된 타겟 액션이 수행되는 시간에 남아있는 각 콘텐츠 노출의 증분 효과를 결정할 수 있게 하며, 따라서, 지정된 타겟 액션이 수행될 때 남아있는 각 콘텐츠 노출의 상대적 기여도를 설명할 수 없는 기존 기여도 모델(attribution models)에 비해 개선된 기여도 모델을 제공한다.

도 2는 시간에 따른 타겟 액션의 퍼포먼스에 대한 콘텐츠 노출 디지털 컴포넌트의 예시적인 효과를 예시하는 그래프(200)이다. 도 2에서, 시간 t0에서, 퍼포먼스 레벨은 PL1이며, 이는 소정의 속성 세트를 갖는 사용자 세트에 대한 베이스라인 퍼포먼스 레벨로 가정될 수 있다. 퍼포먼스 레벨은 다양한 방법으로 표현할 수 있다. 일부 구현에서, 특정 시간의 퍼포먼스 레벨은 사용자의 액션률(action rate)을 나타내며, 예를 들어 지정된 타겟 액션을 수행할 사용자의 부분 또는 사용자가 지정된 타겟 액션을 수행하는 빈도를 지정한다. 일부 구현에서, 퍼포먼스 레벨은 사용자가 지정된 타겟 액션을 수행할 가능성으로 표현될 수 있다. 일부 상황에서, 퍼포먼스 레벨은 제한된 값 범위(예: 0-1, 0-10, 0-100 등)로 정규화된다.

시간 t1에서, 콘텐츠 노출("노출 A" 210)이 발생하여 콘텐츠 노출로 인해 발생하는 퍼포먼스 레벨이 즉시 상승한다. 특히 노출 A 시간에서 퍼포먼스 레벨이 PL1에서 PL2로 변경된다. 퍼포먼스 레벨의 이러한 변화는 노출 A(210)의 결과로 지정된 타겟 액션을 수행하는 사용자의 비율이 PL1에서 PL2로 변경됨을 나타낸다. 예를 들어, 노출 A(210)가 특정 유형의 신발에 대한 검색 결과에 노출되는 사용자를 나타낸다고 가정한다. 이 예에서, 도 1의 모델링 장치(130)는 검색 결과에 대한 노출로 인해 타겟 액션(예: 특정 유형의 신발 획득)의 퍼포먼스가 향상됨을 나타낸다.

t1에서, 퍼포먼스 레벨의 초기 변화후, 퍼포먼스 레벨에 대한 노출 A(210)의 효과는 감소하기 시작하고, 그래프(200)에서 t1과 t2 사이에 위치한 곡선에 의해 예시된 바와 같이 PL1로 되돌아 간다. 이러한 감쇠는 시간이 지남에 따라 이후에 타겟 액션을 수행하는 사용자에 대한 특정 콘텐츠 노출의 기여도가 감소하는 경향이 있다는 사실을 나타낸다. 이하에서 더 상세히 설명되는 바와 같이, 각각의 특정 유형의 콘텐츠 노출에 대한 감쇠율은 모델 장치(130)에 의해 수집된 데이터에 기초하여 결정될 수 있다.

도 2에 도시된 바와 같이, 시간 t2에서, 퍼포먼스 레벨은 베이스라인 퍼포먼스 레벨인 PL1로 리턴되고, 이는 t2에서 노출 A(Exposure A)(210)가 더 이상 타겟 액션의 퍼포먼스에 기여하는 것으로 간주되지 않음을 나타낸다. 시간 t2에서, 제2 노출("노출 B" 220)이 발생하여 퍼포먼스 레벨이 PL1에서 PL3으로 변경되어, 노출 B는 사용자가 타겟 액션(예: PL1)의 퍼포먼스의 사용자의 베이스라인 비율에 비해 더 높은 비율로 타겟 액션을 수행하게 함을 나타낸다. t2 이후, 노출 B(Exposure B)(220)에 의해 기여된 증가된 퍼포먼스 레벨은 특정 유형의 콘텐츠 노출에 대해 결정된 감쇠 함수에 따라 감쇠하기 시작한다. 위의 예를 계속하면, 노출 B(220)는 예를 들어 특정 유형의 신발 제조업체에 의해 생성된 디지털 컴포넌트에 사용자를 노출하는 것일 수 있다.

t3에서, 퍼포먼스 레벨에 대한 노출 B(220)의 기여도(contribution)는 PL3에서 PL4까지 떨어졌지만 PL1로 완전히 떨어지지는 않았으며, 따라서, t3에서 노출 B(220)는 여전히 타겟 액션의 사용자 퍼포먼스에 기여하는 것으로 간주된다. 따라서, 노출 B(220)는 아래에서 더 자세히 설명되는 바와 같이 시간 t3에서 타겟 액션의 퍼포먼스에 대한 크레딧으로 귀속(부여)될 수 있다. 본 예에서, 또 다른 노출("노출 C" 230)이 발생하는데, 이는 다시 퍼포먼스 레벨을 변경하고 특히 퍼포먼스 레벨을 PL5로 증가시킨다. 노출 C(230)는 유기적 노출 또는 디지털 컴포넌트의 노출일 수 있다. 어떤 상황에서, 노출 C(230)로 인한 퍼포먼스 증가의 초기 레벨은 PL4와 PL5 간의 차이가 될것이며, 즉, 노출 C(230) 직전에 남아있는 퍼포먼스 레벨(예: PL4)과 노출 C 직후의 결과 퍼포먼스 레벨(예: PL5) 간의 차이이다. 표시된 것처럼, PL5에는 아직 완전히 감쇠되지 않은 노출 B(220)와 노출 C(230) 모두의 기여가 포함된다. 따라서 t3에서 타겟 액션의 퍼포먼스에 대한 각각의 기여도를 적절하게 귀속(부여)하려면 퍼포먼스 레벨(PL5)을 제공하기 위해 결합되는 각각의 퍼포먼스의 증분 레벨(incremental levels)을 결정해야 한다. 소정의 시간에 콘텐츠 노출에 대한 퍼포먼스의 증분 레벨 결정은 아래에서 자세히 설명한다.

아래에서 자세히 설명한 바와 같이, t3 이후, 퍼포먼스 레벨이 다시 감소(예: 하락(drop))하기 시작하지만 이번에는 노출 C(230)에 대해 결정된 감쇠뿐만 아니라 t3에 남아있는 노출 B(220)의 퍼포먼스 레벨의 감쇠로 인해 감쇠가 발생한다. 예를 들어, t3 이후인 t4에서 사용자가 타겟 액션을 수행했다고 가정한다. 이 예에서, t4에서, 퍼포먼스 레벨이 베이스라인 퍼포먼스 레벨인 PL1보다 높은 PL4로 리턴된다. 이와 같이, t0과 t3 사이에 발생한 하나 이상의 콘텐츠 노출은 여전히 t4에서 타겟 액션(240)의 퍼포먼스에 기여하는 것으로 간주된다. t4에 남아있는 각 콘텐츠 노출의 상대적 기여도는, 아래에서 자세히 설명한 바와같이, 예를 들면, 해당 콘텐츠 노출로 인한 퍼포먼스 레벨의 변화, 콘텐츠 노출 및 타겟 액션(240)의 퍼포먼스로부터 경과된 시간 양에 기초하여 결정될 수 있다.

위의 설명은 콘텐츠 노출에 따라 타겟 액션의 퍼포먼스 레벨이 어떻게 변경되는지, 그리고 전체 퍼포먼스 레벨을 어떻게 변경하는지 보여준다. 수학적 관계를 사용하여 소정의 시간에 총 퍼포먼스 레벨을 표현 및/또는 정량화할 수 있다. 일부 구현에서 지정된 액션의 퍼포먼스 레벨은 수학식 1로 표시된다.

여기서 X(t)는 시간 t에서의 총 퍼포먼스 레벨을 나타내며, 는 콘텐츠에 대한 노출이 없는 베이스라인 퍼포먼스 레벨이며, 는 콘텐츠 노출로 인한 퍼포먼스 레벨의 증가이다. 일부 구현에서, 콘텐츠 노출로 인한 퍼포먼스 레벨의 증가는 수학식 2와 같이 모델링된다.

여기서, 는 퍼포먼스 레벨의 감소율이며, 는 퍼포먼스 레벨의 즉각적인 상승(immediate rise)이며, 는 시간 t에서 디지털 컴포넌트에 대한 노출이다. 및 의 값은 콘텐츠 노출 시간 및 해당 콘텐츠 노출 이후 타겟 액션이 발생한 시간을 지정하는 데이터와 같은 기록(historical) 데이터를 사용하여 결정될 수 있다.

도 3은 시간에 따른 콘텐츠 노출(330)의 효과의 예시적인 감쇠를 예시하는 그래프(300)이다. 예를 들어, 사용자(160)가 인터넷 검색을 수행하고, 노출(330)로 표시되는 검색 결과에 노출되어 퍼포먼스 레벨이 증가한다고 가정한다. 위에서 설명한한 바와 같이, 이 증가된 퍼포먼스 레벨은 예를 들어 검색 결과 노출을 위해 생성된 감쇠 함수에 따라 시간이 지남에 따라 감쇠한다.

일부 구현에서, 퍼포먼스 레벨의 감쇠는 부분 상수 함수(또는 부분 선형 함수와 같은 다른 부분 함수)를 사용하여 모델링된다. 예를 들어,

시간 간격(350) 동안 퍼포먼스 레벨의 감쇠(감소)는 단기 감쇠로 간주되고, 시간 간격(360) 동안 퍼포먼스 레벨의 감쇠는 중기 감쇠로 간주되며, 시간 간격(370) 동안 퍼포먼스 레벨의 감쇠는 장기 감쇠로 간주된다. 다른 구현에서, 부분 상수 함수는 감쇠 프로세스를 더 미세한 시간 간격으로 분할하여 더 세분화된 레벨(granular level)에서 감쇠를 모델링할 수 있다. 다른 구현에서, 연속 감쇠 함수를 추정하기 위해 다른 방법론이 사용될 수 있다. 부분 상수 함수를 사용하면 감쇠를 결정하는 데 필요한 컴퓨팅 리소스가 줄어들고 더 빨리 감쇠를 계산할 수 있다.

이러한 구현에서, 콘텐츠 노출후 시간은 더 작은 시간 간격의 합계로 모델링된다. 예를 들어, 시간 t1과 t4 사이의 퍼포먼스 레벨 감쇠를 모델링하기 위해, t1과 t4 사이의 시간은 시간 간격 t1-t2, t2-t3 및 t3-t4의 합으로 모델링된다. 각 시간 간격은 해당 감쇠 또는 더 구체적으로 감쇠율을 갖는 것으로 가정된다. 해당 시간 간격의 감쇠율을 기반으로, 특정 시간 간격 이전의 퍼포먼스 레벨을 사용하여 특정 시간 간격 이후의 퍼포먼스 레벨을 계산할 수 있다. 일부 구현에서, 감쇠율은 디지털 컴포넌트 제공자 또는 베이스라인 모델 생성에 관심이 있는 제3자에 의해 설정될 수 있다. 일부 구현에서, 감쇠율은 여러 학습 가능한 파라미터를 사용하여 사용자의 과거 활동을 기반으로 다른 기계 학습 모델에 의해 결정될 수 있다. 다른 구현에서, 감쇠율은 훈련(학습) 프로세스 동안 학습된 베이스라인 모델의 파라미터일 수 있다. 콘텐츠에 노출된 후의 퍼포먼스 레벨은 베이스라인 모델에 의해 결정된다. 일부 구현에서, 베이스라인 모델은 베이스라인 모델, 특정 콘텐츠, 사용자 및 베이스라인 모델 훈련을 위해 수집된 훈련(학습) 데이터의 학습된 파라미터에 기초하여 특정 콘텐츠에 노출된 후 퍼포먼스 레벨이 동일하게 유지되거나 증가할 수 있다고 결정할 수 있다.

도 4는 시간에 걸쳐 발생한 콘텐츠 노출에 대한 타겟 액션의 퍼포먼스를 부여(귀속)(attribute)하기 위해 모델 장치(130)에 의해 사용될 수 있는 모델(450)을 생성하도록 구성된 예시적인 시스템(400)의 블록도이다. 간단한 형식으로, 모델은 사용자 속성을 입력으로 받아들이고 사용자 속성을 기반으로 베이스라인 퍼포먼스 레벨을 출력하는 베이스라인 모델이될 수 있다. 모델은 타겟 액션의 퍼포먼스 전에 발생한 유기적 노출(예: 유기적 노출의 유형 및 노출 시간)과 관련된 입력을 수용하도록 확장할 수 있으며, 타겟 액션이 발생한 시간에 타겟 액션의 퍼포먼스에 대한 각 유기적 노출의 상대적 기여도와 같은 다양한 정보를 출력할 수 있다.

모델은 또한 타겟 액션의 퍼포먼스 전에 발생한 디지털 컴포넌트 노출(예: 디지털 컴포넌트 유형 및 노출 시간)과 관련된 입력을 수용하도록 확장할 수 있으며, 타겟 액션의 시점에 타겟 액션의 퍼포먼스에 대한 각 디지털 컴포넌트의 상대적 기여도를 지정하는 정보를 출력할 수 있다. 다음 설명은 베이스라인 모델 생성에 관한 것이다.

시스템(400)은 모델(450)을 훈련하기 위한 훈련 샘플을 획득/준비하는 데이터 수집기(410)를 포함한다. 예를 들어, 모델(450)은 타겟 액션을 수행한 사용자 세트 및 타겟 액션을 수행하지 않은 다른 사용자 세트에 대해 수집된 데이터를 사용하여 훈련(학습)될 수 있다. 예를 들어, 타겟 액션이 네이티브 애플리케이션을 다운로드/설치하는 사용자라고 가정한다. 이 예에서, 시스템은 네이티브 애플리케이션의 이전 다운로드/설치를 식별하고, 네이티브 애플리케이션을 다운로드/설치하기 전에 사용자가 경험한 콘텐츠 노출을 지정하는 데이터를 획득할 수 있다. 시스템은 사용자가 네이티브 애플리케이션을 다운로드/설치하지 않은 이후 사용자가 경험한 콘텐츠 노출을 지정하는 데이터를 추가로 획득할 수 있다.

이러한 구현에서 수집된 데이터는 타겟 액션(예: 애플리케이션 다운로드/설치)의 퍼포먼스 전에 모든 디지털 컴포넌트에 대한 노출을 나타내는 사용자 데이터를 포함한다. 일부 구현에서, 모델(450)은 다양한 디지털 컴포넌트에 대한 노출에 기초하여 사용자 속성 및 퍼포먼스 레벨 간의 관계를 학습한다. 다른 구현에서, 모델(450)은 특정 유형의 디지털 컴포넌트에 대한 노출과 무관하게 사용자 속성 및 퍼포먼스 레벨 간의 관계를 학습하도록 구성된다. 예를 들어, 모델(450)은 사용자가 타겟 액션을 수행(퍼포먼스)하기 전에 하나 이상의 특정 유형의 디지털 컴포넌트(예: 특정 엔티티에서 제공하는 디지털 컴포넌트)에 노출되지 않은 사용자에 대응하는 기록 노출 데이터에 기초하여 사용자 속성과 퍼포먼스 레벨 간의 관계를 학습할 수 있다. 이는 모델(450)이 사용자의 속성에 기초하여 사용자에 대한 베이스라인 퍼포먼스 레벨을 결정할 수 있게 한다. 이러한 구현에서, 훈련 샘플은 이벤트 데이터(예: 유기적 노출 데이터)의 수집을 허용하는 애블레이션 실험을 사용하여 생성되며, 사용자가 제3자 디지털 컴포넌트에 노출되지 않고 유기적 콘텐츠에 대한 사용자 노출을 나타내며, 뿐만 아니라 제3자가 제공한 디지털 컴포넌트에 대한 사용자 노출을 나타내는 제3자 노출 데이터를 포함하는 훈련 샘플 수집을 가능하게 한다. 다른 구현에서, 모델(450)은 애블레이션 실험을 명시적으로 수행하지 않고 하나 이상의 지정된 유형의 디지털 컴포넌트에 노출되지 않은 사용자로부터 생성된 훈련 샘플을 사용하여 훈련될 수 있다. 예를 들어, 검색 시스템(150) 및 컴포넌트 분포(110)는 사용자(160)로부터의 모든 검색 요청 및 사용자(160)에게 제공되는 디지털 컴포넌트를 추적할 수 있다. 이 데이터를 사용하여, 하나 이상의 지정된 유형의 디지털 컴포넌트를 제공하지 않아 지정된 디지털 컴포넌트에 노출되어야 하는 사용자를 나타내는 훈련 샘플을 생성할 수 있다.

도 5는 도 4의 애블레이션 실험 장치(415)에 의해 구현될 수 있는 애블레이션 실험을 나타내는 블록도이다. 애블레이션 실험은 사용자 세트(510)를 사용하여 수행된다. 이러한 구현에서, 제어 사용자 세트(520)는, 제어 사용자 세트(520)가 하나 이상의 지정된 유형의 디지털 컴포넌트를 제공받지 않는 지정된 기간 동안 생성되어 평가되는 디지털 컴포넌트에 대한 노출을 방지한다. 예를 들어, 제어 사용자 세트(520)는 디지털 컴포넌트를 배포하는 특정 엔티티에 대한 제어 그룹의 일부로 표시될 수 있고, 이 예에서, 사용자가 제어 그룹에 포함되면 해당 사용자가 특정 엔티티에 의해 배포된 디지털 컴포넌트에 노출되는 것을 방지 할 수 있으며, 이에 따라 이러한 디지털 컴포넌트가 제어 그룹(520)의 사용자에 의해 수행되는 후속 액션에 영향을 미치는 것을 방지한다.

애블레이션 실험은 또한 지정된 기간 동안 노출된 사용자 세트(550)를 정의한다. 제어 사용자 세트와 달리, 노출된 사용자 세트(550)는 지정된 유형의 디지털 컴포넌트를 제공 받음으로써, 노출된 사용자 세트(550)가 특정 유형의 디지털 콘텐츠(예를 들어, 특정 엔티티에 의해 배포된 디지털 컴포넌트)에 노출되도록 보장한다. 예를 들어, 사용자 세트(510)는 사용자 1-6을 포함하는 제어 사용자 세트(520)를 포함한다. 사용자 세트(510)는 또한 사용자 7-12를 포함하는 노출된 사용자 세트(550)를 포함한다. 제어 사용자 그룹의 각 사용자 1-6은 유기적 노출을 경험할 수 있지만, 특정 유형의 디지털 컴포넌트(예: 특정 엔티티에 의해 제공되고 및/또는 특정 주제, 객체, 제품 또는 서비스와 관련된 디지털 컴포넌트)의 제3자 노출을 경험하지 않는다. 노출된 사용자 세트(550)의 사용자 7-12는 지정된 유형의 디지털 컴포넌트(565)(Search ad)(예를 들어, 특정 엔티티에 의해 제공되는 디지털 컴포넌트)에 노출된다.

일부 구현에서, 제어 사용자 세트(520) 및 노출된 사용자 세트(550)의 사용자는 세트(510)의 사용자로부터 무작위로(랜덤) 선택된다. 다른 구현에서, 이 랜덤 선택 프로세스는 특정 조건을 사용하여 제어될 수 있다. 예를 들어, 특정 연령 그룹의 사용자에 대한 퍼포먼스 레벨을 결정하도록 베이스라인 모델을 훈련할 수 있다. 이러한 구현에서, 애블레이션 실험 장치(415)는 사용자 세트(510)로부터 특정 연령 그룹으로부터 사용자를 선택한 다음, 선택된 사용자를 제어 사용자 세트(520) 또는 노출된 사용자 세트(550) 중 하나에 무작위로 할당할 수 있다.

일부 구현에서, 노출 데이터(예: 유기적 노출 데이터 및/또는 제3자 노출 데이터)는 제어 사용자 세트와 노출된 사용자 세트에 대해 수집된다. 예를 들어, 제어 사용자 세트(520)에서 사용자 4에 대해 수집된 노출 데이터는, 사용자 4가 유기적 노출인 제1 웹사이트(532) 및 제2 웹사이트(534)에 노출되었음을 지정할 수 있다. 수집된 데이터에 따르면, 제1 웹사이트(532) 및 제2 웹사이트(534)에 노출된 후, 사용자 4는 지정된 타겟 액션 (538)을 수행한다. 이 예를 계속하면, 노출 데이터는 또한 지정된 기간 동안, 사용자(6)가 제1 웹사이트(532) 및 제3 웹사이트(536)에 대한 노출 이후에 지정된 타겟 액션(538)을 수행하지 않았음을 나타낼 수 있다. 이 노출 데이터는 노출 유형(예: 유기적 또는 제3자), 노출 시간, 노출 기간, 사용자 속성(attributes) 및 지정된 타겟 액션이 지정된 기간 내에서 수행되었는지 여부에 대한 식별자를 포함하는 훈련 샘플에 사용될 수 있다. 마찬가지로 노출된 사용자(550) 세트로부터 유사하게, 사용자(10)는 제1 웹사이트(532)에 대한 초기 노출 및 후속 제3자 노출(565) (예: 특정 엔티티가 제공하거나 특정 주제, 서비스 또는 제품과 관련된 디지털 컴포넌트에 대한 노출) 후에 지정된 타겟 액션(538)을 수행한다. 이 예에서, 사용자 12는 제2 웹사이트(534)에 대한 초기 노출 및 후속 제3자 노출(565) 이후에 지정된 타겟 액션(538)을 수행하지 않는다.

도 4에 도시된 바와 같이, 위에서 설명된 바와 같이 노출 데이터(예를 들어, 유기적 노출 데이터 및 제3자 노출 데이터)를 수집한 후, 노출 데이터가 처리(프로세싱)되어 모델(450)을 훈련시키는 데 사용되는 훈련 샘플을 생성한다. 예를 들어, 전-처리기(420)는, (i) 사용자 설명자(descriptor) 또는 식별자, (ii) 노출 타임스탬프, (iii) 이벤트 설명자 또는 노출 설명자, (iv) 다음 연대기(chronological) 노출의 타임스탬프, (v) 노출 시간과 다음 노출로 정의된 간격에서 발생한 특정 타겟 액션을 수행하는 커스텀(customers) 카운트 및 (vi) 기타 적절한 함수에 적어도 부분적으로 기초하여 각 훈련 샘플을 생성한다. 일부 구현에서, 모델(450)을 훈련시키기 위해 다중 프로세서가 사용될 수 있다. 예를 들어, 여러 워커(workers)(430, 432 및 434)가 모델(450)을 훈련하는 데 사용된다.

일부 구현에서, 모델(450)은 모델의 파라미터가 소정의 시간 간격에서 사용자에 대한 액션의 수에 대한 예상 증가를 특성화하는 모델을 사용하여 설계된다. 본 명세서에서 이를 강도 비율(λ)이라고한다. 이러한 구현에서 모델은 수학식 3과 같이 정의될 수 있다.

여기서, 는 시간 t에서 사용자에 대한 전환 수를 계산하여 타겟 액션의 퍼포먼스를 나타내는 계산 프로세스이며, 여기서 X는 일부 기능 세트(feature set)이다.

일부 구현에서, 시간 t에서의 강도는 시간 의존적 기능 세트의 함수로서 모델링되고 다양한 간격에서 부분 상수인 것으로 가정된다. 이러한 구현에서 사용자의 각 노출 간격의 평균 강도 비율의 로그는 수학식 4와 같이 모델링된다.

여기서, , i은 사용자의 인덱스이며, j는 타겟 액션의 사용자 퍼포먼스를 초래하지 않는 노출이며, 는 사용자 i에 대한 사용자 레벨 랜덤 효과이며, 는 노출 j의 시작 시간이다.

일부 구현에서, 각 간격(구간) 의 우도 기여도는 수학식 5와 같은 형식을 취한다.

여기서, 및 는 소정의 시간 간격에서 사용자에 대해 지정된 타겟 액션 수에 대한 부분적 증분이다. 일부 구현에서, 지정된 타겟 액션 의 수에 대한 베이스라인 증분은 일정할 수 있다. 다른 구현에서, 는 부분 스텝 함수를 사용하여 추정된다. 이러한 구현에서, 위의 모델은 각 간격의 로그 길이로 소정의 오프셋이 있는 포아송 회귀(Poisson regression)를 사용하여 추정할 수 있다.

일부 구현에서, 모델(450)은 시뮬레이션 결과, 실제 단어 데이터 및 교차 검증을 사용하여 검증된다. 예를 들어, 검증기(460)는 모델(450)의 학습 가능한 파라미터의 알려진 값을 사용하여 디지털 컴포넌트에 대한 사용자 노출 및 지정된 타겟 액션의 퍼포먼스를 시뮬레이션할 수 있다. 이러한 알려진 파라미터를 학습된 파라미터와 비교하여 훈련 프로세스의 장점(goodness)을 측정한다. 다른 구현에서, 모델 예측은 노출을 나타내는 실제 단어 데이터와 모델 정확도를 위해 지정된 타겟 액션과 비교될 수 있다.

일부 구현에서, 특정 디지털 컴포넌트의 공급자와 같은 당사자는 특정 디지털 컴포넌트의 효과에 관심이 있을 수 있다. 예를 들어, 공급자는 특정 디지털 컴포넌트 노출이 타겟 액션의 사용자의 후속 퍼포먼스에 미치는 영향을 측정하고자 할 수 있다. 이러한 구현에서, 사용자에 대해 결정된 총 퍼포먼스 레벨에 대한 디지털 컴포넌트 노출의 기여도와 디지털 컴포넌트 노출의 결정된 감쇠 간의 차이는 특정 디지털 컴포넌트에 대한 노출이 타겟 액션의 퍼포먼스를 유발하는 효과(예: 증분 효과)에 해당한다.

도 6a는 타겟 액션의 퍼포먼스에 대한 단일 디지털 컴포넌트에 대한 노출의 증분 효과를 예시하는 그래프(600)이다. 이 예에서, 사용자가 시간 t에서 디지털 컴포넌트 노출(660)을 경험한 다음 시간 t + 1에서 지정된 타겟 액션을 수행한다고 가정한다. 도시된 바와 같이, 시간 t 이전에, 사용자의 퍼포먼스 레벨(610)은 처음에 사용자의 속성에 기초하여 결정된 베이스라인 퍼포먼스 레벨(630)이었다. 시간 t에서, 사용자는 디지털 컴포넌트 노출(660)을 경험하고, 이는 퍼포먼스 레벨의 상승을 초래한다. 시간 t와 사용자가 지정된 타겟 액션을 수행하는 시간 t + 1 사이에,디지털 컴포넌트 노출(660)에 기인하는 퍼포먼스 레벨은 사용자가 시간 t에 노출된 특정 유형의 디지털 컴포넌트에 대응하는 감쇠 함수에 따라 감쇠한다. 그래프(600)에서 볼 수 있듯이, 시간 t + 1에서, 나머지 퍼포먼스 레벨(650)은 시간 t에서 디지털 컴포넌트 노출에 기인한 베이스라인 퍼포먼스 레벨(630) 및 증분 퍼포먼스 레벨(640)로부터의 기여도(예를 들어, 합계)를 포함한다. 증분 퍼포먼스 레벨(640)은 일반적으로 디지털 컴포넌트 노출(660)이 시간 t + 1에서 지정된 타겟 액션의 퍼포먼스에 미친 영향을 나타내며, 이는 사용자로 하여금 지정된(특정) 타겟 액션을 수행하게 하는 데 있어서 디지털 컴포넌트 노출(660)의 효과(effectiveness)의 측정치로 간주될 수 있다.

앞서 설명한 바와 같이, 지정된 타겟 액션의 퍼포먼스는 여러 다른 노출(예: 유기적 노출 및/또는 제3자 노출)과 사용자에 대해 결정된 베이스라인 퍼포먼스 레벨에 기인(attributed)될 수 있다. 위에서 설명한 바와 같이, 베이스라인 퍼포먼스 레벨은 디지털 컴포넌트 및/또는 유기적 노출이 없는 상태에서 지정된 타겟 액션을 수행하려는 사용자의 성향(inclination)을 나타낸다. 각 컴포넌트 노출은 타겟 액션 시점에 존재하는 퍼포먼스 레벨에 증분적으로(incrementally) 기여할 수도 있다. 따라서, 타겟 액션이 수행되는 시점의 퍼포먼스 레벨은 사용자에 대해 결정된 베이스라인 퍼포먼스 레벨과 타겟 액션 시점에 각 노출에 대해 남아있는 퍼포먼스 레벨 기여도의 증분량(incremental amount)에 기인할 수 있다. 사용자가 다양한 콘텐츠 노출을 경험하는 상황에서, 각 노출은 노출에 의해 제공되는 초기 퍼포먼스 레벨 기여도와 해당 노출 시간과 타겟 액션가 발생하는 시간 사이에 발생하는 감쇠량 간의 차이를 기반으로 하는 퍼포먼스 레벨의 증분량에 기인(귀속)될 수 있다.

도 6b는 다수의 디지털 컴포넌트에 대한 노출의 증분 효과를 예시하는 그래프(665)이다. 처음에, 퍼포먼스 레벨은 사용자의 속성을 사용하여 결정되는 베이스라인 퍼포먼스 레벨(690)에 있다. 사용자가 노출 A(670)을 경험하면 퍼포먼스 레벨이 상승한 다음 시간이 지남에 따라 감쇠하기 시작한다. 그 다음 사용자는 노출 B(675)를 경험하여 퍼포먼스 레벨이 상승한 다음 시간이 지남에 따라 다시 감쇠한다.

노출 B(675) 이후의 시간 t에서, 사용자는 타겟 액션(예를 들어, 전환)을 수행한다. 이 예에서 퍼포먼스 레벨은 최종 퍼포먼스 레벨(695)로 감쇠(감소)한다. 이 예에서, 최종 퍼포먼스 레벨(695)은 노출(670) 및 노출(675) 모두로부터의 증분 기여도를 포함한다. 이 두 노출의 나머지 증분 효과에 대한 설명을 위해, 노출 B(675)가 발생하지 않았지만 타겟 액션이 여전히 시간 t에서 발생했다고 가정한다. 이 예에서 시간 t에 남아있는 퍼포먼스 레벨은 노출 B(675)가 없는 경우 697로 감쇠했을 것이다. 이 경우, 노출 B(675)에 기인(귀속)되는 증분 퍼포먼스(680)는 퍼포먼스 레벨(695와 697) 간의 차이이므로, 노출 B(675)는 퍼포먼스 레벨(695 및 697) 간의 차이를 기반으로 타겟 액션의 퍼포먼스에 대한 크레딧의 부분으로 귀속(부여)될 수 있다.

이 예를 계속하면, 시간 t에서 노출 A(670)의 증분 기여도(685)는 노출 A(670)이 발생했지만 노출 B(675)가 발생하지 않을 경우 존재하는 퍼포먼스 레벨(697)과 베이스라인 퍼포먼스 레벨(690) 간의 차이를 고려하여 설명할 수 있다. 예를 들면, 증분 퍼포먼스 레벨(685), 즉 노출 A(670)에 기인한 타겟 액션의 퍼포먼스에 대한 크레딧의 부분은 디지털 컴포넌트(또는 기타 콘텐츠)에 대한 노출에 관계없이 이 사용자에 대해 존재하는 베이스라인 퍼포먼스 레벨(690)을 초과하는 시간 t에서의 퍼포먼스 레벨의 부분이다. 일부 구현에서, 콘텐츠 노출에 대한 증분 퍼포먼스의 기여도는 강도 비율에 기초할 수 있다. 이러한 구현에서, 증분 퍼포먼스는 노출 전후의 강도 비율 간의 차이를 기반으로 한다. 이러한 구현에서, 사용자가 지정된 타겟 액션을 수행할 때의 강도는 수학식 6과 같이 나타낼 수 있다.

여기서, $는 지정된 타겟 액션을 수행하는 것을 나타내며, S와 L은 단기 및 장기 상수이며, k는 노출 유형이며, 는 노출 유형의 카운터이다. 이러한 구현에서, 는 수학식 7과 같이 나타낼 수 있다.

여기서, j = 1, 2…, n은 총 n 개의 노출에 대한 노출을 나타낸다. 증분 퍼포먼스는 수학식 8을 사용하여 순차적으로 계산될 수 있다.

여기서, j = 0이고, 이다.

일부 구현에서, 하나 이상의 엔티티는 지정된 타겟 액션에 대한 사용자의 퍼포먼스 레벨에 영향을 미치기 위해 사용자에게 서비스를 제공할 디지털 컴포넌트를 아는 데 관심이 있을 수 있다. 이러한 구현에서, 지정된(특정) 액션에 대한 콘텐츠 노출과 퍼포먼스 레벨 간의 관계를 나타내는 모델은 사용자가 타겟 액션을 수행할 가능성을 높이기 위해 사용자에게 제공할 디지털 컴포넌트를 결정하는 데 사용될 수 있다. 예를 들어, 사용자(160)는 특정 상품에 대해 사용자 장치(106)를 사용하여 온라인 검색을 수행한다. 검색 시스템(150)은 사용자 장치(106)를 통해 사용자(160)에게 검색 결과를 제공하면서 또한 특정 제품에 대한 정보를 포함하는 디지털 컴포넌트를 제공한다. 일부 구현들에서, 모델 장치(130)는 제품 획득과 관련된 퍼포먼스 레벨을 증가시키기 위해 검색 결과와 함께 표시될 디지털 컴포넌트를 결정하기 위해 모델(450)을 사용한다. 일부 구현에서, 모델 장치(130)는 디지털 컴포넌트가 노출시 퍼포먼스 레벨의 상당한 증가를 초래하지 않을 수 있다고 결론을 내리면 특정 디지털 컴포넌트가 사용자(160)에게 제공되지 않는다는 사용자 속성에 기초하여 결정할 수 있다.

도 7은 디지털 컴포넌트의 증분 효과에 기초하여 디지털 컴포넌트에 대한 전송 기준을 수정하는 예시적인 프로세스의 흐름도이다. 프로세스(700)의 동작은 위에서 설명된 모델 장치(130)와 같은 하나 이상의 데이터 처리 장치 또는 컴퓨팅 장치에 의해 수행될 수 있다. 프로세스(700)의 동작은 또한 비-일시적 컴퓨터 판독 가능 매체에 저장된 명령어로서 구현될 수 있다. 명령어의 실행은 하나 이상의 데이터 처리 장치 또는 컴퓨팅 장치가 프로세스(700)의 동작을 수행하게 할 수 있다. 프로세스(700)의 동작은 또한 하나 이상의 데이터 처리 장치 또는 컴퓨팅 장치와, 하나 이상의 데이터 처리 장치 또는 컴퓨팅 장치로 하여금 프로세스(700)의 동작을 수행하게 하는 명령어를 저장하는 메모리 장치를 포함하는 시스템에 의해 구현될 수 있다. 아래에서 더 상세히 설명되는 바와 같이, 프로세스(700)는 사용자에 대한 베이스라인 퍼포먼스 레벨 및 사용자에 의한 특정 타겟 액션의 퍼포먼스에 대한 각 콘텐츠 노출의 상대적 기여도를 제공할 수 있는 모델을 구축하고 활용한다. 제어 결과 데이터(control outcome data) 및 노출 결과 데이터를 얻기 위해 애블레이션 실험이 수행된다(710). 애블레이션 실험은 사용자를 제어 사용자 세트와 일련의 노출 사용자로 분류하여 수행된다. 제어 사용자 세트는 분석중인 특정 유형의 디지털 컴포넌트에 노출되지 않는 사용자이다. 예를 들어, 특정 카메라 제작자가 배포한 디지털 컴포넌트(예: 광고)에 대한 노출의 상대적 영향을 결정하기 위해 그 데이터가 수집되고 있다고 가정한다. 이 예에서, 애블레이션 실험은 제어 사용자 세트의 각 사용자를 특정 카메라의 제작자(제조업체)가 배포한 특정 카메라에 대한 디지털 컴포넌트를 수신할 자격이 없는 것으로 지정하는 플래그를 사용할 수 있다. 일부 상황에서, 특정 유형의 디지털 컴포넌트는 미디어 유형(또는 기타 적절한 특성)을 기반으로 정의될 수 있다. 예를 들어, 제어 사용자 세트는 디지털 카메라 제조업체가 제공한 비디오 디지털 컴포넌트를 볼 수 없지만 비-비디오 디지털 컴포넌트에 노출될 수 있다.

애블레이션 실험을 통해 시스템은 특정 세트의 디지털 컴포넌트에 노출되지 않은 제어 사용자 세트에 대한 제어 결과의 세트를 얻을 수 있다. 일부 구현에서, 제어 결과는 제어 사용자 세트의 각각의 특정 제어 사용자에 대해, 특정 제어 사용자가 지정된 액션을 수행했는지 여부를 지정한다. 예를 들어, 제어 사용자 세트의 각 제어 사용자에 대한 과거(기록) 온라인 활동 데이터를 평가하여 해당 제어 사용자가 지정된 타겟 액션을 수행했는지 여부, 제어 사용자가 수행한 활동(예: 제출된 검색어(검색 쿼리)) 및 제어 사용자가 경험한 콘텐츠 노출을 결정할 수 있다. 이 정보는 사용자에 대한 퍼포먼스의 베이스라인 레벨에서 각 콘텐츠 노출의 증분 기여도를 결정할 수 있는 모델을 만드는 데 사용되는 훈련 예제로 프로세싱 및/또는 사용될 수 있다. 더 구체적으로, 제어 사용자에 대해 수집된 제어 결과 및 해당 데이터는 사용자가 특정 유형의 디지털 컴포넌트에 노출되지 않으므로, 제어 사용자 액션에 대한 특정 유형의 디지털 컴포넌트의 영향과 무관하게 퍼포먼스 레벨에 대한 유기적 노출의 영향 및/또는 특정 특성 세트를 가진 사용자에 대한 베이스라인 퍼포먼스 레벨을 학습하는 데 사용될 수 있다.

애블레이션 실험을 통해 시스템은 제어 사용자 세트에 포함되지 않은 노출된 사용자 세트에 대한 노출 결과를 수집할 수도 있다. 일부 구현에서, 노출 결과는, 노출 사용자 세트의 각 노출 사용자에 대해, 노출 사용자가 지정된 액션을 수행했는지 여부를 지정한다. 이 정보는 사용자에 대한 퍼포먼스의 베이스라인 레벨에서 각 제3자 콘텐츠 노출의 증분 기여도를 결정할 수 있는 모델을 생성하는 데 사용되는 훈련 예제로 프로세싱 및/또는 사용될 수 있다.

제어 결과 데이터와 노출 결과 데이터를 기반으로 모델이 생성된다(720). 모델은 애블레이션 실험 중에 수집된 데이터를 기반으로 생성(예: 훈련)될 수 있으며본 명세서 전체에서 설명된 수학적 관계를 사용한다. 예를 들어, 모델은 사용자의 속성, 각 특정 제어 사용자에 대한 제어 결과 및 각 노출 사용자에 대한 노출 결과를 사용하는 기계 학습 프레임워크를 사용하여 생성될 수 있다. 일부 구현에서, 모델은 지정된 타겟 액션에 대한 사용자 속성, 콘텐츠 노출 및 퍼포먼스 레벨 간의 관계를 나타낸다. 모델은 특정 사용자에 대한 사용자 속성 세트, 콘텐츠 노출 세트(예: 유기적 노출 및/또는 제3자 노출), 콘텐츠 노출이 발생한 시간 및 특정 사용자가 지정된 타겟 액션을 수행한 시간을 입력으로 받아들이도록 생성될 수 있다. 모델은 예를 들어, 특정 사용자가 지정된 타겟 액션의 포퍼먼스 전에 경험한 콘텐츠 노출의 증분 기여도, 사용자 속성에 기초한 특정 사용자에 대한 베이스라인 퍼포먼스 레벨을 포함하는 정보를 출력하도록 생성될 수 있다.

유기적 노출 데이터는 지정된 타겟 액션을 수행한 특정 사용자에 대해 획득된다(730). 일부 구현에서, 유기적 노출 데이터는 특정 사용자에 의한 지정된(특정) 타겟 액션의 퍼포먼스에 이르는(즉, 퍼포먼스 이전에) 지정된(특정) 기간 동안 특정 사용자가 경험한 하나 이상의 유기적 노출을 지정(특정)한다. 유기적 노출은 특정 유형의 디지털 컴포넌트에 대한 노출(예: 제3자가 제공한 디지털 컴포넌트의 제3자 노출이 아님)도, 지정된(특정) 타겟 액션의 퍼포먼스도 아니다. 유기적 노출의 한 가지 예는 검색 엔진에 의해 생성되고, 특정 사용자의 검색 쿼리 제출에 대한 응답으로 특정 사용자에게 제공되는 검색 결과에 대한 노출이다. 유기적 노출의 또 다른 예는 사용자가 제3자 디지털 컴포넌트에 대한 노출 또는 상호작용과 관계없이 내비게이팅하는 웹 페이지의 콘텐츠에 대한 노출이다. 예를 들어, 특정 사용자가 브라우저에 웹 페이지 주소를 수동으로 입력하여 해당 웹 페이지로 내비게이팅할 수 있다. 이는 콘텐츠에 대한 유기적 노출로 간주된다.

지정된 타겟 액션을 수행한 특정 사용자에 대한 제3자 노출 데이터가 획득된다(740). 일부 구현에서, 제3자 노출 데이터는 특정 사용자가 특정 타겟 액션을 수행한 시간까지(즉, 이전에) 지정된(특정) 기간 동안 특정 유형의 디지털 컴포넌트의 제3자 노출을 특정에 지정(특정)한다. 제3자 노출 데이터는, 제3자 노출 각각에 대해, 제3자 노출이 발생한 시기를 지정하는 노출 시간을 포함할 수 있다. 제3자 노출의 예로는 검색 결과 페이지, 제3자와 다른 게시자가 제공한 웹 페이지 또는 게시자와 다른 앱 개발자가 제공하는 네이티브 애플리케이션에서 제3자가 제공한 콘텐츠의 프레젠테이션을 포함한다.

각 제3자 노출에 기인하는 증분 퍼포먼스 레벨은 모델을 사용하여 결정된다(750). 예를 들어, 유기적 노출 데이터와 제3자 노출 데이터는 모델에 입력될 수 있으며, 모델은 각 제3자 노출에 기인하는 증분 퍼포먼스 레벨을 출력할 수 있다. 증분 퍼포먼스 레벨은 특정 사용자가 지정된 타겟 액션을 수행한 액션 시간을 기준으로 결정될 수 있다. 증분 퍼포먼스 레벨은 액션 시간에 남아있는 제3자 노출의 퍼포먼스 레벨 기여도의 잔여량(residual amount)으로 결정될 수 있다. 예를 들어, 각 제3자 노출에 대해, 해당 제3자 노출의 노출 시간과 지정된 타겟 액션이 발생한 액션 시간 간의 차이가 결정될 수 있다. 노출 시간과 액션 시간 사이의 차이는 제3자 노출에 대한 감쇠 함수에 입력될 수 있으며, 이는 제3자 노출에 의해 제공된 퍼포먼스 레벨 기여도가 노출 시간과 액션 시간 사이에서 감쇠한 양을 지정한다.

(예: 제3자 노출이 제공한 초기 퍼포먼스 레벨 기여도에서 노출 시간과 액션 시간 사이에 경험한 감쇠량을 뺌으로써) 액션 시간에 남아있는 기여도 양은 액션 시간에 남아있는 제3자 노출로 인한 퍼포먼스 레벨 기여도의 잔여량으로 간주되며, 이는 제3자 노출로 인한 것일 수 있다. 애블레이션 실험 중에 얻은 데이터를 기반으로 각기 다른 유형의 제3자 노출에 대해 서로 다른 감쇠 함수를 결정할 수 있으며, 각 감쇠 함수는 시간 함수로 퍼포먼스 레벨 기여도의 감쇠율을 지정한다.

상기 모델은 유기적 노출 데이터와 제3자 노출 데이터를 모두 사용하므로 유기적 노출의 기여도는 액션 시간에 남아있는 총 퍼포먼스 레벨에서 제거될 수 있다. 유사하게, 모델은 액션 시간에 남아있는 총 퍼포먼스 레벨에서 베이스라인 퍼포먼스 레벨의 기여도를 어카운트(예: 제거)하여 제3자 노출의 기여도를 분리한다.

적어도 일부 디지털 컴포넌트에 대한 전송 기준은 디지털 컴포넌트의 노출로 인한 증분 퍼포먼스 레벨에 기초하여 수정된다(760). 일부 상황에서, 디지털 컴포넌트에 대한 전송 기준은, 디지털 컴포넌트의 노출에 기인한 증분 퍼포먼스 레벨이 높을 때(예: 다른 사용 가능한 디지털 컴포넌트보다 높을 때) 디지털 컴포넌트가 사용자에게 전송되는 빈도를 증가시키기 위해 수정될 수 있다. 일부 상황에서, 디지털 컴포넌트에 대한 전송 기준은, 디지털 컴포넌트의 노출에 기인한 증분 퍼포먼스 레벨이 낮을 때(예: 다른 사용 가능한 디지털 컴포넌트보다 낮을 때) 디지털 컴포넌트가 사용자에게 전송되는 빈도를 줄이기 위해 수정될 수 있다. 일부 구현에서, 특정 디지털 컴포넌트에 대한 전송 기준은 특정 디지털 컴포넌트의 제3자 노출에 기인한 증분 퍼포먼스 레벨의 크기에 비례하여 조정(조절)될 수 있다. 일부 구현에서, 특정 전송 기준(예를 들어, 키워드)은 특정 전송 기준에 기초한 디지털 컴포넌트의 전송으로 인한 제3자 노출에 기인한 증분 퍼포먼스 레벨이 지정된 크기보다 작을 때 비활성화(disable)될 수 있다. 예를 들어, 특정 제3자 콘텐츠 공급자를 위해 디지털 컴포넌트를 배포하는데 "boot" 키워드가 사용되고, "boot" 키워드에 의해 트리거된 제3자 노출에 기인한 증분 퍼포먼스 레벨이 지정된 최소 허용 수준보다 낮다고 가정한다. 이 예에서, 키워드 "boot"를 비활성화하여 제3자 콘텐츠 공급자(제공자)에 대한 디지털 컴포넌트의 배포를 트리거하지 않을 수 있다.

도 8은 전술한 동작을 수행하는데 사용될 수 있는 예시적인 컴퓨터 시스템(800)의 블록도이다. 시스템(800)은 프로세서(810), 메모리(820), 저장 장치(830) 및 입/출력 장치(840)를 포함한다. 컴포넌트(810, 820, 830 및 840) 각각은 예를 들어 시스템 버스(850)를 사용하여 상호 연결될 수 있다. 프로세서(810)는 시스템(800) 내에서 실행하기 위한 명령어를 처리할 수 있다. 일 구현에서, 프로세서(810)는 단일 스레드 프로세서이다. 다른 구현에서, 프로세서(810)는 복수의 스레드 프로세서이다. 프로세서(810)는 메모리(820) 또는 저장 장치(830)에 저장된 명령어를 처리할 수 있다.

메모리(820)는 시스템(800) 내에 데이터를 저장한다. 일 구현에서, 메모리(820)는 컴퓨터 판독 가능 매체이다. 일 구현에서, 메모리(820)는 휘발성 메모리 유닛이다. 다른 구현에서, 메모리(820)는 비 휘발성 메모리 유닛이다.

저장 장치(830)는 시스템(800)에 대용량 저장 장치를 제공할 수 있다. 일 구현에서, 저장 장치(830)는 컴퓨터 판독 가능 매체이다. 다양한 구현에서, 저장 장치(830)는 예를 들어 하드 디스크 장치, 광 디스크 장치, 복수의 컴퓨팅 장치(예를 들어, 클라우드 저장 장치)에 의해 네트워크를 통해 공유되는 저장 장치, 또는 일부 다른 대용량 저장 장치를 포함할 수 있다.

입/출력 장치(840)는 시스템(800)에 대한 입/출력 동작을 제공한다. 일 구현에서, 입력/출력 장치(840)는 하나 이상의 네트워크 인터페이스 장치, 예를 들어 이더넷 카드, 직렬 통신 장치, 예를 들어 RS-232 포트, 및/또는 무선 인터페이스 장치, 예를 들어, 802.11 카드를 포함할 수 있다. 다른 구현에서, 입/출력 장치는 입력 데이터를 수신하고 출력 데이터를 다른 입/출력 장치, 예를 들어 키보드, 프린터 및 디스플레이 장치(460)로 전송하도록 구성된 드라이버(구동) 장치를 포함할 수 있다. 그러나 모바일 컴퓨팅 장치, 모바일 통신 장치, 셋톱 박스 텔레비전 클라이언트 장치 등과 같은 다른 구현도 사용할 수 있다.

도 8에는 예시적인 처리 시스템이 설명되어 있지만, 본 명세서에 기술된 요지 및 기능적 동작의 구현은 다른 유형의 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있으며, 본 명세서 및 그 구조적 등가물에 개시된 구조를 포함하여, 또는 이들 중 하나 이상의 조합으로 구현될 수 있다.

전자 문서(간결성을 위해 간단히 문서라고 함)가 반드시 파일에 해당하는 것은 아니다. 문서는 다른 문서를 보관하는 파일의 일부, 해당 문서 전용의 단일 파일 또는 여러 개의 조정된 파일에 저장될 수 있다.

본 명세서에서 설명된 요지 및 동작은 본 명세서 및 그 구조적 균등물에 개시된 구조 또는 이들 중 하나 이상의 조합을 포함하는 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어로 구현될 수 있다. 본 명세서에서 설명된 요지는 하나 이상의 컴퓨터 프로그램, 예컨대 데이터 처리 장치에 의한 실행 또는 데이터 처리 장치의 동작을 제어하기 위해 컴퓨터 저장 매체상에 인코딩된 컴퓨터 프로그램 명령어의 하나 이상의 모듈로서 구현될 수 있다. 대안으로 또는 추가로, 프로그램 명령어는 데이터 처리 장치에 의한 실행을 위해 적합한 수신기 장치로 전송하기 위해 데이터를 인코딩하도록 생성되는 인위적으로 생성된 전파 신호(예: 기계에서 생성된 전기, 광학 또는 전자기 신호)에 인코딩될 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 저장 장치, 컴퓨터 판독 가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 장치, 또는 이들 중 하나 이상의 조합일 수 있거나 포함될 수 있다. 컴퓨터 저장 매체가 전파 신호가 아니지만, 컴퓨터 저장 매체는 인위적으로 생성된 전파 신호로 인코딩된 컴퓨터 프로그램 명령어의 소스 또는 목적지일 수 있다. 또한, 컴퓨터 저장 매체는 하나 이상의 개별 물리적 컴포넌트 또는 매체(예를 들어, 복수의 CD, 디스크 또는 다른 저장 장치)일 수 있거나 포함될 수 있다.

본 명세서에서 설명된 동작은 하나 이상의 컴퓨터 판독 가능 저장 장치에 저장된 데이터 또는 다른 소스로부터 수신된 데이터에 대해 데이터 처리 장치에 의해 수행되는 동작으로서 구현될 수 있다.

"데이터 처리 장치"라는 용어는 예를 들어, 프로그램 가능한 프로세서, 컴퓨터, 칩 상의 시스템, 또는 복수의 것들, 또는 이들의 조합들을 포함하는, 데이터를 프로세싱하기 위한 다양한 장치들, 디바이스들 및 기계들을 포함한다. 상기 장치는 특수 목적 논리 회로, 예를 들어 FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)을 포함할 수 있다. 상기 장치는, 하드웨어 이외에, 해당 컴퓨터 프로그램을 위한 실행 환경을 제작하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 크로스-플랫폼 런타임(cross-platform runtime) 환경, 가상 기계, 또는 그들 중 하나 이상의 조합을 구성하는 코드를 또한 포함할 수 있다. 상기 장치 및 실행 환경은 웹 서비스, 분산 컴퓨팅 및 그리드 컴퓨팅 기반구조들과 같은, 다양한 상이한 컴퓨팅 모델 기반구조들을 실현할 수 있다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 앱, 스크립트, 또는 코드로 또한 알려짐)은 컴파일된 또는 해석된 언어들, 선언적 또는 절차적 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있으며, 독립형 프로그램을 또는 모듈, 컴포넌트, 서브루틴, 객체, 또는 컴퓨팅 환경에서의 사용을 위해 적합한 다른 유닛을 포함하는 임의의 형태로 분배될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 해당할 수도 있지만 그렇지 않을 수도 있다. 컴퓨터 프로그램은 다른 프로그램들 또는 데이터(예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트들), 해당 프로그램 전용의 단일 파일, 또는 복수의 조정된 파일들(예를 들어, 하나 이상의 모듈들, 서브 프로그램들, 또는 코드의 일부들을 저장하는 파일들)을 보유하는 파일의 일부에 저장될 수 있다. 컴퓨터 프로그램은, 하나의 컴퓨터 또는 한 자리에 위치되거나 또는 복수의 자리들에 분산되고 그리고 통신 네트워크에 의해 상호연결된 복수의 컴퓨터들 상에도 실행되도록 분배될 수 있다.

본 명세서에 기술된 프로세스들 및 논리 흐름들은 입력 데이터를 동작시키고 출력을 생성함으로써 액션들을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램 가능한 프로세서들에 의해 수행될 수 있다. 프로세스들 및 논리 흐름들은 특수 목적 논리 회로, 예를 들어, FPGA(field programmable gate array) or an ASIC(application specific integrated circuit)에 의해 또한 수행될 수 있으며, 장치들 또한 특수 목적 논리회로에 의해 구현될 수 있다.

컴퓨터 프로그램의 실행에 적절한 프로세서들은 예를 들어, 범용 및 특수 목적 마이크로프로세서들 둘 모두 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다.　일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 모두로부터 명령어들 및 데이터를 수신할 것이다.　컴퓨터의 필수 엘리먼트들은 명령어들과 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스들에 따라 액션들을 수행하기 위한 프로세서이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스들(예를 들어, 자기, 광 자기 디스크들 또는 광학 디스크들)로부터 데이터를 수신하거나 저장 디바이스들로 데이터를 전송하기 위해 저장 디바이스들에 동작 가능하게 결합되거나 저장 디바이스들을 포함할 것이다. 그러나 컴퓨터에는 그러한 디바이스들이 필요 없다. 또한, 컴퓨터는 다른 디바이스, 예를 들어, 모바일 폰, 개인 휴대 정보 단말기(PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, GPS 수신기 또는 휴대용 저장 디바이스(예를 들어, 범용 직렬 버스(USB) 플래시 드라이브)에 내장될 수 있다. 컴퓨터 프로그램 명령어들 및 데이터를 저장하기에 적절한 디바이스들은 모든 형태의 비-휘발성 메모리, 매체, 메모리 디바이스들을 포함하며, 상기 메모리 디바이스들은 반도체 메모리 디바이스들 예를 들어, EPROM, EEPROM, 및 플래시 메모리 디바이스들; 자기 디스크들, 예를 들어, 내부 하드 디스크들 또는 분리성 디스크들; 광 자기 디스크들; 및 CD ROM 및 DVD-ROM 디스크들이다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보충되거나 그 안에 포함될 수 있다.

사용자와의 상호작용을 제공하기 위해, 본 명세서에서 기술된 발명의 구현예들은 정보를 사용자에게 디스플레이하기 위한 디스플레이 디바이스 예를 들어, 음극선관(CRT), 액정 디스플레이(LCD) 모니터, 및 사용자가 컴퓨터에 입력을 제공할 수 있는 터치스크린, 터치 패드, 키보드 및 포인팅 디바이스, 예를 들어, 마우스 또는 트랙볼 등을 갖는 컴퓨터상에서 구현될 수 있다. 다른 종류의 디바이스들이 사용자와의 상호작용을 제공하는데 사용될 수 있으며; 예를 들어, 사용자에게 제공되는 피드백은 시각적 피드백, 청각 피드백 또는 촉각 피드백과 같은 임의의 형태의 감각 피드백을 포함할 수 있고; 그리고 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다. 추가로, 예를 들어, 웹브라우저로부터 수신된 요청들에 응답하여 사용자의 클라이언트 장치 상의 웹 브라우저에 웹 페이지들을 송신함으로써, 컴퓨터는 사용자에 의해 사용되는 디바이스로 문서들을 보내고 그로부터 문서들을 수신하여 사용자와 인터랙팅할 수 있다.

본 명세서에 기술된 발명은 컴퓨팅 시스템 내에서 구현될 수 있으며, 상기 컴퓨팅 시스템은 백 엔드 컴포넌트(예를 들어 데이터 서버)를 포함하거나 미들웨어 컴포넌트(예를 들어 애플리케이션 서버)를 포함하거나 프론트 엔드 컴포넌트(예를 들어 그래픽 사용자 인터페이스를 갖는 클라이언트 컴퓨터 또는 사용자가 본 명세서에 기술된 발명의 구현과 인터랙팅할 수 있는 웹 브라우저)를 포함하거나 또는 하나 이상의 그러한 백 엔드, 미들웨어, 프론트 엔드 컴포넌트들의 조합을 포함할 수 있다. 시스템의 컴포넌트들은 디지털 데이터 통신 예를 들어, 통신 네트워크, 의 임의의 형태 또는 매체에 의해 상호연결될 수 있다. 통신 네트워크들의 예시들은 근거리 통신망( "LAN") 및 광역 통신망("WAN"), 인터-네트워크(예를 들어, 인터넷) 및 피어-투-피어 네트워크들(예를 들어, 애드 혹 피어-투-피어 네트워크들)을 포함할 수 있다.

컴퓨팅 시스템에는 사용자와 서버가 포함될 수 있다. 사용자와 서버는 일반적으로 서로 떨어져 있으며 일반적으로 통신 네트워크를 통해 상호작용한다. 사용자와 서버의 관계는 각 컴퓨터에서 실행되고, 서로 사용자-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생한다. 일부 실시 예에서, 서버는(예를 들어, 클라이언트 장치와 상호작용하는 사용자에게 데이터를 표시하고 사용자로부터 사용자 입력을 수신하기 위해) 데이터(예를 들어, HTML 페이지)를 클라이언트 장치로 전송한다. 클라이언트 장치에서 생성된 데이터(예: 온라인 상호작용의 결과)는 서버의 클라이언트 장치로부터 수신될 수 있다.

본 명세서는 많은 특정 구현예 세부 사항들을 포함하지만, 이들이 발명들의 범위 또는 청구될 수 있는 범위의 제한들로 해석되어서는 안되며, 오히려 본 명세서에 기술된 시스템들 및 방법들의 특정한 구현예들에 특정적인 구성들의 설명들로 해석되어야한다. 별도 구현예들의 컨텍스트에서 본 명세서에 기술된 일정 구성들은 단일 구현으로 조합하여 또한 구현될 수 있다. 반대로, 단일 구현의 컨텍스트에서 기술된 다양한 구성들은 복수의 구현 구현예들에서 개별적으로 또는 임의의 적절한 하위조합으로 또한 구현될 수 있다. 또한, 구성들이 일정 조합들로 작용하는 것으로 기술되고 그렇게 초기에 청구될 수 있지만, 일부 경우들에서 청구된 조합으로부터의 하나 이상의 구성들은 조합으로부터 제거될 수 있고, 청구된 조합은 하위조합 또는 하위조합의 변형으로 유도될 수 있다.

유사하게, 동작들이 특정 순서로 도면들에 도시되어 있지만, 이는 바람직한 동작을 달성하기 위해 이러한 동작이 도시된 순서 또는 순차적인 순서로 수행되거나 도시된 모든 동작이 수행될 것을 요구하는 것으로 이해되어서는 안된다. 특정 상황에서 멀티태스킹 및 병렬 처리가 유리할 수 있다. 또한, 상술한 구현 예에서 다양한 시스템 컴포넌트의 분리는 모든 구현 예에서 그러한 분리를 필요로 하는 것으로 이해되어서는 안되며, 서술된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품 내에 함께 통합되거나 복수의 소프트웨어 제품들로 패키징될 수 있다는 것을 이해해야 한다.

따라서, 본 발명의 특정 구현 예가 설명되었다. 다른 구현 예들은 다음의 청구항들의 범위 내에 있다. 경우에 따라 청구 범위에 나열된 동작을 다른 순서로 수행할 수 있으며 여전히 바람직한 결과를 얻을 수 있다. 또한, 첨부된 도면에 도시된 프로세스는 바람직한 결과를 얻기 위해 도시된 특정 순서 또는 순차적 순서를 반드시 필요로 하지는 않는다. 특정 구현 예에서, 멀티태스킹 또는 병렬 처리가 유리할 수 있다.

Claims (21)

1. 방법으로서,
   하나 이상의 컴퓨팅 장치에 의해, 지정된 타겟 액션에 대한 사용자 속성, 콘텐츠 노출 및 퍼포먼스 레벨 간의 관계를 나타내는 모델을 생성하는 단계;
   특정 사용자가 특정 타겟 액션을 수행하기 전에 지정된 시간 동안 특정 사용자가 경험한 하나 이상의 유기적 노출을 지정하는 유기적 노출 데이터를 획득하는 단계 -상기 유기적 노출은 특정 유형의 디지털 컴포넌트에 대한 노출이나 지정된 타겟 액션의 수행이 아님-;
   지정된 시간 동안 특정 사용자에 대한 특정 유형의 디지털 컴포넌트의 제3자 노출을 지정하는 제3자 노출 데이터를 획득하는 단계 -제3자 노출 데이터는 제3자 노출 각각에 대해, 제3자 노출이 발생한 시기를 지정하는 노출 시간을 포함함-;
   상기 모델을 사용하여, 특정 사용자에 의해 지정된 타겟 액션이 수행된 액션 시간에 제3자 노출 각각에 기인하는 증분 퍼포먼스(incremental performance) 레벨을 결정하는 단계;
   하나 이상의 컴퓨팅 장치에 의해, 적어도 일부 디지털 컴포넌트의 제3자 노출에 기인하는 증분 퍼포먼스 레벨에 기초하여 특정 사용자가 노출된 적어도 일부 디지털 컴포넌트에 대한 전송 기준을 수정하는 단계를 포함하며, 적어도 일부 디지털 컴포넌트에 대한 전송 기준을 수정하는 단계는 특정 디지털 컴포넌트의 제3자 노출에 기인한 증분 퍼포먼스 레벨의 크기에 비례하여 특정 디지털 컴포넌트에 대한 전송 기준을 조정하는 단계를 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서, 상기 방법은,
   특정 세트의 디지털 컴포넌트에 노출되지 않은 제어 사용자 세트에 대한 제어 결과의 세트를 획득하기 위해 애블레이션(ablation) 실험을 수행하는 단계 -제어 결과는 제어 사용자 세트의 각 특정 제어 사용자에 대해, 특정 제어 사용자가 지정된 액션을 수행했는지 여부를 지정함-;
   제어 사용자 세트에 포함되지 않은 노출된 사용자 세트에 대한 노출 결과를 수집하는 단계를 포함하며, 상기 노출 결과는, 노출 사용자 세트의 각 노출 사용자에 대해, 노출 사용자가 지정된 액션을 수행했는지 여부를 지정하는 것을 특징으로 하는 방법.
3. 제2항에 있어서, 모델을 생성하는 단계는,
   기계 학습 프레임워크를 사용하여, 사용자 속성을 사용하는 모델, 각 특정 제어 사용자에 대한 제어 결과 및 각 노출 사용자에 대한 노출 결과를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
4. 제1항에 있어서, 상기 제3자 노출 각각에 기인하는 상기 증분 퍼포먼스 레벨을 결정하는 단계는,
   각 제3자 노출에 대해:
   제3자 노출의 노출 시간과 지정된 타겟 액션이 발생한 액션 시간 사이의 차이를 결정하는 단계;
   제3자 노출의 노출 시간과 지정된 타겟 액션이 발생한 액션 시간 사이의 차이에 기초하여, 상기 액션 시간에 남아있는 제3자 노출로부터의 퍼포먼스 레벨 기여도의 잔여량을 결정하는 단계; 그리고
   퍼포먼스 레벨의 잔여량을 제3자 노출에 귀속(attributing)시키는 단계를 포함하는 것을 특징으로 하는 방법.
5. 제4항에 있어서, 상기 방법은,
   각각의 상이한 유형의 제3자 노출에 대해, 시간 함수로서 남은 퍼포먼스 레벨 기여도의 감쇠율을 지정하는 감쇠 함수를 결정하는 단계; 그리고
   각 제3자 노출에 대해, 제3자 노출의 노출 시간과 액션 시간 간의 차이 및 감쇠 함수에 기초하여 액션 시간에 남아있는 제3자 노출로 인한 퍼포먼스 레벨 기여도의 잔여량(residual amount)을 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
6. 삭제
7. 제1항에 있어서, 전송 기준을 조정하는 단계는,
   특정 전송 기준의 제3자 노출에 기인한 증분 퍼포먼스 레벨의 지정된 크기보다 작은 특정 전송 기준을 비활성화하는 단계를 포함하는 것을 특징으로 하는 방법.
8. 시스템으로서,
   하나 이상의 평가 규칙을 저장하는 데이터 저장소; 그리고
   하나 이상의 평가 규칙과 상호작용하고 그리고 동작들을 수행하도록 구성된 하나 이상의 데이터 프로세서를 포함하며, 상기 동작들은,
   지정된 타겟 액션에 대한 사용자 속성, 콘텐츠 노출 및 퍼포먼스 레벨 간의 관계를 나타내는 모델을 생성하는 동작;
   특정 사용자가 특정 타겟 액션을 수행하기 전에 지정된 시간 동안 특정 사용자가 경험한 하나 이상의 유기적 노출을 지정하는 유기적 노출 데이터를 획득하는 동작 -상기 유기적 노출은 특정 유형의 디지털 컴포넌트에 대한 노출이나 지정된 타겟 액션의 수행이 아님-;
   지정된 시간 동안 특정 사용자에 대한 특정 유형의 디지털 컴포넌트의 제3자 노출을 지정하는 제3자 노출 데이터를 획득하는 동작 -제3자 노출 데이터는 제3자 노출 각각에 대해, 제3자 노출이 발생한 시기를 지정하는 노출 시간을 포함함-;
   상기 모델을 사용하여, 특정 사용자에 의해 지정된 타겟 액션이 수행된 액션 시간에 제3자 노출 각각에 기인하는 증분 퍼포먼스(incremental performance) 레벨을 결정하는 동작;
   하나 이상의 컴퓨팅 장치에 의해, 적어도 일부 디지털 컴포넌트의 제3자 노출에 기인하는 증분 퍼포먼스 레벨에 기초하여 특정 사용자가 노출된 적어도 일부 디지털 컴포넌트에 대한 전송 기준을 수정하는 동작을 포함하며, 적어도 일부 디지털 컴포넌트에 대한 전송 기준을 수정하는 동작은 특정 디지털 컴포넌트의 제3자 노출에 기인한 증분 퍼포먼스 레벨의 크기에 비례하여 특정 디지털 컴포넌트에 대한 전송 기준을 조정하는 동작을 포함하는 것을 특징으로 하는 시스템.
9. 제8항에 있어서, 상기 하나 이상의 데이터 프로세서는,
   특정 세트의 디지털 컴포넌트에 노출되지 않은 제어 사용자 세트에 대한 제어 결과의 세트를 획득하기 위해 애블레이션(ablation) 실험을 수행하는 동작 -제어 결과는 제어 사용자 세트의 각 특정 제어 사용자에 대해, 특정 제어 사용자가 지정된 액션을 수행했는지 여부를 지정함-;
   제어 사용자 세트에 포함되지 않은 노출된 사용자 세트에 대한 노출 결과를 수집하는 동작을 수행하도록 구성되며,
   상기 노출 결과는, 노출 사용자 세트의 각 노출 사용자에 대해, 노출 사용자가 지정된 액션을 수행했는지 여부를 지정하는 것을 특징으로 하는 시스템.
10. 제9항에 있어서, 모델을 생성하는 동작은,
    기계 학습 프레임워크를 사용하여, 사용자 속성을 사용하는 모델, 각 특정 제어 사용자에 대한 제어 결과 및 각 노출 사용자에 대한 노출 결과를 생성하는 동작을 포함하는 것을 특징으로 하는 시스템.
11. 제8항에 있어서, 상기 제3자 노출 각각에 기인하는 상기 증분 퍼포먼스 레벨을 결정하는 동작은,
    각 제3자 노출에 대해:
    제3자 노출의 노출 시간과 지정된 타겟 액션이 발생한 액션 시간 사이의 차이를 결정하는 동작;
    제3자 노출의 노출 시간과 지정된 타겟 액션이 발생한 액션 시간 사이의 차이에 기초하여, 상기 액션 시간에 남아있는 제3자 노출로부터의 퍼포먼스 레벨 기여도의 잔여량을 결정하는 동작; 그리고
    퍼포먼스 레벨의 잔여량을 제3자 노출에 귀속시키는 동작을 포함하는 것을 특징으로 하는 시스템.
12. 제11항에 있어서, 상기 하나 이상의 데이터 프로세서는,
    각각의 상이한 유형의 제3자 노출에 대해, 시간 함수로서 남은 퍼포먼스 레벨 기여도의 감쇠율을 지정하는 감쇠 함수를 결정하는 동작; 그리고
    각 제3자 노출에 대해, 제3자 노출의 노출 시간과 액션 시간 간의 차이 및 감쇠 함수에 기초하여 액션 시간에 남아있는 제3자 노출로 인한 퍼포먼스 레벨 기여도의 잔여량을 결정하는 동작을 수행하도록 구성되는 것을 특징으로 하는 시스템.
13. 삭제
14. 제8항에 있어서, 전송 기준을 조정하는 동작은,
    특정 전송 기준의 제3자 노출에 기인한 증분 퍼포먼스 레벨의 지정된 크기보다 작은 특정 전송 기준을 비활성화하는 동작을 포함하는 것을 특징으로 하는 시스템.
15. 하나 이상의 데이터 처리 장치에 의해 실행될 때 하나 이상의 데이터 처리 장치로 하여금 동작들을 수행하게 하는 명령어를 저장하는 비-일시적 컴퓨터 판독 가능 매체로서, 상기 동작들은,
    지정된 타겟 액션에 대한 사용자 속성, 콘텐츠 노출 및 퍼포먼스 레벨 간의 관계를 나타내는 모델을 생성하는 동작;
    특정 사용자가 특정 타겟 액션을 수행하기 전에 지정된 시간 동안 특정 사용자가 경험한 하나 이상의 유기적 노출을 지정하는 유기적 노출 데이터를 획득하는 동작 -상기 유기적 노출은 특정 유형의 디지털 컴포넌트에 대한 노출이나 지정된 타겟 액션의 수행이 아님-;
    지정된 시간 동안 특정 사용자에 대한 특정 유형의 디지털 컴포넌트의 제3자 노출을 지정하는 제3자 노출 데이터를 획득하는 동작 -제3자 노출 데이터는 제3자 노출 각각에 대해, 제3자 노출이 발생한 시기를 지정하는 노출 시간을 포함함-;
    상기 모델을 사용하여, 특정 사용자에 의해 지정된 타겟 액션이 수행된 액션 시간에 제3자 노출 각각에 기인하는 증분 퍼포먼스 레벨을 결정하는 동작;
    하나 이상의 컴퓨팅 장치에 의해, 적어도 일부 디지털 컴포넌트의 제3자 노출에 기인하는 증분 퍼포먼스 레벨에 기초하여 특정 사용자가 노출된 적어도 일부 디지털 컴포넌트에 대한 전송 기준을 수정하는 동작을 포함하며, 적어도 일부 디지털 컴포넌트에 대한 전송 기준을 수정하는 동작은 특정 디지털 컴포넌트의 제3자 노출에 기인한 증분 퍼포먼스 레벨의 크기에 비례하여 특정 디지털 컴포넌트에 대한 전송 기준을 조정하는 동작을 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
16. 제15항에 있어서, 상기 동작들은,
    특정 세트의 디지털 컴포넌트에 노출되지 않은 제어 사용자 세트에 대한 제어 결과의 세트를 획득하기 위해 애블레이션(ablation) 실험을 수행하는 동작 -제어 결과는 제어 사용자 세트의 각 특정 제어 사용자에 대해, 특정 제어 사용자가 지정된 액션을 수행했는지 여부를 지정함-;
    제어 사용자 세트에 포함되지 않은 노출된 사용자 세트에 대한 노출 결과를 수집하는 동작을 포함하며, 상기 노출 결과는, 노출 사용자 세트의 각 노출 사용자에 대해, 노출 사용자가 지정된 액션을 수행했는지 여부를 지정하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
17. 제 16항에 있어서, 모델을 생성하는 동작은,
    기계 학습 프레임워크를 사용하여, 사용자 속성을 사용하는 모델, 각 특정 제어 사용자에 대한 제어 결과 및 각 노출 사용자에 대한 노출 결과를 생성하는 동작을 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
18. 제15항에 있어서, 상기 제3자 노출 각각에 기인하는 상기 증분 퍼포먼스 레벨을 결정하는 동작은,
    각 제3자 노출에 대해:
    제3자 노출의 노출 시간과 지정된 타겟 액션이 발생한 액션 시간 사이의 차이를 결정하는 동작;
    제3자 노출의 노출 시간과 지정된 타겟 액션이 발생한 액션 시간 사이의 차이에 기초하여, 상기 액션 시간에 남아있는 제3자 노출로부터의 퍼포먼스 레벨 기여도의 잔여량을 결정하는 동작; 그리고
    퍼포먼스 레벨의 잔여량을 제3자 노출에 귀속시키는 동작을 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
19. 제18항에 있어서, 상기 명령어는 상기 하나 이상의 데이터 처리 장치로 하여금,
    각각의 상이한 유형의 제3자 노출에 대해, 시간 함수로서 남은 퍼포먼스 레벨 기여도의 감쇠율을 지정하는 감쇠 함수를 결정하는 동작; 그리고
    각 제3자 노출에 대해, 제3자 노출의 노출 시간과 액션 시간 간의 차이 및 감쇠 함수에 기초하여 액션 시간에 남아있는 제3자 노출로 인한 퍼포먼스 레벨 기여도의 잔여량을 결정하는 동작을 수행하게 하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
20. 삭제
21. 제15항에 있어서, 전송 기준을 조정하는 동작은,
    특정 전송 기준의 제3자 노출에 기인한 증분 퍼포먼스 레벨의 지정된 크기보다 작은 특정 전송 기준을 비활성화하는 동작을 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.