KR20220006580A

KR20220006580A - 방문 예측

Info

Publication number: KR20220006580A
Application number: KR1020217040095A
Authority: KR
Inventors: 맥스 스클라; 로버트 스튜어트; 룬신 리; 아드리안 바쿨라; 일리 스피어스
Original assignee: 포스퀘어 랩스 인코포레이티드
Priority date: 2019-05-07
Filing date: 2020-05-07
Publication date: 2022-01-17
Also published as: EP3966772A1; US20200356894A1; JP2022531480A; MX2021013584A; BR112021022160A2; WO2020227525A1; SG11202112181QA

Abstract

본 개시의 예시는 머신 러닝(ML) 속성 기술을 사용한 방문 예측을 위한 시스템 및 방법을 설명한다. 일 양태에서, 사용자 및 그들의 장소 방문에 관련된 데이터가 수집되고 다양한 지향 정보 노출과 관련된 데이터와 병합된다. 병합된 데이터의 특징은 하나 이상의 시간 구간 동안 식별되고 값 및/또는 라벨이 할당된다. 식별된 특징 및 대응하는 값/라벨은 병합된 데이터에 표시된 각 사용자에 대한 방문 확률을 제공하기 위해 ML 모델을 훈련하는 데 사용될 수 있다. ML 모델에 의해 제공되는 방문 확률을 기초로, 지향 정보 노출에 기인하는 장소 방문율의 백분율 증가(또는 "상승")를 정확하게 추정할 수 있다.

Description

방문 예측

본 출원은 2020년 5월 7일에 PCT 국제 특허 출원된 것으로서, 2019년 5월 7일에 출원된 미국 특허 출원 번호 16/405,481(명칭: “방문 예측”)에 대해 우선권을 주장하며, 상기 출원은 전체가 참조로서 본 명세서에 포함된다.

일반적으로, 마케팅 속성은 지향 정보(directed information)의 유효성에 기여하는 동작 또는 이벤트의 세트의 식별 및 각 동작 또는 이벤트에 대한 값의 할당을 의미한다. 많은 경우에, 동작 또는 이벤트의 세트는 지향 정보와 연관된 다양한 사용자에 대한 엄청난 양의 변수(예를 들어, 인구 통계학, 위치, 날짜, 노출 길이, 노출 매체 등)를 기초로 한다. 다양한 변수가 사용자 행동에 미치는 각각의 영향을 정확하게 정량화하는 것은 복잡하고, 종종, 달성할 수 없는 작업이다.

본 명세서에서 개시된 양태들은 이들 및 다른 일반적인 고려 사항들에 관한 것이다. 또한, 비교적 특정한 문제들이 논의될 수 있지만, 예시들이 배경 기술 또는 본 명세서의 다른 곳에서 식별된 특정 문제들을 해결하기 위한 것으로 제한되어서는 안 된다는 것을 이해해야 한다.

본 개시의 예시들은 머신 러닝(ML) 속성 기술을 사용한 방문 예측을 위한 시스템 및 방법을 설명한다. 양태들에서, 사용자 및 그들의 장소 방문에 관한 데이터가 수집되고, 다양한 지향 콘텐츠 노출과 관련된 데이터와 병합된다. 병합된 데이터의 특징은 하나 이상의 시간 구간동안 식별되고 값 및/또는 라벨이 할당된다. 식별된 특징 및 대응하는 값/라벨은 병합된 데이터에 표시된 각 사용자에 대한 방문 확률을 제공하기 위해 ML 모델을 훈련하는 데 사용될 수 있다. ML 모델에서 제공하는 방문 확률을 기초로, 지향 콘텐츠 노출에 기인한 장소 방문율의 백분율 증가(또는 "상승")가 정확하게 추정될 수 있다.

이 요약은 이후 상세한 설명에서 더 설명되는 개념들의 셀렉션을 간단한 형태로 소개하기 위해 제공된다. 이 요약은 청구된 주제의 주요 특징 또는 필수 특징을 식별하는 것을 의도하지 않으며, 청구된 주제의 범위를 제한하는데 사용되는 것을 의도하지 않는다. 추가적 양태들, 특징들, 및/또는 예시들의 이점은 이어지는 발명의 상세한 설명에서 부분적으로 설명될 것으로, 부분적으로 상세한 설명으로부터 명백해질 것이며, 또는 본 명세서의 실시에 의해 알게 될 것이다.

비-제한적 및 비-완전한 예시들이 다음 도면을 참조하여 설명된다.
도 1은 본 명세서에 설명되는 것과 같이 ML 기술을 사용한 방문 예측을 위한 예시적인 시스템의 개략도를 도시한다.
도 2는 본 명세서에 설명되는 것과 같이 ML 기술을 사용한 방문 예측을 하기 위한 예시적인 입력 프로세싱 유닛을 도시한다.
도 3은 본 명세서에 설명되는 것과 같이 방문 예측 모델을 훈련하기 위한 예시적인 방법을 도시한다.
도 4는 본 명세서에 설명되는 것과 같이 사용자 방문 상승을 결정하기 위한 예시적인 방법을 도시한다.
도 5는 하나 이상의 본 실시예가 구현될 수 있는 적합한 운영 환경의 일 예시를 도시한다.

본 명세서의 다양한 양태들은 본 명세서의 일부를 형성하고, 특정한 예시적인 양태들을 나타내는 첨부된 도면들을 참조하여 보다 충분하게 설명된다. 그러나, 본 명세서의 상이한 양태들이 많은 상이한 형태로 구현될 수 있으며, 본 명세서에 설명된 양태들로 제한되는 것으로 해석되어서는 안 되며; 오히려, 이러한 양태들이 제공되어, 본 명세서가 철저하고 완전하게 되고, 양태들의 범위를 당업자에게 완전히 전달할 것이다. 양태들은 방법, 시스템 또는 디바이스로서 실행될 수 있다. 따라서, 양태들은 하드웨어 구현, 완전한 소프트웨어 구현 또는 소프트웨어와 하드웨어 양태들을 결합한 구현의 형태를 취할 수 있다. 그러므로, 이어지는 상세한 설명은 제한적인 의미로 받아들여져서는 안 된다.

방문 확률(예를 들어, 사람이 위치 또는 장소를 방문하거나 방문했을 확률)은 종종 여러 인구통계학적 및 심리적 요인에 의해 영향을 받는다. 잠재적으로 중요한 요인 중 하나는 특정 위치 또는 장소와 관련된 지향 정보에 대한 개인의 노출일 수 있다. 이러한 지향 정보의 중요성(또는 유효성)은 여러 변수들을 기초로 한다. 방문 결정에 대한 이러한 변수들의 개별적인 인과적 영향을 정확하게 귀속시키는 것은, 불가능하지는 않더라도, 어려운 경우가 많다. 그러나, 변수들의 개별적인 인과적 영향을 귀속시키는 것은 노출된 사람의 예상 방문율(예를 들어, 지향 정보에 노출되지 않았다면 노출된 사람의 방문 행동이 어땠을지)을 결정하는 데 필수적이다. 따라서, 정확한 예상 방문율 없이는, 조회된 지향 정보의 실제 중요성/유효성을 일반적으로 정확하게 정량화할 수 없다.

이러한 문제를 해결하기 위해, 본 개시는 머신 러닝(ML) 속성 기술을 사용하여 사용자 방문 상승도를 결정하기 위한 시스템 및 방법을 설명한다. 본 명세서에서 사용된 방문 상승도는, 하나 이상의 이벤트 또는 동작에 기인한 위치 방문율의 증가를 의미할 수 있다. 특정 예시로서, 방문 상승도는 지향 정보에 기인하는 장소 방문율의 백분율 증가를 나타낼 수 있다. 지향 정보는 콘텐츠(예를 들어, 텍스트, 오디오 및/또는 비디오 콘텐츠), 메타데이터, 동작을 수행하기 위한 지시, 촉각 피드백, 또는 디바이스에 의해 전송 및/또는 표시될 수 있는 임의의 다른 형태의 정보일 수 있다. 양태들에서, 하나 이상의 위치에 대한 사용자 식별 데이터 및/또는 사용자 방문 데이터가 수집될 수 있다. 수집된 데이터는 라벨이 지정되거나 라벨이 지정되지 않을 수 있다. 예시에서, 사용자 식별 데이터 및/또는 사용자 방문 데이터는 지향 정보와 관련될 수 있다. 지향 정보에 대한 노출과 관련된 정보도 수집될 수 있다. 예시에서, 노출 정보는, 무엇보다도, 지향 정보 식별자 및 지향 정보(또는 지향 정보를 포함하는 매체)가 불려오거나 및/또는 로드되는 횟수의 표시를 포함할 수 있다. 식별 데이터 및/또는 사용자 방문 데이터 및 노출 정보는 하나 이상의 데이터 세트로 병합될 수 있다. 그런 다음, 병합된 데이터의 무제한의 특징이 식별될 수 있다. 특징의 예에는 사용자 연령, 사용자 성별, 사용자 언어, 가구 소득, 사용자 또는 모바일 디바이스 위치, 가구 내 자녀 수, 날짜, 요일, 이전 방문의 최근성, 장소 또는 방문 위치까지의 거리, 방문 데이터를 생성하는 애플리케이션, 방문 데이터를 생성하는 디바이스의 기능, 지향 정보 식별자, 지향 정보 노출 날짜/시간 등이 포함되지만, 이에 제한되지는 않는다. 예시에서, 방문 예측 분석에 사용될 수 있는 무제한의 특징을 사용할 수 있게 하는 것은, 추가적인 특징이 분석에 추가될 때, 도출된 ML 모델(아래에서 설명됨)이 쉽고 동적으로 수정될 수 있도록 한다. 또한, 무제한의 특징을 사용할 수 있게 하는 것은, 더 세분화되고 정확한 속성 분석을 제공할 수 있다.

양태들에서, 병합된 데이터의 식별된 특징은 개별적인 사용자 및/또는 개별적인 날짜에 대응하는 그룹으로 그룹화될 수 있다. 특징 값은 하나 이상의 특징화 기술을 사용하여 각 그룹의 개별적인 특징에 대해 계산 및/또는 할당될 수 있다. 특징 값은 특징의 수치적인 표현, 병합된 데이터의 특징과 쌍을 이루는 값, 특징에 대한 하나 이상의 조건 상태의 표시, 특징이 방문에 대해 예측하는 정도의 표시 등일 수 있다. 대안적으로 또는 추가적으로, 각 그룹에는 해당 그룹에 대응하는 각 특징에 대한 값이 할당될 수 있다. 예시에서, 특징화 기술은 ML 프로세싱(ML processing), 정규화 연산(normalization operation), 비닝 연산(binning operation), 및/또는 벡터화 연산(vectorization operation)의 사용을 포함할 수 있다. 일부 양태들에서, 각 그룹에는 방문 표시 값이 할당될 수 있다. 방문 표시 값은 사용자가 위치 또는 장소를 방문했는지를 나타낼 수 있다. 방문 표시 값은 또한 사용자가 지향 정보에 노출되었는지 여부 및/또는 방문이 노출의 통계적으로 관련된 기간 내에 발생했는지 여부를 나타낼 수 있다.

양태들에서, 식별된 특징, 특징 값, 및/또는 방문 표시 값(들)을 포함하는 데이터의 제1 세트는 사용자가 특정 날짜에 위치/장소를 방문했는지 여부 또는 그 확률을 결정하기 위한 모델을 훈련시키기 위해 모델에 제공될 수 있다. 본 명세서에서 사용되는 모델은 하나 이상의 문자 시퀀스, 클래스, 객체, 결과 세트 또는 이벤트에 대한 확률 분포를 결정하고/하거나 하나 이상의 예측자로부터 응답 값을 예측하는 데 사용될 수 있는 예측 또는 통계 모델을 나타낼 수 있다. 모델은 하나 이상의 규칙 세트, 머신 러닝, 신경망 등을 기초로 하거나 이를 통합할 수 있다. 일부 예시에서, 모델은 노출되지 않은 사용자(예를 들어, 지향 정보에 노출되지 않은 사용자)에 대한 데이터를 사용하여 주로(또는 독점적으로) 훈련될 수 있다. 다른 예시에서, 모델은 노출된 사용자(예를 들어, 지향 정보에 노출된 사용자)에 대한 데이터를 사용하여 주로(또는 독점적으로) 훈련될 수 있다. 또 다른 예시에서, 모델은 노출된 사용자와 노출되지 않은 사용자 모두에 대한 데이터를 사용하여 훈련될 수 있다. 임의의 이러한 예시에서, 훈련된 모델은 지향 정보에 노출되지 않은 사용자의 전형적인 또는 예상되는 방문 행동을 정확하게 추정/측정하도록 구성될 수 있다.

양태들에서, 모델이 훈련된 후, 위에서 설명된 지향 정보에 노출된 사용자가 식별된다. 노출된 사용자에 대한 사용자 식별 데이터, 사용자 방문 데이터 및 노출 정보가 수집된다. 수집된 데이터는 위에서 설명한 것처럼 병합되고, 학습된 모델에 제공된다. 수집된 데이터를 기초로, 병합된 데이터가 분석될 기간이 식별될 수 있다. 분석 기간은 병합된 데이터에서 식별된 사용자의 적격 날짜에 대응할 수 있다. 본 명세서에 사용된, 적격 날짜는, 지향 정보의 효과가 계산되는 날짜를 의미할 수 있다. 예시에서, 적격 날짜는 사용자가 지향 정보에 노출된 날짜(예를 들어, 지향 정보 노출 날짜)와 지향 정보 노출 날짜 이후의 기간을 사용하여 결정될 수 있다. 종합적으로, 적격 날짜는 기여 기간(attribution window)을 정의할 수 있다. 본 명세서에서 사용되는 기여 기간은 지향 정보 노출 날짜를 포함하는 기간 및 지향 정보 노출 날짜 이후의 기간을 의미할 수 있다. 구체적인 예로서, 5일의 기여 기간은 지향 정보 노출 날짜와 지향 정보 노출 날짜 직후의 4일을 포함할 수 있다.

양태들에서, 식별된 각각의 적격 날짜에 대해, 모델은 각각의 노출된 사용자에 대한 방문 결정 및/또는 방문 확률을 포함하는 결과 세트를 계산 및/또는 출력할 수 있다. 사용자의 방문 결정/확률은 위치 또는 장소에 대한 사용자의 총 예상 방문율을 나타내는 값을 계산하기 위해 합산될 수 있다. 적어도 하나의 예에서, 총 예상 방문율은 노출된 사용자가 지향 정보에 노출되지 않았다는 가정에 기초한다. 즉, 총 예상 방문율은 지향 정보에 노출되지 않았다면 발생했을 방문 수에 대한 최선의 추정치를 나타낸다.

양태들에서, 적격 날짜에 노출된 사용자에 의해 발생한 실제 방문의 총 횟수(예를 들어, 총 실제 방문율)가 식별될 수 있다. 실제 방문을 식별하는 것은 하나 이상의 로컬 및/또는 원격 데이터 소스를 쿼리하는 것을 포함할 수 있다. 특정한 예로서, 방문 감지 및/또는 체류(stop) 감지 시스템은 하나 이상의 날짜에 대한 사용자 또는 사용자 세트에 대응하는 실제 방문 데이터에 대해 쿼리될 수 있다. 그 다음, 총 실제 방문율은 총 예상 방문율에 대해 평가되어 수집된 데이터 세트와 연관된 지향 정보에 기인하는 방문율의 백분율 증가(예를 들어, 방문 상승도)를 계산할 수 있다. 일부 양태들에서, 방문 상승도는 사용자 인터페이스 상에 제시되거나, 하나 이상의 디바이스로 전송되거나, 보고서 또는 알림이 생성되게 할 수 있다.

따라서, 본 개시는 다음을 포함하는 복수의 기술적 이점을 제공하지만 이에 제한되지 않는다: 여러 예시 중에서, 하나 이상의 동작 또는 이벤트에 기인한 방문율의 총 증분 상승도를 정량화하는 것; 방문 및 지향 정보 노출 데이터에서 특징 세트를 생성하는 것; 방문 결정에 영향을 미치는 다양한 개별적인 변수의 중요성을 정량화하는 것; 무제한의 제어 변수를 갖는 방문 예측 모델을 생성/훈련하는 것; 예상 방문율을 계산하기 위해 ML 기술을 사용하는 것; 기존 방문 데이터 및 체류 감지 데이터를 활용하는 것.

도 1은 여기에서 설명되는 것과 같이 ML 기술을 사용하여 방문 예측을 위한 예시적인 시스템의 개략도를 나타낸다. 제시된 예시적인 시스템(100)은 장소 검출 시스템에 대해 통합된 전체를 형성하도록 상호작용하는 상호 의존적인 구성요소의 조합이다. 시스템의 구성요소는 시스템의 하드웨어 구성요소에 의해 구현되거나 및/또는 실행되는 하드웨어 구성요소 또는 소프트웨어일 수 있다. 예시들에서, 시스템(100)은 (예를 들어, 운영 체제(OS)를 실행/구동시키는데 사용되는) 임의의 하드웨어 구성요소 및 하드웨어 상에서 동작하는 소프트웨어 구성요소(예를 들어, 애플리케이션, 애플리케이션 프로그래밍 인터페이스(API), 모듈, 가상 기계, 런타임 라이브러리 등)을 포함할 수 있다. 일 예시에서, 예시적인 시스템(100)은 구동하고, 동작을 위해 설정된 제약을 따르며, 그리고 시스템(100)의 리소스 또는 설비를 이용할 수 있는 소프트웨어 구성요소를 위한 환경을 제공할 수 있으며, 구성요소는 하나 이상의 프로세싱 디바이스 상에서 구동하는 소프트웨어(예를 들어, 애플리케이션, 프로그램, 모듈 등)일 수 있다. 예를 들어, 소프트웨어(예를 들어, 애플리케이션, 운영 명령어, 모듈 등)는 컴퓨터, 모바일 디바이스(예를 들어, 스마트폰/전화, 태블릿, 랩탑, 개인용 정보 단말기 (PDA) 등) 및 그 밖의 다른 전자 디바이스와 같은 프로세싱 디바이스상에서 구동될 수 있다. 프로세싱 디바이스 운영 환경의 예로서, 도 5에 도시된 예시적인 운영 환경을 참조한다. 다른 예시들에서는, 여기에서 개시된 시스템의 구성요소가 다수의 디바이스에 걸쳐 분산될 수 있다. 예를 들어, 입력은 클라이언트 디바이스상에서 입력될 수 있고 정보는 하나 이상의 서버 디바이스와 같은 네트워크 내의 다른 디바이스로부터 처리 또는 액세스될 수 있다.

일 예시로서, 시스템(100)은 컴퓨팅 디바이스(102), 분산 네트워크(104), 방문 예측 시스템(106), 및 저장소(들)(108)를 포함한다. 당업자는 시스템(100)과 같은 시스템의 규모는 변할 수 있고, 도 1에 도시된 것보다 많거나 적은 구성요소를 포함할 수 있다는 것을 이해할 것이다. 일부 예시들에서, 시스템(100)의 구성요소들 간의 인터페이싱이 원격적으로 행해질 수 있으며, 예를 들어 시스템(100)의 구성요소들은 분산 네트워크의 하나 이상의 디바이스들에 걸쳐 분산될 수 있다.

컴퓨팅 디바이스(102)는 하나 이상의 사용자로부터, 또는 그와 관련된 정보를 수신 및/또는 액세스하도록 구성될 수 있다. 정보는, 예를 들어, 사용자 및/또는 디바이스 식별 데이터(예를 들어, 사용자 이름/식별자, 디바이스 이름 등), 인구 통계학적 데이터(예를 들어, 연령, 성별, 소득 등), 사용자 방문 데이터(예를 들어, 장소 이름, 위치 좌표, Wi-Fi 정보, 체류/방문 길이, 방문 날짜/시간 등), 지향 정보 데이터(예를 들어, 지향 정보 식별자, 지향 정보 노출 날짜, 노출 횟수 등), 사용자 피드백 신호(예를 들어, 능동/수동 장소 체크인 데이터, 구매 또는 쇼핑 이벤트 등)를 포함할 수 있다. 컴퓨팅 디바이스(102)의 예는 클라이언트 디바이스(예를 들어, 랩톱 또는 PC, 모바일 디바이스, 웨어러블 디바이스 등), 서버 디바이스, 웹 기반 기기 등을 포함할 수 있다.

양태들에서, 데이터의 적어도 일부는 하나 이상의 장소 또는 위치에 대한 지향 정보와 연관될 수 있다. 특정 예로서, 컴퓨팅 디바이스(102)의 하나 이상의 센서는, 사용자가 장소에 대한 지향 정보에 이전에 노출되었던 해당 장소를 사용자가 방문할 때, Wi-Fi 정보, 가속도계 데이터, 및 체크인 데이터를 수집하도록 동작 가능할 수 있다. 정보(또는 그 표현)는 컴퓨팅 디바이스(102)에 로컬로 저장되거나 저장소(들)(108)와 같은 원격 데이터 저장소에 원격으로 저장될 수 있다. 일부 양태들에서, 컴퓨팅 디바이스(102)는 네트워크(104)를 통해 방문 예측 시스템(106)과 같은 시스템에 데이터의 적어도 일부를 전송할 수 있다.

방문 예측 시스템(106)은 정보를 처리 및/또는 특징화하도록 구성될 수 있다. 양태들에서, 방문 예측 시스템(106)은 컴퓨팅 디바이스(102)에 의해 수신/액세스된 정보에 대해 액세스할 수 있다. 정보에 액세스할 때, 방문 예측 시스템(106)은 하나 이상의 특징을 식별하기 위해 정보를 처리할 수 있다(또는 정보가 처리되게 할 수 있음). 특징은 다양한 사용자 및/또는 다양한 날짜/기간을 나타내는 그룹으로 나누어질 수 있다. 예를 들어, 각 사용자에 대해, 정보에서 식별된 각 날짜에 대해 특징의 세트가 생성될 수 있다. 특징의 각각의 세트에 대해, 하나 이상의 특징화 기술을 사용하여 대응하는 특징 값들의 세트가 계산되거나 식별되고 특징들의 세트에 할당될 수 있다. 대안적으로, 각 그룹에는 해당 그룹에 대한 특징 세트의 각 특징에 대한 값이 할당될 수 있다. 방문 예측 시스템(106)은 방문 표시 값을 그룹들 중 하나 이상에 추가로 할당할 수 있다. 방문 표시 값은 사용자가 특정 날짜에 위치 또는 장소를 방문했는지 여부를 나타낼 수 있다. 적어도 하나의 양태에서, 방문 예측 시스템(106)은 또한 사용자가 통계적으로 관련된 기간 내에 지향 정보에 노출되었는지 여부를 나타내는 노출 표시 값을 하나 이상의 그룹에 할당할(또는, 연관시킬) 수 있다. 예를 들어, 노출 표시 값은 사용자를 비노출, 노출되고 방문 분석에 적격인 경우(예를 들어, 사용자가 방문 분석의 관련 기간 내에 노출됨), 또는 노출되고 방문 분석에 비적격인 경우(예를 들어, 사용자가 노출되었지만 노출이 방문 분석의 해당 관련 기간 내에 있지 않은 경우)로 분류할 수 있다.

방문 예측 시스템(106)은 추가로 하나 이상의 예측 모델을 훈련 및/또는 유지하도록 구성될 수 있다. 양태들에서, 방문 예측 시스템(106)은 하나 이상의 예측 모델들을 생성하기 위한 하나 이상의 예측 모델/알고리즘 또는 모델 생성 컴포넌트에 대한 액세스를 가질 수 있다. 특정 예로서, 방문 예측 시스템(106)은 하나 이상의 k-최근접 이웃(k-nearest-neighbor), 그래디언트 부스트 트리(gradient boosted tree) 또는 로지스틱 회귀 분석 알고리즘(logistic regression algorithms)을 사용하는 ML 모델을 포함할 수 있다. 관련된 예측 모델을 식별/생성할 때, 방문 예측 시스템(106)은 식별된 특징, 특징 값, 방문 표시 값(들) 및/또는 노출 표시 값(들)을 사용하여 예측 모델을 훈련하여, 사용자가 특정 날짜에 위치/장소를 방문했는지 여부 또는 그 확률을 결정할 수 있다. 예측 모델이 훈련된 후, 방문 예측 시스템(106)은 하나 이상의 데이터 소스로부터의 추가적인 정보를 훈련된 모델에 제공할 수 있다. 예시에서, 데이터 소스는 컴퓨팅 디바이스(102), 컴퓨팅 디바이스(102)의 사용자와 연관된 다른 클라이언트 디바이스, 다른 사용자의 클라이언트 디바이스, 하나 이상의 클라우드 기반 서비스/애플리케이션, 로컬 및/또는 원격 저장소 위치(저장소(들)(108)와 같은), 등을 포함할 수 있다. 적어도 하나의 양태에서, 추가적인 정보는 위에서 논의된 지향 정보에 노출된 사용자에 대한 데이터를 포함할 수 있다. 예측 모델에 의해 추가적인 정보에 대해 수행된 분석/처리의 일부로서, 추가적인 정보와 연관된 지향 정보에 대한 하나 이상의 기여 기간 및/또는 적격 날짜가 식별될 수 있다. 식별된 각각의 적격 날짜에 대해, 예측 모델은 각각의 노출된 사용자에 대한 방문 결정 및/또는 방문 확률을 계산 및/또는 출력할 수 있다. 사용자의 방문 결정/확률은 위치 또는 장소에 대한 사용자의 총 예상 방문율을 계산하기 위해 합산될 수 있다.

방문 예측 시스템(106)은 추가적으로 지향 정보에 대한 방문율 상승도를 계산하도록 구성될 수 있다. 양태들에서, 방문 예측 시스템(106)은 예측 모델에 의해 식별된 적격 날짜들에 노출된 사용자들에 의해 발생한 총 실제 방문 수를 나타내는 데이터(예를 들어, 총 실제 방문율)에 액세스할 수 있다. 방문 예측 시스템(106)은 총 실제 방문율 데이터를 로컬로 저장할 수 있고, 총 실제 방문율 데이터에 액세스하기 위해 하나 이상의 외부 데이터 소스 또는 서비스에 쿼리할 수 있다. 총 실제 방문율 데이터에 액세스한 후, 방문 예측 시스템(106)의 (또는 방문 예측 시스템(106)에 액세스 가능한) 예측 모델 또는 다른 구성 요소는 이전에 계산된 총 예상 방문율에 대해 총 실제 방문율 데이터를 평가할 수 있다. 평가의 결과로서, 방문율 상승도(예를 들어, 컴퓨팅 디바이스(102)에 의해 수집된 데이터와 연관된 지향 정보에 기인하는 방문율의 백분율 증가)가 계산될 수 있다. 일부 양태들에서, 방문율 상승도가 계산된 후, 방문 예측 시스템(106)은 하나 이상의 동작들이 수행되게 할 수 있다. 일 예로서, 방문 예측 시스템(106)은 소비자를 물리적 위치로 이동시키는 데 있어, 지향 정보의 유효성을 측정하는 보고서를 생성할 수 있다. 보고서는 또한 다양한 사용자 또는 사용자 그룹에 대한 개별적인 특징/요인에 기인한 인과적 영향과 관련된 데이터를 포함할 수 있다.

도 2는, 본 명세서에 설명된, ML 기술을 사용한 방문 예측을 위한 예시적인 입력 프로세싱 시스템(200)의 개요를 도시한다. 입력 프로세싱 시스템(200)에 의해 구현된 방문 예측 기술은 도 1의 시스템에서 설명된 방문 검출 기술 및 데이터를 포함할 수 있다. 일부 예들에서, 입력 프로세싱 시스템(200)의 하나 이상의 구성 요소들(또는 그 기능)은 다수의 디바이스들에 걸쳐 분산될 수 있다. 다른 예에서, 단일 디바이스가 (적어도 프로세서 및/또는 메모리를 포함하는) 입력 프로세싱 시스템(200)의 구성 요소를 포함할 수 있다.

도 2와 관련하여, 입력 프로세싱 시스템(200)은 데이터 수집 엔진(202), 프로세싱 엔진(204), 예측 모델(206) 및 데이터 저장소(208)를 포함할 수 있다. 데이터 수집 엔진(202)은 지향 정보에 관한 정보를 수집하거나 수신하도록 구성될 수 있다. 양태들에서, 데이터 수집 엔진(202)은 컴퓨팅 디바이스(102)와 같은 컴퓨팅 디바이스들 또는 하나 이상의 데이터 소스들로부터 방문 정보를 수집하거나 수신할 수 있다. 방문 정보는, 예를 들어, 사용자 및/또는 디바이스 식별 데이터, 사용자 인구통계학적 데이터, 사용자 방문 및/또는 체류 데이터, 사용자 행동 데이터 등을 포함할 수 있다. 데이터 수집 엔진(202)은 지향 정보와 관련된 노출 정보를 추가로 수집하거나 수신할 수 있다. 노출 정보는, 예를 들어, 지향 정보 식별 데이터, 노출 데이터 등을 포함할 수 있다. 데이터 수집 엔진(202)은 수집된 데이터를 하나 이상의 저장 위치에 저장하고 및/또는 수집된 데이터를 입력 프로세싱 시스템(200)에 액세스 가능한 하나 이상의 애플리케이션, 서비스 또는 구성 요소에 액세스 가능하게 할 수 있다. 적어도 하나의 예에서, 수집된 데이터는 입력 프로세싱 시스템(200)에 의해 제공되거나, 이에 액세스 가능한 인터페이스(미도시)를 통해 액세스될 수 있다. 인터페이스는 수집된 데이터가 사용자에 의해 탐색 및/또는 조작되도록 할 수 있다. 예를 들어, 인터페이스는 수집된 데이터가 라벨링, 주석 추가 및/또는 분류될 수 있도록 할 수 있다.

프로세싱 엔진(204)은 수집된 데이터를 처리하도록 구성될 수 있다. 양태들에서, 프로세싱 엔진(204)은 데이터 수집 엔진(202)에 의해 수집된 데이터에 대해 액세스 할 수 있다. 프로세싱 엔진(204)은 수집된 데이터를 처리 및/또는 포맷하기 위해 수집된 데이터에 대해 하나 이상의 동작을 수행할 수 있다. 예를 들어, 수집된 데이터를 처리하는 것은 병합 동작을 포함할 수 있다. 병합 동작은 사용자 식별 및/또는 날짜에 따라 방문 정보와 노출 정보를 병합할 수 있다. 예를 들어, 사용자의 장소 방문 데이터는 사용자 식별자 및 날짜 페어링을 사용하여 사용자의 지향 정보 노출과 매칭될 수 있다. 수집된 데이터를 처리하는 것은 특징화 동작을 추가로 또는 대안적으로 포함할 수 있다. 특징화 동작은 수집된 데이터에서 다양한 특징을 식별할 수 있다. 식별된 특징은 사용자 식별자 및/또는 날짜와 같은 하나 이상의 기준에 따라 그룹화될 수 있다. 그룹의 특징 각각에 대한 값은 하나 이상의 ML 기술을 사용하여 결정될 수 있다. 추가적으로, 방문 표시 값은 하나 이상의 그룹에 할당될 수 있다. 방문 표시 값은 사용자가 특정 날짜에 어느 위치 또는 장소를 방문했는지 여부를 나타낼 수 있다. 예를 들어, 사용자가 특정 날짜에 그 위치를 방문했다면 그룹에 '1'이 할당되고, 사용자가 특정 날짜에 그 위치를 방문하지 않은 경우에는 '0'이 할당될 수 있다. 적어도 하나의 양태에서, 특징화 동작은 노출 표시 값을 그룹들 중 하나 이상에 할당하는 것을 더 포함할 수 있다. 노출 표시 값은 사용자가 방문 분석의 통계적으로 관련된 기간 내에 지향 정보에 노출되었는지 여부를 나타낼 수 있다. 예를 들어, 그룹은 사용자가 지향 정보에 노출되지 않았음을 나타내는 'U', 사용자가 방문 분석의 통계적으로 관련된 기간 내에 지향 정보에 노출되었음을 나타내는 'EE', 또는 사용자가 방문 분석의 통계적으로 관련된 기간 외에 지향 정보에 노출되었음을 나타내는 'EI'가 할당되거나, 이와 연관될 수 있다.

예측 모델(206)은 방문 예측 값을 출력하도록 구성될 수 있다. 양태들에서, 프로세싱 엔진(204)은 처리된 데이터를 예측 모델(206)에 제공할 수 있다. 예측 모델(206)은 k-최근접-이웃 알고리즘, 그래디언트 부스트 트리 알고리즘, 또는 로지스틱 회귀 분석 알고리즘과 같은, 하나 이상의 ML 알고리즘을 구현할 수 있다. 처리된 데이터는 특정 사용자(처리된 데이터에 표시됨)가 특정 날짜에 위치/장소를 방문했을 확률을 결정하기 위해 예측 모델(206)을 훈련하는 데 사용될 수 있다. 예를 들어, 예측 모델(206)에 제공된 처리된 데이터에 기초하여, 예측 모델(206)은 처리된 데이터가 분석될 기여 기간을 결정할 수 있다. 이러한 예에서, 처리된 데이터는 주로(또는 배타적으로) 위에서 설명된 지향 정보에 노출된 사용자에 대한 정보를 포함할 수 있다. 기여 기간은 지향 정보 노출의 영향이 방문 결정과 통계적으로 관련된 기간을 정의할 수 있다. 기여 기간에서 식별된 각각의 날짜에 대해, 예측 모델(206)은 처리된 데이터에서 식별된 사용자가 그날 목표 장소 또는 위치를 방문했을 확률을 계산할 수 있다. 각각의 사용자 및 각각의 날짜에 대한 방문 확률은 위치 또는 장소에 대한 사용자의 총 예상 방문율을 나타내는 값을 계산하기 위해 합산될 수 있다. 양태들에서, 예측 모델(206)은 기여 기간 동안 지향 정보에 노출된 사용자들에 의해 발생한 실제 방문의 총 수를 나타내는 실제 방문 데이터(예를 들어, 총 실제 방문율)에 액세스할 수 있다. 실제 방문 데이터는 데이터 저장소(208)와 같은 데이터 소스에서 로컬로 액세스되거나 하나 이상의 외부 데이터 소스 또는 서비스를 쿼리하여 원격으로 액세스될 수 있다. 총 실제 방문율 데이터에 액세스한 후, 예측 모델(206)은 지향 정보에 대한 방문율 상승도를 계산하기 위해 총 예상 방문율에 대해 총 실제 방문율 데이터를 평가할 수 있다. 일부 양태들에서, 지향 정보에 대한 방문율 상승도를 계산한 후, 예측 모델(206)은 하나 이상의 동작이 수행되게 할 수 있다. 예를 들어, 예측 모델(206)은 입력 프로세싱 시스템(200)의 보고 구성 요소에 보고서 생성 명령을 제공할 수 있다.

여기에서 개시된 양태들에 의해 사용될 수 있는 다양한 시스템들을 설명하였지만, 본 명세서는 이제 본 명세서의 다양한 양태들에 의해 수행될 수 있는 하나 이상의 방법을 설명할 것이다. 양태들에서, 방법 300 및 방법 400은 도 1의 시스템(100) 또는 도 2의 시스템(200)과 같은, 방문 예측 시스템에 의해 실행될 수 있다. 그러나, 방법 300 및 방법 400은 이러한 예시들로 제한되지 않는다. 다른 양태들에서, 방법 300 및 방법 400은 방문 예측을 수행하기 위한 애플리케이션 또는 서비스 상에서 수행될 수 있다. 적어도 하나의 양태에서, 방법 300 및 방법 400은 웹 서비스/분산 네트워크 서비스(예를 들어, 클라우드 서비스)와 같은 분산 네트워크의 하나 이상의 구성요소에 의해 (예를 들어, 컴퓨터 구현된 동작들이) 실행될 수 있다

도 3은 본 명세서에 설명된 방문 예측 모델을 훈련하기 위한 예시적인 방법(300)을 도시한다. 예시적인 방법(300)은 지향 정보에 관한 정보가 수신되는 동작(302)에서 시작한다. 양태들에서, 데이터 수집 엔진(202)과 같은 데이터 수집 구성 요소는 컴퓨팅 디바이스(102)와 같은 하나 이상의 컴퓨팅 디바이스들로부터 방문 정보를 수신할 수 있다. 방문 정보는, 예를 들어, 사용자 및/또는 디바이스 식별 데이터, 사용자 인구통계학적 데이터, 사용자 방문 및/또는 체류 데이터, 날짜/시간 데이터, 사용자 행동 데이터 등을 포함할 수 있다. 예시들에서, 방문 정보에 의해 표현되는 기간은 지향 정보의 적어도 일부에 대응할 수 있다. 데이터 수집 구성 요소는 또한 하나 이상의 데이터 소스로부터 지향 정보에 대한 노출 정보를 수신할 수 있다. 노출 정보는, 예를 들어, 지향 정보 식별 데이터, 지향 정보 노출 날짜/시간, 사용자 및/또는 디바이스 식별 데이터 등을 포함할 수 있다.

동작(304)에서, 수신된 정보는 병합될 수 있다. 양태들에서, 프로세싱 엔진(204)과 같은 데이터 처리 구성 요소는 방문 정보 및 노출 정보를 단일 데이터 세트로 병합할 수 있다. 정보를 병합하는 것은 정규 표현식(regular expressions), 퍼지 논리 등과 같은 하나 이상의 패턴 매칭 기술을 사용하여 방문 정보의 데이터를 노출 정보의 데이터와 매칭시키는 것을 포함할 수 있다. 예를 들어, 방문 정보 데이터 오브젝트와 노출 정보 데이터 오브젝트는 모두 사용자 식별자 'X'를 포함할 수 있다. 정규 표현식 유틸리티가 두 데이터 오브젝트의 공통성(즉, 사용자 식별자 'X')을 식별하기 위해 사용될 수 있다. 식별된 공통성에 기초하여 두 데이터 오브젝트는 두 데이터 오브젝트 각각으로부터 정보의 적어도 일부를 포함하는 새로운 제3 데이터 오브젝트로 병합될 수 있다.

동작(306)에서, 병합된 정보의 특징이 그룹화될 수 있다. 양태들에서, 프로세싱 엔진(204)과 같은 데이터 처리 구성 요소는 병합된 정보의 다양한 특징들을 식별할 수 있다. 식별된 특징은 개별적인 사용자 및/또는 개별적인 날짜에 대응하는 그룹으로 그룹화될 수 있다. 예를 들어, 사용자 식별자 'X' 및 날짜 '1'에 대응하는 병합된 정보의 각각의 특징은 제1 그룹으로 그룹화될 수 있고, 사용자 식별자 'X' 및 날짜 '2'에 대응하는 병합된 정보의 각각의 특징은 제2 그룹으로 그룹화 등이 될 수 있다. 일부 양태에서, 그룹 이름이 그룹에 할당될 수 있다. 그룹 이름은 그룹을 그룹화하는 데 사용된 정보를 기초로 할 수 있다. 일 예로, 사용자 식별자 'X' 및 날짜 '1'에 대한 정보를 포함하는 그룹의 경우, 그룹 이름 'X:1'이 데이터 처리 구성 요소에 의해 자동으로 생성되고 할당될 수 있다. 대안적으로, 그룹 이름은 랜덤으로 할당될 수 있고, 그룹에 포함된 정보를 즉시(또는 전혀) 나타내지 않을 수 있다. 적어도 하나의 양태에서, 그룹 이름은 데이터 처리 구성 요소에 액세스할 수 있는 인터페이스를 사용하여 수동으로 할당 및/또는 수정될 수 있다.

동작(308)에서, 하나 이상의 특징에 대한 값이 할당될 수 있다. 양태들에서, 특징 값들은 하나 이상의 특징화 기술을 사용하여 각각의 그룹의 특징에 대해 계산 및/또는 식별될 수 있다. 예를 들어, 병합된 정보의 특징-값 쌍 및 정보 데이터 오브젝트가 식별되고 평가될 수 있다. 평가는 하나 이상의 특징에 대한 값을 식별 및/또는 추출하고, 값을 정규화하고, 정규화된 값을 각각의 특징에 할당하는 것을 포함할 수 있다. 다른 예로서, 사용자 방문 행동에 대한 노출 특징의 인과적 영향을 나타내는 값이 계산될 수 있다. 예를 들어, 병합된 데이터(또는 그 안의 그룹)는 성별, 연령 및 소득 특성을 포함할 수 있다. 하나 이상의 속성 모델/알고리즘에 기초하여, 성별은 방문 행동에 70% 영향을 주고, 연령은 방문 행동에 25% 영향을 주며, 소득은 방문 행동에 70% 영향을 주는 것으로 결정될 수 있다. 그 결과, 성별에 대한 특징 값은 0.70, 연령에 대한 특징 값은 0.25, 소득에 대한 특징 값은 0.05로 설정될 수 있다. 대안적으로, 대응하는 특징의 영향 또는 하나 이상의 사용자의 성향에 따라 각각의 특징 값에는 가중치가 부여될 수 있다. 예를 들어, 특징은 특정 값을 갖는 범위로 분류될 수 있다. 구체적인 예로서, 18-30세 연령 범위는 3의 값을 갖는 제1 버킷으로 분류될 수 있고, 31-45세 연령 범위는 2의 값을 갖는 제2 버킷으로 분류될 수 있으며, 46-60세 연령 범위는 1의 값을 갖는 제3 버킷으로 분류될 수 있다. 버킷 값(예를 들어, 3, 2, 1)은 방문 행동에 대한 각각의 연령 범위의 예상되는 영향을 나타낼 수 있다. 특징에 대한 결합된 영향 값 및 특징의 연관된 범위를 반영하기 위해 각각의 버킷의 값에 가중치가 적용될 수 있다. 따라서, 연령이 방문 행동에 대해 25% 영향을 주는 경우, 버킷 1, 2 및 3에 대한 연령 버킷 값은 각각 0.75, 0.50 및 0.25의 총 영향을 갖도록 계산될 수 있다.

동작(310)에서, 하나 이상의 그룹에 대한 값이 할당될 수 있다. 양태들에서, 데이터 처리 구성 요소는 사용자가 특정 날짜에 위치 또는 장소를 방문했는지 여부를 나타내는 방문 표시 값을 각각의 그룹에 할당할 수 있다. 예를 들어, 'X:1'로 지정된 그룹(사용자 식별자 'X' 및 날짜 '1'에 대응)은 사용자가 특정 날짜에 해당 위치를 방문한 경우 '1'이 할당되고, 사용자가 특정 날짜에 해당 위치를 방문하지 않은 경우 '0'이 할당될 수 있다. 결과적으로, 그룹 지정은, 예를 들어, 'X:1:1' 또는 'X:1:0'으로 수정될 수 있다. 일부 양태들에서, 데이터 처리 구성 요소는 방문 예측 분석의 통계적으로 관련된 기간 내에 사용자가 지향 정보에 노출되었는지 여부를 나타내는 노출 표시 값을 각 그룹에 할당할 수 있다. 예를 들어, 각각의 그룹은 사용자가 지향 정보에 노출되지 않았음을 나타내는 'U', 사용자가 방문 분석의 통계적으로 관련된 기간 내에 지향 정보에 노출되었음을 나타내는 'EE', 또는 사용자가 방문 분석의 통계적으로 관련된 기간 외에 지향 정보에 노출되었음을 나타내는 'EI'가 할당될 수 있다(또는, 이와 연관될 수 있음). 이러한 예에서, 통계적으로 관련된 기간은 사용자가 지향 정보에 노출된 날짜 이후(또는 노출된 날짜를 포함하는) 특정 날짜의 수로 사전 정의될 수 있다. 일부 양태에서, 통계적으로 관련된 기간 내의 날짜의 관련성 영향은 노출 날짜로부터 날짜가 멀어질수록 점점 감소한다. 예를 들어, 지향 정보에 대한 통계적으로 관련된 기간은 4일(예를 들어, 노출 날짜 및 이후의 3일)로 정의될 수 있다. 노출된 지향 정보의 관련성은 노출 날짜 이후 매일 25% 감소된 것으로 결정될 수 있다. 결과적으로, 노출 날짜에 1.0 승수가 적용될 수 있고, 노출 날짜 이후 첫째 날에 0.75 승수가 적용될 수 있으며, 노출 날짜 이후 두 번째 날에 0.50 승수가 적용될 수 있으며, 노출 날짜부터 세 번째 날에 0.25 승수가 적용될 수 있다. 적어도 하나의 양태에서, 관련성 승수는 특징 값 및/또는 그룹 값에 적용될 수 있다.

동작(312)에서, 모델은 병합된 데이터를 사용하여 학습될 수 있다. 양태들에서, 예측 모델(206)과 같은 예측 모델이 식별되거나 생성될 수 있다. 대안적으로, 다수의 예측 모델이 식별되거나 생성될 수 있다. 예를 들어, 제1 예측 모델은 노출된 사용자에 대한 정보를 사용하여 주로(또는 독점적으로) 훈련될 수 있고, 제2 예측 모델은 노출되지 않은 사용자에 대한 정보를 사용하여 주로(또는 독점적으로) 훈련될 수 있다. 예측 모델은 병합된 데이터에서 식별된 하나 이상의 사용자가 특정 날짜에 위치/장소를 방문했는지 여부 또는 그 확률을 결정하기 위해, 병합된 데이터 및/또는 그룹 데이터(예를 들어, 그룹화된 특징 및 값, 그룹 값 및/또는 이름 등)를 사용하여 훈련된 이진 편향 보정 로지스틱 회귀 분석 모델일 수 있다. 예시에서, 편향 보정 로지스틱 회귀 분석 기술의 사용은 모델이 모델을 훈련하는 데 사용되는 데이터의 불공정한 샘플링 편향을 고려하도록 할 수 있다. 즉, 모델의 분석이 긍정 및 부정 방문 결과의 실제 기본 비율을 기초로 하도록 보장하면서 상당한 수의 희귀한 긍정 결과 예(예를 들어, 장소/위치 방문)가 훈련 데이터 세트에 포함될 수 있다. 특정 양태에서, 사용된 특정 편향 보정 로지스틱 회귀 분석 기술은 부정 훈련 예(방문하지 않음)에 적용된 샘플링 비율을 나타내는 기호 s0 및 긍정 훈련 예(방문함)에 대한 샘플링 비율을 나타내는 기호 s1을 도입함으로써 설명될 수 있다. 이러한 양태에서, 현실적인 목표는 희귀한 방문 데이터의 판별 정보를 보존하기 위해 s1을 상당히 크게(종종 정확히 1과 같으며, 이는 다운샘플링이 없음을 의미함)하는 반면, s0은 낮게 조정(예를 들어, 0.01 미만)된다. 이는 컴퓨터 메모리 제한, 처리 시간 또는 모델 피팅에 적용되는 기타 작동 제한과 관련된 모든 크기 제한을 충족하는 전체 훈련 데이터 크기 세트를 유지하기 위해 부정 훈련 데이터의 다운샘플링이 제어될 수 있음을 보장할 수 있다.

양태들에서, 예측 모델은 특정 신뢰 구간에 종속될 수 있다. 예를 들어, 상승도 계산이 통계적 중요성을 고려하지 않을 수 있으므로, 모든 가능한 상승도 값에 대한 확률 분포가 생성될 수 있다. 확률 분포는 상승도 분포에 대한 사전 지식을 통합할 수 있다. 일부 양태들에서, MCMC(Markov Chain Monte Carlo) 알고리즘과 같은 통계적 모델 또는 알고리즘은, 확률 분포로부터 데이터를 샘플링하는 데 사용될 수 있다. 본 명세서에서 사용되는 MCMC는 확률 분포에 의존하는 방식으로 데이터 포인트를 이동시키는 랜덤 워크 기반 알고리즘을 의미할 수 있다. 샘플링된 데이터를 사용하여, 다양한 값(예를 들어, 평균, 중앙값, 백분위수, 표준 편차, 분산 등)을 상승도의 분포 순서 통계의 표현으로 계산될 수 있다. 예를 들어, 확률 분포에 대한 중앙값이 식별될 수 있고, 예를 들어, 5번째 백분위수 및 95번째 백분위수에 의해 제한되는 신뢰 구간이 설정될 수 있다.

도 4는 본 명세서에 설명된 바와 같이 사용자 방문 상승도를 결정하기 위한 예시적인 방법(400)을 도시한다. 예시적인 방법(400)은 지향 정보에 노출된 사용자에 대한 정보가 식별되는 동작(402)에서 시작한다. 양태들에서, 데이터 수집 엔진(202)과 같은 데이터 수집 구성 요소는 지향 정보에 노출된 하나 이상의 사용자(예를 들어, 노출된 사용자)에 대한 방문 정보를 수신할 수 있다. 일부 양태들에서, 방문 정보는 지향 정보에 노출되지 않은 하나 이상의 사용자(예를 들어, 노출되지 않은 사용자)에 대한 정보를 추가적으로 포함할 수 있다. 방문 정보는 컴퓨팅 디바이스(102)와 같은 하나 이상의 컴퓨팅 디바이스, 또는 데이터 저장소(208)와 같은 하나 이상의 데이터 소스로부터 수신될 수 있다. 적어도 하나의 특정 예에서, 방문 정보는 장소 및 위치에 대한 사용자 방문 패턴을 기록하는 상황 인식 엔진으로부터 수집될 수 있다. 방문 정보는, 예를 들어, 사용자 및/또는 장치 식별 데이터, 사용자 인구통계학적 데이터, 사용자 방문 및/또는 체류 데이터, 날짜/시간 데이터, 사용자 행동 데이터 등을 포함할 수 있다. 양태들에서, 데이터 수집 구성 요소는 또한 하나 이상의 데이터 소스들로부터 사용자들과 연관된 노출 정보를 수신할 수 있다. 노출 정보는, 예를 들어, 지향 정보 식별 데이터, 지향 정보 노출 날짜/시간, 사용자 및/또는 디바이스 식별 데이터 등을 포함할 수 있다.

일부 양태들에서, 수신된 방문 정보 및/또는 노출 정보는 특정 특징들 또는 속성들을 갖는 사용자들의 세트에 대응할 수 있다. 사용자 세트의 특징은 도 3의 방법(300)에 설명된 예측 모델을 훈련하는 데 사용되는 훈련 데이터 세트의 특징과 동일(또는 실질적으로 유사)할 수 있다. 예를 들어, 예측 모델은 훈련 데이터 세트에서 사용자의 5가지 특징(예를 들어, 연령, 성별, 대도시 지역, 최근 방문, 언어)을 사용하여 훈련될 수 있다. 결과적으로, 훈련 데이터의 각 사용자에 대해, 훈련 데이터의 사용자와 매칭되는(또는 유사한) 특징을 가진 하나 이상의 사용자가 식별될 수 있고, 식별된 사용자의 세트에 대한 방문 정보가 수신/수집될 수 있다. 적어도 하나의 양태에서, 수신된 방문 정보 및/또는 노출 정보는 병합될 수 있다. 정보를 병합하는 것은 정보의 다양한 특징을 식별하고 정보를 하나 이상의 그룹으로 그룹화하는 것을 포함할 수 있다. 정보를 병합하는 것은 또한 도 3의 방법(300)에 설명된 바와 같이 특징 및/또는 그룹에 대한 값을 생성하는 것을 포함할 수 있다.

동작(404)에서, 기여 기간이 식별될 수 있다. 양태들에서, 노출된 사용자들에게 노출된 지향 정보에 대한 기여 기간이 식별될 수 있다. 기여 기간은 지향 정보 노출 데이터와 노출 날짜 이후의 날짜들의 수를 포함할 수 있다. 예시들에서, 기여 기간은 지향 정보의 관리 또는 관리와 연관된 사용자에 의해 사전 선택될 수 있다. 다른 예에서, 기여 기간은 데이터 수집 구성 요소 또는 방문 예측 시스템의 구성 요소에 의해 사전 정의될 수 있다. 또 다른 예에서, 기여 기간은 수신된 방문 정보 및/또는 노출 정보에 기초하여 동적으로 결정될 수 있다. 예를 들어, 하나 이상의 ML 기술은 사용자가 지향 정보에 노출된 후 지향 정보의 영향이 통계적으로 관련성을 유지하는 기간을 정의하는 데 사용될 수 있다. ML 기술은 지향 정보 노출 날짜로부터 더 먼 날에 대해 지향 정보의 감소되는 관련성 영향을 나타내기 위해 기여 기간의 각각의 날짜에 값을 할당할 수 있다.

동작(406)에서, 수신된 정보는 예측 모델에 대한 입력으로서 제공될 수 있다. 양태들에서, 수신된 방문 정보, 노출 정보 및/또는 대응하는 특징 및 그룹 데이터는 예측 모델(206)과 같은 예측 모델에 대한 입력으로서 제공될 수 있다. 예측 모델은, 예를 들어, 수신된 정보에서 식별된 사용자가 특정 날짜에 위치/장소를 방문했는지 여부 또는 그 확률을 결정하도록 훈련된 이진 로지스틱 회귀 분석 모델일 수 있다. 예를 들어, 예측 모델에 입력된 정보는 사용자 및/또는 날짜에 해당하는 그룹으로 그룹화될 수 있다. 각 그룹의 특징 데이터는 예측 모델에 제공될 수 있다. 결과적으로, 예측 모델은 특정 사용자가 특정 날짜에 타겟 장소 또는 위치를 방문했을 확률을 출력할 수 있다. 양태들에서, 예측 모델에 의해 출력된 확률은 위치 또는 장소에 대한 총 예상 방문율을 나타내는 값을 계산하기 위해 합산될 수 있다. 총 예상 방문율은 예측 모델에 입력된 정보에 표시된 사용자가 지향 정보에 노출되지 않았다는 가정에 기초할 수 있다.

동작(408)에서, 위치 또는 장소에 대한 실제 방문율이 결정될 수 있다. 양태들에서, 기여 기간 동안 사용자에 의해 발생한 실제 방문의 총 수가 식별될 수 있다. 예시들에서, 실제 방문의 총 수는 지향 정보에 노출된 사용자의 수, 지향 정보에 노출되지 않은 사용자의 수, 또는 이들의 일부 조합에 대응할 수 있다. 실제 방문의 총 수를 식별하는 것은 하나 이상의 서비스 및/또는 원격 데이터 소스를 쿼리하는 것을 포함할 수 있다. 대안적으로, 실제 방문의 총 수를 식별하는 것은 인터페이스를 사용하여 사용자에 의해 수동으로 입력된 입력을 수신하는 것을 포함할 수 있다.

동작(410)에서, 방문율 상승도가 계산될 수 있다. 양태들에서, 실제 방문의 총 수(예를 들어, 총 실제 방문율)는 지향 정보의 방문율 상승도(예를 들어, 지향 정보에 기인하는 방문율의 백분율 증가)를 계산하기 위해 총 예상 방문율에 대해 평가될 수 있다. 하나의 특정 예에서, 방문율 상승도는 다음 방정식을 사용하여 계산될 수 있다:

위의 식과 관련하여, d는 단일 적격 날짜(사용자와 날짜를 모두 나타내며, 사용자는 해당 날짜 이전의 최근에 지향 정보에 노출됨); D는 분석에서 모든 적격(D) 날짜들의 세트이다; 방문?(d)는 d로 인코딩된 사용자가 해당 날짜에 대상 체인을 방문했는지 여부이다; 방문 확률?(d)는 노출되지 않은 사용자가 날짜(d)에 방문할 확률이다; 방문_실제는 적격 날짜에 실제로 발생한 총 방문 수이다; 방문_추정은 적격 날짜에 노출되지 않은 사용자에 의해 발생한 총 예상 방문수이다.

선택적인 동작(412)에서, 방문 상승율을 계산하는 것에 응답하여 하나 이상의 동작이 수행될 수 있다. 양태들에서, 방문 상승률을 계산하는 것에 응답하여, 하나 이상의 동작 또는 이벤트가 수행될 수 있다. 동작/이벤트는 보고서 생성, 예측 모델에 정보 제공, 둘 이상의 예측 모델 결과 비교, 계산된 방문 상승률에 대한 하나 이상의 신뢰 구간 계산, 다양한 특징 및/또는 특징 값의 통계적 중요성 조정 등을 포함할 수 있다. 하나의 구체적인 예로서, 지향 정보의 유효성을 측정하는 보고서가 생성되어 하나 이상의 사용자에게 표시될 수 있다. 보고서에는 분석된 다양한 특징, 방문 행동에 대한 특징의 추정된 인과성 영향 및/또는 방문 예측 분석이 수행된 기여 기간이 포함될 수 있다.

도 5는 도 1에서 설명된 장소 검출 시스템을 위한 예시적인 적합한 운영 환경을 도시한다. 방문 예측 시스템의 가장 기본적인 구성에서, 운영 환경(500)은 일반적으로 적어도 하나의 프로세싱 유닛(502)과 메모리(504)를 포함한다. 컴퓨팅 디바이스의 정확한 구성 및 타입에 의존하여, (여기에서 개시되는 방문 예측 실시예들을 수행시키기 위한 명령어들을 저장하는) 메모리(504)는 (RAM과 같은) 휘발성, (ROM, 플래시 메모리 등과 같은) 비휘발성, 또는 이 2개의 조합일 수 있다. 이 가장 기본적인 구성은 도 5에서 점선 506으로 도시되어 있다. 이에 더하여, 환경(500)은 또한 자기 또는 광 디스크 또는 테이프를 포함하지만 이것들로 제한되지 않는 저장 디바이스(분리형(508) 및/또는 비분리형(510))를 포함할 수 있다. 마찬가지로, 환경(500)은 또한 키보드, 마우스, 펜, 음성 입력 등과 같은 입력 디바이스(들)(514) 및/또는 디스플레이, 스피커, 프린터 등과 같은 출력 디바이스(들)(516)를 가질 수 있다. 또한 이 환경에는 LAN, WAN, 포인트 투 포인트(point to point) 등과 같은 하나 이상의 통신 접속(512)이 포함될 수 있다. 실시예들에서, 접속들은 포인트 투 포인트 통신, 접속-지향 통신, 비접속 통신 등을 사용할 수 있도록 동작할 것이다.

운영 환경(500)은 일반적으로 적어도 컴퓨터 판독 가능 매체의 어떤 형태를 포함한다. 컴퓨터 판독 가능 매체는 프로세싱 유닛(502) 또는 운영 환경을 포함하는 다른 디바이스에 의해 액세스 될 수 있는 임의의 이용 가능한 매체일 수 있다. 예로서, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있으며, 이로 제한되는 것은 아니다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보의 저장소를 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 다른 광학 저장소, 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장소 디바이스, 또는 원하는 정보를 저장하는데 사용할 수 있는 기타 비일시적인 매체를 포함한다. 컴퓨터 저장 매체에는 통신 매체가 포함되지 않는다.

통신 매체는 반송파 또는 다른 전송 메카니즘과 같이 변조된 데이터 신호에 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터를 포함시키며, 임의의 정보 전달 매체를 포함한다. 용어 "변조된 데이터 신호"는 하나 이상의 특성값 세트를 갖거나 그 신호의 정보를 인코딩하는 이런 방식으로 변환된 신호를 의미한다. 예로서, 통신 매체는 유선 네트워크 또는 직접-유선 접속과 같은 유선 매체, 및 음향, RF, 적외선, 마이크로파 및 다른 무선 매체와 같은 무선 매체를 포함하지만, 이로 제한되는 것은 아니다. 상술된 것 중 임의의 조합도 컴퓨터 판독 가능 매체의 범위 내에 포함되어야 한다.

운영 환경(500)은 하나 이상의 원격 컴퓨터로의 논리적 접속을 이용하는 네트워크 환경에서 동작하는 하나의 컴퓨터일 수 있다. 원격 컴퓨터는 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 디바이스 또는 다른 공통 네트워크 노드일 수 있으며, 일반적으로 위에서 설명한 많은 또는 모든 요소들뿐만 아니라 언급되지 않은 그 밖의 것들도 포함한다. 논리적 접속은 이용 가능한 통신 매체에 의해 지원되는 임의의 방법을 포함할 수 있다. 이러한 네트워킹 환경들은 사무실, 기업 전체의 컴퓨터 네트워크, 인트라넷 및 인터넷에서 일반적이다.

여기서 설명되는 실시예들은 여기에서 개시된 시스템 및 방법을 구현 및 수행하기 위해, 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합을 이용하여 사용될 수 있다. 특정 디바이스가 본 명세서의 전반에서 특정 기능을 수행하는 것으로서 언급되었지만, 당업자는 이 디바이스들이 예시적 목적으로 제공된 것이며, 다른 디바이스들이 본 명세서의 범위를 벗어나지 않으면서 여기에서 개시된 기능들을 수행하기 위해 사용될 수 있다는 것을 이해할 것이다.

본 명세서는 가능한 실시예의 일부만이 도시된 첨부 도면을 참조하여 본 기술의 일부 실시예를 설명한다. 그러나, 다른 양태들이 많은 상이한 형태로 구체화 될 수 있으며, 본 명세서에 설명된 실시예들로 제한되는 것으로 해석되어서는 안 된다. 오히려, 이러한 실시예들은 본 명세서가 당업자에게 가능한 실시예들의 범위를 완전하고 완벽하고 충분하게 전달되도록 하기 위해, 제공되었다.

특정 실시예들이 여기에서 설명되었지만, 이 기술의 범위는 이들 특정 실시예들로 제한되지 않는다. 당업자는 본 기술의 범위 및 사상 내에 있는 다른 실시예 들 또는 개선예들을 알 것이다. 따라서, 특정 구조, 동작 또는 매체는 예시적인 실시예로서만 개시된다. 기술의 범위는 후술하는 청구 범위 및 그것의 등가물에 의해 규정된다.

Claims

하나 이상의 프로세서; 및
상기 하나 이상의 프로세서 중 적어도 하나에 연결된 메모리를 포함하고,
상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행되었을 때, 방법을 수행하는 컴퓨터 실행가능 명령어들을 포함하며,
상기 방법은:
하나 이상의 사용자와 연관된 방문 정보를 수신하고;
지향 정보(directed information)와 관련된 노출 정보를 수신하고 - 상기 노출 정보는 상기 하나 이상의 사용자의 적어도 일부와 연관됨 -;
상기 방문 정보와 상기 노출 정보를 병합하여 병합된 데이터를 생성하고 - 상기 병합된 데이터는 특징들의 세트를 포함함 -;
상기 특징들의 세트를 그룹들의 세트로 그룹화하고;
상기 특징들의 세트에 대해 하나 이상의 특징 값을 할당하고;
상기 그룹들의 세트에 대해 하나 이상의 그룹 값을 할당하고; 그리고
상기 병합된 데이터를 사용하여 머신 러닝 모델을 훈련하는 것을 포함하는 시스템.
청구항 1에 있어서,
상기 방문 정보는 사용자 식별 데이터, 인구통계학적 데이터 또는 사용자 방문 행동 데이터 중 적어도 2개를 포함하는 시스템.
청구항 1에 있어서,
상기 노출 정보는 지향 정보 식별 데이터, 지향 정보 노출 데이터, 또는 사용자 식별 데이터 중 적어도 2개를 포함하는 시스템.
청구항 1에 있어서,
상기 병합된 데이터를 생성하는 것은 상기 방문 정보의 일부를 상기 노출 정보의 일부와 매칭시키는 것을 포함하는 시스템.
청구항 1에 있어서,
상기 특징 세트를 그룹화하는 것은 사용자 또는 날짜 중 적어도 하나에 따라 그룹들의 세트를 구성하는 것을 포함하는 시스템.
청구항 5에 있어서,
상기 그룹들의 세트 상기 사용자 또는 상기 날짜 중 적어도 하나에 따라 이름이 할당되는 시스템.
청구항 1에 있어서,
상기 하나 이상의 특징 값을 할당하는 것은 사용자 방문 행동에 대한 노출 정보 특징의 인과적 영향을 나타내는 값을 계산하는 것을 포함하는 시스템.
청구항 1에 있어서,
상기 하나 이상의 그룹 값을 할당하는 것은 사용자가 지정된 날짜에 위치를 방문했는지 여부를 나타내는 방문 표시 값을 결정하는 것을 포함하는 시스템.
청구항 1에 있어서,
상기 하나 이상의 그룹 값을 할당하는 것은 사용자가 상기 지향 정보에 노출되었는지 여부를 나타내는 노출 표시 값을 결정하는 단계를 포함하는 시스템.
청구항 1에 있어서,
상기 머신 러닝 모델은 상기 병합된 데이터에서 식별된 상기 하나 이상의 사용자가 지정된 날짜에 위치를 방문했을 확률을 결정하는 데 사용되는 이진 로지스틱 회귀 분석 모델(binary logistic regression model)인 시스템.
하나 이상의 프로세서; 및
상기 하나 이상의 프로세서 중 적어도 하나에 연결된 메모리를 포함하고,
상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행되었을 때, 방법을 수행하는 컴퓨터 실행가능 명령어들을 포함하며,
상기 방법은:
하나 이상의 사용자와 연관된 방문 정보를 수신하고 - 상기 하나 이상의 사용자는 지향 정보에 노출됨 -;
상기 지향 정보와 관련된 노출 정보를 수신하고 - 상기 노출 정보는 상기 하나 이상의 사용자의 적어도 일부와 연관됨 -;
상기 지향 정보와 연관된 기여 기간(attribution window)을 식별하고;
상기 하나 이상의 사용자에 대한 예상 방문율을 계산하기 위해 머신 러닝 모델에 상기 기여 기간 내의 상기 방문 정보 및 상기 노출 정보를 제공하고;
상기 하나 이상의 사용자에 대한 실제 방문율을 결정하고; 그리고
방문 상승률을 계산하기 위해 상기 실제 방문율에 대해 상기 예상 방문율을 평가하는 것을 포함하는 시스템.
청구항 11에 있어서,
상기 방문 정보는 위치에 대한 사용자 방문 패턴을 기록하는 상황 인식 엔진으로부터 수집되는 시스템.
청구항 11에 있어서,
상기 기여 기간은 상기 지향 정보에 대한 노출 날짜 및 상기 노출 날짜 이후의 일수를 정의하는 시스템.
청구항 11에 있어서,
상기 머신 러닝 모델은 이진 로지스틱 회귀 분석 모델인 시스템.
청구항 11에 있어서,
상기 예상 방문율은 상기 하나 이상의 사용자가 하나 이상의 날짜에 하나 이상의 위치를 방문할 확률을 나타내는 시스템.
청구항 11에 있어서,
상기 실제 방문율은 상기 기여 기간 동안 사용자에 의해 실제로 발생한 방문의 수를 나타내는 시스템.
청구항 11에 있어서,
상기 방문 상승률은 상기 지향 정보에 기인하는 방문율의 백분율 증가를 나타내는 시스템.
청구항 11에 있어서,
상기 방문 상승률을 계산하는 것은 상기 실제 방문율을 상기 예상 방문율로 나누는 것을 포함하는 시스템.
청구항 11에 있어서,
상기 방법은:
상기 방문 상승률을 계산하는 것에 응답하여, 하나 이상의 동작을 수행하는 것을 더 포함하며, 상기 하나 이상의 동작은 보고서를 자동으로 생성하는 것을 포함하는 시스템.
하나 이상의 사용자와 연관된 방문 정보를 수신하고 - 상기 하나 이상의 사용자는 지향 정보에 노출됨 -;
상기 지향 정보와 관련된 노출 정보를 수신하고 - 상기 노출 정보는 상기 하나 이상의 사용자의 적어도 일부와 연관됨 -;
상기 지향 정보와 연관된 기여 기간을 식별하고;
상기 하나 이상의 사용자에 대한 예상 방문율을 계산하기 위해 머신 러닝 모델에 상기 기여 기간 내의 상기 방문 정보 및 상기 노출 정보를 제공하고;
상기 기여 기간 동안 사용자의 실제 방문율을 결정하고; 그리고
상기 예상 방문율과 상기 실제 방문율을 사용하여 방문 상승률을 계산하는 것을 포함하는 - 상기 방문 상승률은 상기 지향 정보에 대한 노출에 기인하는 방문율의 증가를 나타냄- 방법.