KR102031271B1

KR102031271B1 - 콘텐트 검색 엔진

Info

Publication number: KR102031271B1
Application number: KR1020177031611A
Authority: KR
Inventors: 빈 리우; 아란약 메타; 시 탄; 크리스토퍼 케이. 해리스; 사무엘 스제 밍 이옹; 가브리엘 플로린 콘스탄틴
Original assignee: 구글 엘엘씨
Priority date: 2017-02-27
Filing date: 2017-05-22
Publication date: 2019-10-11
Also published as: CN108811513B; WO2018156186A1; US20180246966A1; JP6629883B2; EP3539009A1; EP3539009B1; JP2019511017A; CN108811513A; US10747825B2; KR20180106847A

Abstract

예측된 컴퓨터화된 렌더링 기간에 기초하여 질의를 실행할지 여부를 결정하기 위해 컴퓨터 저장 매체 상에 인코딩된 컴퓨터 프로그램을 포함하여, 방법, 시스템, 디바이스가 제공된다. 상기 방법은 질의를 수신하는 동작, 상기 질의에 기초하여 상기 하나 이상의 피처들의 세트를 결정하는 동작, 질의 벡터를 생성하는 동작, 상기 질의 벡터를 머신 학습 모델에 제공하는 동작, 상기 머신 학습 모델의 출력에 기초하여, 그 각각이 상기 질의 벡터에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 충족하는지를 나타내는 제 1 데이터를 수신하는 동작, 상기 제 1 데이터에 기초하여, 그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족하지 않는 경우를 결정하는 동작, 및 검색 엔진을 이용하여 상기 수신된 질의를 실행하지 않기로 결정하는 동작을 포함한다.

Description

콘텐트 검색 엔진

일반적으로, 본 발명은 검색 엔진에 관한 것이다.

일반적으로, 검색 엔진은 질의를 실행하고 저장된 데이터를 검색하는 임의의 프로그램으로 설명될 수 있다. 그러나 당면 과제를 기반으로 검색 엔진은 다양한 방법들로 구성될 수 있다. 예를 들어, 일부 검색 엔진은 키워드 기반의 검색 및 회수를 수행하도록 구성될 수 있다. 이러한 검색 엔진은 검색 용어가 특정 리소스 또는 특정 리소스의 메타 데이터에 나타나는 횟수에 적어도 부분적으로 기초하여 관련 검색 결과를 식별할 수 있다. 대안적으로, 또는 부가적으로, 일부 검색 엔진은 하나 이상의 검색 용어들과 연관된 엔티티 이름을 식별하고 그리고 하나 이상의 특정 리소스들에서 엔티티 이름의 출현 횟수를 결정함으로써 관련 검색 결과를 식별할 수 있다. 그러나, 검색 엔진이 질의에 응답하는 검색 결과를 식별할 수 있는 전술한 방법은 단지 일례일 뿐이다.

본 개시의 일 양태에 따르면, 예측된 컴퓨터화된 렌더링 기간에 기초하여 질의를 실행할지 여부를 결정하는 방법이 개시된다. 상기 방법은 하나 이상의 서버 컴퓨터들에 의해서, 클라이언트 디바이스로부터 유래된 질의를 수신하는 단계, 상기 질의는 데이터베이스에 저장된 하나 이상의 콘텐트 아이템에 대한 요청을 포함하며; 상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 질의에 기초하여 하나 이상의 피처들의 세트를 결정하는 단계; 상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 하나 이상의 피처들의 세트에 기초하여 질의 벡터를 생성하는 단계; 상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 질의 벡터를 머신 학습 모델에 제공하는 단계, 상기 머신 학습 모델은 그 각각이 상기 질의 벡터에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 컴퓨터화된 렌더링 기간이 기결정된 임계값을 충족하는지의 여부를 나타내는 출력을 제공하도록 트레이닝되며; 그리고 상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 머신 학습 모델의 출력에 기초하여, 그 각각이 상기 질의 벡터에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 충족하는지를 나타내는 제 1 데이터를 수신하는 단계; 상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 제 1 데이터에 기초하여, 그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족하지 않는 경우를 결정하는 단계; 상기 하나 이상의 서버 컴퓨터들에 의해서, 그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족하지 않는다라고 결정하는 것에 응답하여, 검색 엔진을 이용하여 상기 수신된 질의를 실행하지 않기로 결정하는 단계를 포함한다.

다른 버전은 컴퓨터 저장 디바이스 상에 인코딩된 방법의 동작들을 수행하기 위한 대응하는 시스템, 장치 및 컴퓨터 프로그램을 포함한다.

본 발명의 다른 양태에 따르면, 예측된 컴퓨터화된 렌더링 기간에 기초하여 질의를 실행할지 여부를 결정하는 시스템이 개시된다. 상기 시스템은 클라이언트 디바이스로부터 유래된 질의를 수신하는 수신 유닛, 상기 질의는 데이터베이스에 저장된 하나 이상의 콘텐트 아이템에 대한 요청을 포함하며; 피처 추출 유닛, 상기 피처 추출 유닛은, 상기 질의에 기초하여 하나 이상의 피처들의 세트를 결정하고; 상기 하나 이상의 피처들의 세트에 기초하여 질의 벡터를 생성하고; 상기 질의 벡터를 머신 학습 모델에 제공하며, 상기 머신 학습 모델은 그 각각이 상기 질의 벡터에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 컴퓨터화된 렌더링 기간이 기결정된 임계값을 충족하는지의 여부를 나타내는 출력을 제공하도록 트레이닝되며; 그리고 컴퓨터화된 렌더링 기간 분석 유닛을 포함하고, 상기 컴퓨터화된 렌더링 기간 분석 유닛은, 상기 머신 학습 모델의 출력에 기초하여, 그 각각이 상기 질의 벡터에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 충족하는지를 나타내는 제 1 데이터를 수신하고; 상기 제 1 데이터에 기초하여, 그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족하지 않는 경우를 결정하고; 그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족하지 않는다라고 결정하는 것에 응답하여, 검색 엔진을 이용하여 상기 수신된 질의를 실행하지 않기로 결정한다.

이들 및 다른 버전들은 선택적으로 다음의 특징들 중 하나 이상을 포함할 수 있다. 예를 들어, 일부 구현예에서, 상기 방법은 상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 제 1 데이터에 기초하여, 그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족하는 경우를 결정하는 단계; 및 상기 하나 이상의 서버 컴퓨터들에 의해서, 그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족한다라고 결정하는 것에 응답하여, 검색 엔진을 이용하여 상기 수신된 질의를 실행하기로 결정하는 단계를 더 포함할 수 있다.

일부 구현예에서, 하나 이상의 피처들은 질의를 발생시킨 어플리케이션을 기술하는 컨텍스트 정보로부터 도출될 수 있다.

일부 구현예에서, 머신 학습 모델은 그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족시킬 가능성이 있는지를 나타내는 출력을 제공하도록 트레이닝될 수 있다.

일부 구현예에서, 머신 학습 모델은 로지스틱 회귀 모델을 포함한다.

일부 구현 예에서, 기결정된 임계값은 1 초의 시간 기간을 포함한다.

일부 구현예에서, 상기 방법은 하나 이상의 서버 컴퓨터에 의해 클라이언트 디바이스의 사용자 인터페이스에서 디스플레이를 위해 하나 이상의 콘텐트 아이템을 제공하는 단계를 더 포함한다.

종래의 검색 엔진은 전형적으로 질의를 수신하고 실행한다. 그러나 검색 엔진에 의해 수신된 모든 질의를 실행하게 되면 계산 리소스를 비효율적으로 사용할 수 있다. 따라서, 본 명세서에 따라 프로그램된 시스템을 사용하여 질의들을 선택적으로 실행함으로써, 본 명세서에 따라 프로그래밍되지 않은 시스템에 의해 사용되는 검색 엔진에 비하여, 검색 엔진의 효율성을 증가시킬 수 있다. 또한, 본 명세서에 따라 프로그램된 시스템은 검색 엔진을 호스팅하는 하나 이상의 서버들 뿐만 아니라 검색 엔진을 호스팅하는 서버 및 하나 이상의 클라이언트 디바이스들과 하나 이상의 서버들 간의 통신을 용이하게 하는데 이용되는 네트워크와 상호작용하는 하나 이상의 클라이언트 디바이스들의 효율성을 향상시킬 수 있다.

예를 들어, 검색 엔진은 상이한 클라이언트 디바이스들로부터 수 백만개의 질의들을 수신할 수 있다. 본 명세서에 의해 제공되는 시스템 및 방법을 사용하여 상기 질의들의 일부만을 선택적으로 실행함으로써, 시스템은 검색 엔진을 사용하여 프로세싱 및 실행될 필요가 있는 질의의 수를 감소시킬 수 있다. 검색 엔진에 의해 프로세싱되고 실행되는 질의의 양에 있어서의 이러한 감소는, 검색 엔진을 호스팅하는 하나 이상의 서버들에 의해 소비되는 계산 리소스의 양을 현저하게 감소시킬 수 있다.

수신된 질의의 일부만을 선택적으로 실행하는 것은, 검색 엔진을 호스팅하는 하나 이상의 서버들이 모든 질의에 응답하여 검색 결과들을 스코어링하고 랭킹할 필요가 없음을 의미한다. 검색 결과를 스코어링하고 랭킹하는 것은 계산 집약적인 작업이다. 따라서, 수신된 질의의 일부만을 선택적으로 실행하는 것은, 검색 엔진을 호스팅하는 하나 이상의 서버들이, 검색 결과를 스코어링하고 랭킹하는 계산 집약적인 작업을 수행해야만 하는 횟수를 감소시킨다. 결과적으로, 검색 엔진을 호스팅하는 하나 이상의 서버들의 성능은 수신된 질의의 일부만을 선택적으로 실행함으로써 향상될 수 있고 더 효율적으로 될 수 있다.

본 개시 내용은 단지 검색 엔진을 호스팅하는 하나 이상의 서버가 아닌 시스템의 다른 측면을 개선한다. 예를 들어, 질의들을 선택적으로 실행하게 되면, 검색 엔진을 호스팅하는 하나 이상의 서버들이 수신된 모든 질의들에 응답하여 검색 결과들을 전송하지 않게할 것이다. 따라서, 예를 들어, 모바일 디바이스의 스크린 상에 하나 이상의 검색 결과들을 의미있게 디스플레이하는데 충분한 시간이 없을 때, 하나 이상의 검색 결과들을 클라이언트 디바이스(예를 들어, 모바일 디바이스)에 회신하지 않음으로써, 더 적은 네트워크 대역폭이 사용된다. 검색 엔진을 호스팅하는 하나 이상의 서버가 검색 결과를 클라이언트 디바이스로 전송하기 위해 네트워크 대역폭을 덜 사용하기 때문에, 네트워크를 사용하여 하나 이상의 디바이스의 화면에 표시될 다른 데이터를 전송하는데, 네트워크를 사용하여 다른 데이터를 다른 디바이스들로 전송하는데, 네트워크를 사용하여 하나 이상의 디바이스로부터 데이터를 수신하는데, 기타 등등을 위해 더 많은 네트워크 대역폭을 사용할 수 있다.

또한, 본 개시는 심지어 클라이언트 디바이스(예컨대, 모바일 디바이스) 리소스들이 사용되는 효율성을 향상시킬 수 있다. 예를 들어, 클라이언트 디바이스의 스크린 상에 하나 이상의 검색 결과를 의미있게 표시하기 위한 충분한 시간이 없을 때, 데이터를 다운로드하거나, 데이터를 렌더링, 기타 등등을 할 필요가 없기 때문에 클라이언트 디바이스 리소스들이 보존된다. 따라서, 이들 클라이언트 디바이스 리소스들이 다른 작업에서 사용될 수 있도록 프리하게 될 수 있다. 또한, 본 명세서에 개시되는 시스템 및 방법으로 인해 클라이언트 디바이스에 의해 달성되는 효율 이득은 클라이언트 측 메모리를 자유롭게 하고 배터리 전력을 보존할 수 있게 한다.

본 명세서에서 설명된 본 발명의 하나 이상의 실시예들의 세부 사항은 첨부된 도면들 및 이하의 설명에서 설명된다. 본 발명의 다른 특징, 양상 및 장점은 상세한 설명, 도면 및 청구 범위로부터 명백해질 것이다.

도 1은 예측된 컴퓨터화된 렌더링 기간에 기초하여 질의를 실행할지의 여부를 결정하기 위한 시스템의 예시적인 도면이다.
도 2는 예측된 컴퓨터화된 렌더링 기간에 기초하여 질의를 실행할지의 여부를 결정하기 위한 프로세스의 예시적인 순서도이다.
도 3은 예측된 컴퓨터화된 렌더링 기간에 기초하여 질의를 실행할지의 여부를 결정하기 위한 시스템의 구성요소들의 블록도이다.
이들 및 다른 구현예의 세부 사항은 첨부된 도면들 및 이하의 설명에서 설명된다. 다른 특징 및 이점은 상세한 설명 및 도면 및 청구 범위로부터 명백해질 것이다.

본 발명은 각각의 질의의 결과들에 이용가능한 컴퓨터화된 렌더링 기간(computerized rendering period)에 상관없이 모든 질의들을 실행하는 검색 및 회수(search and retrieval) 시스템의 효율성에 비하여, 예측된 컴퓨터화된 렌더링 기간(predicted computerized rendering period)을 사용함으로써 검색 및 회수의 효율성을 증가시킨 검색 및 회수 시스템에 관한 것이다. 컴퓨터화된 렌더링 기간은 질의에 응답하여 반환된 콘텐트 아이템이 디스플레이되는, 시각적으로 인지되는, 및/또는 클라이언트 디바이스의 컴퓨터화된 사용자 인터페이스에 렌더링되는 시간량이다. 예컨대, 인상 기간(impression duration)을 포함하는, 다양한 유형의 컴퓨터 렌더링 기간들이 존재한다. 검색 및 회수 시스템은 또한 수신된 질의에 기초하여, 수신된 질의가 기결정된 임계값을 초과하는 컴퓨터 렌더링 기간을 가질 가능성이 있는지를 예측하고 그리고 수신된 질의와 관련된 컴퓨터 렌더링 기간이 기결정된 임계값을 충족하지 못할 것으로 예상된다면 수신된 질의를 실행하지 않는 것으로 결정함으로써 검색 및 회수의 효율을 증가시킨다. 예를 들어, 본 발명에 의해 제공되는 방법을 수행하도록 프로그램된 시스템은, 예측된 컴퓨터화된 렌더링 기간이 1 초 이하라면 콘텐트 아이템을 요청하는 질의를 실행하지 않기로 결정할 수 있다.

본 발명은 각각의 질의의 결과들에 대해 이용가능한 컴퓨터화된 렌더링 기간에 상관없이 모든 질의들을 실행하는 검색 및 회수 시스템의 효율성에 비하여, 검색 및 회수 시스템에 의해 소비되는 컴퓨팅 리소스를 감소시킴으로써 검색 및 회수 시스템의 효율성을 증가시킨다. 본 발명은 검색 및 회수 시스템에 의해 소비되는 프로세싱 파워의 양을 감소시키는데, 왜냐하면 소정의 임계값을 만족하지 못할 가능성이 있는 컴퓨터화된 렌더링 기간과 질의가 관련된다라고 검색 및 회수 시스템이 예측하는 경우, 수신된 질의들이 실행되지 않기 때문이다. 또한, 이러한 질의들에 대한 검색 결과들이 스코어링되고 랭킹될 필요가 없으므로, 추가적인 계산 리소스들이 보존된다. 이러한 검색 결과 스코어링 및 랭킹 프로세스는 리소스 집약적이며, 그리고 이러한 검색 결과 스코어링 및 랭킹 프로세스의 실행을 회피하는 것은, 특정한 수신된 질의들의 실행을 회피하기 위해 예측된 컴퓨터화된 렌더링 기간을 사용하지 않는 시스템에 비하여, 계산 리소스들의 사용을 상당히 최적화시킬 수 있다.

도 1은 예측된 컴퓨터화된 렌더링 기간에 기초하여 질의를 실행할지의 여부를 결정하기 위한 시스템(100)(예를 들어, 검색 및 회수 시스템)의 일례에 대한 도면이다. 시스템(100)은 클라이언트 디바이스(110), 네트워크(120), 서버(130) 및 클라이언트 디바이스(210)를 포함한다. 비록, 본 명세서에 제공된 시스템(100)의 일례는 2개의 클라이언트 디바이스들(110, 210)을 포함하고 있지만, 본 발명에 이에 한정되지 않는다. 대신에, 본 명세서에 서술된 시스템은, 오직 하나의 클라이언트 디바이스 또는 3개 이상의 클라이언트 디바이스와 함께 사용될 수 있다.

서버(130)는 하나 이상의 유닛을 포함할 수 있다. 본 명세서에서, "유닛"이라는 용어는 하나 이상의 특정 기능을 수행할 수 있는 소프트웨어 기반 시스템 또는 서브 시스템을 지칭하기 위해 광범위하게 사용될 것이다. 일반적으로, 유닛은 하나 이상의 소프트웨어 모듈들 또는 구성 요소들로 구현되며 하나 이상의 위치에 있는 하나 이상의 컴퓨터들 상에 설치된다. 다른 경우에는 다수의 유닛들이 동일한 컴퓨터나 컴퓨터들에 설치될 수 있다.

클라이언트 디바이스(110)와 같은 클라이언트 디바이스의 사용자는 어플리케이션을 열기 위한 명령을 입력할 수 있다. 예를 들어, 사용자는 날씨 어플리케이션의 오프닝을 시작하는, 클라이언트 디바이스(110)의 사용자 인터페이스에 표시된 아이콘을 선택할 수 있다. 대안적으로, 사용자는 날씨 어플리케이션을 열기 위해 클라이언트 디바이스(110) 상에 설치되고 실행되는 자동화된 어시스턴트 어플리케이션을 지시하는 음성 명령을 발할 수 있다. 날씨 어플리케이션을 오픈하면, 클라이언트 디바이스(110)의 사용자 인터페이스에 그래픽 사용자 인터페이스(111)가 디스플레이된다. 사용자 인터페이스(111)가 생성됨에 따라, 어플리케이션은 특정 위치의 현재 온도(112) 및 특정 위치에 대한 하나 이상의 미래 온도(113)와 관련된 데이터를 획득하도록 디바이스(110)에 명령한다. 또한, 어플리케이션은 그래픽 사용자 인터페이스(111)의 영역(114)에 디스플레이될 수 있는 콘텐트 아이템에 대한 질의(121)를 서버(130)로 전송하도록 클라이언트 디바이스(110)에게 명령한다. 질의(121)에 의해 요청된 콘텐트 아이템은 예를 들어 이미지, 비디오, 텍스트, 또는 이들의 조합 등을 포함할 수 있다. 일부 구현 예에서, 콘텐트 아이템은 제품, 서비스, 이벤트 등에 대한 광고를 포함할 수 있다. 질의(121)는 네트워크(120)를 통해 전송될 수 있다. 네트워크(120)는 LAN, WAN, 셀룰러 네트워크, 인터넷, 또는 이들의 조합을 포함할 수 있다.

서버(130)는 질의(121)를 수신하고 피처 추출 유닛(132)에 대한 입력으로서 질의(121)를 제공한다(131). 일부 구현예에서, 서버(130)는 질의 수신 유닛을 가질 수 있는바, 질의 수신 유닛은, 피처 추출 유닛(132)과는 별개이며, 클라이언트 디바이스들(110, 210)로부터 데이터를 수신하고 그리고 수신된 데이터의 하나 이상의 부분들을 피처 추출 유닛(132)으로 제공하도록 기능한다. 대안적으로, 질의 수신 유닛의 기능은 피처 추출 유닛(132) 내에 통합될 수 있으며 따라서 피처 추출 유닛은 별도의 질의 수신 유닛이 필요없이 질의(121)를 수신할 수 있다.

수신된 질의(121)는 (i) 하나 이상의 질의 용어들(query terms) 및(ii) 클라이언트 디바이스(110)의 현재 컨텍스트와 관련된 데이터를 포함할 수 있다. 클라이언트 디바이스(110)의 현재 컨텍스트는 예를 들어, 질의(121)를 생성 한 어플리케이션을 나타내는 데이터, 사용자의 어플리케이션 사용 이력을 나타내는 데이터, 기타 등등을 포함할 수 있다. 피처 추출 유닛(132)은 질의(121)로부터 피처들을 추출하며, 이는 질의 벡터(134)를 생성하는데 사용될 수 있다. 질의 벡터(134)는 하나 이상의 검색 용어들 및 클라이언트 디바이스(110)로부터 수신된 컨텍스트 정보의 수치적 표현이다. 수치적 관계는, 수신된 질의(121)와 확립된 피처 벡터 어휘(vocabulary) 사이의 관계를 정량화한다. 피처 벡터 어휘는, 알려진 각각의 단어에 대한 엔트리, 클라이언트 디바이스 상에 설치된 각 어플리케이션에 대한 엔트리, 클라이언트 디바이스(110) 상에서의 사용자의 어플리케이션 사용 이력과 관련된 하나 이상의 엔트리들(예를 들어, 어플리케이션을 이용한 평균 시간 길이), 기타 등등을 포함하는 많은 엔트리들을 포함할 수 있다.

질의 피처 벡터(134)는 머신 학습 모델(136)에 대한 입력으로서 제공되는데(135), 머신 학습 모델(136)은 소정의 임계값을 만족시키는 컴퓨터화된 렌더링 기간과 상기 질의가 연관될 가능성을 예측하도록 트레이닝된다. 머신 학습 모델(136)은 컴퓨터화된 렌더링 기간이 소정의 임계값(예를 들어, 1 초, 3 초, 5 초, 기타 등등) 보다 클 가능성이 있는 경우, "0"과 같은 제 1 값을 정의하는 라벨들을 포함하거나, 또는 컴퓨터화된 렌더링 기간이 소정의 임계값(예를 들어, 1 초, 3 초, 5 초, 기타 등등) 보다 작을 가능성이 있는 경우, "1"과 같은 제 2 값을 정의하는 라벨들을 포함하는, 로지스틱 회귀 모델일 수 있다. 트레이닝된 머신 학습 모델(136)은 수신된 질의 벡터(134)를 프로세싱할 수 있으며 그리고 수신된 질의 벡터(134)를 제 1 값과 관련된 것 또는 제 2 값과 관련된 것으로 분류하는 출력 라벨(137)을 생성할 수 있다. 본 개시의 이러한 구현예는 로지스틱 회귀 모델을 사용하지만, 다른 유형의 머신 학습 모델들이 사용될 수 있다. 예를 들어, 입력을 프로세싱하고 입력을 다수의 출력 클래스들 중 하나로 분류하도록 트레이닝될 수 있는 신경망 또는 다른 유형의 머신 학습 모델이 상기 머신 학습 모델로서 사용될 수 있다.

출력 라벨(137)은 컴퓨터화된 렌더링 기간 분석 유닛(138)에 제공되는바, 컴퓨터화된 렌더링 기간 분석 유닛(138)은, 질의(121)에 대한 예측된 컴퓨터 렌더링 기간이 소정의 임계값을 만족시키는지를 출력 라벨(137)이 나타내고 있는지의 여부를 판별할 수 있다. 일 구현예에서, 예측된 컴퓨터화된 렌더링 기간이 소정의 임계값을 초과함을 나타내는 라벨(137)을 머신 학습 모델(136)이 출력한다면, 질의(121)에 응답하여 콘텐트 아이템을 디스플레이하기 위한 예측된 컴퓨터화된 렌더링 기간은 소정의 임계값을 만족시킬 수 있다. 대안적으로, 예측된 컴퓨터화된 렌더링 기간이 소정의 임계값을 초과하지 않음을 나타내는 라벨(137)을 머신 학습 모델(136)이 출력한다면, 질의에 응답하여 콘텐트 아이템을 디스플레이하기 위한 예측된 컴퓨터화된 렌더링 기간은 소정의 임계값을 만족하지 못할 수 있다.

머신 학습 모델(136)에 의해서 질의 벡터(134)를 프로세싱함으로써 생성된 출력 라벨(137)에 기초하여, 컴퓨터화된 렌더링 기간 분석 유닛(138)은 질의(121)가 실행되어야하는지 여부를 결정한다. 특히, 컴퓨터화된 렌더링 시간 분석 유닛(138)이, 머신 학습 모델(136)의 출력(137)이 질의(121)에 응답하는 콘텐트 아이템에 대한 예측된 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족시키지 못할 것임을 나타낸다라고 결정한다면, 컴퓨터화된 렌더링 기간 분석 유닛(138)은 질의(121)에 대한 프로세싱을 회피하기로 결정할 수 있다. 그러한 시나리오에서, 컴퓨터화된 렌더링 기간 분석 유닛(138)은 질의(121)를 실행하기 위해 검색 엔진(140)을 사용하지 않도록 서버(130)에 지시할 것이다(139). 검색 엔진은 예를 들어, 데이터 구조에 저장된 내용을 식별하기 위해 질의(텍스트, 이미지 또는 오디오와 같은 형식)를 사용할 수 있는 디바이스 또는 디바이스들 모음에 저장되고 실행되는 하나 이상의 소프트웨어 구성 요소들을 포함할 수 있다.

시스템(100)의 일례에서, 머신 학습 모델(136)은, 질의(121)를 생성한 어플리케이션의 유형과 같은 클라이언트 디바이스(110)의 콘텍스트를 나타내는 피처 벡터의 피처들에 적어도 일부 기초하여, 질의(121)에 응답하는 콘텐트 아이템에 대한 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족하지 못할 것임을 예측할 수 있다. 예를 들어, 머신 학습 모델(136)은, 사용자 인터페이스(111)를 제공하는 날씨 어플리케이션과 같은 어플리케이션들은, 통상적으로 높은 컴퓨터화된 렌더링 기간과 관련되지 않는다는 점을 학습하도록 트레이닝될 수 있다. 이것은 왜냐하면, 사용자는 통상적으로, 날씨 어플리케이션을 열고 현재 또는 미래의 예측을 본 후, 상기 날씨 어플리케이션을 닫기 때문이다. 결과적으로, 날씨 어플리케이션은 전형적으로 1 초 이하와 같은 낮은 컴퓨터화된 렌더링 기간과 연관될 수 있다. 그러한 경우에, 시스템(100)은 시스템(100)의 계산 리소스들을 보전하기 위한 노력의 일환으로서, 질의(121)를 실행하지 않을 것을 결정할 수 있다. 질의(121)의 실행을 회피하는 것은 사용자 경험에 영향을 미치지 않을 것 같은데, 왜냐하면 사용자는, 질의(121)에 기초하여 영역(114)에 디스플레이하기 위해 콘텐트 아이템을 수신할 정도로 충분히 오래동안 클라이언트 디바이스(110)의 사용자 인터페이스에 사용자 인터페이스(111)를 오픈 및 디스플레이되게 하지 않을 것으로 예상되고, 질의(121)에 응답하여 반환되어 영역(114)에 디스플레이되었을 콘텐트 아이템을 시청하지 않을 것으로 예상되고, 그리고 영역(114)에 디스플레이되었을 콘텐트 아이템을 클릭하지 않을 것으로 예상되기 때문이다. 일부 구현예에서, 질의(121)의 실행이 회피되는 경우, 사용자 인터페이스(111)의 영역(114)은 비워 둘 수 있다.

질의(121)를 실행하지 않도록 서버(130)에 명령하는 것은 시스템(100)의 효율성을 증가시키는데, 왜냐하면 질의 프로세싱 유닛(142)이 질의(121)를 실행하는데 필요한 계산 리소스들을 서버가 소비할 필요가 없기 때문이다. 또한, 시스템(100)은 콘텐트 랭킹 유닛(147)에 의해 수행되는 검색 결과 스코어링 및 랭킹이라는 계산적으로 매우 고가인 동작들을 바이패스할 수 있다. 따라서, 시스템(100)은, 소정의 임계치를 만족시키지 않는 컴퓨터화된 렌더링 기간과 관련되는 것으로 머신 학습 모델(136)에 의해 예측된 질의와 같은 질의들을 실행하지 않음으로써, 계산 리소스들의 소비를 절약할 수 있다.

클라이언트 디바이스(210)와 같은 클라이언트 디바이스의 사용자는 또한 어플리케이션을 열기위한 명령을 입력할 수 있다. 예를 들어, 사용자는 뉴스 어플리케이션의 오프닝을 시작하는, 클라이언트 디바이스(210)의 사용자 인터페이스에 디스플레이된 아이콘을 선택할 수 있다. 대안적으로, 사용자는 뉴스 어플리케이션을 열도록 클라이언트 디바이스(210) 상에 설치 및 실행되는 자동 어시스턴트 어플리케이션에게 지시하는 음성 명령을 발할 수 있다. 뉴스 어플리케이션을 열면, 클라이언트 디바이스(210)의 사용자 인터페이스에 그래픽 사용자 인터페이스(211)가 디스플레이된다. 사용자 인터페이스(211)가 생성됨에 따라, 어플리케이션은 하나 이상의 뉴스 헤드라인들과 관련된 데이터를 얻도록 클라이언트 디바이스(210)에게 지시한다. 뉴스 헤드라인들과 관련된 데이터는 선택가능한 텍스트, 이미지, 아이콘 또는 네트워크 어드레스와 연관된 것들(212a, 212b) 기타 등등으로서 디스플레이될 수 있다. 선택가능한 텍스트, 이미지들, 아이콘들 중 하나에 대한 선택에 응답하여, 클라이언트 디바이스는 뉴스 기사(213)와 관련된 데이터를 상기 선택된 텍스트, 이미지, 아이콘 등과 연관된 네트워크 주소로부터 회수할 수 있다. 또한, 어플리케이션은 그래픽 사용자 인터페이스(211)의 영역(214)에 디스플레이될 수 있는 콘텐트 아이템에 대한 질의(122)를 서버(130)에 전송하도록 클라이언트 디바이스(210)에 명령할 수 있다. 질의(122)에 의해 요청된 콘텐트 아이템은 예를 들어, 이미지, 비디오, 텍스트, 또는 이들의 조합 등을 포함할 수 있다. 콘텐트 아이템은 네트워크 어드레스와 연관될 수 있고, 그리고 콘텐트 아이템을 선택가능하게 하는 방식으로 사용자 인터페이스(211)의 영역(214)에 렌더링될 수도 있다. 콘텐트 아이템을 선택하면, 클라이언트 디바이스는 콘텐트 아이템과 관련된 네트워크 어드레스로부터 획득된 데이터에 기초하여 사용자 인터페이스를 생성할 수 있다.

서버(130)는 질의(122)를 수신하고 피처 추출 유닛(132)에 대한 입력으로서 질의(122)를 제공한다(131). 수신된 질의(122)는 이전에 수신된 질의(121)와 실질적으로 유사하다. 예를 들어, 질의(122)는, i) 하나 이상의 질의 용어들 및 (ii) 클라이언트 디바이스(110)의 현재 컨텍스트에 관련된 데이터를 또한 포함할 수 있다. 하지만, 질의(122)는 날씨 어플리케이션과는 대조적으로 뉴스 어플리케이션으로부터 기원되었다. 이러한 일례에서, 뉴스 어플리케이션은 사용자(또는 클라이언트 디바이스)가 보다 오랜 시간 동안 열어둘 수 있는 어플리케이션 유형이다(예를 들어, 클라이언트 디바이스(210)의 사용자가 뉴스 기사(213)와 같은 하나 이상의 뉴스 기사들을 읽는 동안).

피처 추출 유닛(132)은 질의(122)로부터 피처들을 추출하며, 이는 전술한 바와 같이 질의 벡터를 생성하는데 사용될 수 있다. 질의 벡터는 머신 학습 모델(136)에 대한 입력으로서 제공되며(135), 머신 학습 모델(136)은 질의 벡터와 관련된 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족시킬 가능성을 예측하도록 트레이닝된다. 트레이닝된 머신 학습 모델(136)은 수신된 질의 벡터를 프로세싱할 수 있으며 그리고 질의(122)에 응답하여 반환된 콘텐트 아이템에 대한 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족할 가능성을 나타내는 출력 라벨을 생성할 수 있다. 예를 들어, 출력 라벨은, 질의에 응답하여 콘텐트 아이템들을 디스플레이하기 위한 예측된 컴퓨터화된 렌더링 기간이 소정의 임계값(예를 들어, 1 초, 3 초, 5 초 등)을 만족시키는지의 여부를 나타내는 데이터를 포함한다.

머신 학습 모델(136)에 의해 출력된 출력 라벨은 컴퓨터화된 렌더링 기간 분석 유닛(138)에 제공된다. 컴퓨터화된 렌더링 기간 분석 유닛(138)은, 상기 질의(122)에 대한 예측된 컴퓨터화된 렌더링 기간이 소정의 임계값을 충족하는지를, 상기 출력 라벨이 나타내고 있는지의 여부를 결정할 수 있다. 이러한 결정에 기초하여, 컴퓨터화된 렌더링 기간 분석 유닛(138)은 질의(122)를 실행하도록 질의 프로세싱 유닛(142)에 지시할지의 여부를 결정할 수 있다. 예를 들어, 컴퓨터화된 렌더링 기간 분석 유닛(138)이, 질의(122)에 응답하는 콘텐트 아이템에 대한 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족시키지 못할 것임을 머신 학습 모델(136)의 출력이 나타낸다라고 결정한다면, 컴퓨터화된 렌더링 기간 분석 유닛(138)은 질의(139)에 대한 프로세싱을 회피하기로 결정할 수 있다. 이러한 시나리오에서, 컴퓨터 렌더링 기간 분석 유닛(138)는 검색 엔진(140)을 사용하여 질의(121)를 실행하지 않도록 서버(130)에 명령할 것이다(139). 대안적으로, 컴퓨터화된 렌더링 기간 분석 유닛(138)이, 질의(122)에 응답하는 콘텐트 아이템에 대한 예측된 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족시킬 것으로 예측됨을 머신 학습 모델(136)의 출력이 나타낸다라고 결정한다면, 컴퓨터화된 렌더링 기간 분석 유닛(138)는 질의를 실행하도록 검색 엔진(140)에게 명령한다. 예를 들어, 컴퓨터화된 렌더링 기간 분석 유닛(138)은 질의 프로세싱 유닛(142)에게 질의(122)를 실행하도록 지시할 수 있다(141).

시스템(100)의 일례에서, 머신 학습 모델(136)은, 질의(122)가 유래된 어플리케이션의 유형과 같은 클라이언트 디바이스(210)의 콘텍스트를 나타내는 피처 벡터의 피처들에 적어도 일부 기초하여, 질의(1221)에 응답하는 콘텐트 아이템에 대한 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족할 것이라고 예측할 수 있다. 예를 들어, 머신 학습 모델(136)은 사용자 인터페이스(211)를 제공하는 뉴스 어플리케이션과 같은 어플리케이션들은, 통상적으로 높은 컴퓨터화된 렌더링 기간과 관련된다 라는 점을 학습하도록 트레이닝될 수 있다. 이것은 왜냐하면, 사용자는 통상적으로 뉴스 어플리케이션을 열고, 하나 이상의 헤드라인들에 해당하는 데이터를 선택한 다음, 관심있는 기사를 읽거나 적어도 건너뛸 수 있기 때문이다. 대안적으로, 사용자는 뉴스 어플리케이션에 의해 제공되는 다수의 헤드라인들을 단순히 읽기 위하여 충분한 시간을 가질 수 있다. 결과적으로, 뉴스 어플리케이션은 전형적으로 1 초 이상, 3 초 이상 등과 같은 충분한 컴퓨터화된 렌더링 기간과 관련될 수 있다. 이러한 경우에, 시스템(100)은 질의(122)를 실행하기 위해 검색 엔진(140)을 이용하여 계산 리소스들을 소비하는 것은 수용할만한 것이라고 결정할 수 있는바, 왜냐하면 사용자는 질의(122)에 응답하여 리턴된 콘텐트 아이템을 보기 위하여 충분히 오래동안 그래픽 사용자 인터페이스(211)를 시청할 것이며 그리고 아마도 콘텐트 아이템을 클릭할 수도 있기 때문이다.

검색 엔진(140)은 질의(122)를 사용하여 콘텐트 데이터베이스(144)를 검색함으로써 질의(122)를 실행하기 위해 질의 프로세싱 유닛(142)을 사용할 수 있다. 콘텐트 데이터베이스(144)는 이미지, 텍스트, 이들의 조합 등과 같은 복수의 콘텐트 아이템을 포함할 수 있다. 일부 구현 예에서, 콘텐트 데이터베이스(144)는 제품, 서비스, 이벤트 등에 대한 광고를 포함하는 이미지, 비디오, 텍스트 또는 이들의 조합을 포함할 수 있다. 질의(122)에 응답하는 하나 이상의 콘텐트 아이템들은 콘텐트 데이터베이스의 검색 동안 식별될 수 있고, 하나 이상의 콘텐트 아이템들은 질의 프로세싱 유닛(142)으로 리턴될 수 있다(145). 질의 프로세싱 유닛(142)은 하나 이상의 콘텐트 아이템들을 콘텐트 랭킹 유닛(147)에 제공할 수 있다. 대안적으로, 일부 구현예에서, 콘텐트 데이터베이스는 질의 프로세싱 유닛(142)를 통해 하나 이상의 콘텐트 아이템들을 라우팅함이 없이, 질의(122)에 응답하여 식별된 하나 이상의 콘텐트 아이템들을 콘텐트 랭킹 유닛(147)에 제공할 수 있다.

콘텐트 랭킹 유닛(147)은 하나 이상의 스코어링 알고리즘을 사용하여, 질의(122)에 응답하여 식별된 하나 이상의 콘텐트 아이템 각각에 대해 하나 이상의 스코어를 생성할 수 있다. 스코어는 콘텐트 항목의 품질을 평가하는 품질 스코어, 콘텐트 항목의 인기를 평가하는 인기도 스코어, 클라이언트 디바이스의 사용자가 콘텐트 항목을 클릭할 가능성을 나타내는 신뢰도 스코어 등을 포함할 수 있다. 그 다음, 콘텐트 랭킹 유닛(147)은 하나 이상의 스코어에 기초하여 하나 이상의 콘텐트 아이템을 랭킹할 수 있다. 다음으로, 하나 이상의 콘텐트 아이템들은 하나 이상의 생성된 스코어들에 기초하여 선택될 수 있다. 일부 구현예에서, 가장 높은 순위의 콘텐트 항목이 클라이언트 디바이스(210)로의 전송(123)을 위해 선택될 수 있다. 이후, 하나 이상의 콘텐트 아이템이 영역(214)에 디스플레이될 수 있다(215).

일부 구현예에서, 복수의 콘텐트 아이템이 디스플레이를 위해 클라이언트 디바이스로 리턴될 수 있다. 이러한 경우에, 다수의 상이한 콘텐트 아이템들이 디스플레이를 위해 영역(214)에 제공될 수 있다. 대안적으로, 복수의 콘텐트 아이템들이 클라이언트 디바이스(210)로 리턴될 수 있지만, 클라이언트 디바이스(210)는 복수의 콘텐트 아이템들 중 하나 이상을 캐시할 수 있으며 이후 한 번에 1개씩, 한번에 2개씩, 기타 등등과 같은 주기적인 방식으로, 영역(214)에 디스플레이된 콘텐트 아이템을 다른 것으로 주기적으로 대체할 수 있다.

질의에 응답하여 제공된 콘텐트 아이템들의 컴퓨터화된 렌더링 기간이 소정의 임계값을 초과하는지의 여부를 예측하기 위해 머신 학습 모델을 사용하는 것은, 도 1를 참조하여 서술된 본 발명의 단지 하나의 사용 일례일 뿐이다. 다른 예측된 컴퓨터화된 렌더링 기간이 사용되는 다른 구현예들도 여전히 본 발명에 속함을 유의해야 한다.

예를 들어, 로직 실행 시스템(예를 들어, 경매 시스템)이 제공될 수 있는바, 로직 실행 시스템은 하나 이상의 로직 명령들(예를 들어, 경매를 실행하기 위한 명령들)을 실행하고 그리고 콘텐트 아이템의 디스플레이를 트리거링하도록 하나 이상의 검색 용어들에 관한 선택 명령들을 수신한다. 로직 실행 시스템은 사용자가 관심을 갖는 하나 이상의 키워드들의 세트를 수신하고, 그런 다음 상기 키워드들의 세트로부터의 하나 이상의 키워드들에 대해 로직 실행 명령(예를 들어, 자동 입찰)을 개시하도록 구성될 수 있다. 일부 구현예에서, 예측된 컴퓨터화된 렌더링 기간이 이용되어, 로직 실행 명령이 제출되어야하는지의 여부를 결정할 수 있다. 예를 들어, 입찰을 위해 하나 이상의 검색 단어들이 제공될 수 있다. 사용자를 대신하여 로직 실행 명령을 시작하기 전에, 로직 실행 시스템은 머신 러닝 모델(136) 및 컴퓨터화된 렌더링 기간 분석 유닛(138)을 사용하여, 질의에 응답하는 콘텐트 아이템에 대응하는 검색 결과들에 대한 컴퓨터화된 렌더링 기간이 입찰을 위한 키워드들에 기초하여, 소정의 임계값(예를 들어, 1 초, 3 초, 5 초 등)를 만족하는지의 여부를 결정한다.

질의에 응답하는 콘텐트 아이템에 대응하는 검색 결과들에 대한 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족시키지 않는다라고 머신 학습 모델(136) 및 컴퓨터화된 렌더링 기간 분석 유닛(138)이 결정하면, 로직 실행 시스템은 로직 실행 명령이 실행되지 않게 구성될 수 있다. 이러한 시스템은, 질의에 응답하여 제공된 콘텐트 아이템을 사용자가 시청하고 클릭할 기회를 제공하는 컴퓨터 렌더링 기간을 초래하지 않을 하나 이상의 키워드들에 대한 로직 실행 명령의 시작을 회피할 수 있는 장점을 제공한다. 일부 구현예에서, 사용자를 대신하여 경매 시스템이 로직 실행 명령을 발생시키는 것을 허용하기 위하여, 사용자는 하나 이상의 키워드들과 관련되어야만 하는 최소한의 컴퓨터화된 렌더링 기간을 특정하는 입력을 경매 시스템에 제공할 수 있다.

도 2는 예측된 컴퓨터화된 렌더링 기간에 기초하여 질의를 실행할지의 여부를 결정하는 프로세스(200)의 일례의 흐름도이다. 편의상, 프로세스(200)는 하나 이상의 위치들에 배치된 하나 이상의 컴퓨터들의 시스템에 의해서 수행되는 것으로 설명될 것이다. 예를 들어, 시스템(100)과 같은 시스템은 프로세스(200)를 수행하기 위해서, 본 명세서에 따라 적절하게 프로그래밍될 수 있다.

프로세스(200)는 시스템이 클라이언트 디바이스로부터 질의를 수신하는 단계(210)로 시작한다. 질의는 어플리케이션에 의해 생성될 수 있고 콘텐트 아이템에 대한 요청을 포함할 수 있다. 질의는(i) 하나 이상의 질의 용어들 및(ii) 클라이언트 디바이스(110)의 현재 컨텍스트와 관련된 데이터를 포함할 수 있다. 클라이언트 디바이스(110)의 현재 컨텍스트는 예를 들어, 질의를 생성한 어플리케이션을 나타내는 데이터, 사용자의 어플리케이션 사용 이력을 나타내는 데이터 등을 포함할 수 있다.

시스템은 수신된 질의에 기초하여 하나 이상의 피처를 결정한다(220). 질의로부터 추출된 피처들은 질의의 단어들과 관련된 피처들, 질의 현재 콘텍스트와 관련된 피처들 기타 등등을 포함한다. 추출된 피처들은, 추출된 피처들의 세트에 기초하여 질의 벡터를 생성하는데 사용될 수 있다. 질의 벡터는 하나 이상의 검색 용어들 및 클라이언트 디바이스로부터 수신된 컨텍스트 정보의 수치적 표현이다. 수치적 관계는, 수신된 질의와 확립된 피처 벡터 어휘(vocabulary) 사이의 관계를 정량화한다. 피처 벡터 어휘는, 알려진 각각의 단어에 대한 엔트리, 클라이언트 디바이스 상에 설치된 각 어플리케이션에 대한 엔트리, 클라이언트 디바이스(110) 상에서의 사용자의 어플리케이션 사용 이력과 관련된 하나 이상의 엔트리들(예를 들어, 어플리케이션을 이용한 평균 시간 길이), 기타 등등을 포함하는 많은 엔트리들을 포함할 수 있다.

시스템은 단계(220)에서 결정된 하나 이상의 피처들을 머신 학습 모델에 대한 입력으로서 제공하며, 상기 머신 학습 모델은 컴퓨터화된 렌더링 시간을 예측하도록 트레이닝된다. 일부 구현예에서, 머신 학습 모델에 대한 입력으로서 제공되는 하나 이상의 피처들은 단계(220)에서 생성된 질의 벡터의 형태를 가질 수 있다. 머신 학습 모델은, 컴퓨터화된 렌더링 기간이 소정의 임계값을 충족할 가능성이 있는 경우(예를 들어, 1초 이상 , 3초 이상, 5초 이상, 기타 등등), "0"과 같은 제 1 값으로 정의된 라벨들을 포함하거나, 또는 컴퓨터화된 렌더링 기간이 소정의 임계값 보다 작을 가능성이 있는 경우(예를 들어, 1초 미만, 3초 미만, 5초 미만, 기타 등등), "1"과 같은 제 2 값으로 정의된 라벨들을 포함하는, 로지스틱 회귀 모델을 포함할 수 있다. 트레이닝된 머신 학습 모델은 수신된 질의 벡터를 프로세싱할 수 있으며 그리고 예측된 컴퓨터화된 렌더링 기간을 나타내는 출력 라벨을 생성할 수 있다. 시스템은 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족시킬 가능성이 있는지의 여부를 나타내는 출력 데이터를 머신 학습 모델로부터 수신할 수 있다(240). 수신된 출력 데이터는 예를 들어 머신 학습 모델에 의해 생성된 출력 라벨을 포함할 수 있다.

프로세스(200)의 일부 구현예는 로지스틱 회귀 모델을 사용하고 있지만, 본 발명이 이와 같이 제한될 필요는 없다. 대신에, 입력을 처리할 수 있고 그리고 복수의 클래스들 중 특정 클래스로 입력을 분류할 수 있는 임의의 유형의 머신 학습 모델이 질의 벡터에 대한 컴퓨터화된 렌더링 기간을 예측하도록 트레이닝될 수 있다. 예를 들어, 일 실시예에서, 신경망 시스템이 머신 학습 모델로서 사용될 수 있다.

시스템은 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족시킬 가능성이 있는지의 여부를 결정한다(250). 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족시키는지의 여부를 결정하는 것은 머신 학습 모델로부터 수신된 출력 데이터를 분석하는 것을 포함할 수 있다. 예를 들어, 만일 시스템이 단계(250)에서, 질의에 응답하는 콘텐트 아이템에 대한 예측된 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족하지 않음을 머신 학습 모델의 출력이 나타내는 것으로 판별한다면, 시스템은 질의를 실행하지 않기로 결정할 수 있다(260).

머신 학습 모델의 출력에 기초하여, 컴퓨터화된 렌더링 기간이 소정의 임계 값을 충족시킬지의 여부를 결정하는 것은 머신 학습 모델에 의해 출력된 확률을 평가하는 것을 포함할 수 있다. 예를 들어, 컴퓨터화된 렌더링 기간이 소정의 임계값을 초과하는 것보다 컴퓨터화된 렌더링 기간이 소정의 임계값을 초과하지 못할 가능성이 더 높다고 머신 학습 모델의 출력이 나타낼 경우, 시스템은, 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족시키지 못한다라고 결정할 수 있다.

질의를 실행하지 않기로 결정하는 것은, 낮은 컴퓨터화된 렌더링 시간 기간으로 인하여 결과물이 시청될 수 없거나 클릭될 수 없는 질의를 실행하기 위하여 시스템이 계산 리소스들을 소비할 필요가 없기 때문에, 시스템의 효율성을 증가시킨다. 또한, 시스템은 검색 결과 스코어링 및 랭킹과 같은 계산적으로 고가인 동작들을 바이패스할 수 있는바, 검색 결과 스코어링 및 랭킹은 만일 질의가 실행되었더라면, 생성된 검색 결과들의 세트에 대해서 수행되었을 것이다. 따라서, 시스템은, 소정의 임계값을 만족시키지 않는 컴퓨터화된 렌더링 기간과 관련되는 것으로 머신 학습 모델에 의해 예측된 질의를 실행하지 않음으로써, 계산 리소스의 소비를 절약할 수 있다.

대안적으로, 시스템은 단계(250)에서, 머신 학습 모델의 출력이 질의에 응답하는 콘텐트 아이템에 대한 예측된 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족시킬 것임을 나타내는지를 결정할 수 있다. 이러한 경우, 시스템은 수신된 질의를 실행하기로 결정할 수 있다(270). 시스템은 질의를 사용하여 콘텐트 데이터베이스를 검색함으로써 질의를 실행할 수 있다. 콘텐트 데이터베이스는 시스템에 의해 호스팅되거나 또는 원격 제 3 자 서버에 의해 유지관리될 수 있다. 콘텐트 데이터베이스(144)는 이미지, 비디오, 텍스트, 또는 이들의 조합 등과 같은 복수의 콘텐트 아이템을 포함할 수 있다. 일부 구현예에서, 콘텐트 데이터베이스는 제품, 서비스, 이벤트 등과 연관된 콘텐트 아이템을 포함하는 이미지, 비디오, 텍스트 또는 이들의 조합을 포함할 수 있다.

전술한 바와 같이, 머신 학습 모델의 출력에 기초하여, 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족시킬지의 여부를 결정하는 것은, 머신 학습 모델에 의해 출력된 확률을 평가하는 것을 포함할 수 있다. 예를 들어, 컴퓨터화된 렌더링 기간이 소정의 임계값을 초과하지 못하는 확률보다 컴퓨터화된 렌더링 기간이 소정의 임계값을 초과할 확률이 더 높다라고 머신 학습 모델의 출력이 나타내는 경우, 시스템은 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족하는 것으로 결정할 수 있다.

질의에 응답하는 하나 이상의 콘텐트 아이템은 콘텐트 데이터베이스의 검색 중에 식별될 수 있고, 하나 이상의 콘텐트 항목들은 하나 이상의 콘텐트 스코어링 알고리즘을 사용하여 시스템에 의해서 점수가 매겨질 수 있다. 예를 들어, 시스템은 품질 스코어, 인기 스코어, 신뢰도 스코어 등을 사용하여 콘텐트 아이템을 스코어링할 수 있다. 그 다음, 시스템은 하나 이상의 스코어에 기초하여 하나 이상의 콘텐트 아이템을 랭킹할 수 있다. 그 다음, 네트워크를 사용하여 시스템에 접속된 클라이언트 디바이스로의 전송을 위해 하나 이상의 랭킹된 콘텐트 아이템이 선택될 수 있다. 일부 구현예에서, 가장 높은 순위의 콘텐트 아이템이 클라이언트 디바이스로의 전송을 위해 선택될 수 있다. 다음으로, 하나 이상의 콘텐트 아이템이 클라이언트 디바이스의 사용자 인터페이스에 디스플레이될 수 있다.

프로세스(200)는 원하는 출력, 즉 질의 벡터의 기반이 되는 질의와 연관된 컴퓨터화된 렌더링 기간이 소정의 임계값을 만족하는지 여부에 대한 표시가 알려지지 않은 질의 벡터에 대해 수행될 수 있다. 시스템은 또한 트레이닝 데이터 세트의 입력들, 즉 시스템에 의해 예측되어야하는 출력이 알려진 입력들의 세트에 대해서 프로세스(200)를 수행할 수 있는바, 이는 시스템을 트레이닝시키기 위해, 즉 머신 학습 모델의 파라미터에 대한 트레이닝된 값을 결정하기 위함이다. 특히, 프로세스(200)는 예컨대, 시간 트레이닝 기술을 통한 확률적인 그래디언트 강하 역전파(stochastic gradient descent backpropagation)와 같이, 신경망을 트레이닝시키기 위한 종래의 머신 학습 트레이닝 기술의 일부로서, 트레이닝 데이터 세트로부터 선택된 입력들에 대해서 반복적으로 수행될 수 있다.

도 3은 예측된 컴퓨터화된 렌더링 기간에 기초하여 질의를 언제 실행할지를 결정하기 위한 시스템의 구성 요소의 블록도이다.

컴퓨팅 디바이스(300)는 랩탑, 데스크탑, 워크스테이션, 개인 휴대 정보 단말기(PDA), 서버, 블레이드 서버, 메인프레임 및 다른 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터들을 나타내기 위한 것이다. 모바일 컴퓨팅 디바이스(350)는 데스크탑, 랩탑, 테블릿, 개인 휴대 정보 단말기(PDA), 셀룰러 전화기, 스마트폰 및 다른 유사한 컴퓨팅 디바이스와 같은 다양한 형태의 모바일 디바이스를 나타내기 위한 것이다. 본 명세서에 개시된 구성요소들, 이들의 연결들 및 관계들, 그리고 이들의 기능들은 단지 예시적인 것으로 의도되며, 제한하는 것으로 의도되지 않는다.

컴퓨팅 디바이스(300)는 프로세서(302), 메모리(304), 저장 디바이스(306), 메모리(304) 및 다수의 고속 확장 포트(310)에 연결되는 고속 인터페이스(308), 그리고 저속 확장 포트(314) 및 저장 디바이스(306)에 연결되는 저속 인터페이스(312)를 포함한다. 프로세서(302), 메모리(304), 저장 디바이스(306), 고속 인터페이스(308), 고속 확장 포트(310), 저속 인터페이스(312) 각각은 다양한 버스들을 사용하여 상호접속되고, 공통 마더보드 상에 또는 적절하게 다른 방식으로 마운트될 수 있다. 프로세서(302)는 메모리(304) 또는 저장 디바이스(306)에 저장된 명령을 포함하여, 컴퓨팅 디바이스(300) 내에서의 실행을 위해 명령들을 프로세싱하여, 고속 인터페이스(308)에 접속된 디스플레이(316)와 같은 외부 입/출력 디바이스 상에 GUI를 위한 그래픽 정보를 디스플레이한다. 다른 구현예에서는, 다수의 메모리들 및 메모리 유형들과 함께, 다수의 프로세서들 및/또는 다수의 버스들이 적절하게 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스들이 연결될 수도 있는바, 여기서 각각의 디바이스는 필요한 연산들의 일부분을 제공한다(예를 들어, 서버 뱅크, 블레이드 서버들의 그룹 또는 멀티 프로세서 시스템으로서).

메모리(304)는 컴퓨팅 디바이스(300) 내에 정보를 저장한다. 일 실시예에서, 메모리(304)는 휘발성 메모리 유닛(들)이다. 또 다른 구현예에서, 메모리(304)는 비휘발성 메모리 유닛(들)이다. 또한, 메모리(304)는 자기 또는 광학 디스크와 같은 다른 형태의 컴퓨터 판독가능 매체일 수 있다. 저장 디바이스(306)는 대용량 저장소를 컴퓨팅 디바이스(300)에 제공할 수 있다. 일 구현예에서, 저장 디바이스(306)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성의 디바이스들을 포함하는 디바이스들의 어레이 등과 같은 컴퓨터 판독가능 매체이거나 이를 포함할 수 있다. 다른 구현예에서, 저장 디바이스(306)는 하나 또는 다수의 클라우드-기반 저장 디바이스들을 포함할 수 있다. 명령들은 정보 캐리어에 저장될 수 있다. 명령들은 하나 이상의 프로세싱 디바이스(가령, 프로세서 302)에 의해 실행될 때, 예컨대, 전술한 바와 같은 하나 이상의 방법들을 수행할 수 있다. 또한, 명령들은 컴퓨터-판독가능 또는 머신-판독가능한 매체와 같은 하나 이상의 저장 디바이스(예컨대, 메모리(304), 저장 디바이스(306) 또는 프로세서(302) 상의 메모리)에 의해 저장될 수 있다.

고속 인터페이스(308)는 컴퓨팅 디바이스(300)를 위해, 대역폭-집중형 연산들을 관리하고, 저속 인터페이스(312)는 낮은 대역폭-집중형 연산들을 관리한다. 기능들의 이러한 할당은 단지 예시일 뿐이다. 일 구현예에서, 고속 인터페이스(308)는 메모리(304), 디스플레이(316)(예를 들어 그래픽 프로세서 또는 가속기를 통해)에 접속되며, 그리고 다양한 확장 카드(미도시)를 수용할 수 있는 고속 확장 포트(310)에 접속된다. 일 구현예에서, 저속 인터페이스(312)는 저장 디바이스(306) 및 저속 확장 포트(314)에 접속된다. 다양한 통신 포트들(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함하는 저속 확장 포트는 키보드, 포인팅 디바이스, 스캐너와 같은 하나 이상의 입력/출력 디바이스에 접속되거나 또는 네트워크 어댑터를 통해 스위치 또는 라우터와 같은 네트워킹 디바이스에 접속될 수 있다.

컴퓨팅 디바이스(300)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 표준 서버(320)로서 구현되거나, 또는 그러한 서버들의 그룹에서 여러 번 구현될 수도 있다. 또한, 랩탑 컴퓨터(322)와 같은 개인용 컴퓨터로 구현될 수도 있다. 또한, 랙 서버(rack server) 시스템(324)의 일부로서 구현될 수도 있다. 대안적으로, 컴퓨팅 디바이스(300)의 구성 요소들은 가령, 디바이스(350)와 같은 모바일 디바이스(미도시)의 다른 구성요소들과 결합될 수 있다. 이러한 디바이스들 각각은 하나 이상의 컴퓨팅 디바이스(300, 350)를 포함할 수 있으며, 그리고 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스로 구성될 수 있다.

모바일 컴퓨팅 디바이스(350)는 다른 구성요소들 중에서 프로세서(352), 메모리(364), 디스플레이(354)와 같은 입/출력 디바이스, 통신 인터페이스(366) 및 송수신기(368)를 포함한다. 모바일 컴퓨팅 디바이스(350)에는 추가 저장소를 제공하기 위해 마이크로 드라이브 또는 다른 디바이스와 같은 저장 디바이스가 제공될 수 있다. 프로세서(352), 메모리(364), 디스플레이(354), 통신 인터페이스(366) 및 송수신기(368) 각각은 다양한 버스를 사용하여 상호접속되고, 구성요소들 중 몇몇은 공통 마더 보드 상에 또는 적절하게 다른 방식으로 마운트될 수 있다.

프로세서(352)는 메모리(364)에 저장된 명령들을 포함하여, 모바일 컴퓨팅 디바이스(350) 내의 명령들을 실행할 수 있다. 프로세서는 개별적인 다수의 아날로그 및 디지털 프로세서들을 포함하는 칩들의 칩셋으로서 구현될 수 있다. 프로세서는 예를 들어 사용자 인터페이스들의 제어, 모바일 컴퓨팅 디바이스(350)에 의해 실행되는 어플리케이션들 및 모바일 컴퓨팅 디바이스(350)에 의한 무선 통신과 같은 모바일 컴퓨팅 디바이스(350)의 다른 구성요소들 간의 조정을 제공할 수 있다.

프로세서(352)는 제어 인터페이스(358) 및 디스플레이(354)에 연결된 디스플레이 인터페이스(356)를 통해 사용자와 통신할 수 있다. 디스플레이(354)는 예를 들어, TFT LCD(박막 트랜지스터 액정 디스플레이) 디스플레이 또는 OLED(Organic Light Emitting Diode: 유기 발광 다이오드) 디스플레이, 또는 다른 적절한 디스플레이 기술을 이용할 수 있다. 디스플레이 인터페이스(356)는 사용자에게 그래픽 및 다른 정보를 제공하기 위해 디스플레이(354)를 구동하기 위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(358)는 사용자로부터 커맨드들을 수신하고 그리고 프로세서(352)에 제출하기 위해 이들을 변환할 수 있다. 또한, 프로세서(352)와 통신하기 위해 외부 인터페이스(362)가 제공되는바, 다른 디바이스들과 모바일 컴퓨팅 디바이스(350)의 근거리 통신이 가능해진다. 예를 들어, 외부 인터페이스(362)는 일부 구현에서는 유선 통신을 제공하고, 다른 구현예에서는 무선 통신을 제공할 수 있으며, 다중 인터페이스들이 또한 사용될 수 있다.

메모리(364)는 모바일 컴퓨팅 디바이스(350) 내에 정보를 저장한다. 메모리(364)는 컴퓨터 판독가능 매체(들), 휘발성 메모리 유닛(들) 또는 비휘발성 메모리 유닛(들) 중 하나 이상으로서 구현될 수 있다. 또한, 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스(372)를 통해 확장 메모리(374)가 디바이스(350)에 제공되고 접속될 수 있다. 이러한 확장 메모리(374)는 여분의 저장 공간을 디바이스(350)에 제공할 수 있으며, 또는 모바일 컴퓨팅 디바이스(350)를 위한 어플리케이션들 혹은 다른 정보를 저장할 수도 있다. 특히, 확장 메모리(374)는 전술한 프로세스들을 수행하거나 보충하기 위한 명령들을 포함할 수 있고, 또한 보안 정보를 포함할 수 있다. 따라서, 예를 들어, 확장 메모리(374)는 모바일 컴퓨팅 디바이스(350)에 대한 보안 모듈로서 제공될 수 있고, 모바일 컴퓨팅 디바이스(350)의 보안 사용을 허용하는 명령들로 프로그램될 수 있다. 또한, 보안 어플리케이션은 SIMM 카드를 통해 제공될 수 있는데 가령, 식별 정보를 해킹불가능한 방식으로 SIMM 카드에 배치하는 것과 같이 추가 정보와 함께 제공될 수 있다.

메모리는, 예를 들어, 후술되는 바와 같이, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 실시예에서, 명령들은 정보 캐리어에 저장되며, 상기 명령들은 하나 이상의 프로세싱 디바이스들(가령, 프로세서 352)에 의해 실행될 때, 전술한 것과 같은 하나 이상의 방법들을 수행한다. 또한, 명령들은 하나 이상의 저장 디바이스들, 가령 하나 이상의 컴퓨터 판독가능 또는 머신 판독가능한 매체(예컨대, 메모리 364, 확장 메모리 374, 프로세서 352 상의 메모리)에 의해 저장될 수 있다. 일부 구현예에서, 명령들은 예컨대 송수신기(368) 또는 외부 인터페이스(362)를 통해 전파 신호 내에 수신될 수 있다.

모바일 컴퓨팅 디바이스(350)는 필요한 경우 디지털 신호 처리 회로를 포함할 수 있는 통신 인터페이스(366)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(366)는 GSM 음성 호출, SMS, EMS 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000 또는 GPRS와 같은 다양한 모드들 또는 프로토콜들 하에서 통신을 제공할 수 있다. 이러한 통신은 예를 들어 무선 주파수를 사용하는 송수신기(368)를 통해 수행될 수 있다. 또한, 블루투스, Wi-Fi 또는 다른 트랜시버(미도시)를 사용하여 단거리 통신이 수행될 수 있다. 또한, GPS(Global Positioning System) 수신기 모듈(370)은 추가적인 네비게이션-관련 및 위치-관련 무선 데이터를 모바일 컴퓨팅 디바이스(350)에 제공할 수 있는바, 이는 모바일 컴퓨팅 디바이스(350) 상에서 구동되는 어플리케이션들에 의해 적절히 사용될 수 있다.

또한, 디바이스(350)는 오디오 코덱(360)을 사용하여 청각적으로 통신할 수 있는바, 이는 사용자로부터 음성 정보를 수신하고 이것을 이용가능한 디지털 정보로 변환할 수 있다. 이와 유사하게, 오디오 코덱(360)은, 예를 들어 디바이스(350)의 핸드셋 내의 스피커를 통하는 것과 같이, 사용자를 위한 가청 사운드를 생성할 수 있다. 이러한 사운드는 음성 전화 호출로부터의 사운드를 포함할 수 있고, 기록된 사운드(예를 들어, 음성 메시지들, 음악 파일들 기타 등등)를 포함할 수 있으며 그리고 모바일 컴퓨팅 디바이스(350)상에서 동작하는 어플리케이션에 의해 생성된 사운드를 또한, 포함할 수 있다.

모바일 컴퓨팅 디바이스(350)는 도면에 도시된 바와 같이 다수의 상이한 형태들로 구현될 수 있다. 예를 들어, 모바일 컴퓨팅 디바이스는 셀룰러 전화(380)로서 구현될 수 있다. 또한, 스마트 폰(382), 개인 휴대 정보 단말기(personal digital assistant), 또는 다른 유사한 모바일 컴퓨팅 디바이스의 일부로서 구현될 수도 있다.

본 명세서에서 설명된 주제, 기능적 동작들 및 프로세스들의 실시예는 본 명세서에 개시된 구조 및 이들의 구조적 등가물, 또는 이들 중 하나 이상의 조합물을 포함하여, 디지털 전자 회로, 실체적으로 구현된 컴퓨터 소프트웨어 또는 펌웨어, 컴퓨터 하드웨어에서 구현될 수 있다. 본 명세서에서 서술된 본 발명의 실시예는 하나 이상의 컴퓨터 프로그램, 즉 데이터 처리 장치에 의해 실행되거나 또는 그 동작을 제어하기 위한 유형의 비휘발성 프로그램 캐리어 상에 인코딩된 컴퓨터 프로그램 명령들의 하나 이상의 모듈로서 구현될 수 있다. 선택적으로, 또는 부가적으로, 프로그램 명령은 인위적으로 생성된 전파 신호, 예를 들어, 데이터 처리 장치에 의한 실행을 위해 적절한 수신기 장치로의 전송을 위해 정보를 인코딩하기 위해 생성된 머신-생성된 전기, 광학 또는 전자기 신호 상에 인코딩될 수 있다. 컴퓨터 저장 매체는 머신 판독가능 저장 디바이스, 머신 판독가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 디바이스, 또는 이들 중 하나 이상의 조합일 수 있다.

"데이터 처리 장치"라는 용어는 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 프로세서 또는 컴퓨터를 포함하는, 데이터를 처리하기 위한 모든 종류의 장치, 디바이스 및 머신을 포함한다. 상기 장치는 특수 목적 논리 회로, 예를 들어 FPGA(필드 프로그램가능 게이트 어레이) 또는 ASIC(주문형 집적 회로)을 포함 할 수 있다. 또한, 상기 장치는 하드웨어 이외에, 컴퓨터 프로그램을 위한 실행 환경을 생성하는 코드, 예컨대 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 이들의 조합을 구성하는 코드를 포함할 수 있다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 모듈, 소프트웨어 모듈, 스크립트 또는 코드로도 알려짐)은 컴파일된 언어 또는 해석된 언어 또는 선언적 언어 또는 절차적 언어를 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있으며 그리고 독립형 프로그램, 모듈, 구성 요소, 서브 루틴 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 단위를 포함하는 모든 형식으로 배포될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 해당할 수 있지만 반드시 그런 것은 아니다. 프로그램은 다른 프로그램이나 데이터(예 : 마크 업 언어 문서에 저장된 하나 이상의 스크립트)를 보유하는 파일의 일부분에, 문제의 프로그램에 전용인 단일 파일에, 또는 여러 개의 조정 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 또는 코드의 일부를 저장하는 파일)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 하나의 사이트에 있거나 여러 사이트에 분산되어 있으며 통신 네트워크로 상호연결된 여러 대의 컴퓨터에서 실행되도록 배포될 수 있다.

본 명세서에서 설명된 프로세스 및 논리 흐름은 입력 데이터를 조작하고 출력을 생성함으로써 기능을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램가능 컴퓨터에 의해 수행될 수있다. 프로세스 및 논리 흐름은 또한 FPGA(필드 프로그램 가능 게이트 어레이) 또는 ASIC(주문형 집적 회로)과 같은 특수 목적 논리 회로에 의해 수행될 수 있고, 장치는 또한 특수 목적 논리 회로로 구현될 수 있다.

컴퓨터 프로그램의 실행에 적합한 컴퓨터는, 예를 들어, 범용 또는 특수 목적 마이크로 프로세서, 또는 임의의 다른 종류의 중앙 처리 장치에 기초할 수 있다. 일반적으로, 중앙 처리 장치는 판독전용 메모리 또는 랜덤 액세스 메모리 또는 이들 모두로부터 명령 및 데이터를 수신할 것이다. 컴퓨터의 필수 구성 요소는 명령을 수행하거나 실행하기 위한 중앙 처리 장치 및 명령과 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치(예를 들어, 자기, 광 자기 디스크 또는 광 디스크)를 포함하거나 이들로부터 데이터를 수신하거나 전송하기 위해 동작가능하게 결합될 것이다. 컴퓨터는 반드시 그러한 장치를 가질 필요는 없다. 또한, 컴퓨터는 다른 디바이스, 예를 들어, 이동 전화기, 개인 휴대 정보 단말기(PDA), 이동 오디오 또는 비디오 플레이어, 게임 콘솔, GPS 수신기 또는 휴대용 저장 장치(예컨대, 범용 직렬 버스(USB) 플래시 드라이브)에 내장될 수 있다.

컴퓨터 프로그램 명령 및 데이터를 저장하기에 적합한 컴퓨터 판독가능 매체는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스를 포함하는바, 일례로서 EPROM, EEPROM 및 플래시 메모리 디바이스와 같은 반도체 메모리 디바이스; 내장 하드 디스크 또는 착탈식 디스크와 같은 자기 디스크; 광학 자기 디스크; 및 CD-ROM 및 DVD-ROM 디스크를 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보충되거나 또는 그 안에 포함될 수 있다.

사용자와의 상호 작용을 제공하기 위해, 본 명세서에 서술된 시스템들 및 기술들은 컴퓨터 상에서 구현될 수 있는바, 이러한 컴퓨터는 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스(예를 들어, CRT 또는 LCD 모니터)와 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 갖는다. 사용자와의 상호작용을 제공하는데 다른 종류의 디바이스들이 사용될 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각 피드백 또는 촉각 피드백)일 수 있다. 그리고 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다. 또한, 컴퓨터는 사용자에 의해 사용되는 디바이스와 문서를 주고 받음으로써 사용자와 상호작용할 수 있다. 예를 들어, 웹 브라우저로부터 수신된 요청들에 응답하여 사용자의 클라이언트 디바이스 상의 웹 브라우저에 웹 페이지를 전송함으로써 수행될 수 있다.

본 명세서에 서술된 시스템들 및 기술들은 컴퓨팅 시스템에서 구현될 수 있으며, 이러한 컴퓨팅 시스템은 백 엔드 구성 요소(예컨대, 데이터 서버)를 포함하거나, 또는 미들웨어 구성 요소(예컨대, 응용 프로그램 서버)를 포함하거나, 또는 프론트 엔드 구성 요소(예컨대, 사용자가 여기에 설명된 시스템 및 기술의 구현과 상호작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저가 있는 클라이언트 컴퓨터)를 포함하거나, 또는 이러한 백 엔드, 미들웨어 또는 프론트 엔드 구성요소들의 임의의 조합을 포함할 수 있다. 시스템의 구성요소들은 디지털 데이터 통신의 임의의 형태 또는 매체(예컨대, 통신 네트워크)에 의하여 상호연결될 수 있다. 통신 네트워크의 일례는, 근거리 통신망(LAN), 광대역 통신망(WAN), 및 인터넷을 포함한다.

컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 통신 네트워크를 통해 상호작용하는 것이 통상적이다. 클라이언트와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램의 덕택으로 발생한다.

본 명세서는 많은 특정한 구현 세부사항들을 포함하지만, 이들은 청구될 수있는 범위에 대한 제한으로서 해석되어서는 안되며, 오히려 소정 실시예에 특정적일 수도 있는 피처들에 대한 설명으로 해석되야 한다. 개별적인 실시예와 관련하여 본 명세서에 서술된 특정한 피처들은 또한 단일 실시예에서 조합되어 구현될 수 있다. 반대로, 단일 실시예에 관하여 설명된 다양한 피처들은 또한 다수의 실시예에서 개별적으로 또는 임의의 적합한 서브 조합으로 구현될 수 있다. 더욱이, 피처들은 특정 조합으로 작용하고 심지어 초기에는 그러한 것으로서 청구되는 경우 조차도 상기에서 설명될 수 있지만, 청구된 조합으로부터의 하나 이상의 피처는 일부 경우 조합으로부터 제거될 수 있고, 청구된 조합은 서브 조합 또는 서브 조합의 변형을 지시할 수 있다.

유사하게, 동작들이 특정 순서로 도면들에 도시되어 있지만, 이는 바람직한 결과를 획득하기 위해 이러한 동작들이 도시된 특정 순서대로 또는 순차적 순서로 수행되거나, 예시된 모든 동작들이 수행될 것을 요구하는 것으로 이해되어서는 안된다. 특정 상황에서는 멀티 태스킹 및 병렬 처리가 유리할 수도 있다. 또한, 상술 한 실시예에서 다양한 시스템 구성 요소들의 분리는 모든 실시예에서 그러한 분리를 요구하는 것으로 이해되어서는 안되며, 서술된 프로그램 구성 요소들 및 시스템은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 여러 소프트웨어 제품으로 패키지될 수 있다.

본 발명의 특정 실시예가 설명되었다. 다른 실시예들은 다음의 청구항들의 범위 내에 있다. 예를 들어, 청구 범위에 열거된 동작은 상이한 순서로 수행될 수 있으며 여전히 바람직한 결과를 달성한다. 하나의 예로서, 첨부된 도면에 도시된 프로세스는 바람직한 결과를 얻기 위해 도시된 특정 순서대로 또는 순차적 순서를 반드시 필요로 하지는 않는다. 특정 구현예에서, 멀티 태스킹 및 병렬 처리가 유리할 수 있다. 설명된 프로세스로부터 다른 단계가 제공되거나 단계가 제거될 수 있다. 따라서, 다른 구현예들은 다음의 청구항들의 범위 내에 있다.

Claims

시스템으로서,
클라이언트 디바이스로부터 생성된 질의를 수신하는 수신 유닛, 상기 질의는 데이터베이스에 저장된 하나 이상의 콘텐트 아이템에 대한 요청을 포함하며;
피처 추출 유닛, 상기 피처 추출 유닛은,
상기 질의에 기초하여 하나 이상의 피처들의 세트를 결정하고;
상기 하나 이상의 피처들의 세트에 기초하여 질의 벡터를 생성하고;
상기 질의 벡터를 머신 학습 모델에 제공하며, 상기 머신 학습 모델은 상기 질의 벡터에 응답하는 하나 이상의 후보 콘텐트 아이템들 각각의 세트를 디스플레이하기 위한 컴퓨터화된 렌더링 기간이 기결정된 임계값을 충족하는지의 여부를 나타내는 출력을 제공하도록 트레이닝되며; 그리고
컴퓨터화된 렌더링 기간 분석 유닛을 포함하고, 상기 컴퓨터화된 렌더링 기간 분석 유닛은,
상기 머신 학습 모델의 출력에 기초하여, 상기 질의 벡터에 응답하는 하나 이상의 후보 콘텐트 아이템들 각각의 세트를 디스플레이하기 위한 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 충족하는지를 나타내는 제 1 데이터를 수신하고;
상기 제 1 데이터에 기초하여, 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들 각각의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족하지 않는 경우를 결정하고;
상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들 각각의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족하지 않는다라고 결정하는 것에 응답하여, 검색 엔진을 이용하여 상기 수신된 질의를 실행하지 않기로 결정하는 것을 특징으로 하는 시스템.
제1항에 있어서,
상기 컴퓨터화된 렌더링 기간 분석 유닛은 또한,
그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족하는 경우를 결정하고 그리고 그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족한다라고 결정하는 것에 응답하여, 검색 엔진을 이용하여 상기 수신된 질의를 실행하기로 결정하는 것을 특징으로 하는 시스템.
제1항에 있어서,
상기 머신 학습 모델은,
그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족시킬 수 있는지를 나타내는 출력을 제공하도록 트레이닝된 것을 특징으로 하는 시스템.
제1항에 있어서,
상기 하나 이상의 피처들은 상기 질의를 발생시킨 어플리케이션을 기술하는 컨텍스트 정보로부터 도출되는 것을 특징으로 하는 시스템.
제1항에 있어서,
상기 머신 학습 모델은 로지스틱 회귀 모델을 포함하는 것을 특징으로 하는 시스템.
제1항에 있어서,
상기 기결정된 임계값은 1 초의 시간 기간을 포함하는 것을 특징으로 하는 시스템.
컴퓨터 구현 방법으로서,
하나 이상의 서버 컴퓨터들에 의해서, 클라이언트 디바이스로부터 생성된 질의를 수신하는 단계, 상기 질의는 데이터베이스에 저장된 하나 이상의 콘텐트 아이템에 대한 요청을 포함하며;
상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 질의에 기초하여 하나 이상의 피처들의 세트를 결정하는 단계;
상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 하나 이상의 피처들의 세트에 기초하여 질의 벡터를 생성하는 단계;
상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 질의 벡터를 머신 학습 모델에 제공하는 단계, 상기 머신 학습 모델은 상기 질의 벡터에 응답하는 하나 이상의 후보 콘텐트 아이템들 각각의 세트를 디스플레이하기 위한 컴퓨터화된 렌더링 기간이 기결정된 임계값을 충족하는지의 여부를 나타내는 출력을 제공하도록 트레이닝되며; 그리고
상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 머신 학습 모델의 출력에 기초하여, 상기 질의 벡터에 응답하는 하나 이상의 후보 콘텐트 아이템들 각각의 세트를 디스플레이하기 위한 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 충족하는지를 나타내는 제 1 데이터를 수신하는 단계;
상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 제 1 데이터에 기초하여, 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들 각각의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족하지 않는 경우를 결정하는 단계;
상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들 각각의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족하지 않는다라고 결정하는 것에 응답하여, 검색 엔진을 이용하여 상기 수신된 질의를 실행하지 않기로 결정하는 단계
를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
제7항에 있어서,
상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 제 1 데이터에 기초하여, 그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족하는 경우를 결정하는 단계; 및
상기 하나 이상의 서버 컴퓨터들에 의해서, 그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족한다라고 결정하는 것에 응답하여, 검색 엔진을 이용하여 상기 수신된 질의를 실행하기로 결정하는 단계
를 더 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
제7항에 있어서,
상기 하나 이상의 피처들은 상기 질의를 발생시킨 어플리케이션을 기술하는 컨텍스트 정보로부터 도출되는 것을 특징으로 하는 컴퓨터 구현 방법.
제7항에 있어서,
상기 머신 학습 모델은,
그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족시킬 수 있는지를 나타내는 출력을 제공하도록 트레이닝된 것을 특징으로 하는 컴퓨터 구현 방법.
제7항에 있어서,
상기 머신 학습 모델은 로지스틱 회귀 모델을 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
제7항에 있어서,
상기 기결정된 임계값은 1 초의 시간 기간을 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
제8항에 있어서,
상기 방법은,
상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 클라이언트 디바이스의 사용자 인터페이스에서의 디스플레이를 위해 하나 이상의 콘텐트 아이템들을 제공하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
명령들이 인코딩된 컴퓨터 판독가능 매체로서, 상기 명령들은 하나 이상의 컴퓨터들에 의해 실행될 때, 상기 하나 이상의 컴퓨터들로 하여금 동작들을 수행하게 하며, 상기 동작들은,
하나 이상의 서버 컴퓨터들에 의해서, 클라이언트 디바이스로부터 생성된 질의를 수신하는 동작, 상기 질의는 데이터베이스에 저장된 하나 이상의 콘텐트 아이템에 대한 요청을 포함하며;
상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 질의에 기초하여 하나 이상의 피처들의 세트를 결정하는 동작;
상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 하나 이상의 피처들의 세트에 기초하여 질의 벡터를 생성하는 동작;
상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 질의 벡터를 머신 학습 모델에 제공하는 동작, 상기 머신 학습 모델은 상기 질의 벡터에 응답하는 하나 이상의 후보 콘텐트 아이템들 각각의 세트를 디스플레이하기 위한 컴퓨터화된 렌더링 기간이 기결정된 임계값을 충족하는지의 여부를 나타내는 출력을 제공하도록 트레이닝되며; 그리고
상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 머신 학습 모델의 출력에 기초하여, 상기 질의 벡터에 응답하는 하나 이상의 후보 콘텐트 아이템들 각각의 세트를 디스플레이하기 위한 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 충족하는지를 나타내는 제 1 데이터를 수신하는 동작;
상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 제 1 데이터에 기초하여, 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들 각각의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족하지 않는 경우를 결정하는 동작;
상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들 각각의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족하지 않는다라고 결정하는 것에 응답하여, 검색 엔진을 이용하여 상기 수신된 질의를 실행하지 않기로 결정하는 동작
을 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제14항에 있어서,
상기 동작들은,
상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 제 1 데이터에 기초하여, 그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족하는 경우를 결정하는 동작; 및
상기 하나 이상의 서버 컴퓨터들에 의해서, 그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족한다라고 결정하는 것에 응답하여, 검색 엔진을 이용하여 상기 수신된 질의를 실행하기로 결정하는 동작
을 더 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제14항에 있어서,
상기 하나 이상의 피처들을 상기 질의를 발생시킨 어플리케이션을 기술하는 컨텍스트 정보로부터 도출되는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제14항에 있어서,
상기 머신 학습 모델은,
그 각각이 상기 질의에 응답하는 하나 이상의 후보 콘텐트 아이템들의 세트를 디스플레이하기 위한 상기 컴퓨터화된 렌더링 기간이 상기 기결정된 임계값을 만족시킬 수 있는지를 나타내는 출력을 제공하도록 트레이닝된 것을 특징으로 하는 컴퓨터 판독가능 매체.
제14항에 있어서,
상기 머신 학습 모델은 로지스틱 회귀 모델을 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제14항에 있어서,
상기 기결정된 임계값은 1 초의 시간 기간을 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제15항에 있어서,
상기 동작들은,
상기 하나 이상의 서버 컴퓨터들에 의해서, 상기 클라이언트 디바이스의 사용자 인터페이스에서의 디스플레이를 위해 하나 이상의 콘텐트 아이템들을 제공하는 동작을 더 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.