JP6588572B2 - 情報推薦方法および情報推薦装置 - Google Patents

情報推薦方法および情報推薦装置 Download PDF

Info

Publication number
JP6588572B2
JP6588572B2 JP2017562719A JP2017562719A JP6588572B2 JP 6588572 B2 JP6588572 B2 JP 6588572B2 JP 2017562719 A JP2017562719 A JP 2017562719A JP 2017562719 A JP2017562719 A JP 2017562719A JP 6588572 B2 JP6588572 B2 JP 6588572B2
Authority
JP
Japan
Prior art keywords
recommended
information
feature factor
prediction model
click
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017562719A
Other languages
English (en)
Other versions
JP2018526710A (ja
Inventor
培立 ▲呂▼
培立 ▲呂▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2018526710A publication Critical patent/JP2018526710A/ja
Application granted granted Critical
Publication of JP6588572B2 publication Critical patent/JP6588572B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0242Determining effectiveness of advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user

Description

本願は、その全体が参照によって本明細書に組み込まれている、中華人民共和国の国家知識産権局に2016年1月12日に出願した、中国特許出願第201610017754.7号、名称「RECOMMENDATION FEATURE DETERMINING METHOD, INFORMATION RECOMMENDATION METHOD AND APPARATUS」の優先権を主張するものである。
本開示は、情報推薦技術の分野に関し、具体的には、情報推薦方法および情報推薦装置に関する。
情報推薦は、複数の候補の推薦される情報から高いクリック確率を有する推薦される情報を選択し、選択された推薦される情報をユーザにプッシュし、したがって、プッシュされる情報がユーザによく一致するようにし、これによって、情報推薦の効率を高めることを目指す。たとえば、広告推薦は、通常の情報推薦の一種すなわち、クリック確率の順序に従って広告主によって広告される一連の候補広告をソートし、最高のクリック確率を有する広告をユーザにプッシュすることである。
情報推薦の効率を改善するためには、情報推薦のプロセス内でユーザによってクリックされる推奨される情報のクリック確率を予測することが必要である。推薦される情報のクリック確率に影響する要因は、推薦特徴と呼ばれる場合があり、推薦特徴は、主に、ユーザ、情報(広告など)、および情報提示位置(広告の場所など)を含む3つのタイプを含み、推薦特徴の各タイプは、特定の内容を含む。現在、ユーザ、情報、および情報提示位置である3タイプの推薦特徴を含むクリック確率予測モデルが作られている。その後、情報推薦のプロセス中に、使用可能な推薦特徴が、特定の推薦されるべき情報および推薦されるべきユーザに関して選択され、プッシュされた後の推薦されるべき情報のクリック確率を予測するためにクリック確率予測モデルに追加される。
クリック確率の予測の精度を改善するために、どの推薦特徴がクリック確率予測モデル内への追加のために選択されるのかが、クリック確率を予測するプロセス中に重要であることがわかっている。現在、クリック確率予測モデル内に追加される推薦特徴は、主に、より正確な推薦特徴選択方式を用いずに、技術者の主観解析に基づいて選択される。したがって、クリック確率予測モデル内に追加されるべき推薦特徴を正確に選択し、これによってその後にクリック確率を予測する精度を改善するために、情報推薦方法を提供することが重要である。
したがって、情報推薦方法および情報推薦装置が、クリック確率予測モデル内に追加されるべき推薦特徴を正確に選択し、これによってその後にクリック確率を予測する精度を改善するために、本開示の実施形態に従って提供される。
上記の目的を達成するために、以下の技術的解決策が、本開示の実施形態によって提供される。
情報推薦方法が本開示の一態様に従って提供され、この方法は、
少なくとも1つの候補推薦特徴要因を判定するステップと、
候補推薦特徴要因がクリック確率予測モデル内に追加される前のケースと候補推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリック情報量差を予測するステップと、
セットする条件を満足するクリック情報量差に対応する推薦特徴要因を判定し、判定された推薦特徴要因をクリック確率予測モデル内に追加するステップと、
クリック確率予測モデルに基づいて、推薦されるべきユーザにプッシュされるべきターゲットの推薦される情報を判定するステップと
を含む。
情報推薦装置が本開示の一態様に従って提供され、この装置は、
少なくとも1つの候補推薦特徴要因を判定するように構成された候補要因判定モジュールと、
候補推薦特徴要因がクリック確率予測モデル内に追加される前のケースと候補推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリック情報量差を予測するように構成されたクリック情報量差判定モジュールと、
セットする条件を満足するクリック情報量差に対応する推薦特徴要因を判定し、判定された推薦特徴要因をクリック確率予測モデル内に追加するように構成された特徴選択モジュールと、
クリック確率予測モデルに基づいて、推薦されるべきユーザにプッシュされるべきターゲットの推薦される情報を判定するように構成された推薦される情報判定モジュールと
を含む。
本開示の別の態様に従って、1つまたは複数のコンピュータプログラムを記憶する不揮発性記憶媒体であって、コンピュータプログラムは、1つまたは複数のメモリを有するプロセッサによって実行可能な命令を含み、プロセッサは、上記の情報推薦方法を実行するために命令を実行する、不揮発性記憶媒体が提供される。
上記の技術的解決策に基づいて、本開示の実施形態において、推薦される情報のクリック確率に対する推薦特徴要因の弁別性は、推薦特徴要因がクリック確率予測モデル内に追加される前のケースと推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリック情報量差を予測することによって判定される。セット量差条件を満足するクリック情報量差に対応する推薦特徴要因は、推薦される情報のクリック確率に対するより高い弁別性を有する推薦特徴要因として判定され、その推薦特徴要因は、クリック確率予測モデル内に追加されると決定される。本開示の実施形態において、クリック確率予測モデル内に追加されると決定される推薦特徴要因は、推薦される情報のクリック確率に対するより高い弁別性を有するので、選択される推薦特徴要因は、クリック確率の予測に対する重大な影響を有する。クリック確率の予測に対する重大な影響を有する推薦特徴要因をクリック確率予測モデル内に追加することによって、推薦特徴が、クリック確率予測モデル内への追加のために、より正確に選択される。また、クリック確率予測モデル内に追加される推薦特徴要因は、クリック確率をその後に予測する間に推薦特徴を選択するための基準として使用され、これによって、クリック確率を予測する精度を改善する。
実施形態または従来技術の説明内で使用される添付図面は、次のように短く説明され、その結果、本開示の実施形態または従来技術による技術的解決策が、より明瞭になる。以下の説明内の添付図面が、本開示のいくつかの実施形態を示すのみであることは明白である。当業者にとって、他の図面は、創作的労力を全く伴わずに、これらの添付図面に基づいて入手され得る。
本開示の実施形態による情報推薦方法を示す流れ図である。 本開示の実施形態による情報推薦方法を示す流れ図である。 本開示の実施形態による情報推薦方法内で、推薦されるべきユーザにプッシュされるべきターゲットの推薦される情報を判定するステップを示す流れ図である。 広告プッシュを示す概略図である。 本開示の実施形態による情報推薦装置を示す構造図である。 本開示の実施形態によるクリック情報量差判定モジュールを示す構造図である。 本開示の実施形態による情報エントロピ判定ユニットを示す構造図である。 本開示の実施形態による情報エントロピ減少判定ユニットを示す構造図である。 本開示の実施形態によるクリック情報量差判定モジュールを示す構造図である。 本開示の実施形態による情報推薦装置の推薦される情報判定モジュールを示す構造図である。 本開示の実施形態による電子デバイスのハードウェアを示す構造図である。
本開示の実施形態による技術的解決策は、本開示の実施形態における添付図面に関連して、以下のように明瞭かつ完全に説明される。説明される実施形態が、本開示による実施形態の一部にすぎないことは明白である。創作的労力を伴わずに本開示内の実施形態に基づいて当業者によって入手されるすべての他の実施形態は、本開示の保護範囲内に含まれる。
図1は、本開示の実施形態による情報推薦方法の流れ図である。この方法は、データ処理の能力を有する電子デバイス内で適用され得、好ましくは、この方法は、情報推薦を実行することのできる推薦サーバ内で適用される。図1内に示されているように、情報推薦方法は、以下のステップS100からS130を含むことができる。
ステップS100において、少なくとも1つの候補推薦特徴要因が判定される。
推薦特徴要因は、あるタイプの推薦特徴内に含まれる特定の内容である。たとえば、ユーザタイプ推薦特徴は、年齢、性別、管区、使用されるインターネットデバイス、ヒストリクリックおよび購入する挙動によって影響される関心、または類似物などの推薦特徴要因を含むことができる。
本開示のこの実施形態において、候補推薦特徴要因は、クリック確率予測モデル内に追加されるべきかどうかを分析される推薦特徴要因である。
オプションで、判定された少なくとも1つの候補推薦特徴要因は、同一タイプの推薦特徴に属することができ、たとえば、少なくとも1つの候補推薦特徴要因は、ユーザタイプ推薦特徴に属する。オプションで、判定された少なくとも1つの候補推薦特徴要因内で、候補推薦特徴要因の一部が、ユーザタイプ推薦特徴に属し、候補推薦特徴要因の別の部分が、情報提示位置タイプ推薦特徴に属する。
ステップS110において、候補推薦特徴要因がクリック確率予測モデル内に追加される前のケースと候補推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリック情報量差が、予測される。
本開示のこの実施形態において推薦特徴要因を選択するための原理は、推薦される情報のクリック確率に対する大きい影響を有する推薦特徴要因を、クリック確率予測モデル内に追加される必要がある推薦特徴要因として判定することである。
たとえば、性別を、ユーザタイプ推薦特徴の下の推薦特徴要因としてとりあげることによって、推薦される情報のクリック確率に対する性別の影響が予測される、すなわち、性別の推薦特徴要因が考慮されるケースにおける推薦される情報のクリック確率と性別の推薦特徴要因が考慮されないケースにおける推薦される情報のクリック確率との間の差が予測される。性別によって引き起こされる推薦される情報のクリック確率の間の差が大きい場合には、性別は、推薦される情報のクリック確率に対する大きい影響を有する推薦特徴要因であると考えられる。
推薦される情報のクリック確率に対する推薦特徴要因の影響は、推薦特徴要因がクリック確率予測モデル内に追加される前のケースと推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリック情報量差によって測定され得る。
ステップS120において、セットする条件を満足するクリック情報量差に対応する推薦特徴要因が、判定され、判定された推薦特徴要因が、クリック確率予測モデル内に追加される。
本開示の実施形態において、推薦特徴要因がクリック確率予測モデル内に追加される前のケースと推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリック情報量差を予測した後に、推薦特徴要因が、推薦される情報のクリック確率に対する大きい影響を有するので、より大きいクリック情報量差に対応する推薦特徴要因が、判定され得る。したがって、その推薦特徴要因は、クリック確率予測モデル内に追加されると決定される、すなわち、その推薦特徴要因は、推薦される情報がプッシュされた後の推薦される情報のクリック確率をクリック確率予測モデルを用いて予測する時に、検討されなければならない。
本開示のこの実施形態において、セットする量差しきい値などのセットする条件が、セットされ得る。セットする条件を満足するクリック情報量差に対応する推薦特徴要因は、クリック確率予測モデル内に追加されると決定される。たとえば、セット量差しきい値より大きいクリック情報量差に対応する推薦特徴要因は、クリック確率予測モデル内に追加される必要がある。オプションで、本開示のこの実施形態において、すべての推薦特徴要因は、すべての推薦特徴要因に対応するクリック情報量差に基づいてソートされ得、その順序がセットする範囲内にある推薦特徴要因は、クリック確率予測モデル内に追加されると決定され得る。
ステップS130において、クリック確率予測モデルに基づいて、推薦されるべきユーザにプッシュされるべきターゲットの推薦される情報が、判定される。
本開示のこの実施形態によって提供される情報推薦方法は、少なくとも1つの候補推薦特徴要因を判定するステップと、推薦特徴要因がクリック確率予測モデル内に追加される前のケースと推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリック情報量差を予測するステップと、セットする量差条件を満足するクリック情報量差に対応する推薦特徴要因を判定し、判定された推薦特徴要因をクリック確率予測モデル内に追加するステップと、クリック確率予測モデルに基づいて、推薦されるべきユーザにプッシュされるべきターゲットの推薦される情報を判定するステップとを含む。
本開示のこの実施形態において、推薦される情報のクリック確率に対する推薦特徴要因の弁別性が、推薦特徴要因がクリック確率予測モデル内に追加される前のケースと推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリック情報量差を予測することによって判定されることがわかる。セット量差条件を満足するクリック情報量差に対応する推薦特徴要因が、推薦される情報のクリック確率に対するより高い弁別性を有する推薦特徴要因として判定され、その推薦特徴要因は、クリック確率予測モデル内に追加されると決定される。本開示の実施形態において、クリック確率予測モデル内に追加されると決定される推薦特徴要因が、推薦される情報のクリック確率に対するより高い弁別性を有するので、選択される推薦特徴要因は、クリック確率の予測に対する重大な影響を有する。クリック確率の予測に対する重大な影響を有する推薦特徴要因をクリック確率予測モデル内に追加することによって、推薦特徴が、クリック確率予測モデル内への追加のために、より正確に選択される。クリック確率予測モデル内に追加される推薦特徴要因は、クリック確率をその後に予測する間に推薦特徴を選択するための基準として使用され、これによって、クリック確率の予測の精度を改善する。
オプションで、推薦特徴要因がクリック確率予測モデル内に追加される前のケースと推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリック情報量差は、推薦特徴要因がクリック確率予測モデル内に追加される前のケースと推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリックの増加によって特徴を表され得る。推薦特徴要因がクリック確率予測モデル内に追加される前のケースと推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリックの増加は、推薦特徴要因がクリック確率予測モデル内に追加される前のケースと推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報の情報エントロピの減少によって特徴を表され得る。すなわち、情報エントロピの減少は、推薦特徴要因がクリック確率予測モデル内に追加される前のケースと推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリックの増加と考えられ得る。
図2は、本開示の実施形態による情報推薦方法の流れ図である。図2内に示されているように、この方法は、以下のステップS200からS230を含むことができる。
ステップS200において、少なくとも1つの候補推薦特徴要因が、判定される。
ステップS210において、候補推薦特徴要因がクリック確率予測モデル内に追加される前の推薦される情報の第1の情報エントロピおよび候補推薦特徴要因がクリック確率予測モデル内に追加された後の推薦される情報の第2の情報エントロピが、予測される。
オプションで、本開示の実施形態において、推薦特徴要因がクリック確率予測モデル内に追加される前の推薦される情報の第1の情報エントロピは、式Σf{p(f)H(y|f)}に従って予測され得、ここで、fは、候補推薦特徴要因を示し、yは、推薦される情報がクリックされるかどうかを示すターゲット値の集合を示し、
であり、p(f)は、候補推薦特徴要因fが発生する確率を示し、H(y|f)=-Σyp(y|f)log(p(y|f))であり、p(y|f)は、fの下で推薦される情報がクリックされる確率および推薦される情報がクリックされない確率など、fの下でのyの条件付き確率を示す。
たとえば、推薦特徴要因f(性別など)、広告ad、および広告がユーザによってクリックされるかどうかを示すターゲット値の集合yに関して、yは、1および-1の集合とすることができ、1は、広告がユーザによってクリックされることを示すことができ、-1は、広告がユーザによってクリックされないことを示すことができる。明らかに、1は、広告がユーザによってクリックされないことを示すように設定することができ、-1は、広告がユーザによってクリックされることを示すことができる。本開示のこの実施形態において、fがクリック確率予測モデル内に追加される前の広告の情報エントロピは、式Σf{p(f)H(y|f)}に従って計算され得る。
オプションで、本開示の実施形態において、候補推薦特徴要因がクリック確率予測モデル内に追加された後の推薦される情報の第2の情報エントロピは、式-Σf,ad{p(f,ad)H(y|f,ad)}に従って予測され得、adは、推薦される情報を示し、p(f,ad)は、推薦される情報とfとの両方が発生する確率など、fおよびadが発生する同時確率を示し、H(y|f,ad)=-Σyp(y|f,ad)log(p(y|f,ad))であり、p(y|f,ad)は、特定のadに関して、fの下でadがユーザによってクリックされる確率およびadがユーザによってクリックされない確率など、fおよびadの下でのyの条件付き確率を示す。
たとえば、推薦特徴要因f、広告ad、および広告がユーザによってクリックされるかどうかを示すターゲット値の集合yに関して、本開示のこの実施形態において、fがクリック確率予測モデル内に追加された後の広告adの情報エントロピは、式-Σf,ad{p(f,ad)H(y|f,ad)}に従って計算され得る。
ステップS220において、推薦特徴要因がクリック確率予測モデル内に追加される前のケースと推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報の情報エントロピの減少が、第1の情報エントロピおよび第2の情報エントロピに基づいて予測される。
本開示のこの実施形態において、情報エントロピの減少は、第1の情報エントロピおよび第2の情報エントロピを加算することによって入手され得る。たとえば、第1の情報エントロピおよび第2の情報エントロピは、式IG=-Σf,ad{p(f,ad)H(y|f,ad)}+Σf{p(f)H(y|f)}に従って組み合わされ得、IGは、情報エントロピの減少を示す。
情報エントロピの減少は、推薦特徴要因がクリック確率予測モデル内に追加される前のケースと推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリックの増加に対応する。
ステップS230において、セットする情報エントロピ減少条件を満足する情報エントロピの減少に対応する推薦特徴要因が、クリック確率予測モデル内に追加されると決定される。
セットする情報エントロピ減少条件は、セットする量差条件のオプションの形である。たとえば、本開示のこの実施形態において、セットする情報エントロピ減少値未満の情報エントロピの減少に対応する推薦特徴要因は、クリック確率予測モデル内に追加されると決定され得る。オプションで、本開示のこの実施形態において、すべての推薦特徴要因が、推薦特徴要因のそれぞれに対応する情報エントロピの減少に基づいてソートされ得、その順序がセットする範囲内にある推薦特徴要因が、クリック確率予測モデル内に追加されると決定され得る。
図2内に示された方法の実施態様の説明は、以下で広告プッシュの例をとりあげることによって行われる。
オンライン広告システムは、アルゴリズムのセットを介して素早く自動的に広告、広告環境、および観衆の間の最適マッチングを検索する。この自動最適マッチングの実現は、データマイニング、情報検索、テキスト分析、感情コンピューティング、機械学習、または類似物などの複数の種類のプログラムアルゴリズムの間の相互作用に基づく。観衆が媒体に参加する瞬間から、システムは、ユーザモデルの数学シミュレーションを実行し、協調フィルタリング技術を介して聴衆の関心モデルを判定し、データベース検索技術を利用することによって最適広告を検索し、テキスト分析技術を介して広告と広告する環境との間の関連性を判定し、広告をソートするためにロジスティック回帰モデルを用いてユーザによるクリックの確率を予測し、最後に、広告を正確にプッシュする。クリック確率を予測する手順中には、予測モデルに適当な特徴を選択することが、クリティカルなステップである。一般に、クリック確率予測モデルの特徴は、3つのタイプすなわち、ユーザタイプ、広告場所タイプ、および広告タイプを含む。
ユーザタイプ特徴は、一般に、年齢、性別、管区、使用されるインターネットデバイス、ユーザのヒストリクリックおよび購入する挙動によって影響される関心、または類似物を含む。ユーザタイプ特徴は、一般に、ユーザを精密にグループ化するのに使用され、したがって、ユーザグループの広告への関心が学習される。
広告場所タイプ特徴は、一般に、広告場所の位置、サイズ、コンテキスト、および類似物などの特徴を含む。異なる広告場所のクリック確率は、もちろん異なる。広告場所の異なるコンテキストも、広告の異なるクリック確率につながる。
ユーザタイプ特徴の情報利得(information gain)は、異なるユーザグループによってクリックされる広告のクリック確率の差を反映する。同様に、広告場所タイプ特徴の情報利得は、広告のクリック確率に対する異なる広告場所タイプ特徴の影響を反映する。本開示のこの実施形態において、これは、ユーザグループまたは広告場所タイプ特徴に基づいて全体的なクリック確率を予測することではなく、ユーザタイプ特徴および広告場所タイプ特徴の特定の推薦特徴要因に基づいてクリック確率を予測し、これによって、すべての広告のクリック確率の正確な予測を実現することである。
これに基づいて、クリック確率予測モデル内に追加されるべき推薦特徴要因が、本開示のこの実施形態において決定されなければならない。本開示において、分析されるべき推薦特徴要因fが選択され、広告がユーザによってクリックされるかどうかを示すターゲット値の集合y(y=1,-1)が、特定の広告adについてセットされる。
その後、推薦特徴要因fがクリック確率予測モデル内に追加される前のケースと推薦特徴要因fがクリック確率予測モデル内に追加された後のケースとの間での広告の情報エントロピの減少が、式IG=-Σf,ad{p(f,ad)H(y|f,ad)}+Σf{p(f)H(y|f)}に従って予測される、すなわち、広告adの推薦特徴要因fによってもたらされる情報利得が、予測される。同様の処理が、推薦特徴要因のそれぞれに対応する情報エントロピの減少を入手するために、候補推薦特徴要因のそれぞれに対して実行される。したがって、セットする情報エントロピ減少条件を満足する情報エントロピの減少に対応する推薦特徴要因が、クリック確率予測モデル内に追加されると決定される。
本開示のこの実施形態において、推薦される情報のクリック確率の事前予測が、推薦特徴要因に関して実行され、クリック確率に対する最大の弁別性を有する推薦特徴要因が、判定され、クリック確率予測モデル内に追加されるべき推薦特徴が、正確に選択され、クリック確率をその後に予測する精度が、改善されることがわかる。
オプションで、クリック確率予測モデル内に追加されるべき推薦特徴を判定した後に、推薦される情報adのクリックする挙動の事後確率が、次式に従って計算され得る。
式IG=-Σf,ad{p(f,ad)H(y|f,ad)}+Σf{p(f)H(y|f)}は、
として単純化される、すなわち、
である。
したがって、推薦特徴要因がクリック確率予測モデル内に追加される前のケースと推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報の情報エントロピの減少は、本開示のこの実施形態において式
に従って予測され得、ここで、IGは、情報エントロピの減少を示し、fは、推薦特徴要因を示し、adは、推薦される情報を示し、yは、推薦される情報がクリックされるかどうかを示すターゲット値の集合を示し、p(f,ad,y)は、f、ad、およびyが発生する同時確率を示し、p(y|f,ad)は、fおよびadの下でのyの条件付き確率を示し、p(y|f)は、fの下でのyの条件付き確率を示す。
本開示のこの実施形態において提供される情報推薦方法によれば、クリック確率予測モデル内に追加されるべき推薦特徴が、正確に選択され、これによって、クリック確率をその後に予測する精度が改善される。
上で説明された情報推薦方法に基づいて、情報推薦、たとえば広告推薦は、本開示のこの実施形態においてクリック確率予測モデル内に追加されるべき推薦特徴要因を判定した後に実行される。
図3は、本開示の実施形態による情報推薦方法内で、推薦されるべきユーザにプッシュされるべきターゲットの推薦される情報を判定するステップの流れ図である。図3を参照すると、ステップは、以下のステップS300からS350を含むことができる。
ステップS300において、クリック確率予測モデルと候補の推薦される情報のうちの少なくとも1つとが呼び出され、クリック確率予測モデルは、判定された推薦特徴要因を追加される。
判定された推薦特徴要因は、情報推薦中にクリック確率予測モデルによって実行される計算において使用される特徴を選択するための基準特徴と考えられ得る。次に、基準特徴に対応するユーザ特徴要因が、特定の推薦されるべきユーザの特徴から判定され、基準特徴に対応する情報特徴要因が、特定の推薦される情報の特徴から判定される。ユーザ特徴要因および情報特徴要因に対応するクリック確率が、クリック確率予測モデルを介して予測される。
ステップS310において、推薦されるべきユーザが、判定され、推薦されるべきユーザのユーザ特徴の、少なくとも1つの推薦特徴要因に対応するユーザ特徴要因が、獲得される。
ステップS320において、候補の推薦される情報のそれぞれの、少なくとも1つの推薦特徴要因に対応する情報特徴要因が、判定される。
ステップS330において、候補の推薦される情報のそれぞれの、ユーザ特徴要因および情報特徴要因に対応するクリック確率が、クリック確率予測モデルに基づいて判定される。
ステップS340において、推薦されるべきユーザにプッシュされるべきターゲットの推薦される情報が、候補の推薦される情報のうちの少なくとも1つから、候補の推薦される情報のそれぞれのクリック確率に基づいて判定される。
オプションで、本開示のこの実施形態において、候補の推薦される情報のすべてが、候補の推薦される情報のそれぞれのクリック確率に従ってソートされ得、その順序がセットする要件を満足する推薦される情報が、プッシュされるべきユーザにプッシュされるべきターゲットの推薦される情報として判定され得る。
ステップS350において、ターゲットの推薦される情報が、推薦されるべきユーザにプッシュされる。
広告プッシュが、例としてとりあげられ、図4は、広告プッシュを示す概略図である。
図4において、広告プールが、広告主によって提供される広告用材料または類似物を記憶するのに使用される。
広告システムは、ディスプレイページから要求を受信するのに使用され、ユーザ需要に従う広告をユーザ情報に従って広告プールから抽出し、クリック確率予測モデルによって提供されるクリック確率を参照することによって広告を実行する。
クリック確率予測モデルは、ユーザが広告するページを訪問する時にユーザによるページ上の広告のクリックの確率を予測するのに使用され得、広告するページを訪問するユーザは、推薦されるべきユーザと考えられ得る。ロジスティック回帰モデルは、最も単純なクリック確率予測モデルである。ユーザu、ディスプレイページd、および広告の特徴aを特徴ベクトル
内に組み合わせることと、ユーザのクリック挙動がy∈(0,1)であると仮定することとによって、ロジスティック回帰は、
と書かれ得る。このモデル内のパラメータwは、ヒストリ内のユーザのクリック挙動レコード
に基づく確率的勾配降化法(SGD)を使用することによって計算され得る。ユーザの新しい要求に関して、この要求内のユーザのクリックする挙動の確率p0が、式
に従って予測され得る。
特徴選択は、ユーザによる広告のクリックのログ、ユーザ特徴、または類似物などの情報に基づいて候補推薦特徴要因を判定し、本開示の実施形態において提供される情報推薦方法を使用することによって広告のクリック確率に対する高い弁別性を有する推薦特徴要因を判定するのに使用される。判定された推薦特徴要因は、クリック確率予測モデル内に追加され、広告のクリック確率がクリック確率予測モデルに基づいて予測される時に推薦される特徴を選択するための基準として使用される。
ユーザによる広告に対するクリックおよび露出挙動は、クリック露出ログを形成するためにログの形において記録される。クリック露出ログの内容は、ユーザID、発生したクリックまたは露出の時刻などを含む。
ユーザポートレートは、ユーザの関心、挙動、および他の特徴をマークするために、大量の基本情報データおよびユーザのクリックする挙動データを分析することによってすべてのユーザに特定のラベルを割り当てるのに使用される。
本開示のこの実施形態において、クリック確率予測モデル内に追加される推薦特徴を正確に選択することによって、クリック確率予測モデルによって予測される、ユーザによる推薦される情報をクリックする確率の精度は、より高く、情報推薦は、より正確である。
上で説明された情報推薦方法に対応する、本開示の実施形態において提供される情報推薦装置は、以下のように説明される。
図5は、本開示の実施形態による情報推薦装置の構造図である。この装置は、データ処理の能力を有する電子デバイス内で適用され得、好ましくは、この装置は、情報推薦を実行することのできる推薦サーバ内で適用される。図5を参照すると、情報推薦装置は、候補要因判定モジュール100、クリック情報量差判定モジュール110、特徴選択モジュール120、および推薦される情報判定モジュール130を含むことができる。
候補要因判定モジュール100は、少なくとも1つの候補推薦特徴要因を判定するように構成される。
クリック情報量差判定モジュール110は、候補推薦特徴要因がクリック確率予測モデル内に追加される前のケースと候補推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリック情報量差を予測するように構成される。
特徴選択モジュール120は、セットする条件を満足するクリック情報量差に対応する推薦特徴要因を判定し、判定された推薦特徴要因をクリック確率予測モデル内に追加するように構成される。
推薦される情報判定モジュール130は、クリック確率予測モデルに基づいて、推薦されるべきユーザにプッシュされるべきターゲットの推薦される情報を判定するように構成される。
オプションで、図6は、本開示の実施形態によるクリック情報量差判定モジュール110のオプションの構造を示す。図6を参照すると、クリック情報量差判定モジュール110は、情報エントロピ判定ユニット111および情報エントロピ減少判定ユニット112を含むことができる。
情報エントロピ判定ユニット111は、候補推薦特徴要因がクリック確率予測モデル内に追加される前の推薦される情報の第1の情報エントロピおよび候補推薦特徴要因がクリック確率予測モデル内に追加された後の推薦される情報の第2の情報エントロピを予測するように構成される。
情報エントロピ減少判定ユニット112は、第1の情報エントロピおよび第2の情報エントロピに基づいて、候補推薦特徴要因がクリック確率予測モデル内に追加される前のケースと候補推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報の情報エントロピの減少を予測するように構成され、情報エントロピの減少は、候補推薦特徴要因がクリック確率予測モデル内に追加される前のケースと候補推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリックの増加に対応する。
オプションで、図7は、本開示の実施形態による情報エントロピ判定ユニット111のオプションの構造を示す。図7を参照すると、情報エントロピ判定ユニット111は、第1の情報エントロピ判定サブユニット1111および第2の情報エントロピ判定サブユニット1112を含むことができる。
第1の情報エントロピ判定サブユニット1111は、推薦特徴要因がクリック確率予測モデル内に追加される前の推薦される情報の第1の情報エントロピを、式Σf{p(f)H(y|f)}に従って予測するように構成され、
ここで、fは、推薦特徴要因を示し、yは、推薦される情報がクリックされるかどうかを示すターゲット値の集合を示し、
であり、p(f)は、推薦特徴要因fが発生する確率を示し、H(y|f)=-Σyp(y|f)log(p(y|f))であり、p(y|f)は、fの下でのyの条件付き確率を示す。
第2の情報エントロピ判定サブユニット1112は、候補推薦特徴要因がクリック確率予測モデル内に追加された後の推薦される情報の第2の情報エントロピを、式-Σf,ad{p(f,ad)H(y|f,ad)}に従って予測するように構成され、
ここで、adは、推薦される情報を示し、p(f,ad)は、fおよびadが発生する同時確率を示し、H(y|f,ad)=-Σyp(y|f,ad)log(p(y|f,ad))であり、p(y|f,ad)は、fおよびadの下でのyの条件付き確率を示す。
図8は、情報エントロピ減少判定ユニット112のオプションの構造を示す。図8を参照すると、情報エントロピ減少判定ユニット112は、推薦される情報の情報エントロピの減少を式IG=-Σf,ad{p(f,ad)H(y|f,ad)}+Σf{p(f)H(y|f)}に従って予測するように構成された情報エントロピ組合せサブユニット1121を含むことができ、IGは、情報エントロピの減少を示す。
オプションで、図9は、本開示の実施形態によるクリック情報量差判定モジュール110のオプションの構造を示す。図9を参照すると、クリック情報量差判定モジュール110は、候補推薦特徴要因がクリック確率予測モデル内に追加される前のケースと候補推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報の情報エントロピの減少を式
に従って予測するように構成された計算ユニット113を含むことができ、
ここで、IGは、情報エントロピの減少を示し、fは、推薦特徴要因を示し、adは、推薦される情報を示し、yは、推薦される情報がクリックされるかどうかを示すターゲット値の集合を示し、
であり、p(f,ad,y)は、f、ad、およびyが発生する同時確率を示し、p(y|f,ad)は、fおよびadの下でのyの条件付き確率を示し、p(y|f)は、fの下でのyの条件付き確率を示す。
本開示のこの実施形態において提供される情報推薦装置によれば、クリック確率予測モデル内に追加されるべき推薦特徴が、正確に選択され、クリック確率をその後に予測する精度が、改善される。
上で説明された情報推薦方法に対応する情報推薦装置が、本開示の別の実施形態において提供される。
図10は、本開示の実施形態による情報推薦装置の推薦される情報判定モジュール130の構造図である。図10を参照すると、推薦される情報判定モジュール130は、呼出しユニット200、ユーザ特徴要因判定ユニット210、情報特徴要因判定ユニット220、クリック確率予測ユニット230、ターゲットの推奨される情報判定ユニット240、およびプッシュユニット250を含むことができる。
呼出しユニット200は、クリック確率予測モデルと候補の推薦される情報のうちの少なくとも1つとを呼び出すように構成され、クリック確率予測モデルは、判定された少なくとも1つの推薦特徴要因を追加される。
ユーザ特徴要因判定ユニット210は、推薦されるべきユーザを判定し、推薦されるべきユーザのユーザ特徴の、少なくとも1つの推薦特徴要因に対応するユーザ特徴要因を獲得するように構成される。
情報特徴要因判定ユニット220は、候補の推薦される情報のそれぞれの、少なくとも1つの推薦特徴要因に対応する情報特徴要因を判定するように構成される。
クリック確率予測ユニット230は、クリック確率予測モデルに基づいて、候補の推薦される情報のそれぞれの、ユーザ特徴要因および情報特徴要因に対応するクリック確率を判定するように構成される。
ターゲットの推奨される情報判定ユニット240は、候補の推薦される情報のそれぞれのクリック確率に基づいて、候補の推薦される情報のうちの少なくとも1つから推薦されるべきユーザにプッシュされるべきターゲットの推薦される情報を判定するように構成される。
プッシュユニット250は、推薦されるべきユーザにターゲットの推薦される情報をプッシュするように構成される。
オプションで、図11は、情報推薦装置と共に設置される電子デバイスのハードウェアの構造図であり、電子デバイスは、たとえば推薦サーバとされ得る。図11を参照すると、電子デバイスは、プロセッサ1、通信インターフェース2、メモリ3、および通信バス4を含むことができる。プロセッサ1、通信インターフェース2、およびメモリ3は、通信バス4を介してお互いと通信される。オプションで、通信インターフェース2は、GSMモジュールのインターフェースなど、通信モジュールのインターフェースとされ得る。プロセッサ1は、プログラムを実行するように構成される。メモリ3は、プログラムを記憶するように構成される。プログラムは、プログラムコードを含むことができ、プログラムコードは、コンピュータ動作命令を含むことができる。
プロセッサ1は、中央処理装置(CPU)、特定用途向け集積回路(ASIC)、または本開示の実施形態を実施するように構成された1つまたは複数の集積回路とされ得る。
メモリ3は、高速ランダムアクセスメモリ(RAM)を含むことができ、あるいは、少なくとも1つの磁気ディスクメモリなどの不揮発性メモリを含むことができる。
プログラムは、
少なくとも1つの候補推薦特徴要因を判定し、
候補推薦特徴要因がクリック確率予測モデル内に追加される前のケースと候補推薦特徴要因がクリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリック情報量差を予測し、
セットする条件を満足するクリック情報量差に対応する推薦特徴要因を判定し、判定された推薦特徴要因をクリック確率予測モデル内に追加し、
クリック確率予測モデルに基づいて、推薦されるべきユーザにプッシュされるべきターゲットの推薦される情報を判定する
ように構成される。
本明細書内の上の実施形態は、漸進的な形で説明される。実施形態のそれぞれは、主に、他の実施形態からの差を説明することに焦点を合わせ、これらの実施形態の中の同一のまたは類似する部分に関して、これらの実施形態の中で参照が行われる場合がある。諸実施形態内で開示される装置の説明は、装置が実施形態内で開示される方法に対応するので単純であり、関連する説明は、方法の説明内に見出され得る。
当業者は、本明細書内で開示される実施形態内で説明される例と組み合わせて、方法ステップおよびユニットが、電子ハードウェア、コンピュータソフトウェア、またはその組合せによって実施され得ることに気付く可能性がある。ハードウェアとソフトウェアとの間の交換可能性を明瞭に説明するために、前述は、全般的に、機能に従って各実施形態のステップおよび構成を説明した。機能がハードウェアまたはソフトウェアのどちらによって実行されるのかは、特定の応用例と、技術的解決策の設計制約条件とに依存する。当業者は、特定の応用例ごとに説明された機能を実施するのに異なる方法を使用することができるが、実施態様が、本開示の範囲を超えると考えてはならない。
本明細書で開示される実施形態に関連して説明される方法またはアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、またはその組合せを直接に用いて実施され得る。ソフトウェアモジュールは、ランダムアクセスメモリ(RAM)、メモリ、読取専用メモリ(ROM)、電気的プログラム可能ROM、電気的消去可能プログラム可能ROM、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、または当技術分野で周知の任意の他の形の記憶媒体内に配置され得る。
開示される実施形態の上の説明に基づいて、当業者は、本願を実行しまたは使用することができる。当業者にとって、これらの実施形態に対する変更を行うことは、明白である。本明細書で定義される全般的な原理は、本願の趣旨または範囲から逸脱せずに他の実施形態に適用され得る。したがって、本願は、本明細書に示された実施形態に限定されるのではなく、本明細書で開示される原理および新規の特徴と一貫する最も広い範囲によって定義されなければならない。
1 プロセッサ
2 通信インターフェース
3 メモリ
4 通信バス
100 候補要因判定モジュール
110 クリック情報量差判定モジュール
111 情報エントロピ判定ユニット
112 情報エントロピ減少判定ユニット
113 計算ユニット
120 特徴選択モジュール
130 推薦される情報判定モジュール
200 呼出しユニット
210 ユーザ特徴要因判定ユニット
220 情報特徴要因判定ユニット
230 クリック確率予測ユニット
240 ターゲットの推奨される情報判定ユニット
250 プッシュユニット
1111 第1の情報エントロピ判定サブユニット
1112 第2の情報エントロピ判定サブユニット
1121 情報エントロピ組合せサブユニット

Claims (11)

  1. 少なくとも1つの候補推薦特徴要因を判定するステップと、
    前記候補推薦特徴要因がクリック確率予測モデル内に追加される前のケースと前記候補推薦特徴要因が前記クリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリック情報量差を予測するステップと、
    セットする条件を満足する前記クリック情報量差に対応する前記推薦特徴要因を判定し、前記判定された推薦特徴要因を前記クリック確率予測モデル内に追加するステップと、
    前記クリック確率予測モデルに基づいて、推薦されるべきユーザにプッシュされるべきターゲットの推薦される情報を判定するステップと
    を含む、情報推薦方法。
  2. 前記候補推薦特徴要因がクリック確率予測モデル内に追加される前のケースと前記候補推薦特徴要因が前記クリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリック情報量差を予測する前記ステップは、
    前記候補推薦特徴要因が前記クリック確率予測モデル内に追加される前の前記推薦される情報の第1の情報エントロピおよび前記候補推薦特徴要因が前記クリック確率予測モデル内に追加された後の前記推薦される情報の第2の情報エントロピを予測するステップと、
    前記第1の情報エントロピおよび前記第2の情報エントロピに基づいて、前記候補推薦特徴要因が前記クリック確率予測モデル内に追加される前のケースと前記候補推薦特徴要因が前記クリック確率予測モデル内に追加された後のケースとの間での前記推薦される情報の情報エントロピの減少を予測するステップであって、情報エントロピの前記減少は、前記推薦特徴要因が前記クリック確率予測モデル内に追加される前のケースと前記推薦特徴要因が前記クリック確率予測モデル内に追加された後のケースとの間での前記推薦される情報のクリックの増加に対応する、予測するステップと
    を含む、請求項1に記載の情報推薦方法。
  3. 前記第1の情報エントロピおよび前記第2の情報エントロピに基づいて、前記推薦特徴要因が前記クリック確率予測モデル内に追加される前のケースと前記推薦特徴要因が前記クリック確率予測モデル内に追加された後のケースとの間での前記推薦される情報の情報エントロピの減少を予測する前記ステップは、
    前記推薦される情報の情報エントロピの前記減少を
    式IG=-Σf,ad{p(f,ad)H(y|f,ad)}+Σf{p(f)H(y|f)}に従って予測するステップを含み、IGは、情報エントロピの前記減少を示fは、前記候補推薦特徴要因を示し、yは、前記推薦される情報がクリックされるかどうかを示すターゲット値の集合を示し、
    であり、p(f)は、前記候補推薦特徴要因fが発生する確率を示し、H(y|f)=-Σ y p(y|f)log(p(y|f))であり、p(y|f)は、fの下でのyの条件付き確率を示し、adは、前記推薦される情報を示し、p(f,ad)は、fおよびadが発生する同時確率を示し、H(y|f,ad)=-Σ y p(y|f,ad)log(p(y|f,ad))であり、p(y|f,ad)は、fおよびadの下でのyの条件付き確率を示す、請求項2に記載の情報推薦方法。
  4. 前記候補推薦特徴要因がクリック確率予測モデル内に追加される前のケースと前記候補推薦特徴要因が前記クリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリック情報量差を予測する前記ステップは、
    前記推薦特徴要因が前記クリック確率予測モデル内に追加される前のケースと前記推薦特徴要因が前記クリック確率予測モデル内に追加された後のケースとの間での前記推薦される情報の情報エントロピの減少を式
    に従って予測するステップを含み、ここで、IGは、情報エントロピの前記減少を示し、fは、前記推薦特徴要因を示し、adは、前記推薦される情報を示し、yは、前記推薦される情報がクリックされるかどうかを示すターゲット値の集合を示し、
    であり、p(f,ad,y)は、f、ad、およびyが発生する同時確率を示し、p(y|f,ad)は、fおよびadの下でのyの条件付き確率を示し、p(y|f)は、fの下でのyの条件付き確率を示す、請求項1に記載の情報推薦方法。
  5. 前記クリック確率予測モデルに基づいて、推薦されるべきユーザにプッシュされるべきターゲットの推薦される情報を判定する前記ステップは、
    前記クリック確率予測モデルと候補の推薦される情報のうちの少なくとも1つとを呼び出すステップであって、前記クリック確率予測モデルは、前記判定された推薦特徴要因を追加される、呼び出すステップと、
    推薦されるべきユーザを判定し、前記推薦されるべきユーザのユーザ特徴の、前記少なくとも1つの推薦特徴要因に対応するユーザ特徴要因を獲得するステップと、
    候補の推薦される情報のそれぞれの、前記少なくとも1つの推薦特徴要因に対応する情報特徴要因を判定するステップと、
    前記クリック確率予測モデルに基づいて、候補の推薦される情報のそれぞれの、前記ユーザ特徴要因および前記情報特徴要因に対応するクリック確率を判定するステップと、
    候補の推薦される情報のそれぞれの前記クリック確率に基づいて、候補の推薦される情報のうちの前記少なくとも1つから前記推薦されるべきユーザにプッシュされるべき前記ターゲットの推薦される情報を判定するステップと、
    前記推薦されるべきユーザに前記ターゲットの推薦される情報をプッシュするステップと
    を含む、請求項1から4のいずれか一項に記載の情報推薦方法。
  6. 少なくとも1つの候補推薦特徴要因を判定するように構成された候補要因判定モジュールと、
    前記候補推薦特徴要因がクリック確率予測モデル内に追加される前のケースと前記候補推薦特徴要因が前記クリック確率予測モデル内に追加された後のケースとの間での推薦される情報のクリック情報量差を予測するように構成されたクリック情報量差判定モジュールと、
    セットする条件を満足する前記クリック情報量差に対応する前記推薦特徴要因を判定し、前記判定された推薦特徴要因を前記クリック確率予測モデル内に追加するように構成された特徴選択モジュールと、
    前記クリック確率予測モデルに基づいて、推薦されるべきユーザにプッシュされるべきターゲットの推薦される情報を判定するように構成された推薦される情報判定モジュールと
    を含む、情報推薦装置。
  7. 前記クリック情報量差判定モジュールは、
    前記候補推薦特徴要因が前記クリック確率予測モデル内に追加される前の前記推薦される情報の第1の情報エントロピおよび前記候補推薦特徴要因が前記クリック確率予測モデル内に追加された後の前記推薦される情報の第2の情報エントロピを予測するように構成された情報エントロピ判定ユニットと、
    前記第1の情報エントロピおよび前記第2の情報エントロピに基づいて、前記候補推薦特徴要因が前記クリック確率予測モデル内に追加される前のケースと前記候補推薦特徴要因が前記クリック確率予測モデル内に追加された後のケースとの間での前記推薦される情報の情報エントロピの減少を予測するように構成された情報エントロピ減少判定ユニットであって、情報エントロピの前記減少は、前記候補推薦特徴要因が前記クリック確率予測モデル内に追加される前のケースと前記候補推薦特徴要因が前記クリック確率予測モデル内に追加された後のケースとの間での前記推薦される情報のクリックの増加に対応する、情報エントロピ減少判定ユニットと
    を含む、請求項6に記載の情報推薦装置。
  8. 前記情報エントロピ減少判定ユニットは、
    前記推薦される情報の情報エントロピの前記減少を
    式IG=-Σf,ad{p(f,ad)H(y|f,ad)}+Σf{p(f)H(y|f)}に従って予測するように構成された情報エントロピ組合せサブユニットを含み、IGは、情報エントロピの前記減少を示fは、前記候補推薦特徴要因を示し、yは、前記推薦される情報がクリックされるかどうかを示すターゲット値の集合を示し、
    であり、p(f)は、前記候補推薦特徴要因fが発生する確率を示し、H(y|f)=-Σ y p(y|f)log(p(y|f))であり、p(y|f)は、fの下でのyの条件付き確率を示し、adは、前記推薦される情報を示し、p(f,ad)は、fおよびadが発生する同時確率を示し、H(y|f,ad)=-Σ y p(y|f,ad)log(p(y|f,ad))であり、p(y|f,ad)は、fおよびadの下でのyの条件付き確率を示す、請求項7に記載の情報推薦装置。
  9. 前記クリック情報量差判定モジュールは、
    前記候補推薦特徴要因が前記クリック確率予測モデル内に追加される前のケースと前記候補推薦特徴要因が前記クリック確率予測モデル内に追加された後のケースとの間での前記推薦される情報の情報エントロピの減少を式
    に従って予測するように構成された計算ユニットを含み、ここで、IGは、情報エントロピの前記減少を示し、fは、前記推薦特徴要因を示し、adは、前記推薦される情報を示し、yは、前記推薦される情報がクリックされるかどうかを示すターゲット値の集合を示し、
    であり、p(f,ad,y)は、f、ad、およびyが発生する同時確率を示し、p(y|f,ad)は、fおよびadの下でのyの条件付き確率を示し、p(y|f)は、fの下でのyの条件付き確率を示す、請求項6に記載の情報推薦装置。
  10. 前記推薦される情報判定モジュールは、
    前記クリック確率予測モデルと候補の推薦される情報のうちの少なくとも1つとを呼び出すように構成された呼出しユニットであって、前記クリック確率予測モデルは、前記判定された少なくとも1つの推薦特徴要因を追加される、呼出しユニットと、
    推薦されるべきユーザを判定し、前記推薦されるべきユーザのユーザ特徴の、前記少なくとも1つの推薦特徴要因に対応するユーザ特徴要因を獲得するように構成されたユーザ特徴要因判定ユニットと、
    候補の推薦される情報のそれぞれの、前記少なくとも1つの推薦特徴要因に対応する情報特徴要因を判定するように構成された情報特徴要因判定ユニットと、
    前記クリック確率予測モデルに基づいて、候補の推薦される情報のそれぞれの、前記ユーザ特徴要因および前記情報特徴要因に対応するクリック確率を判定するように構成されたクリック確率予測ユニットと、
    候補の推薦される情報のそれぞれの前記クリック確率に基づいて、候補の推薦される情報のうちの前記少なくとも1つから前記推薦されるべきユーザにプッシュされるべき前記ターゲットの推薦される情報を判定するように構成されたターゲットの推奨される情報判定ユニットと、
    前記推薦されるべきユーザに前記ターゲットの推薦される情報をプッシュするように構成されたプッシュユニットと
    を含む、請求項6から9のいずれか一項に記載の情報推薦装置。
  11. 1つまたは複数のコンピュータプログラムを記憶する不揮発性記憶媒体であって、前記コンピュータプログラムは、1つまたは複数のメモリを有するプロセッサによって実行可能な命令を含み、前記プロセッサは、請求項1から5のいずれか一項に記載の前記情報推薦方法を実行するために前記命令を実行する、不揮発性記憶媒体。
JP2017562719A 2016-01-12 2017-01-10 情報推薦方法および情報推薦装置 Active JP6588572B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610017754.7 2016-01-12
CN201610017754.7A CN105678587B (zh) 2016-01-12 2016-01-12 一种推荐特征确定方法、信息推荐方法及装置
PCT/CN2017/070764 WO2017121314A1 (zh) 2016-01-12 2017-01-10 信息推荐方法及装置

Publications (2)

Publication Number Publication Date
JP2018526710A JP2018526710A (ja) 2018-09-13
JP6588572B2 true JP6588572B2 (ja) 2019-10-09

Family

ID=56300069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017562719A Active JP6588572B2 (ja) 2016-01-12 2017-01-10 情報推薦方法および情報推薦装置

Country Status (5)

Country Link
US (1) US11301525B2 (ja)
JP (1) JP6588572B2 (ja)
KR (1) KR101999471B1 (ja)
CN (1) CN105678587B (ja)
WO (1) WO2017121314A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678587B (zh) 2016-01-12 2020-11-24 腾讯科技(深圳)有限公司 一种推荐特征确定方法、信息推荐方法及装置
CN108268464B (zh) * 2016-12-30 2021-01-12 广东精点数据科技股份有限公司 一种基于协同过滤与logistic回归的个性化推荐方法及装置
CN107172151B (zh) * 2017-05-18 2020-08-07 百度在线网络技术(北京)有限公司 用于推送信息的方法和装置
CN107613022B (zh) * 2017-10-20 2020-10-16 阿里巴巴(中国)有限公司 内容推送方法、装置及计算机设备
US11238358B2 (en) * 2017-12-18 2022-02-01 Microsoft Technology Licensing, Llc Predicting site visit based on intervention
CN110110210A (zh) * 2018-01-22 2019-08-09 腾讯科技(北京)有限公司 推送展示信息的方法和装置
JP7217097B2 (ja) * 2018-06-26 2023-02-02 株式会社Lifull 照会確率提示装置、照会確率提示プログラム、照会確率提示方法、及び情報提供システム
JP7217096B2 (ja) * 2018-06-26 2023-02-02 株式会社Lifull 広告オプション割当装置、広告オプション割当プログラム、広告オプション割当方法、及び情報提供システム
CN110781374A (zh) * 2018-07-13 2020-02-11 北京字节跳动网络技术有限公司 用户数据匹配方法、装置、电子设备和计算机可读介质
CN109255070B (zh) * 2018-08-01 2022-04-12 百度在线网络技术(北京)有限公司 推荐信息处理方法、装置、计算机设备及存储介质
CN109165742A (zh) * 2018-08-28 2019-01-08 北京百度网讯科技有限公司 推荐方法、装置、存储介质和终端设备
CN109272360B (zh) * 2018-09-28 2021-09-10 有米科技股份有限公司 一种广告智能推荐方法、系统及装置
CN111598638B (zh) * 2019-02-21 2023-11-07 北京沃东天骏信息技术有限公司 点击率确定方法、装置及设备
CN110413358B (zh) * 2019-06-27 2022-03-04 创新先进技术有限公司 页面的展示方法及装置
CN111159241B (zh) * 2019-12-20 2023-04-07 深圳前海微众银行股份有限公司 一种点击转化预估方法及装置
CN111914172B (zh) * 2020-07-29 2021-09-10 上海梅斯医药科技有限公司 一种基于用户标签的医学信息推荐方法及系统
CN112115365B (zh) * 2020-09-25 2021-09-14 贝壳找房(北京)科技有限公司 模型协同优化的方法、装置、介质和电子设备
CN113763103A (zh) * 2021-01-19 2021-12-07 北京沃东天骏信息技术有限公司 一种物品搭配关系确定方法、装置、电子设备和存储介质
US11803253B2 (en) * 2021-11-29 2023-10-31 International Business Machines Corporation Keyword recommendations for virtual keyboards

Family Cites Families (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6460036B1 (en) * 1994-11-29 2002-10-01 Pinpoint Incorporated System and method for providing customized electronic newspapers and target advertisements
US5948061A (en) * 1996-10-29 1999-09-07 Double Click, Inc. Method of delivery, targeting, and measuring advertising over networks
US6286005B1 (en) * 1998-03-11 2001-09-04 Cannon Holdings, L.L.C. Method and apparatus for analyzing data and advertising optimization
US6907566B1 (en) * 1999-04-02 2005-06-14 Overture Services, Inc. Method and system for optimum placement of advertisements on a webpage
US6981040B1 (en) * 1999-12-28 2005-12-27 Utopy, Inc. Automatic, personalized online information and product services
JP4606736B2 (ja) * 2001-06-11 2011-01-05 エヌエックスピー ビー ヴィ 特徴点選択
KR20080043764A (ko) * 2005-06-28 2008-05-19 초이스스트림, 인코포레이티드 타게팅 광고용 통계 시스템에 관한 방법 및 장치
US20100138451A1 (en) * 2006-04-03 2010-06-03 Assaf Henkin Techniques for facilitating on-line contextual analysis and advertising
US7937345B2 (en) * 2006-07-12 2011-05-03 Kofax, Inc. Data classification methods using machine learning techniques
US20080103897A1 (en) * 2006-10-25 2008-05-01 Microsoft Corporation Normalizing and tracking user attributes for transactions in an advertising exchange
US20080109285A1 (en) * 2006-10-26 2008-05-08 Mobile Content Networks, Inc. Techniques for determining relevant advertisements in response to queries
US8175914B1 (en) * 2007-07-30 2012-05-08 Google Inc. Automatic adjustment of advertiser bids to equalize cost-per-conversion among publishers for an advertisement
US20090063268A1 (en) * 2007-09-04 2009-03-05 Burgess David A Targeting Using Historical Data
US7912843B2 (en) * 2007-10-29 2011-03-22 Yahoo! Inc. Method for selecting electronic advertisements using machine translation techniques
US9203911B2 (en) * 2007-11-14 2015-12-01 Qualcomm Incorporated Method and system for using a cache miss state match indicator to determine user suitability of targeted content messages in a mobile environment
US9734460B1 (en) * 2008-06-13 2017-08-15 Google Inc. Adjusting participation of content in a selection process
US8738436B2 (en) * 2008-09-30 2014-05-27 Yahoo! Inc. Click through rate prediction system and method
US20100262456A1 (en) * 2009-04-08 2010-10-14 Jun Feng System and Method for Deep Targeting Advertisement Based on Social Behaviors
JP5519210B2 (ja) * 2009-08-10 2014-06-11 株式会社エイチアイ モデル生成装置、モデル生成方法、情報処理システム、及びプログラム
US20110093331A1 (en) * 2009-10-19 2011-04-21 Donald Metzler Term Weighting for Contextual Advertising
US9760802B2 (en) * 2010-01-27 2017-09-12 Ebay Inc. Probabilistic recommendation of an item
US20110313842A1 (en) * 2010-03-24 2011-12-22 Taykey Ltd. System and methods thereof for providing an advertisement placement recommendation based on trends
US8655695B1 (en) * 2010-05-07 2014-02-18 Aol Advertising Inc. Systems and methods for generating expanded user segments
US8510658B2 (en) * 2010-08-11 2013-08-13 Apple Inc. Population segmentation
US20120150626A1 (en) * 2010-12-10 2012-06-14 Zhang Ruofei Bruce System and Method for Automated Recommendation of Advertisement Targeting Attributes
US9104960B2 (en) * 2011-06-20 2015-08-11 Microsoft Technology Licensing, Llc Click prediction using bin counting
WO2013052936A1 (en) * 2011-10-06 2013-04-11 Infersystems Corp. Automated allocation of media via network
CN102346899A (zh) * 2011-10-08 2012-02-08 亿赞普(北京)科技有限公司 一种基于用户行为的广告点击率预测方法和装置
CN103092877B (zh) * 2011-11-04 2016-09-07 百度在线网络技术(北京)有限公司 一种关键词推荐方法和装置
US20130138507A1 (en) * 2011-11-30 2013-05-30 Amit Kumar Predictive modeling for e-commerce advertising systems and methods
US20130191223A1 (en) * 2012-01-20 2013-07-25 Visa International Service Association Systems and methods to determine user preferences for targeted offers
US20140372350A1 (en) * 2012-02-09 2014-12-18 Kenshoo Ltd. System, A Method and a Computer Program Product for Performance Assessment
US20130211905A1 (en) * 2012-02-13 2013-08-15 Microsoft Corporation Attractiveness-based online advertisement click prediction
CN103246686A (zh) * 2012-02-14 2013-08-14 阿里巴巴集团控股有限公司 文本分类方法和装置及文本分类的特征处理方法和装置
JP2013205170A (ja) * 2012-03-28 2013-10-07 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US9294577B2 (en) * 2012-04-11 2016-03-22 Taboola.Com Ltd Click through rate estimation in varying display situations
US20130346182A1 (en) * 2012-06-20 2013-12-26 Yahoo! Inc. Multimedia features for click prediction of new advertisements
CN102821465B (zh) * 2012-09-07 2014-11-26 哈尔滨工业大学 基于分区信息熵增益的wlan室内定位方法
US20140101685A1 (en) * 2012-10-04 2014-04-10 Lucid Commerce, Inc. Continuous optimization of advertising campaigns based on real time tracking
US20140149223A1 (en) * 2012-11-29 2014-05-29 Nipun Mathur Targeted Advertisements In Mobile Applications
US9129227B1 (en) * 2012-12-31 2015-09-08 Google Inc. Methods, systems, and media for recommending content items based on topics
US20140207564A1 (en) * 2013-01-18 2014-07-24 Linkedln Corporation System and method for serving electronic content
US20140236705A1 (en) * 2013-02-15 2014-08-21 Turn Inc. Method and apparatus for data-driven multi-touch attribution determination in multichannel advertising campaigns
US20140372202A1 (en) * 2013-06-17 2014-12-18 Google Inc. Predicting performance of content items using loss functions
US20150006295A1 (en) * 2013-06-28 2015-01-01 Linkedln Corporation Targeting users based on previous advertising campaigns
US20150006294A1 (en) * 2013-06-28 2015-01-01 Linkedln Corporation Targeting rules based on previous recommendations
US20150006286A1 (en) * 2013-06-28 2015-01-01 Linkedin Corporation Targeting users based on categorical content interactions
US9767489B1 (en) * 2013-08-30 2017-09-19 Google Inc. Content item impression effect decay
US20160255139A1 (en) * 2016-03-12 2016-09-01 Yogesh Chunilal Rathod Structured updated status, requests, user data & programming based presenting & accessing of connections or connectable users or entities and/or link(s)
CN104572734B (zh) * 2013-10-23 2019-04-30 腾讯科技(深圳)有限公司 问题推荐方法、装置及系统
US10832281B1 (en) * 2013-12-20 2020-11-10 Groupon, Inc. Systems, apparatus, and methods for providing promotions based on consumer interactions
WO2015096146A1 (en) * 2013-12-27 2015-07-02 Yahoo! Inc. Systems and methods for a unified audience targeting solution
CN103747537B (zh) * 2014-01-15 2017-05-03 广东交通职业技术学院 一种基于熵度量的无线传感器网络离群数据自适应检测方法
CN104834641B (zh) * 2014-02-11 2019-03-15 腾讯科技(北京)有限公司 网络媒介信息的处理方法和相关系统
US20150235260A1 (en) * 2014-02-20 2015-08-20 Linkedln Corporation Forecasting electronic events
US9727818B1 (en) * 2014-02-23 2017-08-08 Google Inc. Impression effect modeling for content items
EP3117385A4 (en) * 2014-03-13 2017-08-02 The Nielsen Company (US), LLC Methods and apparatus to compensate impression data for misattribution and/or non-coverage by a database proprietor
US9836765B2 (en) * 2014-05-19 2017-12-05 Kibo Software, Inc. System and method for context-aware recommendation through user activity change detection
US10963810B2 (en) * 2014-06-30 2021-03-30 Amazon Technologies, Inc. Efficient duplicate detection for machine learning data sets
US10452992B2 (en) * 2014-06-30 2019-10-22 Amazon Technologies, Inc. Interactive interfaces for machine learning model evaluations
US20150379571A1 (en) * 2014-06-30 2015-12-31 Yahoo! Inc. Systems and methods for search retargeting using directed distributed query word representations
US9886670B2 (en) * 2014-06-30 2018-02-06 Amazon Technologies, Inc. Feature processing recipes for machine learning
US10318983B2 (en) * 2014-07-18 2019-06-11 Facebook, Inc. Expansion of targeting criteria based on advertisement performance
US10528981B2 (en) * 2014-07-18 2020-01-07 Facebook, Inc. Expansion of targeting criteria using an advertisement performance metric to maintain revenue
US10706439B1 (en) * 2014-07-30 2020-07-07 Groupon, Inc. Predictive recommendation system using tiered feature data
US20160180248A1 (en) * 2014-08-21 2016-06-23 Peder Regan Context based learning
WO2016037278A1 (en) * 2014-09-10 2016-03-17 Sysomos L.P. Systems and methods for continuous analysis and procurement of advertisement campaigns
JP6129802B2 (ja) * 2014-09-19 2017-05-17 ヤフー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US10296546B2 (en) * 2014-11-24 2019-05-21 Adobe Inc. Automatic aggregation of online user profiles
US20160189239A1 (en) * 2014-12-30 2016-06-30 Yahoo!, Inc. Advertisement generator
US10671679B2 (en) * 2014-12-30 2020-06-02 Oath Inc. Method and system for enhanced content recommendation
US20160253325A1 (en) * 2014-12-30 2016-09-01 Socialtopias, Llc Method and apparatus for programmatically adjusting the relative importance of content data as behavioral data changes
US20160210657A1 (en) * 2014-12-30 2016-07-21 Anto Chittilappilly Real-time marketing campaign stimuli selection based on user response predictions
US20160210658A1 (en) * 2014-12-31 2016-07-21 Anto Chittilappilly Determining touchpoint attributions in a segmented media campaign
US20160189202A1 (en) * 2014-12-31 2016-06-30 Yahoo! Inc. Systems and methods for measuring complex online strategy effectiveness
US20160232575A1 (en) * 2015-02-06 2016-08-11 Facebook, Inc. Determining a number of cluster groups associated with content identifying users eligible to receive the content
US10497024B2 (en) * 2015-04-28 2019-12-03 Facebook, Inc. Identifying content to present to a group of online system users based on user actions and specified by a third-party system
WO2016201631A1 (en) * 2015-06-17 2016-12-22 Yahoo! Inc. Systems and methods for online content recommendation
CN105046277B (zh) * 2015-07-15 2019-06-14 华南农业大学 特征显著性在图像质量评价中的鲁棒机理研究方法
CN105183772A (zh) * 2015-08-07 2015-12-23 百度在线网络技术(北京)有限公司 投放信息点击率预估方法及装置
US10127573B2 (en) * 2015-11-13 2018-11-13 Facebook, Inc. Framework for evaluating targeting models
US10057199B2 (en) * 2015-11-16 2018-08-21 Facebook, Inc. Ranking and filtering comments based on impression calculations
US10242386B2 (en) * 2015-12-16 2019-03-26 Facebook, Inc. Grouping users into tiers based on similarity to a group of seed users
US20170178199A1 (en) * 2015-12-22 2017-06-22 Intuit Inc. Method and system for adaptively providing personalized marketing experiences to potential customers and users of a tax return preparation system
US20170186047A1 (en) * 2015-12-28 2017-06-29 International Business Machines Corporation Optimization of audience groups in online advertising bidding
CN105678587B (zh) * 2016-01-12 2020-11-24 腾讯科技(深圳)有限公司 一种推荐特征确定方法、信息推荐方法及装置
US20170236073A1 (en) * 2016-02-12 2017-08-17 Linkedln Corporation Machine learned candidate selection on inverted indices
US10200485B2 (en) * 2016-04-05 2019-02-05 Facebook, Inc. Pushing news feed content to client devices
US20180189074A1 (en) * 2017-01-03 2018-07-05 Facebook, Inc. Postview of content items for dynamic creative optimization
US20190197176A1 (en) * 2017-12-21 2019-06-27 Microsoft Technology Licensing, Llc Identifying relationships between entities using machine learning
US10740825B1 (en) * 2018-04-10 2020-08-11 Facebook, Inc. User clustering in a latent space for identifying user interest in a content item
CN109614794A (zh) * 2018-12-12 2019-04-12 中国科学院计算机网络信息中心 基于信息增益的特征选择方法、装置及存储介质
CN111159564A (zh) * 2019-12-31 2020-05-15 联想(北京)有限公司 信息推荐方法、装置、存储介质及计算机设备

Also Published As

Publication number Publication date
US11301525B2 (en) 2022-04-12
JP2018526710A (ja) 2018-09-13
CN105678587A (zh) 2016-06-15
WO2017121314A1 (zh) 2017-07-20
KR101999471B1 (ko) 2019-10-01
KR20170141247A (ko) 2017-12-22
US20180081978A1 (en) 2018-03-22
CN105678587B (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
JP6588572B2 (ja) 情報推薦方法および情報推薦装置
US11699035B2 (en) Generating message effectiveness predictions and insights
WO2018188576A1 (zh) 资源推送方法及装置
WO2017190610A1 (zh) 目标用户定向方法、装置和计算机存储介质
US20180114136A1 (en) Trend identification using multiple data sources and machine learning techniques
WO2016107354A1 (zh) 提供用户个性化资源消息推送的方法和装置
US10416993B2 (en) Mobile application update manager
US11809505B2 (en) Method for pushing information, electronic device
JP6653374B2 (ja) ユーザニーズを決定するための方法及び装置
CN110490595B (zh) 一种风险控制方法和装置
CN115018552A (zh) 产品点击率确定方法
CN103324641A (zh) 信息记录推荐方法和装置
US20230316106A1 (en) Method and apparatus for training content recommendation model, device, and storage medium
CN111260416B (zh) 用于确定对象的关联用户的方法及装置
US9652527B2 (en) Multi-term query subsumption for document classification
CN108154377B (zh) 广告作弊预测方法及装置
US10496693B2 (en) Unified classification and ranking strategy
CN110457464B (zh) 用于信息处理的方法、装置和计算设备
US20110077995A1 (en) System and method for collecting and propagating computer benchmark data
CN112200602A (zh) 用于广告推荐的神经网络模型训练方法及装置
CN111915339A (zh) 数据的处理方法、装置及设备
CN109255656B (zh) 一种基于复合模型的用户扩展方法、装置及系统
JP6541521B2 (ja) 生成装置、生成方法、生成プログラム、決定装置、決定方法、及び決定プログラム
JP2021103339A (ja) 顧客の属性情報を解析する装置、方法、およびプログラム
JP2008299850A (ja) 広告評価方法、コンピュータ読み取り可能な記録媒体、広告評価システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190912

R150 Certificate of patent or registration of utility model

Ref document number: 6588572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250