JPWO2019069507A1 - 特徴量生成装置、特徴量生成方法および特徴量生成プログラム - Google Patents

特徴量生成装置、特徴量生成方法および特徴量生成プログラム Download PDF

Info

Publication number
JPWO2019069507A1
JPWO2019069507A1 JP2019546532A JP2019546532A JPWO2019069507A1 JP WO2019069507 A1 JPWO2019069507 A1 JP WO2019069507A1 JP 2019546532 A JP2019546532 A JP 2019546532A JP 2019546532 A JP2019546532 A JP 2019546532A JP WO2019069507 A1 JPWO2019069507 A1 JP WO2019069507A1
Authority
JP
Japan
Prior art keywords
attribute
feature amount
similarity
value
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019546532A
Other languages
English (en)
Inventor
テイ 陳
テイ 陳
幸貴 楠村
幸貴 楠村
遼平 藤巻
遼平 藤巻
和世 成田
和世 成田
理人 浅原
理人 浅原
優輔 村岡
優輔 村岡
Original Assignee
ドットデータ インコーポレイテッド
ドットデータ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドットデータ インコーポレイテッド, ドットデータ インコーポレイテッド filed Critical ドットデータ インコーポレイテッド
Publication of JPWO2019069507A1 publication Critical patent/JPWO2019069507A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24558Binary matching operations
    • G06F16/2456Join operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

テーブル取得手段381は、予測対象および第1の属性を含む第1のテーブルと、第2の属性を含む第2のテーブルとを取得する。受付手段382は、第1の属性と第2の属性との類似度の算出に用いられる類似度関数と、類似度に対する条件とを受け付ける。特徴量生成手段383は、類似度関数を用いて、第1の属性の値と第2の属性の値とにより算出される類似度が、条件を満たす第1の属性の値を含む第1のテーブルのレコードと、第2の属性の値を含む第2のテーブルのレコードとを結合するための結合条件と、第2のテーブルにおける複数のレコードに対する集約方法および集約の対象になる列により表される集約条件とを用いて、予測対象に影響を及ぼし得る特徴量の候補を生成する。特徴量選択手段384は、特徴量の候補から、予測に最適な特徴量を選択する。

Description

本発明は、複数のテーブルを結合して特徴量を生成する特徴量生成装置、特徴量生成方法および特徴量生成プログラムに関する。
データマイニングは、大量の情報の中から、これまで未知であった有用な知見を見つける技術である。未知である有用な知見を見つけるためには、より多くの属性の候補を生成することが重要である。具体的には、予測対象である変数(目的変数)に影響を及ぼし得る多くの属性(説明変数)の候補を生成することが重要である。このような多くの候補を生成することにより、予測に役立つ属性がこの候補の中に含まれる可能性を高めることができるからである。
例えば、特許文献1には、目的変数を含むターゲットテーブルと、目的変数を含まないソーステーブルとを結合することにより、機械学習処理に用いられる特徴量の候補を生成することが記載されている。特許文献1に記載された方法では、特徴量の候補を生成する処理を、Filter条件、map条件およびreduce条件の3つの条件の組合せにより定義することで、特徴量の候補を生成する分析者工数を削減する。
国際公開第2017/090475号
本発明者は、所定のエリア内における何らかの対象を予測する際、多様な情報源を活用した方が予測精度が向上するという着想を得た。すなわち、複数の関連する情報源を組み合わせて情報を得ることが好ましいと考えられる。
例えば、特許文献1には、ターゲットテーブルとソーステーブルとの結合条件(すなわち、map条件)に、ターゲットテーブルとソーステーブルに共通に含まれる顧客IDを利用することが例示されている。ここで、本発明者は、分析対象によっては、map条件の候補が複数生成され得ることを見出した。このような分析対象に利用する特徴量の候補を生成しようとした場合、特許文献1に記載された方法を用いても、処理が煩雑になる結果、分析者工数が増大してしまう可能性がある。
そこで、本発明は、特徴量を生成するための分析者工数を削減できる特徴量生成装置、特徴量生成方法および特徴量生成プログラムを提供することを目的とする。
本発明による特徴量生成装置は、予測対象および第1の属性を含む第1のテーブルと、第2の属性を含む第2のテーブルとを取得するテーブル取得手段と、第1の属性と第2の属性との類似度の算出に用いられる類似度関数と、その類似度に対する条件とを受け付ける受付手段と、類似度関数を用いて、第1の属性の値と第2の属性の値とにより算出される類似度が、条件を満たす第1の属性の値を含む第1のテーブルのレコードと、第2の属性の値を含む第2のテーブルのレコードとを結合するための結合条件と、第2のテーブルにおける複数のレコードに対する集約方法および集約の対象になる列により表される集約条件とを用いて、第1のテーブルおよび第2のテーブルから、予測対象に影響を及ぼし得る特徴量の候補を生成する特徴量生成手段と、特徴量の候補から、予測に最適な特徴量を選択する特徴量選択手段とを備えたことを特徴とする。
本発明による特徴量生成方法は、予測対象および第1の属性を含む第1のテーブルと、第2の属性を含む第2のテーブルとを取得し、第1の属性と第2の属性との類似度の算出に用いられる類似度関数と、その類似度に対する条件とを受け付け、類似度関数を用いて、第1の属性の値と第2の属性の値とにより算出される類似度が、条件を満たす第1の属性の値を含む第1のテーブルのレコードと、第2の属性の値を含む第2のテーブルのレコードとを結合するための結合条件と、第2のテーブルにおける複数のレコードに対する集約方法および集約の対象になる列により表される集約条件とを用いて、第1のテーブルおよび第2のテーブルから、予測対象に影響を及ぼし得る特徴量の候補を生成し、特徴量の候補から、予測に最適な特徴量を選択することを特徴とする。
本発明による結合条件生成プログラムは、コンピュータに、予測対象および第1の属性を含む第1のテーブルと、第2の属性を含む第2のテーブルとを取得するテーブル取得処理、第1の属性と第2の属性との類似度の算出に用いられる類似度関数と、その類似度に対する条件とを受け付ける受付処理、類似度関数を用いて、第1の属性の値と第2の属性の値とにより算出される類似度が、条件を満たす第1の属性の値を含む第1のテーブルのレコードと、第2の属性の値を含む第2のテーブルのレコードとを結合するための結合条件と、第2のテーブルにおける複数のレコードに対する集約方法および集約の対象になる列により表される集約条件とを用いて、第1のテーブルおよび第2のテーブルから、予測対象に影響を及ぼし得る特徴量の候補を生成する特徴量生成処理、および、特徴量の候補から、予測に最適な特徴量を選択する特徴量選択処理を実行させることを特徴とする。
本発明によれば、上述した技術的手段により、特徴量を生成するための分析者工数を削減できるという技術的効果を奏する。
本発明による情報処理システムの一実施形態を示すブロック図である。 コンフィギュレーションファイルの例を示す説明図である。 データを変換する処理の例を示す説明図である。 各パラメータと、第1のテーブルおよび第2のテーブルとの関係の例を示す説明図である。 距離に基づいてマップパラメータを生成する処理の例を示す説明図である。 距離に基づいてマップパラメータを生成する他の処理の例を示す説明図である。 同じエリアに含まれているか否か判断する方法の例を示す説明図である。 共通エリアか否かに基づいてマップパラメータを生成する処理の例を示す説明図である。 包含関係に基づいてマップパラメータを生成する処理の例を示す説明図である。 時間の差異に基づいてマップパラメータを生成する処理の例を示す説明図である。 テキストの類似性に基づいてマップパラメータを生成する処理の例を示す説明図である。 構造の類似性に基づいてマップパラメータを生成する処理の例を示す説明図である。 生成されたマップパラメータの例を示す説明図である。 距離の統計値を算出するための集約パラメータを生成する処理の例を示す説明図である。 領域の統計値を算出するための集約パラメータを生成する処理の例を示す説明図である。 生成された集約パラメータの例を示す説明図である。 マップパラメータ同士を結合した例を示す説明図である。 パラメータを組み合わせて特徴量生成関数を生成する方法の例を示す説明図である。 結合条件を生成する処理の例を示すフローチャートである。 結合条件を生成する処理の他の例を示すフローチャートである。 特徴量を生成する処理の例を示すフローチャートである。 特徴量を生成する処理の他の例を示すフローチャートである。 本発明による特徴量生成装置の概要を示すブロック図である。 少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
以下、本発明の実施形態を図面を参照して説明する。
本実施形態の情報処理システムは、予測対象(例えば、目的変数)の変数を含む表(以下、第1のテーブルと記すこともある。)と、第1のテーブルと異なる表(以下、第2のテーブルと記すことある。)とを取得する。以下の説明では、第1のテーブルのことをターゲットテーブルと記すこともあり、第2のテーブルをソーステーブルと記すこともある。また、第1のテーブルおよび第2のテーブルは、それぞれデータの集合を含んでいてもよい。
本実施形態では、第1のテーブルおよび第2のテーブルは、観点が共通する属性をそれぞれ含む。観点が共通するとは、その属性のデータの意味的な内容が共通することを表す。なお、データの表現方法は共通であってもよく、異なっていてもよい。以下、第1のテーブルに含まれる属性を第1の属性と記し、第2のテーブルに含まれる属性を、第2の属性と記す。
例えば、観点が共通する属性として、地理的な観点や時間的な観点などが挙げられる。例えば、地理的な観点の属性の値は、以下の4種類の地理的データ型に分類できる。なお、見出しのコロン以下の記載は、データについての構文を表す。
(1)点P(Point):p=(x,y)∈P
点Pは、(経度,緯度)の座標として表される。
(2)多角形G(Polygon):g=(b,b,...,b)∈G
多角形Gは、1つの外部境界bと、0以上の内部境界(b,...,b)で定義される。ここで、b=(p,p,...,p)(ただし、p,p,...,p∈P)は、3点以上の順序として定義される閉じた環の境界である。
(3)複数多角形M(MultiPoligon):m=(g,g,...,g)∈M、g,g,...,g∈G
複数多角形Mは、1以上の多角形で構成される。
(4)文字列S(String):s∈S
文字列で表される住所である。
また、データ分析に関連する意味的な情報として、データ型と対応付けて分析データ型が定義されてもよい。例えば、上述する地理的観点の場合、多角形Gおよび複数多角形Mを、領域(Area)に関する分析データ型と定義し、点Pを、点(Point)に関する分析データ型と定義してもよい。また、住所に関する文字列を、例えば、国、都市、町、ランドマーク、通りまたはポイントに関する分析データ型と定義してもよい。以下、地理的情報を表す分析データ型のことを、地理的データ型と記すこともある。
また、例えば、時間的な観点の属性の型(時間的データ型)は、タイムスタンプ(TimeStamp)型として定義することができる。
以下、観点が共通する属性が地理的な属性の場合、第1のテーブルに含まれる属性を第1の地理的属性、第2のテーブルに含まれる属性を第2の地理的属性と記す。同様に、観点が共通する属性が時間的な属性の場合、第1のテーブルに含まれる属性を第1の時間的属性、第2のテーブルに含まれる属性を第2の時間的属性と記す。他の属性についても同様に記載するものとする。なお、第1の地理的属性は、第1のテーブルのプライマリキーであってもよい。
なお、上記では、共通する属性が地理的な観点と、時間的な観点の例を示したが、共通する属性は、地理的な観点および時間的な観点に限定されない。共通する属性の例として、他にも、文字列の観点や、構造的な観点などが挙げられる。文字列の観点の属性の値は、例えば、住所などである。また、構造的な観点の属性の値は、例えば、URL(Uniform Resource Locator)や、木構造パスなどである。以下、説明を容易にするため、観点が共通する属性として、主に地理的属性と時間的属性を中心に説明する。
図1は、本発明による情報処理システムの一実施形態を示すブロック図である。本実施形態の情報処理システム100は、入力部10と、ジオコーダ(Geo-Coder )20と、マップパラメータ生成器(Map Parameter Generator )30と、フィルタパラメータ生成器(Filter Parameter Generator)50と、集約パラメータ生成器(Reduce Parameter Generator)60と、記憶部80と、特徴量生成関数生成器(Feature Descriptor Generator)81と、特徴量生成器(Feature Generator )82と、特徴量選択器(Feature Selector)83と、出力部90と、学習部91と、予測部92とを備えている。
入力部10は、第1のテーブルおよび第2のテーブルを取得する。なお、入力部10は、各テーブルを取得することから、入力部10のことをテーブル取得手段と言うことができる。入力部10は、第2のテーブルを複数取得してもよい。例えば、記憶部80が第1のテーブルおよび第2のテーブルを記憶している場合、入力部10が記憶部80から第1のテーブルおよび第2のテーブルを取得してもよい。また、入力部10は、通信ネットワーク(図示せず)を介して他のシステムや記憶部から第1のテーブルおよび第2のテーブルを取得してもよい。
例えば、地理的な観点が共通する場合、入力部10は、予測対象および第1の地理的属性を含む第1のテーブルと、第2の地理的属性を含む第2のテーブルとを取得してもよい。また、例えば、時間的な観点が共通する場合、入力部10は、予測対象および第1の時間的属性を含む第1のテーブルと、第2の時間的属性を含む第2のテーブルとを取得してもよい。他にも、入力部10は、予測対象および第1の文字列属性を含む第1のテーブルと、第2の文字列属性を含む第2のテーブルとを取得してもよいし、予測対象および第1の構造的属性を含む第1のテーブルと、第2の構造的属性を含む第2のテーブルとを取得してもよい。なお、構造的属性については後述される。
さらに、入力部10は、第1の属性と第2の属性との類似度を算出するための関数(以下、類似度関数と記す)と、どの程度の類似度の場合に第1の属性の値と第2の属性の値とが類似すると判断するか決定するための条件(以下、類似度に対する条件と記すこともある)を受け付ける。類似度関数は、数式で表されていてもよく、パラメータとして表されていてもよい。また、類似度に対する条件は、関係の程度に基づいて類似度の有無を判断するための閾値(以下、単に類似度の閾値と記す。)で表されていてもよく、パラメータ等に応じて類似か否かを出力する式で表されていてもよい。
例えば、地理的な観点が共通する場合、入力部10は、地理的関係を類似度関数として受け付け、地理的関係の程度を示す類似度の閾値を条件として受け付けてもよい。すなわち、第1の属性および第2の属性が地理的属性である場合、類似度関数は、例えば、距離が近いほど類似度を高く算出する関数として定義される。
また、例えば、時間的な観点が共通する場合、入力部10は、時間的関係を類似度関数として受け付け、時間的関係の程度を示す類似度の閾値を条件として受け付けてもよい。すなわち、第1の属性および第2の属性が時間的属性である場合、類似度関数は、例えば、時間の差異が小さいほど類似度を高く算出する関数として定義される。
他にも、文字列の観点が共通する場合、入力部10は、文字列の関係を類似度関数として受け付け、文字列の関係の程度を示す類似度の閾値を条件として受け付けてもよい。具体的には、第1の属性および第2の属性が文字列属性である場合、類似度関数は、例えば、二つのテキストの一致度が高いほど類似度を高く算出する関数として定義される。テキストの類似度として、例えば、形態素のSimpson係数が挙げられる。
morph(a)をテキスト文字列aに含まれる形態素の集合と定義する。例えば、アドレスを示す以下の4つのテキスト文字列は、形態素解析により、それぞれ以下のような形態の集合として表される。
・morph('川崎市中原区')={'川崎','市','中原','区'}
・morph('神奈川県川崎市中原区')={'神奈川','県','川崎','市','中原','区'}
・morph('神奈川県川崎市幸区')={'神奈川','県','川崎','市','幸','区'}
・morph('神奈川県横浜市港南区')={'神奈川','県','横浜','市','港南','区'}
また、テキスト文字列aとテキスト文字列bの類似度を算出する関数textSim(a,b)は、以下に示す式1で定義できる。
textSim(a,b)=|morph(a)∪morph(b)|/
min(|morph(a)|,|morph(b)|)
・・・(式1)
この場合、上記に例示するアドレスのテキスト文字列同士の類似度は、以下のように算出される。
・textSim(’川崎市中原区’,’神奈川県川崎市中原区’)=4/4=1.0
・textSim(’川崎市中原区’,'神奈川県川崎市幸区')=3/4=0.75
・textSim(’川崎市中原区’,'神奈川県横浜市港南区')=2/4=0.5
また、構造的な観点が共通する場合、入力部10は、構造的関係を類似度関数として受け付け、構造的関係の程度を示す類似度の閾値を条件として受け付けてもよい。以下、住所やファイルのディレクトリ構造など、木構造の情報を“/”で表現した文字列をパス文字列と定義する。例えば、住所「神奈川県川崎市」は、パス文字列では‘/神奈川県/川崎市’と表現される。また、例えば、ディレクトリ構造「news→economy→bigdata」は、パス文字列では、‘news/economy/bigdata’と表現される。
第1の属性および第2の属性が上述するパス文字列で定義される構造的属性の場合、類似度関数は、例えば、二つのパス文字列の距離が近いほど類似度を高く算出する関数として定義される。パス文字列の距離関数として、例えば、最低共通祖先ノード(LCA:Lowest common ancestor)への距離の最小値が挙げられる。
最低共通祖先ノードとは、二つのパスが表現するそれぞれ一番下のノードから上位(先祖)方向に辿った場合に、最初に現れる同じノードである。また、最低共通祖先ノードへの距離とは、一番下のノードから最低共通祖先ノードへ辿ったときのノード数である。
例えば、二つのパス文字列‘/a/b/c’,‘/a/b/z’が存在するとする。この場合、二つのパスの最低共通祖先ノードは、‘/a/b’である。また、‘/a/b/c’から‘/a/b’への距離は1であり、‘/a/b/z’から‘/a/b’への距離も1である。
また、例えば、二つのパス文字列‘/a/b/c’,‘/a/d/e/z’が存在するとする。この場合、二つのパスの最低共通祖先ノードは、‘/a’である。また、‘/a/b/c’から‘/a’への距離は2であり、‘/a/d/e/z’から‘/a’への距離は3である。
パス文字列の距離を表す関数をpathDis(x,y)とすると、上述するパス文字列の距離は、以下のように算出される。
・pathDis(‘/a/b/c’,‘/a/b/z’)=1
・pathDis(‘/a/b/c’,‘/a/d/e/z’)=2
図2は、コンフィギュレーションファイル(以下、コンフィグファイルと記す。)の例を示す説明図である。図2に示す例では、類似度関数および類似度に対する条件が、コンフィギュレーションファイル(以下、コンフィグファイルと記す。)に設定されていることを示す。入力部10は、このコンフィグファイルを受け付けてもよい。
図2に例示するコンフィグファイルのC1部分が、類似度関数および類似度に対する条件を示す。なお、コンフィグファイルのC2〜C4部分については、後述される。C1部分において、前段部(コロンの前)が、第1の属性のデータ型(より具体的には、分析データ型)と第2の属性のデータ型(より具体的には、分析データ型)との対応関係を示す。また、後段部(コロンの後)が、類似度関数および条件(類似度の閾値)を示す。以下、各内容について、詳細に説明する。
C1部分における“Point−Point”の行は、点で表される第1の地理的属性と点で表される第2の地理的属性との距離を表す地理的関係を定義する。
“DistanceMap”は、地理的関係の程度を規定したマップ関数であり、パラメータとして、距離の閾値を含む。DistanceMap関数における3つのパラメータは、順に“開始値”、“終了値”、(開始値から終了値までに適用する閾値の)“間隔”を示す。図2に例示する(“DistanceMap”,1,3,1)は、距離の単位をkmとすると、“距離が1km以内”、“距離が2km以内”、“距離が3km以内”の3つの閾値を関数に適用することを示す。
“KNearestMap”は、地理的関係の程度を規定したマップ関数であり、パラメータとして、近接する地理的情報の個数の閾値を含む。KNearestMap関数における3つのパラメータも同様、順に“開始値”、“終了値”、(開始値から終了値までに適用する閾値の)“間隔”を示す。図2に例示する(“KNearestMap”,3,5,1)は、近接する地理的情報の個数が、“3つ以内”、“4つ以内”、“5つ以内”の3つの閾値を関数に適用することを示す。
“SameCityMap”は、地理的関係の程度を規定したマップ関数であり、2つの地点が同じエリアに含まれるか否かを判断する関数である。SameCityMap関数はパラメータを含まないが、エリアを定義したエリア情報に基づいて同じエリアに含まれるか否かが判断される。エリア情報は、予め定義される。
C1部分における“Point−Area”の行は、点で表される第1の地理的属性と領域で表される第2の地理的属性との包含関係を表す地理的関係を定義する。
“InclusionMap”は、地理的関係の程度を規定したマップ関数であり、点で表される第1の地理的属性が領域で表される第2の地理的属性に含まれるか否かを判断する関数である。なお、InclusionMapは、パラメータを含まない。
また、“Point−Area”の行においても、“KNearestMap”が定義される。KNearestMap関数の内容は、“Point−Point”におけるKNearestMap関数と同様である。
C1部分における“Area−Area”の行は、領域で表される第1の地理的属性と領域で表される第2の地理的属性との交差関係を表す地理的関係を定義する。
“IntersectMap”は、地理的関係の程度を規定したマップ関数であり、領域で表される第1の地理的属性が領域で表される第2の地理的属性と交差するか否かを判断する関数である。なお、IntersectMapは、パラメータを含まない。
以上に示すように、第1の地理的データ型と第2の地理的データ型とは、互いに同一の地理的データ型であってもよく、異なる地理的データ型であってもよい。また、第1の地理的データ型が、点の情報で地理を特定可能なデータのタイプであり、第2の地理的データ型が、範囲の情報で地理を特定可能なデータのタイプであってもよい。
C1部分における“TimeStamp−TimeStamp”の行は、第1の時間的属性と第2の時間的属性との差異を表す時間的関係を定義する。
“TimeDiffMap”は、時間的関係の程度を規定したマップ関数であり、パラメータとして、時間の差異の閾値を含む。TimeDiffMap関数における3つのパラメータも同様、順に“開始値”、“終了値”、(開始値から終了値までに適用する閾値の)“間隔”を示す。図2に例示する(“TimeDiffMap”,30,60,30)は、時間の単位を分とすると、“時間の差異が30分以内”、“時間の差異が60分以内”の2つの閾値を関数に適用することを示す。
C1部分における“Text−Text”の行は、文字列を表す第1の属性と文字列を表す第2の属性との一致関係を定義する。“ExactMap”は、文字列で表される属性が一致するか否かを判断する関数である。
また、“Text−Text”の行に、文字列を表す第1の属性と文字列を表す第2の属性との類似関係を定義してもよい。具体的には、“Text−Text”の行に、文字列の関係の程度を規定したマップ関数“textSimMap”を設定してもよい。“textSimMap”は、文字列の関係の程度を規定したマップ関数であり、パラメータとして、類似度の閾値を含む。textSimMap関数は、DistanceMap関数同様、3つのパラメータを有し、それぞれ順に“開始値”、“終了値”、(開始値から終了値までに適用する閾値の)“間隔”を示す。
例えば、textSimMap関数を用いて[(“textSimMap”,0.8,1.0,0.1]と定義されていたとする。これは、“類似度が0.8以上”、“類似度が0.9以上”および“類似度が1.0(以上)”の3つの閾値を関数に適用することを示す。
なお、類似度関数および類似度の閾値の設定方法は、図2のC1部分に例示する内容に限定されない。コンフィグファイルに、例えば、パス文字列で表される第1の構造的属性とパス文字列で表される第2の構造的属性との距離を表す構造的関係“Path−Path”を定義してもよい。
具体的には、“Path−Path”の行に、構造的関係の程度を規定したマップ関数“pathDisMap”を設定してもよい。“pathDisMap”は、構造的関係の程度を規定したマップ関数であり、パラメータとして、距離の閾値を含む。pathDisMap関数は、DistanceMap関数同様、3つのパラメータを有し、それぞれ順に“開始値”、“終了値”、(開始値から終了値までに適用する閾値の)“間隔”を示す。
例えば、pathDisMap関数を用いて[(“pathDisMap”,1,3,1]と定義されていたとする。これは、“距離が1以下”、“距離が2以下”および“距離が3以下”の3つの閾値を関数に適用することを示す。
入力部10が、図2に例示するコンフィグファイルを受け付けることで、後述するマップパラメータ生成器30が、第1のテーブルに含まれるレコードと第2のテーブルに含まれるレコードとを結合するための結合条件(マップパラメータ)を生成する。
なお、入力部10は、テーブルの各列が示すデータの属性を合わせて受け付けてもよい。
ジオコーダ20は、文字列で表された属性のデータを変換する。例えば、地理的属性のデータが文字列で表されている場合、ジオコーダ20は、その文字列を、点、多角形または複数多角形のデータに変換する。なお、データを変換する必要がない場合、情報処理システム100は、ジオコーダ20を備えていなくてもよい。
図3は、データを変換する処理の例を示す説明図である。図3に示す例では、列ごとの分析データ型を定義したテーブルadt1と、分析データ型からデータ型へ変換する対応を定義したテーブルadt2が予め取得されているものとする。
この状況で、入力部10が、図3に例示するターゲットテーブルT、ソーステーブルS1およびソーステーブルS2を取得したとする。ソーステーブルS2の“Pickup_location”列の分析データ型は、テーブルadt1を参照するとPointであり、変換の必要がない。一方、ソーステーブルS1の“community”列の分析データ型はテーブルadt1を参照すると“TownAddress”であり、テーブルadt2を参照すると、データ型Polygonに変換する必要がある。そこで、ジオコーダ20は、ソーステーブルS1の“community”列に含まれるデータを、多角形の領域で表すように変換する。例えば、“community”の内容に応じて多角形で領域を特定可能なエリア情報を予め定めておき、ジオコーダ20は、そのエリア情報に基づいて、データ型がPolygonになるようにデータを変換してもよい。
マップパラメータ生成器30、フィルタパラメータ生成器50、および、集約パラメータ生成器60は、後述する特徴量生成関数生成器81が、予測対象に影響を及ぼし得る変数である特徴量を生成するための特徴量生成関数を生成する際に利用するパラメータを生成する。
以下の説明では、特徴量とは、特徴そのものの内容(例えば、「人口」、「位置」など)を意味する。また、特徴量に具体的なデータをあてはめたもの(例えば、人口=“8112”、位置=“(−73.965, 40.724)”など)のことを、特徴量ベクトル(複数の場合、特徴量テーブル)と記す。
また、後述する特徴量生成器82が生成する特徴量は、機械学習を用いてモデルを生成する際の説明変数の候補になる。言い換えると、本実施形態で生成される特徴量生成関数を用いることで、機械学習を用いてモデルを生成する際の説明変数の候補を自動的に生成することが可能になる。
図4は、各パラメータと、第1のテーブルおよび第2のテーブルとの関係の例を示す説明図である。
フィルタパラメータ生成器50が生成するパラメータは、第2のテーブルに含まれる行の抽出条件を表わすパラメータである。以下、このパラメータをフィルタパラメータとしるし、フィルタパラメータに基づいて第2のテーブルから行を抽出する処理を「filter」と記載する場合がある。また、この抽出条件のリストを「Fリスト」と記載する場合がある。抽出条件は任意であり、例えば、指定された列の値と同じ(大きいまたは小さい)か否か判断する条件が挙げられる。
集約パラメータ生成器60が生成するパラメータは、第2のテーブルに含まれる各行のデータを目的変数ごとに集約する集約方法を表わすパラメータである。なお、一般に、第1の表における行と第2の表における行とは、一対多対応する場合が多いため、結果として行が集約されることになる。集約情報は、ソーステーブル(第2のテーブル)の列に対する集約関数として定義されてもよい。
集約方法は任意であり、例えば、列の総数、最大値、最小値、平均値、中央値、分散などが挙げられる。また、列の総数の集計は、重複データを除外する、または、重複データを除外しない、のいずれかの観点で行われてもよい。
以下、このパラメータを集約パラメータと記し、集約パラメータが示す方法により各列のデータを集約する処理を「reduce」と記載する場合がある。特に、地理的情報を集約する処理を「Geo−reduce」と記載することもある。また、この集約処理のリストを「Rリスト」と記載する場合がある。なお、地理的情報を集約する処理の詳細については後述される。
マップパラメータ生成器30が生成するパラメータは、第1のテーブルと第2のテーブルの列との対応条件を表わすパラメータである。以下、このパラメータをマップパラメータと記し、マップパラメータに基づいて各テーブルの列を対応付ける処理を「map」と記載する場合がある。また、この対応条件のリストを「Mリスト」と記載する場合がある。特に、地理的情報同士を対応付ける処理を「Geo−map」と記載することもある。また、mapによる各テーブルの列の対応付けは、対応付けられた列で複数の表を1つの表に結合(join)することとも言える。なお、地理的情報を対応付ける処理の詳細についても後述される。
マップパラメータ生成器30は、ジオマップ生成器(GeoMap Generator)40と、時間差異マップ生成器(TimeDiff Map Generator)31と、マップ生成器(Exact Map Generator )32と、属性特定部33とを含む。マップパラメータ生成器30(より具体的には、マップパラメータ生成器30に含まれる各生成器)は、第1の属性の値と第2の属性の値とにより算出される類似度が、条件を満たすような第1の属性の値を含む第1のテーブルのレコードと、第2の属性の値を含む第2のテーブルのレコードとを結合するための結合条件を生成する。条件を満たすとは、例えば、類似度が閾値以下または以上になることや、予め定めた範囲内に含まれることなどを意味する。
ジオマップ生成器40は、第1のテーブルと第2のテーブルの地理的属性を含む列同士の対応条件を表すパラメータを生成する。ジオマップ生成器40は、距離マップ生成器(Distance Map Generator)41と、包含マップ生成器(Inclusion Map Generator )42と、重複マップ生成器(Overlap Map Generator )43と、同地域マップ生成器(SameArea Map Generator)44とを有する。
ジオマップ生成器40(より具体的には、ジオマップ生成器40に含まれる各生成器)は、第1の地理的属性の値と第2の地理的属性の値との関係が、地理的関係の程度を満たすような、第1のテーブルに含まれるレコードと第2のテーブルに含まれるレコードとを結合するための結合条件(マップパラメータ)を生成する。以下、各生成器の処理について、詳細に説明する。
距離マップ生成器41は、距離の近さに基づいて第1のテーブルと第2のテーブルを対応付けるための類似度関数および条件(例えば、類似度の閾値)を受け付けた場合に、マップパラメータを生成する。図2に示す例では、DistanceMap関数とKNearestMap関数の少なくとも一方がコンフィグファイルに設定されている場合に対応する。
距離マップ生成器41は、第1の地理的属性の値と第2の地理的属性の値との距離が閾値以内であるような、第1のテーブルに含まれるレコードと第2のテーブルに含まれるレコードとを結合するためのマップパラメータを生成する。
図5は、距離に基づいてマップパラメータを生成する処理の例を示す説明図である。図5に示す例では、ターゲットテーブルTとソーステーブルS2をそれぞれ1つずつ取得した場合を示す。なお、図5に例示するターゲットテーブルTは、2015年1月8日22時の、5か所における乗客数(pickup_number)を表すデータを含むテーブルである。また、図5に例示するソーステーブルS2は、各時刻における乗客数、移動距離および乗客の乗り場位置を対応付けて記録するテーブルである。
例えば、図2に例示するDistanceMap関数の場合、距離マップ生成器41は、第1の地理的属性の値が示す位置と第2の地理的属性の値が示す位置との距離が1km以内であるソーステーブルS2のレコードにターゲットテーブルTの各レコードを対応付けるパラメータを生成する。さらに、距離マップ生成器41は、第1の地理的属性の値が示す位置と第2の地理的属性の値が示す位置との距離が2km以内および3km以内であるソーステーブルS2のレコードにターゲットテーブルTの各レコードを対応付けるパラメータをそれぞれ生成する。
図5に示す例では、ターゲットテーブルTの“target_location”列の属性が第1の地理的属性であり、ソーステーブルS2の“Pickup_location”列の属性が第2の地理的属性である。この2つの列が対応付けられる。なお、第1のテーブルと第2のテーブルとで対応付ける列は、予め指定されていてもよく、後述する属性特定部33によって特定されてもよい。
この結果、図5に例示するパラメータP11が生成される。図5に例示するように、地理的分析データ型に基づいてマップパラメータが生成され、1つのマップパラメータに基づいて、1つのマップ処理が定義される。図5に例示するマップデータM11は、距離が1km以内であるソーステーブルS2のレコードにターゲットテーブルTの各レコードを対応付けた結果を示す。例えば、ターゲットテーブルの1番目のレコードに対して、ソーステーブルから1つのレコードのみ対応付けられる。また、例えば、ターゲットテーブルの2番目のレコードに対して、ソーステーブルから2つのレコードが対応付けられる。
図6は、距離に基づいてマップパラメータを生成する他の処理の例を示す説明図である。図6に例示するターゲットテーブルTおよびソーステーブルS2は、図5に例示するターゲットテーブルTおよびソーステーブルS2と同様である。
例えば、図2に例示するKNearestMap関数の場合、距離マップ生成器41は、第1の地理的属性の値が示す位置と第2の地理的属性の値が示す位置との距離が近い方から順にソーステーブルS2のレコードにターゲットテーブルTの各レコードを2つ以内で対応付けるパラメータを生成する。さらに、距離マップ生成器41は、第1の地理的属性の値が示す位置と第2の地理的属性の値が示す位置との距離が近い方から順にソーステーブルS2のレコードにターゲットテーブルTの各レコードを3つ以内および4つ以内で対応付けるパラメータをそれぞれ生成する。
図6に示す例では、ターゲットテーブルTの“target_location”列の属性が第1の地理的属性であり、ソーステーブルS2の“Pickup_location”列の属性が第2の地理的属性である。この2つの列が対応付けられる。なお、第1のテーブルと第2のテーブルとで対応付ける列は、予め指定されていてもよく、後述する属性特定部33によって特定されてもよい。
この結果、図6に例示するパラメータP12が生成される。図6に例示するように、地理的分析データ型に基づいてマップパラメータが生成され、1つのマップパラメータに基づいて、1つのマップ処理が定義される。図6に例示するマップデータM12は、近い順にソーステーブルS2のレコードにターゲットテーブルTの各レコードを2つ対応付けた結果を示す。例えば、ターゲットテーブルの各レコードに対して、ソーステーブルから2つの最も近いレコードが対応付けられる。
同地域マップ生成器44は、同じエリアに含まれるか否かに基づいて第1のテーブルと第2のテーブルを対応付けるための類似度関数を受け付けた場合に、マップパラメータを生成する。図2に示す例では、SameCityMap関数がコンフィグファイルに設定されている場合に対応する。
同地域マップ生成器44は、第1の地理的属性の値が示す位置と第2の地理的属性の値が示す位置が同じエリアに含まれるような、第1のテーブルに含まれるレコードと第2のテーブルに含まれるレコードとを結合するためのマップパラメータを生成する。
図7は、同じエリアに含まれているか否か判断する方法の例を示す説明図である。図7に示す例では、各エリアと多角形で特定されるエリアの領域とが対応付けられた共通エリアテーブルCATが予め定義される。共通エリアの例として、国、州、都市、自治区、街などが挙げられる。共通エリアは、互いに重なり合わない共通の領域として定義され、マップ上の境界情報を表す。共通エリアテーブルCATは、例えば、記憶部80に記憶されていてもよい。
まず、共通エリアテーブルCATに基づいて2つの位置が同じエリアに存在するか否かが判断される。具体的には、ターゲットテーブルTのレコードt1の位置が示すエリアが特定され、ソーステーブルSのレコードs1の位置がそのエリア内か否かが判断される。以下、同様の処理が、ターゲットテーブルTおよびソーステーブルSの全てのレコードに対して行われる。
図8は、共通エリアか否かに基づいてマップパラメータを生成する処理の例を示す説明図である。図8に例示するターゲットテーブルTおよびソーステーブルS2は、図5に例示するターゲットテーブルTおよびソーステーブルS2と同様である。
例えば、図2に例示するSameCityMap関数の場合、同地域マップ生成器44は、第1の地理的属性の値が示す位置と第2の地理的属性の値が示す位置とが同じエリアに含まれるソーステーブルS2のレコードとターゲットテーブルTの各レコードとを対応付けるパラメータを生成する。
図8に示す例では、ターゲットテーブルTの“target_location”列の属性が第1の地理的属性であり、ソーステーブルS2の“Pickup_location”列の属性が第2の地理的属性である。この2つの列が対応付けられる。なお、第1のテーブルと第2のテーブルとで対応付ける列は、予め指定されていてもよく、後述する属性特定部33によって特定されてもよい。
この結果、図8に例示するパラメータP13が生成される。図8に例示するマップデータM13は、同じエリアと判断された地理的属性を有するソーステーブルS2のレコードとターゲットテーブルTの各レコードとを対応付けた結果を示す。なお、図8に例示するマップデータM13は、距離が1km未満の地点が同じ都市に位置すると仮定して対応付けた例を示す。
包含マップ生成器42は、包含関係に基づいて第1のテーブルと第2のテーブルを対応付けるための類似度関数を受け付けた場合に、マップパラメータを生成する。図2に示す例では、InclusionMap関数がコンフィグファイルに設定されている場合に対応する。
包含マップ生成器42は、第1の地理的属性の値が示す位置が第2の地理的属性の値が示す領域に含まれているような、第1のテーブルに含まれるレコードと第2のテーブルに含まれるレコードとを結合するためのマップパラメータを生成する。
図9は、包含関係に基づいてマップパラメータを生成する処理の例を示す説明図である。図9に例示するターゲットテーブルTは、図5に例示するターゲットテーブルTと同様である。また、図9に例示するソーステーブルS1は、各領域における人口、男性数および20歳から40歳までの人数を対応付けて記録するテーブルである。
例えば、図2に例示するInclusionMap関数の場合、包含マップ生成器42は、第1の地理的属性の値が示す位置が第2の地理的属性の値が示す領域に含まれるソーステーブルS1のレコードにターゲットテーブルTの各レコードを対応付けるパラメータを生成する。
図9に示す例では、ターゲットテーブルTの“target_location”列の属性が第1の地理的属性であり、ソーステーブルS1の“community”列の属性が第2の地理的属性である。この2つの列が対応付けられる。なお、第1のテーブルと第2のテーブルとで対応付ける列は、予め指定されていてもよく、後述する属性特定部33によって特定されてもよい。
この結果、図9に例示するパラメータP14が生成される。図9に例示するマップデータM14は、同じエリアに存在するソーステーブルS1のレコードにターゲットテーブルの各レコードを対応付けた結果を示す。
重複マップ生成器43は、重複する領域に基づいて第1のテーブルと第2のテーブルを対応付けるための類似度関数を受け付けた場合に、マップパラメータを生成する。図2に示す例では、IntersectMap関数がコンフィグファイルに設定されている場合に対応する。
重複マップ生成器43は、第1の地理的属性の値が示す領域と第2の地理的属性の値が示す領域が重複するような、第1のテーブルに含まれるレコードと第2のテーブルに含まれるレコードとを結合するためのマップパラメータを生成する。
時間差異マップ生成器31は、時間の差異に基づいて第1のテーブルと第2のテーブルを対応付けるための類似度関数および条件(例えば、類似度の閾値)を受け付けた場合に、マップパラメータを生成する。図2に示す例では、TimeDiffMap関数がコンフィグファイルに設定されている場合に対応する。
時間差異マップ生成器31は、第1の時間的属性の値と第2の時間的属性の値との関係が時間的関係の程度を満たすような、第1のテーブルに含まれるレコードと第2のテーブルに含まれるレコードとを結合するための結合条件を生成する。本実施形態では、時間差異マップ生成器31は、第1の時間的属性の値と第2の時間的属性の値との差異が閾値以内であるような、第1のテーブルに含まれるレコードと第2のテーブルに含まれるレコードとを結合するためのマップパラメータを生成する。
図10は、時間の差異に基づいてマップパラメータを生成する処理の例を示す説明図である。図10に例示するターゲットテーブルTおよびソーステーブルS2は、図5に例示するターゲットテーブルTおよびソーステーブルS2と同様である。
例えば、図2に例示するTimeDiffMap関数の場合、時間差異マップ生成器31は、第1の時間的属性の値と第2の地理的属性の値との差異が30分以内であるソーステーブルS2のレコードにターゲットテーブルTの各レコードを対応付けるパラメータを生成する。さらに、時間差異マップ生成器31は、第1の時間的属性の値と第2の時間的属性の値との差異が60分以内であるソーステーブルS2のレコードにターゲットテーブルTの各レコードを対応付けるパラメータを生成する。
図10に示す例では、ターゲットテーブルTの“time”列の属性が第1の時間的属性であり、ソーステーブルS2の“pickup_time”列の属性が第2の時間的属性である。この2つの列が対応付けられる。なお、第1のテーブルと第2のテーブルとで対応付ける列は、予め指定されていてもよく、後述する属性特定部33によって特定されてもよい。
この結果、図10に例示するパラメータP15が生成される。図10に例示するマップデータM15は、時間の差異が30分以内であるソーステーブルS2のレコードにターゲットテーブルTの各レコードを対応付けた結果を示す。
マップ生成器32は、第1のテーブルと第2のテーブルを対応付けるための類似度関数を受け付けた場合に、マップパラメータを生成する。本実施形態では、地理的属性と時間的属性のいずれの属性でもない属性の値に基づいてソーステーブルのレコードにターゲットテーブルのレコードを対応付けるパラメータを生成する。
図2に示す例では、ExactMap関数がコンフィグファイルに設定されている場合に対応する。マップ生成器32は、第1の属性の値と第2の属性の値とが一致するような、第1のテーブルに含まれるレコードと第2のテーブルに含まれるレコードとを結合するためのマップパラメータを生成する。
図11は、テキストの類似性に基づいてマップパラメータを生成する処理の例を示す説明図である。図11に例示するターゲットテーブルTは、ある住所における乗客数(pickup_number)を表すデータを含むテーブルである。また、図11に例示するソーステーブルSは、各地域における収入平均を記録するテーブルである。
例えば、上述するtextSimMap関数の場合、マップ生成器32は、第1の文字列属性の値と第2の文字列属性の値との類似度が0.8以上であるソーステーブルSのレコードにターゲットテーブルTの各レコードを対応付けるパラメータを生成する。さらに、マップ生成器32は、第1の文字列属性の値と第2の文字列属性の値との類似度が0.9以上および1.0以上であるソーステーブルSのレコードにターゲットテーブルTの各レコードを対応付けるパラメータをそれぞれ生成する。
図11に示す例では、ターゲットテーブルTの“address”列の属性が第1の文字列属性として、ソーステーブルSの“address”列の属性が第2の文字列属性として、それぞれ登録されているとする。そこで、この2つの列が対応付けられる。この結果、図11に例示するパラメータP16が生成される。
図11に例示するマップデータMは、類似度が0.8以上であるソーステーブルSのレコードにターゲットテーブルTの各レコードを対応付けた結果を示す。例えば、ターゲットテーブルの1番目のレコードに対して、ソーステーブルから1つのレコードのみ対応付けられる。
図12は、構造の類似性に基づいてマップパラメータを生成する処理の例を示す説明図である。図12に例示するターゲットテーブルTは、あるURLで識別されるWebページへのアクセス数(access_number)を表すデータを含むテーブルである。また、図12に例示するソーステーブルSは、あるURLで識別されるWebページの先月のアクセス数(access_number)を記録するテーブルである。
例えば、上述するpathDisMap関数の場合、マップ生成器32は、第1の構造的属性の値と第2の構造的属性の値との距離が1以下であるソーステーブルSのレコードにターゲットテーブルTの各レコードを対応付けるパラメータを生成する。さらに、マップ生成器32は、第1の構造的属性の値と第2の構造的属性の値との距離が2以下および3以下であるソーステーブルSのレコードにターゲットテーブルTの各レコードを対応付けるパラメータをそれぞれ生成する。
図12に示す例では、ターゲットテーブルTの“URL”列の属性が第1の構造的属性として、ソーステーブルSの“URL”列の属性が第2の構造的属性として、それぞれ登録されているとする。そこで、この2つの列が対応付けられる。この結果、図12に例示するパラメータP17が生成される。
図12に例示するマップデータMは、類似度が1以下であるソーステーブルSのレコードにターゲットテーブルTの各レコードを対応付けた結果を示す。例えば、ターゲットテーブルの1番目のレコードに対して、ソーステーブルから1つのレコードのみ対応付けられる。
属性特定部33は、第1のテーブルと第2のテーブルとで、観点が共通する属性を特定する。具体的には、属性特定部33は、第1のテーブルの各列が示すデータの属性と、第2のテーブルの各列が示すデータの属性とが同じ属性を特定する。例えば、地理的データ型の場合、属性特定部33は、第1の地理的データ型と同じデータ型を有する第1の地理的属性を第1のテーブルから特定し、且つ、第2の地理的情報のデータ型と同じデータ型を有する第2の地理的属性を第2のテーブルから特定してもよい。このようにすることで、地理的データ型を有する列を各テーブルから特定することが可能になる。また、属性特定部33は、入力部10に入力された列の属性の情報から、第1のテーブルと第2のテーブルの列の属性を特定してもよい。
マップパラメータ生成器30(より具体的には、マップパラメータ生成器30に含まれる各生成器)は、地理的(時間的)関係の判断対象である第1の地理的(時間的)属性を含む第1のテーブルの列および第2の地理的(時間的)属性を含む第2のテーブルの列と、地理的(時間的)関係の程度とを含むパラメータを、記憶部80に記憶させてもよい。例えば、マップパラメータ生成器30は、図5に例示するパラメータP11や図10に例示するパラメータP15などを記憶部80に記憶させてもよい。
図13は、生成されたマップパラメータの例を示す説明図である。上述する例で示すように、入力部10が、図13に例示するターゲットテーブルT、ソーステーブルS1およびソーステーブルS2、並びに、図2に例示するコンフィグファイルのC1部分を受け付ける。なお、マップパラメータP16は、ターゲットテーブルTの“target_location”列の属性を第1の地理的属性とし、ソーステーブルS1の“community”列の属性を第2の地理的属性として、KNearestMap関数に基づいて生成されるパラメータの例である。マップパラメータ生成器30(より具体的には、マップパラメータ生成器30に含まれる各生成器)は、これらの情報から、図13に例示する13個のマップパラメータP11〜16を生成する。
フィルタパラメータ生成器50は、フィルタ生成器(Exact Filter Generator)51を含む。フィルタ生成器51は、第2のテーブルの列と、その列に適用する抽出条件とを対応付けたフィルタパラメータを生成する。
フィルタパラメータの生成方法は任意である。フィルタ生成器51は、例えば、図2に例示するコンフィグファイルのC2部分で定義された情報に基づいて、フィルタパラメータを生成してもよい。また、予め記憶部80に抽出条件を記憶しておき、フィルタ生成器51は、その抽出条件を読み取ってフィルタパラメータを生成してもよい。
さらに、フィルタ生成器51は、抽出条件を複数組み合わせて、さらなる抽出条件を生成してもよい。また、抽出条件を組み合わせる数も任意である。入力部10は、例えば、この組み合わせ最大数を受け付けてもよい。例えば、図2に例示するように、コンフィグファイルのC4部分に組み合わせ最大数を示すパラメータ(“max_combination_filter_length”)が設定されていてもよい。
集約パラメータ生成器60(より具体的には、集約パラメータ生成器60に含まれる各生成器)は、第2のテーブルに含まれる各行のデータを集約する方法を表わすパラメータを生成する。集約パラメータ生成器60は、ジオ集約生成器(GeoReduce Generator )70と、数的集約生成器(Numeric Reduce Generator)61とを含む。
ジオ集約生成器70(より具体的には、ジオ集約生成器70に含まれる各生成器)は、第2のテーブルに含まれる地理的属性を含む列の値で各行のデータを集約する方法を表わす集約パラメータを生成する。具体的には、ジオ集約生成器70は、指定された集約方法に基づいて地理的属性の値の統計値を算出する。
集約方法を指定する方法は任意である。例えば、入力部10が集約方法の指定を受け付けてもよい。具体的には、図2のコンフィグファイルのC3部分に例示するように、地理的属性の分析データ型に応じて集約方法を定義し、定義された集約方法に応じて集約パラメータを生成してもよい。以下、各内容について、詳細に説明する。
C3部分における“Point”の行は、第2の地理的属性(より具体的には、地理的データ型)が点(Point)で表される場合の集約方法を定義する。
(“sum”,“distance”)は、第1のテーブルのレコードに対応付けられた第2のテーブルの各レコードのうち、第1の地理的属性の値と第2の地理的属性の値とに基づいて算出される距離の合計を統計値として算出する集約方法を定義する。
(“avg”,“distance”)は、第1のテーブルのレコードに対応付けられた第2のテーブルの各レコードのうち、第1の地理的属性の値と第2の地理的属性の値とに基づいて算出される距離の平均を統計値として算出する集約方法を定義する。
(“count”)は、第1のテーブルの各レコード(すなわち、目的変数)に対応付けられた第2のテーブルのレコード数を統計値として算出する集約方法を定義する。
C3部分における“Area”の行は、第2の地理的属性(より具体的には、地理的データ型)が領域(Area)で表される場合の集約方法を定義する。
(“sum”,“areaSize”)は、第1のテーブルのレコードに対応付けられた第2のテーブルの各レコードのうち、第2の地理的属性の領域の大きさの合計を統計値として算出する集約方法を定義する。
(“avg”,“areaSize”)は、第1のテーブルのレコードに対応付けられた第2のテーブルの各レコードのうち、第2の地理的属性の領域の大きさの平均を統計値として算出する集約方法を定義する。
(“count”)は、第1のテーブルの各レコード(すなわち、目的変数)に対応付けられた第2のテーブルのレコード数を統計値として算出する集約方法を定義する。
ジオ集約生成器70は、ポイント集約生成器(Point Reduce Generator)71と、エリア集約生成器(Area Reduce Generator )72とを有する。
ポイント集約生成器71は、第1の地理的属性の値と第2の地理的属性の値とに基づいて算出される距離の統計値を算出するための集約パラメータを生成する。なお、ここで対象とする第2のテーブルのレコードは、第1のテーブルのレコードにそれぞれ対応付けられたレコードである。地理的属性の場合、上述するように、第1の地理的属性の値と第2の地理的属性の値とが、一致する、または、一定の範囲内にあるなど、一定の条件を満たすレコード同士が対応付けられる。そこで、ポイント集約生成器71は、第1の地理的属性の値に対する第2の地理的属性の値が所定の条件を満たす場合に、第1の地理的属性の値と条件を満たす第2の地理的属性の値とに基づいて距離の統計値を算出するための集約パラメータを生成する。なお、算出される統計値は、特徴量として利用される。
ポイント集約生成器71は、例えば、図2に例示する(“sum”,“distance”)、(“avg”,“distance”)および(“count”)の少なくとも一つがコンフィグファイルに設定されている場合に、距離の統計値を算出するための集約パラメータを生成してもよい。
図14は、距離の統計値を算出するための集約パラメータを生成する処理の例を示す説明図である。図14に示す例では、3種類の集約方法がコンフィグファイルに設定されている。そこで、ポイント集約生成器71は、ソーステーブルのレコードとターゲットテーブルのレコードとの間の距離の合計および平均を算出する集約パラメータ、並びに、対応付けられたソーステーブルのレコード数を算出する集約パラメータを算出する。ポイント集約生成器71は、例えば、図14に例示する集約リストP21のように、集約するソーステーブルの列名、対応付けるターゲットテーブルの列名、集約内容(距離)および集約関数を対応付けた集約パラメータを生成してもよい。
図14に例示する集約データR21は、距離の合計を算出する集約パラメータに基づいて、マップデータM11を集約した結果を示す。
エリア集約生成器72は、第2の地理的属性の値に基づいて算出される領域の統計値を算出するための集約パラメータを生成する。なお、ポイント集約生成器71と同様、ここで対象とする第2のテーブルのレコードは、第1のテーブルのレコードにそれぞれ対応付けられたレコードである。
エリア集約生成器72は、例えば、図2に例示する(“sum”,“areaSize”)および(“avg”,“areaSize”)および(“count”)の少なくとも一つがコンフィグファイルに設定されている場合に、領域の統計値を算出するための集約パラメータを生成してもよい。
図15は、領域の統計値を算出するための集約パラメータを生成する処理の例を示す説明図である。図15に示す例では、3種類の集約方法がコンフィグファイルに設定されている。そこで、エリア集約生成器72は、ターゲットテーブルの各レコードに対応付けられたソーステーブルのレコードの面積の合計および平均を算出する集約パラメータ、並びに、対応付けられたソーステーブルのレコード数を算出する集約パラメータを算出する。エリア集約生成器72は、例えば、図15に例示する集約リストP22のように、集約するソーステーブルの列名、集約内容(面積)および集約関数を対応付けた集約パラメータを生成してもよい。
図15に例示する集約データR22は、面積の合計を算出する集約パラメータに基づいて、マップデータM14を集約した結果を示す。
数的集約生成器61は、第2のテーブルに含まれる数値(Nemuric)の属性(以下、数値属性と記す。)を含む列の値で各行のデータを集約する方法を表わす集約パラメータを生成する。具体的には、数的集約生成器61は、指定された集約方法に基づいて数値の統計値を算出する。
集約方法を指定する方法は任意である。ジオ集約生成器70と同様、例えば、入力部10が集約方法の指定を受け付けてもよい。具体的には、図2のコンフィグファイルのC3部分に例示するように、数値属性に対する集約方法を定義し、定義された集約方法に応じて集約パラメータを生成してもよい。図2に示す例では、数値属性の列の合計および平均を算出する集約パラメータを生成するための指定がされている。
集約パラメータ生成器60(より具体的には、集約パラメータ生成器60に含まれる各生成器)は、生成した集約パラメータを記憶部80に記憶させてもよい。図16は、生成された集約パラメータの例を示す説明図である。上述する例で示すように、入力部10が、図16に例示するターゲットテーブルT、ソーステーブルS1およびソーステーブルS2、並びに、図2に例示するコンフィグファイルのC3部分を受け付ける。
なお、集約パラメータP23は、ソーステーブルS2の数値的属性の列に対する集約パラメータの例である。また、集約パラメータP24は、ソーステーブルS1の数値的属性の列に対する集約パラメータの例である。集約パラメータ生成器60(より具体的には、集約パラメータ生成器60に含まれる各生成器)は、これらの情報から、図16に例示する16個のマップパラメータP21〜24を生成する。
特徴量生成関数生成器81は、第1のテーブルおよび第2のテーブルから、上述する特徴量を生成するための特徴量生成関数を生成する。具体的には、特徴量生成関数生成器81は、上述する結合条件(マップパラメータ)と、集約条件(集約パラメータ)とを用いて(組み合わせて)特徴量生成関数を生成する。また、特徴量生成関数生成器81は、結合条件および集約条件に加え、抽出条件(フィルタパラメータ)を用いて(組み合わせて)特徴量生成関数を生成してもよい。
また、本実施形態では、特徴量生成関数生成器81は、結合条件(マップパラメータ)のうち、地理的属性を対象にしたマップパラメータと時間的属性を対象にしたマップパラメータとを予め結合したマップパラメータを生成してもよい。特徴量生成関数生成器81は、例えば、図2に例示するコンフィグファイルのC4部分に示すようなパラメータ“time_spatial_map_combination”に“True”が設定されている場合に、地理的属性を対象にしたマップパラメータと時間的属性を対象にしたマップパラメータとを結合すると判断してもよい。
図17は、マップパラメータ同士を結合した例を示す説明図である。例えば、地理的属性を対象にした6つのマップパラメータP11,P12と、時間的属性を対象にした2つのマップパラメータP15が存在するとする。このとき、特徴量生成関数生成器81は、地理的属性を対象にしたマップパラメータと時間的属性を対象にしたマップパラメータとを1つずつ組み合わせて、新たなマップパラメータP31を生成してもよい。図17に示す例の場合、新しく6×2=12のマップパラメータが生成される。
以下、特徴量生成関数生成器81が特徴量生成関数を生成する手順を具体的に説明する。ここでは、図13に例示するターゲットテーブルT、ソーステーブルS1,S2が入力されるものとする。また、予測対象の変数(目的変数)は、ターゲットテーブルTに含まれる乗客数(pickup_number)を表す変数である。
図18は、パラメータを組み合わせて特徴量生成関数を生成する方法の例を示す説明図である。図18(a)は、ターゲットテーブルTとソーステーブルS1とから特徴量を生成するための特徴量生成関数を生成する組合せ例を示す。また、図18(b)は、ターゲットテーブルTとソーステーブルS2とから特徴量を生成するための特徴量生成関数を生成する組合せ例を示す。なお、図18(b)に示す例では、地理的属性を対象にしたマップパラメータと時間的属性を対象にしたマップパラメータとが結合されたマップパラメータが利用されるものとする。
図18(a)に示す例では、4のマップパラメータと9の集約パラメータが生成されている。特徴量生成関数生成器81は、これらのマップパラメータおよび集約パラメータから、それぞれ1つずつパラメータを選択し、各パラメータの組合せを生成する。この例の場合、各パラメータに基づいて、4×9=36通りの組合せが生成される。なお、フィルタパラメータが生成されている場合、特徴量生成関数生成器81は、マップパラメータ、フィルタパラメータおよび集約パラメータから、それぞれ1つずつパラメータを選択し、各パラメータの組合せを生成する。
図18(b)に示す例でも同様に、14のマップパラメータと7の集約パラメータが生成されている。特徴量生成関数生成器81は、これらのマップパラメータおよび集約パラメータから、それぞれ1つずつパラメータを選択し、各パラメータの組合せを生成する。この例の場合、各パラメータに基づいて、14×7=94通りの組合せが生成される。以上より、全部で、36+94=130のパラメータの組合せが生成される。
次に、特徴量生成関数生成器81は、生成された組合せに基づいて特徴量生成関数を生成する。具体的には、特徴量生成関数生成器81は、生成された組合せに含まれるパラメータを、表データの操作や定義を行う問合せ言語の形式に変換する。特徴量生成関数生成器81は、例えば、問合せ言語としてSQLを用いてもよい。
このとき、特徴量生成関数生成器81は、SQL文を生成するテンプレートに各パラメータを適用して特徴量生成関数を生成してもよい。具体的には、各パラメータを当てはめてSQL文を生成するためのテンプレートを予め用意しておき、特徴量生成関数生成器81は、生成された組合せに含まれる各パラメータを順次テンプレートに適用してSQL文を生成してもよい。この場合、特徴量生成関数は、SQL文として定義され、選択される各パラメータが、SQL文を生成するパラメータに対応する。
これらのパラメータの組合せで特徴量を定義すると、多数の種類の特徴量生成関数を単純な要素の組合せとして表現することが可能になる。したがって、複数の表データを利用して効率よく多数の特徴量の候補を生成できる。例えば、上述する例の場合、4つのマップパラメータと9つの集約パラメータ、および、14のマップパラメータと7つの集約パラメータを生成するだけで、130種類の特徴量を容易に生成することが可能になる。また、一度生成した各パラメータの定義は再利用できるため、特徴量生成関数を生成する工数自体も削減できるという効果も得られる。
特徴量生成器82は、特徴量生成関数を用いて特徴量を生成する。例えば、特徴量生成関数に、上述する距離の統計値を算出するパラメータが含まれているとする。この場合、特徴量生成器82は、特徴量生成関数に基づいて、第1の地理的属性のレコードごとに、所定の条件を満たす第2のテーブルのレコードを集約する演算を行うことにより、距離の統計値を算出してもよい。
具体的には、特徴量生成器82は、第2のテーブルのレコードを集約する演算として、第1の地理的属性の各レコードに対して所定の条件を満たす第2のテーブルの地理的属性との距離の合計と平均の少なくともいずれかを算出してもよい。そして、特徴量生成器82は、算出した距離の合計と平均の少なくともいずれかを特徴量として第1のテーブルの属性に追加してもよい。
他にも、特徴量生成器82は、第2のテーブルのレコードを集約する演算として、第1の地理的属性の各レコードに対して所定の条件を満たす第2のテーブルの地理的属性のレコード数を算出してもよい。そして、特徴量生成器82は、算出したレコード数を特徴量として第1のテーブルの属性に追加してもよい。
このように、特徴量生成器82は、生成した特徴量を第1のテーブルの属性に追加する処理も行うことから、特徴量生成器82のことを属性追加手段と言うことができる。また、特徴量生成器82が生成した特徴量は、後述する特徴量選択器83が特徴量を選択する際の候補となることから、特徴量の候補と言うこともできる。
なお、本実施形態では、特徴量生成器82が、特徴量生成関数を用いて特徴量の候補を生成する場合について説明した。ただし、特徴量生成器82が、類似度関数を用いて、第1のテーブルおよび第2のテーブルから、結合条件と集約条件とを用いて特徴量の候補を直接生成してもよい。上述するように、結合条件は、第1の属性の値と第2の属性の値とにより算出される類似度が、条件を満たす第1の属性の値を含む第1のテーブルのレコードと、第2の属性の値を含む第2のテーブルのレコードとを結合するための条件である。また、集約条件は、第2のテーブルにおける複数のレコードに対する集約方法およびその集約の対象になる列により表される条件である。
特徴量生成器82は、例えば、結合条件および集約条件がそれぞれ複数存在する場合、複数の結合条件と複数の集約条件とを組み合わせた数の特徴量を生成してもよい。結合条件および集約条件を組み合わせることにより、上述する特徴量生成関数生成器81が、特徴量生成関数を生成する処理と同様の効果が得られる。
特徴量選択器83は、生成された特徴量の中から、予測に最適な特徴量を選択する。なお、特徴量選択の方法は任意である。特徴量選択器83は、例えば、L1正則化を用いて特徴量を選択してもよい。ただし、特徴量の選択に用いるアルゴリズムはL1正則化に限られない。特徴量選択器83は、特徴量の選択に用いるアルゴリズムに応じて、予測に最適な特徴量を選択すればよい。
出力部90は、生成された特徴量を出力する。出力部90は、特徴量選択器83が選択した特徴量のみを出力してもよく、特徴量生成器82が生成した全ての特徴量を出力してもよい。
学習部91は、生成された特徴量を用いて予測モデルを学習する。学習部91は、例えば、追加された属性を特徴量として予測モデルを学習する。具体的には、学習部91は、生成された特徴量に第1のテーブルおよび第2のテーブルのデータを適用して、訓練データを生成する。そして、学習部91は、生成された特徴量を説明変数の候補として用いて、予測対象の値を予測するモデルを学習する。なお、モデルの学習方法は任意である。
予測部92は、学習部91によって学習されたモデルを用いて予測を行う。具体的には、予測部92は、生成された特徴量に第1のテーブルおよび第2のテーブルのデータを適用して、予測用データを生成する。そして、予測部92は、生成された予測用データを学習されたモデルに適用して予測結果を得る。
入力部10と、ジオコーダ20と、マップパラメータ生成器30と、フィルタパラメータ生成器50と、集約パラメータ生成器60と、特徴量生成関数生成器81と、特徴量生成器82と、特徴量選択器83と、出力部90と、学習部91と、予測部92とは、プログラム(情報処理プログラム)に従って動作するコンピュータのプロセッサ(例えば、CPU(Central Processing Unit )、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array ))によって実現される。なお、マップパラメータ生成器30は、より詳しくは、ジオマップ生成器40(さらに詳しくは、距離マップ生成器41と、包含マップ生成器42と、重複マップ生成器43と、同地域マップ生成器44)と、時間差異マップ生成器31と、マップ生成器32と、属性特定部33とにより実現される。また、集約パラメータ生成器60は、ジオ集約生成器70(さらに詳しくは、ポイント集約生成器71と、エリア集約生成器72)と、数的集約生成器61とにより実現される。
例えば、プログラムは、記憶部80に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、入力部10、ジオコーダ20、マップパラメータ生成器30、フィルタパラメータ生成器50、集約パラメータ生成器60、特徴量生成関数生成器81、特徴量生成器82、特徴量選択器83、出力部90、学習部91および予測部92として動作してもよい。また、情報処理システムの機能がSaaS(Software as a Service )形式で提供されてもよい。
入力部10と、ジオコーダ20と、マップパラメータ生成器30と、フィルタパラメータ生成器50と、集約パラメータ生成器60と、特徴量生成関数生成器81と、特徴量生成器82と、特徴量選択器83と、出力部90と、学習部91と、予測部92とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry )、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。
また、各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、本実施形態の情報処理システム100が、単体の情報処理装置として実現されていてもよい。また、本実施形態の情報処理システム100の一部または全部は、上述する特徴量を生成する処理を行うことから、特徴量を生成する処理を行う機能を含む装置を、特徴量生成装置と言うことができる。
次に、本実施形態の情報処理システム100の動作を説明する。図19は、結合条件を生成する処理の例を示すフローチャートである。
入力部10は、予測対象および第1の地理的属性を含む第1のテーブルと、第2の地理的属性を含む第2のテーブルとを取得する(ステップS11)。また、入力部10は、地理的関係、および、地理的関係の程度を受け付ける(ステップS12)。マップパラメータ生成器30は、第1の地理的属性の値と第2の地理的属性の値との関係が地理的関係の程度を満たすような、第1のテーブルに含まれるレコードと第2のテーブルに含まれるレコードとを結合するための結合条件を生成する(ステップS13)。
図20は、結合条件を生成する処理の他の例を示すフローチャートである。入力部10は、予測対象および第1の時間的属性を含む第1のテーブルと、第2の時間的属性を含む第2のテーブルとを取得する(ステップS21)。また、入力部10は、時間的関係、および、時間的関係の程度を受け付ける(ステップS22)。マップパラメータ生成器30は、第1の時間的属性の値と第2の時間的属性の値との関係が時間的関係の程度を満たすような、第1のテーブルに含まれるレコードと第2のテーブルに含まれるレコードとを結合するための結合条件を生成する(ステップS23)。
図21は、特徴量を生成する処理の例を示すフローチャートである。入力部10は、予測対象および第1の地理的属性を含む第1のテーブルと、第2の地理的属性を含む第2のテーブルとを取得する(ステップS31)。特徴量生成器82は、第1の地理的属性の値に対する第2の地理的属性の値が所定の条件を満たす場合に距離の統計値を算出し(ステップS32)、算出した統計値を特徴量として第1のテーブルの属性に追加する(ステップS33)。
図22は、特徴量を生成する処理の他の例を示すフローチャートである。入力部10は、予測対象および第1の属性を含む第1のテーブルと、第2の属性を含む第2のテーブルとを取得する(ステップS41)。また、入力部10は、第1の属性と第2の属性との類似度の算出に用いられる類似度関数と、類似度に対する条件(例えば、類似度の閾値)とを受け付ける(ステップS42)。特徴量生成器82は、類似度関数を用いて算出される結合条件と集約条件とを用いて、第1のテーブルおよび第2のテーブルから特徴量の候補を生成する(ステップS43)。そして、特徴量選択器83は、特徴量の候補から、予測に最適な特徴量を選択する(ステップS44)。
以上のように、本実施形態では、入力部10が、予測対象および第1の地理的属性を含む第1のテーブルと、第2の地理的属性を含む第2のテーブルとを取得する。また、入力部10は、地理的関係、および、地理的関係の程度を受け付ける。そして、マップパラメータ生成器30が、第1の地理的属性の値と第2の地理的属性の値との関係が地理的関係の程度を満たすような、第1のテーブルに含まれるレコードと第2のテーブルに含まれるレコードとを結合するための結合条件を生成する。同様に、本実施形態では、入力部10が、予測対象および第1の時間的属性を含む第1のテーブルと、第2の時間的属性を含む第2のテーブルとを取得する。また、入力部10は、時間的関係、および、時間的関係の程度を受け付ける。そして、マップパラメータ生成器30が、第1の時間的属性の値と第2の時間的属性の値との関係が時間的関係の程度を満たすような、第1のテーブルに含まれるレコードと第2のテーブルに含まれるレコードとを結合するための結合条件を生成する。よって、地理的情報または時間的情報を介して複数の情報を関連付ける作業工数を低減できる。その結果、多様な表現で表された情報を処理するコンピュータの負荷を低減することが可能になる。
また、本実施形態では、入力部10が、予測対象および第1の地理的属性を含む第1のテーブルと、第2の地理的属性を含む第2のテーブルとを取得する。そして、特徴量生成器82は、第1の地理的属性の値に対する第2の地理的属性の値が所定の条件を満たす場合に、第1の地理的属性の値と条件を満たす第2の地理的属性の値とに基づいて算出される距離の統計値を、予測対象に影響を及ぼし得る変数である特徴量として第1のテーブルの属性に追加する。よって、地理的情報を有する複数の情報源から、効率よく特徴量を生成できる。
さらに、本実施形態では、入力部10が、予測対象および第1の属性を含む第1のテーブルと、第2の属性を含む第2のテーブルとを取得する。また、入力部10が、第1の属性と第2の属性との類似度の算出に用いられる類似度関数と、類似度に対する条件とを受け付ける。そして、特徴量生成器82が、類似度関数を用いて算出される結合条件と集約条件とを用いて、第1のテーブルおよび第2のテーブルから特徴量の候補を生成し、特徴量選択器83が、特徴量の候補から、予測に最適な特徴量を選択する。よって、特徴量を生成するための分析者工数を削減できる。
次に、本発明の概要を説明する。図23は、本発明による特徴量生成装置の概要を示すブロック図である。本発明による特徴量生成装置380は、予測対象および第1の属性を含む第1のテーブル(例えば、ターゲットテーブル)と、第2の属性を含む第2のテーブル(例えば、ソーステーブル)とを取得するテーブル取得手段381(例えば、入力部10)と、第1の属性と第2の属性との類似度の算出に用いられる類似度関数と、類似度に対する条件とを受け付ける受付手段382(例えば、入力部10)と、類似度関数を用いて、第1の属性の値と第2の属性の値とにより算出される類似度が、条件(類似度に対する条件)を満たす第1の属性の値を含む第1のテーブルのレコードと、第2の属性の値を含む第2のテーブルのレコードとを結合するための結合条件(例えば、マップパラメータ)と、第2のテーブルにおける複数のレコードに対する集約方法および集約の対象になる列により表される集約条件(例えば、集約パラメータ)とを用いて、第1のテーブルおよび第2のテーブルから、予測対象に影響を及ぼし得る特徴量の候補を生成する特徴量生成手段383(例えば、特徴量生成器82)と、特徴量の候補から、予測に最適な特徴量を選択する特徴量選択手段384(例えば、特徴量選択器83)とを備えている。
そのような構成により、特徴量を生成するための分析者工数を削減できる。
また、特徴量生成手段383は、複数の結合条件と複数の集約条件とを用いて、結合条件と集約条件とを組み合わせた数の特徴量を生成してもよい。
その際、第1の属性および第2の属性が、地理的属性であり、類似度関数が、距離が近いほど類似度を高く算出する関数として定義されてもよい。
他にも、第1の属性および第2の属性が、時間的属性であり、類似度関数が、時間の差異が小さいほど類似度を高く算出する関数として定義されてもよい。
他にも、第1の属性および第2の属性が、文字列属性であり、類似度関数が、文字列を示すテキストの一致度が高いほど類似度を高く算出する関数として定義されてもよい。
他にも、第1の属性および第2の属性が、構造的属性であり、類似度関数が、共通するノードまでの距離が近いほど類似度を高く算出する関数として定義されてもよい。
また、情報処理装置380は、結合条件と、集約条件と、第2のテーブルから条件を満たすレコードを抽出するための抽出条件(例えば、フィルタパラメータ)とを用いて特徴量生成関数を生成する関数生成手段(例えば、特徴量生成関数生成器81)を備えていてもよい。
図24は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ1000は、プロセッサ1001、主記憶装置1002、補助記憶装置1003、インタフェース1004を備える。
上述の情報処理システムは、コンピュータ1000に実装される。そして、上述した各処理部の動作は、プログラム(結合条件生成プログラム)の形式で補助記憶装置1003に記憶されている。プロセッサ1001は、プログラムを補助記憶装置1003から読み出して主記憶装置1002に展開し、当該プログラムに従って上記処理を実行する。
なお、少なくとも1つの実施形態において、補助記憶装置1003は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース1004を介して接続される磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ1000に配信される場合、配信を受けたコンピュータ1000が当該プログラムを主記憶装置1002に展開し、上記処理を実行しても良い。
また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置1003に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル(差分プログラム)であっても良い。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)予測対象および第1の属性を含む第1のテーブルと、第2の属性を含む第2のテーブルとを取得するテーブル取得手段と、前記第1の属性と前記第2の属性との類似度の算出に用いられる類似度関数と、当該類似度に対する条件とを受け付ける受付手段と、前記類似度関数を用いて、前記第1の属性の値と前記第2の属性の値とにより算出される類似度が、前記条件を満たす当該第1の属性の値を含む第1のテーブルのレコードと、当該第2の属性の値を含む第2のテーブルのレコードとを結合するための結合条件と、第2のテーブルにおける複数のレコードに対する集約方法および当該集約の対象になる列により表される集約条件とを用いて、前記第1のテーブルおよび前記第2のテーブルから、前記予測対象に影響を及ぼし得る特徴量の候補を生成する特徴量生成手段と、前記特徴量の候補から、予測に最適な特徴量を選択する特徴量選択手段とを備えたことを特徴とする特徴量生成装置。
(付記2)特徴量生成手段は、複数の結合条件と複数の集約条件とを用いて、当該結合条件と当該集約条件とを組み合わせた数の特徴量を生成する付記1記載の特徴量生成装置。
(付記3)第1の属性および第2の属性は、地理的属性であり、類似度関数は、距離が近いほど類似度を高く算出する関数として定義される付記1または付記2記載の特徴量生成装置。
(付記4)第1の属性および第2の属性は、時間的属性であり、類似度関数は、時間の差異が小さいほど類似度を高く算出する関数として定義される付記1または付記2記載の特徴量生成装置。
(付記5)第1の属性および第2の属性は、文字列属性であり、類似度関数は、文字列を示すテキストの一致度が高いほど類似度を高く算出する関数として定義される付記1または付記2記載の特徴量生成装置。
(付記6)第1の属性および第2の属性は、構造的属性であり、類似度関数は、共通するノードまでの距離が近いほど類似度を高く算出する関数として定義される付記1または付記2記載の特徴量生成装置。
(付記7)結合条件と、集約条件と、第2のテーブルから条件を満たすレコードを抽出するための抽出条件とを用いて特徴量生成関数を生成する関数生成手段を備えた付記1から付記6のうちのいずれか1つに記載の特徴量生成装置。
(付記8)予測対象および第1の属性を含む第1のテーブルと、第2の属性を含む第2のテーブルとを取得し、前記第1の属性と前記第2の属性との類似度の算出に用いられる類似度関数と、当該類似度に対する条件とを受け付け、前記類似度関数を用いて、前記第1の属性の値と前記第2の属性の値とにより算出される類似度が、前記条件を満たす当該第1の属性の値を含む第1のテーブルのレコードと、当該第2の属性の値を含む第2のテーブルのレコードとを結合するための結合条件と、第2のテーブルにおける複数のレコードに対する集約方法および当該集約の対象になる列により表される集約条件とを用いて、前記第1のテーブルおよび前記第2のテーブルから、前記予測対象に影響を及ぼし得る特徴量の候補を生成し、前記特徴量の候補から、予測に最適な特徴量を選択することを特徴とする特徴量生成方法。
(付記9)複数の結合条件と複数の集約条件とを用いて、当該結合条件と当該集約条件とを組み合わせた数の特徴量を生成する付記8記載の特徴量生成方法。
(付記10)コンピュータに、予測対象および第1の属性を含む第1のテーブルと、第2の属性を含む第2のテーブルとを取得するテーブル取得処理、前記第1の属性と前記第2の属性との類似度の算出に用いられる類似度関数と、当該類似度に対する条件とを受け付ける受付処理、前記類似度関数を用いて、前記第1の属性の値と前記第2の属性の値とにより算出される類似度が、前記条件を満たす当該第1の属性の値を含む第1のテーブルのレコードと、当該第2の属性の値を含む第2のテーブルのレコードとを結合するための結合条件と、第2のテーブルにおける複数のレコードに対する集約方法および当該集約の対象になる列により表される集約条件とを用いて、前記第1のテーブルおよび前記第2のテーブルから、前記予測対象に影響を及ぼし得る特徴量の候補を生成する特徴量生成処理、および、前記特徴量の候補から、予測に最適な特徴量を選択する特徴量選択処理を実行させるための特徴量生成プログラム。
(付記11)コンピュータに、特徴量生成処理で、複数の結合条件と複数の集約条件とを用いて、当該結合条件と当該集約条件とを組み合わせた数の特徴量を生成させる付記10記載の特徴量生成プログラム。
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2017年10月5日に出願された米国仮出願第62/568,397号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
10 入力部
20 ジオコーダ
30 マップパラメータ生成器
31 時間差異マップ生成器
32 マップ生成器
33 属性特定部
40 ジオマップ生成器
41 距離マップ生成器
42 包含マップ生成器
43 重複マップ生成器
44 同地域マップ生成器
50 フィルタパラメータ生成器
51 フィルタ生成器
60 集約パラメータ生成器
61 数的集約生成器
70 ジオ集約生成器
71 ポイント集約生成器
72 エリア集約生成器
80 記憶部
81 特徴量生成関数生成器
82 特徴量生成器
83 特徴量選択器
90 出力部
91 学習部
92 予測部

Claims (11)

  1. 予測対象および第1の属性を含む第1のテーブルと、第2の属性を含む第2のテーブルとを取得するテーブル取得手段と、
    前記第1の属性と前記第2の属性との類似度の算出に用いられる類似度関数と、当該類似度に対する条件とを受け付ける受付手段と、
    前記類似度関数を用いて、前記第1の属性の値と前記第2の属性の値とにより算出される類似度が、前記条件を満たす当該第1の属性の値を含む第1のテーブルのレコードと、当該第2の属性の値を含む第2のテーブルのレコードとを結合するための結合条件と、第2のテーブルにおける複数のレコードに対する集約方法および当該集約の対象になる列により表される集約条件とを用いて、前記第1のテーブルおよび前記第2のテーブルから、前記予測対象に影響を及ぼし得る特徴量の候補を生成する特徴量生成手段と、
    前記特徴量の候補から、予測に最適な特徴量を選択する特徴量選択手段とを備えた
    ことを特徴とする特徴量生成装置。
  2. 特徴量生成手段は、複数の結合条件と複数の集約条件とを用いて、当該結合条件と当該集約条件とを組み合わせた数の特徴量を生成する
    請求項1記載の特徴量生成装置。
  3. 第1の属性および第2の属性は、地理的属性であり、類似度関数は、距離が近いほど類似度を高く算出する関数として定義される
    請求項1または請求項2記載の特徴量生成装置。
  4. 第1の属性および第2の属性は、時間的属性であり、類似度関数は、時間の差異が小さいほど類似度を高く算出する関数として定義される
    請求項1または請求項2記載の特徴量生成装置。
  5. 第1の属性および第2の属性は、文字列属性であり、類似度関数は、文字列を示すテキストの一致度が高いほど類似度を高く算出する関数として定義される
    請求項1または請求項2記載の特徴量生成装置。
  6. 第1の属性および第2の属性は、構造的属性であり、類似度関数は、共通するノードまでの距離が近いほど類似度を高く算出する関数として定義される
    請求項1または請求項2記載の特徴量生成装置。
  7. 結合条件と、集約条件と、第2のテーブルから条件を満たすレコードを抽出するための抽出条件とを用いて特徴量生成関数を生成する関数生成手段を備えた
    請求項1から請求項6のうちのいずれか1項に記載の特徴量生成装置。
  8. 予測対象および第1の属性を含む第1のテーブルと、第2の属性を含む第2のテーブルとを取得し、
    前記第1の属性と前記第2の属性との類似度の算出に用いられる類似度関数と、当該類似度に対する条件とを受け付け、
    前記類似度関数を用いて、前記第1の属性の値と前記第2の属性の値とにより算出される類似度が、前記条件を満たす当該第1の属性の値を含む第1のテーブルのレコードと、当該第2の属性の値を含む第2のテーブルのレコードとを結合するための結合条件と、第2のテーブルにおける複数のレコードに対する集約方法および当該集約の対象になる列により表される集約条件とを用いて、前記第1のテーブルおよび前記第2のテーブルから、前記予測対象に影響を及ぼし得る特徴量の候補を生成し、
    前記特徴量の候補から、予測に最適な特徴量を選択する
    ことを特徴とする特徴量生成方法。
  9. 複数の結合条件と複数の集約条件とを用いて、当該結合条件と当該集約条件とを組み合わせた数の特徴量を生成する
    請求項8記載の特徴量生成方法。
  10. コンピュータに、
    予測対象および第1の属性を含む第1のテーブルと、第2の属性を含む第2のテーブルとを取得するテーブル取得処理、
    前記第1の属性と前記第2の属性との類似度の算出に用いられる類似度関数と、当該類似度に対する条件とを受け付ける受付処理、
    前記類似度関数を用いて、前記第1の属性の値と前記第2の属性の値とにより算出される類似度が、前記条件を満たす当該第1の属性の値を含む第1のテーブルのレコードと、当該第2の属性の値を含む第2のテーブルのレコードとを結合するための結合条件と、第2のテーブルにおける複数のレコードに対する集約方法および当該集約の対象になる列により表される集約条件とを用いて、前記第1のテーブルおよび前記第2のテーブルから、前記予測対象に影響を及ぼし得る特徴量の候補を生成する特徴量生成処理、および、
    前記特徴量の候補から、予測に最適な特徴量を選択する特徴量選択処理
    を実行させるための特徴量生成プログラム。
  11. コンピュータに、
    特徴量生成処理で、複数の結合条件と複数の集約条件とを用いて、当該結合条件と当該集約条件とを組み合わせた数の特徴量を生成させる
    請求項10記載の特徴量生成プログラム。
JP2019546532A 2017-10-05 2018-06-12 特徴量生成装置、特徴量生成方法および特徴量生成プログラム Pending JPWO2019069507A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762568397P 2017-10-05 2017-10-05
US62/568,397 2017-10-05
PCT/JP2018/022429 WO2019069507A1 (ja) 2017-10-05 2018-06-12 特徴量生成装置、特徴量生成方法および特徴量生成プログラム

Publications (1)

Publication Number Publication Date
JPWO2019069507A1 true JPWO2019069507A1 (ja) 2020-11-05

Family

ID=65994215

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019546532A Pending JPWO2019069507A1 (ja) 2017-10-05 2018-06-12 特徴量生成装置、特徴量生成方法および特徴量生成プログラム

Country Status (5)

Country Link
US (1) US11514062B2 (ja)
EP (1) EP3696686A4 (ja)
JP (1) JPWO2019069507A1 (ja)
SG (1) SG11202003814TA (ja)
WO (1) WO2019069507A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7098327B2 (ja) 2015-11-25 2022-07-11 ドットデータ インコーポレイテッド 情報処理システム、関数作成方法および関数作成プログラム
CN110476159A (zh) 2017-03-30 2019-11-19 日本电气株式会社 信息处理系统、特征值说明方法和特征值说明程序
CN114943607A (zh) * 2022-06-02 2022-08-26 支付宝(杭州)信息技术有限公司 特征发现方法、属性预测方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017090475A1 (ja) * 2015-11-25 2017-06-01 日本電気株式会社 情報処理システム、関数作成方法および関数作成プログラム

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5873088A (en) 1990-08-31 1999-02-16 Fujitsu Limited Derived data base processing system enabling one program to access a plurality of data basis
JP3517345B2 (ja) * 1998-02-03 2004-04-12 日本電信電話株式会社 住所情報による異種データの結合処理方法および装置
US6721754B1 (en) 1999-04-28 2004-04-13 Arena Pharmaceuticals, Inc. System and method for database similarity join
US20060173873A1 (en) 2000-03-03 2006-08-03 Michel Prompt System and method for providing access to databases via directories and other hierarchical structures and interfaces
JP2002007435A (ja) 2000-06-20 2002-01-11 Nec Corp 対話的分析データベースシステム及び対話的分析プログラムを記録した記録媒体
US6718346B1 (en) 2000-08-17 2004-04-06 3Com Corporation Generating summary data for a requested time period having a requested start time and end time a plurality of data records
JP2002109150A (ja) 2000-09-28 2002-04-12 Fuji Electric Co Ltd 時系列データの適応的予測方法
US6820089B2 (en) 2001-04-05 2004-11-16 International Business Machines Corporation Method and system for simplifying the use of data mining in domain-specific analytic applications by packaging predefined data mining models
US6636860B2 (en) 2001-04-26 2003-10-21 International Business Machines Corporation Method and system for data mining automation in domain-specific analytic applications
US6973459B1 (en) 2002-05-10 2005-12-06 Oracle International Corporation Adaptive Bayes Network data mining modeling
US20050102303A1 (en) 2003-11-12 2005-05-12 International Business Machines Corporation Computer-implemented method, system and program product for mapping a user data schema to a mining model schema
US8886614B2 (en) 2004-02-03 2014-11-11 Teradata Us, Inc. Executing a join plan using data compression
US7225200B2 (en) 2004-04-14 2007-05-29 Microsoft Corporation Automatic data perspective generation for a target variable
US20060218132A1 (en) 2005-03-25 2006-09-28 Oracle International Corporation Predictive data mining SQL functions (operators)
US7849048B2 (en) 2005-07-05 2010-12-07 Clarabridge, Inc. System and method of making unstructured data available to structured data analysis tools
US7546312B1 (en) 2005-09-23 2009-06-09 Emc Corporation System and methods for modeling a report query database
US20070185868A1 (en) 2006-02-08 2007-08-09 Roth Mary A Method and apparatus for semantic search of schema repositories
US20070203893A1 (en) 2006-02-27 2007-08-30 Business Objects, S.A. Apparatus and method for federated querying of unstructured data
DE102006017824B4 (de) 2006-04-13 2018-10-11 Dspace Digital Signal Processing And Control Engineering Gmbh Methode zum Konstruieren einer Diagnosefunktion
JP2008102736A (ja) 2006-10-19 2008-05-01 Toshiba Corp 検索装置および検索方法
US8521689B2 (en) 2007-04-20 2013-08-27 International Business Machines Corporation Generation of a set of pre-filters from a set of event subscriptions to more efficiently select events of interest
US8010905B2 (en) 2007-12-19 2011-08-30 Teradata Us, Inc. Open model ingestion for master data management
US7809664B2 (en) 2007-12-21 2010-10-05 Yahoo! Inc. Automated learning from a question and answering network of humans
US8214408B2 (en) 2008-09-29 2012-07-03 Teradata Us, Inc. Method, database system and computer program for joining temporal database tables
US7970728B2 (en) 2008-10-23 2011-06-28 International Business Machines Corporation Dynamically building and populating data marts with data stored in repositories
WO2011086956A1 (ja) 2010-01-18 2011-07-21 日本電気株式会社 情報端末機器、情報端末機器による操作方法及びプログラム
JP5423553B2 (ja) 2010-04-09 2014-02-19 株式会社日立製作所 データベース管理方法、計算機、センサネットワークシステム及びデータベース検索プログラム
US8620934B2 (en) 2010-05-05 2013-12-31 University Of Washington Through Its Center For Commercialization Systems and methods for selecting data elements, such as population members, from a data source
JP5340222B2 (ja) 2010-05-14 2013-11-13 日本電信電話株式会社 和集合集約処理と等結合処理の組み合わせ方法及びデータベースシステム及びプログラム
JP5527027B2 (ja) 2010-06-04 2014-06-18 富士通株式会社 スキーマ定義生成装置、スキーマ定義生成方法およびスキーマ定義生成プログラム
CA2712028C (en) 2010-08-25 2011-12-20 Ibm Canada Limited - Ibm Canada Limitee Geospatial database integration using business models
JP5457316B2 (ja) 2010-09-13 2014-04-02 株式会社富士通マーケティング レポート作成装置およびそのプログラム
US8751216B2 (en) 2010-12-30 2014-06-10 International Business Machines Corporation Table merging with row data reduction
CN103221945B (zh) 2011-03-18 2016-09-14 日本电气株式会社 多变量数据混合模型估计装置、混合模型估计方法
JP5794160B2 (ja) 2012-01-26 2015-10-14 富士通株式会社 説明変数の決定のための情報処理装置、情報処理方法及びプログラム
JP5520330B2 (ja) 2012-02-10 2014-06-11 日本電信電話株式会社 情報取引システム
JP5752621B2 (ja) 2012-03-02 2015-07-22 株式会社日立ソリューションズ東日本 需要予測装置、需要予測プログラムおよび需要予測方法
US9075616B2 (en) 2012-03-19 2015-07-07 Enterpriseweb Llc Declarative software application meta-model and system for self-modification
US9128991B2 (en) 2012-04-03 2015-09-08 Sas Institute, Inc. Techniques to perform in-database computational programming
US9201936B2 (en) 2012-11-13 2015-12-01 International Business Machines Corporation Rapid provisioning of information for business analytics
US9342566B2 (en) 2013-01-17 2016-05-17 Sap Se Systems and methods for searching data structures of a database
CA2841472C (en) 2013-02-01 2022-04-19 Brokersavant, Inc. Machine learning data annotation apparatuses, methods and systems
US9858600B2 (en) 2013-03-15 2018-01-02 Turn Inc. Universal tag for page analytics and campaign creation
US9146984B1 (en) 2013-03-15 2015-09-29 Google Inc. Enhancing queries for data tables with nested fields
WO2014208205A1 (ja) 2013-06-26 2014-12-31 前田建設工業株式会社 表形式データ処理プログラム、方法及び装置
JP6283190B2 (ja) 2013-10-09 2018-02-21 前田建設工業株式会社 表形式データ処理プログラム、方法、及び装置
US10452632B1 (en) 2013-06-29 2019-10-22 Teradata Us, Inc. Multi-input SQL-MR
JP6045706B2 (ja) 2013-08-21 2016-12-14 株式会社日立製作所 データ処理システム、データ処理方法およびデータ処理装置
WO2015045318A1 (ja) 2013-09-27 2015-04-02 日本電気株式会社 情報処理システム、情報処理方法およびプログラムを記憶する記録媒体
CN104699717B (zh) 2013-12-10 2019-01-18 中国银联股份有限公司 数据挖掘方法
US10353923B2 (en) 2014-04-24 2019-07-16 Ebay Inc. Hadoop OLAP engine
US9286290B2 (en) 2014-04-25 2016-03-15 International Business Machines Corporation Producing insight information from tables using natural language processing
JP6500896B2 (ja) 2014-06-03 2019-04-17 日本電気株式会社 属性列挙システム、属性列挙方法および属性列挙プログラム
US10198460B2 (en) 2014-06-04 2019-02-05 Waterline Data Science, Inc. Systems and methods for management of data platforms
US9672474B2 (en) 2014-06-30 2017-06-06 Amazon Technologies, Inc. Concurrent binning of machine learning data
US10963810B2 (en) 2014-06-30 2021-03-30 Amazon Technologies, Inc. Efficient duplicate detection for machine learning data sets
WO2016017086A1 (ja) 2014-07-31 2016-02-04 日本電気株式会社 行動特性予測システム、行動特性予測器、方法およびプログラム
US11379494B2 (en) 2014-08-06 2022-07-05 Sap Se Timeline index for partitioned temporal database tables
US11182691B1 (en) 2014-08-14 2021-11-23 Amazon Technologies, Inc. Category-based sampling of machine learning data
US9130832B1 (en) 2014-10-09 2015-09-08 Splunk, Inc. Creating entity definition from a file
US10540362B2 (en) 2014-10-10 2020-01-21 Fmr Llc Database, data structure and framework transformer apparatuses, methods and systems
CN104408149B (zh) 2014-12-04 2017-12-12 威海北洋电气集团股份有限公司 基于社交网络分析的犯罪嫌疑人挖掘关联方法及系统
CN104881424B (zh) 2015-03-13 2018-11-23 华中电网有限公司 一种基于正则表达式的电力大数据采集、存储及分析方法
US10002153B2 (en) 2015-05-14 2018-06-19 Illumon Llc Remote data object publishing/subscribing system having a multicast key-value protocol
US10452664B2 (en) 2015-05-21 2019-10-22 Oracle International Corporation Declarative MapReduce using regular expressions
US10713589B1 (en) 2016-03-03 2020-07-14 Amazon Technologies, Inc. Consistent sort-based record-level shuffling of machine learning data
GB201615747D0 (en) 2016-09-15 2016-11-02 Gb Gas Holdings Ltd System for data management in a large scale data repository
JP7069029B2 (ja) 2016-10-31 2022-05-17 ドットデータ インコーポレイテッド 自動予測システム、自動予測方法および自動予測プログラム
US10984039B2 (en) 2016-11-02 2021-04-20 Sap Se Hierarchical map visualizations of geo-enriched data
CN110476159A (zh) * 2017-03-30 2019-11-19 日本电气株式会社 信息处理系统、特征值说明方法和特征值说明程序
US20200387505A1 (en) 2017-03-30 2020-12-10 Dotdata, Inc. Information processing system, feature description method and feature description program
US10713716B2 (en) * 2017-08-04 2020-07-14 Airbnb, Inc. Verification model using neural networks
US20200334246A1 (en) * 2017-10-05 2020-10-22 Dotdata, Inc. Information processing device, combination condition generation method, and combination condition generation program
JP7015320B2 (ja) 2017-12-22 2022-02-02 ドットデータ インコーポレイテッド データ分析支援装置、データ分析支援方法およびデータ分析支援プログラム
US20210342341A1 (en) 2017-12-22 2021-11-04 Dotdata, Inc. Data analysis assistance device, data analysis assistance method, and data analysis assistance program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017090475A1 (ja) * 2015-11-25 2017-06-01 日本電気株式会社 情報処理システム、関数作成方法および関数作成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
空間結合 (SPATIAL JOIN), JPN6022035268, 18 March 2017 (2017-03-18), ISSN: 0005002597 *

Also Published As

Publication number Publication date
SG11202003814TA (en) 2020-05-28
US11514062B2 (en) 2022-11-29
WO2019069507A1 (ja) 2019-04-11
EP3696686A1 (en) 2020-08-19
US20200301921A1 (en) 2020-09-24
EP3696686A4 (en) 2021-07-07

Similar Documents

Publication Publication Date Title
JPWO2019069505A1 (ja) 情報処理装置、結合条件生成方法および結合条件生成プログラム
CN106649331B (zh) 商圈识别方法及设备
JP6032467B2 (ja) 時空間データ管理システム、時空間データ管理方法、及びそのプログラム
US20150356072A1 (en) Method and Apparatus of Matching Text Information and Pushing a Business Object
CN107203526B (zh) 一种查询串语义需求分析方法及装置
JP2016503937A (ja) 活動領域の検索および決定
CN112084269B (zh) 数据质量计算方法、装置、存储介质及服务器
CN109359186B (zh) 一种确定地址信息的方法、装置和计算机可读存储介质
JPWO2019069507A1 (ja) 特徴量生成装置、特徴量生成方法および特徴量生成プログラム
JP7098327B2 (ja) 情報処理システム、関数作成方法および関数作成プログラム
JP2018537760A (ja) アドレス情報に基づいたアカウントマッピングの方法及び装置
US10635678B2 (en) Method and apparatus for processing search data
CN104572946A (zh) 黄页数据处理方法及装置
CN110688434B (zh) 一种兴趣点处理方法、装置、设备和介质
CN103712628B (zh) 导航路径描绘方法和终端
CN110245286B (zh) 一种基于数据挖掘的旅行推荐方法及装置
CN114398315A (zh) 一种数据存储方法、系统、存储介质及电子设备
CN116097242A (zh) 知识图谱构建方法和装置
CN112765288A (zh) 知识图谱的构建方法及系统、信息查询方法及系统
US11023465B2 (en) Cross-asset data modeling in multi-asset databases
CN111382220A (zh) 一种poi数据划分方法和装置
JP2013015907A (ja) 画像分類装置、画像分類装置の制御方法及びプログラム
US20190318014A1 (en) Facilitating identification of an intended country associated with a query
TWI547888B (zh) A method of recording user information and a search method and a server
CN110781375A (zh) 一种用户状态标识确定方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230301

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230530

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230830

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231026