JP7628266B2 - データ分析システム及び分類処理方法 - Google Patents

Description

本発明は、ウェブサイトにおけるウェブページに紐付くページ情報を分類するデータ分析システム及び分類処理方法に関する。

ウェブサイトは、企業の取り扱う商品やサービスの宣伝の他、それらの取引にも利用されている。そのため、ウェブサイトの運営者等は、ウェブサイトの各ウェブページに対するユーザの閲覧行動を、各ウェブページに紐付く情報から解析し、その解析結果から課題を見出して種々の改善を行っている。ただし、こうした情報は大量に発生するため、解析精度及び解析速度を上げるためには、解析用の情報のグルーピング（分類処理）が必要となる。例えば、特許文献１の分析システムは、類似の性質を示すページや類似の検索キーワードをグルーピングした後で、所定の分析処理を行うようになっている。

特開２０１６－２０１０８０号公報

しかしながら、特許文献１のような従来の構成では、ページやキーワードの類似性に関する設定を手作業で行う必要があるため、大量に発生するページ情報のグルーピングには適さない、という実情がある。

本発明は、上述のような課題を解決するためになされたものであり、ページ情報のグルーピングを自動的に効率よく行うデータ分析システム及び分類処理方法を提供することを目的とする。

本発明の一態様に係るデータ分析システムは、ウェブサイトにおけるウェブページに紐付くページ情報を、過去における複数のページ情報を用いた機械学習により生成された分類モデルの入力とし、入力としたページ情報を性質の類似性に基づく複数のグループのうちの何れかに分類する分類処理手段を有する分類装置と、分類装置による分類で得られたデータに分析処理を施す分析装置と、を有し、分類装置は、ウェブページの各オブジェクトの情報を含む表示関連データから、オブジェクトごとに、該オブジェクトの種別を示す種別情報と、該オブジェクトの位置及びサイズを示す配置情報との組み合わせによる識別情報を生成し、生成したオブジェクトごとの識別情報に基づいてページ情報としてのフレーム特徴量を生成する前処理手段を有するものである。

本発明の一態様に係るデータ分析システムは、ウェブサイトにおけるウェブページに紐付くページ情報を、過去における複数のページ情報を用いた機械学習により生成された分類モデルの入力とし、入力としたページ情報を性質の類似性に基づく複数のグループのうちの何れかに分類する分類処理手段を有する分類装置と、分類装置による分類で得られたデータに分析処理を施す分析装置と、を有し、分類処理手段は、ウェブページの位置を示すアドレス情報を、過去における複数のアドレス情報を用いた機械学習により生成されたアドレス分類モデルの入力としてアドレス特徴量を抽出するアドレス分類手段と、ウェブページ内のテキストの情報であるテキストデータを、過去における複数のテキストデータを用いた機械学習により生成されたテキスト分類モデルの入力としてテキスト特徴量を抽出するテキスト分類手段と、ウェブページごとのアドレス特徴量及びテキスト特徴量をページ情報として分類モデルに入力して各ウェブページのグルーピングを行う統括分類手段と、を有するものである。

本発明の一態様に係るデータ分析システムは、ウェブサイトにおけるウェブページに紐付くページ情報を、過去における複数のページ情報を用いた機械学習により生成された分類モデルの入力とし、入力としたページ情報を性質の類似性に基づく複数のグループのうちの何れかに分類する分類処理手段を有する分類装置と、分類装置による分類で得られたデータに分析処理を施す分析装置と、を有し、分類処理手段は、ウェブページの位置を示すアドレス情報、及び該ウェブページ内のテキストの情報であるテキストデータを、ページ情報として分類モデルの入力とし、入力としたページ情報を複数のグループのうちの何れかに分類するものである。

本発明の一態様に係る分類処理方法は、ウェブサイトにおけるウェブページに紐付くページ情報を分類する分類装置が、ウェブページの各オブジェクトの情報を含む表示関連データから、オブジェクトごとに、該オブジェクトの種別を示す種別情報と、該オブジェクトの位置及びサイズを示す配置情報との組み合わせによる識別情報を生成し、生成したオブジェクトごとの識別情報に基づいてページ情報としてのフレーム特徴量を生成し、生成したフレーム特徴量を、過去における複数のフレーム特徴量を用いた機械学習により生成された分類モデルの入力とし、入力としたフレーム特徴量を性質の類似性に基づく複数のグループのうちの何れかに分類し、分類装置による分類で得られたデータに分析装置が分析処理を施すようになっている。

本発明は、過去における複数のページ情報に基づく分類モデルの入力としたページ情報を、性質の類似性に基づく複数のグループのうちの何れかに分類するようになっている。よって、ウェブページに紐付くページ情報のグルーピングを手作業によらず自動的に行うことができるため、処理の迅速化及び効率化を図ることができる。

本発明の実施の形態１に係るデータ分析システム及びその周辺機器等の構成例を示すブロック図である。 図１の管理装置の機能的な構成を例示したブロック図である。 図１の端末装置の機能的な構成を例示したブロック図である。 図１のデータ分析システムの機能的な構成を例示したブロック図である。 図１のデータ分析システムの動作を例示したフローチャートである。 本発明の実施の形態２（３～５）に係るデータ分析システム及びその周辺機器等の構成例を示すブロック図である。 図６のデータ分析システムの機能的な構成を例示したブロック図である。 本発明の実施の形態３に係るデータ分析システムの機能的な構成を例示したブロック図である。 図６の端末装置の表示部などに表示されるウェブページを例示した説明図である。 図９のウェブページ中の各オブジェクトに対応するパーツ情報のみを画像として抽出したワイヤフレーム画像を例示した説明図である。 本発明の実施の形態４に係るデータ分析システムの機能的な構成を例示したブロック図である。 図１１の分類装置におけるデータの流れを分類処理方法の各工程に対応づけて例示した説明図である。 本発明の実施の形態４の変形例４ａに係るデータ分析システムの機能的な構成を例示したブロック図である。 本発明の実施の形態４の変形例４ｂに係るデータ分析システムの機能的な構成を例示したブロック図である。 本発明の実施の形態４の変形例４ｃに係るデータ分析システムの機能的な構成を例示したブロック図である。 本発明の実施の形態５に係るデータ分析システムの機能的な構成を例示したブロック図である。 本発明の実施の形態５の変形例５ａに係るデータ分析システムの機能的な構成を例示したブロック図である。 本発明の実施の形態５の変形例５ｂに係るデータ分析システムの機能的な構成を例示したブロック図である。

実施の形態１．
図１を参照し、本実施の形態１におけるデータ分析システム及びその周辺機器等の構成例について説明する。図１に示すように、データ分析システム１００は、分類装置１０と、分析装置２０と、を有している。データ分析システム１００と、管理装置３０と、サービス提供システム４０と、解析システム５０と、端末装置８０とは、インターネットなどのネットワークＮを介して通信可能に接続されている。すなわち、データ分析システム１００は、管理装置３０、サービス提供システム４０、解析システム５０、及び端末装置８０との間で有線又は無線による通信を行うことができる。

管理装置３０は、ウェブサイトの運営者等、つまりサービス提供システム４０を用いて商品やサービスの販売を行う運営者等が管理するＰＣ（Personal Computer）である。ＰＣには、タブレットＰＣ、ノートＰＣ、デスクトップ型ＰＣなどが含まれる。もっとも、管理装置３０は、スマートフォン又はタブレット端末などのモバイル端末であってもよい。

サービス提供システム４０は、ＥＣサイト（Electronic Commerce site）などのウェブサイトを介して商品やサービスの情報を端末装置８０等に提供するＷｅｂサーバである。サービス提供システム４０が提供するウェブサイトは、ネットワークＮを介して端末装置８０等から閲覧することができる。サービス提供システム４０は、クラウドコンピューティングに基づくクラウドサーバ又は物理サーバなどにより構成される。

解析システム５０は、ウェブサイトのアクセス解析を行う機能を備えたものであり、例えば、Google（登録商標）提供のアクセス解析ツールであるGoogleアナリティクス（ＧＡ）のサーバがこれに相当する。アクセス解析とは、ウェブサイトにおけるコンバージョン（ＣＶ：Conversion）の数を増やすために、ウェブサイトの訪問者であるユーザの特性や行動を分析することである。コンバージョンは、ウェブサイトの目的となるゴール、つまりウェブサイトでユーザに達成してもらいたい行動のことであり、登録、商品やサービスの購入、申し込み、資料請求、予約の実施などを指す。

解析システム５０は、ネットワークを介してのユーザの行動を示す行動データを、サービス提供システム４０等から逐次又は定期的に収集する。そして、本実施の形態１の解析システム５０は、収集した行動データにアクセス解析を施すことにより、ネットワークＮ上に存在する情報資源の位置を示すアドレス情報を生成して蓄積する。解析システム５０は、データ分析システム１００からの要求に応じてアドレス情報を返送する。解析システム５０は、クラウドコンピューティングに基づくクラウドサーバ又は物理サーバなどにより構成される。

端末装置８０は、ユーザにより使用されるモバイル端末又はＰＣである。端末装置８０は、ユーザの操作に応じて、ウェブサイトへのアクセスやログインなどを行うと共に、ウェブサイト内の種々の情報を表示し、売買取引の中継などを行う。ユーザは、１又は複数の端末装置８０を使用し、ネットワークＮを介してサービス提供システム４０にアクセスする。

データ分析システム１００は、ウェブサイトにおけるウェブページに紐付くページ情報として、ウェブページの位置を示すアドレス情報を取得し、取得したアドレス情報に分類処理を施した上で、所定の分析処理を行うものである。データ分析システム１００は、クラウドコンピューティングに基づくクラウドサーバ、もしくは物理サーバ、又はこれらを組み合わせたシステムなどにより構成される。なお、データ分析システム１００は、ＰＣにより構成してもよい。以降では、ウェブサイトのことを「サイト」ともいい、ウェブページのことを「ページ」ともいう。

次に、図２を参照して、管理装置３０の機能的な構成について説明する。管理装置３０は、管理通信部３１と、管理制御部３２と、管理記憶部３３、入力部３４と、表示部３５と、を有している。管理記憶部３３には、管理制御部３２の動作プログラムの他、種々の情報が記憶される。管理記憶部３３は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）、フラッシュメモリ等のＰＲＯＭ（Programmable ＲＯＭ）、又はＨＤＤ（Hard Disk Drive）などにより構成される。

入力部３４は、例えば、キーボードと、マウス又はトラックボールなどのポインティングデバイスと、を含んで構成される。入力部３４は、ユーザによる入力操作を受け付け、入力操作の内容に応じた操作信号を管理制御部３２へ送信する。表示部３５は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）からなり、管理制御部３２からの指示により種々の情報を表示する。

管理制御部３２は、情報処理手段３２ａと、表示処理手段３２ｂと、を有している。情報処理手段３２ａは、表示部３５への表示に関する操作を受け付けると、該操作に応じた制御信号を表示処理手段３２ｂへ出力する。表示処理手段３２ｂは、情報処理手段３２ａからの制御信号に応じて、表示部３５に文字や画像などを表示させる。

管理制御部３２は、ＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）などの演算装置と、こうした演算装置と協働して上記の各種機能を実現させる動作プログラムとにより構成することができる。なお、管理装置３０は、入力部３４及び表示部３５の代わりに、文字又は画像等を表示する表示パネルと、該表示パネルに積層されてタッチ操作を検出する検出手段と、を含むタッチパネルを有していてもよい。管理装置３０は、タッチパネルと、マウス又はキーボード等とを併せ持つものであってもよい。

次いで、図３を参照して、端末装置８０の機能的な構成について説明する。端末装置８０は、端末通信部８１と、端末制御部８２と、端末記憶部８３、入力部８４と、表示部８５と、を有している。端末記憶部８３には、端末制御部８２の動作プログラムの他、種々の情報が記憶される。端末記憶部８３は、ＲＡＭ及びＲＯＭ、フラッシュメモリ等のＰＲＯＭ、又はＨＤＤなどにより構成される。

入力部８４は、例えば、キーボードと、マウス又はトラックボールなどのポインティングデバイスと、を含んで構成される。入力部８４は、ユーザによる入力操作を受け付け、入力操作の内容に応じた操作信号を端末制御部８２へ送信する。表示部８５は、例えば液晶ディスプレイからなり、端末制御部８２からの指示により種々の情報を表示する。

端末制御部８２は、情報処理手段８２ａと、表示処理手段８２ｂと、を有している。情報処理手段８２ａは、表示部８５への表示に関する操作を受け付けると、該操作に応じた制御信号を表示処理手段８２ｂへ出力する。表示処理手段８２ｂは、情報処理手段８２ａからの制御信号に応じて、表示部８５に文字や画像などを表示させる。

端末制御部８２は、ＣＰＵ又はＧＰＵなどの演算装置と、こうした演算装置と協働して上記の各種機能を実現させる動作プログラムとにより構成することができる。なお、端末装置８０は、入力部８４及び表示部８５の代わりに、文字又は画像等を表示する表示パネルと、該表示パネルに積層されてタッチ操作を検出する検出手段と、を含むタッチパネルを有していてもよい。端末装置８０は、タッチパネルと、マウス又はキーボード等とを併せ持つものであってもよい。

次に、図４を参照し、データ分析システム１００の機能的な構成について説明する。図４に示すように、分類装置１０は、サイトにおけるページに紐付くページ情報を分類するものである。分類装置１０は、通信部１１と、制御部１２と、分類用記憶部１３と、を有している。通信部１１は、制御部１２及び分析処理部２２が、ネットワークＮに接続された機器等との間で有線又は無線による通信を行うためのインタフェースである。

分類用記憶部１３は、分類処理プログラムＰ１を含む制御部１２の動作プログラムの他、ページ情報の分類処理に関連する種々のデータを記憶する。例えば、分類用記憶部１３には、ユーザの閲覧行動が反映されたページ情報が記憶される。分類用記憶部１３には、ページ情報を分類（グルーピング）するためのアドレス分類モデルＭ１が格納される。

制御部１２は、収集処理手段１２ａと、学習処理手段１２ｃと、分類処理手段１２ｄと、を有している。収集処理手段１２ａは、ページ情報の送信を要求する要求信号を定期的に解析システム５０へ送信し、解析システム５０から返送される複数のページ情報を分類用記憶部１３に記憶させる。本実施の形態１において、収集処理手段１２ａは、サイトにおけるページの位置を示すアドレス情報を、ページ情報として逐次又は定期的に収集して分類用記憶部１３に記憶させる。ここで、情報資源には、サイト内のページが含まれ、アドレス情報は、ＵＲＬ（Uniform Resource Locator）に相当する。

学習処理手段１２ｃは、分類用記憶部１３に記憶された複数のページ情報を用いての機械学習により、ページ情報への分類設定を行うアドレス分類モデルＭ１を生成する。つまり、学習処理手段１２ｃは、過去における複数のページ情報を入力とする機械学習により、ページ情報の性質の類似性に基づくグルーピングを行うアドレス分類モデルＭ１を構築する。アドレス分類モデルＭ１は、入力されたページ情報を複数のグループのうちの何れかに分類し、分類先のグループに固有の識別タグである分類タグを付す学習済みモデルである。ページ情報のグループとは、類似の性質を示すページ情報が属するグループのことである。ページ情報の性質の類似性は、ページの性質の類似性に対応している。すなわち、ページ情報のグループとしては、商品詳細のページのグループ、会社説明のページのグループ、資料請求のページのグループ、商品詳細のページのグループなどがある。

ここで、収集処理手段１２ａは、複数のページ情報を経時的に収集して分類用記憶部１３に蓄積させるようになっている。そして、学習処理手段１２ｃは、設定されたタイミングで、分類用記憶部１３に新たに蓄積された複数のページ情報を取得すると共に、取得した複数のページ情報を入力とし、アドレス分類モデルＭ１の更新処理を実行する。

本実施の形態１において、学習処理手段１２ｃは、ＤＮＮ（Deep Neural Network）を用いた教師あり学習によりアドレス分類モデルＭ１を生成するようになっている。学習処理手段１２ｃは、教師なし学習又は半教師あり学習によりアドレス分類モデルＭ１を生成するものであってもよい。学習処理手段１２ｃは、ＧＢＤＴ (Gradient Boosting Decision Tree)を用いた機械学習によりアドレス分類モデルＭ１を生成してもよい。学習処理手段１２ｃは、キャラクタレベルＣＮＮ（Character-level Convolutional Neural Network）を用いた機械学習によりアドレス分類モデルＭ１を生成してもよい。加えて、学習処理手段１２ｃは、線形回帰、ロジスティック回帰、又は決定木などの回帰の手法によりアドレス分類モデルＭ１を生成するものであってよい。さらに、学習処理手段１２ｃは、ランダムフォレスト又はサポートベクターマシンなどの分類の手法によりアドレス分類モデルＭ１を生成するものであってよい。もっとも、学習処理手段１２ｃは、上述した複数の機械学習を組み合わせた手法によりアドレス分類モデルＭ１を生成してもよい。

分類処理手段１２ｄは、サイトにおけるページに紐付くページ情報を、過去における複数のページ情報を用いた機械学習により生成されたアドレス分類モデルＭ１の入力とするものである。そして、分類処理手段１２ｄは、アドレス分類モデルＭ１の入力としたページ情報を、性質の類似性に基づく複数のグループのうちの何れかに分類するものである。より具体的に、分類処理手段１２ｄは、分類対象である複数のアドレス情報を、順次アドレス分類モデルＭ１の入力とする。そして、分類処理手段１２ｄは、入力としたアドレス情報を複数のグループのうちの何れかに分類し、分類先のグループの分類タグを該アドレス情報に付して分類データを生成する。つまり、分類処理手段１２ｄは、類似の性質を示すページ情報には共通の分類タグを付し、異なる性質を示すページ情報には、相互に異なる分類タグを付すことになる。分類処理手段１２ｄは、アドレス情報に分類タグを付して生成した分類データを、分析用記憶部２３に記憶させてもよく、分析処理部２２へ出力してもよい。本実施の形態１の分類データは「アドレス分類データ」とも称する。

（アドレス情報の取得方法）
ここで、ページ情報としてのアドレス情報の、分類装置１０による取得パターンについて説明する。分類装置１０は、サービス提供システム４０が提供するサイトとの間で、解析システム５０を介しての連携（例えばサイトとのＧＡ連携：以下システム連携という。）がとれている場合、解析システム５０のＡＰＩ（Application Programming Interface）を利用し、サイト内に含まれるページのＵＲＬを列挙させて取得することができる。その際、分類装置１０は、各ページのＰＶ数（ページビュー数）などの情報も取得することができ、こうした情報をグルーピングに利用することができる。

一方で、システム連携がとれていない場合でも、分類装置１０は、例えば下記の２つの手法により、ページのＵＲＬを直接収集することができる。
(１) サイト内のページを再帰的にクロールする手法：
例えば、サイトのトップページを最初にクロールし、そこに含まれるサイト内のリンクを収集し、それらもクロールする、というように、再帰的にクロールすることによりアドレス情報を収集することができる。かかる手法を採る場合、サイト内のページを再帰的にクロールするクローリング機能を収集処理手段１２ａにもたせてもよく、クローリング機能をもつ外部サーバなどからクローリング後のアドレス情報を収集処理手段１２ａが収集してもよい。
（２）サイトマップを活用する手法：
幾つかのサイトは、ＸＭＬサイトマップ（sitemap.xml）にサイト内のページのＵＲＬが列挙されている場合がある。すなわち、このような場合、収集処理手段１２ａは、ＸＭＬサイトマップからアドレス情報を収集することができる。

このように、分類装置１０は、システム連携がとれていない場合でも、インターネットに公開されているデータであれば、取得することができる。ただし、この場合は、各ページのＰＶ数などの情報については取得することができない。つまり、分類装置１０は、学習処理手段１２ｃによる学習処理、及び分類処理手段１２ｄによる分類処理に、各ページのＰＶ数などの情報を利用することができない。そのため、グルーピングの精度の観点からは、システム連携がとれている方が好ましい。

また、図４に示すように、分析装置２０は、分類装置１０による分類で得られた分類データに分析処理を施すものである。分析装置２０は、分析処理部２２と、分析用記憶部２３と、を有している。分析用記憶部２３は、分析処理プログラム２３ｐを含む分析処理部２２の動作プログラムの他、分類データの分析処理に関連する種々のデータを記憶する。分析処理部２２は、分類処理手段１２ｄにより生成された分類データに対し、入口分析処理などの種々の分析処理を実行する。

入口分析処理とは、同一の流入元での入口ページ間のＣＶＲ（Conversion Rate）を比較し、入口ページの重要度を評価する処理である。入口ページとは、分析対象となるサイトを訪問したユーザが最初に閲覧したページのことである。流入元は、分析対象となるサイトの入口ページを訪問する際の経由元のことである。流入元には、ユーザのおおよその特性が表れる。流入元には、E-mail経由、Facebook（登録商標）経由、検索エンジン経由、他のサイトに貼られたリンク経由、ブラウザのブックマーク経由、及びＵＲＬの直打ち、などがある。ＣＶＲは、サイトの訪問者が該サイトの目標達成となる行動をどの程度とったかを表す指標であり、コンバージョン率ともいう。

分析処理部２２は、入口ページのグループ単位で入口分析処理を行うこともできる。例えば、分析処理部２２は、同じ流入元のグループ内で、相対的にＣＶＲが高い入口ページと、相対的にＣＶＲが低い入口ページとを判別する。そして、入口ページへのリンクをユーザが設定可能な場合、分析処理部２２は、よりＣＶＲの高い入口ページへの誘導を推奨する推奨情報を管理装置３０へ送信する。分析処理部２２は、推奨情報に応じて設定変更した場合のＣＶＲの伸びしろ等を示す改善情報を、推奨情報と共に管理装置３０へ送信してもよい。

一方、入口ページへのリンクをユーザが設定できない場合（入口ページが外部サイトなどによって決定されている場合など）、分析処理部２２は、相対的にＣＶＲが低い入口ページを、相対的にＣＶＲが高い入口ページの態様に寄せる提案に係る提案情報を管理装置３０へ送信する。分析処理部２２は、提案情報に応じて設定変更した場合のＣＶＲの伸びしろ等を示す改善情報を、提案情報と共に管理装置３０へ送信してもよい。

管理装置３０の表示処理手段３２ｂは、推奨情報又は提案情報に基づく情報を表示部３５に表示させる。これにより、運営者等は、ＣＶＲ等を高めるための施策を採ることができる。表示処理手段３２ｂは、分析処理部２２から改善情報が送信された場合、改善情報に基づく情報を表示部３５に表示させてもよい。

分類用記憶部１３及び分析用記憶部２３は、ＲＡＭ及びＲＯＭ、フラッシュメモリ等のＰＲＯＭ、又はＨＤＤなどにより構成することができる。制御部１２は、ＣＰＵ又はＧＰＵなどの演算装置と、こうした演算装置と協働して上記の各種機能を実現させる分類処理プログラムＰ１とにより構成することができる。すなわち、分類処理プログラムＰ１は、コンピュータとしての制御部１２及び分類用記憶部１３を、収集処理手段１２ａ、学習処理手段１２ｃ、及び分類処理手段１２ｄとして機能させるためのプログラムである。同様に、分析処理部２２は、ＣＰＵ又はＧＰＵなどの演算装置と、こうした演算装置と協働して上記の各種機能を実現させる分析処理プログラム２３ｐとにより構成することができる。

図２では、各機能を明確に分けて説明するために、分類用記憶部１３と分析用記憶部２３とを別構成とし、制御部１２と分析処理部２２とを別構成として示したが、これに限定されない。例えば、制御部１２と分析処理部２２とは、１つの演算装置で構成してもよく、ＳｏＣ（System-on-a-Chip）として１つのチップで形成してもよい。同様に、分類用記憶部１３と分析用記憶部２３とは、一体的な構成であってもよい。以降の各図及びこれらに対応する説明についても同様である。

次に、図５を参照して、分類装置１０による分類処理方法について説明する。ここでは、分類処理手段１２ｄが行う分類処理工程の一例について説明する。つまり、分類処理方法のうち、学習処理手段１２ｃが行う学習処理工程は、図５の処理の前提となっている。

まず、分類処理手段１２ｄは、分類対象として分類用記憶部１３に記憶されているページ情報を取得する（ステップＳ１０１）。次いで、分類処理手段１２ｄは、取得したページ情報をアドレス分類モデルＭ１の入力とする（ステップＳ１０２）。そして、分類処理手段１２ｄは、アドレス分類モデルＭ１により、入力としたページ情報の属するグループの識別タグを該ページ情報に付して分類データを生成し、生成した分類データを分類用記憶部１３又は分析用記憶部２３に記憶させる（ステップＳ１０３）。

分類処理手段１２ｄは、分類対象のページ情報が分類用記憶部１３に残存しているか否かを判定する（ステップＳ１０４）。分類処理手段１２ｄは、分類対象のページ情報が存在すれば（ステップＳ１０４／Ｙｅｓ）、ステップＳ１０１の処理へ移行する。分類処理手段１２ｄは、分類対象のページ情報が存在しなければ（ステップＳ１０４／Ｎｏ）、分類処理を終了する。

ここで、本実施の形態１における分類処理方法の概要について補足する。分類処理方法は、過去における複数のページ情報を用いた機械学習によりアドレス分類モデルＭ１を生成する学習処理工程と、分類対象であるページ情報をアドレス分類モデルＭ１の入力とし、入力としたページ情報を、性質の類似性に基づく複数のグループのうちの何れかに分類する分類処理工程と、を有している。

以上のように、本実施の形態１の分類装置１０は、サイトにおけるページに紐付くページ情報をアドレス分類モデルＭ１の入力とすることで、入力としたページ情報を、性質の類似性に基づく複数のグループのうちの何れかに分類する分類処理手段１２ｄを有している。分類処理手段１２ｄは、アドレス分類モデルＭ１の入力としたページ情報に、分類先のグループの識別タグを付すようになっている。よって、分析対象のページに紐付くページ情報のグルーピングを自動的に効率よく行うことができるため、処理の迅速化及び効率化を図ることができる。

また、本実施の形態１のページ情報は、ネットワークＮ上に存在する情報資源の位置を示す情報であり、ＵＲＬに相当するアドレス情報である。ここで、アドレス情報は、特に、システム連携がとれている場合、又はＸＭＬサイトマップ（sitemap.xml）にサイト内のページのＵＲＬが列挙されている場合等において、容易かつ迅速に取得することができる。そして、データの構成上、アドレス情報の分類処理は、比較的短時間で行うことができる。なお、制御部１２は、学習処理手段１２ｃを有さなくてもよい。この場合、分類装置１０は、外部で構築されたアドレス分類モデルＭ１を分類用記憶部１３に格納し、これを分類処理手段１２ｄに利用させるとよい。

実施の形態２．
図６及び図７を参照して、本実施の形態２におけるデータ分析システム２００及びその周辺機器等の構成例について説明する。前述した実施の形態１と同等の構成及び構成部材については同一の符号を付して説明は省略する。

図６に示すように、本実施の形態２のデータ分析システム２００は、ネットワークＮを介して、クローリングシステム６０との通信を行うようになっている。本実施の形態２のクローリングシステム６０は、サイト内のページをクロールすることにより、該ページのテキストデータを取得する機能を有している。クローリングシステム６０は、サイトが複数のページで構成されている場合、ページごとのテキストデータを取得する。

図７に示すように、本実施の形態２における分類装置１１０の制御部１１２は、収集処理手段１１２ａと、前処理手段１１２ｂと、学習処理手段１１２ｃと、分類処理手段１１２ｄと、を有している。収集処理手段１１２ａは、サイトにおけるページ内のテキストの情報であるテキストデータを、逐次又は定期的にクローリングシステム６０から収集し、収集したテキストデータを分類用記憶部１３に記憶させる。

前処理手段１１２ｂは、サイトにおけるページ内のテキストの情報であるテキストデータに解析処理を施して、ページ情報としての解析データを生成するものである。本実施の形態４における前処理手段１１２ｂは、分類用記憶部１３に記憶されているテキストデータに形態素解析処理を施すことにより、ページ情報としての解析データを生成する。形態素解析とは、自然言語で書かれたテキストデータを、言語上の最小単位である形態素に分割し（分かち書きし）、各形態素のそれぞれの品詞や変化などを判別することである。すなわち、前処理手段１１２ｂは、テキストデータから分割した各形態素のそれぞれに、動詞、名詞、形容詞などの品詞の情報を付して整理した解析データを分類用記憶部１３に記憶させる。前処理手段１１２ｂは、各形態素のそれぞれに品詞の情報を付して整理する際、ベクトル表現への変換や、予め登録された頻出語に基づく重み付けなどの処理を行ってもよい。

学習処理手段１１２ｃは、分類用記憶部１３に記憶された複数の解析データを用いた機械学習により、解析データへの分類設定を行うテキスト分類モデルＭ２を生成する。すなわち、学習処理手段１１２ｃは、過去における複数の解析データを入力とする機械学習により、解析データの性質の類似性に基づくグルーピングを行うテキスト分類モデルＭ２を構築する。学習処理手段１１２ｃは、上述した学習処理手段１２ｃと同様に、テキスト分類モデルＭ２の更新処理を実行する。学習処理手段１１２ｃは、実施の形態１の学習処理手段１２ｃと同様、ＤＮＮを用いた学習などの種々の機械学習の手法により、もしくは複数の機械学習を組み合わせた手法により、テキスト分類モデルＭ２を生成することができる。

分類処理手段１１２ｄは、解析データをテキスト分類モデルＭ２の入力とし、入力とした解析データを性質の類似性に基づく複数のグループのうちの何れかに分類するものである。すなわち、分類処理手段１１２ｄは、分類対象である複数の解析データを順次テキスト分類モデルＭ２の入力とする。そして、分類処理手段１１２ｄは、入力とした解析データを複数のグループのうちの何れかに分類すると共に、分類先のグループの分類タグを付して分類データを生成する。本実施の形態２の分類データは「テキスト分類データ」とも称する。

本実施の形態２の分類用記憶部１３は、分類処理プログラムＰ２を含む制御部１１２の動作プログラムの他、ページ情報としての解析データの分類処理に関連する種々のデータを記憶する。また、分類用記憶部１３には、解析データを分類するためのテキスト分類モデルＭ２が格納される。分類処理プログラムＰ２は、コンピュータとしての制御部１１２及び分類用記憶部１３を、収集処理手段１１２ａ、前処理手段１１２ｂ、学習処理手段１１２ｃ、及び分類処理手段１１２ｄとして機能させるためのプログラムである。他の構成及び代替構成については、前述した実施の形態１と同様である。また、分類装置１１０による分類処理方法のうち、学習処理手段１１２ｃが行う学習処理工程、及び分類処理手段１１２ｄが行う分類処理工程は、図５に基づく説明等と同様である。

以上のように、本実施の形態２の分類装置１１０は、ページ情報としての解析データをテキスト分類モデルＭ２の入力とし、入力とした解析データを複数のグループのうちの何れかに分類する分類処理手段１１２ｄを有している。よって、分析対象のページに紐付くページ情報のグルーピングを自動的に効率よく行うことができるため、処理の迅速化及び効率化を図ることができる。また、本実施の形態２のページ情報は、ウェブページ内のテキストの情報であるテキストデータであり、テキストデータからは、アドレス情報からよりも、ウェブページのグルーピングに有用な情報が多く得られる。そのため、ウェブページのグルーピングをより高精度に行うことができる。他の効果等については、前述した実施の形態１と同様である。

ところで、図７に基づく上記の説明では、制御部１１２が前処理手段１１２ｂを有する例を示したが、制御部１１２は、前処理手段１１２ｂを有しない構成としてもよい。学習処理手段１１２ｃは、過去における複数のテキストデータを入力とする機械学習によりテキスト分類モデルＭ２を構築するようにしてもよい。この場合、学習処理手段１１２ｃは、例えばキャラクタレベルＣＮＮを用いた機械学習により、テキストデータの性質の類似性に基づくグルーピングを行うテキスト分類モデルＭ２を生成する。したがって、分類処理手段１１２ｄは、分類対象である複数のテキストデータを順次テキスト分類モデルＭ２の入力とする。そして、分類処理手段１１２ｄは、入力としたテキストデータを複数のグループのうちの何れかに分類すると共に、分類先のグループの分類タグを付して分類データを生成する。

また、前処理手段１１２ｂは、テキストデータ中から不要データを削除して解析データを生成するものであってもよい。不要データとは、例えば数値又は改行などの、テキスト分類モデルＭ２の訓練及び該モデルでの予測に必要のない文字等である。この場合、学習処理手段１１２ｃは、過去における複数の解析データを入力とする機械学習によりテキスト分類モデルＭ２を構築するものとなる。分類処理手段１１２ｄは、分類対象である複数の解析データを順次テキスト分類モデルＭ２の入力とし、入力とした解析データを複数のグループのうちの何れかに分類して分類先のグループの分類タグを付して分類データを生成する。

実施の形態３．
図６、図８～図１０を参照して、本実施の形態３におけるデータ分析システム３００及びその周辺機器等の構成例について説明する。上述した実施の形態１及び２と同等の構成及び構成部材については同一の符号を付して説明は省略する。

本実施の形態３のクローリングシステム６０は、サイト内のページをクロールすることにより、該ページ内の各オブジェクトの情報を含む表示関連データを取得する機能を有している。クローリングシステム６０は、サイトが複数のページで構成されている場合、各ページそれぞれの表示関連データを取得する。ここで、オブジェクトとは、コンピュータ上で操作や処理の対象となる何らかの実体である。オブジェクトには、表示画面上にアイコンなどの形で表示されるデータ集合や操作要素、及び表示画面上に配置される個々の図形などが含まれる。例えば、オブジェクトは、Document Object Model（ＤＯＭ）の要素であってもよい。

図８に示すように、本実施の形態３における分類装置２１０の制御部２１２は、収集処理手段２１２ａと、前処理手段２１２ｂと、学習処理手段２１２ｃと、分類処理手段２１２ｄと、を有している。収集処理手段２１２ａは、サイトにおけるページの内容物の情報であって、該ページの各オブジェクトの情報を含む表示関連データを、逐次又は定期的にクローリングシステム６０から収集し、収集した表示関連データを分類用記憶部１３に記憶させる。

前処理手段２１２ｂは、サイトにおけるページの各オブジェクトの情報を含む表示関連データから、オブジェクトごとに、その種別を示す種別情報と、その位置及びサイズを示す配置情報との組み合わせによる識別情報を生成する。すなわち、前処理手段２１２ｂは、表示関連データが有する各オブジェクトのそれぞれについて、種別情報と配置情報とを組み合わせて識別情報を生成する。例えば、ウェブページのオブジェクトに関し、オブジェクトの種別が２６種類存在し、位置及びサイズを示す配置情報が１０２４種類存在する場合、オブジェクトの識別情報は、２６６２４（２６×１０２４）種類存在することになる。もっとも、オブジェクトの種別は、２７種類以上もしくは２５種類以下に設定されてもよく、配置情報は、１０２５種類以上もしくは１０２３種類以下に設定されてもよい。

そして、前処理手段２１２ｂは、生成したオブジェクトごとの識別情報に基づき、ページ情報としてのフレーム特徴量（ワイヤフレーム特徴量）を生成する。一例として、前処理手段２１２ｂは、生成した各識別情報をＢｏＷ（Bag-of-Words）などのベクトル表現に変換し、例えばトピックモデルの一種であるＬＤＡ（Latent Dirichlet Allocation）を用いて変換後のデータの次元削減を行うことにより、フレーム特徴量を生成する。もっとも、前処理手段２１２ｂは、上記に限らず、ベクトル表現に変換したデータの次元削減の手法として、例えば、オートエンコーダ（Autoencoder）などの教師なし学習を採り入れたものであってもよい。

ここで、図９及び図１０を用いて、フレーム特徴量の生成処理を概念的に説明する。例えば、図９の表示画面８５ｘでは、背景としての写真のオブジェクト９１ａと、複数の写真がスライドショー形式で切り替わる設定のオブジェクト９１ｂと、リンクが貼られている写真のオブジェクト９１ｃと、を例示している。また、表示画面８５ｘでは、単純文字のオブジェクト９２と、リンクが貼られている文字又はロゴのオブジェクト９３と、リンクが貼られている文字が複数並べられたオブジェクト９４と、単純文字が複数並べられたオブジェクト９５と、を例示している。加えて、表示画面８５ｘでは、複数の文字などを表形式で整理したオブジェクト９６と、文字を含むバーのオブジェクト９７と、を例示している。

図９では、写真のオブジェクトに斜線を施し、リンクが貼られているオブジェクトを矩形で示し、リンクが貼られているオブジェクトを丸みを帯びた矩形で示している。オブジェクト９４は、いわゆるメニューバーなどである。図９では、オブジェクト９６の中で色彩が付されているものをオブジェクト９６ａとしている。オブジェクトには、上記以外にも様々な種別が存在し、オブジェクトの種別は、さらに細かく設定してもよく、もっと大まかに設定してもよい。

図９のようなウェブページについて、各オブジェクトの種別に対応するパーツ情報だけを画像として抽出すると、図１０に例示するようなワイヤフレーム画像となる。パーツ情報は、ウェブページのソースコードに含まれる、少なくとも１つのタグを含んだ情報であり、オブジェクトの種別を示す種別情報に対応する。すなわち、前処理手段２１２ｂは、ウェブページをワイヤフレーム画像に変換した後、該ワイヤフレーム画像から、固定長ベクトルの埋め込み表現（ベクトル表現）であるフレーム特徴量をページ情報として生成するものである。

学習処理手段２１２ｃは、分類用記憶部１３に記憶された複数のフレーム特徴量を用いた機械学習により、フレーム特徴量への分類設定を行うページ分類モデルＭ３を生成する。すなわち、学習処理手段２１２ｃは、過去における複数のフレーム特徴量を入力とする機械学習により、フレーム特徴量の性質の類似性に基づくグルーピングを行うページ分類モデルＭ３を構築する。学習処理手段２１２ｃは、上述した学習処理手段１２ｃと同様に、ページ分類モデルＭ３の更新処理を実行する。学習処理手段２１２ｃは、実施の形態１の学習処理手段１２ｃと同様、ＤＮＮを用いた学習などの種々の機械学習の手法により、もしくは複数の機械学習を組み合わせた手法により、ページ分類モデルＭ３を生成することができる。

分類処理手段２１２ｄは、フレーム特徴量を、過去における複数のフレーム特徴量を用いた機械学習により生成されたページ分類モデルＭ３の入力とし、入力としたフレーム特徴量を、性質の類似性に基づく複数のグループのうちの何れかに分類するものである。すなわち、分類処理手段２１２ｄは、分類対象である複数のフレーム特徴量を順次ページ分類モデルＭ３の入力とする。そして、分類処理手段２１２ｄは、入力としたフレーム特徴量を複数のグループのうちの何れかに分類すると共に、分類先のグループの分類タグを付して分類データを生成する。本実施の形態３の分類データは「ページ分類データ」とも称する。

本実施の形態３の分類用記憶部１３は、分類処理プログラムＰ３を含む制御部２１２の動作プログラムの他、ページ情報としてのフレーム特徴量の分類処理に関連する種々のデータを記憶する。また、分類用記憶部１３には、フレーム特徴量を分類するためのページ分類モデルＭ３が格納される。分類処理プログラムＰ３は、コンピュータとしての制御部２１２及び分類用記憶部１３を、収集処理手段２１２ａ、前処理手段２１２ｂ、学習処理手段２１２ｃ、及び分類処理手段２１２ｄとして機能させるためのプログラムである。他の構成及び代替構成については、上述した実施の形態１及び２と同様である。また、分類装置２１０による分類処理方法のうち、学習処理手段２１２ｃが行う学習処理工程、及び分類処理手段２１２ｄが行う分類処理工程は、図５に基づく説明等と同様である。

以上のように、本実施の形態３の分類装置２１０は、ページ情報としてのフレーム特徴量をページ分類モデルＭ３の入力とし、入力としたフレーム特徴量を複数のグループのうちの何れかに分類する分類処理手段２１２ｄを有している。よって、分析対象のページに紐付くページ情報のグルーピングを自動的に効率よく行うことができるため、処理の迅速化及び効率化を図ることができる。

ところで、ウェブページの内容物を示す表示関連データからは、アドレス情報からよりも、ウェブページのグルーピングに有用な情報が多く得られる。しかしながら、一般にウェブページは可変長であることから、表示関連データをそのままグルーピングに用いるのは困難である。なぜなら、画像を入力とする機械学習手法は、一般に、入力画像サイズが固定されており、可変長の画像に対応しているものは少ないためである。併せて、画像を無理に固定のサイズに縮小すると、分類処理において本来的に必要な情報を失い、分類処理の性能が悪化する恐れがあるためでもある。つまり、こうした事情から、これまでのページグルーピングには、表示関連データが用いられていない。

この点、本実施の形態３の前処理手段２１２ｂは、分析対象である可変長のウェブページに対応する表示関連データから、オブジェクトごとの、種別情報と配置情報との組み合わせによる識別情報を生成する。そして、前処理手段２１２ｂは、生成したオブジェクトごとの識別情報に基づいてフレーム特徴量を生成する。すなわち、前処理手段２１２ｂは、機械学習の入力データとして使用できるように、表示関連データを、固定長のベクトル表現に変換する機能を有している。つまり、前処理手段２１２ｂは、可変長のウェブページに対応する表示関連データに対し、ベクトル表現への次元圧縮（次元削減）を施すことにより、フレーム特徴量を生成するようになっている。そのため、ウェブページのグルーピングの更なる高精度化を図ることができる。

実施の形態４．
図１１を参照して、本実施の形態４におけるデータ分析システム４００及びその周辺機器等の構成例について説明する。上述した実施の形態１～３と同等の構成及び構成部材については同一の符号を付して説明は省略する。

図１１に示すように、本実施の形態４における分類装置３１０の制御部３１２は、収集処理手段３１２ａと、前処理手段３１２ｂと、学習処理手段３１２ｃと、分類処理手段３１２ｄと、を有している。収集処理手段３１２ａは、ページ情報としてのアドレス情報と、テキストデータと、表示関連データとを、逐次又は定期的に収集し、収集した各情報を分類用記憶部１３に記憶させる。

前処理手段３１２ｂは、テキスト前処理手段Ｂ２と、ページ前処理手段Ｂ３と、を有している。テキスト前処理手段Ｂ２は、上述した実施の形態２の前処理手段１１２ｂと同様に機能する。すなわち、テキスト前処理手段Ｂ２は、テキストデータに解析処理を施して、ページ情報としての解析データを生成するものである。ページ前処理手段Ｂ３は、上述した実施の形態３の前処理手段２１２ｂと同様に機能する。すなわち、ページ前処理手段Ｂ３は、分類対象のページに対応する表示関連データから、オブジェクトごとの、種別情報と配置情報との組み合わせによる識別情報を生成し、生成したオブジェクトごとの識別情報に基づいて、ページ情報としてのフレーム特徴量を生成する。

学習処理手段３１２ｃは、アドレス学習手段Ｃ１と、テキスト学習手段Ｃ２と、ページ学習手段Ｃ３と、統括学習手段Ｃｘと、を有している。アドレス学習手段Ｃ１は、上述した実施の形態１の学習処理手段１２ｃと同様に学習済みモデルを生成し、更新する。すなわち、アドレス学習手段Ｃ１は、過去における複数のアドレス情報を入力とする機械学習により、入力としたアドレス情報からアドレス特徴量を抽出して出力するアドレス分類モデルＭ１０を構築する。アドレス特徴量は、アドレス情報に分類タグを付したアドレス分類データであってもよく、アドレス分類データとは異なる態様の情報であってもよい。

アドレス学習手段Ｃ１は、例えば、ＤＮＮの隠れ層（中間層）の出力ベクトルを埋め込み表現としたものを、アドレス分類データとは異なる態様のアドレス特徴量として抽出し、これを統括学習手段Ｃｘに利用させてもよい。この場合、アドレス学習手段Ｃ１は、アドレス分類モデルＭ１０におけるＤＮＮの隠れ層の、出力層の１つ手前の層などの出力ベクトルを埋め込み表現としたアドレス特徴量を抽出する。また、アドレス分類モデルＭ１０におけるＤＮＮの出力層に、活性化関数の一種であるＳｏｆｔＭａｘ関数を採用している場合は、ＳｏｆｔＭａｘ関数によってグループごとの確率が出力される。よって、この場合、アドレス学習手段Ｃ１は、各グループそれぞれの確率ベクトルを、アドレス分類データとは異なる態様のアドレス特徴量として抽出してもよい。

さらに、アドレス学習手段Ｃ１は、キャラクタレベルＣＮＮを用いる構成の場合、例えば、キャラクタレベルＣＮＮの隠れ層の出力ベクトルを埋め込み表現としたものを、アドレス分類データとは異なる態様のアドレス特徴量として抽出してもよい。また、アドレス分類モデルＭ１０におけるキャラクタレベルＣＮＮの出力層にＳｏｆｔＭａｘ関数を採用している場合、アドレス学習手段Ｃ１は、各グループそれぞれの確率ベクトルを、アドレス分類データとは異なる態様のアドレス特徴量として抽出してもよい。

テキスト学習手段Ｃ２は、上述した実施の形態２の学習処理手段１１２ｃと同様に学習済みモデルを生成し、更新する。すなわち、テキスト学習手段Ｃ２は、過去における複数の解析データを入力とする機械学習により、入力とした解析データからテキスト特徴量を抽出して出力するテキスト分類モデルＭ２０を構築する。テキスト特徴量は、解析データに分類タグを付したテキスト分類データであってもよく、テキスト分類データが生成される途中の埋め込み表現（ベクトル表現）などの中間的な表現の情報であってもよい。

ページ学習手段Ｃ３は、上述した実施の形態３の学習処理手段２１２ｃと同様に学習済みモデルを生成し、更新する。すなわち、ページ学習手段Ｃ３は、過去における複数のフレーム特徴量を入力とする機械学習により、入力としたフレーム特徴量からページ特徴量を抽出して出力するページ分類モデルＭ３０を構築する。ページ特徴量は、フレーム特徴量に分類タグを付したページ分類データであってもよく、ページ分類データが生成される途中の埋め込み表現（ベクトル表現）などの中間的な表現の情報であってもよい。

統括学習手段Ｃｘは、アドレス分類手段Ｄ１により生成されたアドレス特徴量と、テキスト分類手段Ｄ２により生成されたテキスト特徴量と、ページ分類手段Ｄ３により生成されたページ特徴量と、を入力とする機械学習により、入力とした各情報に対応するウェブページを分類する統括分類モデルＭ４を生成するものである。本実施の形態４において、統括学習手段Ｃｘは、ＧＢＤＴを用いた機械学習により統括分類モデルＭ４を生成するようになっている。

分類処理手段３１２ｄは、アドレス分類手段Ｄ１と、テキスト分類手段Ｄ２と、ページ分類手段Ｄ３と、統括分類手段Ｄｘと、を有している。アドレス分類手段Ｄ１は、上述した実施の形態１の分類処理手段１２ｄと同様に分類処理を実行する。すなわち、アドレス分類手段Ｄ１は、分類対象のページに対応するアドレス情報をアドレス分類モデルＭ１０の入力として、アドレス特徴量を抽出する。

テキスト分類手段Ｄ２は、上述した実施の形態２の分類処理手段１１２ｄと同様に分類処理を実行する。すなわち、テキスト分類手段Ｄ２は、分類対象のページに対応する解析データをテキスト分類モデルＭ２０の入力として、テキスト特徴量を抽出する。ページ分類手段Ｄ３は、上述した実施の形態３の分類処理手段２１２ｄと同様に分類処理を実行する。すなわち、ページ分類手段Ｄ３は、分類対象のページに対応するフレーム特徴量をページ分類モデルＭ３０の入力としてページ特徴量を抽出する。

統括分類手段Ｄｘは、ウェブページごとのアドレス特徴量、テキスト特徴量、及びページ特徴量を用いて、各ウェブページのグルーピングを行うものである。より具体的に、統括分類手段Ｄｘは、分類対象であるウェブページに紐付けられたアドレス特徴量、テキスト特徴量、及びページ特徴量を統括分類モデルＭ４の入力とし、該ウェブページを、性質の類似性に基づく複数のグループのうちの何れかに分類するものである。すなわち、統括分類手段Ｄｘは、分類対象である複数のウェブページに紐付けられた各特徴量を順次統括分類モデルＭ４の入力とする。そして、統括分類手段Ｄｘは、入力とした各特徴量に紐付くウェブページを複数のグループのうちの何れかに分類すると共に、分類先のグループの分類タグを該ウェブページを示す情報に付して分類データを生成する。本実施の形態４の分類データは「統括分類データ」とも称する。

ところで、テキスト分類手段Ｄ２及びページ分類手段Ｄ３は、クローリング及び前処理を経たデータを用いるため、テキスト分類手段Ｄ２又はページ分類手段Ｄ３による１ページ当たりの処理時間は、アドレス分類手段Ｄ１の１ページ当たりの処理時間よりも長くなる。また、アドレス分類手段Ｄ１とテキスト分類手段Ｄ２とページ分類手段Ｄ３とが行う処理内容は、それぞれ異なっているため、同一のページに対する分類処理に要する時間もそれぞれ異なる。１ページ当たりの分類処理に要する時間は、概ね、アドレス分類手段Ｄ１、テキスト分類手段Ｄ２、ページ分類手段Ｄ３の順に長くなる。したがって、アドレス分類手段Ｄ１の処理速度に合わせて全体的な分類処理を行うと、テキスト分類手段Ｄ２及びページ分類手段Ｄ３での遅延分のデータが、未処理の欠損データ（欠損値）となる。

そこで、本実施の形態４では、ＧＢＤＴに基づく統括分類モデルＭ４が弱学習器として内包する複数の決定木の中に、「欠損データであるか否か？」という条件分岐を設定している。そのため、統括分類手段Ｄｘは、テキスト分類手段Ｄ２及びページ分類手段Ｄ３における欠損データも、統括分類モデルＭ４の入力とすることができる。

本実施の形態４の分類用記憶部１３は、分類処理プログラムＰ４を含む制御部３１２の動作プログラムの他、ページ情報としてのフレーム特徴量の分類処理に関連する種々のデータを記憶する。また、分類用記憶部１３には、アドレス情報からアドレス特徴量を抽出するためのアドレス分類モデルＭ１０と、解析データ等からテキスト特徴量を抽出するためのテキスト分類モデルＭ２０と、フレーム特徴量からページ特徴量を抽出するためのページ分類モデルＭ３０と、が格納される。さらに、分類用記憶部１３には、アドレス特徴量、テキスト特徴量、及びページ特徴量を入力として分類データを生成する統括分類モデルＭ４が格納される。分類処理プログラムＰ４は、コンピュータとしての制御部３１２及び分類用記憶部１３を、収集処理手段３１２ａ、前処理手段３１２ｂ、学習処理手段３１２ｃ、及び分類処理手段３１２ｄとして機能させるためのプログラムである。他の構成及び代替構成については、上述した実施の形態１～３と同様である。また、分類装置３１０による分類処理方法のうち、学習処理手段３１２ｃが行う学習処理工程、及び分類処理手段３１２ｄが行う分類処理工程の基本的な流れは、図５に基づく説明等と同様である。

次に、図１２を参照して、本実施の形態４における分類処理方法の各工程について説明する。ここでは、学習処理手段３１２ｃによって各分類モデルを生成する学習処理工程については省略する。なお、図１２における横並びの各工程は、並行して行われる。

〔収集処理工程〕
図１２に示すように、収集処理手段３１２ａは、外部から逐次又は定期的にアドレス情報、テキストデータ、及び表示関連データを収集し、収集した各データを分類用記憶部１３に記憶させる。その際、収集処理手段３１２ａは、同じウェブページに対応するアドレス情報とテキストデータと表示関連データとを紐付けて分類用記憶部１３に記憶させる。

〔前処理工程〕
前処理手段３１２ｂは、テキストデータに対する形態素解析をもとに解析データを生成する。あるいは前処理手段３１２ｂは、テキストデータ中から不要データを削除して解析データを生成する（テキスト前処理工程）。
前処理手段３１２ｂは、分類対象のページに対応する表示関連データから、オブジェクトごとの、種別情報と配置情報との組み合わせによる識別情報を生成し、生成したオブジェクトごとの識別情報に基づいてフレーム特徴量を生成する（ページ前処理工程）。

〔分類処理工程〕
分類処理手段３１２ｄは、アドレス分類手段Ｄ１により、分類対象のページに対応するアドレス情報をアドレス分類モデルＭ１０の入力としてアドレス特徴量を抽出する（アドレス分類工程）。
分類処理手段３１２ｄは、テキスト分類手段Ｄ２により、分類対象のページに対応する解析データをテキスト分類モデルＭ２０の入力としてテキスト特徴量を抽出する（テキスト分類工程）。
分類処理手段３１２ｄは、ページ分類手段Ｄ３により、分類対象のページに対応するフレーム特徴量をページ分類モデルＭ３０の入力としてページ特徴量を抽出する（ページ分類工程）。

分類処理手段３１２ｄは、分類対象である複数のウェブページに紐付けられたアドレス特徴量、テキスト特徴量、及びページ特徴量を、順次統括分類モデルＭ４の入力とする。そして、分類処理手段３１２ｄは、入力とした各特徴量に紐付くウェブページを複数のグループのうちの何れかに分類すると共に、分類先のグループの分類タグを該ウェブページを示す情報に付して分類データを生成する（統括分類工程）。

以上のように、本実施の形態４の分類装置３１０によっても、分析対象のウェブページのグルーピングを自動的に効率よく行うことができるため、処理の迅速化及び効率化を図ることができる。また、分類装置３１０は、アドレス情報をアドレス分類モデルＭ１０の入力としてアドレス特徴量を抽出するアドレス分類手段Ｄ１と、解析データをテキスト分類モデルＭ２０の入力としてテキスト特徴量を抽出するテキスト分類手段Ｄ２と、フレーム特徴量をページ分類モデルＭ３０の入力としてページ特徴量を抽出するページ分類手段Ｄ３と、を有している。また、分類装置３１０は、ウェブページごとのアドレス特徴量、テキスト特徴量、及びページ特徴量を用いて、各ウェブページのグルーピングを行う統括分類手段Ｄｘを有している。すなわち、分類装置３１０は、アドレス情報、テキストデータ、及び表示関連データという３つの情報を用いた２段階の分類処理により、１つの閲覧データを用いる構成では得られない情報を機械学習及び分類処理に反映させることができる。そのため、ウェブページのグルーピングの精度向上を図ることができる。

上記の説明では、統括学習手段ＣｘがＧＢＤＴを用いた機械学習により統括分類モデルＭ４を生成する例を示したが、これに限定されない。統括学習手段Ｃｘは、ＤＮＮを用いた学習などの種々の機械学習の手法により、もしくは複数の機械学習を組み合わせた手法により、統括分類モデルＭ４を生成してもよい。

ところで、分類装置３１０は、テキスト前処理手段Ｂ２を有しない構成としてもよい。この場合、テキスト学習手段Ｃ２は、過去における複数のテキストデータを入力とする機械学習により、入力としたテキストデータからテキスト特徴量を抽出するテキスト分類モデルＭ２０を構築する。すなわち、テキスト分類手段Ｄ２は、分類対象のページに対応するテキストデータをテキスト分類モデルＭ２０の入力としてテキスト特徴量を生成する。

＜変形例４ａ＞
図１３を参照して、実施の形態４の変形例４ａにおけるデータ分析システム４００Ａの構成例について説明する。本変形例４ａにおける制御部３１２は、収集処理手段３１２ａと、テキスト前処理手段Ｂ２と、学習処理手段３１２ｃと、分類処理手段３１２ｄと、を有している。本変形例４ａの学習処理手段３１２ｃは、アドレス学習手段Ｃ１と、テキスト学習手段Ｃ２と、統括学習手段Ｃｘａと、を有している。本変形例４ａの分類処理手段３１２ｄは、アドレス分類手段Ｄ１と、テキスト分類手段Ｄ２と、統括分類手段Ｄｘａと、を有している。本変形例４ａの収集処理手段３１２ａは、ページ情報としてのアドレス情報と、テキストデータとを、逐次又は定期的に収集し、収集した各情報を分類用記憶部１３に記憶させる。

統括学習手段Ｃｘａは、アドレス分類手段Ｄ１により生成されたアドレス特徴量と、テキスト分類手段Ｄ２により生成されたテキスト特徴量とを入力とする機械学習により、入力とした各特徴量に対応するウェブページを分類する統括分類モデルＭ４１を生成する。統括分類手段Ｄｘａは、分類対象である複数のウェブページに紐付けられたアドレス特徴量及びテキスト特徴量を、順次統括分類モデルＭ４１の入力とする。そして、統括分類手段Ｄｘａは、入力とした各特徴量に紐付くウェブページを複数のグループのうちの何れかに分類すると共に、分類先のグループの分類タグを該ウェブページを示す情報に付して分類データを生成する。

以上のように、本変形例４ａの分類装置３１０は、アドレス情報及びテキストデータという２つの情報を用いた２段階の分類処理により、１つの閲覧データを用いる構成では得られない情報を機械学習及び分類処理に反映させることができる。したがって、ウェブページのグルーピングの精度向上を図ることができる。ところで、分類装置３１０は、テキスト前処理手段Ｂ２を有しない構成としてもよい。この場合、テキスト学習手段Ｃ２は、過去における複数のテキストデータを入力とする機械学習により、入力としたテキストデータからテキスト特徴量を抽出するテキスト分類モデルＭ２０を構築する。

＜変形例４ｂ＞
図１４を参照して、実施の形態４の変形例４ｂにおけるデータ分析システム４００Ｂの構成例について説明する。本変形例４ｂにおける制御部３１２は、収集処理手段３１２ａと、ページ前処理手段Ｂ３と、学習処理手段３１２ｃと、分類処理手段３１２ｄと、を有している。本変形例４ｂの学習処理手段３１２ｃは、アドレス学習手段Ｃ１と、ページ学習手段Ｃ３と、統括学習手段Ｃｘｂと、を有している。本変形例４ｂの分類処理手段３１２ｄは、アドレス分類手段Ｄ１と、ページ分類手段Ｄ３と、統括分類手段Ｄｘｂと、を有している。本変形例４ｂの収集処理手段３１２ａは、ページ情報としてのアドレス情報と、表示関連データとを、逐次又は定期的に収集し、収集した各情報を分類用記憶部１３に記憶させる。

統括学習手段Ｃｘｂは、アドレス分類手段Ｄ１により生成されたアドレス特徴量と、ページ分類手段Ｄ３により生成されたページ特徴量とを入力とする機械学習により、入力とした各特徴量に対応するウェブページを分類する統括分類モデルＭ４２を生成する。統括分類手段Ｄｘｂは、分類対象である複数のウェブページに紐付けられたアドレス特徴量及びページ特徴量を、順次統括分類モデルＭ４２の入力とする。そして、統括分類手段Ｄｘｂは、入力とした各特徴量に紐付くウェブページを複数のグループのうちの何れかに分類すると共に、分類先のグループの分類タグを該ウェブページを示す情報に付して分類データを生成する。

以上のように、本変形例４ｂの分類装置３１０は、アドレス情報及び表示関連データという２つの情報を用いた２段階の分類処理により、１つの閲覧データを用いる構成では得られない情報を機械学習及び分類処理に反映させることができる。したがって、ウェブページのグルーピングの精度向上を図ることができる。

＜変形例４ｃ＞
図１５を参照して、実施の形態４の変形例４ｃにおけるデータ分析システム４００Ｃの構成例について説明する。本変形例４ｃにおける制御部３１２は、収集処理手段３１２ａと、前処理手段３１２ｂと、学習処理手段３１２ｃと、分類処理手段３１２ｄと、を有している。本変形例４ｃの学習処理手段３１２ｃは、テキスト学習手段Ｃ２と、ページ学習手段Ｃ３と、統括学習手段Ｃｘｃと、を有している。本変形例４ｂの分類処理手段３１２ｄは、テキスト分類手段Ｄ２と、ページ分類手段Ｄ３と、統括分類手段Ｄｘｃと、を有している。本変形例４ｃの収集処理手段３１２ａは、テキストデータと表示関連データとを逐次又は定期的に収集し、収集した各情報を分類用記憶部１３に記憶させる。

統括学習手段Ｃｘｃは、テキスト分類手段Ｄ２により生成されたテキスト特徴量と、ページ分類手段Ｄ３により生成されたページ特徴量とを入力とする機械学習により、入力とした各特徴量に対応するウェブページを分類する統括分類モデルＭ４３を生成する。統括分類手段Ｄｘｃは、分類対象である複数のウェブページに紐付けられたテキスト特徴量及びページ特徴量を、順次統括分類モデルＭ４３の入力とする。そして、統括分類手段Ｄｘｃは、入力とした各特徴量に紐付くウェブページを複数のグループのうちの何れかに分類すると共に、分類先のグループの分類タグを該ウェブページを示す情報に付して分類データを生成する。

以上のように、本変形例４ｃの分類装置３１０は、テキストデータ及び表示関連データという２つの情報を用いた２段階の分類処理により、１つの閲覧データを用いる構成では得られない情報を機械学習及び分類処理に反映させることができる。したがって、ウェブページのグルーピングの精度向上を図ることができる。ところで、分類装置３１０は、テキスト前処理手段Ｂ２を有しない構成としてもよい。この場合、テキスト学習手段Ｃ２は、過去における複数のテキストデータを入力とする機械学習により、入力としたテキストデータからテキスト特徴量を抽出するテキスト分類モデルＭ２０を構築する。

実施の形態５．
図１６を参照して、本実施の形態５におけるデータ分析システム５００及びその周辺機器等の構成例について説明する。上述した実施の形態１～４と同等の構成及び構成部材については同一の符号を付して説明は省略する。

図１６に示すように、本実施の形態５における分類装置４１０の制御部４１２は、収集処理手段３１２ａと、前処理手段３１２ｂと、学習処理手段４１２ｃと、分類処理手段４１２ｄと、を有している。

学習処理手段４１２ｃは、過去における複数組の、ウェブページの位置を示すアドレス情報、該ウェブページに対応する解析データ、及び該ウェブページに対応するフレーム特徴量を入力とする機械学習により、入力とした各情報に紐付くウェブページを分類して分類データを生成する分類モデルＭ５を構築する。学習処理手段４１２ｃは、実施の形態１の学習処理手段１２ｃと同様、ＤＮＮを用いた学習などの種々の機械学習の手法により、もしくは複数の機械学習を組み合わせた手法により、分類モデルＭ５を生成することができる。

分類処理手段４１２ｄは、ウェブページの位置を示すアドレス情報、該ウェブページに対応する解析データ、及び該ウェブページに対応するフレーム特徴量を、ページ情報として分類モデルＭ５の入力とする。そして、分類処理手段４１２ｄは、分類モデルＭ５の入力としたページ情報に紐付くウェブページを複数のグループのうちの何れかに分類すると共に、分類先のグループの分類タグを該ウェブページを示す情報に付して分類データを生成する。

本実施の形態５の分類用記憶部１３は、分類処理プログラムＰ５を含む制御部４１２の動作プログラムの他、ページ情報の分類処理に関連する種々のデータを記憶する。また、分類用記憶部１３には、ページ情報を分類するための分類モデルＭ５が格納される。分類処理プログラムＰ５は、コンピュータとしての制御部４１２及び分類用記憶部１３を、収集処理手段３１２ａ、前処理手段３１２ｂ、学習処理手段４１２ｃ、及び分類処理手段４１２ｄとして機能させるためのプログラムである。他の構成及び代替構成については、上述した実施の形態１～４と同様である。また、分類装置４１０による分類処理方法のうち、学習処理手段４１２ｃが行う学習処理工程、及び分類処理手段４１２ｄが行う分類処理工程の基本的な流れは、図５に基づく説明等と同様である。

以上のように、本実施の形態５の分類装置４１０によっても、分析対象のウェブページのグルーピングを自動的に効率よく行うことができるため、処理の迅速化及び効率化を図ることができる。また、分類処理手段４１２ｄは、ウェブページごとのアドレス情報、解析データ、及びフレーム特徴量を分類モデルＭ５の入力とし、入力とした各情報に紐付くウェブページを複数のグループのうちの何れかに分類する。すなわち、分類装置４１０によれば、アドレス情報、テキストデータ、及び表示関連データという３つの情報を用いた分類処理により、１つの閲覧データを用いる構成では得られない情報を機械学習及び分類処理に反映させることができる。そのため、ウェブページのグルーピングの精度向上を図ることができる。

ところで、分類装置４１０は、テキスト前処理手段Ｂ２を有しない構成としてもよい。この場合、学習処理手段４１２ｃは、過去におけるウェブページごとのアドレス情報、テキストデータ、及びフレーム特徴量を入力とする機械学習により、入力とした各情報に紐付くウェブページを分類する分類モデルＭ５を構築する。分類処理手段４１２ｄは、ウェブページごとのアドレス情報、テキストデータ、及びフレーム特徴量を、ページ情報として分類モデルＭ５の入力とし、入力とした各情報に紐付くウェブページを複数のグループのうちの何れかに分類する。

また、収集処理手段３１２ａは、変形例４ｃと同様、テキストデータと表示関連データとを逐次又は定期的に収集するものであってもよい。
かかる構成において、分類装置４１０がテキスト前処理手段Ｂ２を有する場合、学習処理手段４１２ｃは、過去におけるウェブページごとの解析データ及びフレーム特徴量を入力とする機械学習により、入力とした各情報に紐付くウェブページを分類する分類モデルＭ５を構築する。そして、分類処理手段４１２ｄは、ウェブページごとの解析データ及びフレーム特徴量を、ページ情報として分類モデルＭ５の入力とし、入力とした各情報に紐付くウェブページを複数のグループのうちの何れかに分類する。
かかる構成において、分類装置４１０がテキスト前処理手段Ｂ２を有しない場合、学習処理手段４１２ｃは、過去におけるウェブページごとのテキストデータ及びフレーム特徴量を入力とする機械学習により、入力とした各情報に紐付くウェブページを分類する分類モデルＭ５を構築する。分類処理手段４１２ｄは、ウェブページごとのテキストデータ及びフレーム特徴量を、ページ情報として分類モデルＭ５の入力とし、入力とした各情報に紐付くウェブページを複数のグループのうちの何れかに分類する。

＜変形例５ａ＞
図１７を参照して、本実施の形態５の変形例５ａにおけるデータ分析システム５００Ａの構成例について説明する。本変形例５ａの収集処理手段３１２ａは、変形例４ａと同様、アドレス情報とテキストデータとを逐次又は定期的に収集する。したがって、学習処理手段４１２ｃは、過去における複数組の、ウェブページの位置を示すアドレス情報、及び該ウェブページに対応する解析データを入力とする機械学習により、入力とした各情報に紐付くウェブページを分類する分類モデルＭ５を構築する。分類処理手段４１２ｄは、ウェブページの位置を示すアドレス情報、及び該ウェブページに対応する解析データを、ページ情報として分類モデルＭ５の入力とし、入力としたページ情報に紐付くウェブページを複数のグループのうちの何れかに分類する。

以上のように、本変形例５ａの分類装置４１０は、アドレス情報及びテキストデータという２つの情報を用いた分類処理により、１つの閲覧データを用いる構成では得られない情報を機械学習及び分類処理に反映させることができる。したがって、ウェブページのグルーピングの精度向上を図ることができる。ところで、分類装置４１０は、テキスト前処理手段Ｂ２を有しない構成としてもよい。この場合、学習処理手段４１２ｃは、過去におけるウェブページごとのアドレス情報及びテキストデータを入力とする機械学習により、入力とした各情報に紐付くウェブページを分類する分類モデルＭ５を構築する。分類処理手段４１２ｄは、ウェブページごとのアドレス情報及びテキストデータを、ページ情報として分類モデルＭ５の入力とし、入力としたページ情報に紐付くウェブページを複数のグループのうちの何れかに分類する。

＜変形例５ｂ＞
図１８を参照して、本実施の形態５の変形例５ｂにおけるデータ分析システム５００Ｂの構成例について説明する。本変形例５ｂの収集処理手段３１２ａは、変形例４ｂと同様、アドレス情報と表示関連データとを逐次又は定期的に収集する。したがって、学習処理手段４１２ｃは、過去における複数組の、ウェブページの位置を示すアドレス情報、及び該ウェブページに対応するフレーム特徴量を入力とする機械学習により、入力とした各情報に紐付くウェブページを分類する分類モデルＭ５を構築する。分類処理手段４１２ｄは、ウェブページごとのアドレス情報及びフレーム特徴量を、ページ情報として分類モデルＭ５の入力とし、入力としたページ情報に紐付くウェブページを複数のグループのうちの何れかに分類する。

以上のように、本変形例５ｂの分類装置４１０は、アドレス情報及び表示関連データという２つの情報を用いた分類処理により、１つの閲覧データを用いる構成では得られない情報を機械学習及び分類処理に反映させることができる。したがって、ウェブページのグルーピングの精度向上を図ることができる。

上述した各実施の形態は、分類装置、データ分析システム、分類処理プログラム、及び分類処理方法における好適な具体例であり、本発明の技術的範囲は、これらの態様に限定されるものではない。例えば、上記の説明では、収集処理手段がクローリングシステム６０からテキストデータ及び表示関連データを収集する例を示したが、これに限定されない。収集処理手段は、サイト内のページをクロールすることにより、該ページのテキストデータ及び表示関連データのうちの少なくとも一方を取得する機能を有していてもよい。

１０、１１０、２１０、３１０、４１０ 分類装置、１１ 通信部、１２、１１２、２１２、３１２、４１２ 制御部、１２ａ、１１２ａ、２１２ａ、３１２ａ 収集処理手段、１２ｃ、１１２ｃ、２１２ｃ、３１２ｃ、４１２ｃ 学習処理手段、１２ｄ、１１２ｄ、２１２ｄ、３１２ｄ、４１２ｄ 分類処理手段、１３ 分類用記憶部、２０ 分析装置、２２ 分析処理部、２３ 分析用記憶部、２３ｐ 分析処理プログラム、３０ 管理装置、３１ 管理通信部、３２ 管理制御部、３２ａ 情報処理手段、３２ｂ 表示処理手段、３３ 管理記憶部、３４、８４ 入力部、３５、８５ 表示部、４０ サービス提供システム、５０ 解析システム、６０ クローリングシステム、８０ 端末装置、８１ 端末通信部、８２ 端末制御部、８２ａ 情報処理手段、８２ｂ 表示処理手段、８３ 端末記憶部、８５ｘ 表示画面、９１ａ、９１ｂ、９１ｃ、９２、９３、９４、９５、９６、９６ａ、９７ オブジェクト、１００、２００、３００、４００、４００Ａ～４００Ｃ、５００、５００Ａ、５００Ｂ データ分析システム、１１２ｂ、２１２ｂ、３１２ｂ、４１２ｂ 前処理手段、Ｂ２ テキスト前処理手段、Ｂ３ ページ前処理手段、Ｃ１ アドレス学習手段、Ｃ２ テキスト学習手段、Ｃ３ ページ学習手段、Ｃｘ、Ｃｘａ～Ｃｘｃ 統括学習手段、Ｄ１ アドレス分類手段、Ｄ２ テキスト分類手段、Ｄ３ ページ分類手段、Ｄｘ、Ｄｘａ～Ｄｘｃ 統括分類手段、Ｍ１、Ｍ１０ アドレス分類モデル、Ｍ２、Ｍ２０ テキスト分類モデル、Ｍ３、Ｍ３０ ページ分類モデル、Ｍ４、Ｍ４１、Ｍ４２、Ｍ４３ 統括分類モデル、Ｍ５ 分類モデル、Ｎ ネットワーク、Ｐ１～Ｐ５ 分類処理プログラム。

Claims (12)

1. ウェブサイトにおけるウェブページに紐付くページ情報を、過去における複数の前記ページ情報を用いた機械学習により生成された分類モデルの入力とし、入力とした前記ページ情報を性質の類似性に基づく複数のグループのうちの何れかに分類する分類処理手段を有する分類装置と、
   前記分類装置による分類で得られたデータに分析処理を施す分析装置と、を有し、
   前記分類装置は、
   前記ウェブページにおける、表示画面上に配置される各オブジェクトの情報を含む表示関連データを用いて、該ウェブページを各オブジェクトの種別に対応するパーツ情報を含むワイヤフレーム画像に変換し、該ワイヤフレーム画像から、オブジェクトごとの、該オブジェクトの種別を示す種別情報と、該オブジェクトの位置及びサイズを示す配置情報との組み合わせによる識別情報を生成し、生成したオブジェクトごとの識別情報に基づいて固定長のベクトル表現であるフレーム特徴量を前記ページ情報として生成する前処理手段を有する、データ分析システム。
2. ウェブサイトにおけるウェブページに紐付くページ情報を、過去における複数の前記ページ情報を用いた機械学習により生成された分類モデルの入力とし、入力とした前記ページ情報を性質の類似性に基づく複数のグループのうちの何れかに分類する分類処理手段を有する分類装置と、
   前記分類装置による分類で得られたデータに分析処理を施す分析装置と、を有し、
   前記分類装置は、
   前記ウェブページにおける、表示画面上に配置される各オブジェクトの情報を含む表示関連データを用いて、該ウェブページを各オブジェクトの種別に対応するパーツ情報を含むワイヤフレーム画像に変換し、該ワイヤフレーム画像から、オブジェクトごとの、該オブジェクトの種別を示す種別情報と、該オブジェクトの位置及びサイズを示す配置情報との組み合わせによる識別情報を生成し、生成したオブジェクトごとの識別情報に基づいて固定長のベクトル表現であるフレーム特徴量を生成する前処理手段を有し、
   前記分類処理手段は、
   前記ウェブページの位置を示すアドレス情報を、過去における複数の前記アドレス情報を用いた機械学習により生成されたアドレス分類モデルの入力としてアドレス特徴量を抽出するアドレス分類手段と、
   前記フレーム特徴量を、過去における複数の前記フレーム特徴量を用いた機械学習により生成されたページ分類モデルの入力としてページ特徴量を抽出するページ分類手段と、
   前記ウェブページごとの前記アドレス特徴量及び前記ページ特徴量を前記ページ情報として前記分類モデルに入力して各ウェブページのグルーピングを行う統括分類手段と、を有する、データ分析システム。
3. ウェブサイトにおけるウェブページに紐付くページ情報を、過去における複数の前記ページ情報を用いた機械学習により生成された分類モデルの入力とし、入力とした前記ページ情報を性質の類似性に基づく複数のグループのうちの何れかに分類する分類処理手段を有する分類装置と、
   前記分類装置による分類で得られたデータに分析処理を施す分析装置と、を有し、
   前記分類装置は、
   前記ウェブページにおける、表示画面上に配置される各オブジェクトの情報を含む表示関連データを用いて、該ウェブページを各オブジェクトの種別に対応するパーツ情報を含むワイヤフレーム画像に変換し、該ワイヤフレーム画像から、オブジェクトごとの、該オブジェクトの種別を示す種別情報と、該オブジェクトの位置及びサイズを示す配置情報との組み合わせによる識別情報を生成し、生成したオブジェクトごとの識別情報に基づいて固定長のベクトル表現であるフレーム特徴量を生成する前処理手段を有し、
   前記分類処理手段は、
   前記ウェブページ内のテキストの情報であるテキストデータを、過去における複数の前記テキストデータを用いた機械学習により生成されたテキスト分類モデルの入力としてテキスト特徴量を抽出するテキスト分類手段と、
   前記フレーム特徴量を、過去における複数の前記フレーム特徴量を用いた機械学習により生成されたページ分類モデルの入力としてページ特徴量を抽出するページ分類手段と、
   前記ウェブページごとの前記テキスト特徴量及び前記ページ特徴量を前記ページ情報として前記分類モデルに入力して各ウェブページのグルーピングを行う統括分類手段と、を有する、データ分析システム。
4. ウェブサイトにおけるウェブページに紐付くページ情報を、過去における複数の前記ページ情報を用いた機械学習により生成された分類モデルの入力とし、入力とした前記ページ情報を性質の類似性に基づく複数のグループのうちの何れかに分類する分類処理手段を有する分類装置と、
   前記分類装置による分類で得られたデータに分析処理を施す分析装置と、を有し、
   前記分類装置は、
   前記ウェブページ内のテキストの情報であるテキストデータに解析処理を施して解析データを生成するテキスト前処理手段と、
   前記ウェブページにおける、表示画面上に配置される各オブジェクトの情報を含む表示関連データを用いて、該ウェブページを各オブジェクトの種別に対応するパーツ情報を含むワイヤフレーム画像に変換し、該ワイヤフレーム画像から、オブジェクトごとの、該オブジェクトの種別を示す種別情報と、該オブジェクトの位置及びサイズを示す配置情報との組み合わせによる識別情報を生成し、生成したオブジェクトごとの識別情報に基づいて固定長のベクトル表現であるフレーム特徴量を生成するページ前処理手段と、を有し、
   前記分類処理手段は、
   前記解析データを、過去における複数の前記解析データを用いた機械学習により生成されたテキスト分類モデルの入力としてテキスト特徴量を抽出するテキスト分類手段と、
   前記フレーム特徴量を、過去における複数の前記フレーム特徴量を用いた機械学習により生成されたページ分類モデルの入力としてページ特徴量を抽出するページ分類手段と、
   前記ウェブページごとの前記テキスト特徴量及び前記ページ特徴量を前記ページ情報として前記分類モデルに入力して各ウェブページのグルーピングを行う統括分類手段と、を有する、データ分析システム。
5. ウェブサイトにおけるウェブページに紐付くページ情報を、過去における複数の前記ページ情報を用いた機械学習により生成された分類モデルの入力とし、入力とした前記ページ情報を性質の類似性に基づく複数のグループのうちの何れかに分類する分類処理手段を有する分類装置と、
   前記分類装置による分類で得られたデータに分析処理を施す分析装置と、を有し、
   前記分類装置は、
   前記ウェブページにおける、表示画面上に配置される各オブジェクトの情報を含む表示関連データを用いて、該ウェブページを各オブジェクトの種別に対応するパーツ情報を含むワイヤフレーム画像に変換し、該ワイヤフレーム画像から、オブジェクトごとの、該オブジェクトの種別を示す種別情報と、該オブジェクトの位置及びサイズを示す配置情報との組み合わせによる識別情報を生成し、生成したオブジェクトごとの識別情報に基づいて固定長のベクトル表現であるフレーム特徴量を生成する前処理手段を有し、
   前記分類処理手段は、
   前記ウェブページの位置を示すアドレス情報を、過去における複数の前記アドレス情報を用いた機械学習により生成されたアドレス分類モデルの入力としてアドレス特徴量を抽出するアドレス分類手段と、
   前記ウェブページ内のテキストの情報であるテキストデータを、過去における複数の前記テキストデータを用いた機械学習により生成されたテキスト分類モデルの入力としてテキスト特徴量を抽出するテキスト分類手段と、
   前記フレーム特徴量を、過去における複数の前記フレーム特徴量を用いた機械学習により生成されたページ分類モデルの入力としてページ特徴量を抽出するページ分類手段と、
   前記ウェブページごとの前記アドレス特徴量、前記テキスト特徴量、及び前記ページ特徴量を前記ページ情報として前記分類モデルに入力して各ウェブページのグルーピングを行う統括分類手段と、を有する、データ分析システム。
6. ウェブサイトにおけるウェブページに紐付くページ情報を、過去における複数の前記ページ情報を用いた機械学習により生成された分類モデルの入力とし、入力とした前記ページ情報を性質の類似性に基づく複数のグループのうちの何れかに分類する分類処理手段を有する分類装置と、
   前記分類装置による分類で得られたデータに分析処理を施す分析装置と、を有し、
   前記分類装置は、
   前記ウェブページ内のテキストの情報であるテキストデータに解析処理を施して解析データを生成するテキスト前処理手段と、
   前記ウェブページにおける、表示画面上に配置される各オブジェクトの情報を含む表示関連データを用いて、該ウェブページを各オブジェクトの種別に対応するパーツ情報を含むワイヤフレーム画像に変換し、該ワイヤフレーム画像から、オブジェクトごとの、該オブジェクトの種別を示す種別情報と、該オブジェクトの位置及びサイズを示す配置情報との組み合わせによる識別情報を生成し、生成したオブジェクトごとの識別情報に基づいて固定長のベクトル表現であるフレーム特徴量を生成するページ前処理手段と、を有し、
   前記分類処理手段は、
   前記ウェブページの位置を示すアドレス情報を、過去における複数の前記アドレス情報を用いた機械学習により生成されたアドレス分類モデルの入力としてアドレス特徴量を抽出するアドレス分類手段と、
   前記解析データを、過去における複数の前記解析データを用いた機械学習により生成されたテキスト分類モデルの入力としてテキスト特徴量を抽出するテキスト分類手段と、
   前記フレーム特徴量を、過去における複数の前記フレーム特徴量を用いた機械学習により生成されたページ分類モデルの入力としてページ特徴量を抽出するページ分類手段と、
   前記ウェブページごとの前記アドレス特徴量、前記テキスト特徴量、及び前記ページ特徴量を前記ページ情報として前記分類モデルに入力して各ウェブページのグルーピングを行う統括分類手段と、を有する、データ分析システム。
7. ウェブサイトにおけるウェブページに紐付くページ情報を、過去における複数の前記ページ情報を用いた機械学習により生成された分類モデルの入力とし、入力とした前記ページ情報を性質の類似性に基づく複数のグループのうちの何れかに分類する分類処理手段を有する分類装置と、
   前記分類装置による分類で得られたデータに分析処理を施す分析装置と、を有し、
   前記分類装置は、
   前記ウェブページにおける、表示画面上に配置される各オブジェクトの情報を含む表示関連データを用いて、該ウェブページを各オブジェクトの種別に対応するパーツ情報を含むワイヤフレーム画像に変換し、該ワイヤフレーム画像から、オブジェクトごとの、該オブジェクトの種別を示す種別情報と、該オブジェクトの位置及びサイズを示す配置情報との組み合わせによる識別情報を生成し、生成したオブジェクトごとの識別情報に基づいて固定長のベクトル表現であるフレーム特徴量を生成するページ前処理手段を有し、
   前記分類処理手段は、
   前記ウェブページの位置を示すアドレス情報、及び該ウェブページに対応する前記フレーム特徴量を、前記ページ情報として前記分類モデルの入力とし、入力とした前記ページ情報を複数の前記グループのうちの何れかに分類するものである、データ分析システム。
8. ウェブサイトにおけるウェブページに紐付くページ情報を、過去における複数の前記ページ情報を用いた機械学習により生成された分類モデルの入力とし、入力とした前記ページ情報を性質の類似性に基づく複数のグループのうちの何れかに分類する分類処理手段を有する分類装置と、
   前記分類装置による分類で得られたデータに分析処理を施す分析装置と、を有し、
   前記分類装置は、
   前記ウェブページにおける、表示画面上に配置される各オブジェクトの情報を含む表示関連データを用いて、該ウェブページを各オブジェクトの種別に対応するパーツ情報を含むワイヤフレーム画像に変換し、該ワイヤフレーム画像から、オブジェクトごとの、該オブジェクトの種別を示す種別情報と、該オブジェクトの位置及びサイズを示す配置情報との組み合わせによる識別情報を生成し、生成したオブジェクトごとの識別情報に基づいて固定長のベクトル表現であるフレーム特徴量を生成するページ前処理手段を有し、
   前記分類処理手段は、
   前記ウェブページ内のテキストの情報であるテキストデータ、及び該ウェブページに対応する前記フレーム特徴量を、前記ページ情報として前記分類モデルの入力とし、入力とした前記ページ情報を複数の前記グループのうちの何れかに分類するものである、データ分析システム。
9. ウェブサイトにおけるウェブページに紐付くページ情報を、過去における複数の前記ページ情報を用いた機械学習により生成された分類モデルの入力とし、入力とした前記ページ情報を性質の類似性に基づく複数のグループのうちの何れかに分類する分類処理手段を有する分類装置と、
   前記分類装置による分類で得られたデータに分析処理を施す分析装置と、を有し、
   前記分類装置は、
   前記ウェブページ内のテキストの情報であるテキストデータに解析処理を施して解析データを生成するテキスト前処理手段と、
   前記ウェブページにおける、表示画面上に配置される各オブジェクトの情報を含む表示関連データを用いて、該ウェブページを各オブジェクトの種別に対応するパーツ情報を含むワイヤフレーム画像に変換し、該ワイヤフレーム画像から、オブジェクトごとの、該オブジェクトの種別を示す種別情報と、該オブジェクトの位置及びサイズを示す配置情報との組み合わせによる識別情報を生成し、生成したオブジェクトごとの識別情報に基づいて固定長のベクトル表現であるフレーム特徴量を生成するページ前処理手段と、を有し、
   前記分類処理手段は、
   前記ウェブページに対応する前記解析データ、及び該ウェブページに対応する前記フレーム特徴量を、前記ページ情報として前記分類モデルの入力とし、入力とした前記ページ情報を複数の前記グループのうちの何れかに分類するものである、データ分析システム。
10. ウェブサイトにおけるウェブページに紐付くページ情報を、過去における複数の前記ページ情報を用いた機械学習により生成された分類モデルの入力とし、入力とした前記ページ情報を性質の類似性に基づく複数のグループのうちの何れかに分類する分類処理手段を有する分類装置と、
    前記分類装置による分類で得られたデータに分析処理を施す分析装置と、を有し、
    前記分類装置は、
    前記ウェブページにおける、表示画面上に配置される各オブジェクトの情報を含む表示関連データを用いて、該ウェブページを各オブジェクトの種別に対応するパーツ情報を含むワイヤフレーム画像に変換し、該ワイヤフレーム画像から、オブジェクトごとの、該オブジェクトの種別を示す種別情報と、該オブジェクトの位置及びサイズを示す配置情報との組み合わせによる識別情報を生成し、生成したオブジェクトごとの識別情報に基づいて固定長のベクトル表現であるフレーム特徴量を生成する前処理手段を有し、
    前記分類処理手段は、
    前記ウェブページの位置を示すアドレス情報、該ウェブページ内のテキストの情報であるテキストデータ、及び該ウェブページに対応する前記フレーム特徴量を、前記ページ情報として前記分類モデルの入力とし、入力とした前記ページ情報を複数の前記グループのうちの何れかに分類するものである、データ分析システム。
11. ウェブサイトにおけるウェブページに紐付くページ情報を、過去における複数の前記ページ情報を用いた機械学習により生成された分類モデルの入力とし、入力とした前記ページ情報を性質の類似性に基づく複数のグループのうちの何れかに分類する分類処理手段を有する分類装置と、
    前記分類装置による分類で得られたデータに分析処理を施す分析装置と、を有し、
    前記分類装置は、
    前記ウェブページ内のテキストの情報であるテキストデータに解析処理を施して解析データを生成するテキスト前処理手段と、
    前記ウェブページにおける、表示画面上に配置される各オブジェクトの情報を含む表示関連データを用いて、該ウェブページを各オブジェクトの種別に対応するパーツ情報を含むワイヤフレーム画像に変換し、該ワイヤフレーム画像から、オブジェクトごとの、該オブジェクトの種別を示す種別情報と、該オブジェクトの位置及びサイズを示す配置情報との組み合わせによる識別情報を生成し、生成したオブジェクトごとの識別情報に基づいて固定長のベクトル表現であるフレーム特徴量を生成するページ前処理手段と、を有し、
    前記分類処理手段は、
    前記ウェブページの位置を示すアドレス情報、該ウェブページに対応する前記解析データ、及び該ウェブページに対応する前記フレーム特徴量を、前記ページ情報として前記分類モデルの入力とし、入力とした前記ページ情報を複数の前記グループのうちの何れかに分類するものである、データ分析システム。
12. ウェブサイトにおけるウェブページに紐付くページ情報を分類する分類装置が、
    前記ウェブページにおける、表示画面上に配置される各オブジェクトの情報を含む表示関連データを用いて、該ウェブページを各オブジェクトの種別に対応するパーツ情報を含むワイヤフレーム画像に変換し、該ワイヤフレーム画像から、オブジェクトごとの、該オブジェクトの種別を示す種別情報と、該オブジェクトの位置及びサイズを示す配置情報との組み合わせによる識別情報を生成し、
    生成したオブジェクトごとの識別情報に基づいて固定長のベクトル表現であるフレーム特徴量を前記ページ情報として生成し、
    生成した前記フレーム特徴量を、過去における複数の前記フレーム特徴量を用いた機械学習により生成された分類モデルの入力とし、入力とした前記フレーム特徴量を性質の類似性に基づく複数のグループのうちの何れかに分類し、
    前記分類装置による分類で得られたデータに分析装置が分析処理を施す、分類処理方法。

Images