JP6901816B2 - エンティティ関係データ生成方法、装置、機器、及び記憶媒体 - Google Patents

Description

本発明の実施例は、情報処理技術に関し、特に、エンティティ関係データ生成方法、装置、機器、及び記憶媒体に関する。

エンティティ関係データは、ＳＰＯトリプルデータとも呼ばれ、実体ｐａｉｒ（サブジェクトＳ−オブジェクトＯ ｐａｉｒ）とそれらとの間の関係（Ｐ）から構成されたトリプルデータを指す。エンティティ関係は、知識マップの重要な構成要素であり、知識マップ構築の観点から見ると、エンティティ関係マイニングは、マップ内の関係知識を充実させ、実体間の関連関係を構築することができる。製品応用の観点からは、エンティティ関係は、一方、ユーザの知識クラスに対する検索要件を直接満たすことができ、例えば、あるスターの妻「×××妻」を検索すると、エンティティ関係データを介して直接答案を提供することができる。もう一態様では、エンティティ関係に基づいてユーザに関連知識を推薦し、情報が拡張された閲覧体験をユーザに提供することができ、例えば、ある名人の名前「××」を検索すると、エンティティ関係を通じて当該名人に関する他の実体をユーザに推薦することができる。

従来技術では、エンティティ関係マイニングは、主に以下の二つの方法で実行される。

そのうち、一つの方法は、百科クラスのウェブサイトに対して、抽出を実行することである。百科クラスのウェブサイトは優秀な構造を有し、データが充分に標準化されているという特徴があるので、百科クラスのウェブサイトの情報ボックス又は属性テーブル（百科クラスのウェブサイトの実体で、実体属性を記述するためのウェブページ構造）から、直接エンティティ関係を抽出する。百科クラスのウェブサイトの構成が簡単で安定しているという特徴を利用して、抽出待ちの百科クラスサイト中から、いくつかの典型的なページをサンプリングしてラベルを付け、これらのページに対してパターン学習アルゴリズムによって一つ又は複数の類似ｘｐａｔｈによって表されるパターンを自動的に構築した後、それを当該サイトの他の詳細ページ中に応用することによって、抽出する。

もう一つの方法は、ウェブサイトに対して、ラッパー（テンプレート）を生成する抽出方法である。抽出しようとするウェブサイトの構成及びＨＴＭＬタグなどの情報を分析することによって、対応するラッパーを構築し、このラッパーを使用して、当該ウェブページに対して、エンティティ関係抽出を行う。ラッパーは、通常、リズムを有する一般的なページに対して、人によって、正規の表現方法を使用してｘｐａｔｈ及びＣＳＳセレクター表現を書き、ウェブページ中の要素を抽出する。

従来技術の欠点は、一つめの方法では抽出できるデータ量が少く、データの適時性がよくないことであり、もう一つの方法では人件費が非常に高く、汎用性が良くないことである。

本発明の実施例は、ウェブページ汎用性の向上、人件費を削減、及び、エンティティ関係データの出力の向上を実現するための、エンティティ関係データ生成方法、装置、機器、及び記憶媒体を提供する。

第１の態様によると、本発明の実施例は、エンティティ関係データ生成方法を提供し、上記方法は、目標ウェブページに対応するウェブページソースコードデータを取得するステップと、前記ウェブページソースコードデータにおいて、少なくとも一つのキー値ペアを含む少なくとも一つキー値ブロックを識別するステップと、前記ウェブページソースコードデータにおいて、前記少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップと、前記キー値ブロックと前記キー値ブロックに対応するサブジェクト値とに基づいて、前記目標ウェブページに対応するエンティティ関係データを生成するステップと、を含む。

第２の態様によると、本発明の実施例は、エンティティ関係データ生成装置をさらに提供し、当該装置は、目標ウェブページに対応するウェブページソースコードデータを取得するためのソースコード取得モジュールと、前記ウェブページソースコードデータにおいて、少なくとも一つのキー値ペアを含む少なくとも一つキー値ブロックを識別するためのキー値ブロックの識別モジュールと、前記ウェブページソースコードデータにおいて、前記少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するためのサブジェクト値の識別モジュールと、前記キー値ブロックと前記キー値ブロックに対応するサブジェクト値とに基づいて、前記目標ウェブページに対応するエンティティ関係データを生成するためのデータ生成モジュールと、を含む。

第３の態様によると、本発明の実施例は、コンピュータ機器を提供し、当該機器は、一つ又は複数のプロセッサと、一つ又は複数のプログラムを記憶するための記憶装置と、を備え、前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行されると、前記一つ又は複数のプロセッサが、本発明の実施例の中のいずれかに記載のエンティティ関係データ生成方法を実現するようにする。

第４の態様によると、本発明の実施例は、コンピュータ読み取り可能な記憶媒体を提供し、上記コンピュータ読み取り可能な記憶媒体にはコンピュータプログラムが格納されており、当該プログラムがプロセッサによって実行されると、本発明の実施例の中のいずれかに記載のエンティティ関係データ生成方法が実現される。

本発明の実施例によると、目標ウェブページに対応するウェブページソースコードデータを取得し、当該ウェブページソースコードデータに含まれた少なくとも一つのキー値ブロック及び各キー値ブロックに対応するサブジェクト値を識別し、各キー値ブロック及びそれに対応するサブジェクト値に基づいて、目標ウェブページに対応するエンティティ関係データを生成することによって、ウェブページソースコードデータにおいてエンティティ関係を識別するので、ウェブページのタイプ、ウェブページの構成、サイトなどによって制限されないようにすることができ、また、ウェブページに対して自動的にエンティティ関係データの抽出を実行することができ、過度の人間のメンテナンスが要らない同時に、大規模なインターネットウェブページ中から抽出して、大規模なエンティティ関係データを取得できて、ウェブページの汎用性を向上させ、人件費を削減し、エンティティ関係データの出力を向上させることができる。

本発明の実施例１によって提供されるエンティティ関係データ生成方法の流れを示す概略図である。 本発明の実施例１に適用されるウェブページデータ前処理方法の流れを示す概略図である。 本発明の実施例１に適用されるクエリ式に基づくサブジェクト値の識別方法の流れを示す概略図である。 本発明の実施例１に適用されるサブジェクト値の識別方法の流れを示す概略図である。 本発明の実施例２によって提供されるエンティティ関係データ生成方法の流れを示す概略図である。 本発明の実施例２に適用されるキー値ブロックの識別方法の流れを示す概略図である。 本発明の実施例２に適用される半構造化ＳＰＯデータ抽出システムの構成を示す概略図である。 本発明の実施例３によって提供されるエンティティ関係データ生成装置の構成を示す概略図である。 本発明の実施例４によって提供されるコンピュータ機器の構成を示す概略図である。

以下の図面では、実施例と結合して本発明をさらに詳細に説明する。ここで記載する具体的な実施例は、単に本発明を説明することのみに用いられ、本発明を限定しないことを理解できるはずである。また、説明を容易にするために、本発明に関する構造の全てではなく一部のみを図示していることを説明する必要がある。

また、説明を容易にするために、本発明に関する構造の全てではなく一部のみを図示していることを説明する必要がある。例示的な実施形態をより詳細に論じる前に、いくつかの例示的な実施形態がフローチャートとして描かれたプロセス又は方法として説明されていることに留意されたい。フローチャートではさまざまな動作（又はステップ）を順序立てて処理すると説明したが、動作の多くは、並行して、併発に又は同時に実施することができる。なお、それぞれの動作の順序は、再度並べ替えてもよい。その動作が完成される際に、前記処理を終了してもよいが、図面に含まれていない別途のステップを有してもよい。前記処理は、方法、関数、規程、サブルーチン、サブプログラムなどに対応してもよい。

実施例１
図１ａは、本発明の実施例１により提供されるエンティティ関係データ生成方法の流れを示す概略図である。本実施例は、ウェブページ中からエンティティ関係データを取得する場合に適用される。当該方法は、本発明の実施例によって提供されるエンティティ関係データ生成装置によって実行され、当該装置は、ハードウェア及び／又はソフトウェアから構成され、一般的にコンピュータ機器中に統合ずることができる。図１に示すように、本実施例の方法は、具体的には、Ｓ１１０〜Ｓ１４０を含む。

Ｓ１１０において、目標ウェブページに対応するウェブページソースコードデータを取得する。

本実施例において、目標ウェブページは、インターネット上の任意のウェブページであってもよく、ウェブページソースコードデータは、当該目標ウェブページのソースコードデータであってもよい。インターネット上には様々なウェブページが混在されているため、まず、取得されたウェブページを前処理することにより、取得されたウェブページソースコードデータの有効性及び信頼性を向上させてもよい。

具体的には、目標ウェブページに対応するウェブページソースコードデータを取得するステップは、目標ウェブページのユニフォームリソースロケータ（ＵＲＬ：Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）に基づいて、ウェブページベース中から目標ウェブページに対応するソースコードデータを検証待ちソースコードデータとして取得するステップと、検証待ちソースコードデータがウェブページフィルタリング条件を満たさないと決定された場合に、検証待ちソースコードデータを目標ウェブページのウェブページソースコードデータとするステップと、を含むことができる。ウェブページベース中には、複数のウェブページにそれぞれ対応するソースコードデータが予め記憶されている。ウェブページフィルタリング条件は、ウェブページが位置しているサイトがブラックリストサイトであること、ウェブページの質量評価が所定の閾値未満であること、ウェブページの言語が外国語であること、ウェブページがポルノウェブページであること、ウェブページのタイプが画像タイプであることなどの、フィルタリング条件を含むが、これらに限定されない。ソースコードデータは、ｕｌｐａｃｋデータと呼ばれてもよく、当該データはｗｄｂｔｏｏｌｓなどのツールを使用してウェブページベースから取得できる。また、検証待ちソースコードデータに対するフィルタリングは、Ｎｌｐｃ ａｎｔｉｐｏｒｎなどツールを使用して実現してもよい。

ウェブページ中に含まれたエンティティ関係データをより包括的に取得するために、オプションとして、目標ウェブページに対応するウェブページソースコードデータを取得するステップの後に、検索エンジンのクリック表示ログで、目標ウェブページのユニフォームリソースロケータに対応する少なくとも一つのクエリ式を取得し、取得された少なくとも一つのクエリ式とウェブページソースコードデータとを関連付けるステップをさらに含む。

クリック表示ログは、ユーザがクエリ式を入力した後、表示されるそれぞれのウェブページ中でクリックして開いたウェブページに対して、記録した日誌であってもよい。クエリ式はｑｕｅｒｙデータであってもよく、目標ウェブページのＵＲＬに対応する少なくとも一つのｑｕｅｒｙデータを取得する目的は、後続のステップにおいてサブジェクト値の識別に対してもっと多い参考を提供することである。なお、取得されたクエリ式に基づいて規則違反クエリ式の識別を行うことにより、規則違反ウェブページをもう一層フィルタリングしてもよい。最後に、同一のＵＲＬに対応するクエリ式とそれに対応するウェブページソースコードデータとを併合することにより、クエリ式とウェブページソースコードデータとの間の関連関係を構築する。

実際の一例を挙げると、図１ｂに示した流れを示す概略図のように、取得された目標ウェブページのＵＲＬに対する前処理は、三つのステップによって完成されてもよく、当該三つのステップは、ウェブページベース中の目標ウェブページのＵＲＬに対応するｕｌｐａｃｋデータを取得する、ｕｌｐａｃｋデータ取得ステップと、
ウェブページベースのデータを取得した後、ウェブページが位置しているサイト、ウェブページの質量、ウェブページの言語、ポルノウェブページであるか否か、ウェブページのタイプなどの情報に基づいて、フィルタリングを実行する、ウェブページフィルタリングステップと、ＵＲＬの検索ｑｕｅｒｙを取得し、ＵＲＬのｑｕｅｒｙに基づいてポルノｑｕｅｒｙ識別を行い、ポルノウェブページをさらにフィルタリングし、ポルノｑｕｅｒｙをフィルタリングした後ｑｕｅｒｙとウェブページデータとを併合する、ポルノｑｕｅｒｙウェブページフィルタリング及びｑｕｅｒｙ併合ステップと、を含む。

Ｓ１２０では、ウェブページソースコードデータにおいて、少なくとも一つのキー値ブロックを識別し、キー値ブロックは、少なくとも一つのキー値ペアを含む。

本実施例において、キー値ペアは、ＫＶタイプのテキストデータであってもよく、少なくとも一つのＫＶタイプのテキストデータは、一つのキー値ブロックを構成することができる。例えば、ウェブページ情報中に「性別：女」が含まれていると、ウェブページソースコードデータを解析し、さらに、一つのキー値ペアとして識別してもよく、一つのキー値ペアは一つのキー名及び一つのキー値を含んでもよく、キー名（Ｋ）は、例えば「性別」であり、キー値（Ｖ）は例えば「女」であってもよい。

具体的には、ウェブページソースコードデータにおいて、キー値ペアを最小の識別単位として、少なくとも一つのキー値ペアを識別し、さらに、これらキー値を所定の分割規則に従って分割して、少なくとも一つのキー値ブロックを取得してもよい。このように設定する利点は、後続のステップにおいての処理対象を削減して、処理効率を向上させることができることである。

ウェブページソースコードデータにおいてＫＶタイプのテキストデータを識別する方法は、ツールに基づく識別、従来の識別結果に基づく識別、及び、特定タグによる識別などを含むが、これらに限定されない。

Ｓ１３０では、ウェブページソースコードデータにおいて、少なくとも一つのキー値ブロックに対応するサブジェクト値を識別する。

本実施例において、キー値ブロックに対応するサブジェクト値は、エンティティ関係データ中のサブジェクト（Ｓ）であってもよく、サブジェクト値に対する識別は、ウェブページのタイプ、キー値ブロックのタイプ、及び、目標ウェブページが位置しているサイトのｘｐａｔｈテンプレートに基づいて、キー値ブロックのために、一つの適切なウェブページノードをサブジェクト値として見つけることであってもよい。ｘｐａｔｈは、標準汎用標記言語のサブセット（ＸＭＬ：Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）の経路言語であり、これは、ＸＭＬドキュメント中のある部分の位置を決定するための言語である。

それぞれのキー値ブロックに対応するサブジェクト値に対してそれぞれ識別を行う方法は、実体ページに基づくサブジェクト値の識別、ストロングスタイルノードに基づくサブジェクト値の識別、ホワイトリストに基づくサブジェクト値の識別、クエリ式に基づくサブジェクト値の識別、及び、サイトテンプレートに基づくサブジェクト値の識別などを含むが、これらに限定されない。

例えば、ウェブページ情報中に、「性別：女、年齢：１８才、卒業時期：２０１８年６月」が含まれており、それに対応される人物の名前が「張曉廷」であれば、上記の一組の詳細情報を一つのキー値ブロックとし、「張曉廷」を、当該キー値ブロックに対応するサブジェクト値として識別してもよい。

オプションとして、ウェブページソースコードデータにおいて、出少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップは、現在処理中の目標キー値ブロックが主キー値ブロックであると決定され、ウェブページソースコードデータに第１のタグ条件を満たす実体ページノードが含まれていると、実体ページのスコアリング規則に従って、目標ウェブページが実体ページであるか否かを判断するステップと、「Ｙｅｓ」であれば、実体ページノードに対応するテキストデータを目標キー値ブロックのサブジェクト値とし、そのうち、主キー値ブロックは、ウェブページソースコードデータに対応する少なくとも一つのキー値ブロックのうち、含まれたキー値ペアの数が一番多い一つのキー値ブロックであるステップと、含む。

一例として、実体ページに基づくサブジェクト値の識別は、二つのステップを含む。まず、ウェブページが実体ページであるか否かを判断し、その後、実体ページに対してサブジェクト値の識別を行う。実体ページの判断方法は、ページ内のテキストの特徴に基づいて重み付きスコア付けを行い、得点が閾値を超えるものを、実体ページタイプのウェブページとして見なす方法であってもよい。

具体的な一例において、ページ内のテキスト特徴は、ページ内に特定のキーワード（例えば、紹介、概要など）があるか否か、得点を記載したテキスト（例えば、スコア付け、得点など）があるか否か、タイトルの長さ、タイトルがページ内テキストと重複されるか否か、又は、タイトルの単語頻度などを含む。重み付きのスコア付けの方法は、それぞれのテキスト特徴に対して異なる重みを付けて（典型的に、それぞれの特徴の区分度をサンプリング統計することで、手動で重みを設定する）、重み付きのスコア付けを行うことである。

目標ウェブページが実体ページであると決定した後、実体ページのサブジェクト値に対する識別は、具体的には、ウェブページソースコードデータ中の実体ページノードに対応するテキストデータを、直接現在識別している目標キー値ブロックのサブジェクト値とすることであってもよい。実体ページノードは、例えば、ウェブページソースコードデータ中の＜ｈ１＞タグを有するノードであってもよい。また、現在識別している目標キー値ブロックは、当該ウェブページソースコードデータに対応する複数のキー値ブロック中の、キー値ペア数が一番多いキー値ブロックである必要があり、即ち主キー値ブロックである必要がある。このように設定する目的は、いくつかの小さいキー値ブロックに対応する内容情報が、目標ウェブページの大きいタイトルに対応すべき内容として誤認されることを回避して、サブジェクト値の識別精度を向上させることであると強調する必要がある。

オプションとして、ウェブページソースコードデータにおいて、少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップは、現在処理中の目標キー値ブロックの目標ウェブページにおけるページ位置に基づいて、ウェブページソースコードデータにおいて第２のタグ条件を満たすストロングスタイルノードを、前を向いて検索するステップと、ストロングスタイルノードが検索され、ストロングスタイルノードのｘｐａｔｈと目標キー値ブロックに対応するｘｐａｔｈとが一致しない場合、ストロングスタイルノードに対応するテキストデータを目標キー値ブロックのサブジェクト値とするステップと、を含む。

一例として、ストロングスタイルノードに基づくサブジェクト値の識別において、主としてキー値ブロックの位置に基づいて、ウェブページ中で第２のタグの条件を満たすストロングスタイルノードを前に向いて検索し、そのうちの特定の規則を満たすストロングスタイルノードに対応するテキストデータを、当該キー値ブロックのサブジェクト値とする。ストロングスタイルノードは、例えば、ウェブページソースコードデータの＜ｓｔｒｏｎｇ＞タグ又は＜ｈ１＞〜＜ｈ７＞タグを有するノードであってもよい。ストロングスタイルノードのｘｐａｔｈと当該キー値ブロックに対応するｘｐａｔｈとが一致しないことは、ストロングスタイルノードのレベルが当該キー値ブロックよりも高いことを示す。また、当該ストロングスタイルノードは、当該キー値ブロックのウェブページにおける位置から前に向いて検索されたものであるため、当該キー値ブロックに対応される内容のタイトル情報である可能性が非常に高く、したがって当該ストロングスタイルノードに対応するテキストデータを当該キー値ブロックのサブジェクト値とすることで、サブジェクト値の誤認率を低下させた。

オプションとして、ウェブページソースコードデータにおいて、少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップは、現在処理中の目標キー値ブロックに含まれたキー値ペアのキー名を、設定されたホワイトリストとマッチングするステップと、目標キー値ブロックに含まれた目標キー名がホワイトリストにマッチングされると決定された場合、目標キー名に対応する目標キー値を目標キー値ブロックのサブジェクト値として取得するステップと、を含むことができる。

一例として、キー値ブロック中の特定のキー値ペアのキー名、例えば、名称クラスのエンティティ関係中の対応されるオブジェクト値は、明らかな特徴を有するため、明らかな特徴を有するキー名に対応するキー値を直接サブジェクト値としてもよい。例えば、ホワイトリスト中に「名前」、「映画名称」などの明らかな特徴を有するキー名を予め設定し、キー値ブロックにキー値ペアである「名前：張曉廷」が含まれていると、キー名である「名前」に対応するキー値である「張曉廷」を、直接当該キー値ブロックのサブジェクト値としてもよい。

オプションとして、ウェブページソースコードデータにおいて、少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップは、現在処理中の目標キー値ブロックが主キー値ブロックであると決定された場合、ウェブページソースコードデータと関連付けられた少なくとも一つのクエリ式における各分詞の単語頻度に基づいて、目標分詞を決定するステップと、ウェブページソースコードデータにおいてテキストデータと目標分詞と類似度条件を満たす少なくとも一つのクエリ式ノードを検索するステップと、検索されたクエリ式ノードのｘｐａｔｈと現在処理中の目標キー値ブロックに対応するｘｐａｔｈとが同一でなく、目標ウェブページにおいて、クエリ式ノードのページ位置と目標キー値ブロックのページ位置が設定距離条件を満たす場合、クエリ式ノードのテキストデータを目標キー値ブロックのサブジェクト値とするステップと、を含むことができる。

一例として、クエリ式に基づくサブジェクト値の識別は、主キー値ブロックに対して設計したサブジェクト値の識別の策略であり、一つのＵＲＬのクエリ式ｑｕｅｒｙはこのページの内容との関連性がより高いと同時に、一つのウェブページの主キー値ブロックにもページの主な内容情報が含まれるため、ｑｕｅｒｙと主キー値ブロックの情報とに記載された内容は、相対的に類似する確率が高い。このため、ｑｕｅｒｙ中に含まれた情報に基づいて、即ち目標分詞に基づいて、主キー値ブロックのサブジェクト値を識別する。ｑｕｅｒｙに基づくサブジェクト値の識別と入力は、ｑｕｅｒｙの分詞結果及び対応する単語頻度であり、以上の識別の策略によって、条件を満たすノードがあると、識別されたクエリ式ノードを提供して、クエリ式ノードに対応するテキストデータを当該主キー値ブロックのサブジェクト値とし、そうでない場合には、識別失敗に該当する。

クエリ式ノードのページ位置と目標キー値ブロックのページ位置とが設定距離条件を満たすよう設定する目的は、当該クエリ式ノードと目標キー値ブロックとの間の距離が遠すぎないように保ち、誤認の確率を低下させることである。

オプションとして、ウェブページソースコードデータと関連付けられた少なくとも一つのクエリ式における各分詞の単語頻度に基づいて、目標分詞を決定するステップは、少なくとも一つのクエリ式を分詞処理して各分詞の単語頻度を算出するステップと、単語頻度算出結果に基づいて、少なくとも二つの分詞が単語結合条件を満たすと決定された場合、少なくとも二つの分詞を結合して新たな分詞を生成し、新たな分詞に対応する単語頻度を更新するステップと、単語頻度による各分詞の順序付け結果に基づいて決定された第１の順位の分詞と第２の順位の分詞との間の単語頻度差とが単語頻度閾値条件を満たす場合に、第１の順位の分詞を目標分詞とするステップと、を含むことができる。

一例として、分詞ツールを使用して各クエリ式を分詞処理し、その後、それぞれの分詞が出現された回数に従って、各分詞の単語頻度を算出し、そのうちの二つの分詞の単語頻度がいずれも所定の最小閾値よりも小さければ、当該二つの分詞を結合して新たな分詞を生成し、再度、各分詞に対応する単語頻度を算出し、最後に、単語頻度の結果に基づいて順序付けを行って、単語頻度が一番高い分詞と単語頻度が二番目に高い分詞との間の単語頻度の差が所定の閾値より大きいか否かを決定し、即ち、単語頻度の閾値の条件を満たすか否かを決定し、「Ｙｅｓ」であれば、単語頻度一番高い分詞がクエリ式の主な内容を代表できる分詞であることを示す。当該分詞を目標分詞とすることで、主キー値ブロック中の内容と比較し、最後に主キー値ブロックに対応するサブジェクト値として決定してもよい。

簡便な理解のために、クエリ式に基づくサブジェクト値の識別の過程を具体的なフローチャートによって示してもよい。例えば、図１ｃに示したように、具体的には、まず、クエリ式を分詞処理し、該当する単語頻度を算出し、さらに単語結合を実行し、再度該当する単語頻度を算出して、単語頻度一番大きい二つの分詞に対応する単語頻度が類似であるか否かを判断する。「Ｙｅｓ」であれば、当該クエリ式を利用してサブジェクト値を識別することができず、出力がない。「Ｎｏ」であれば、ウェブページ中の当該単語頻度一番高い分詞と類似なノードを候補ノードとしてもよい。このような候補ノードが存在するか否かを判断し、「Ｎｏ」であれば、出力がなく、当該方法は失効し、「Ｙｅｓ」であれば、各候補ノードに対して順序付けた後、各候補ノードと現在処理中の目標キー値ブロックとが同一のｘｐａｔｈを有するか否かを順番に判断し、候補ノードのウェブページインターフェースにおける位置と目標キー値ブロックとウェブページインターフェースにおける位置との間の距離が遠すぎるか否かを判断する。そのうちの一つが「Ｙｅｓ」であれば、当該候補ノードを削除し、二つのいずれもが「Ｎｏ」であれば、当該候補ノードを目標キー値ブロックのサブジェクト値が位置しているノードとして決定する。当該ノードに対応するテキストデータが、目標キー値ブロックのサブジェクト値である。

オプションとして、ウェブページソースコードデータにおいて、少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップは、目標ウェブページのユニフォームリソースロケータに基づいて、目標ウェブページに対応する目標サイトを決定するステップと、予め記憶されている目標サイトに対応する少なくとも一つの候補テンプレートを取得し、候補テンプレートを利用して現在処理中のキー値ブロックに対応するサブジェクト値を識別するステップと、を含み、そのうち、目標サイト内の候補テンプレートは、目標サイトの複数のウェブページキー値ペアに対して識別を行いた後、識別結果によって生成したものであってもよい。

一例として、サイトテンプレートに基づくサブジェクト値の識別は、サイトテンプレートデータに基づいてキー値ブロックに対応するサブジェクト値を識別する処理である。主として、サイトテンプレート中から候補テンプレートを取得するステップと、候補テンプレートを利用してサブジェクト値を識別するステップのような、二つのステップがある。目標サイトは、目標ウェブページが属されたサイトであってもよく、それぞれのウェブページのＵＲＬにはウェブページが位置しているサイトの情報が付加されている。このため、当該ＵＲＬに基づいて目標ウェブページに対応する目標サイトを識別することができる。具体的には、一部のサイトには該当する識別テンプレートが予め格納されている可能性があるため、直接当該テンプレートを呼び出して、キー値ブロックに対応するサブジェクト値を取得してもよい。

Ｓ１４０において、キー値ブロックとキー値ブロックに対応するサブジェクト値とに基づいて、目標ウェブページに対応するエンティティ関係データを生成する。

本実施例のキー値ブロック及びそのサブジェクト値中には複数のＳ−ＫＶデータが含まれていてもよい。Ｓはキー値ブロックのサブジェクト値であり、Ｋはキー値ブロック中のキー値ペアのキー名であり、Ｖはキー値ブロック中のキー値ペアのキー値である。Ｓ−ＫＶデータとエンティティ関係データとの間に対応関係が存在するため、目標ウェブページ中のキー値ブロックを分割して、対応するサブジェクト値と再度組み合わせた後、目標ウェブページに対応するエンティティ関係データを生成してもよい。

オプションとして、キー値ブロックとキー値ブロックに対応するサブジェクト値とに基づいて、目標ウェブページに対応するエンティティ関係データを生成するステップは、キー値ブロックに含まれたそれぞれのキー値ペアを、それぞれ、キー値ブロックに対応するサブジェクト値と組み合わせて、トリプルデータを構築するステップと、トリプルデータに含まれたキー名をサブジェクトオブジェクト関係値とし、キー名に対応するキー値をオブジェクト値として、エンティティ関係データを生成するステップと、を含むことができる。

一例として、一つのキー値ペア及びその属されたキー値ブロックに対応するサブジェクト値を組み合わせ後、一つのＳＰＯトリプルデータとして構築してもよい。キー値ペアが属されたキー値ブロックに対応するサブジェクト値を当該ＳＰＯトリプルデータ中のＳとし、即ち、エンティティ関係データ中のサブジェクト値とし、キー値ペアのキー名をＳＰＯトリプルデータ中のＰとし、即ち、エンティティ関係データ中のエンティティ関係値とし、キー値ペアのキー値をＳＰＯトリプルデータ中のＯとし、即ち、エンティティ関係データ中のオブジェクト体値とすることによって、最後にエンティティ関係データを生成する。

本実施例の技術案によると、目標ウェブページに対応するウェブページソースコードデータを取得し、当該ウェブページソースコードデータに含まれた少なくとも一つのキー値ブロック及び各キー値ブロックに対応するサブジェクト値を識別し、各キー値ブロック及びそれに対応するサブジェクト値に基づいて、目標ウェブページに対応するエンティティ関係データを生成することによって、ウェブページソースコードデータにおいてエンティティ関係を識別するので、ウェブページのタイプ、ウェブページの構成、サイトなどによって制限されないようにすることができる。また、ウェブページに対して自動的にエンティティ関係データの抽出を実行することができるので、過度の人によるメンテナンスを不要とすると同時に、大規模なインターネットウェブページから抽出して、大規模なエンティティ関係データを取得することができるので、ウェブページの汎用性を向上させ、人件費を削減し、エンティティ関係データの出力を向上させることができる。

上記実施例を基礎として、オプションとして、上記の目標キー値ブロックに対する五つのサブジェクト値の識別方法のうちいずれの一つ又は複数の方法を選択して、サブジェクト値の識別を行ってもよく、そのうち、複数の方法によって識別を行う場合には、当該複数の方法を特定の順序に従って組み合わせた後、総合的な識別を行うことによって、サブジェクト値の識別の精度及び成功率を向上することができる。例えば、五つの方法を組み合わせた後、図１ｄに示した流れに従って、キー値ブロックのサブジェクト値の識別を行ってもよい。具体的な識別順序は、実体ページに基づくサブジェクト値の識別、ストロングスタイルノードに基づくサブジェクト値の識別、ホワイトリストに基づくサブジェクト値の識別、クエリ式に基づくサブジェクト値の識別、及び、サイトテンプレートに基づくサブジェクト値の識別である。実体ページに対しては、一番目の識別方法のみによってサブジェクト値の識別を行いてもよい。サブジェクト値が識別されると、対応する結果を出力し、サブジェクト値が識別されないと、直接出力せず、即ち、当該キー値ブロックのサブジェクト値の識別に失敗したと決定してもよい。非実体ページ中のサブジェクト値の識別においては、一番目の識別方法以外に、そのうちの一つの識別方法によってサブジェクト値が識別されると、即ち、識別結果があると、当該結果を出力し、識別結果がないと、最後にサブジェクト値が確実に識別されないと決定されるまで、続けて、次の識別方法によって識別を行い、当該キー値ブロックのサブジェクト値の識別に失敗したと決定してもよい。

実施例２
図２ａは、本発明の実施例２により提供されるエンティティ関係データ生成方法の流れを示す概略図であり、本実施例は上記実施例を基礎として具体化にしたものである。本実施例において、ウェブページソースコードデータにおいて、少なくとも一つのキー値ブロックを識別するステップをさらに最適化したステップは、基礎解析ツールを使用して、ウェブページソースコードデータをデータ解析し、少なくとも一つの基礎キー値ペアを取得して、キー値ペアセットに追加するステップと、基礎キー値ペアをキー値ペア拡張し、少なくとも一つの拡張キー値ペアを取得して、キー値ペアセットに追加するステップと、キー値ペアセットに含まれたキー値ペアを併合処理して、少なくとも一つのキー値ブロックを取得するステップと、を含む。

これに対応する本実施例の方法は、Ｓ２１０〜Ｓ２６０を含む。

Ｓ２１０において、目標ウェブページに対応するウェブページソースコードデータを取得する。

Ｓ２２０において、基礎解析ツールを使用して、ウェブページソースコードデータをデータ解析し、少なくとも一つの基礎キー値ペアを取得して、キー値ペアセットに追加する。

基礎解析ツールは、ＫＶ解析ツールであってもよく、目標ウェブページに対応するウェブページソースコードデータをデータ解析する目的は、そのうちに含まれた少なくとも一つのキー値ペアを、基礎キー値ペアとして取得し、所定のキー値ペアセットに追加することである。

一例として、いくつかの解析ツールは、ウェブページソースコードデータ中のいくつかのＫＶタイプに符合するデータに対して、自動的に識別を行うことができるため、まず、基礎解析ツールを使用して目標ウェブページ中に含まれたキー値ペアに対して大まかな識別を行ってもよい。

実際の一例を挙げると、ｍａｒｓ解析ツールを使用してｕｌｐａｃｋデータを解析し、解析結果中のウェブページ内のＫＶの形で記述したテキストデータ、又は、解析結果中の簡単な＜ｔａｂｌｅ＞タグに対応するテキストデータを、基礎キー値ペアとして取出してもよい。

Ｓ２３０において、基礎キー値ペアをキー値ペア拡張し、少なくとも一つの拡張キー値ペアを取得して、キー値ペアセットに追加する。

本実施例においては、基礎解析ツールには一定の局限性があり、データ解析結果中から取得できるキー値ペアが限られているため、得られた基礎キー値ペアの基礎上で、さらに、目標ウェブページ中に含まれた他のキー値ペアに対して識別を行う必要がある。

キー値ペア拡張を行う目的は、基礎解析ツールで解析できない内容を捜し戻すことであり、キー値ペア拡張を行う方法は、解析結果中で同一のｘｐａｔｈを有するＫＶタイプのテキストに対して拡張を行う方法、及び、特定のＨＴＭＬタグ中のＫＶタイプのテキストに対して拡張を行う方法などを含むが、これらに限定されない。

オプションとして、基礎キー値ペアをキー値ペア拡張し、少なくとも一つの拡張キー値ペアを取得して、キー値ペアセットに追加するステップは、ウェブページソースコードデータにおいて、基礎キー値ペアとマッチングされる基礎ノードの基礎ｘｐａｔｈを取得し、ｘｐａｔｈと基礎ｘｐａｔｈが同一である拡張ノードを検索するステップと、拡張ノードに対応するテキストデータを、拡張キー値ペアとして、取得するステップと、を含むか、及び／又は、ウェブページソースコードデータにおいて、基礎キー値ペアとマッチングされる基礎ノードの基礎ｈｔｍｌタグを取得するステップと、基礎ｈｔｍｌタグに基づいて、少なくとも一つの拡張ｈｔｍｌタグを決定し、ウェブページソースコードデータにおいて、拡張ｈｔｍｌタグとマッチングされる拡張ノードを検索するステップと、拡張ノードに対応するテキストデータを拡張キー値ペアとして取得するステップと、を含むことができる。

一番目の方法において、すでに識別された基礎キー値ペアが位置するノードと同一のｘｐａｔｈでは、他のキー値ペアが識別される確率がより高いため、基礎キー値ペアが位置するノードと同一のｘｐａｔｈでの他のノードに対応するテキストデータを取得し、キー値ペアに対して拡張を行って、より多いキー値ペアを取得することができる。

二番目の方法では、それぞれのウェブページソースコードデータ中に複数のｈｔｍｌタグが含まれており、例えば、＜ｈ１＞タグ、＜ｓｔｒｏｎｇ＞タグ、＜ｔａｂｌｅ＞タグなどの、識別された基礎キー値ペアに対応するｈｔｍｌタグが含まれているため、当該種類のタグに他のキー値ペアが存在する確率がより高いため、基礎キー値ペアに対応するｈｔｍｌタグ、即ち基礎ｈｔｍｌタグを取得することによって、即ち、同一のタイプのタグのすべてのマッチングされるノードに対応するテキストデータを取得することによって、キー値ペアに対して拡張することができる。

上記二つの方法は、そのうちの一つを別途に選択して使用してもよいし、総合的に使用してもよく、ここでは限定しない。

本実施例のオプションとする一実施形態において、オプションとして、基礎キー値ペアをキー値ペア拡張し、少なくとも一つの拡張キー値ペアを取得して、キー値ペアセットを追加するステップの後に、キー値ペアセットに含まれたキー値ペアに対して重複排除処理を行うステップをさらに含むことができる。具体的には、拡張して得たキー値ペアは、ツールによって識別されたキー値ペアと重複するか、又は、ノード情報が競合する可能性があるため、拡張後の結果に対して統合重複排除処理を行う必要がある。

具体的な一例において、ノード情報の競合は、位置情報（ノードのウェブページにおける位置）の競合、又は、テキスト情報の競合などを含むことができる。例えば、ツールによってキー値ペアを識別する際に、位置ずれが発生し、識別された同一のキー値ペアに対応する位置情報に競合が発生してしまう可能性があり、また、例えば、識別された二つ又は複数のキー値ペア中に、同一のキー名が異なるキー値に対応されて、テキスト情報の競合をもたらす可能性がある。

Ｓ２４０において、キー値ペアセットに含まれたキー値ペアを併合処理して、少なくとも一つのキー値ブロックを取得し、そのうち、キー値ブロックは、少なくとも一つのキー値ペアを含む。

後続のステップにおいてそれぞれのキー値ペアに対してサブジェクト値をそれぞれ識別する面倒を低下させて、エンティティ関係データの生成効率を改善するために、本実施例においては、識別されたすべてのキー値ペアを所定の併合規則に従って併合処理を実行することによって、後続のサブジェクト値の識別においてキー値ブロックを単位とする識別のみを行う必要があり、それぞれのキー値ブロックに対してそれぞれ一つのサブジェクト値を識別することができる。具体的には、それぞれのキー値ブロックには同一の数のキー値ペアを割り当てていてもよいし、異なる量のキー値ペアを割り当てていてもよく、ここでは限定しない。

オプションとして、キー値ペアセットに含まれたキー値ペアを併合処理して、少なくとも一つのキー値ブロックを取得するステップは、キー値ペアセットにおけるキー値ペアの目標ウェブページにおけるページ位置を位置決めするステップと、ページ位置が連続される少なくとも二つのキー値ペアを一つのキー値ブロックに併合するステップと、を含むことができる。

一例として、目標ウェブページ中でキー値ペアが位置するページ位置が連続される複数のキー値ペア、即ち、キー値ペアが位置しているページ位置の間に他のテキストが含まれてない複数のキー値ペアを、一つのキー値ブロックに併合してもよい。それぞれのウェブページで、一つ又は複数のキー値ブロックを併合し出してもよい。そのうち、含まれたキー値ペアが一番多いキー値ブロックが、主キー値ブロックである。

オプションとして、キー値ペアセットに含まれたキー値ペアを併合処理して、少なくとも一つのキー値ブロックを取得するステップの後に、キー値ペアのフィルタリング規則に従って、少なくとも一つのキー値ブロックに含まれたキー値ペアに対してフィルタリング処理を実行するステップと、キー値ブロックのフィルタリング規則に従って、少なくとも一つのキー値ブロックに対してフィルタリング処理を実行するステップと、をさらに含むことができる。

一例として、キー値フィルタリングは二つの粒度を含み、それぞれ、キー値ペアの粒度、及び、キー値ブロックの粒度である。具体的には、まず、キー値ペアの粒度のフィルタリングを行い、その後、キー値ブロックの粒度のフィルタリングを行ってもよい。フィルタリングを実行する有益な効果は、いくつかの無効なキー値ペア又はキー値ブロックを削除することによって、エンティティ関係データの有効性及び信頼性を向上させることができる。

キー値ペアの粒度のフィルタリングにおいては、主として、キー値ペアの長さ、テキストのタイプ、及び、そのうちの符号に基づいてフィルタリングを行い、例えば、キー値ペア中のキー名が長すぎるキー値ペア、又は、キー値が長すぎるキー値ペアを無効なキー値ペアと見なしてフィルタリングする必要がある。また、例えば、キー値ペアに対応するテキスト中に識別できない符号が含まれていたり、又は、全てが符号である場合には、無効なキー値ペアとして見なす必要がある。

また、キー値ブロックの粒度のフィルタリングでは、主として、キー値ブロック中のエンティティ関係の意義がないキー値ブロックをフィルタリングされ、例えば、「ご提示：×××」などの実際意義がないキー値のブロック、また、例えば、「テクニックＡ：×××」などの名詞説明クラスのテキストが該当する。

実際の一例において、キー値ブロックに対する識別の完全な処理過程は、図２ｂに示したフローチャートに従って、まず、ｍａｒｓ解析ツールを利用してウェブページ内容を解析し、解析されたＫＶデータ及びウェブページ情報に基づいて、ＫＶの拡張、重複排除、分割と併合、及び、フィルタリングを実効して、最終的なウェブページ内の有効なＫＶデータを生成して、ＫＶブロックを単位として出力する。そのうち、ＫＶブロックの分割と併合がキー値ペアの併合である。

Ｓ２５０では、ウェブページソースコードデータにおいて、少なくとも一つのキー値ブロックに対応するサブジェクト値を識別する。

Ｓ２６０において、キー値ブロックとキー値ブロックに対応するサブジェクト値とに基づいて、目標ウェブページに対応するエンティティ関係データを生成する。

本実施例の技術案によると、取得された目標ウェブページに対応するウェブページソースコードデータをデータ解析し、少なくとも一つの基礎キー値ペアを取得して、基礎解析ツールを利用して得られた基礎キー値ペアをキー値ペア拡張し、さらに、基礎キー値ペアと拡張し得た拡張キー値ペアとをいずれもキー値ペア結合中に追加し、当該キー値ペアセットに含まれたキー値ペアを併合処理して、少なくとも一つのキー値ブロックを取得し、最後に、ウェブページソースコードデータにおいて識別された当該少なくとも一つのキー値ブロックに対応するサブジェクト値を結合して、目標ウェブページに対応するエンティティ関係データを生成する。これにより、ウェブページソースコードデータを解析して得た基礎キー値ペア、及び、当該基礎キー値ペアを拡張して得た拡張キー値ペアを利用することで、それぞれのウェブページに対していずれももっと多いキー値ペアを取得して、大量のインターネットウェブページからの規模が非常に大きいエンティティ関係データの取得を実現し、人気のある実体検索推薦要件を満たすだけでなく、ロングテール実体のカバレッジの問題も十分に解决することができた。

上記各実施例の基礎上で、最終的に生成されるエンティティ関係データの有効性を向上させるために、得られたキー値ブロック及びそれに対応するサブジェクト値に対して、フィルタリングを行ってもよい。オプションとして、ウェブページソースコードデータにおいて、少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップの後に、少なくとも一つの統計チェックテンプレート、及び／又は、少なくとも一つの規則チェックテンプレートを使用して、少なくとも一つのキー値ブロックに対応するサブジェクト値に基づいて、少なくとも一つのキー値ブロックに対してフィルタリングを実行するステップをさらに含むことができる。

一例として、キー値ブロックに対するフィルタリングの実行は、上流で発生したキー値ブロック及びそれに対応するサブジェクト値の質量に対する制御であり、主として、統計に基づくチェックと規則に基づくチェックとの二つの方法がある。そのうちの条件を満たさないデータをフィルタリングして、質量が高いキー値ブロックを出力する。

具体的には、統計チェックテンプレートは、主として、単一のページ情報の下では解決が困難なエラーをフィルタリングするために使用され、キー値ペアとキー値ブロックとの二つの粒度によって、それぞれ統計フィルタリングを実行してもよい。また、規則チェックテンプレートは、主として、人工的に設定された規則に従って、Ｓ−ＫＶデータ即ちキー値ペア（又はキー値ブロック）、及び、その対応されるサブジェクト値に対して、処理を行い、Ｓ及びＫＶに対して、それぞれフィルタリングを実行する。

オプションとして、目標ウェブページのユニフォームリソースロケータに対応する目標サイト内のそれぞれのウェブページのうち、識別されたキー値ブロックに対応するサブジェクト値を、処理サブジェクト値としてそれぞれ取得するステップと、ｘｐａｔｈが同一である目標処理サブジェクト値の数が第１の数閾値を超える場合、目標サブジェクト値のｘｐａｔｈ、及び目標サブジェクト値それぞれに対応するキー値ブロックに基づいて、少なくとも一つの予備統計チェックテンプレートを構築するステップと、予備統計チェックテンプレートにそれぞれ対応するキー値ブロックを取得するステップと、一つの目標予備統計チェックテンプレートに対応する複数のキー値ブロックのうち同一のキー値ブロックの数が第２の数閾値を超える場合、予備統計チェックテンプレートのうち当該目標予備統計チェックテンプレートを削除することによって、統計チェックテンプレートを取得するステップと、をさらに含むことができる。

一例として、統計チェックテンプレートは、二つのチェックステップによって構築することができ、そのうち、一番目のステップは、サイト−Ｓ ｘｐａｔｈレベルの統計チェックである。即ち、ＵＲＬが位置しているサイト及び当該ＵＲＬで識別されるサブジェクト値のｘｐａｔｈをｋｅｙとしてマージし、マージ結果に基づいて複数の初期テンプレートを構築し、実際のＳ−ＫＶ識別結果とそれぞれの初期テンプレートとをマッチングし、条件を満たさない初期テンプレートをフィルタリングし、即ち、予備統計チェックテンプレートを取得する。二番目のステップは、Ｓ ｘｐａｔｈ−ＫＶブロックレベルの統計チェックテンプレートである。即ち、予備統計チェックテンプレートの基礎上で、Ｓ ｘｐａｔｈ即ちサブジェクト値のｘｐａｔｈ、及び、対応するＫＶブロックのｘｐａｔｈ即ちキー値ブロックのｘｐａｔｈを、ｋｅｙとしてマージし、マージした後に複数のＵＲＬでＫＶが完全に同一のテンプレートを削除し、即ち、最後に統計チェックテンプレートを取得する。最終的に得られた統計チェックテンプレートは、主として、ウェブページの縁欄又は底部欄の公共情報中に含まれたＫＶデータに対してフィルタリングを実行する。

上記各実施例の基礎上で、図２ｃに示した半構造化ＳＰＯデータ抽出システムを構築することができ、当該システムは、前処理ユニット５０と、ＫＶ識別ユニット６０と、Ｓ識別ユニット７０と、Ｓ−ＫＶ質量制御ユニット８０と、を含む。前処理ユニット５０は、入力されたウェブページＵＲＬに対して前処理を実行して、ウェブページソースコードデータを取得し、ＫＶ識別ユニット６０は、ウェブページソースコードデータ中のキー値ブロックを識別し、Ｓ識別ユニット７０は、ウェブページソースコードデータ中のサブジェクト値に対して識別を行い、Ｓ−ＫＶ質量制御ユニット８０は、用件に合わないＳ−ＫＶデータをフィルタリングして、用件に合うＳＰＯトリプルデータを出力する。

当該半構造化ＳＰＯデータ抽出システムの目標は、ウェブページ中からＫＶの形で表現される情報をトリプルの形のデータへ抽出整理する一つのシステムを実現することにある。即ち、本システムは、一つの目標ウェブページのＵＲＬを入力して、当該目標ウェブページに対して、バイナリの形で標記されたエンティティ関係（Ｐ）及び実体属性値（Ｏ）で、対応する実体（Ｓ）を識別した後、ＳＰＯトリプルの形で出力することで、任意のタイプウェブページ中のＳＰＯデータの自動的な抽出を実現し、即ち、エンティティ関係データの自動的な抽出を実現する。図２ｃに示したように、ＵＲＬを入力した後、半構造化ＳＰＯデータ抽出システムを通じて、前処理過程で必要なクリック表示ログ、及びサイトテンプレートに基づくサブジェクト値の識別過程で必要なサイトテンプレートなどの、該当する外部データを利用して、最終的に、対応するＳＰＯトリプルデータを取得する。

実施例３
図３は、本発明の実施例３によって提供されるエンティティ関係データ生成装置の構成を示す概略図である。図３を参考すると、エンティティ関係データ生成装置は、ソースコード取得モジュール３１０と、キー値ブロックの識別モジュール３２０と、サブジェクト値の識別モジュール３３０と、データ生成モジュール３４０と、を備え、以下、各モジュールを具体的に説明する。

ソースコード取得モジュール３１０は、目標ウェブページに対応するウェブページソースコードデータを取得する。

キー値ブロックの識別モジュール３２０は、前記ウェブページソースコードデータにおいて、少なくとも一つのキー値ブロックを識別し、前記キー値ブロックには少なくとも一つのキー値ペアが含まれる。

サブジェクト値の識別モジュール３３０は、前記ウェブページソースコードデータにおいて、前記少なくとも一つのキー値ブロックに対応するサブジェクト値を識別する。

データ生成モジュール３４０は、前記キー値ブロックと前記キー値ブロックに対応するサブジェクト値とに基づいて、前記目標ウェブページに対応するエンティティ関係データを生成する。

本実施例は、エンティティ関係データ生成装置を提供する。当該装置は、目標ウェブページに対応するウェブページソースコードデータを取得し、当該ウェブページソースコードデータに含まれた少なくとも一つのキー値ブロック及び各キー値ブロックに対応するサブジェクト値を識別し、各キー値ブロック及びそれに対応するサブジェクト値に基づいて、目標ウェブページに対応するエンティティ関係データを生成する。これにより、ウェブページソースコードデータにおいてエンティティ関係を識別するので、ウェブページのタイプ、ウェブページの構成、サイトなどによって制限されないようにすることができる。また、ウェブページに対して自動的にエンティティ関係データの抽出を実行することができ、過度の人によるメンテナンスを不要とすると同時に、大規模なインターネットウェブページ中から抽出して、大規模なエンティティ関係データを取得できるので、ウェブページの汎用性を向上させ、人件費を削減し、エンティティ関係データの出力を向上させることができる。

オプションとして、キー値ブロックの識別モジュール３２０は、基礎解析ツールを使用して、前記ウェブページソースコードデータをデータ解析し、少なくとも一つの基礎キー値ペアを取得して、キー値ペアセットに追加するための基礎キー値取得サブモジュールと、前記基礎キー値ペアをキー値ペア拡張し、少なくとも一つの拡張キー値ペアを取得して、前記キー値ペアセットに追加するための拡張キー値取得サブモジュールと、前記キー値ペアセットに含まれたキー値ペアを併合処理して、前記少なくとも一つのキー値ブロックを取得するためのキー値ブロック決定サブモジュールと、を含む。

オプションとして、拡張キー値取得サブモジュールは、具体的には、前記ウェブページソースコードデータにおいて、前記基礎キー値ペアとマッチングされる基礎ノードの基礎ｘｐａｔｈを取得し、ｘｐａｔｈが前記基礎ｘｐａｔｈと同一である拡張ノードを検索し、前記拡張ノードに対応するテキストデータを前記拡張キー値ペアとして取得するか、及び／又は、前記ウェブページソースコードデータにおいて、前記基礎キー値ペアとマッチングされる基礎ノードの基礎ｈｔｍｌタグを取得し、前記基礎ｈｔｍｌタグに基づいて、少なくとも一つの拡張ｈｔｍｌタグを決定し、前記ウェブページソースコードデータにおいて、前記拡張ｈｔｍｌタグとマッチングされる拡張ノードを検索し、前記拡張ノードに対応するテキストデータを前記拡張キー値ペアとして取得してもよい。

オプションとして、キー値ブロック決定サブモジュールは、具体的には、前記キー値ペアセットにおけるキー値ペアの前記目標ウェブページにおけるページ位置を位置決めし、ページ位置が連続される少なくとも二つのキー値ペアを一つのキー値ブロックに併合し入れてもよい。

オプションとして、キー値ブロックの識別モジュール３２０は、前記キー値ペアセットに含まれたキー値ペアを併合処理して、前記少なくとも一つのキー値ブロックを取得するステップの後に、キー値ペアのフィルタリング規則に従って、前記少なくとも一つのキー値ブロックに含まれたキー値ペアをフィルタリング処理するためのキー値ペアフィルタリングサブモジュールと、キー値ブロックのフィルタリング規則に従って、前記少なくとも一つのキー値ブロックをフィルタリング処理するするためのキー値ブロックのフィルタリングサブモジュールと、をさらに備えてもよい。

オプションとして、サブジェクト値の識別モジュール３３０は、具体的には、現在処理中の目標キー値ブロックが主キー値ブロックであり、前記ウェブページソースコードデータに第１のタグ条件を満たす実体ページノードが含まれていることが決定された場合、実体ページのスコアリング規則に従って、前記目標ウェブページが実体ページであるか否かを判断し、「Ｙｅｓ」であれば、前記実体ページノードに対応するテキストデータを前記目標キー値ブロックのサブジェクト値としてもよい。前記主キー値ブロックは、前記ウェブページソースコードデータに対応する少なくとも一つのキー値ブロックのうち、含まれたキー値ペアの数が一番多い一つのキー値ブロックであってもよい。

オプションとして、サブジェクト値の識別モジュール３３０は、具体的には、現在処理中の目標キー値ブロックの前記目標ウェブページにおけるページ位置に基づいて、前記ウェブページソースコードデータにおいて第２のタグ条件を満たすストロングスタイルノードを、前を向いて検索し、前記ストロングスタイルノードが検索され、前記ストロングスタイルノードのｘｐａｔｈが前記目標キー値ブロックに対応するｘｐａｔｈと一致しない場合、前記ストロングスタイルノードに対応するテキストデータを前記目標キー値ブロックのサブジェクト値としてもよい。

オプションとして、サブジェクト値の識別モジュール３３０は、具体的には、現在処理中の目標キー値ブロックに含まれたキー値ペアのキー名を、設定されたホワイトリストとマッチングし、前記目標キー値ブロックに含まれた目標キー名が前記ホワイトリストにマッチングされると決定された場合、前記目標キー名に対応する目標キー値を、前記目標キー値ブロックのサブジェクト値として取得してもよい。

前記エンティティ関係データ生成装置は、目標ウェブページに対応するウェブページソースコードデータを取得するステップの後に、検索エンジンのクリック表示ログで、前記目標ウェブページのユニフォームリソースロケータに対応する少なくとも一つのクエリ式を取得し、取得された前記少なくとも一つのクエリ式を前記ウェブページソースコードデータと関連付けるためのクエリ式取得モジュールをさらに備えてもよい。

これに応じて、サブジェクト値の識別モジュール３３０は、現在処理中の目標キー値ブロックが主キー値ブロックであると決定された場合、前記ウェブページソースコードデータと関連付けられた前記少なくとも一つのクエリ式における各分詞の単語頻度に基づいて、目標分詞を決定するための分詞決定サブモジュールと、前記ウェブページソースコードデータにおいて、テキストデータと前記目標分詞とが類似度条件を満たす少なくとも一つのクエリ式ノードを検索するためのノード検索サブモジュールと、検索されたクエリ式ノードのｘｐａｔｈと現在処理中の目標キー値ブロックに対応するｘｐａｔｈとが同一でなく、前記目標ウェブページにおいて、前記クエリ式ノードのページ位置と前記目標キー値ブロックのページ位置とが設定距離条件を満たす場合、前記クエリ式ノードのテキストデータを前記目標キー値ブロックのサブジェクト値とするためのサブジェクト値決定サブモジュールと、を備えてもよい。

オプションとして、分詞決定サブモジュールは、具体的には、前記少なくとも一つのクエリ式を分詞処理し、各前記分詞の単語頻度を算出し、単語頻度算出結果に基づいて、少なくとも二つの分詞が単語結合条件を満たすと決定された場合、前記少なくとも二つの分詞を結合して新たな分詞を生成し、前記新たな分詞に対応する単語頻度を更新し、単語頻度による各分詞の順序付け結果に基づいて決定された第１の順位の分詞と第２の順位の分詞との間の単語の頻度差とが単語頻度閾値条件を満たす場合、前記第１の順位の分詞を前記目標分詞としてもよい。

オプションとして、サブジェクト値の識別モジュール３３０は、具体的には、前記目標ウェブページのユニフォームリソースロケータに基づいて、前記目標ウェブページに対応する目標サイトを決定し、予め記憶されている前記目標サイトに対応する少なくとも一つの候補テンプレートを取得し、前記候補テンプレートに基づいて現在処理中のキー値ブロックに対応するサブジェクト値を識別してもよい。前記目標サイト内の候補テンプレートは、前記目標サイトの複数のウェブページをキー値ペア識別した後、識別結果によって生成されたものであってもよい。

オプションとして、エンティティ関係データ生成装置は、前記ウェブページソースコードデータにおいて、前記少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップの後に、少なくとも一つの統計チェックテンプレート、及び／又は、少なくとも一つの規則チェックテンプレートを使用して、前記少なくとも一つのキー値ブロックに対応するサブジェクト値に基づいて、前記少なくとも一つのキー値ブロックをフィルタリングするためのテンプレートフィルタリングモジュールをさらに備えてもよい。

オプションとして、エンティティ関係データ生成装置は、前記目標ウェブページのユニフォームリソースロケータに対応する目標サイト内の各ウェブページにおいて、識別されたキー値ブロックに対応するサブジェクト値を処理サブジェクト値として、それぞれ取得するためのサブジェクト値取得モジュールと、ｘｐａｔｈが同一である目標処理サブジェクト値の数が第１の数閾値を超える場合、前記目標サブジェクト値のｘｐａｔｈと、前記目標サブジェクト値それぞれに対応するキー値ブロックとに基づいて、少なくとも一つの予備統計チェックテンプレートを構築するためのテンプレート構築モジュールと、予備統計チェックテンプレートにそれぞれ対応するキー値ブロックを取得するためのキー値ブロック取得モジュールと、一つの目標予備統計チェックテンプレートに対応する複数のキー値ブロックのうち同一のキー値ブロックの数が第２の数閾値を超える場合、前記予備統計チェックテンプレートにおいて当該目標予備統計チェックテンプレートを削除して、前記統計チェックテンプレートを取得するためのテンプレート決定モジュールと、をさらに備えてもよい。

オプションとして、データ生成モジュール３４０は、具体的には、前記キー値ブロックに含まれたそれぞれのキー値ペアと、前記キー値ブロックに対応するサブジェクト値と、をそれぞれ組み合わせてトリプルデータを構築し、前記トリプルデータに含まれたキー名をサブジェクトオブジェクト関係値とし、キー名に対応するキー値をオブジェクト値として、前記エンティティ関係データを生成する。

上記製品は、本発明の任意の実施例によって提供される方法を実行することができ、方法を実行するための該当する功能モジュール、及び、有益な効果を有する。

実施例４
図４は、本発明の実施例４によって提供されるコンピュータ機器の構成を示す概略図である。図４は、本発明の実施形態を実現するための例示的なコンピュータ機器のブロック図を示す。図４に示すコンピュータ機器１２は、一例に過ぎず、本発明の実施例の機能及び使用範囲を限定するものではない。

図４に示すように、コンピュータ機器１２は、汎用の計算装置の形で具体化されている。コンピュータ機器１２の構成要素は、１つ又は複数のプロセッサ又は処理ユニット１６、システムメモリ２８、システム構成要素（システムメモリ２８と処理ユニット１６とを含む）を接続するバス１８を含むが、これらに限定されない。

バス１８は、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ、又は多様なバス構造のいずれかのバス構造を使用するローカルバスを含む、いくつかのタイプのバス構造のうちの１つ又は複数を表す。例えば、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、以下ＩＳＡと略する）バス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ、以下ＭＣＡと略する）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ、，以下ＶＥＳＡと略する）ローカルバス、及びペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ、以下ＰＣＩと略する）バスを含むが、これらに限定されない。

コンピュータ機器１２は、通常、複数のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体を含む、コンピュータ機器１２によってアクセスされ取得する任意の使用可能な媒体であってもよい。

システムメモリ２８は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、以下ＲＡＭと略する）３０及び／又はキャッシュメモリ３２のような揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含むことができる。コンピュータ機器１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含むことができる。例だけであるが、ストレージシステム３４は、ノンリムーバブル、不揮発性磁気媒体（図４に図示せず、通常「ハードディスクドライブ」と称される）に対して読み出し及び書き込みをするために用いることができる。図４に示されていないが、リムーバブル不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み出し及び書き込みをするための磁気ディスクドライブ、及びリムーバブル不揮発性光学ディスク（例えば、シーディーロム（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、以下ＣＤ−ＲＯＭと略する）、ディーブイディーロム（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、以下ＤＶＤ−ＲＯＭと略する）又は他の光学媒体）に対して読み出し及び書き込みをするための光ディスクドライブを提供することができる。これらの場合、各ドライブは、１つ又は複数のデータメディアインターフェイスを介してバス１８に接続することができる。メモリ２８は、本発明の各実施例に記載の機能を実行するように構成される１セットの（例えば、少なくとも１つ）プログラムモジュールを有する少なくとも１つのプログラム製品を含むことができる。

１セットの（少なくとも１つ）プログラムモジュール４２を有するプログラム／ユーティリティ４０は、例えば、メモリ２８に記憶されてもよく、このようなプログラムモジュール４２は、オペレーティングシステム、１つ又は複数のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含むが、これらに限定されない。これらの例のそれぞれ又はある組み合わせには、ネットワーキング環境の実装が含まれる可能性がある。プログラムモジュール４２は、通常、本発明に記載の実施例における機能及び／又は方法を実行する。

コンピュータ機器１２は、１つ又は複数の外部デバイス１４（例えば、キーボード、ポインティングデバイス、ディスプレイ２４など）と通信することができ、また、ユーザが当該コンピュータ機器１２とインタラクションすることを可能にする１つ又は複数のデバイスと通信することができ、及び／又は、当該コンピュータ機器１２が１つ又は複数の他のコンピューティングデバイスと通信することを可能にする任意のデバイス（例えば、ネットワークカード、モデムなど）と通信することもできる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェース２２を介して行うことができる。また、コンピュータ機器１２は、ネットワークアダプタ２０を介して、１つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、以下ＬＡＮと略する）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、以下ＷＡＮと略する）、及び／又はパブリックネットワーク、例えば、インターネット）と通信することができる。図に示すように、ネットワークアダプタ２０は、バス１８を介してコンピュータ機器１２の他のモジュールと通信する。なお、図示されていないが、マイクロコード、デバイスドライバ、冗長化処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライバ、及びデータバックアップストレージシステムなどを含むが、これらに限定されない他のハードウェア及び／又はソフトウェアモジュールをコンピュータ機器１２と組み合わせて使用することができる。

処理ユニット１６は、メモリ２８に記憶されているプログラムを実行することにより、多様な機能アプリケーション及びデータ処理を実行し、例えば、本発明の実施例によって提供されるエンティティ関係データ生成方法を以下のように実現する。前記方法は、目標ウェブページに対応するウェブページソースコードデータを取得するステップと、前記ウェブページソースコードデータにおいて、少なくとも一つのキー値ペアが含まれたキー値ブロックを少なくとも一つ識別するステップと、前記ウェブページソースコードデータにおいて、前記少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップと、前記キー値ブロックと前記キー値ブロックに対応するサブジェクト値とに基づいて、前記目標ウェブページに対応するエンティティ関係データを生成するステップと、を含む。

実施例５
本発明の実施例５は、コンピュータ読み取り可能な記憶媒体を提供する。当該コンピュータ読み取り可能な記憶媒体上には、コンピュータプログラムが格納されており、当該プログラムがプロセッサによって実行されると、本願のすべての発明の実施例によって提供されるエンティティ関係データ生成方法が実現される。当該方法は、目標ウェブページに対応するウェブページソースコードデータを取得するステップと、前記ウェブページソースコードデータにおいて、少なくとも一つのキー値ペアを含む少なくとも一つキー値ブロックを識別するステップと、前記ウェブページソースコードデータにおいて、前記少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップと、前記キー値ブロックと前記キー値ブロックに対応するサブジェクト値とに基づいて、前記目標ウェブページに対応するエンティティ関係データを生成するステップと、を含む。

１つ又は複数のコンピュータ読み取り可能な媒体の任意の組み合わせを採用してもよい。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は、半導体のシステム、装置又はデバイス、又は、任意の以上の組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的リスト）は、１つ又は複数のワイヤを有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ(ＲＯＭ)、消去可能プログラマブル読み取り専用メモリ(ＥＰＲＯＭ又はフラッシュメモリ)、光ファイバ、携帯用コンパクトディスク読み取り専用メモリ(ＣＤ−ＲＯＭ)、光記憶装置、磁気記憶装置、又は、上記の任意の適切な組み合わせを含む。本明細書では、コンピュータ読み取り可能な記憶媒体は、プログラムを含むか又は記憶されている任意の有形の媒体であってもよく、当該プログラムは、命令実行システム、装置、又は、デバイスによって使用されるか、又は、これらと結合して使用されてもよい。

コンピュータ読み取り可能なの信号媒体は、コンピュータ読み取り可能なプログラムコードを搬送する、ベースバンドで伝播されるか又は搬送波の一部として伝播されるデータ信号を含むことができる。このような伝播されるデータ信号は、電磁信号、光信号、又はこれらの任意の適切な組み合わせを含むがこれらに限定されない、さまざまな形態を採用してもよい。コンピュータ読み取り可能なの信号媒体は、また、命令実行システム、装置又はデバイスによって使用される又はそれらと結合して使用するためのプログラムを送信、伝播、又は、移送することができる、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよい。

コンピュータ読み取り可能な媒体に含まれたプログラムコードは、無線、ワイヤ、光ファイバケーブル、ＲＦなど、又はこれらの任意の適切な組合せを含むがこれらに限定されない、任意の適切な媒体によって送信することができる。

本発明の動作を実行するためのコンピュータプログラムコードは、１つ又は複数のプログラミング言語、又はそれらの組み合わせで書くことができ、前記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ ＋＋などのオブジェクト指向プログラミング言語を含み、さらに、「Ｃ」言語又は類似のプログラミング言語などの従来の手続き型プログラミング言語も含む。プログラムコードは、完全にユーザのコンピュータ上、部分的にユーザのコンピュータ上、単独のソフトウェアパッケージとして、部分的にユーザのコンピュータ上、部分的にリモートコンピュータ上で、又は全体的にリモートコンピュータ又はサーバ上で実行されることができる。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続することができ、又は、外部コンピュータに接続することができる（例えばインターネットサービスプロバイダを使用してインターネットに接続する）。

なお、本発明のより好ましい実施例及び運用された技術原理のみであることに気づかなければならない。当業者であれば、本発明はここに記載の特定の実施例に限定されず、当業者にとっては本発明の保護範囲を離脱せず、様々な明らかな変化、再度の調整及び切り替えを行うことができることが理解できるはずである。したがって、上記の実施例を通じて本発明をより詳細に説明したが、本発明は上記の実施例に限定されず、本発明の思想を離脱しない前提で、より多くの他の等価の実施例を含むことができるが、本発明の範囲は特許請求の範囲によって決定される。

Claims (15)

1. 目標ウェブページに対応するウェブページソースコードデータを取得するステップと、
   前記ウェブページソースコードデータにおいて、少なくとも一つのキー値ペアを含む少なくとも一つのキー値ブロックを識別するステップと、
   前記ウェブページソースコードデータにおいて、前記少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップと、
   前記キー値ブロックと前記キー値ブロックに対応するサブジェクト値とに基づいて、前記目標ウェブページに対応するエンティティ関係データを生成するステップと、を含み、
   前記ウェブページソースコードデータにおいて、前記少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップが、
   現在処理中の目標キー値ブロックが主キー値ブロックであり、前記ウェブページソースコードデータに第１のタグ条件を満たすエンティティページノードが含まれていることが決定された場合、エンティティページのスコアリング規則に従って、前記目標ウェブページがエンティティページであるか否かを判断するステップと、
   前記目標ウェブページがエンティティページである場合、前記エンティティページノードに対応するテキストデータを前記目標キー値ブロックのサブジェクト値とするステップと、を含み、
   前記主キー値ブロックは、前記ウェブページソースコードデータに対応する少なくとも一つのキー値ブロックのうち、含まれたキー値ペアの数が一番多い一つのキー値ブロックであるエンティティ関係データ生成方法。
2. 目標ウェブページに対応するウェブページソースコードデータを取得するステップと、
   前記ウェブページソースコードデータにおいて、少なくとも一つのキー値ペアを含む少なくとも一つのキー値ブロックを識別するステップと、
   前記ウェブページソースコードデータにおいて、前記少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップと、
   前記キー値ブロックと前記キー値ブロックに対応するサブジェクト値とに基づいて、前記目標ウェブページに対応するエンティティ関係データを生成するステップと、を含み、
   前記ウェブページソースコードデータにおいて、前記少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップが、
   現在処理中の目標キー値ブロックに含まれたキー値ペアのキー名を、設定されたホワイトリストとマッチングするステップと、
   前記目標キー値ブロックに含まれた目標キー名が前記ホワイトリストにマッチングされると決定された場合、前記目標キー名に対応する目標キー値を、前記目標キー値ブロックのサブジェクト値として取得するステップと、を含むエンティティ関係データ生成方法。
3. 目標ウェブページに対応するウェブページソースコードデータを取得するステップと、
   前記ウェブページソースコードデータにおいて、少なくとも一つのキー値ペアを含む少なくとも一つのキー値ブロックを識別するステップと、
   前記ウェブページソースコードデータにおいて、前記少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップと、
   前記キー値ブロックと前記キー値ブロックに対応するサブジェクト値とに基づいて、前記目標ウェブページに対応するエンティティ関係データを生成するステップと、を含み、
   前記ウェブページソースコードデータにおいて、前記少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップが、
   前記目標ウェブページのユニフォームリソースロケータに基づいて、前記目標ウェブページに対応する目標サイトを決定するステップと、
   予め記憶されている前記目標サイトに対応する少なくとも一つの候補テンプレートを取得し、前記候補テンプレートに基づいて現在処理中のキー値ブロックに対応するサブジェクト値を識別するステップと、を含み、
   前記目標サイト内の候補テンプレートは、前記目標サイトの複数のウェブページをキー値ペア識別した後、識別結果によって生成されたものであるエンティティ関係データ生成方法。
4. 前記ウェブページソースコードデータにおいて、少なくとも一つのキー値ブロックを識別するステップが、
   基礎解析ツールを使用して、前記ウェブページソースコードデータをデータ解析し、少なくとも一つの基礎キー値ペアを取得して、キー値ペアセットに追加するステップと、
   前記基礎キー値ペアをキー値ペア拡張し、少なくとも一つの拡張キー値ペアを取得して、前記キー値ペアセットに追加するステップと、
   前記キー値ペアセットに含まれたキー値ペアを併合処理して、前記少なくとも一つのキー値ブロックを取得するステップと、を含む請求項１から３のいずれか一項に記載のエンティティ関係データ生成方法。
5. 前記基礎キー値ペアをキー値ペア拡張し、少なくとも一つの拡張キー値ペアを取得して、前記キー値ペアセットに追加するステップが、
   前記ウェブページソースコードデータにおいて、前記基礎キー値ペアとマッチングされる基礎ノードの基礎ｘｐａｔｈを取得し、ｘｐａｔｈが前記基礎ｘｐａｔｈと同一である拡張ノードを検索し、前記拡張ノードに対応するテキストデータを前記拡張キー値ペアとして取得するステップ、及び／又は、
   前記ウェブページソースコードデータにおいて、前記基礎キー値ペアとマッチングされる基礎ノードの基礎ｈｔｍｌタグを取得し、前記基礎ｈｔｍｌタグに基づいて、少なくとも一つの拡張ｈｔｍｌタグを決定し、前記ウェブページソースコードデータにおいて、前記拡張ｈｔｍｌタグとマッチングされる拡張ノードを検索し、前記拡張ノードに対応するテキストデータを前記拡張キー値ペアとして取得するステップ、
   を含む請求項４に記載のエンティティ関係データ生成方法。
6. 前記キー値ペアセットに含まれたキー値ペアを併合処理して、前記少なくとも一つのキー値ブロックを取得するステップが、
   前記キー値ペアセットにおけるキー値ペアの前記目標ウェブページにおけるページ位置を位置決めするステップと、
   ページ位置が連続される少なくとも二つのキー値ペアを一つのキー値ブロックに併合し入れるステップと、を含む請求項４に記載のエンティティ関係データ生成方法。
7. 前記キー値ペアセットに含まれたキー値ペアを併合処理して、前記少なくとも一つのキー値ブロックを取得するステップの後に、
   キー値ペアのフィルタリング規則に従って、前記少なくとも一つのキー値ブロックに含まれたキー値ペアをフィルタリング処理するステップと、
   キー値ブロックのフィルタリング規則に従って、前記少なくとも一つのキー値ブロックをフィルタリング処理するするステップと、
   を含む請求項４に記載のエンティティ関係データ生成方法。
8. 前記ウェブページソースコードデータにおいて、前記少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するステップの後に、
   少なくとも一つの統計チェックテンプレート及び少なくとも一つの規則チェックテンプレートを使用して、前記少なくとも一つのキー値ブロックに対応するサブジェクト値に基づいて、前記少なくとも一つのキー値ブロックをフィルタリングするステップを含む請求項１から７のいずれか一項に記載のエンティティ関係データ生成方法。
9. 前記目標ウェブページのユニフォームリソースロケータに対応する目標サイト内の各ウェブページにおいて、識別されたキー値ブロックに対応するサブジェクト値を処理サブジェクト値としてそれぞれ取得するステップと、
   ｘｐａｔｈが同一である目標処理サブジェクト値の数が第１の数閾値を超える場合、前記目標サブジェクト値のｘｐａｔｈと、前記目標サブジェクト値にそれぞれ対応するキー値ブロックとに基づいて、少なくとも一つの予備統計チェックテンプレートを構築するステップと、
   予備統計チェックテンプレートにそれぞれ対応するキー値ブロックを取得するステップと、
   一つの目標予備統計チェックテンプレートに対応する複数のキー値ブロックのうち同一のキー値ブロックの数が第２の数閾値を超える場合、前記予備統計チェックテンプレートにおいて当該目標予備統計チェックテンプレートを削除して、前記統計チェックテンプレートを取得するステップと、
   を含む請求項８に記載のエンティティ関係データ生成方法。
10. 前記キー値ブロックと前記キー値ブロックに対応するサブジェクト値とに基づいて、前記目標ウェブページに対応するエンティティ関係データを生成するステップが、
    前記キー値ブロックに含まれた各キー値ペアと、前記キー値ブロックに対応するサブジェクト値と、をそれぞれ組み合わせて、トリプルデータを構築するステップと、
    前記トリプルデータに含まれたキー名をサブジェクトオブジェクト関係値とし、キー名に対応するキー値をオブジェクト値として、前記エンティティ関係データを生成するステップと、
    を含む請求項１から３のいずれか一項に記載のエンティティ関係データ生成方法。
11. 目標ウェブページに対応するウェブページソースコードデータを取得するためのソースコード取得モジュールと、
    前記ウェブページソースコードデータにおいて、少なくとも一つのキー値ペアを含む少なくとも一つのキー値ブロックを識別するためのキー値ブロック識別モジュールと、
    前記ウェブページソースコードデータにおいて、前記少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するためのサブジェクト値識別モジュールと、
    前記キー値ブロックと前記キー値ブロックに対応するサブジェクト値とに基づいて、前記目標ウェブページに対応するエンティティ関係データを生成するためのデータ生成モジュールと、
    を備え、
    前記サブジェクト値識別モジュールが、
    現在処理中の目標キー値ブロックが主キー値ブロックであり、前記ウェブページソースコードデータに第１のタグ条件を満たすエンティティページノードが含まれていることが決定された場合、エンティティページのスコアリング規則に従って、前記目標ウェブページがエンティティページであるか否かを判断し、
    前記目標ウェブページがエンティティページである場合、前記エンティティページノードに対応するテキストデータを前記目標キー値ブロックのサブジェクト値とし、
    前記主キー値ブロックは、前記ウェブページソースコードデータに対応する少なくとも一つのキー値ブロックのうち、含まれたキー値ペアの数が一番多い一つのキー値ブロックであるエンティティ関係データ生成装置。
12. 目標ウェブページに対応するウェブページソースコードデータを取得するためのソースコード取得モジュールと、
    前記ウェブページソースコードデータにおいて、少なくとも一つのキー値ペアを含む少なくとも一つのキー値ブロックを識別するためのキー値ブロック識別モジュールと、
    前記ウェブページソースコードデータにおいて、前記少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するためのサブジェクト値識別モジュールと、
    前記キー値ブロックと前記キー値ブロックに対応するサブジェクト値とに基づいて、前記目標ウェブページに対応するエンティティ関係データを生成するためのデータ生成モジュールと、
    を備え、
    前記サブジェクト値識別モジュールが、
    現在処理中の目標キー値ブロックに含まれたキー値ペアのキー名を、設定されたホワイトリストとマッチングし、
    前記目標キー値ブロックに含まれた目標キー名が前記ホワイトリストにマッチングされると決定された場合、前記目標キー名に対応する目標キー値を、前記目標キー値ブロックのサブジェクト値として取得するエンティティ関係データ生成装置。
13. 目標ウェブページに対応するウェブページソースコードデータを取得するためのソースコード取得モジュールと、
    前記ウェブページソースコードデータにおいて、少なくとも一つのキー値ペアを含む少なくとも一つのキー値ブロックを識別するためのキー値ブロック識別モジュールと、
    前記ウェブページソースコードデータにおいて、前記少なくとも一つのキー値ブロックに対応するサブジェクト値を識別するためのサブジェクト値識別モジュールと、
    前記キー値ブロックと前記キー値ブロックに対応するサブジェクト値とに基づいて、前記目標ウェブページに対応するエンティティ関係データを生成するためのデータ生成モジュールと、
    を備え、
    前記サブジェクト値識別モジュールが、
    前記目標ウェブページのユニフォームリソースロケータに基づいて、前記目標ウェブページに対応する目標サイトを決定し、
    予め記憶されている前記目標サイトに対応する少なくとも一つの候補テンプレートを取得し、前記候補テンプレートに基づいて現在処理中のキー値ブロックに対応するサブジェクト値を識別し、
    前記目標サイト内の候補テンプレートは、前記目標サイトの複数のウェブページをキー値ペア識別した後、識別結果によって生成されたものであるエンティティ関係データ生成装置。
14. 一つ又は複数のプロセッサと、
    一つ又は複数のプログラムを記憶するための記憶装置と、
    を備え、
    前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行されると、前記一つ又は複数のプロセッサが、請求項１から１０のいずれか一項に記載のエンティティ関係データ生成方法を実現するコンピュータ機器。
15. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    当該プログラムがプロセッサによって実行される場合、請求項１から１０のいずれか一項に記載のエンティティ関係データ生成方法が実現されることを特徴とする、コンピュータ読み取り可能な記憶媒体。
    

Images