JP6982347B1 - コンピュータ言語処理における文書抽出プログラム、意味的に類似する文書抽出方法および言語処理装置 - Google Patents

Abstract

【課題】ユーザが求める文書に類似する文書を簡便に抽出するプログラム、文書抽出方法及び言語処理装置を提供する。【解決手段】言語処理装置１０のプログラムは、コンピュータに、第１の文書を、形態素解析に用いられる辞書に基づき形態素に区切られた文書に変換する第１の変換処理と、第１の文書との関連性が判定される第２の文書を、形態素解析に用いられる辞書に基づき形態素に区切られた文書に変換する第２の変換処理と、第１の文書の形態素と第２の文書の形態素とで、一致する形態素を計数する計数処理と、計数処理の結果に基づき第１の文書と第２の文書との関連性を判定し、第１の文書と関連性のある第２の文書の一部またはすべてを抽出する抽出処理と、を実行させる。【選択図】図１

Description

本発明は、コンピュータ言語処理における言語関連処理で意味的に類似する文書を抽出するプログラム、文書抽出方法および言語処理装置に関する。

ユーザが指定したキーワード（有効語彙＝単語および連続する語彙）又は文章（よく使われる文章）を設定し、設定されたキーワード、文章に関係するキーワード又は文章を検索するサービスが提供されている。

例えば、特許文献１に記載された類似テキスト抽出装置は、複数の対象テキストのそれぞれについて、単語分割を行い、単語ベクトルを生成する。また、この類似テキスト抽出装置は、その単語ベクトルに基づいて、前記対象テキストの特徴を示す文ベクトルを生成する。さらに、類似テキスト抽出装置は、その文ベクトルに基づいて、前記複数の対象テキストから互いに類似する対象テキストを抽出する。

特開２０１９−１０９６５４号公報

特許文献１によると、類似文章抽出装置は、対象テキストを単語に分割する。この類似文章抽出装置は、分割した単語のそれぞれについて、名詞、動詞、形容詞、形容動詞、助動詞、助詞などの品詞を判別する。さらに、この類似文章抽出装置は、分割した単語から助詞などの機能表現を除外した単語を単語ベクトルとして生成する。類似文章抽出装置は、その単語ベクトルを基に文ベクトルを生成する。類似文章抽出装置は、その文ベクトルに基づき類似度を算出し、類似テキストを抽出する。一方、特許文献１では、類似文章抽出装置が助詞などの機能表現を除外するので、ユーザが求める文書を抽出できないことが生じ得る。本発明は、意味的に類似する文章（文書）を従来よりも精度よく、かつ、簡便に抽出するプログラム等を提供することを目的とする。

本発明の実施形態の一側面は、コンピュータに処理を実行させるプログラムによって例示される。
本プログラムは、コンピュータに、
第１の文書を、形態素解析に用いられる辞書に基づき形態素に区切られた文書に変換する第１の変換処理と、
前記第１の文書との関連性が判定される第２の文書を、前記形態素解析に用いられる辞書に基づき形態素に区切られた文書に変換する第２の変換処理と、
前記第１の文書の形態素と前記第２の文書の形態素とで、一致する形態素を計数する計数処理と、
前記計数処理の結果に基づき前記第１の文書と前記第２の文書との関連性を判定し、前記第１の文書と関連性のある前記第２の文書の一部またはすべてを抽出する抽出処理と、
を実行させる。

以上説明したように、本発明は、ユーザが求める文書に類似する文書を簡便に抽出するプログラム等を提供することができる。

図１は、本発明に係る言語処理装置のブロック図である。 図２は、本発明の実施例における、第１の文書を形態素に区切られた文書に変換し、重複する形態素を削除する処理を例示するフローチャートである。 図３は、本発明の実施例における、第２の文書を形態素に区切られた文書に変換し、重複する形態素を削除する処理を例示するフローチャートである。 図４は、本発明の実施例における、第１の文書と第２の文書とで、一致する言語数を計数する処理のフローチャートである。 図５は、本発明の実施例における、抽出文書生成部の処理を例示するフローチャートである。 図６は、本発明の実施例における、言語処理装置の処理を例示するフローチャートである。 図７は、本発明の実施例における、文書を抽出する処理の例である。 図８は、本発明の実施例における、文書を抽出する処理の例である。 図９は、従来技術における、文書を抽出する処理の例である。 図１０は、従来技術における、文書を抽出する処理の例である。 図１１は、従来技術における、文書を抽出する処理の例である。

以下、図面に基づいて、本発明の一実施の形態（実施例とも言う）における文書抽出プログラム、文書抽出方法および言語処理装置を説明する。
＜実施例＞
図１〜図８を用いて、実施例について説明する。
図１は、本実施例における言語処理装置のハードウェア構成を例示するブロック図である。言語処理装置１０は、ＣＰＵ（Central Processing Unit）１０１と、主記憶部１０
２と、各種インターフェースを通じて接続される入出力部品を有する。ＣＰＵ１０１は、主記憶部１０２に記憶されるプログラムにより情報処理を実行する。
言語処理装置１０は、例えば、有線インターフェース（以下、有線Ｉ／Ｆと言う）１０３と、通信インターフェース（以下、通信Ｉ／Ｆと言う）１０４と、外部記憶部１０５と、入力装置１０６と、出力装置１０７と、を備える。ここで、言語処理装置１０は、例えば、パーソナルコンピュータ、スマートフォン、携帯情報端末と呼ばれる電子機器である。

ＣＰＵ１０１は、抽出文書生成部１０１１と、抽出文書記憶部１０１２と、入力文取得部１０１３と、言語抽出部１０１４と、言語整理部１０１５と、対象抽出部１０１６と、抽出結果出力部１０１７と、を含み、主記憶部１０２に実行可能に展開されたコンピュータプログラムを実行し、言語処理装置１０の機能を提供する。ＣＰＵ１０１は、マルチコアであってもよいし、信号処理等を実行する専用プロセッサを含んでもよい。ＣＰＵ１０１は、信号処理、積和演算、ベクトル演算、その他の処理を実行する専用のハードウェア回路を含んでもよい。図１の構成は、ＣＰＵ１０１の一例である。実施例において、言語処理装置１０が図１の構成に限定される訳ではない。例えば、外部の言語処理装置等が抽出文書生成部１０１１と、抽出文書記憶部１０１２と、入力文取得部１０１３と、言語抽出部１０１４と、言語整理部１０１５と、対象抽出部１０１６と、抽出結果出力部１０１７のいずれかを有しており、有線Ｉ／Ｆ１０３、通信Ｉ／Ｆ１０４又は無線Ｉ／Ｆを介してそれらに接続するものであってもよい。抽出文書生成部１０１１と、抽出文書記憶部１０１２と、入力文取得部１０１３と、言語抽出部１０１４と、言語整理部１０１５と、対象抽出部１０１６と、抽出結果出力部１０１７のいずれかが有線Ｉ／Ｆ１０３、通信Ｉ／
Ｆ１０４又は無線Ｉ／Ｆを介してＣＰＵ１０１に接続されるものであっても、ＣＰＵ１０１は、実施例に例示した処理を実施できる。

ＣＰＵ１０１は制御回路の一種である。ＣＰＵ１０１の代わりにＭＰＵ（Micro Processing Unit）や、ＧＰＵ（Graphics Processing Unit）等の各種プロセッサが用いられて
もよい。ＣＰＵ１０１は、言語処理装置１０全体を制御する機能を有する。

ＣＰＵ１０１は、言語処理装置１０が備える主記憶部１０２、又は、有線Ｉ／Ｆ１０３を経由して接続された外部記憶部１０５に格納された所定のアプリケーションを実行することにより、出力装置１０７にユーザが求める文書の抽出結果を提供する。これにより、ＣＰＵ１０１は、ユーザが求める文書の抽出を行うための動作を入力装置１０６に実施させることができる。

主記憶部１０２は、ＣＰＵ１０１が実行するコンピュータプログラム、ＣＰＵ１０１が処理するデータ等を記憶する。主記憶部１０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）など揮発性記憶装置を含んで構成され、ＣＰＵ１０１が使用するプログラムや演算パラメータなどの制御用データを一時的に記憶する。主記憶部１０２は、例えば、主メモリと、読取専用メモリとを含む。主記憶部１０２はまた、動的ランダムアクセスメモリ（ＤＲＡＭ）および高速キャッシュメモリを含む。動作および使用時、主記憶部１０２は、処理データが主記憶部１０２内に記憶されると、ＣＰＵ１０１による実行のための命令の少なくとも一部を記憶する。

言語処理装置１０は、主記憶部１０２の他に外部記憶部１０５を有してもよい。外部記憶部１０５は、例えば、主記憶部１０２を補助する記憶領域として使用され、ＣＰＵ１０１が実行するコンピュータプログラム、ＣＰＵ１０１が処理するデータ等を記憶する。外部記憶部１０５は、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）で例示されるディス
クドライブなどの不揮発性記憶装置を含む。ユーザの認証プログラムや、各種画像やオブジェクトに関するデータを含む文書抽出プログラム等が格納される。外部記憶部１０５には、さらに、各種データを管理するためのテーブルを含むデータベースが構築されていてもよい。

有線Ｉ／Ｆ１０３は、ＣＰＵ１０１と外部記憶部１０５、入力装置１０６及び出力装置１０７の間における情報を伝達する。伝達される情報は、例えば、ＣＰＵ１０１が実行するコンピュータプログラム、ＣＰＵ１０１が処理するデータ等の情報である。有線Ｉ／Ｆ１０３は、ＵＳＢ（Universal Serial Bus）端子、ＤＶＩ（Digital Visual Interface）端子及びＨＤＭＩ（登録商標）（High−Definition Multimedia Interface）端子等の各
種接続端子を含んで構成され、ＣＰＵ１０１と外部記憶部１０５等を接続する。これに限らず、有線Ｉ／Ｆ１０３の代わりに、無線Ｉ／Ｆが、ＣＰＵ１０１と外部記憶部１０５、入力装置１０６及び出力装置１０７のいずれか、又は、それらのすべてを接続してもよい。 無線Ｉ／Ｆは、例えば、Bluetooth Low Energy (ＢＬＥ)、無線ＬＡＮ等である。

図１の構成は、言語処理装置１０の一例であって、実施例において、言語処理装置１０が図１の構成に限定される訳ではない。外部記憶部１０５、入力装置１０６及び出力装置１０７のいずれかが無線Ｉ／Ｆを介してＣＰＵ１０１に接続されるものであっても、ＣＰＵ１０１は、実施例に例示した処理を実施できる。

通信Ｉ／Ｆ１０４は、ネットワークＮを介して他の装置とデータを授受する。通信Ｉ／Ｆ１０４は、例えば、携帯電話網の基地局と接続可能な端末側の通信装置である。通信Ｉ／Ｆ１０４は、無線ＬＡＮ（Local Area Network）へのインターフェース、Bluetooth（
登録商標）, Bluetooth Low Energy (ＢＬＥ)のインターフェースを含んでもよい。

入力装置１０６は、ユーザが入力操作を行うための操作デバイスである。具体的には、入力装置１０６としては、マウス等のポインティング・デバイスやキーボード等が用いられる。また、出力装置１０７の表示画面に重ねて設けられたタッチ・パネルを入力装置１０６として用いてもよい。

出力装置１０７は、例えば、液晶ディスプレイ、エレクトロルミネッセンスパネル等である。出力装置１０７は、ＣＰＵ１０１の制御により、処理対象である電子文書を表示する。また、出力装置１０７は、ＣＰＵ１０１により行われた処理の結果を表示する。信号処理専用のプロセッサとメモリ等に記憶されたプログラムによって形成されてもよい。出力装置１０７は、専用のハードウェア回路を含んでもよい。ただし、後述する実施例の処理は、ネットワークＮ上の他の言語処理装置によって実行されてもよい。この場合には、入力装置１０６は、他の言語処理装置と連携して言語処理の結果をユーザに提供する。

抽出文書生成部１０１１は、ウェブコンテンツや文書ファイル等から、抽出対象となる文書（以下、第２の文書と呼ばれる）を取得して文書ファイルを作成する。本実施の形態では、言語処理装置１０は、抽出対象となる文書から、ユーザ指定の用語を含む文書の一部または全部、あるいは、ユーザ指定の文書に類似する文書の一部または全部を抽出する。ここで、ユーザ指定の用語文書またはユーザ指定の文書は、いわば、抽出の基になるデータであって、第１の文書と呼ぶ。また、抽出対象となる文書を第２の文書と呼ぶ。

また、本実施の形態で、文脈とは「言語」のまとまりを指し、「言語」とは、形態素解析に用いられる辞書に基づき、文書が形態素の単位に分割されたものを指すものとする。本解析処理は、形態素解析辞書を使用する形態素解析器によって行われてもよい。形態素解析器とは、日本語を単語に分かち書きしたり、品詞を特定したりする機能を有するツールである。ここでツールとは、コンピュータ上で利用されるプログラムであって、他のプログラムから起動されて機能を提供するものをいう。ただし、抽出文書生成部１０１１は、文書から同一の形態素が複数回取得された場合でも、該当する形態素を１つだけ文脈に含める。要するに、本実施の形態で、文脈とは、第１の文書が有する形態素であって、重複を除去した形態素の集合をいう。次に、抽出文書生成部１０１１は、作成された文書ファイルに基づき、抽出文書情報を作成する。一例として、抽出文書情報は、言語データ、対象情報、及び抽出索引データの３つから構成される。

言語データは、抽出文書生成部１０１１が取得した抽出対象となる第２の文書を、形態素解析器等を使用して、形態素の単位に分割、すなわち言語に変換したデータである。

対象情報は、取得した第２の文書のファイル毎に一意に付与した対象ＩＤ、文書ファイル名、及び格納先である。対象情報は、抽出結果出力部１０１７において、ユーザに文書の抽出結果を提示する際に、第２の文書に係る情報を表示する処理に用いる。

抽出索引データは、言語と、その言語を含む第２の文書の文書部分、すなわち言語データに係る対象ＩＤとの、ペア情報のデータである。抽出索引データのペアは、一つの言語に、一つまたは複数の対象ＩＤが対応する構成となる。抽出索引データは、後述する対象抽出部１０１６において、第１の文書に係る言語と、第２の文書の文書部分（言語データ）に係る言語とで、言語の一致を計数する処理に用いられる。

抽出文書記憶部１０１２は、抽出文書生成部１０１１で生成した抽出文書情報を記憶する。記憶は、主記憶部１０２又は外部記憶部１０５への記録によって行なわれる。抽出文書生成部１０１１及び抽出文書記憶部１０１２は、言語処理装置１０から分離した、別の装置としてもよい。

入力文取得部１０１３は、ユーザによって入力装置１０６に入力された第１の文書を取得する。ユーザによる入力操作は、パソコンのキーボード操作、タッチパネルディスプレイにおける操作が例示される。但し、入力操作は、前述の操作に限られず、音声等によって入力されてもよい。

言語抽出部１０１４は、入力文取得部１０１３にて取得した第１の文書を受け付け、形態素解析の辞書に基づき、形態素の単位に分割した言語のまとまりである文脈を出力する。分割された言語に原形が存在する場合は、その言語を原形の言語に置換してもよい。原形とは、例えば、言語が動詞の「動か（ない）」である場合、その原形は「動く」である例が挙げられる。

言語整理部１０１５は、言語抽出部１０１４で出力した文脈を受け付け、それぞれの文脈において重複する言語を削除することにより、それぞれの文脈において各言語を１つのみに整理し、重複しない言語を出力する。

対象抽出部１０１６は、言語整理部１０１５で整理した重複のない言語を有するそれぞれの文書部分に係る文脈を受け付ける。対象抽出部１０１６は、抽出文書記憶部１０１２に格納されている抽出索引データを参照し、第１の文書に係る各言語に対応する第２の文書に係る文書部分（言語データ）を取得する。対象抽出部１０１６は、第１の文書の文脈に係る言語と、第２の文書に係る言語データの言語とで、言語の順を問わず、一致する言語数を集計し、一番大きい集計値を有する文書部分を求める。対象抽出部１０１６は、一番大きい集計値が得られた文書部分を出力する。対象抽出部１０１６は、一番大きい集計値に加えて、二番目以降に大きい集計値が得られた文書部分を出力してもよい。対象抽出部１０１６は、ユーザの指定に基づき、例えば、一番大きい集計値からＮ番目に大きい集計値までの集計値が得られた文書部分を出力してもよい。これに限らず、出力する文書部分の条件を、入力装置１０６においてユーザが自由に指定できるようにしてもよい。

抽出結果出力部１０１７は、対象抽出部１０１６で抽出した第２の文書に係る文書部分に係る対象ＩＤを受け付ける。抽出結果出力部１０１７は、抽出文書記憶部１０１２に記憶されている対象情報を参照する。抽出結果出力部１０１７は、対象情報における、第２の文書に係る文書部分の対象ＩＤ毎に、対応する文書ファイル名及び格納先を取得し、抽出結果として出力する。抽出結果の出力は、例えば、出力装置１０７における表示装置への表示、主記憶部１０２又は外部記憶部１０５等の記憶装置への記録、外部装置への送信等によって行なわれる。ただし、抽出結果の出力方法は、これに限られない。

＜一致する言語の計数処理＞
次に、実施例における、第１の文書と、第１の文書との関連性が判定される第２の文書とで、一致する言語を計数する処理を、図２〜図４を用いて説明する。図２は、実施例における、第１の文書を形態素（言語）に区切られた文書に変換し、重複する言語を削除する処理を例示するフローチャートである。

言語処理を行う第１の文書として、ユーザが「機械が動かないので作業ができない」と言う文書を、言語処理装置１０の入力装置１０６に入力し、入力文取得部１０１３が該文書を取得したと仮定する（ステップＡ１）。

言語処理装置１０の言語抽出部１０１４は、入力文取得部１０１３が取得した文書を受け付け、形態素解析の辞書に基づき、形態素の単位に分割した各言語を出力する。例えば、図２に示すように、入力された第１の文書が「機械が動かないので作業ができない」である場合は、「機械｜が｜動か（Ａ１１）｜ない｜ので｜作業｜が｜でき（Ａ１２）｜な
い」と９言語に分割して出力される。さらに図２の例では、形態素に原形が存在する言語は、第１の文書における形態素は原形に置換される（ステップＡ２）。具体的には、動詞の形態素「動か」（Ａ１１）及び「でき」（Ａ１２）は、それぞれ原形の「動く」（Ａ３１）及び「できる」（Ａ３２）に置換される。従って、上記９言語に分割された文書は、「機械｜が｜動く｜ない｜ので｜作業｜が｜できる｜ない」と９言語で構成された文脈が出力装置１０７に出力される（ステップＡ３）。

言語整理部１０１５は、言語抽出部１０１４で出力した各言語を受け付け、重複する言語を削除する。具体的には、出力された言語の文脈「機械｜が（Ａ３３）｜動く｜ない（Ａ３４）｜ので｜作業｜が（Ａ３３）｜できる｜ない（Ａ３４）」には、「が」（Ａ３３）及び「ない」（Ａ３４）が各々２つ存在し、重複する。そのため、言語整理部１０１５は、重複する言語である「が」（Ａ３３）及び「ない」（Ａ３４）を各々１つ削除し、１つのみに整理する処理を行う（ステップＡ４）。従って、言語整理部１０１５が出力する文脈は、「機械｜が（Ａ５３）｜動く｜ない（Ａ５４）｜ので｜作業｜できる」の７言語を有することとなる（ステップＡ５）。

図３は、実施例における、第１の文書との関連性が判定される第２の文書を形態素（言語）に区切られた文書に変換し、重複する言語を削除する処理を例示するフローチャートである。

＜抽出文書生成部＞
図３では、第２の文書である第２の文書としてウェブコンテンツ等が想定されている。ユーザが入力した第１の文書である第１の文書に含まれる各言語と一致する言語の数が、抽出対象において計数される。図３では、第２の文書は、「作業ができないのは、機械が動かないので仕方ないです」と言う文書である（ステップＢ１）。

抽出文書生成部１０１１は、上記取得した文書を受け付け、形態素解析の辞書に基づき、形態素の単位に分割した各言語を出力する。従って、取得された「作業ができないのは、機械が動かないので仕方ないです」と言う文書は、「作業｜が｜でき｜ない｜の｜は｜機械｜が｜動か｜ない｜ので｜仕方｜ない｜です」と１４言語に分割して出力される。さらに図３の例では、形態素に原形が存在する言語は、入力された形態素が基本形の形態素に置換される。具体的には、動詞の形態素「動か」及び「でき」に原形が存在し、それぞれ「動く」及び「できる」に言語が置換される。（ステップＢ２）。従って、上記１４言語に分割された文書は、「作業｜が｜できる｜ない｜の｜は｜機械｜が｜動く｜ない｜ので｜仕方｜ない｜です」と１４言語で構成された文脈が出力される（ステップＢ３）。ただし、形態素を原形に置換する処理は必須ではない。ステップＢ２において、形態素を原形に置換する処理を行わずに、処理がステップＢ３に進んでも良い。

抽出文書生成部１０１１は、形態素の単位に分割した各言語について、重複する言語を削除する（ステップＢ４）。図３の例では、分割された言語「作業、が、できる、ない、の、は、機械、が、動く、ない、ので、仕方、ない、です」に係る文脈には、「が」が２つ、「ない」が３つ存在し、各々重複する。抽出文書生成部１０１１は、重複する言語である「が」を１つ及び「ない」を２つ削除し、「が」及び「ない」を各々１つずつに整理する処理を行う。その後、抽出文書生成部１０１１が出力する文脈は「作業｜が｜できる｜ない｜の｜は｜機械｜動く｜ので｜仕方｜です」の１１言語を有することとなる（ステップＢ５）。

図４は、実施例における、第１の文書と、第１の文書との関連性が判定される第２の文書とで、一致する言語数を計数する処理のフローチャートである。

第１の文書に係る言語は、図２のステップＡ５で説明したように「機械｜が｜動く｜ない｜ので｜作業｜できる」の７言語である（ステップＡ５）。これに対して、第２の文書に係る言語は、図３のステップＢ５で説明したように「作業｜が｜できる｜ない｜の｜は｜機械｜動く｜ので｜仕方｜です」の１１言語である。対象抽出部１０１６は、上記の７言語と１１言語を比較し、一致する言語数を計数する（ステップＣ１）。計数する際は、各言語が有する意味に基づく判定は行わない。各言語が有する文字のみを比較し、第１の文書に係る言語と、第２の文書に係る言語が一致するか否かを判定する。図４の例では、第１の文書に係る言語「機械」と、第２の文書に係る言語「機械」と言う言語は、いずれも「機」及び「械」と言う文字を有する。従って、対象抽出部１０１６は、両言語が一致すると判定する。同様の方法で、対象抽出部１０１６が、第１の文書に係る言語と、第２の文書に係る言語のすべてについて、一致する言語数の計数処理を行う。対象抽出部１０１６は、一致する言語数は「作業｜が｜できる｜ない｜機械｜動く｜ので」の７言語であると判定（計数）する（ステップＣ２）。上記のように、対象抽出部１０１６は、各言語が文字として一致するか否かのみを判定し、各言語が有する意味は考慮した判定は行わない。ただし、言語処理装置１０のＣＰＵ１０１が、各言語が有する意味を考慮した判定処理を行うようにしてもよい。

＜抽出文書生成部の処理＞
実施例における、言語処理装置１０に係るＣＰＵ１０１の抽出文書生成部１０１１による処理フローの例を、図５を用いて説明する。

抽出文書生成部１０１１は、ウェブコンテンツや文書ファイル等から、抽出対象となる第２の文書の文書ファイル名及び格納先を取得する（ステップＳ１）。抽出する対象となる第２の文書は、例えば、ユーザからの入力で指定される。

抽出文書生成部１０１１は、第２の文書を、所定の文字数を有するページ単位の文書に分割し、文書部分を作成する（ステップＳ２）。所定の文字数は、言語処理装置１０において予め設定されていてもよいし、ユーザが入力装置１０６へ入力することにより、希望する文字数を指定することができるものであってもよい。

抽出文書生成部１０１１は、上記分割した各文書部分を、改行なしの文書に変換する（ステップＳ３）。第２の文書に改行が存在すると、後述する形態素解析の際に、抽出文書生成部１０１１は、改行前後の文字が一連の形態素であると認識せず、各々の形態素であると認識し、各々の形態素について、形態素解析を行い得る。それにより、本来は一連である形態素について、適切な形態素解析（形態素に区切られた言語への変換処理）がされなくなる事態を防ぐためである。ただし、本改行処理は必須ではない。改行処理が行われずに、処理がステップＳ４に進んでもよい。

抽出文書生成部１０１１は、上記改行なしの文書に変換した文書を、形態素解析に用いられる辞書に基づき、形態素に区切られた言語からなる文書に変換し、言語データを作成する。各言語に係る品詞に原形が存在する場合は、形態素に区切られた言語を原形に置き換える処理が行われてもよい（ステップＳ４）。

抽出文書生成部１０１１は、上記形態素に区切られた言語データの各言語について、重複する言語の有無を判定する。重複する言語がある場合は、重複する言語を削除し、各言語につき１つの言語のみにする処理を行う（ステップＳ５）。重複する言語を削除する処理は必須ではない。該削除処理を行わずに、処理がステップＳ６に進んでもよい。

抽出文書生成部１０１１は、分割したページに係る文書部分の言語データ毎に、対象ＩＤを生成する（ステップＳ６）。

抽出文書生成部１０１１は、言語データが有する言語毎に、対応する対象ＩＤとのペアを生成する（ステップＳ７）。

抽出文書生成部１０１１は、抽出文書情報に言語データを追加する（ステップＳ８）。ペアの追加は、主記憶部１０２又は外部記憶部１０５への記憶のいずれにより行われても良い。

抽出文書生成部１０１１は、抽出索引データに、各言語と対応する対象ＩＤのペア情報を追加する（ステップＳ９）。ペア情報の追加は、主記憶部１０２又は外部記憶部１０５への記憶のいずれにより行われても良い。

抽出文書生成部１０１１は、抽出文書情報に対象情報（対象ＩＤ、文書ファイル名、及び格納先）を追加する（ステップＳ１０）。対象情報の追加は、主記憶部１０２又は外部記憶部１０５への記憶のいずれにより行われても良い。

抽出文書生成部１０１１は、文書を言語に変換し、分割したページ毎に対象ＩＤを生成し、抽出文書情報に対象情報を追加する処理が完了したか否かを判定する（ステップＳ１１）。処理が完了していれば、抽出文書生成部１０１１の処理は完了し（ステップＳ１１でＹＥＳ）、完了していなければ（ステップＳ１１でＮＯ）、処理がステップＳ２に戻る。

＜言語処理装置の全体処理＞
実施例における、言語処理装置１０のＣＰＵ１０１による全体処理フローの例を、図６を用いて説明する。

入力文取得部１０１３は、ユーザが入力装置１０６へ入力した抽出したい用語を含む文書を、入力装置１０６から取得する（ステップＴ１）。抽出したい用語を含む文書とは、抽出の元になる文書であり、第１の文書の一例ということができる。

言語抽出部１０１４は、改行による言語分割を避けるため、第１の文書を改行なしの文書に変換する（ステップＴ２）。ただし、本改行処理は必須ではない。改行処理が行われずに、処理がステップＴ３に進んでもよい。

言語抽出部１０１４は、上記改行なしの文書に変換された文書を、形態素解析の辞書に基づき、形態素の単位に区切られた言語からなる文書に変換する（ステップＴ３）。各言語に係る品詞に原形が存在する場合は、形態素に区切られた言語を原形に置き換える処理が行われてもよい。

言語整理部１０１５は、上記形態素に区切られた各言語について、重複する言語の有無を判定し、重複する言語がある場合は、各言語につき１つの言語のみになるよう、重複する言語を削除する（ステップＴ４）。重複する言語を削除する処理は必須ではない。該削除処理を行わずに、処理がステップＴ５に進んでもよい。

対象抽出部１０１６は、第１の文書が有する各言語に基づいて、第２の文書の対象ＩＤに対応する文書部分を取得する（ステップＴ５）。

対象抽出部１０１６は、第１の文書に係る各言語と、第２の文書の対象ＩＤに対応する各文書部分が有する各言語を比較し、言語の一致を計数する（ステップＴ６）。

対象抽出部１０１６は、第１の文書との関連性が判定される第２の文書の対象ＩＤに対応する文書部分のすべてについて、第１の文書との、言語の一致を計数したか否かを判定する（ステップＴ７）。すべての計数が完了していれば（ステップＴ７でＹＥＳ）、処理がステップＴ８に進み、完了していなければ（ステップＴ７でＮＯ）、処理がステップＴ５に戻る。

対象抽出部１０１６は、第１の文書に係る各言語と、第２の文書の対象ＩＤに対応する文書部分が有する各言語との、言語一致数の最大値を求める（ステップＴ８）。

抽出結果出力部１０１７は、最大一致数を持つ対象ＩＤに対応する文書部分を抽出する（ステップＴ９）。抽出処理は、最大一致数を持つ対象ＩＤに対応する文書部分の一部について行われてもよいし、対応する文書部分のすべてについて行われてもよい。

抽出結果出力部１０１７は、最大一致数を持つ対象ＩＤに対応する文書部分の抽出結果を出力装置１０７に出力し、処理を終了する（ステップＴ１０）。

＜言語処理装置による、文書の抽出処理例＞
実施例において、言語処理装置１０を使用して文書を抽出する処理の例を、図７及び図８を用いて説明する。以下の処理例では、検証用の文書データを特許庁ＨＰ（Home Page
）に存在する文書から取得し、抽出の対象である第２の文書として使用している。取得した文書データの内、１文書のファイルが １，０００ 文字を超える場合、１，０００文字毎のページ単位（文書部分）に文書ファイルを分割している。この文書部分について、第１の文書との関連性を判定する処理に関する抽出文書情報が生成される。

＜例１＞
図７及び図８は、本発明の実施例における、長い文章を有する文書（以下、長文と言う）を第１の文書として、ユーザが希望する文書を抽出する処理の例である。図７は、入力装置１０６の検索欄に第１の文書を入力及び検索後、文書の抽出結果として表示される画面の左側部分を表す。図８は、図７の画面で、抽出結果として表示された文書を押下した場合に、図７の画面とは別のウインドウで表示される画面（抽出された文書の詳細）の左側部分を表す。すなわち、図７及び図８は、第１の文書を用いた検索に基づく、文書の抽出結果を表す画面である。図面を図７及び図８に分割した理由は、上記の抽出結果が複数の項目により表示され、１つの図面に収めることが困難であるためである。また、抽出結果の項目を図７及び８に分けて、断片的に表すことにより、後述する実施例の説明に重要な点を拡大して表すことができ、本発明の理解が容易になると考えるためである。

図７の例では、特許庁ＨＰの本文から一部をコピーした文章を、長文と仮定し、ＣＰＵ１０１による文書の抽出処理を検証している。本例の長文は「共同出願（共有特許権）について特許料の減免申請を行いたいのですが、特許料納付書をオンラインで提出する場合、持分を証明する書面はどのように提出すればよいですか」である。ユーザは該長文を言語処理装置１０における入力装置１０６の検索欄に入力し、検索ボタンを押下する。ＣＰＵ１０１の言語抽出部１０１４により、該長文は、形態素の単位に分割された言語に変換される。各言語に係る品詞に原形が存在する場合は、その言語の原形に変換される。重複する言語が存在する場合は、言語の重複分が削除され、各言語が１つのみに整理される。そして、言語のまとまりである文脈が出力される。該長文の場合、入力された第１の文書に対して、「共同｜出願｜（｜共有｜特許｜権｜）｜について｜料｜の｜減免｜申請｜を｜行う｜たい｜です｜が｜、｜納付｜書｜オンライン｜で｜提出｜する｜場合｜持分｜証明｜書面｜は｜どの｜よう｜に｜ば｜よい｜か」、すなわち３５言語に分割された文脈が出力された。その第１の文書に係る文脈が有する各言語と、第２の文書（特許ホームページの全体）に係る文脈が有する各言語とで、言語の一致数が計数され、一致数の最大値と
して、３５個が符号（言語）一致したことが表示された。そして、３５個の符号（言語）が一致した文脈に係る文書が１件、図７の下部、「意味的に類似した文脈の抽出結果＞＞最も近いものが１件見つかりました。」の下欄に表示（抽出）された。抽出された文書のファイル名は、[data00000964.txt][3/21]である。[3/21]は、[data00000964.txt]の文書データが所定の文字数毎に分割され、全体部分が全体で２１ページあり、抽出された文書部分は３ページ目に当たることを示す。

図７で抽出された文書を押下すると、図７の画面とは別のウインドウで、抽出された文書の詳細が図８の画面に表示された。図８の上部には、第２の文書部分が形態素解析により形態素（言語）に分割された文脈が表示された。第１の文書に係る文脈の言語と一致する言語は、長方形の枠で囲まれている。図８の下部には、第２の文書部分を言語に変換（符号化）する前の原文が表示された。第１の文書（長文）と、抽出された文書部分を意味の観点で比較すると、抽出された文書部分は、「共同出願（共有特許権）について特許料の減免申請を行いたいのですが、特許料納付書をオンラインで提出する場合、持分を証明する書面はどのように提出すればよいですか」と言う、第１の文書と同一の文章を含んでいた。従って、抽出された文書部分は、第１の文書と意味が類似する文書と言える。よって、ユーザが入力した第１の文書に類似する文書を、簡便に抽出することができたと言える。

＜例２＞
例２は、本発明の実施例における、図７で示した長文より短い文書（以下、中文と言う）を第１の文書として、ユーザが希望する文書を抽出する処理の例である。例２では、例１の図７で使用した長文から、言語の数を減らし、一部の用語を異なる表現の用語に置き換えた中文に基づき、文書抽出の精度を検証した。本例における中文は「共同出願で減免申請をする時にオンラインの場合は、持分を証明する書面はどうすればよいのですか」である。該中文を、図７で使用した長文と比較すると、「（共有特許権）」「特許料」「特許料納付書」「提出」と言う用語等が削除されている。また「について」が「で」、「どのように」が「どう」、等のように、異なる表現に置換された用語を含む。さらに、図７で使用した長文には存在しなかった用語「時」が、中文に追加されている。ユーザの利便性を考慮すると、簡潔な用語、文章を入力することにより、文書を検索し、抽出結果を得ようとすることが通常であると思われる。従って、例２における中文は、ユーザが実際に言語処理装置１０を使用する際に、入力装置１０６へ入力する文書に近い文書と仮定し得る。ユーザが中文を言語処理装置１０の入力装置１０６における検索欄に入力し、検索ボタンを押下する。ＣＰＵ１０１が行う、文書を言語へ変換する処理により、中文は形態素の単位に分割された言語に変換される。すなわち、中文は形態素の単位（言語）に分割され、各言語に係る品詞の原形に変換され、重複する言語の重複分が削除された後、言語のまとまりである文脈が出力される。該中文の場合、言語処理装置１０の処理で、第１の文書に対して、「共同｜出願｜で｜減免｜申請｜を｜する｜時｜に｜オンライン｜の｜場合｜は｜、｜持分｜証明｜書面｜どう｜ば｜よい｜です｜か」、すなわち２２言語に分割された文脈が出力された。その第１の文書に係る文脈の言語と、第２の文書（特許ホームページの全体）から分割された第２の文書部分に係る文脈の言語とで、言語の一致数が計数され、一致数の最大値として、２１個が符号（言語）一致したことが表示された。そして、２１個の符号（言語）が一致した文脈に係る文書が１件表示（抽出）された。

例２でも、例１の図７及び図８と同様に、抽出された文書を押下すると、抽出された文書の画面とは別のウインドウで、抽出された文書の詳細画面が表示された。該詳細画面では、第２の文書部分が形態素解析により形態素（言語）に分割された文脈が表示された。また例２では、第２の文書部分を言語に変換（符号化）する前の原文が表示された。第１の文書（中文）と、抽出された文書部分を意味の観点で比較すると、抽出された文書部分は、「共同出願（共有特許権）について特許料の減免申請を行いたいのですが、特許料納付書をオンラインで提出する場合、持分を証明する書面はどのように提出すればよいですか」と言う、入力された文書と意味が類似する文章を含んでいた。従って、抽出された文書部分は、第１の文書と、意味が類似する文書と言える。よって、ユーザが入力した第１の文書に類似する文書を、簡便に抽出することができたと言える。

＜例３＞
例３は、本発明の実施例における、例２で示した中文よりも短い文書（以下、短文と言う）を第１の文書として、ユーザが希望する文書を抽出する処理の例である。例３では、例２で使用した中文から、言語の数を減らし、一部の用語を異なる表現の用語に置き換えた短文に基づき、文書抽出の精度を検証する。本例における短文は「減免申請をしたいのですが」である。該短文を、例２で使用した中文と比較すると、「共同」「出願」「オンライン」「持分」「証明」「書面」と言う用語等が削除されている。また「する」が「したい」等のように、異なる表現の用語に置き換えられている。ユーザの利便性を考慮すると、簡潔な用語、文章を入力することにより、文書を検索し、抽出結果を得ようとすることが通常であると思われる。従って、例３における短文は、ユーザが実際に言語処理装置１０を使用し、入力装置１０６へ入力する文書に、さらに近い文書と仮定し得る。ユーザが短文の文書を言語処理装置１０の入力装置１０６における検索欄に入力し、検索ボタンを押下する。ＣＰＵ１０１が行う、文書を言語への変換する処理により、短文は形態素の単位に分割された言語に変換される。すなわち、短文は形態素の単位（言語）に分割され、各言語に係る品詞の原形に変換され、重複する言語の重複分が削除された後、言語のまとまりである文脈が出力される。該短文の場合、言語処理装置１０の処理で、第１の文書に対して、「減免｜申請｜を｜する｜たい｜の｜です｜が」、すなわち８言語に分割された文脈が出力された。その第１の文書に係る文脈の言語と、第２の文書部分に係る文脈の言語とで、各言語の一致数が計数され、一致数の最大値として、８個が符号（言語）一致したことが表示された。そして、８個の符号（言語）が一致した文脈に係る文書が８件表示（抽出）された。

例３でも、例１の図７及び図８と同様に、抽出された文書を押下すると、抽出された文書の画面とは別のウインドウで、抽出された文書の詳細画面が表示された。該詳細画面では、第２の文書部分が形態素解析により形態素（言語）に分割された文脈が表示された。また例３では、第２の文書部分を言語変換（符号化）する前の原文が表示された。第１の文書（短文）と、抽出された文書８件を意味の観点で比較すると、抽出された文書部分８件は、以下の通り、いずれも入力文書と類似する意味を有する文章を含んでいた。上記文章は、具体的には、「[ＰＣＴ国際特許出願]軽減制度・交付金制度のご案内」、「手数料等の減免制度は度々改正されます。」、「減免申請書等をオンラインで提出することはできますか？」、「共同出願（共有特許権）について特許料の減免申請を行いたいのですが〜」、「産業技術力強化法第１９条の適用を受ける特許出願について、減免措置は適用されますか？」、「中小企業の減免措置の申請に当たって〜」、「中小企業等への減免全体としての〜」、「〜審査請求の減免は難しいよ〜」であった。入力された第１の文書（短文）は、「減免申請をしたいのですが」である。抽出された文書部分８件は、「軽減」「減免」「減免申請」「減免措置」いずれかの用語を有するため、第１の文書と意味が類似する文書と言える。抽出された文書数の観点では、長文、中文が１であったのに対して、本短文では８に増えている。ユーザにとって８件の文書部分を確認し、入力した第１の文書と比較を行うことは容易であると思われる。よって、ユーザが入力した対象文書に類似する文書部分を、ユーザが容易に確認できる程度に広く、かつ、簡便に抽出することができたと言える。

＜例４＞
例４は、本発明の実施例における、例３で示した短文から助詞等を削除し、「減免」及び「申請」と言う名詞の用語のみを第１の文書として、ユーザが希望する文書を抽出する
処理の例である。本例では、短文「減免申請をしたいのですが」から「をしたいのですが」を削除し、残った用語「減免申請」に基づき、文書抽出の精度を検証する。ユーザの利便性を考慮すると、簡潔な用語を入力することにより、文書を検索し、抽出結果を得ようとすることが通常であると思われる。従って、例４における用語は、ユーザが実際に言語処理装置１０を使用し、入力装置１０６へ入力する文書に、さらに近い文書と仮定し得る。ユーザが用語の文書を言語処理装置１０の入力装置１０６における検索欄に入力し、検索ボタンを押下する。ＣＰＵ１０１が行う、文書を言語への変換する処理により、用語は形態素の単位に分割された言語に変換され、言語のまとまりである文脈が出力される。該用語の場合、言語処理装置１０の処理で、第１の文書に対して、「減免｜申請」、すなわち２言語に分割された文脈が出力された。第１の文書に係る文脈の言語と、第２の文書部分に係る文脈の言語とで、言語の一致数が計数され、一致数の最大値として、２個が符号（言語）一致したことが表示された。そして、２個の符号（言語）が一致した文脈に係る文書が、２９０件抽出された。

抽出された文書数の観点では、長文、中文が１、短文では８であったのに対し、本用語では２９０に増えた。２９０件の中には、ユーザが希望する文書に類似する文書部分が含まれ得るが、ユーザにとって、２９０件のすべてを目視で確認することは困難である。従って、第１の文書に類似する文書を、ユーザが容易に確認し得る件数で抽出できたとは言い難い。よって、ユーザが希望する文書に類似する文書部分を、ユーザが容易に確認できる程度に抽出するためには、第１の文書に、用語（本例では、名詞である「減免」「申請」）に加えて、例１の長文、例２の中文、例３の短文と同様に、名詞以外の他の品詞に属する言語（例３では「をしたいのですが」の助詞「を」、動詞「し」、助動詞「たい」等）を含めることが効果的であると言える。

＜従来の言語処理システムによる、文書の抽出処理例＞
次に、実施例に比較して、従来の言語処理システムを使用して文書を抽出する処理の例を、図９〜図１１を用いて説明する。なお、以下の処理例では、従来の言語処理システムの例として、特許庁ＨＰの検索システムを使用する。本発明の言語処理装置１０による処理と比較するため、例１〜例４と同一又は同様の長文、中文、短文、用語を用いて本検索システムの処理を検証する。

＜例５＞
図９〜図１１は、従来技術における、長文を第１の文書として、ユーザが希望する文書を抽出する処理の例である。図９は、従来技術である特許庁ＨＰの検索システムの検索欄に例１と同一の文書を入力した例である（出典：特許庁ウェブサイトにおける「入力文書に類似する文書の抽出調査」（https://www.jpo.go.jp/）を加工して作成）。図１０は、例１と同一の文書に基づく文書の抽出結果の例である（出典：特許庁ウェブサイトにおける「入力文書に類似する文書の抽出調査」（https://www.jpo.go.jp/）を加工して作成）。図１１は、抽出結果として表示された文書のリンクを押下後、表示された文書の例である（出典：特許庁ウェブサイトにおける「入力文書に類似する文書の抽出調査」（https://www.jpo.go.jp/system/process/tesuryo/genmen/genmen20190401/02_100.html）を加工して作成）。図９〜図１１に表される図面は、例１と同一の文書に基づく検索及び文書抽出に係る一連の処理を表す図面として共通する。図面を図９〜図１１に分割した理由は、図９に係る画面から遷移した画面が図１０であり、図１０から遷移した画面が図１１となるため、１つの図面に収めることが困難だからである。また、上記一連の処理を図９、図１０及び図１１に分けて、断片的に表すことにより、後述する従来技術の説明に重要な点を拡大して表すことができ、従来技術の理解が容易になると考えるためである。

本例の長文として、例１と同一の長文「共同出願（共有特許権）について特許料の減免申請を行いたいのですが、特許料納付書をオンラインで提出する場合、持分を証明する書
面はどのように提出すればよいですか」を使用した。ユーザが特許庁ＨＰの検索システムにおける検索欄に該長文を入力し、検索ボタンを押下すると、検索システムは、特許庁ＨＰのウェブサイト内で、入力された長文に類似する文書を検索する。検索システムは、検索された文書を長文に類似する順に整理し、長文と最も類似する文書及びリンク（特定のURLへアクセスできる、文字列等）を検索画面の上部に表示する。図１０の例では、画面
の上部に最も類似度が高い文書として「新減免制度に関するＱ＆Ａ」のリンクが表示された。ユーザが該リンクを押下すると、画面が遷移し、「新減免制度の手続に関するＱ＆Ａ」に関するＦＡＱ（Frequently Asked Questions）（図１１）が表示された。ユーザが入力した対象文書に類似する文書を抽出するためには、上記ＦＡＱの画面をユーザ自身がさらに確認することが必要となる。従って、本例では、ユーザが第１の文書を入力することにより、対象文書に意味的に類似する文書を簡便に抽出することができたとは言えない。

＜例６＞
例６は、従来技術における、中文を第１の文書として文書を抽出する処理の例である。本例の中文として、例２と同様の中文「共同出願の減免申請をしたいのですが、オンラインの場合どのように提出すればよいですか」を使用した。ユーザが特許庁ＨＰの検索システムにおける検索欄に該中文を入力し、検索ボタンを押下すると、検索システムは、特許庁ＨＰのウェブサイト内で、入力された中文に類似する文書を検索する。検索システムは、検索された文書を中文に類似する順に整理し、中文と最も類似する文書を及びリンクを検索画面の上部に表示する。例６では、最も類似度が高い文書として、画面の上部に「旧減免制度に関するＱ＆Ａ」のリンクが表示された。ユーザが該リンクを押下すると、画面が遷移し、「旧減免制度に関するＱ＆Ａ」に関するＦＡＱ（Frequently Asked Questions）のリンク及び「減免申請手続き全般について」の案内が表示された。ユーザが入力した対象文書に類似する文書を抽出するためには、上記ＦＡＱの画面からさらにユーザ自身で各リンクを押下する、又は、案内を確認する等が必要となる。従って、本例では、ユーザが第１の文書を入力することにより、対象文書に意味的に類似する文書を簡便に抽出することができたとは言えない。

＜例７＞
例７は、従来技術における、短文を第１の文書として文書を抽出する処理の例である。本例の短文として、例３と同一の短文「減免申請をしたいのですが」を使用した。ユーザが特許庁ＨＰの検索システムにおける検索欄に該短文を入力し、検索ボタンを押下すると、検索システムは、特許庁ＨＰのウェブサイト内で、入力された短文に類似する文書を検索する。検索システムは、検索された文書を短文に類似する順に整理し、短文と最も類似する文書及びリンクを検索画面の上部に表示する。例７では、最も類似度が高い文書として、画面の上部に「新減免制度の手続に関するＱ＆Ａ」のリンクが表示された。ユーザが該リンクを押下すると、画面が遷移し、「新減免制度の手続に関するＱ＆Ａ」に関するＦＡＱ（Frequently Asked Questions）が表示された。ユーザが入力した対象文書に類似する文書を抽出するためには、上記ＦＡＱをさらに確認する必要がある。従って、本例では、ユーザが対象文書を入力することにより、対象文書に意味的に類似する文書を簡便に抽出することができたとは言えない。

＜例８＞
例８は、従来技術における、用語を第１の文書として文書を抽出する処理の例である。本例の用語として、例４と同一の用語「減免申請」を使用した。ユーザが特許庁ＨＰの検索システムにおける検索欄に該用語を入力すると、該用語を含む検索対象用語の候補がプルダウンメニューに表示される。例８の場合は、用語「減免申請」を含む「減免申請」及び「減免申請書」の２つが候補として表示された。ユーザが「減免申請書」を押下すると、検索システムは、特許庁ＨＰのウェブサイト内で、入力された用語に類似する文書検索する。検索システムは、検索された文書を用語に類似する順に整理し、用語と最も類似す
る文書及びリンクを検索画面の上部に表示する。例８では、画面の上部に最も類似度が高い文書として「減免等の申請書の様式集」のリンクが表示された。ユーザが該リンクを押下すると、画面が遷移し、「減免等の申請書の様式集」として「特許料減免申請書」の様式へのリンク等が表示された。ユーザが入力した対象文書に類似する文書を抽出するためには、上記案内を確認等する必要がある。従って、本例では、ユーザが対象文書を入力することにより、対象文書に意味的に類似する文書を簡便に抽出することができたとは言えない。

以上、例５〜例８によると、従来技術を用いた言語処理は、第１の文書を長文、中文、短文、用語のいずれに設定した場合でも、ユーザが希望する文書を抽出できたとは言い難い。これに対して、本実施の形態に係る言語処理装置１０を使用する場合は、第１の文書として、助詞等を含めた長文、中文、短文に基づき言語処理を行うことにより、ユーザが希望する文書を抽出できたと言える。

＜まとめ＞
本実施形態における処理では、言語処理装置１０のＣＰＵ１０１において、ユーザが入力装置１０６に入力する第１の文書を入力文取得部１０１３が取得し、言語抽出部１０１４が形態素解析の辞書に基づき、形態素の単位に区切られた言語からなる文脈に変換する。従って、上記処理は、プログラムが、コンピュータに実行させる、第１の文書を、形態素解析に用いられる辞書に基づき形態素に区切られた文書に変換する第１の変換処理の一部と言える。

ＣＰＵ１０１の抽出文書生成部１０１１は、ユーザが入力した第１の文書に含まれる各言語に基づき、それらの言語に対応する言語を有する抽出対象の文書をウェブコンテンツ等から取得する（ステップＢ１）。抽出文書生成部１０１１は、上記取得した文書を受け付け、形態素解析に用いられる辞書に基づき、形態素の単位に区切られた言語からなる文脈に変換する（ステップＢ２）。従って、上記処理は、第１の文書との関連性が判定される第２の文書を、形態素解析に用いられる辞書に基づき形態素に区切られた文書に変換する第２の変換処理の一部であると言える。

対象抽出部１０１６は、第１の文書が有する各言語に基づいて、第１の文書との関連性が判定される文書の対象ＩＤに対応する文書部分をすべて取得する（ステップＴ５）。対象抽出部１０１６は、第１の文書の文脈に係る各言語と、第２の文書の文書部分に係る各言語を比較し、言語の一致を計数する（ステップＴ６）。従って、上記処理は、第１の文書の形態素と第２の文書の形態素とで、一致する形態素を計数する計数処理の一部であると言える。

対象抽出部１０１６は、第１の文書に係る各言語と、第１の文書との関連性が判定される文書の文書部分に係る各言語との、言語一致数の最大値を求める（ステップＴ８）。抽出結果出力部１０１７は、最大一致数を持つ文書部分を出力（抽出）する（ステップＴ９）。従って、上記処理は、計数処理の結果に基づき第１の文書と第２の文書との関連性を判定し、第１の文書との関連性が所定の条件を充足する第２の文書の一部またはすべてを抽出する抽出処理の一部であると言える。

本実施の形態では、第１の文書と第２の文書をともに、形態素に区切られた言語の単位に分割する。第１の文書に係る言語と、第２の文書に係る言語とで、言語の一致数を計数し、一致数に基づき両文書の関連性を判定し、関連性が強い文書を抽出し得る。従って、従来の言語処理技術における課題であった名詞、動詞、形容詞、形容動詞、助動詞、助詞等、品詞の判別が不要になる。また、係り受けなど、言語の関連も考慮が不要になる。よって、ユーザは、希望する文書に類似する文書を、簡便に抽出することができる。

実施例によれば、言語抽出部１０１４は、入力された第１の文書を、形態素解析の辞書に基づき、形態素の単位に区切られた言語からなる文書に変換する（ステップＴ３）。抽出文書生成部１０１１は、ウェブコンテンツ等から取得した、抽出対象の文書を形態素解析に用いられる辞書に基づき形態素の単位に区切られた言語からなる文書に変換する（ステップＳ４）。上記ステップＴ３及びステップＳ４の処理では、形態素（言語）が属する品詞の種類に応じて、形態素（言語）を文書から削除する処理は行われない。従って、上記の処理は、第１の変換処理及び第２の変換処理によって変換された区切られた文書は、形態素解析を実行したときに得られる品詞をすべて含む処理の一部であると言える。

例１乃至３で説明したように、第１の変換処理及び第２の変換処理によって変換された区切られた文書が、形態素解析を実行したときに得られる品詞をすべて含む場合、該文書に基づき、第１の文書に類似する文書として、言語処理装置１０が抽出した文書は、例１（長文）の場合が１件、例２（中文）の場合が１件、例３（短文）の場合は８件であった。これらは、ユーザが文書を容易に確認することができる件数と言える。これに対して、例４（用語）に基づき、第１の文書に類似する文書として、言語処理装置１０が抽出した文書は２９０件であった。これはユーザが容易に確認をすることができる件数と言えない。例４の用語は、名詞に属する言語（「減免」「申請」）のみを使用し、名詞以外の品詞に属する言語（例３「をしたいのですが」の場合は、助詞「を」、動詞「し」、助動詞「たい」等）を削除した文書であった。よって、例１〜３のように、第１の変換処理及び第２の変換処理によって変換された区切られた文書が、形態素解析を実行したときに得られる品詞をすべて含むことにより、ユーザが希望する文書に類似する文書部分を、ユーザが簡便に目視し得る件数で抽出することができる。

実施例では、言語整理部１０１５が、第１の文書の上記形態素に区切られた各言語について、重複する言語の有無を判定し、重複する言語がある場合は、各言語につき１つの言語のみになるよう、重複する言語を削除する（ステップＴ４）。抽出文書生成部１０１１は、第２の文書の形態素に区切られた各言語について、重複する言語の有無を判定し、重複する言語がある場合は、各言語につき１つの言語のみになるよう、重複する言語を削除する（ステップＳ５）。従って、上記処理は、第１の変換処理及び第２の変換処理が、第１の文書および前記第２の文書それぞれにおいて重複する形態素を削除する削除処理をさらに実行させることの一部と言える。

上記の削除処理が実行されることにより、対象抽出部１０１６は、第１の文書に係る文脈と、第２の文書に係る文脈とで、削除処理を行う前よりも少ない言語数で、言語の一致数を計数する処理を行うことができ、処理が容易になる。従って、ユーザが希望する文書に類似する文書部分を、簡便に抽出することができる。

実施例では、言語抽出部１０１４が、第１の文書を形態素解析の辞書に基づき、形態素の単位に区切られた言語からなる文書に変換する（ステップＴ３）。各言語に係る品詞に原形が存在する場合は、形態素に区切られた言語を原形に置き換える処理が行われ得る。抽出文書生成部１０１１は、第１の文書を、形態素解析に用いられる辞書に基づき形態素に区切られた言語からなる文書に変換する（ステップＳ４）。各言語に係る品詞に原形が存在する場合は、形態素に区切られた言語を原形に置き換える処理が行われ得る。従って、上記の処理は、第１の変換処理及び第２の変換処理には、第１の文書および前記第２の文書それぞれにおける形態素を、形態素が属する品詞の原形に置換する置換処理をさらに実行させることの一部であると言える。

第１の文書に係る言語及び第２の文書に係る言語が原形に変換されることにより、言語の原形同士で言語が一致すると判定され、全体として言語の一致数が増加し得る。従って
、増加した言語の一致数に基づいて第２の文書部分を抽出することができ、ユーザが希望する文書に類似する文書部分を、簡便に抽出することができる。

実施例では、抽出文書生成部１０１１は、抽出対象となる第２の文書を、所定の文字数を有するページ単位の文書に分割し、文書部分を作成する（ステップＳ２）。対象抽出部１０１６は、第１の文書に係る言語と、第１の文書との関連性が判定される第２の文書の各文書部分に係る言語を比較し、言語の一致を計数する（ステップＴ６）。従って、上記処理は、第２の文書を、所定の文字数を有する文書部分に分割する分割処理をさらに実行させ、第１の文書の形態素と分割された文書部分の形態素とで、一致する形態素を計数させる処理の一部であると言える。

第２の文書が、所定の文字数を有する文書部分に分割され、第１の文書の形態素（言語）と第２の文書の分割された文書部分の形態素（言語）とで、一致する形態素を計数させることにより、第２の文書が有する文字数が膨大な場合でも、対象抽出部１０１６は、第１の文書が有する言語と、所定の文字数に分割された、第２の文書部分が有する言語とで、言語の一致を計数すればよい。従って、対象抽出部１０１６による計数処理を容易にすることができる。

実施例において、抽出文書生成部１０１１は、抽出対象となる第２の文書を、所定の文字数を有するページ単位の文書に分割し、文書部分を作成する（ステップＳ２）。対象抽出部１０１６は、第１の文書に係る言語と、第１の文書との関連性が判定される第２の文書の文書部分に係る言語を比較し、言語の一致を計数する（ステップＴ６）。従って、上記処理は、第２の文書が、ファイル単位で文書部分に分割されており、第１の文書の形態素と前記分割された文書部分の形態素とで、一致する形態素を計数させる処理の一部であると言える。

第１の文書が、ファイル単位で文書部分に分割されていることにより、対象抽出部１０１６は、第１の文書が有する言語と、所定の文字数に分割された、第２の文書部分に当たるファイルが有する言語とで、言語の一致を計数すればよい。従って、対象抽出部１０１６による計数処理を容易にすることができる。また、抽出結果出力部１０１７は、第１の文書に類似する文書を、第２の文書部分からファイル単位で抽出することができる。そのため、ユーザが抽出された文書を確認する場合は、ファイルに含まれた所定の文字数による文書のみを確認すればよい。よって、ユーザは抽出された文書を容易に確認することができる。

実施例では、抽出文書生成部１０１１は、第２の文書に係る各文書部分を、改行なしの文書に変換する（ステップＳ３）。従って、上記の処理は、第２の文書に改行が存在する場合、前記改行を削除する削除処理をさらに実行させることの一部であると言える。

第２の文書に改行が存在すると、形態素解析の際に、抽出文書生成部１０１１は、改行前後の文字が一連の形態素であると認識せず、各々の形態素であると認識し、各々の形態素について、形態素解析を行い得る。第２の文書に係る各文書部分を、改行なしの文書に変換することにより、本来は一連である形態素について、適切な形態素解析（形態素に区切られた言語への変換処理）を行うことができる。従って、対象抽出部１０１６は、第１の文書に係る言語と、適切に形態素解析された第２の文書に係る言語とで、言語の一致数を計数し得る。よって、ユーザが希望する文書に類似する文書部分を、適切に抽出することができる。

実施例において、対象抽出部１０１６は、第１の文書に係る各言語と、第１の文書との関連性が判定される第２の文書の文書部分に係る各言語との、言語一致数の最大値を求め
る（ステップＴ８）。抽出結果出力部１０１７は、一致数が最大である文書部分を抽出する（ステップＴ９）。抽出結果出力部１０１７は、最大一致数を持つ対象ＩＤに対応する文書部分を出力装置１０７に出力し、処理を終了する（ステップＴ１０）。従って、上記処理は、計数処理において、第２の文書から、一致する形態素数が最大である文書部分を抽出させることの一部であると言える。

ＣＰＵ１０１が実行する計数処理において、一致する形態素数が最大である文書部分を第２の文書から抽出させることにより、第１の文書と意味が類似する可能性が高い文書を抽出することができる。よって、ユーザは、入力した第１の文書と意味が類似する文書を容易に得ることができる。

上記実施の形態では、対象抽出部１０１６は、第１の文書に係る言語と、所定の文字数に分割された、第２の文書部分に係る言語とで、言語の一致が最大となった文書部分を抽出する。しかし、対象抽出部１０１６の処理は、上記処理に限定される訳ではない。また、言語処理装置１０は、出力する文書の条件を、入力装置１０６等において、ユーザが自由に指定できるようにしてもよい。例えば、ユーザの指定に基づき、言語の一致が最大となった文書部分に加え、言語の一致数が次点の文書部分を抽出してもよい。従って、上記処理は、計数処理において、第２の文書から、ユーザが指定する条件に基づき、言語処理装置１０に文書部分を抽出させるようにしてもよい。

上記の実施例はあくまでも一例であって、本実施の形態はその要旨を逸脱しない範囲内で適宜変更して実施しうる。本実施の形態において説明した処理及び／又は手段は、技術的な矛盾が生じない限りにおいて、部分的に取り出して実施することも、自由に組み合わせて実施することもできる。

上記の実施例では、言語処理装置１０（ＣＰＵ１０１）が入力装置１０６からの操作信号を取得し、上記図７及び図８で例示されるような言語処理を実行した。しかし、図７及び図８の処理の少なくとも一部又は全部は言語処理装置１０以外において実行されてもよい。例えば、通信Ｉ／Ｆ１０４及びネットワークＮを介して言語処理装置１０からアクセス可能なサーバ等の他の言語処理装置が図７及び図８の処理の少なくとも一部又は全部を実行してもよい。言語処理装置１０は、通信Ｉ／Ｆ１０４及びネットワークＮを介して、他の言語処理装置が実行した処理結果を受けて、出力装置１０７に出力するものであってもよい。

本発明は、上記の実施の形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤディスク、ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納する
ために適した任意のタイプの媒体を含む。

１０ 言語処理装置
１０１ ＣＰＵ
１０２ 主記憶部
１０３ 有線Ｉ／Ｆ
１０４ 通信Ｉ／Ｆ
１０５ 外部記憶部
１０６ 入力装置
１０７ 出力装置
１０１１ 抽出文書生成部
１０１２ 抽出文書記憶部
１０１３ 入力文取得部
１０１４ 言語抽出部
１０１５ 言語整理部
１０１６ 対象抽出部
１０１７ 抽出結果出力部

Claims (10)

1. コンピュータに、
   第１の文書を、形態素に区切られた文書に変換し、重複する形態素を削除し、第１の文脈を生成する第１の変換処理と、
   前記第１の文書との関連性が判定される第２の文書を、形態素に区切られた文書に変換し、重複する形態素を削除し、第２の文脈を生成する第２の変換処理と、
   前記第１の文書の形態素から重複が削除された前記第１の文脈と前記第２の文書の形態素から重複が削除された前記第２の文脈とで、一致する形態素を計数する計数処理と、
   前記計数処理の結果に基づき前記第１の文書と前記第２の文書との関連性を判定し、前記第１の文書との関連性が所定の条件を充足する前記第２の文書の一部またはすべてを抽出する抽出処理と、
   を実行させるプログラム。
2. 前記第１の変換処理及び第２の変換処理によって変換された区切られた文書は、前記形態素解析を実行したときに得られる品詞をすべて含む請求項１に記載のプログラム。
3. 前記第１の変換処理及び第２の変換処理は、前記第１の文書および前記第２の文書それぞれにおける形態素を、前記形態素が属する品詞の原形に置換する置換処理をさらに実行させる請求項１又は２に記載のプログラム。
4. 前記第２の文書を、所定の文字数を有する文書部分に分割する分割処理をさらに実行させ、
   前記計数処理では、前記第１の文書の形態素と前記分割された文書部分の形態素とで、一致する形態素を計数させる請求項１から３のいずれか一項に記載のプログラム。
5. 前記第２の文書は、ファイル単位で文書部分に分割されており、前記計数処理は、前記第１の文書の形態素と前記分割された文書部分の形態素とで、一致する形態素を計数させる請求項１から３のいずれか一項に記載のプログラム。
6. 前記第２の文書に改行が存在する場合、前記改行を削除する削除処理をさらに実行させる請求項４又は５のいずれか一項に記載のプログラム。
7. 前記計数処理では、前記第２の文書から、前記一致する形態素数が最大である文書部分を抽出させる請求項６に記載のプログラム。
8. 前記プログラムは、押下を検出する検索ボタンへの入力装置による操作により、前記第１の変換処理と前記第２の変換処理と前記計数処理と前記抽出処理を実行する請求項１から７のいずれか一項に記載のプログラム。
9. コンピュータが
   第１の文書を、形態素解析に用いられる辞書に基づき形態素に区切られた文書に変換し、重複する形態素を削除し、第１の文脈を生成し、
   前記第１の文書との関連性が判定される第２の文書を、前記形態素解析に用いられる辞書に基づき形態素に区切られた文書に変換し、重複する形態素を削除し、第２の文脈を生成し、
   前記第１の文書の形態素から重複が削除された前記第１の文脈と前記第２の文書の形態素から重複が削除された前記第２の文脈とで、一致する形態素を計数し、
   前記計数処理の結果に基づき前記第１の文書と前記第２の文書との関連性を判定し、前記第１の文書と関連性のある前記第２の文書の一部またはすべてを抽出することを特徴とする文書抽出方法。
10. 第１の文書を、形態素解析に用いられる辞書に基づき形態素に区切られた文書に変換し、重複する形態素を削除し、第１の文脈を生成し、
    前記第１の文書との関連性が判定される第２の文書を、前記形態素解析に用いられる辞書に基づき形態素に区切られた文書に変換し、重複する形態素を削除し、第２の文脈を生成し、
    前記第１の文書の形態素から重複が削除された前記第１の文脈と前記第２の文書の形態素から重複が削除された前記第２の文脈とで、一致する形態素を計数し、
    前記計数処理の結果に基づき前記第１の文書と前記第２の文書との関連性を判定し、前記第１の文書と関連性のある前記第２の文書の一部またはすべてを抽出する処理を実行するプロセッサを備える言語処理装置。

Images