JP6764262B2 - 索引情報生成装置、索引情報生成方法及び索引情報生成プログラム - Google Patents

Description

本発明は、文書から文字列を抽出して索引情報を生成する索引情報生成装置、索引情報生成方法及び索引情報生成プログラムに関するものである。

従来、形態素解析済みの文書から、デイリーワードを抽出するデイリーワード抽出装置が知られている（例えば、特許文献１参照）。このデイリーワード抽出装置は、固有表現抽出部を備え、固有表現抽出部は、形態素解析済みの文書について、固有表現、時間表現を抽出している。

特開２０１４−１１９９７７号公報

ここで、文書が、例えば、日本語を主体とする文書である場合、形態素解析は、文書に含まれる文字を、形態素解析が有する辞書に基づいて、品詞毎に分解して抽出することが一般的である。このとき、形態素解析が有する辞書に含まれていない未知の文字列は、文字種の変わり目で分解される。このため、アルファベット、数字及び記号が連続する未知の文字列が文書に含まれている場合、形態素解析を行うと、アルファベットの文字列と、数字の文字列と、記号の文字列と、にそれぞれ分解されて抽出される。そして、索引情報を生成する場合には、抽出された文字列を索引文字列（キーワード）とし、検索文字列をデータベース化して、索引情報（インデックス情報）が生成されることとなる。

ここで、検索したい文字列として、アルファベット、数字及び記号の少なくとも２つの文字種を組み合わせた組合せ文字列がある。この場合、一般的な形態素解析を適用すると、組み合わせ文字列は文字種の分かれ目で別の単語として認識されるため、組合せ文字列が含まれない索引情報が生成されてしまう。この場合、索引情報に基づいて、組合せ文字列を検索することが困難となってしまう。

そこで、本発明は、形態素解析を活用しつつ、アルファベット、数字及び記号の少なくとも２つの文字種を組み合わせた文字列を、索引情報として適切に生成することができる索引情報生成装置、索引情報生成方法及び索引情報生成プログラムを提供することを課題とする。

本発明の索引情報生成装置は、文書から文字列を抽出して索引情報を生成する索引情報生成装置において、前記文書は、アルファベット、数字及び記号の少なくとも２つの文字種が組み合わされた組合せ文字列と、前記組合せ文字列に含まれる文字種とは異なる文字種を含む文字列と、を含んでおり、前記文書の形態素解析を行って要素文字列を抽出すると共に、前記アルファベット、前記数字及び前記記号の少なくとも２つの文字種の前記要素文字列が連続する文字列を、前記組合せ文字列として抽出し、前記組合せ文字列を索引文字列として設定し、前記索引文字列に基づいて索引情報を生成する処理部を備えることを特徴とする。

また、本発明の索引情報生成方法は、文書から文字列を抽出して索引情報を生成する索引情報生成方法において、前記文書は、アルファベット、数字及び記号の少なくとも２つの文字種を組み合わせた組合せ文字列と、前記組合せ文字列に含まれる文字種とは異なる文字種を含む文字列と、を含んでおり、前記文書の形態素解析を行って要素文字列を抽出する形態素解析工程と、前記アルファベット、前記数字及び前記記号の少なくとも２つの文字種の前記要素文字列が連続する文字列を、前記組合せ文字列として設定する組合せ文字列設定工程と、前記組合せ文字列設定工程により設定した前記組合せ文字列を、索引文字列として設定する索引文字列設定工程と、前記索引文字列に基づいて索引情報を生成する索引情報生成工程と、を備えることを特徴とする。

また、本発明の索引情報生成プログラムは、アルファベット、数字及び記号の少なくとも２つの文字種を組み合わせた組合せ文字列と、前記組合せ文字列に含まれる文字種とは異なる文字種を含む文字列と、を含む文書から、文字列を抽出して索引情報を生成する索引情報生成装置に、前記文書の形態素解析を行って要素文字列を抽出する形態素解析工程と、前記アルファベット、前記数字及び前記記号の少なくとも２つの文字種の前記要素文字列が連続する文字列を、前記組合せ文字列として設定する組合せ文字列設定工程と、前記組合せ文字列設定工程により設定した前記組合せ文字列を、索引文字列として設定する索引文字列設定工程と、前記索引文字列に基づいて索引情報を生成する索引情報生成工程と、を実行させることを特徴とする。

これらの構成によれば、形態素解析により抽出した、アルファベット、数字及び記号の少なくとも２つの文字種の要素文字列が連続する文字列を、組合せ文字列として設定し、これを索引文字列として設定することができる。このため、形態素解析を活用した簡便な処理で、組合せ文字列を、索引情報として適切に生成することができる。これにより、索引情報を用いた組合せ文字列の検索を適切に行うことができる。

また、前記処理部は、抽出した前記組合せ文字列を含む文字列のうち、出現頻度の高い順から前記索引文字列として設定することが好ましい。

この構成によれば、出現頻度の高い文字列を索引文字列として設定することができるため、検索される可能性が高い索引文字列を索引情報に含めて生成することができる。

また、前記文書は、技術文書であり、前記組合せ文字列は、前記技術文書に含まれる部品番号または製造番号であることが好ましい。

この構成によれば、技術文書に含まれる部品番号または製造番号を索引文字列として、索引情報に含めて生成することができる。このため、部品番号や製造番号の検索を適切に行うことができる。なお、部品番号は、部品の名称を示す番号であり、製造番号（シリアルナンバー）は、製造場所や製造日付、製品の個体を識別するための番号である。

また、前記索引情報は、前記文書を要約した要約文字列をさらに含み、前記処理部は、前記索引文字列の中から、前記要約文字列を生成するための要約用索引文字列を選定し、文書要約アルゴリズムに基づいて、選定した前記要約用索引文字列と前記文書に含まれる文字列とから、前記要約文字列を生成することが好ましい。

この構成によれば、索引文字列の他、要約文字列を含めて索引情報を生成することができる。また、大量の文書から部品番号や製造番号を確実に抽出しつつ、要約情報を大幅に圧縮できる。

図１は、本実施形態に係る索引情報生成装置の制御ブロックを示す説明図である。 図２は、索引情報に関する説明図である。 図３は、本実施形態に係る索引情報生成方法に関する制御動作の一例を示すフローチャートである。 図４は、索引情報生成方法に関する説明図である。

以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態が複数ある場合には、各実施形態を組み合わせることも可能である。

［実施形態］
図１は、本実施形態に係る索引情報生成装置の制御ブロックを示す説明図である。図２は、索引情報に関する説明図である。図３は、本実施形態に係る索引情報生成方法に関する制御動作の一例を示すフローチャートである。図４は、索引情報生成方法に関する説明図である。

本実施形態に係る索引情報生成装置１０は、文書から文字列を抽出して索引情報３５を生成する装置となっている。文書としては、例えば、日本語を主体とする技術文書３０であり、技術文書３０には、アルファベット、数字及び記号を組み合わせた部品番号または製造番号等の組合せ文字列３２が含まれている。つまり、この索引情報生成装置１０では、技術文書３０に含まれる組合せ文字列３２を検索するための索引情報３５を生成している。

具体的に、技術文書３０は、アルファベット、数字及び記号の少なくとも２つの文字種が組み合わされた組合せ文字列３２と、組合せ文字列３２に含まれる文字種とは異なる文字種を含む文字列と、を含んでいる。組合せ文字列３２は、少なくとも２つの文字種が組み合わされていればよく、例えば、「ＡＢ３４５６７」、「３４５６７−１２３」及び「ＡＢ３４５６７−１２３」等がある。なお、組合せ文字列３２は、文字種の並びの順序については、特に限定されない。組合せ文字列３２に含まれる文字種とは異なる文字種を含む文字列とは、例えば、ひらがな、カタカナ、漢字等の文字種を含む文字列である。

なお、本実施形態において、文書は、日本語を主体とした技術文書３０としたが、これに特に限定されず、組合せ文字列３２と、組合せ文字列３２に含まれる文字種とは異なる文字種を含む文字列とを含む文書であれば、いずれであってもよい。文書としては、例えば、アルファベット以外の文字を主体とした言語（例えば、中国語または韓国語等）で構成されるものであってもよい。

図１に示すように、索引情報生成装置１０は、記憶部１４と、処理部１５とを含んで構成されている。

記憶部１４は、磁気記憶装置や半導体記憶装置等の不揮発性を有する記憶装置であり、記憶部１４に記憶されるデータとしては、索引情報３５を生成する索引情報生成プログラム２１が含まれている。また、記憶部１４には、索引情報３５の生成時に用いられる技術文書３０、また、索引情報生成プログラム２１によって生成された索引情報３５等が適宜記憶される。

処理部１５は、ＣＰＵ（Central Processing Unit）等の集積回路と、作業領域となるメモリとを含み、これらのハードウェア資源を用いて、記憶部１４に記憶された索引情報生成プログラム２１を実行することで、技術文書３０から索引情報３５を生成する処理を実行する。

次に、図２を参照して、生成される索引情報３５について説明する。索引情報３５は、複数の索引文字列３３と、要約文字列３４とを含んで構成されている。複数の索引文字列３３は、例えば、名詞、固有名詞、動詞を中心とした文字列である。また、索引文字列３３では、組合せ文字列３２を固有名詞として設定している。なお、複数の索引文字列３３は、後述する索引文字列設定工程Ｓ３において設定される文字列となっている。要約文字列３４は、技術文書３０を要約した文字列となっており、マルコフ連鎖等の文書要約アルゴリズムに基づいて生成される文字列となっている。なお、要約文字列３４は、後述する要約文字列生成工程Ｓ４において設定される文字列となっている。

次に、図３及び図４を参照して、上記の索引情報生成装置１０による索引情報生成方法に関する一連の制御動作について説明する。索引情報生成装置１０の処理部１５は、索引情報生成プログラム２１を実行することで、索引情報生成方法に関する制御動作を行う。

図３に示すように、先ず、索引情報生成装置１０の処理部１５は、技術文書３０に対して形態素解析を行って、技術文書３０に含まれる文字列を、品詞毎に分解して複数の要素文字列３１を抽出する（ステップＳ１：形態素解析工程）。つまり、要素文字列３１は、品詞毎の文字列となっている。例えば、図４に示すように、技術文書３０に含まれる文字列が「部品番号はＡＢ３４５６７−１２３・・・」である場合、処理部１５は、形態素解析工程Ｓ１を実行することで、「部品」、「番号」、「は」、「ＡＢ」、「３４５６７」、「−」、「１２３」・・・となる複数の要素文字列３１に分解する。そして、形態素解析工程Ｓ１では、複数の要素文字列３１の中から、索引文字列３３となり得る、例えば、名詞、固有名詞、動詞を中心とした「部品」及び「番号」等の要素文字列３１を抽出する。なお、形態素解析工程Ｓ１を行う前に、単語の種類を減らすべく、技術文書３０から得られた文字列を、後述するルールに基づいて変換している。ルールとしては、例えば、文字列に含まれる半角カタカナを全角カタカナに変換したり、文字列に含まれる全角英数字を半角英数字に変換したり、文字列に含まれる全角スペースを半角スペースに変換したりする。

続いて、処理部１５は、分解した複数の要素文字列３１の中から、アルファベット、数字及び記号の少なくとも２つの文字種の要素文字列３１が連続する文字列を、組合せ文字列３２として設定する（ステップＳ２：組合せ文字列設定工程）。例えば、図４に示すように、処理部１５は、アルファベット、数字及び記号が連続する「ＡＢ」、「３４５６７」、「−」、「１２３」の文字列を、「ＡＢ３４５６７−１２３」の組合せ文字列３２とし、この組合せ文字列３２を固有名詞として設定する。

次に、処理部１５は、形態素解析工程Ｓ１において抽出した、名詞、固有名詞、動詞を中心とした文字列と、組合せ文字列設定工程Ｓ２において設定した、固有名詞となる組合せ文字列３２とを含む文字列の中から、索引文字列３３を設定する（ステップＳ３：索引文字列設定工程）。索引文字列設定工程Ｓ３では、抽出した組合せ文字列３２を含む文字列のうち、出現頻度の高い順（例えば、上位の２００〜３００個）から、索引文字列３３として設定している。例えば、図４に示すように、処理部１５は、形態素解析工程Ｓ１において抽出した要素文字列３１の中から「部品」を索引文字列３３として設定し、また、組合せ文字列設定工程Ｓ２で設定した「ＡＢ３４５６７−１２３」を索引文字列３３として設定する。

この後、処理部１５は、索引文字列設定工程Ｓ３において設定した索引文字列３３の中から、要約文字列３４を生成するための要約用索引文字列を選定し、マルコフ連鎖等の文書要約アルゴリズムに基づいて、選定した要約用索引文字列から要約文字列を生成する（ステップＳ４：要約文字列生成工程）。具体的に、要約文字列生成工程Ｓ４では、索引文字列３３のうち、出現頻度の高い順（例えば、上位の５個）から、要約用索引文字列を選定している。そして、要約文字列生成工程Ｓ４では、マルコフ連鎖等の文書要約アルゴリズムに基づき、選定された要約用索引文字列をキーワードとして、技術文書３０に含まれる要素文字列３１をランダムに組み合わせて、要約文字列３４が、技術文書３０の文字数よりも少ない文字数（例えば、１５００字）程度となるように生成する。

そして、処理部１５は、索引文字列設定工程Ｓ３において設定した索引文字列３３と、要約文字列生成工程Ｓ４において生成した要約文字列３４とに基づいて、図２及び図４に示す索引情報３５を生成し（ステップＳ５：索引情報生成工程）、一連の制御動作を終了する。

以上のように、本実施形態によれば、形態素解析により抽出した、アルファベット、数字及び記号の少なくとも２つの文字種の要素文字列３１が連続する文字列を、組合せ文字列３２として設定し、これを索引文字列３３として設定することができる。このため、形態素解析を活用した簡便な処理で、組合せ文字列３２を、索引情報３５として適切に生成することができる。これにより、索引情報３５を用いた組合せ文字列３２の検索を適切に行うことができる。特に、簡便な処理で組合せ文字列３２を含む索引情報３５を生成できることから、索引情報３５を生成するためのリソースが限られる場合であっても、索引情報３５を適切に生成することができる。

また、本実施形態によれば、出現頻度の高い文字列を索引文字列３３として設定することができるため、検索される可能性が高い索引文字列３３を索引情報３５に含めて生成することができる。

また、本実施形態によれば、技術文書３０に含まれる部品番号または製造番号を索引文字列３３として、索引情報３５に含めて生成することができる。このため、部品番号や製造番号の検索を適切に行うことができる。

また、本実施形態によれば、索引文字列３３の他、要約文字列３４を含めて索引情報３５を生成することができる。

１０ 索引情報生成装置
１４ 記憶部
１５ 処理部
２１ 索引情報生成プログラム
３０ 技術文書
３１ 要素文字列
３２ 組合せ文字列
３３ 索引文字列
３４ 要約文字列
３５ 索引情報

Claims (6)

1. 文書から文字列を抽出して索引情報を生成する索引情報生成装置において、
   前記文書は、
   アルファベット、数字及び記号の少なくとも２つの文字種が組み合わされた組合せ文字列と、
   前記組合せ文字列に含まれる文字種とは異なる文字種を含む文字列と、を含んでおり、
   前記文書の形態素解析を行って品詞毎の文字列である要素文字列を抽出すると共に、前記アルファベット、前記数字及び前記記号の少なくとも２つの文字種の前記要素文字列が連続する文字列を、前記組合せ文字列として抽出し、前記組合せ文字列を索引文字列として設定し、前記索引文字列に基づいて索引情報を生成する処理部を備えることを特徴とする索引情報生成装置。
2. 前記処理部は、抽出した前記組合せ文字列を含む文字列のうち、出現頻度の高い順から前記索引文字列として設定することを特徴とする請求項１に記載の索引情報生成装置。
3. 前記文書は、技術文書であり、
   前記組合せ文字列は、前記技術文書に含まれる部品番号または製造番号であることを特徴とする請求項１または２に記載の索引情報生成装置。
4. 前記索引情報は、前記文書を要約した要約文字列をさらに含み、
   前記処理部は、前記索引文字列の中から、前記要約文字列を生成するための要約用索引文字列を選定し、文書要約アルゴリズムに基づいて、選定した前記要約用索引文字列と前記文書に含まれる文字列とから、前記要約文字列を生成することを特徴とする請求項１から３のいずれか１項に記載の索引情報生成装置。
5. 文書から文字列を抽出して索引情報を生成する索引情報生成方法において、
   前記文書は、
   アルファベット、数字及び記号の少なくとも２つの文字種を組み合わせた組合せ文字列と、
   前記組合せ文字列に含まれる文字種とは異なる文字種を含む文字列と、を含んでおり、
   前記文書の形態素解析を行って品詞毎の文字列である要素文字列を抽出する形態素解析工程と、
   前記アルファベット、前記数字及び前記記号の少なくとも２つの文字種の前記要素文字列が連続する文字列を、前記組合せ文字列として設定する組合せ文字列設定工程と、
   前記組合せ文字列設定工程により設定した前記組合せ文字列を、索引文字列として設定する索引文字列設定工程と、
   前記索引文字列に基づいて索引情報を生成する索引情報生成工程と、を備えることを特徴とする索引情報生成方法。
6. アルファベット、数字及び記号の少なくとも２つの文字種を組み合わせた組合せ文字列と、前記組合せ文字列に含まれる文字種とは異なる文字種を含む文字列と、を含む文書から、文字列を抽出して索引情報を生成する索引情報生成装置に、
   前記文書の形態素解析を行って品詞毎の文字列である要素文字列を抽出する形態素解析工程と、
   前記アルファベット、前記数字及び前記記号の少なくとも２つの文字種の前記要素文字列が連続する文字列を、前記組合せ文字列として設定する組合せ文字列設定工程と、
   前記組合せ文字列設定工程により設定した前記組合せ文字列を、索引文字列として設定する索引文字列設定工程と、
   前記索引文字列に基づいて索引情報を生成する索引情報生成工程と、を実行させることを特徴とする索引情報生成プログラム。
   

Images