JPH09223143A - 文書情報処理装置 - Google Patents

Abstract

(57)【要約】 【課題】形態素解析による複数の解析結果を利用するこ
とで、必要な情報を効率良く正確に抽出できる。 【解決手段】形態素解析部１２で複数の解析パラメータ
１４−１〜１４−ｎを使用した文の形態素解析により複
数の解析結果を導出し、情報抽出部１６で形態素解析部
１２から得られた複数の解析結果に基づいてキーワード
や認識誤り文字等の必要な情報を抽出する。情報利用部
１８は、抽出した情報をユーザに提示したり、ファイル
に出力したり、データベースを検索したりする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書から情報を抽
出して処理する文書情報処理装置に関し、特に電子ファ
イリングシステム等の文字読取認識装置やデータベース
のキーワード作成に利用される文書情報処理装置に関す
る。

【０００２】

【従来の技術】従来、電子ファイリングシステム等の文
字認識処理に使用される文書情報処理装置にあっては、
形態素解析を用いて文を形態素に分割し、分割した形態
素から例えばキーワードや認識誤り文字等の必要な情報
を抽出しており、この形態素解析は一般的なもので、種
々の公知例がある。

【０００３】例えば、形態素解析結果に対して不要語辞
書や接辞辞書を用いて必要な情報とはなり得ないと考え
られる語を除去する方法（特開昭57-137965 号）、逆に
解析結果中のある品詞列のみに注目して必要な情報を抽
出する方法（特開平07-049872号, 同07-036917 号）、
キーワード辞書の登録語のみに注目して必要な情報を抽
出する方法（特開平3-225468号）、更に文書中のある単
語の出願頻度によって必要な情報を抽出する方法（特開
平03-286372 号）がある。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の形態素解析結果に基づいてキーワード等の必
要な情報を抽出してデータベースに付与する等の利用す
る方法を採用した文書情報処理装置にあっては次の問題
がある。まず不要語辞書や接辞辞書を用いて不必要な語
を除去する方法については、不要語辞書に記載された単
語が必要な情報である場合には抽出が失敗してしまう問
題がある。また解析結果中の特定の品詞列や登録語に注
目して必要な情報を抽出する方法では、逆に、予め用意
した辞書に単語が登録されていなければならず、また、
通常の単語辞書に加えて抽出に使用する特殊な辞書を用
意する必要もある。更に出現頻度によって抽出する方法
では、少数の文から必要な情報を抽出しようとした場合
に、各単語の頻度の差が少なく、頻度から適切に情報が
抽出できない問題がある。

【０００５】一方、文字認識装置において読取文書の認
識誤りを自動的に検出または修正する方法として、文字
イメージデータから各々に尤もらしい文字を候補文字と
して複数個推定し、候補文字によって文字のラティス構
造を作成し、ラティス構造の全てのパスについて形態素
解析を行ない、形態素解析結果から最も日本語として自
然なパス（最尤パス）を判定して正しい認識結果とする
ものがある（特開平4-315278号等）。

【０００６】この方法の問題点は、形態素解析に使用す
る解析パラメータによって形態素解析結果が決まり、形
態素解析結果が必ずしも日本語として最も自然なパスで
あるとは限らず、日本語として最も自然なパスを推定す
ることが困難である。更に、記号を誤った場合のよう
に、日本語としての自然さを推定する形態素解析に影響
を与えない誤りについては、誤りが検出できないため、
誤りを修正できないという問題がある。

【０００７】本発明は、このような従来の問題点に鑑み
てなされたもので、形態素解析による複数の解析結果を
利用することで、必要な情報を効率良く正確に抽出でき
る文書情報処理装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】図１は本発明の原理説明
図である。本発明の文書情報処理装置は、図１（Ａ）の
ように、形態素解析部１２、情報抽出部１６及び情報利
用部１８で構成される。形態素解析部１２は、複数の解
析パラメータ１４−１〜１４−ｎを使用した文の形態素
解析により複数の解析結果を導出する。情報抽出部１６
は、形態素解析部１２から得られた複数の解析結果に基
づいて必要な情報を抽出する。情報利用部１８は、抽出
した情報をユーザに提示したり、ファイルに出力した
り、データベースに付与したりする。

【０００９】情報抽出部１６は、形態素解析部１２から
得られた複数の解析結果の差異を利用して必要な情報を
抽出する。また情報抽出部１６は、形態素解析部１２か
ら得られた複数の解析結果の同等性を利用して必要な情
報を抽出しても良い。具体的には、情報抽出部１６は、
情報利用部１８で使用する文中のキーワードを抽出す
る。また情報抽出部１６は、情報利用部１８で修正され
る文字読取認識装置から得られた読取文中の認識誤り文
字を検出する。

【００１０】情報利用部１８は、認識誤り文字の修正に
使用される予め定めた文法ルールを格納したデータベー
ス２２と、情報抽出部１６で検出した認識誤り文字にデ
ータベース２２の文法ルールを適用して自動修正する誤
り修正部２０とを備える。また本発明の別の形態にあっ
ては、図１（Ｂ）のように、形態素解析部１２で単一の
解析パラメータ１４を使用した文の形態素解析により順
位をもつ複数の解析結果を導出し、同様に、情報抽出部
１６で形態素解析部１２から得られた上位の順位となる
複数の解析結果に基づいて必要な情報を抽出するように
構成してもよい。

【００１１】このように本発明は複数の解析パラメータ
で形態素解析を行って得た複数の形態素解析結果を対象
に、キーワードや認識誤り文字といった必要な情報を適
切に抽出することができ、抽出した情報をユーザに提示
したり、ファイルに出力したり、更にデータベースに付
与して利用することができる。また文字認識装置の場合
には、認識結果の認識誤りを正確に検出して修正するこ
とができる。

【００１２】

【発明の実施の形態】図２は本発明の文書情報処理装置
の一実施形態であり、日本語文書を対象としたデータベ
ースの検索に使用するキーワードの作成、あるいは電子
ファイリングシステムにおける文字読取認識装置での誤
り文字の検出と修正などに適用される。

【００１３】図２において、本発明の文書処理装置は、
解析対象文書となる情報ソース１０、形態素解析部１
２、情報抽出部１６、情報利用部１８、ユーザ／ファイ
ル／データベースなどの利用対象部２４で構成される。
形態素解析部１２は、複数の解析パラメータ１４−１，
１４−２，・・・１４−ｎを使用した情報ソース１０か
ら入力した文の形態素解析により、複数の解析結果を導
出する。情報抽出部１６は、形態素解析部１２から得ら
れた複数の形態素解析結果に基づいて、キーワードや文
字認識における誤り文字などの必要な情報を抽出する。

【００１４】情報利用部１８は、情報抽出部１６による
抽出情報を利用対象部２４となるユーザに提供したり、
ファイルに出力したり、データベースに付与したりして
利用する。このような情報利用部１８による抽出情報の
利用は、例えばキーワードを抽出した場合であり、これ
に対し情報抽出部１６で文字認識装置の読取文書におけ
る誤り文字を抽出した場合には、情報利用部１８にあっ
ては、利用対象部２４となるユーザに対し誤り文字を提
示してその修正を促すことになる。

【００１５】また誤り文字の抽出に対しては、自動修正
を可能とするため、誤り修正部２０と、誤り文字の修正
に使用される文法ルールを格納したデータベース２２を
設けている。もちろん、誤り修正部２０とデータベース
２２は、情報利用部１８で抽出された誤り文字を自動修
正する場合にのみ有効であり、抽出情報がキーワードの
場合には誤り修正部２０及びデータベース２２は不要と
なる。

【００１６】図３は図２の形態素解析部１２の詳細であ
る。図３において、形態素解析部１２には文字列分割部
２６、辞書検索部２８、接続可能性チェック部３０、接
続コスト算出部３２及び解析用データ格納部３４が設け
られる。解析用データ格納部３４には、図２の形態素解
析部１２に示した複数の解析パラメータ１４−１〜１４
−ｎを実現するため、複数の辞書３６−１，３６−２，
・・・、接続可能性を記述した複数の接続表３８−１，
３８−２，・・・、及び接続コストの付け方のルールを
定めた複数のコストルール４０−１，４０−２，・・・
が格納されている。

【００１７】この形態素解析部１２における形態素解析
の処理としては、まず情報ソース１０から入力した解析
対象となる文字列の全てを文字列分割部２６で分割パタ
ーンに分割する。次に辞書検索部２８で、各々の分割単
位の文字列について、解析データ用格納部３４の例えば
辞書３６−１の検索による辞書引きを行い、辞書引きの
結果を接続可能性チェック部３０に与え、解析データ格
納部３４の例えば接続表３８−１で定められた接続可能
性をチェックして接続の仕方を求める。

【００１８】最終的に接続コスト算出部３２において、
接続可能性のチェックで求められた接続の仕方の各々に
つき、例えばコストルール４０−１に従って接続コスト
という値で評価し、コストの総計を求め、コストの総計
の最も小さいものを形態素解析結果４２として出力す
る。このような形態素解析部による接続可能性をチェッ
クして接続の仕方を接続コストという値で評価してコス
トの総計が最も小さいものを形態素解析結果とする方法
は、コストの総計が小さいほど日本語として最も自然な
文書を表わしているとする最尤法に基づいている。

【００１９】形態素解析部１２において、図１の複数の
解析パラメータ１４−１〜１４−ｎを使用した形態素解
析は、解析データ格納部３４に格納している複数の辞書
３６−１，３６−２，・・・、接続表３８−１，３８−
２，・・・、及びコストルール４０−１，４０−２，・
・・を変えることで、異なった複数の解析パラメータ１
４−１〜１４−ｎを得ることができる。

【００２０】即ち、形態素解析部１２は、情報ソース１
０より入力した文を対象に複数の解析パラメータによっ
て形態素解析を行うものであり、このとき本発明にあっ
ては、抽出しようとする情報、例えばキーワードや文字
読取認識装置における誤り文字などに応じ、このような
抽出しようとする情報が効果的に抽出し易くなるように
複数の解析パラメータが決定される。

【００２１】図４は、図２の形態素解析部１２、情報抽
出部１６及び情報利用部１８の具体例をキーワードの抽
出を例にとって示している。まず形態素解析部１２にあ
っては、キーワード抽出のための２つの解析パラメータ
１４−１，１４−２を用意する。解析パラメータ１４−
１は、「名詞連続部分は一つの単語として解析する」と
いうものである。また解析パラメータ１４−２は「名詞
連続部分もできるかぎり分割する」というものである。

【００２２】このように異なった解析パラメータ１４−
１，１４−２で情報ソース１０から入力した文を形態素
解析解析することにより、複数の解析結果４２−１，４
２−２が得られる。この場合、解析パラメータ１４−
１，１４−２により得られる解析結果４２−１，４２−
２は、基本的には異なった解析結果となる。しかしなが
ら、場合によっては解析パラメータ１４−１，１４−２
が異なっていても解析結果４２−１，４２−２が同じ場
合もあり得る。いずれの場合についても、各解析結果４
２−１，４２−２は情報抽出部１６に送られる。

【００２３】情報抽出部１６は、形態素解析部１２から
送られてきた複数の形態素解析結果４２−１，４２−２
を基にしてキーワードの抽出を行う。いま形態素解析部
１２の解析パラメータ１４−１，１４−２によって情報
ソース１０の「東京都ゴミ対策」という語の解析を行う
と、解析パラメータ１４−１による解析結果４２−１は
「東京都ゴミ対策」となる。これに対し解析パラメータ
１４−２による解析結果４２−２は、単語分割部分を／
で表わすと、「東京／都／ゴミ／対策」となる。

【００２４】情報抽出部１６にあっては、例えば形態素
解析結果４２−１である「東京都ゴミ対策」と形態素解
析結果４２−２であるキーワード４４−２となる「東京
／都／ゴミ／対策」のいずれかを採用して情報利用部１
８に提供する。例えばキーワード４４−１の「東京都ゴ
ミ対策」を採用すると、検索キー「京都」に対しても誤
ってマッチしてしまう。

【００２５】しかしながらキーワード４４−２の「東京
／都／ゴミ／対策」を採用した場合には、検索キー「京
都」にマッチするようなことは起こらず、検索キー「東
京」や「東京都」等のみでマッチすることになるため、
効率的な検索が可能となる。一方、形態素解析部１２に
おける複数の解析パラメータによっても解析結果が同じ
であった場合には、情報抽出部１６にあっては、解析結
果が同じであったという情報をキーワード抽出に利用す
ることができる。例えば「二つの解析パラメータの下に
おいて解析を行った結果のうち、共に名詞と解析された
単語をキーワードとする」というキーワード抽出ルール
は、異なる解析パラメータに基づいた解析結果の同等性
を利用したキーワード抽出ルールとなる。

【００２６】情報抽出部１６で抽出されたキーワードは
情報利用部１８に与えられ、データにキーワードとして
付与することで、利用対象部２４におけるユーザに提供
したり、ファイルやデータベースに格納するなど種々の
形態が考えられる。図５は、文字認識装置における誤り
文字の検出と修正を行う本発明の文書情報処理装置の具
体例を示す。

【００２７】図５において、情報ソース１０からは文字
認識装置の認識結果である文字ラティスが入力される。
この場合、入力文字ラティスが図示のように 第１候補文字「こ ヒ も あ ろ」、第２候補文字
「乙 ど む ぁ る」、更に、第３候補文字が「ご
と 右 め ら」であったとする。

【００２８】このような情報ソース１０から入力される
入力文字ラティスについて、形態素解析部１２で異なっ
た解析パラメータ１４−１，１４−２によって形態素解
析、即ち文字列を分割して各分割単位の辞書引きを行
い、その接続可能性をチェックして接続の仕方を接続コ
ストで評価して、コスト総計が最も小さい文字列即ち日
本語として最も自然な文字列の解析結果４２−１，４２
−２を求める。

【００２９】解析パラメータ１４−１による解析結果４
２−１は例えば「こと／も／あ／る」であり、一方、解
析パラメータ１４−２による解析結果４２−２は「こど
も／あ／る」であったとする。このような解析結果４２
−１，４２−２を情報抽出部１４は受け取り、解析結果
４２−１，４２−２の文字列の異なった部分である「と
−ど」を相違点として指摘し、情報利用部１６に出力す
る。最も簡単な方法としては利用対象部２４であるユー
ザに相違点を示すことで、ユーザの判断を仰ぐことによ
り効率的な修正即ち「と」を選択し、「こともある」と
なるとする修正結果を得ることができる。

【００３０】即ち、情報利用部１６においてモニターに
情報抽出部１４で抽出した相違点を指摘する箇所をユー
ザに提示し、その部分についてキーボードやマウス等で
ユーザに正解を入力してもらう構成とすることで、人手
による修正作業を効率的に進めることができる。また情
報利用部１６においては、情報抽出部１４から与えられ
た認識誤りの場所を自動修正することもできる。図５に
あっては、誤り文字を自動修正するため、情報利用部１
６にデータベース２２と誤り修正部２０を設けている。
誤り修正部２０は、認識誤り文字に関し情報抽出部１４
から得た指摘箇所について、データベース２２内に格納
されたルールを用いて認識結果の自動修正を行う。

【００３１】この自動修正の方法としては、複数の解析
パラメータ１４−１，１４−２から得られる複数の形態
素連接パターン４２−１０，４２−２０について、どの
解析結果を正解とすればよいか決定する知識として、デ
ータベース２２に格納したルールを用いる。ここで情報
抽出部１４より相違点「と−ど」を指摘した文字列「こ
［と−ど］もある」が与えられたとすると、この場合の
形態素連接パターン４２−１０は「こと：名詞／も：助
詞／あ：動詞／る：動詞語尾」であり、また形態素連接
パターン４２−２０は「こども：名詞／あ：動詞／る：
動詞語尾」であったとする。

【００３２】一方、データベース２２には「動詞がその
直前に名詞を取る事は希である。」という知識に基づい
たルールが格納されていたとすると、このルールを用い
て解析パラメータ１４−１による解析結果である形態素
連接パターン４２−１０の「こともある」を正解と判定
する。勿論、このような判定のための知識がデータベー
ス２２にない場合はその部分の判定は行えないが、その
場合には前述したように情報利用部１６において利用対
象部２４としてのユーザに提示してユーザの指摘を受け
ればよい。

【００３３】次に図５の文字認識装置における読取文字
の指摘について、文字以外の記号例えば句読点や括弧な
どの誤り検出と修正を説明する。情報抽出部１４は、あ
る解析パラメータの解析結果について句読点は「，．」
であるとし、また別の解析パラメータの解析結果での句
読点は「、。」を用いるように設定する。このような異
なる解析パラメータについて、使用する句読点の種類を
別々に設定することで、二つの解析パラメータの解析結
果については、その候補につき「，」と「．」、または
「、」と「。」の両方を含む認識部分に対して相違点の
指摘が行われることになる。

【００３４】同様に括弧に関しても、異なった解析パラ
メータのそれぞれについて異なった括弧の仕様を設定す
ることで、同様な相違点の指摘を行うことができる。更
に情報抽出部１４としては、文字認識の結果の信頼度が
低く、本来ならば相違点として指摘すべき文字も複数の
解析パラメータの下で解析結果が同じであるならば、そ
の部分は正しいと見做して指摘を行わないようにする。
これは複数の解析パラメータの下での解析結果の同等性
を利用した処理である。これによって無駄な指摘を減ら
すことができるので、ユーザの修正作業を軽減すること
ができる。

【００３５】情報抽出部１４における句読点の指摘に対
しては、情報利用部１６において予めユーザが句読点と
して例えば「，．」を用いるという知識をデータベース
２２に記述しておけば、誤り修正部２０において自動的
に「，．」が選択され、指摘された部分の自動修正が可
能となる。同様に情報抽出部１４で指摘された括弧の部
分についても、括弧の用法についての知識をデータベー
ス２２に予め記述しておくことで、記述された括弧の形
に対応した正しい認識結果を得ることができる。このよ
うな括弧の用法の知識としては、例えば図６のようなル
ールを記述すればよい。

【００３６】図６において、データベース知識との使用
括弧の関係は次のようになる。 平仮名のみで構成された一つの単語を囲む括弧は
（ ，）を用いる。 平仮名以外のネストされていない括弧開きは「を用い
る。 括弧にネストされた括弧開きは『を用いる。 括弧閉じは直前の括弧の形に対応したものを用いる。

【００３７】このようなデータベース知識を用いること
で、正解文字列を自動的に得ることができる。誤り修正
に用いる知識を格納したデータベース２２については、
知識の登録及び更新を容易とするためユーザインタフェ
ースを備えることが望ましい。図７は本発明の別の実施
形態であり、この実施形態にあっては単一の解析パラメ
ータを用いた形態素解析による複数の解析結果から情報
抽出を行うようにしたことを特徴とする。

【００３８】図７において、形態素解析部１２が例えば
図３に示したような接続コストの算出による場合、接続
コストの総計が最小となる順位第１位の解析結果４２−
１以外にも、この実施形態にあっては２位以下の解析結
果４２−２，・・・，４２−ｎも出力するように形態素
解析部１２の機能を拡張する。これによって単一の解析
パラメータ１４による解析であっても、図２の実施形態
と同様、複数の解析パラメータによって複数回、解析を
行ったと同じ複数の解析結果４２−１〜４２−ｎを得る
ことができる。

【００３９】具体的には、図５のように、文字認識装置
における文字ラティスを情報ソース１０として入力する
場合、形態素解析部１２は単一の解析パラメータ１４に
より最も最適と判断されるパス以外の２位以下のパスに
ついても解析結果４２−２〜４２−ｎとして出力するこ
とで、情報抽出部１６に対し複数の解析結果を与えるこ
とができ、同様にして相違点の指摘による修正を効果的
に行うことができる。

【００４０】尚、上記の実施形態はキーワード抽出と文
字読取認識装置における誤り文字の検出を例にとるもの
であったが、本発明はこれに限定されず、文書情報を対
象とした形態素解析を行う適宜のシステムにつき、同様
に適用することができる。

【００４１】

【発明の効果】以上説明してきたように本発明によれ
ば、文を形態素解析する際に複数の解析パラメータを用
意して複数の解析結果を得ることで、複数の解析結果の
差異を利用したり同等性を利用してキーワード抽出や文
字認識の誤り文字の検出修正を効率的に行うことができ
る。

【００４２】また単一のパラメータであっても、順位を
もつ複数の解析結果が得られる場合には、複数の解析結
果の差異や同等性を利用することで同様にしてキーワー
ドや文字認識における誤り文字の検出を効率的且つ正確
に行うことができる。

【図面の簡単な説明】

【図１】本発明の原理説明図

【図２】本発明の実施形態のブロック図

【図３】図２の形態素解析部の詳細のブロック図

【図４】キーワードの抽出に利用した本発明の実施形態
の説明図

【図５】認識文字の誤り検出に利用した本発明実施形態
の説明図

【図６】図５の自動誤り修正に使用するデータベース知
識の説明図

【図７】本発明の別の実施形態のブロック図

【符号の説明】

１０：情報ソース １２：形態素解析部 １４，１４−１〜１４−ｎ：解析パラメータ １６：情報抽出部 １８：情報利用部 ２０：誤り修正部 ２２：データベース ２４：ユーザ／ファイル／データベース ２６：文字列分割部 ２８：辞書検索部 ３０：接続可能性チェック部 ３２：接続コスト算出部 ３４：解析用データ格納部 ３６−１，３６−２：辞書 ３８−１，３８−２：接続表 ４０−１，４０−２：コストルール ４２，４２−１，４２−２：形態素解析結果 ４４−１，４４−２：キーワード ４８：正解

Claims (7)

【特許請求の範囲】
1. 【請求項１】複数の解析パラメータを使用した文の形態
   素解析により複数の解析結果を導出する形態素解析部
   と、 前記形態素解析部から得られた複数の解析結果に基づい
   て必要な情報を抽出する情報抽出部と、 前記情報抽出部の抽出情報を、ユーザに提示したり、フ
   ァイルに出力したり、データベースに付与したりして利
   用する情報利用部と、を備えたことを特徴とする文書情
   報処理装置。
2. 【請求項２】単一の解析パラメータを使用した文の形態
   素解析により順位をもつ複数の解析結果を導出する形態
   素解析部と、 前記形態素解析部から得られた複数の解析結果に基づい
   て必要な情報を抽出する情報抽出部と、 前記情報抽出部の抽出情報を、ユーザに提示したり、フ
   ァイルに出力したり、データベースに付与したりして利
   用する情報利用部と、を備えたことを特徴とする文書情
   報処理装置。
3. 【請求項３】請求項１又は２記載の情報抽出装置に於い
   て、前記情報抽出部は、前記形態素解析部から得られた
   複数の解析結果の差異を利用して必要な情報を抽出する
   ことを特徴とする文書情報処理装置。
4. 【請求項４】請求項１又は２記載の文書情報処理装置に
   於いて、前記情報抽出部は、前記形態素解析部から得ら
   れた複数の解析結果の同等性を利用して必要な情報を抽
   出することを特徴とする文書情報処理装置。
5. 【請求項５】請求項３又は４記載の文書情報処理装置に
   於いて、前記情報抽出手段は、前記情報利用部で使用す
   る文中のキーワードを抽出することを特徴とする文書情
   報処理装置。
6. 【請求項６】請求項３又は４記載の文書情報処理装置に
   於いて、前記情報抽出部は、前記情報利用部で修正され
   る文字読取認識装置で得られた読取文中の認識誤り文字
   を検出することを特徴とする文書情報処理装置。
7. 【請求項７】請求項６記載の文書情報処理装置に於い
   て、前記情報利用部は、 認識誤り文字の修正に使用される予め定めた文法ルール
   を格納したデータベースと、 前記情報抽出部で検出した認識誤り文字に前記データベ
   ースの文法ルールを適用して自動修正する誤り修正部
   と、を備えたことを特徴とする文書情報処理装置。