JP3902825B2

JP3902825B2 - 文書検索システムおよび方法

Info

Publication number: JP3902825B2
Application number: JP01777097A
Authority: JP
Inventors: 弘隆椎山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-01-16
Filing date: 1997-01-16
Publication date: 2007-04-11
Anticipated expiration: 2017-01-16
Also published as: JPH10207909A

Description

【０００１】
【発明の属する技術分野】
本発明は、文書検索システムおよび方法に関する。
【０００２】
【従来の技術】
従来、文書検索システムでは、文書イメージデータや文書テキストデータの検索漏れを少なくするために、使用者は検索語とその同義語・類義語との論理和演算を検索時に行うことにより索引を作成して検索処理を行っていた。このような検索処理を行う文書検索システムの中には、使用者の選択により同義語・類義語を考慮するものや、使用者の選択に関わらず自動的に同義語・類義語を考慮するものが知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記文書検索システムでは、自動的に同義語・類義語を考慮する場合、使用者が望んでいないものが多く検索されたり、検索処理の負荷が大きくなってしまうという問題があった。
【０００４】
また、使用者の選択により同義語・類義語を考慮する場合、使用者は検索語とその同義語・類義語との論理和演算を行う機能を常に意識しなければ活用できなかった。
【０００５】
そこで、本発明は使用者が意識することなく、しかも負荷を大きくすることなく使用者の要求に応じた検索処理を行うことができる文書検索システムおよび方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明の文書検索システムは、文書から単語を抽出して索引を作成する文書検索システムにおいて、前記文書に重要度を付与する重要度付与手段と、前記抽出される単語のうち、同一とみなせる単語の数を計数する計数手段と、前記計数手段で計数した数が、前記文書に付与した文書の重要度に応じて決定された閾値以上である単語それぞれに対して、該単語の同義語と類義語とのうち少なくとも一方を前記重要度に応じた個数取得する取得手段と、前記取得手段で取得された同義語と類義語のうち少なくとも一方を前記索引に追加する追加手段と、を備えたことを特徴とする。
【０００７】
また、本発明の文書検索方法は、文書から単語を抽出して索引を作成する文書検索システムでの文書検索方法において、前記文書検索システムが備える重要度付与手段が、前記文書に重要度を付与する重要度付与ステップと、前記文書検索システムが備える計数手段が、前記抽出される単語のうち、同一とみなせる単語の数を計数する計数ステップと、前記文書検索システムが備える取得手段が、前記計数ステップで計数した数が、前記文書に付与した文書の重要度に応じて決定された閾値以上である単語それぞれに対して、該単語の同義語と類義語とのうち少なくとも一方を前記重要度に応じた個数取得する取得ステップと、前記文書検索システムが備える追加手段が、前記取得ステップで取得された同義語と類義語のうち少なくとも一方を前記索引に追加する追加ステップと、を備えたことを特徴とする。
【００１４】
【発明の実施の形態】
本発明の文書検索システムおよび方法の実施の形態について説明する。本実施の形態における文書検索システムは全文検索システムに適用される。
【００１５】
［第１の実施の形態］
図１は実施の形態における全文検索システムの構成を示すブロック図である。全文検索システムはコンピュータ１、イメージスキャナ３、表示装置５、キーボード（あるいはマウス）７、外部記憶装置９などから構成される。
【００１６】
イメージスキャナ３は認識対象となる文書の原稿画像を光学的に読み取る。表示装置５はＣＲＴあるいは液晶表示器（ＬＣＤ）からなり、キーボード７から入力された情報やイメージスキャナ３から入力された画像情報、処理経過、処理結果を表示する。
【００１７】
キーボード７はオペレータによる各種コマンドや重要度などの指示情報を入力するものであり、検索処理の際には検索語や検索条件の入力に使用される。外部記憶装置９はイメージスキャナ３から入力されたイメージデータ（画像情報）、テキスト情報、検索用ファイルを記憶するものである。また、外部記憶装置９には単語辞書、同義語・類義語辞書が格納されている。
【００１８】
コンピュータ１は周知のＣＰＵ、ＲＯＭ、ＲＡＭ（図示せず）などから構成される。ＲＯＭにはＣＰＵによって実行される後述する制御プログラムが格納されている。コンピュータ１はＲＯＭに格納された制御プログラムとしてのＯＣＲ処理ソフトウェア１２、文書検索ソフトウェア１３をＣＰＵが実行することによりＯＣＲ処理部、文書検索部として機能する。この他、ＲＯＭには文字認識に用いられる辞書が格納されている。
【００１９】
ＣＰＵはイメージスキャナ３から入力されたイメージデータを外部記憶装置９に一時的に格納しておくと共に、ＯＣＲ処理ソフトウェア１２を実行することによりイメージデータをＲＯＭに格納された辞書を用いてテキスト情報に変換して外部記憶装置９に格納する。また、ＣＰＵは文書検索ソフトウェア１３により検索用ファイルの作成や検索処理を実行する。
【００２０】
尚、上記制御プログラムを予めＲＯＭに格納しておく代わりに外部記憶装置９から必要に応じてＲＡＭに読み込むようにしてもよい。
【００２１】
つぎに、全文検索で使用される検索用ファイルの作成について説明する。全文検索システムでは、検索用ファイルを作成することが指示された場合、指定された重要度に対応した重要単語を選択し、重要度に応じた個数の同義語・類義語を追加して検索用ファイルを作成する。図２は重要度に応じた個数の同義語・類義語を追加して検索用ファイル作成をする処理手順を示すフローチャートである。
【００２２】
検索用ファイルの作成に関し、使用者が登録する文書および重要度を指定すると（ステップＳ１）、指定されたテキスト情報をメモリ（ＲＡＭ）あるいは外部記憶装置９から文書検索部にロードする（ステップＳ２）。
【００２３】
ロードされたテキスト情報の先頭から単語辞書との比較を開始し、その内部に存在する単語文字列を抽出し、抽出された単語文字列を抽出単語リスト情報に格納する。また、指定された文書の重要度が高い場合、出現度数の高いものの同義語・類義語を探して検索用ファイルに反映させるために、この単語文字列を抽出する際に単語文字列の出現度数を数えておく（ステップＳ３）。
【００２４】
重要度の指定があるか否かを判別し（ステップＳ４）、重要度の指定がある場合、重要度に応じて出現度数のしきい値を変動させ、しきい値を越える出現頻度の高い単語文字列を重要単語として決定すると共に、その重要度数に応じて同義語・類義語の個数を決定する（ステップＳ５）。
【００２５】
重要単語としての単語文字列だけの同義語・類義語を同義語・類義語辞書と照合し、照合された同義語・類義語を抽出単語リスト情報に追加する（ステップＳ６）。追加された抽出単語リスト情報と登録文書とを対応付ける検索用ファイルを更新し（ステップＳ７）、処理を終了する。
【００２６】
一方、ステップＳ４で重要度の指定がない場合、そのままステップＳ７に移行する。上記処理を繰り返すことによりロードしたテキスト情報の検索用ファイルの作成を完成させる。
【００２７】
つぎに、作成された検索用ファイルを用いて検索処理を行う場合について説明する。図３は検索処理手順を示すフローチャートである。使用者により検索語が入力されると（ステップＳ１１）、入力された検索語を登録時と同様に単語辞書と比較し、検索語を単数あるいは複数の単語に分解して抽出する（ステップＳ１２）。
【００２８】
出力メモリを初期化した後（ステップＳ１３）、抽出された単語群のうち、始めの抽出単語を外部記憶装置９に格納された検索用ファイルと照合して文書アドレスを取得する（ステップＳ１４、Ｓ１５）。
【００２９】
１回目の抽出単語であるか否かを判別し（ステップＳ１６）、１回目の抽出単語である場合、照合された文書アドレスを出力メモリにそのまま出力する（ステップＳ１８）。一方、１回目の抽出単語でない場合、出力メモリに格納された文書アドレスと論理積演算を行い（ステップＳ１７）、ステップＳ１４に移行する。
【００３０】
ステップＳ１４で未処理の抽出単語がない場合、出力メモリに格納された文書アドレスを検索結果として出力する（ステップＳ１９）。
【００３１】
このように抽出された単語群を共通に含む文書アドレス情報をアプリケーション（文書検索ソフトウェア１３）に返す。この文書アドレス情報により特定される文書イメージデータを外部記憶装置９から読み出して表示装置５に検索結果として表示する。
【００３２】
具体例を挙げて上記全文検索システムの動作について説明する。「全文検索システムの開発…」という文書がドキュメント上にあったとする。一方、文書検索部ではこの文書と単語辞書との比較により「全文」、「検索」、「システム」、「開発」という単語を抽出する。ここで、高い重要度が与えられていた場合、全単語に対して同義語・類義語に展開する処理が行われるので、上記抽出された単語以外に「フルテキスト」、「サーチ」、「装置」、「創作」などの単語も合わせて検索用ファイルに登録されることになる。したがって、キーボード７から「フルテキストサーチ」という検索語が入力されると、文書検索部は全文検索処理を行ってこの文書を検索する。
【００３３】
［第２の実施の形態］
つぎに、抽出された単語文字列の全ての同義語・類義語を検索用ファイルに反映する場合について説明する。この場合、出現度数を数える必要がなく、抽出された単語文字列の個々に対しその重要度数に応じた個数の同義語・類義語を検索用ファイル中の抽出単語リスト情報に付加する。図４は抽出された単語文字列全ての同義語・類義語を追加して検索用ファイルを作成する処理手順を示すフローチャートである。
【００３４】
検索用ファイルの作成に関し、登録文書および重要度が指定された場合（ステップＳ２１）、指定されたテキスト情報をメモリ（ＲＡＭ）あるいは外部記憶装置９から文書検索部にロードする（ステップＳ２２）。
【００３５】
ロードされたテキスト情報の先頭から単語辞書との比較を開始し、その内部に存在する単語文字列を抽出し、抽出単語リスト情報に格納する（ステップＳ２３）。
【００３６】
重要度の指定があるか否かを判別し（ステップＳ２４）、重要度の指定がある場合、重要度数に応じた同義語・類義語の個数を決定する（ステップＳ２５）。ここで、重要度の指定はフラグをセットすることにより行い、フラグがセットされた場合、さらに重要度数の設定を行うようにしてもよい。
【００３７】
抽出した全ての単語文字列に対して同義語・類義語辞書と照合し、重要度数に応じて決定された個数の同義語・類義語を抽出単語リスト情報に追加する（ステップＳ２６）。
【００３８】
追加された抽出単語リスト情報と登録文書とを対応付ける検索用ファイルを更新する（ステップＳ２７）。一方、ステップＳ２４で重要度の指定がない場合、そのままステップＳ２７に移行する。上記処理を繰り返すことによりロードしたテキスト情報の検索用ファイルの作成を完成させる。
【００３９】
尚、上記ステップＳ５あるいはステップＳ２５で重要度数に応じた同義語・類義語の個数が決定され、決定された個数の同義語・類義語をステップＳ６あるいはステップＳ２６で同義語・類義語辞書から抽出する際、同義語・類義語辞書に登録されている順に抽出してもよいし、次に述べるように単語間の概念距離に基づいて抽出してもよい。
【００４０】
即ち、同義語・類義語辞書に各単語間の概念距離を予め登録しておき、重要単語からの概念距離の総和が少ないものを優先して順に同義語・類義語を抽出する。図５は同義語・類義語辞書に登録された各単語間の概念距離を示す図である。例えば、「自動車」が重要単語である場合、概念距離が値３である「カー」、概念距離が値４である「モービル」、概念距離が値５である「車」、「スポーツカー」、概念距離が値１０である「乗り物」、…… の順に同義語・類義語が抽出されることになる。この結果、概念的に近い同義語・類義語から抽出されるので、より使用者の要求に応じた検索を行うことができる。
【００４１】
さらに、上記実施の形態では、文書イメージデータおよび文書テキストデータのどちらも取り扱える文書検索システムに適用する場合を示したが、文書テキストデータしか取り扱えない文書検索システムであってもよい。
【００４２】
また、検索時に同義語・類義語を考慮する機能を有する文書検索システムでも検索時に同義語・類義語を考慮する機能を有しない文書検索システムでもどちらにも適用できる。
【００４３】
さらに、同義語・類義語のどちらか一方だけを考慮して登録するようにしてもよい。
【００４４】
また、本発明は複数の機器から構成されるシステムに適用してもよいし、１つの機器からなる装置に適用してもよい。また、本発明はシステムあるいは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体をシステムあるいは装置に読み出すことによってそのシステムあるいは装置が本発明の効果を享受することが可能となる。記憶媒体としては、ＲＯＭの他に、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカードなどを用いることができる。
【００４５】
本発明によれば、文書に付与された重要度に基いて、単語に対する同義語・類義語を取得し、同義語・類義語を索引に追加するので、使用者が意識することなく、しかも負荷を大きくすることなく使用者の要求に応じた索引作成を行うことができる。したがって、重要な文書を検索し易くできる。
【００４６】
また本発明によれば、重要度の大きさに応じて前記取得される同義語・類義語の数を決定するので、重要な文書は人の目に多く触れるようにすることができる。
【００４８】
また本発明によれば、文書から抽出される単語の数を計数し、該計数された単語の数が閾値以上である場合にのみ、該単語に対する同義語・類義語を前記索引に追加するので、単語の出現頻度に応じて同義語・類義語の数を設定することができ、より使用者の要求に適した検索処理を行うことができる。
【００５２】
【発明の効果】
本発明によれば、文書から単語を抽出して索引を作成する場合に、各単語の同義語と類義語のうち少なくとも一方を索引に追加する際の使用者の負荷を軽減することができる。
【図面の簡単な説明】
【図１】実施の形態における全文検索システムの構成を示すブロック図である。
【図２】重要度に応じた個数の同義語・類義語を追加して検索用ファイルを作成する処理手順を示すフローチャートである。
【図３】検索処理手順を示すフローチャートである。
【図４】抽出された単語文字列全ての同義語・類義語を追加して検索用ファイルを作成する処理手順を示すフローチャートである。
【図５】同義語・類義語辞書に登録された各単語間の概念距離を示す図である。
【符号の説明】
１コンピュータ
３イメージスキャナ
５表示装置
７キーボード
９外部記憶装置
１２ＯＣＲ処理ソフトウェア
１３文書検索ソフトウェア

Claims

文書から単語を抽出して索引を作成する文書検索システムにおいて、
前記文書に重要度を付与する重要度付与手段と、
前記抽出される単語のうち、同一とみなせる単語の数を計数する計数手段と、
前記計数手段で計数した数が、前記文書に付与した文書の重要度に応じて決定された閾値以上である単語それぞれに対して、該単語の同義語と類義語とのうち少なくとも一方を前記重要度に応じた個数取得する取得手段と、
前記取得手段で取得された同義語と類義語のうち少なくとも一方を前記索引に追加する追加手段と、を備えたことを特徴とする文書検索システム。
前記取得手段は、各単語間の概念距離を登録している同義語・類義語辞書を参照し、前記単語との概念距離の値が少ないものを優先して、同義語と類義語のうち少なくとも一方を取得することを特徴とする請求項１記載の文書検索システム。
検索語を入力する入力手段と、
前記検索語、該検索語の同義語、該検索語の類義語のうち少なくとも１つを含む文書を検索する検索手段と、をさらに備えることを特徴とする請求項１記載の文書検索システム。
文書から単語を抽出して索引を作成する文書検索システムでの文書検索方法において、
前記文書検索システムが備える重要度付与手段が、前記文書に重要度を付与する重要度付与ステップと、
前記文書検索システムが備える計数手段が、前記抽出される単語のうち、同一とみなせる単語の数を計数する計数ステップと、
前記文書検索システムが備える取得手段が、前記計数ステップで計数した数が、前記文書に付与した文書の重要度に応じて決定された閾値以上である単語それぞれに対して、該単語の同義語と類義語とのうち少なくとも一方を前記重要度に応じた個数取得する取得ステップと、
前記文書検索システムが備える追加手段が、前記取得ステップで取得された同義語と類義語のうち少なくとも一方を前記索引に追加する追加ステップと、を備えたことを特徴とする文書検索方法。
前記取得ステップは、各単語間の概念距離を登録している同義語・類義語辞書を参照し、前記単語との概念距離の値が少ないものを優先して、同義語と類義語のうち少なくとも一方を取得することを特徴とする請求項４記載の文書検索方法。
前記文書検索システムが備える入力手段が、検索語を入力する入力ステップと、
前記文書検索システムが備える検索手段が、前記検索語、該検索語の同義語、該検索語の類義語のうち少なくとも１つを含む文書を検索する検索ステップと、をさらに備えることを特徴とする請求項４記載の文書検索方法。