JPS6394365A

JPS6394365A - 日本文文書誤り検定装置

Info

Publication number: JPS6394365A
Application number: JP61238060A
Authority: JP
Inventors: Shinichiro Takagi; 伸一郎高木; Tsuneo Yasuda; 安田　恒雄; Katsumi Shimazaki; 島崎　勝美
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1986-10-08
Filing date: 1986-10-08
Publication date: 1988-04-25
Anticipated expiration: 2010-01-30
Also published as: JPH077415B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（発明の属する技術分野）本発明は、日本文文書データベース作成のため、漢字か
な混じりの日本文文字列に含まれる固有名詞の誤りの検
定を行う日本文文書誤り検定装置に関するものである。

（従来の技術）新聞記事、出版用原稿等の文書を大量に電子ファイル化
して日本文文書データベースを作成する場合、これらの
文書に含まれている多数の人名、地名、組織名等の固有
名詞は記事の中で重要なポイントを占めるほか、その正
誤は記事の信頼性を左右しかねないため、従来、これら
の固有名詞の検定は校正者にとって非常に重要な作業で
あった。

こうした固有名詞の検定は、従来、第１図のように行わ
れている。

第１図は従来の固有名詞検定方法の説明図で、（ａ）は
検定の順序、（ｂ）は資料の例である。

１は入力日本文文書、２は漢字ＯＣＲ、ベンタッチタブ
レット、キーボード等の入力装置、３は読み込みを行う
入力処理部、４は磁気装置に文字コードの形式で記録さ
れている入力日本文データベース、５は入力日本文デー
タベース４の一部をモニター用に出力する文書出力部、
６は修正者が固有名詞の検定および訂正を行う修正用端
末、７は修正者が固有名詞の検定のために使用する各固
有名詞辞典、あるいは、固有名詞に関する資料である。

従来の方法で、固有名詞の検定をその実在性をも含めて
実施する場合、次の問題点がある。

■　固有名詞の数は１人名、地名、組織名を中心に膨大
で、その分類も多岐に渡るため、新聞記事のように信頼
性を要求される文書において、出現する固有名詞の辞書
、資料を用いた検定は、多大な処理負荷、処理時間を要
する。

■　人名では、官僚名１組織長名（社長、会長、委員長
・・・）等において、人事異動によりその変更が多く、
かつその推移も激しいので、新聞記事のように厳格性が
要求される文書では、特にその検定に多大な処理時間を
要する。

■　人名の場合、時間の推移によって生存／死亡、現職
／前職等のように、状況に応じて接頭辞（故、現、元・
・・）を選択する必要があるので、単に固有名詞の有無
だけではなく、任期、生存期間等の属性に応じて、接頭
辞等の固有名詞承接語についても検定する必要があり、
多大な処理時間を要する。

（発明の目的）本発明の目的は、固有名詞と固有名詞前後に承接する固
有名詞承接語と固有名詞の属性情報を収集した固有名詞
属性辞書を予め作成し、入力日本文文書の形態素解析に
よって固有名詞承接語を抽出し、固有名詞承接語あるい
は固有名詞をキーとして固有名詞属性辞書を索引するこ
とによって、入力原文中に出現した固有名詞の実在性の
検定および固有名詞承接語の妥当性の検定を実施するよ
うにしたことで、固有名詞の検定の処理負荷を解決した
日本文文書誤り検定装置を提供することにある。

（発明の構成）（発明の特徴と従来の技術との差異）本発明は、固有名詞と固有名詞前後に承接する固有名詞
承接語と固有名詞の属性情報を収集した固有名詞属性辞
書を予め作成し、入力日本文文書に対する単語辞書およ
び文法辞書を用いた形態素解析によって、まず、固有名
詞承接語を抽出し、（固有名詞承接語がない場合は、固
有名詞を抽出）抽出した固有名詞承接語、あるいは、固
有名詞をキーとして前記属性を索引し、次の手段によっ
て固有名詞の実在性の検定および固有名詞承接語の妥当
性の検定を行うことを最も主要な特徴とする。

■　固有名詞承接語が抽出された場合、この固有名詞承
接語をキーとしてその辞書を索引し、キーがマツチすれ
ば、−意化可能情報フラグを参照し、フラグがあれば、
固有名詞との照合、検定を行う（例えば「鈴木都知事」
）。

キーがマツチし、−意化可能情報フラグがあっても、辞
書属性内の継続フラグ（任期等）がないときは、固有名
詞属性内の任期、生存／死亡等を調べて、固有名詞承接
語の誤りを検定する（例えば「銘木首相」は「銘木前首
相」の誤りである）。

■　■において、キーがマツチしても−意化可能情報フ
ラグがない場合（××ｘ市）、同一キーの固有名詞部を
調べ、登録されているかを検定する（例えば「口中元首
相」は「元首相」によって固有名詞の一意化はできない
が、歴代の首相名を登録することによって、絞り込みや
誤り検出は可能である）。

■　■、■において、検定の成否、誤り情報、誤りの場
合の訂正固有名詞候補・訂正固有名詞承接語候補の一覧
を修正者へ出力して確認、訂正を要求する。

■　官僚名のように変更が頻繁に起こる場合に対処する
ため、同一固有名詞に関する固有名詞承接語の履歴を残
す一方、新規登録及び任期等の辞書属性の変更など、固
有名詞属性辞書の修正を固有名詞承接語をキーとして実
施する。

■　固有名詞承接語が抽出されなければ、形態素解析に
より抽出された固有名詞をキーとして固有名詞属性辞書
を索引し、単語認定時の品詞等の属性の固有名詞が固有
名詞属性辞書内に存在するのかを検定し、複数あれば、
該当する各候補を抽出し、その一覧を修正者へ出力して
確認・訂正を要求する（例えば「横浜」〔行政区画、姓
名、地名〕）。

従来の技術とは、次の点で異なる。

■　固有名詞と固有名詞承接語と、固有名詞の属性情報
を収集した固有名詞属性辞書を予め作成する。

■　前記固有名詞属性辞書は索引および修正登録いずれ
も固有名詞承接語をキーとして行う点。

■　固有名詞の実在性の検定だけでなく、固有名詞承接
語の妥当性の検定をも行う点。

（実施例）第２図は本発明の構成例で、８は入力日本文の形態素解
析部、９は単語辞書、１０は文法辞書、１１は固有名詞
承接語抽出部、１２は固有名詞承接語抽出部１１で抽出
した固有名詞承接語によって固有名詞属性辞書１３を索
引して固有名詞の検定を行う固有名詞検定部、１３は固
有名詞属性辞書、１４は前記固有名詞属性辞書１３を修
正更新する辞書修正用端末、１５は固有名詞検定結果確
認・訂正処理部、１６は検定結果を集約する出力日本文
データベース、１７は処理装置である。

本方式では、入力日本文文書の形態素解析により固有名
詞承接語を抽出し、この固有名詞承接語で前記固有名詞
属性辞書１３を索引し、抽出した固有名詞と入力日本文
の固有名詞との照合を行う。

検定の結果は固有名詞検定結果確認・訂正処理部１５で
修正者により修正用端末６を用いて修正する。固有名詞
辞書の属性を更新あるいは新規登録する場合は、辞書修
正用端末１４を用いて行う。

第３図は固有名詞属性辞書の構成例（１）で、発明の構
成の項目■を示した実施例であり、固有名詞承接語だけ
で固有名詞の一意化ができないレコードについて示して
いる。

ここで、１８は固有名詞承接語、１９は一意化可能とな
る補助の固有名詞承接語、２０は検定対象となる固有名
詞、２１は一意化可能情報フラグ、２２は一意化不能な
場合の情報フラグ（φ）、２３は一意化可能な場合の情
報フラグ（１）である。

第３図の固有名詞辞書を用いた検定の実施例としては、 ■　固有名詞属性辞書を後方の固有名詞承接語１８で索
引してマツチした場合、−意化情報フラグ２１がφであ
れば（２２の例）、−意化できないので固有名詞の照合
を行う（例えばｒ神奈川大学」は「大学」だけでは−意
化できない）。

しかし、行政区画（県、市、町・・・）のように−意化
できないが、有限なものは全登録しているので、同じ固
有名詞承接語のレコード群で、固有名詞部の照合を行う
ことによって、固有名詞の妥当性を検定する（例えば「
用上村」は存在する）。

■　−意化情報フラグ２１が１であれば（２３の例）補
助の固有名詞承接語１９を原文上の固有名詞前後におい
て探索し、存在しなければ■の処理を行い、存在すれば
固有名調の一意化の検定を行う（例えば「富野逗子市市
長」）。

第４図は固有名詞属性辞書の構成例（２）で、固有名詞
承接語だけで固有名詞の一意化が可能なレコードについ
て示している。

ここで、２４は固有名詞に付与された属性情報、２５は
人名、組織名等の固有名詞の存在／不在を示す属性フラ
グ、２６は固有名詞の種別、２７は国内外を示す属性フ
ラグ、２８は固有名詞の役職の任期、会社の存続期間、
人間の生存期間等を示す属性。

２９は固有名詞の有効フラグで、固有名詞の実在状況（
任期、生存、存続）が継続しているかあるいは無効かを
示す属性フラグ、３０は固有名詞周辺の文字列の検定や
同形の固有名詞の属性の決定に用いるために適当に設定
するその他の属性フラグ、３１は通常の記述形式のレコ
ード、３２は前職を示す記述形式のレコードで、首相の
任期は終了したが。

「前首相」の役職名で新たに有効となり、継続であるこ
とを示している。３３は固有名詞承接語の履歴表記の記
述形式である。

第４図の固有名詞属性辞書を用いた検定の実施例として
は、 ■　固有名詞承接語１８、補助の固有名詞承接語１９を
キーとして前記固有名詞属性辞書１３を索引し、固有名
詞２０との照合を行う。

マツチした場合、−意化可能情報フラグ２１は１で、固
有名詞の存在を示す属性フラグ２５が「存在」を示して
おり、有効フラグ２９が「継続」であるとき、固有名詞
の実在性が確認されて検定は成功する（例えばｒ中曽根
首相」）。

■　■で、−意化可能情報フラグ２１が１であっても、
有効フラグ２９が無効のときで固有名詞２０がマツチす
ると、誤りであると検定される（例えば「銘木首相」）
。

従って、この場合はさらに固有名詞で固有名詞属性辞書
１３を索引して有効フラグ２９が継続を示すレコードを
探索する。この場合、固有名詞承接語がｒ前首相」とな
るレコードが見つかるので、本例では固有名詞承接語の
誤りが検出されるほか訂正候補も抽出される。

■　■、■の結果、固有名詞承接語のキーが非マツチあ
るいは、有効フラグ２９が無効のレコードしか抽出され
ない場合、修正者に検定結果の確認、訂正を要求する以上の実施例で示した固有名詞属性辞書は、役職名等の
固有名詞承接語をキーとする索引方法であるので、人事
異動により人名の変更が生じた場合でも、同様に更新を
行う。

すなわち、首相が「銘木」からｒ中曽根」に替わった場
合、「中曽根」の人名を固有名詞承接語「首相」で登録
し、有効フラグを継続とし任期開始日を投入する。

一方、従来の「銘木首相」のレコードの有効フラグを無
効とし、任期終了日を投入するほか、新たに」　「銘木
」を固有名詞承接語「前首相」で新規登録し、有効フラ
グを継続とする。

このように過去の履歴を保持するほか若干の操作で辞書
の更新が行えるなど、辞書の検定処理への対応が非常に
良い。

また、固有名詞承接語が抽出されなければ、形態素解析
により抽出された固有名詞をキーとして固有名詞属性辞
書を索引し、単語認定時の品詞等の属性の固有名詞が、
固有名詞属性辞書内に存在するのかを検定し、複数あれ
ば該当する各候補を抽出し、その一覧を修正者へ出力し
て確認、訂正を要求する（例えばｒ横浜」〔行政区画、
姓名、地名〕）。

このような構成および作用をするから、その効果として
は、 ■　予め作成した固有名詞属性辞書を形態素解析により
単語認定した固有名詞承接語をキーとして索引し、固有
名詞の実在性の検定を行うので、処理負荷を大幅に削減
でき、検定速度を高速化できる、 ■　固有名詞承接語の検定も行うので、総合的な固有名
詞の検定精度が向上する、 ■　固有名詞をその固有名詞承接語と伴に登録し、その
属性を含めて固有名詞承接語で索引し更新できるので、
推移の激しい固有名詞でも容易に変更できるので、検定
処理への対応性が増し、総合的な処理速度が向上する、という点で従来より改善があった。

（発明の効果）以上説明したように、固有名詞と固有名詞の前後に承接
する固有名詞承接語とその固有名詞の属性情報を収集し
た固有名詞属性辞書を予め作成し、入力日本文文書の形
態素解析によってまず固有名詞承接語を索引し、この固
有名詞承接語、あるいは固有名詞をキーとして前記辞書
を索引して、−意化可能情報フラグがあれば固有名詞を
照合し、検定する。

この際、マツチしたが有効フラグが無効であれば、固有
名詞承接語の検定を行う。

一方、−意化可能情報フラグがなければ、固有名詞が登
録されているか調べる。

こうした検定結果を修正者へ出力して確認、訂正を求め
る。

また、固有名詞属性辞書は過去の履歴、新規登録、属性
の変更などを可能とする。

という各手段を有するのであるから、 ■　予め作成した固有名詞属性辞書を固有名詞承接語を
キーとして索引し、固有名詞の実在性の検定を行うので
、処理負荷を大幅に削減でき、検定速度を高速化できる
、 ■　固有名詞承接語の検定も行うので、総合的な固有名
詞の検定精度が向上する、 ■　固有名詞をその承接語とともに登録し、その属性も
含めて固有名詞承接語で索引し更新できるので、推移の
激しい固有名詞でも容易に変更でき、検定処理への対応
が増し、総合的な処理速度が向上する、という利点がある。

【図面の簡単な説明】

第１図は従来の固有名詞の検定方法、第２図は本発明の
構成例、第３図は固有名詞属性辞書の構成例（１）、第
４図は固有名詞属性辞書の構成例（２）である。１　・・・入力日本文文書、２　・・・入力装置、３・
・・入力処理部、４　・・・入力日本文データベース、５・・・文書出力部、　　６・・・修正用端末、７・・
・各種固有名詞辞典あるいは資料、８・・・形態素解析
部、　９・・・単語辞書、１０・・・文法辞書、１１・・・固有名詞承接語抽出部、１２・・・固有名詞検定部、１３・・・固有名詞属性辞書、１４・・・辞書修正用端末、１５・・・固有名詞検定結果確認・訂正処理部、１６・
・・出力日本文データベース、１７・・・処理装置、１８・・・固有名詞承接語、１９
・・・補助の固有名詞承接語、２０・・・固゛有名詞、　　　２１・・・情報フラグ、
２２・・・−意化不能な場合の情報フラグ、２３・・・
−意化可能な場合の情報フラグ、２４・・・属性情報、２５・・・固有名詞の存在を示す属性フラグ、２６・・
・固有名詞の種別、２７・・・国内外を示す属性フラグ、２８・・・任期等を示す属性、２９・・・有効フラグ、３０・・・その他の属性フラグ、３１・・・通常の記述形式のレコード、３２・・・前職
を示す記述形式のレコード、３３・・・履歴表記の記述
形式。第１図第２図第３図

Claims

【特許請求の範囲】固有名詞と固有名詞の前後に承接する固有名詞承接語と
前記固有名詞の属性情報を予め収集し、固有名詞承接語
だけで固有名詞の一意化が可能である場合に、その旨を
示す一意化可能情報フラグを付与して作成した固有名詞
属性辞書と、単語辞書、文法辞書を用いて、入力日本文
文書の単語認定を行う形態素解析部と、単語認定された単語列から固有名詞承接語を抽出する固
有名詞承接語抽出部と、抽出した固有名詞承接語あるいは、固有名詞をキーとし
て前出の固有名詞属性辞書を索引し、抽出した固有名詞
と入力原文中の固有名詞との照合、検定を行う固有名詞
検定部と、これらの検定結果を用いて、修正者が確認、訂正を行う
固有名詞検定結果確認・訂正処理部とから構成される日
本文文書誤り検定装置であって、（１）固有名詞承接語
をキーとして、固有名詞属性辞書を索引し、マッチした
レコードに一意化可能情報フラグがあれば、固有名詞と
の照合を行い、さらにそのレコードが過去の履歴を示す
場合には、固有名詞承接語の検定を行う手段、（２）（１）においてマッチしたレコードが一意化可能
情報フラグを有しない場合、固有名詞が固有名詞属性辞
書に登録されているかを検定する手段、（３）検定の成
否、誤り情報、誤りの場合の訂正固有名詞候補・訂正固
有名詞承接語候補の一覧を修正者へ出力し、確認・訂正
を要求する手段、（４）同一固有名詞に関する固有名詞
承接語の履歴を残し、固有名詞承接語をキーとして新規
登録、辞書属性の変更を実施する手段、の各手段を備え、日本文文書データに含まれる固有名詞の誤りの検定を行
うようにしたことを特徴とする日本文文書誤り検定装置
。