JPH06223114A - 文字列処理方式 - Google Patents
文字列処理方式Info
- Publication number
- JPH06223114A JPH06223114A JP5029737A JP2973793A JPH06223114A JP H06223114 A JPH06223114 A JP H06223114A JP 5029737 A JP5029737 A JP 5029737A JP 2973793 A JP2973793 A JP 2973793A JP H06223114 A JPH06223114 A JP H06223114A
- Authority
- JP
- Japan
- Prior art keywords
- character string
- string
- code
- character
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【目的】 入力される文字コード情報が、ＡＳＣIIコー
ド列であっても、該ＡＳＣIIコード以外のコード列であ
っても、各々に応じて特定の文字列を切り出し、文章の
種類を分類する。 【構成】 ８ビット単位で文字コード入力を行い、対象
とする文字列かどうかを判断し、英文の場合は記号以外
すべてを対象とし、日本語の場合は漢字文字列と片仮名
文字列を対象とする。対象文章中の単語の総数と、語彙
数とで定義されるＧ値より英文の場合には、一般英文テ
キストと技術文章などとを分類可能とし、日本語文章の
場合には、通常日本語文章と、技術文章等（広告文章、
マニュアル、カタログ等）とを分類可能とする。
ド列であっても、該ＡＳＣIIコード以外のコード列であ
っても、各々に応じて特定の文字列を切り出し、文章の
種類を分類する。 【構成】 ８ビット単位で文字コード入力を行い、対象
とする文字列かどうかを判断し、英文の場合は記号以外
すべてを対象とし、日本語の場合は漢字文字列と片仮名
文字列を対象とする。対象文章中の単語の総数と、語彙
数とで定義されるＧ値より英文の場合には、一般英文テ
キストと技術文章などとを分類可能とし、日本語文章の
場合には、通常日本語文章と、技術文章等（広告文章、
マニュアル、カタログ等）とを分類可能とする。
Description
【０００１】
【技術分野】本発明は、文字列処理方式に関し、より詳
細には、入力される文字コード情報が、ＡＳＣII（Amer
ican Standard Code for Information Interchange：ア
メリカの情報交換用標準コード）コード列であるか、ま
たはＪＩＳ（Japanese Industrial Standard：日本工業
規格）コード列，ＥＵＣ（Extended UNIX Code；拡張ユ
ニックスコード）コード列であるかにかかわりなく、各
々に応じて特定の文字列を切り出すことを可能にした文
字列処理方式に関する。
細には、入力される文字コード情報が、ＡＳＣII（Amer
ican Standard Code for Information Interchange：ア
メリカの情報交換用標準コード）コード列であるか、ま
たはＪＩＳ（Japanese Industrial Standard：日本工業
規格）コード列，ＥＵＣ（Extended UNIX Code；拡張ユ
ニックスコード）コード列であるかにかかわりなく、各
々に応じて特定の文字列を切り出すことを可能にした文
字列処理方式に関する。
【０００２】
【従来技術】人間が使用するいわゆる「自然言語」を機
械的に処理し、これを自動的に理解させようという試み
は古くから行なわれてきた。自然言語の翻訳が機械的に
可能になったと主張するシステムもあるが、これも対象
とする分野が限定される場合のみに可能である。他方、
文章の著者が不明の場合、これを推測するためのソフト
ウェアが市販されたことがある（Tankard，J;“The lit
erary detective"，Byte 1986，February，pp231）。こ
のソフトは英語用で単にｎ個の文字列（ｎ−gramと呼ば
れている）の頻度の類似性を比べるだけであるが、著者
の傾向を強く反映すると言われている。また一方、文字
列をより汎用性の高い法則で記述しようという試みも古
くからなされている。Ｚｉｐｆによって提案された、い
わゆるＺｉｐｆの法則は言語の種類に寄らず成り立つと
言われており（Zipf，G.K.“The psycho-biology of la
nguage"，The MIT Press(1965)，Originally printed b
y Houghton MifflinCo.1935）、次の関係式で表され
る。 ｆ×ｒ＝一定 …（１） ここで、ｆはある単語の頻度（一定数の単語中に特定の
単語がどれくらいあるか＝例えば普通英語の the は100
0単語中５０くらい存在する）で、ｒは対象とする単語
の頻度の順位（上の例 the ではｒ＝１）である。
械的に処理し、これを自動的に理解させようという試み
は古くから行なわれてきた。自然言語の翻訳が機械的に
可能になったと主張するシステムもあるが、これも対象
とする分野が限定される場合のみに可能である。他方、
文章の著者が不明の場合、これを推測するためのソフト
ウェアが市販されたことがある（Tankard，J;“The lit
erary detective"，Byte 1986，February，pp231）。こ
のソフトは英語用で単にｎ個の文字列（ｎ−gramと呼ば
れている）の頻度の類似性を比べるだけであるが、著者
の傾向を強く反映すると言われている。また一方、文字
列をより汎用性の高い法則で記述しようという試みも古
くからなされている。Ｚｉｐｆによって提案された、い
わゆるＺｉｐｆの法則は言語の種類に寄らず成り立つと
言われており（Zipf，G.K.“The psycho-biology of la
nguage"，The MIT Press(1965)，Originally printed b
y Houghton MifflinCo.1935）、次の関係式で表され
る。 ｆ×ｒ＝一定 …（１） ここで、ｆはある単語の頻度（一定数の単語中に特定の
単語がどれくらいあるか＝例えば普通英語の the は100
0単語中５０くらい存在する）で、ｒは対象とする単語
の頻度の順位（上の例 the ではｒ＝１）である。
【０００３】Ｚｉｐｆはまた別の関係式である、いわゆ
る第２Ｚｉｐｆの法則を提案している。 ｋ×ｆ2＝一定 …（２） ただし、ｋは同一の発生頻度値ｆを持つ単語の数（例え
ば、英語の the と aが同じ頻度値５０があればｋ＝
２）である。更により一般化された表現は Mandelbrot
（Mandelbrot，B.B.“Fractal Geometry of Nature"，
W.H.Freeman and Co.，New York，1982）や Booth（Boo
th，A.D.“A law of Occurrences for Wordsof Low Fre
quency"，Information and Control，10(4);386-393(19
67)）が導いている。しかし、いずれの公式、あるいは
法則を使ったとしても、図８に示すように、その近似精
度は良くない。すなわち、図１０において、帯状黒線は
Ｃ Language（Ｃ言語）、帯状点線は non-native Engli
sh（英語を母国語としない人が書いた英語）であり、横
軸が Numerical Order（頻度順位）、縦軸がＺｉｐｆの
第２法則（２）式を表わしている。横軸の頻度順位は、
右側に行くに従って頻度が低いことになる。帯状黒線及
び帯状点線ともに右下りの特性を示し、頻度の高いもの
については両者の識別ができたとしても、頻度が低くな
るにつれ混在した状態となり、その識別がはっきりしな
いことがわかる。なお、図中の対象文章は、英語を母国
語としない人が書いた英語の技術文章と、コンピュータ
言語の１つであるＣ言語についてプロットしたものであ
る。その他の各種文章も試みたが、近似度はいずれも良
くない。
る第２Ｚｉｐｆの法則を提案している。 ｋ×ｆ2＝一定 …（２） ただし、ｋは同一の発生頻度値ｆを持つ単語の数（例え
ば、英語の the と aが同じ頻度値５０があればｋ＝
２）である。更により一般化された表現は Mandelbrot
（Mandelbrot，B.B.“Fractal Geometry of Nature"，
W.H.Freeman and Co.，New York，1982）や Booth（Boo
th，A.D.“A law of Occurrences for Wordsof Low Fre
quency"，Information and Control，10(4);386-393(19
67)）が導いている。しかし、いずれの公式、あるいは
法則を使ったとしても、図８に示すように、その近似精
度は良くない。すなわち、図１０において、帯状黒線は
Ｃ Language（Ｃ言語）、帯状点線は non-native Engli
sh（英語を母国語としない人が書いた英語）であり、横
軸が Numerical Order（頻度順位）、縦軸がＺｉｐｆの
第２法則（２）式を表わしている。横軸の頻度順位は、
右側に行くに従って頻度が低いことになる。帯状黒線及
び帯状点線ともに右下りの特性を示し、頻度の高いもの
については両者の識別ができたとしても、頻度が低くな
るにつれ混在した状態となり、その識別がはっきりしな
いことがわかる。なお、図中の対象文章は、英語を母国
語としない人が書いた英語の技術文章と、コンピュータ
言語の１つであるＣ言語についてプロットしたものであ
る。その他の各種文章も試みたが、近似度はいずれも良
くない。
【０００４】
【目的】本発明は、上述のごとき実情に鑑みてなされた
もので、入力される文字コード情報がＡＳＣIIコード列
であっても、ＪＩＳコード列，ＥＵＣコード列であって
も、各々に応じて特定の文字列を切り出すことのできる
ようにした文字列処理方式を提供することを目的として
なされたものである。
もので、入力される文字コード情報がＡＳＣIIコード列
であっても、ＪＩＳコード列，ＥＵＣコード列であって
も、各々に応じて特定の文字列を切り出すことのできる
ようにした文字列処理方式を提供することを目的として
なされたものである。
【０００５】
【構成】本発明は、上記目的を達成するために、（１）
入力される文字コード情報が、ＡＳＣIIコード列である
か該ＡＳＣIIコード列以外のコード列であるかを問わず
に受け付けると共に、それぞれに応じて特定の文字列を
切り出すこと、或いは、（２）入力コード列がＡＳＣII
コード列以外のコードの場合は、ひらがな以外の文字列
の一部又は全部を切り出し、切り出された文字列の統計
量をとることで対象とする文章の種類を推測すること、
或いは、（３）日本語文字列を対象とするとき、漢字文
字列の最初のｘ文字（ｘは２〜４の整数）と片仮名文字
列の最初のｙ個の（ｙは４〜６の整数）文字列の発生頻
度等の統計量を利用して対象とする日本語文字列を分類
すること、更には、（４）前記（３）において、前記片
仮名にＡＳＣIIコード以外のコードの長音記号を含める
こと、（５）日本語文字列の統計処理において、 Ｇ＝log（Ｎ／Ｌ）／｛log(Ｎ)−１｝ （Ｎ：対象文章中の単語の総数、Ｌ：語彙数） のパラメータＧによって、対象日本語文字列の属性を判
定すること、更には、（６）前記（２）,（３）又は
（４）において、アルファベットの文字列の頻度情報も
算出すると同時に、抽出された文字列の相対頻度が、10
00単語当たり３〜２０の範囲の文字列を対象とする文書
のキーワードとして登録することを特徴としたものであ
る。以下、本発明の実施例に基いて説明する。
入力される文字コード情報が、ＡＳＣIIコード列である
か該ＡＳＣIIコード列以外のコード列であるかを問わず
に受け付けると共に、それぞれに応じて特定の文字列を
切り出すこと、或いは、（２）入力コード列がＡＳＣII
コード列以外のコードの場合は、ひらがな以外の文字列
の一部又は全部を切り出し、切り出された文字列の統計
量をとることで対象とする文章の種類を推測すること、
或いは、（３）日本語文字列を対象とするとき、漢字文
字列の最初のｘ文字（ｘは２〜４の整数）と片仮名文字
列の最初のｙ個の（ｙは４〜６の整数）文字列の発生頻
度等の統計量を利用して対象とする日本語文字列を分類
すること、更には、（４）前記（３）において、前記片
仮名にＡＳＣIIコード以外のコードの長音記号を含める
こと、（５）日本語文字列の統計処理において、 Ｇ＝log（Ｎ／Ｌ）／｛log(Ｎ)−１｝ （Ｎ：対象文章中の単語の総数、Ｌ：語彙数） のパラメータＧによって、対象日本語文字列の属性を判
定すること、更には、（６）前記（２）,（３）又は
（４）において、アルファベットの文字列の頻度情報も
算出すると同時に、抽出された文字列の相対頻度が、10
00単語当たり３〜２０の範囲の文字列を対象とする文書
のキーワードとして登録することを特徴としたものであ
る。以下、本発明の実施例に基いて説明する。
【０００６】まず、本発明による文字列処理方式を説明
するために、次の（３）式を定義する。 Ｇ＝log(Ｎ／Ｌ)／｛log(Ｎ)−１｝ …（３） なお、この式において、Ｎは対象文章中の単語の総数、
Ｌは語彙数（異なる綴りを持つ単語の数）である。ここ
で、異なる綴りはすべて異なる単語と定義しているから
通常の意味での語彙数とは異なる。単語の定義として
は、以下に示す表１の単語の区切り記号で仕切られる”
ブランク以外の文字列”をすべて単語とした。
するために、次の（３）式を定義する。 Ｇ＝log(Ｎ／Ｌ)／｛log(Ｎ)−１｝ …（３） なお、この式において、Ｎは対象文章中の単語の総数、
Ｌは語彙数（異なる綴りを持つ単語の数）である。ここ
で、異なる綴りはすべて異なる単語と定義しているから
通常の意味での語彙数とは異なる。単語の定義として
は、以下に示す表１の単語の区切り記号で仕切られる”
ブランク以外の文字列”をすべて単語とした。
【０００７】
【表１】
【０００８】これをＡＳＣIIコード列（英文など）に適
用すると、図１に示すように、１つの文章では式（３）
の値がほぼ一定と言う関係が成り立つ。図１において、
横軸は総単語数 log(N)、縦軸は総単語数を語彙数で割
ったもの log(N/L)を示し、対象文章として、msreadm
e，doc はマニュアル、shogun は小説、maildoc は手紙
文、nlpexl,cはＣ言語、newswk1,txt は雑誌記事、japa
tx.6-1 は小学生６年の国語教科書のローマ字表記のも
のである。いずれの対象文章においても右上りの一定の
関係が成り立っていることがわかる。
用すると、図１に示すように、１つの文章では式（３）
の値がほぼ一定と言う関係が成り立つ。図１において、
横軸は総単語数 log(N)、縦軸は総単語数を語彙数で割
ったもの log(N/L)を示し、対象文章として、msreadm
e，doc はマニュアル、shogun は小説、maildoc は手紙
文、nlpexl,cはＣ言語、newswk1,txt は雑誌記事、japa
tx.6-1 は小学生６年の国語教科書のローマ字表記のも
のである。いずれの対象文章においても右上りの一定の
関係が成り立っていることがわかる。
【０００９】更にここでもう１つのパラメータを導入す
る。今、横軸に単語の頻度順位（rank order）を対数単
位で、縦軸に単語の文字数（word length）をそれぞれ
とると図２の様になる。図中、fanty１と書いてあるの
は対象とする文章の名称である。図２において、縦軸は
文字数、横軸は頻度順位 log(n）を示しており、右側に
行くほど頻度順位は低くなる。図２から分かるとおり、
頻度の高い単語はその文字数が短い。これは一般的に知
られていることであり、良く使われる単語ほど省略され
たり、短く言い換えられたりすることによる。このグラ
フの凹凸の様子を次の相関係数Ｒで表す。
る。今、横軸に単語の頻度順位（rank order）を対数単
位で、縦軸に単語の文字数（word length）をそれぞれ
とると図２の様になる。図中、fanty１と書いてあるの
は対象とする文章の名称である。図２において、縦軸は
文字数、横軸は頻度順位 log(n）を示しており、右側に
行くほど頻度順位は低くなる。図２から分かるとおり、
頻度の高い単語はその文字数が短い。これは一般的に知
られていることであり、良く使われる単語ほど省略され
たり、短く言い換えられたりすることによる。このグラ
フの凹凸の様子を次の相関係数Ｒで表す。
【００１０】
【数１】
【００１１】Σはサンプル点の数だけ加算することを示
す演算子である。また、Ｘ、Ｙは観測値ｘまたはｙがそ
の平均値ｍから、どれほどずれているかを示すもので、 Ｘ＝ｘ−ｍ で定義される。そしてｘ、ｙはそれぞれ図２の頻度順位
log（ｎ）とWord_length（単語文字数）を表してい
る。
す演算子である。また、Ｘ、Ｙは観測値ｘまたはｙがそ
の平均値ｍから、どれほどずれているかを示すもので、 Ｘ＝ｘ−ｍ で定義される。そしてｘ、ｙはそれぞれ図２の頻度順位
log（ｎ）とWord_length（単語文字数）を表してい
る。
【００１２】図３は、ＡＳＣIIコードからなる各種文書
に対して行なった測定結果を示す図である。図３におい
て、縦軸は前記（３）式で定義されるＧ、横軸は前記
（４）式で表わされる相関係数Ｒである。図中、□：En
glish text は一般の英文テキスト、ｘ：restricted-En
glish Text は技術文献、マニュアル、専門家知識等、
Ｏ：Computer Language はコンピュータ言語である。図
から明らかなように、Ｘ印及びＯ印は混在しながらもＧ
値の上方に位置し、□印はＧ値の下方に位置している。
このことから、図中の破線によって通常の英文文章と、
制限された環境で使われる文章（例えば、カタログ、文
献リスト、故障診断の知識およびコンピュータ言語）と
を分類することができる。
に対して行なった測定結果を示す図である。図３におい
て、縦軸は前記（３）式で定義されるＧ、横軸は前記
（４）式で表わされる相関係数Ｒである。図中、□：En
glish text は一般の英文テキスト、ｘ：restricted-En
glish Text は技術文献、マニュアル、専門家知識等、
Ｏ：Computer Language はコンピュータ言語である。図
から明らかなように、Ｘ印及びＯ印は混在しながらもＧ
値の上方に位置し、□印はＧ値の下方に位置している。
このことから、図中の破線によって通常の英文文章と、
制限された環境で使われる文章（例えば、カタログ、文
献リスト、故障診断の知識およびコンピュータ言語）と
を分類することができる。
【００１３】このことは、英語の文章の中身を知らなく
ても、荒い分類が迅速に出来ることを示している。なぜ
なら、英語の単語や文法の知識を一切必要としないし、
しかも、最初の５００単語程度の情報があれば、文字列
の頻度だけて大雑把な分類が出来るわけである。したが
って、将来、電子図書館が出来た暁には、自分の欲しい
図書の分野を、本発明の方法によって容易に絞り込むこ
とが出来る。もし、いくつかの代表的な英語単語、例え
ば、the，is，are，it，thatなどの頻度と組み合わせれ
ば、更に精度の良い分類が可能であることは言うまでも
ない。
ても、荒い分類が迅速に出来ることを示している。なぜ
なら、英語の単語や文法の知識を一切必要としないし、
しかも、最初の５００単語程度の情報があれば、文字列
の頻度だけて大雑把な分類が出来るわけである。したが
って、将来、電子図書館が出来た暁には、自分の欲しい
図書の分野を、本発明の方法によって容易に絞り込むこ
とが出来る。もし、いくつかの代表的な英語単語、例え
ば、the，is，are，it，thatなどの頻度と組み合わせれ
ば、更に精度の良い分類が可能であることは言うまでも
ない。
【００１４】以上は英語の文章について明らかになった
性質であるが、日本語に適用する場合の問題点は単語の
切り出しである。幸い、日本語は通常４種類の字種を使
うことが多い。すなわち、漢字、ひらがな、片仮名、そ
して、アルファベットである。ひらがなを除く文字列
は、文章中に独立して現われることが多く、英語におけ
る単語的な役割を演じていると考えられる。日本語の文
書中の対象単語は、以下の定義によって切り出す。 （１）１バイト目の最初のビットが０であれば、これを
ＡＳＣII文字列と見なし、２ビット目以下のコードによ
って文字を同程する。このとき、数字またはアルファベ
ットが連続する限り、これを１つの単語文字列と見な
す。また、大文字と小文字の区別はしない。最大２０文
字までを抽出する。 （２）１バイト目の最初のビットが１であれば、これを
ＪＩＳ文字列と見なし、２バイトを１セットとして文字
種類の区別を以下のように行う。第１バイトがＪＩＳコ
ードで "ａ５" 以上 "ａ６" 未満か、または第１バイト
が "ａ１" で第２バイトが "ｂｃ" か、あるいは第１バ
イトが "ａ１" で第２バイトが "ｃ３" ならば、最大５
文字までを抽出する。 （３）１バイト目の最初のビットが１であれば、これを
ＪＩＳ文字列と見なし、２バイトを１セットとして文字
種類の区別を以下のように行う。第１バイトがＪＩＳコ
ードで "ｂ４" 以上 "ｆ５" 未満を漢字文字列として最
大２文字まで抽出する。 （４）１バイト目の最初のビットが１であれば、これを
ＪＩＳ文字列と見なし、２バイトを１セットとして文字
種類の区別を以下のように行う。第１バイトがＪＩＳコ
ードで "ａ３" ならば、全角英数文字列として最大２０
文字まで抽出する。このように、コードを見るだけでア
ルファベット（ＡＳＣII）とＪＩＳは異なるから、異な
った切り出し方法を適用することも可能である。
性質であるが、日本語に適用する場合の問題点は単語の
切り出しである。幸い、日本語は通常４種類の字種を使
うことが多い。すなわち、漢字、ひらがな、片仮名、そ
して、アルファベットである。ひらがなを除く文字列
は、文章中に独立して現われることが多く、英語におけ
る単語的な役割を演じていると考えられる。日本語の文
書中の対象単語は、以下の定義によって切り出す。 （１）１バイト目の最初のビットが０であれば、これを
ＡＳＣII文字列と見なし、２ビット目以下のコードによ
って文字を同程する。このとき、数字またはアルファベ
ットが連続する限り、これを１つの単語文字列と見な
す。また、大文字と小文字の区別はしない。最大２０文
字までを抽出する。 （２）１バイト目の最初のビットが１であれば、これを
ＪＩＳ文字列と見なし、２バイトを１セットとして文字
種類の区別を以下のように行う。第１バイトがＪＩＳコ
ードで "ａ５" 以上 "ａ６" 未満か、または第１バイト
が "ａ１" で第２バイトが "ｂｃ" か、あるいは第１バ
イトが "ａ１" で第２バイトが "ｃ３" ならば、最大５
文字までを抽出する。 （３）１バイト目の最初のビットが１であれば、これを
ＪＩＳ文字列と見なし、２バイトを１セットとして文字
種類の区別を以下のように行う。第１バイトがＪＩＳコ
ードで "ｂ４" 以上 "ｆ５" 未満を漢字文字列として最
大２文字まで抽出する。 （４）１バイト目の最初のビットが１であれば、これを
ＪＩＳ文字列と見なし、２バイトを１セットとして文字
種類の区別を以下のように行う。第１バイトがＪＩＳコ
ードで "ａ３" ならば、全角英数文字列として最大２０
文字まで抽出する。このように、コードを見るだけでア
ルファベット（ＡＳＣII）とＪＩＳは異なるから、異な
った切り出し方法を適用することも可能である。
【００１５】図４は、ある日本語文章（マニュアル）の
中から、「ＪＩＳコードの漢字文字列の最初の２文
字」、「片仮名文字列の最初の５文字」を頻度順に取り
出した図である。ただし、片仮名中の長音は、ＥＵＣコ
ード“a1bc”「ー」（横書き片仮名の長音を表わす記
号）を当てるものとする（縦書きの場合は“a1c
３”）。時々、この長音にアルファベットのマイナス、
“−”を誤って当てる場合があるが、この場合、片仮名
列は正しく抽出されない。図４の例では「パ」と「ト」
の間に当てられた記号がこれに相当する。すなわち、
「パ」マイナス「ト」となっている場合には「パート」
として抽出されない。
中から、「ＪＩＳコードの漢字文字列の最初の２文
字」、「片仮名文字列の最初の５文字」を頻度順に取り
出した図である。ただし、片仮名中の長音は、ＥＵＣコ
ード“a1bc”「ー」（横書き片仮名の長音を表わす記
号）を当てるものとする（縦書きの場合は“a1c
３”）。時々、この長音にアルファベットのマイナス、
“−”を誤って当てる場合があるが、この場合、片仮名
列は正しく抽出されない。図４の例では「パ」と「ト」
の間に当てられた記号がこれに相当する。すなわち、
「パ」マイナス「ト」となっている場合には「パート」
として抽出されない。
【００１６】図５は、解析結果を示す図で、図中、「Ｎ
に丸」が通常の日本語文章（Natural Japanese）、「Ｃ
に丸」がカタログ（Catalog）、「Ｍに丸」がマニュア
ル（Manual）、「Ｔに丸」が技術文章（Technical）、
「Ａに丸」が広告文章（Advertizement）を各々表して
いる。縦軸が前述した（３）式のＧ、横軸が相関係数Ｒ
である。なお、図中に示された対象文章は表２のとおり
である。
に丸」が通常の日本語文章（Natural Japanese）、「Ｃ
に丸」がカタログ（Catalog）、「Ｍに丸」がマニュア
ル（Manual）、「Ｔに丸」が技術文章（Technical）、
「Ａに丸」が広告文章（Advertizement）を各々表して
いる。縦軸が前述した（３）式のＧ、横軸が相関係数Ｒ
である。なお、図中に示された対象文章は表２のとおり
である。
【００１７】
【表２】
【００１８】図５からわかるように、「文章の種類の違
い」は「相関係数」の値にそれほど依存してないが、Ｇ
の値が０.１８より上では、それより下の文章と異なっ
ていることがわかる。すなわち、広告文章「Ａに丸」、
技術文章「Ｔに丸」、マニュアル「Ｍに丸」、カタログ
「Ｃに丸」は、Ｇの上方（０.１８以上）に位置し、通
常の日本語文章「Ｎに丸」はＧの０.１８以下に位置し
ていることがわかる。すなわち、Ｇ＝０.１８を閾値と
して、これ以上を抽出すれば、表３に示されるような通
常日本語文章と分類することができる。
い」は「相関係数」の値にそれほど依存してないが、Ｇ
の値が０.１８より上では、それより下の文章と異なっ
ていることがわかる。すなわち、広告文章「Ａに丸」、
技術文章「Ｔに丸」、マニュアル「Ｍに丸」、カタログ
「Ｃに丸」は、Ｇの上方（０.１８以上）に位置し、通
常の日本語文章「Ｎに丸」はＧの０.１８以下に位置し
ていることがわかる。すなわち、Ｇ＝０.１８を閾値と
して、これ以上を抽出すれば、表３に示されるような通
常日本語文章と分類することができる。
【００１９】
【表３】
【００２０】日本語と英文の違いは各８ビット単位の処
理において、最上位ビットが０であるか否かで区別出来
るから、入ってきた文章がどちらの言語で書かれている
か不明の場合でも、もし最上位ビットが０ならアルファ
ベットで、そうでなければＪＩＳコードと見做すことが
出来る。
理において、最上位ビットが０であるか否かで区別出来
るから、入ってきた文章がどちらの言語で書かれている
か不明の場合でも、もし最上位ビットが０ならアルファ
ベットで、そうでなければＪＩＳコードと見做すことが
出来る。
【００２１】図６は、本発明による文字列処理方式を説
明するためのフローチャートである。以下、各ステップ
に従って順に説明する。step１ ：まず、８ビット単位で文字コードを入力する。step２ ：次に、入力された文字列の入力が終わったかど
うか、又は予定単語数を越えたかどうかを判断する。step３ ：前記step２において、文字列の入力が終わって
いなければ、又は予定単語数を越えていなければ、最初
のビットが１か０かを判断する。step４ ：前記step３において、最初のビットが１であれ
ば、日本語と見做して次の８ビットを最初の８ビットに
連結させて、１つの文字として処理する。
明するためのフローチャートである。以下、各ステップ
に従って順に説明する。step１ ：まず、８ビット単位で文字コードを入力する。step２ ：次に、入力された文字列の入力が終わったかど
うか、又は予定単語数を越えたかどうかを判断する。step３ ：前記step２において、文字列の入力が終わって
いなければ、又は予定単語数を越えていなければ、最初
のビットが１か０かを判断する。step４ ：前記step３において、最初のビットが１であれ
ば、日本語と見做して次の８ビットを最初の８ビットに
連結させて、１つの文字として処理する。
【００２２】step５：前記step３において、最初のビッ
トが０であれば、８ビットを１文字として、以下の処理
を続ける。step６ ：次に、対象とする文字列かどうかを判断し、英
文は記号以外すべてを対象とする文字列とし、日本語の
場合は、漢字文字列と片仮名文字列（ＥＵＣコードa1b
c，a1c３含む）を対象とする文字列とする。step７ ：次に、区切り記号かどうかを判断し、英文とコ
ンピュータ言語の場合は区切り記号を用いて文字列を切
り出す。日本語の場合は、漢字文字列と片仮名文字列
（ＥＵＣコードa1bc，a1c３含む）から他の文字列に変
化したかどうかを判断する。step８ ：切り出した「単語」候補をメモリに一時記憶す
る。
トが０であれば、８ビットを１文字として、以下の処理
を続ける。step６ ：次に、対象とする文字列かどうかを判断し、英
文は記号以外すべてを対象とする文字列とし、日本語の
場合は、漢字文字列と片仮名文字列（ＥＵＣコードa1b
c，a1c３含む）を対象とする文字列とする。step７ ：次に、区切り記号かどうかを判断し、英文とコ
ンピュータ言語の場合は区切り記号を用いて文字列を切
り出す。日本語の場合は、漢字文字列と片仮名文字列
（ＥＵＣコードa1bc，a1c３含む）から他の文字列に変
化したかどうかを判断する。step８ ：切り出した「単語」候補をメモリに一時記憶す
る。
【００２３】step９：以前登録した「単語」リストに一
時記憶された「単語」候補と同じものかあるかどうかを
判断し、同じものがあれば、その単語の累積頻度値に１
を加算し、同じものがなければ、新たに単語候補を「単
語」としてリストに追加登録する。この時累積頻度値を
１とする。前記 step１に戻る。step10 ：前記step２において、文字列の入力が終わり、
または予定単語数を越えていれば、前記（３）式で定義
されるＧと、前記（４）式で定義される相関係数Ｒを算
出する。step11 ：前記step１０で算出されたＲとＧによる文章の
分類を行う。
時記憶された「単語」候補と同じものかあるかどうかを
判断し、同じものがあれば、その単語の累積頻度値に１
を加算し、同じものがなければ、新たに単語候補を「単
語」としてリストに追加登録する。この時累積頻度値を
１とする。前記 step１に戻る。step10 ：前記step２において、文字列の入力が終わり、
または予定単語数を越えていれば、前記（３）式で定義
されるＧと、前記（４）式で定義される相関係数Ｒを算
出する。step11 ：前記step１０で算出されたＲとＧによる文章の
分類を行う。
【００２４】その他の応用例として、図４の抽出例で分
かるように、この文書が何に関するものであるのか検討
がつく。前述の実施例には含めなかったが、アルファベ
ットの文字列を含めて、同一文字列の頻度を抽出し、そ
のなかの一定頻度範囲の文字列を「その文書を代表させ
るキーワード」として登録することにより、目的文書の
検索に利用できる。このとき、キーワードとして適当な
頻度の範囲とは、1000単語当たりの出現頻度が３から２
０の範囲であることが分かっている。
かるように、この文書が何に関するものであるのか検討
がつく。前述の実施例には含めなかったが、アルファベ
ットの文字列を含めて、同一文字列の頻度を抽出し、そ
のなかの一定頻度範囲の文字列を「その文書を代表させ
るキーワード」として登録することにより、目的文書の
検索に利用できる。このとき、キーワードとして適当な
頻度の範囲とは、1000単語当たりの出現頻度が３から２
０の範囲であることが分かっている。
【００２５】図７は、本発明による文字列処理方式の他
の実施例に基づいた解析結果を示す図で、縦軸にＧ、横
軸にエントロピーを示している。この図からも分かるよ
うに、Ｇ＝０.１８で「Ｎに丸」の通常日本語文章とそ
れ以外の文章とをはっきりと分類することができる。今
までは、抽出された文字列（単語）の種類（語い）と全
体の数から求められるパラメータＧを論じたが、ここで
新たに高頻度単語間の接続エントロピーについて述べ
る。特に、日本語においては、高い頻度の "単語" が熟
語や成句を作ることがある。たとえば、コンピュータサ
イエンスの分野では、 "ディジタル画像" という言葉が
しばしば出現する。すなわち、"ディジタル" と "画像"
が組になって現われやすい。図８のように、頻度順に
並べた語彙の上位５％の "単語"がお互いにどの単語と
隣り合って存在するか（対象となる文字列のみについて
計測する）を図９に示してある。なお、図８において、
左端の数字は頻度順位、３列目は頻度、４列目は文字列
の総数を1000としたときの相対頻度、５列目はコードの
バイト数である。図９において、７番目のディジタルに
隣接する文字列は、１番の画像が圧倒的に多いことが分
かる。
の実施例に基づいた解析結果を示す図で、縦軸にＧ、横
軸にエントロピーを示している。この図からも分かるよ
うに、Ｇ＝０.１８で「Ｎに丸」の通常日本語文章とそ
れ以外の文章とをはっきりと分類することができる。今
までは、抽出された文字列（単語）の種類（語い）と全
体の数から求められるパラメータＧを論じたが、ここで
新たに高頻度単語間の接続エントロピーについて述べ
る。特に、日本語においては、高い頻度の "単語" が熟
語や成句を作ることがある。たとえば、コンピュータサ
イエンスの分野では、 "ディジタル画像" という言葉が
しばしば出現する。すなわち、"ディジタル" と "画像"
が組になって現われやすい。図８のように、頻度順に
並べた語彙の上位５％の "単語"がお互いにどの単語と
隣り合って存在するか（対象となる文字列のみについて
計測する）を図９に示してある。なお、図８において、
左端の数字は頻度順位、３列目は頻度、４列目は文字列
の総数を1000としたときの相対頻度、５列目はコードの
バイト数である。図９において、７番目のディジタルに
隣接する文字列は、１番の画像が圧倒的に多いことが分
かる。
【００２６】エントロピーは、接続頻度をＣｉ、語彙数
をＷとするとき、−(Ｃｉ／Ｗ) log(Ｃｉ／Ｗ)を図９の
文字列ｉについて加算したもので定義される。この場合
は、1.228431となる。ただし、対数の底は２とする。こ
のようにして求めたエントロピーは、きまり文句や熟
語、そして画一的な文体を表現しやすく、事実、技術文
献や宣伝文などに高いスコアが与えられている。したが
って、前出のパラメータＧによって分類された文章の文
体を推測することができる。
をＷとするとき、−(Ｃｉ／Ｗ) log(Ｃｉ／Ｗ)を図９の
文字列ｉについて加算したもので定義される。この場合
は、1.228431となる。ただし、対数の底は２とする。こ
のようにして求めたエントロピーは、きまり文句や熟
語、そして画一的な文体を表現しやすく、事実、技術文
献や宣伝文などに高いスコアが与えられている。したが
って、前出のパラメータＧによって分類された文章の文
体を推測することができる。
【００２７】以上のように、本発明による文字列処理方
式を適用することにより、図書館等の蔵書の電子化によ
り大まかな文章の種類の分類・検索が可能である。すな
わち、図書館に収納する前に電子化された文献のＧ値を
記憶させておくことにより、利用効率は格段に向上し、
また、未電子化の文章も該文献の一頁程度の情報により
Ｇ値を求めることができ、文章の種類を識別することが
できる。また、ＥＵＣコードについて説明したが、ＥＵ
Ｃコードだけでなく、ＪＩＳコードでもよい。
式を適用することにより、図書館等の蔵書の電子化によ
り大まかな文章の種類の分類・検索が可能である。すな
わち、図書館に収納する前に電子化された文献のＧ値を
記憶させておくことにより、利用効率は格段に向上し、
また、未電子化の文章も該文献の一頁程度の情報により
Ｇ値を求めることができ、文章の種類を識別することが
できる。また、ＥＵＣコードについて説明したが、ＥＵ
Ｃコードだけでなく、ＪＩＳコードでもよい。
【００２８】
【効果】以上の説明から明らかなように、本発明による
と、以下のような効果がある。すなわち、入力される文
字コード情報がＡＳＣIIコード列であっても、該ＡＳＣ
IIコード以外のコード列であっても、各々に応じて特定
の文字列を切り出すことができ、該文字列の頻度に着目
して、電子図書館等における文章の種類の識別や検索が
可能となる。
と、以下のような効果がある。すなわち、入力される文
字コード情報がＡＳＣIIコード列であっても、該ＡＳＣ
IIコード以外のコード列であっても、各々に応じて特定
の文字列を切り出すことができ、該文字列の頻度に着目
して、電子図書館等における文章の種類の識別や検索が
可能となる。
【図１】 本発明による文字列処理方式の一実施例を説
明するための図である。
明するための図である。
【図２】 本発明による文字列処理方式における文字数
と頻度順位との関係を示す図である。
と頻度順位との関係を示す図である。
【図３】 本発明による文字列処理方式における測定結
果を示す図である。
果を示す図である。
【図４】 本発明による文字列処理方式における日本語
文章の中から頻度順に取り入れた図である。
文章の中から頻度順に取り入れた図である。
【図５】 本発明による文字列処理方式における解析結
果を示す図である。
果を示す図である。
【図６】 本発明による文字列処理方式を説明するため
のフローチャートである。
のフローチャートである。
【図７】 本発明による文字列処理方式の他の実施例に
よる解析結果を示す図である。
よる解析結果を示す図である。
【図８】 本発明による文字列処理方式における日本語
文章の語彙を頻度順に並べた図である。
文章の語彙を頻度順に並べた図である。
【図９】 図８において、隣接する単語の存在を示す図
である。
である。
【図１０】 従来の文字列処理方式を説明するための図
である。
である。
Claims (6)
- 【請求項１】 入力される文字コード情報が、ＡＳＣII
コード列であるか該ＡＳＣIIコード列以外のコード列で
あるかを問わずに受け付けると共に、それぞれに応じて
特定の文字列を切り出すことを特徴とする文字列処理方
式。 - 【請求項２】 入力コード列がＡＳＣIIコード列以外の
コードの場合は、ひらがな以外の文字列の一部又は全部
を切り出し、切り出された文字列の統計量をとることで
対象とする文章の種類を推測することを特徴とする文字
列処理方式。 - 【請求項３】 日本語文字列を対象とするとき、漢字文
字列の最初のｘ文字（ｘは２〜４の整数）と片仮名文字
列の最初のｙ個の（ｙは４〜６の整数）文字列の発生頻
度等の統計量を利用して対象とする日本語文字列を分類
することを特徴とする文字列処理方式。 - 【請求項４】 前記片仮名にＡＳＣIIコード以外のコー
ドの長音記号を含めることを特徴とする請求項３記載の
文字列処理方式。 - 【請求項５】 日本語文字列の統計処理において、 Ｇ＝log（Ｎ／Ｌ）／｛log(Ｎ)−１｝ （Ｎ：対象文章中の単語の総数、Ｌ：語彙数） のパラメータＧによって、対象日本語文字列の属性を判
定することを特徴とする文字列処理方式。 - 【請求項６】 アルファベットの文字列の頻度情報も算
出すると同時に、抽出された文字列の相対頻度が、1000
単語当たり３〜２０の範囲の文字列を対象とする文書の
キーワードとして登録することを特徴とする請求項２，
３又は４記載の文字列処理方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02973793A JP3471381B2 (ja) | 1993-01-26 | 1993-01-26 | 文字列処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02973793A JP3471381B2 (ja) | 1993-01-26 | 1993-01-26 | 文字列処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06223114A true JPH06223114A (ja) | 1994-08-12 |
| JP3471381B2 JP3471381B2 (ja) | 2003-12-02 |
Family
ID=12284428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02973793A Expired - Fee Related JP3471381B2 (ja) | 1993-01-26 | 1993-01-26 | 文字列処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3471381B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008021077A (ja) * | 2006-07-12 | 2008-01-31 | Nec Fielding Ltd | 事例参照システム、事例参照方法、事例蓄積サーバおよびプログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6428770A (en) * | 1987-07-24 | 1989-01-31 | Nippon Atomic Ind Group Co | Key word selector |
| JPS6441964A (en) * | 1987-08-07 | 1989-02-14 | Nippon Telegraph & Telephone | Method for extracting object sentence inherent word of japanese |
| JPH01188934A (ja) * | 1988-01-22 | 1989-07-28 | Nec Corp | 文書自動分類装置 |
| JPH03223923A (ja) * | 1990-01-29 | 1991-10-02 | Nec Corp | 不定バイト長文字入力制御方式 |
-
1993
- 1993-01-26 JP JP02973793A patent/JP3471381B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6428770A (en) * | 1987-07-24 | 1989-01-31 | Nippon Atomic Ind Group Co | Key word selector |
| JPS6441964A (en) * | 1987-08-07 | 1989-02-14 | Nippon Telegraph & Telephone | Method for extracting object sentence inherent word of japanese |
| JPH01188934A (ja) * | 1988-01-22 | 1989-07-28 | Nec Corp | 文書自動分類装置 |
| JPH03223923A (ja) * | 1990-01-29 | 1991-10-02 | Nec Corp | 不定バイト長文字入力制御方式 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008021077A (ja) * | 2006-07-12 | 2008-01-31 | Nec Fielding Ltd | 事例参照システム、事例参照方法、事例蓄積サーバおよびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3471381B2 (ja) | 2003-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7174290B2 (en) | Multi-language document search and retrieval system | |
| JP4638599B2 (ja) | データ表示テキストの言語および文字セットを特定する方法 | |
| KR100330801B1 (ko) | 언어식별장치및언어식별방법 | |
| US5794177A (en) | Method and apparatus for morphological analysis and generation of natural language text | |
| US7152056B2 (en) | Apparatus and method for generating data useful in indexing and searching | |
| US5752051A (en) | Language-independent method of generating index terms | |
| US8762358B2 (en) | Query language determination using query terms and interface language | |
| JP3041268B2 (ja) | 中国語誤り検査（ｃｅｃ）システム | |
| US7546316B2 (en) | Determining a known character string equivalent to a query string | |
| EP1014276A2 (en) | Automatic language identification using both N-Gram and word information | |
| CN111428494A (zh) | 专有名词的智能纠错方法、装置、设备及存储介质 | |
| JPH0823864B2 (ja) | 見出し判定方法 | |
| CN111553155B (zh) | 基于语义结构的口令分词系统及方法 | |
| Šantić et al. | Automatic diacritics restoration in Croatian texts | |
| JP3471381B2 (ja) | 文字列処理方法 | |
| CN113806491A (zh) | 一种信息处理的方法、装置、设备和介质 | |
| JP3369127B2 (ja) | 形態素解析装置 | |
| JP3531222B2 (ja) | 類似文字列検索装置 | |
| EP1076305A1 (en) | A phonetic method of retrieving and presenting electronic information from large information sources, an apparatus for performing the method, a computer-readable medium, and a computer program element | |
| JP4047895B2 (ja) | 文書校正装置およびプログラム記憶媒体 | |
| JP3693734B2 (ja) | 情報検索装置およびその情報検索方法 | |
| US7539611B1 (en) | Method of identifying and highlighting text | |
| JP4318223B2 (ja) | 文書校正装置およびプログラム記憶媒体 | |
| Lee et al. | Text segmentation for Chinese spell checking | |
| JPS62249269A (ja) | 文書処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080912 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080912 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090912 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090912 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100912 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |