JPH0689304A - テキスト処理システムにより使用されるテキストを準備する方法及び装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】 既存のテキスト処理システムにより使用すべ
き、中国語、日本語を始めとする多くの言語のように２
５６を越える文字を含む言語のテキストを作成する。 【構成】 英語以外の言語が何千もの文字を含んでいた
としても、その英語以外の言語の文書テキスト又は探索
・検索引数を既存のＡＳＣＩＩベース自動化テキスト処
理システムにより処理できる形態に変換し、それによ
り、既存のテキスト処理システムをマルチバイト文字言
語を処理するように変換する必要なく、既存のテキスト
処理システム及び既存のテキストデータベースの使用を
可能にする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テキストの記憶及び検
索の技法を使用するコンピュータシステムの分野に関す
る。さらに特定すれば、本発明は、英語のアルファベッ
トを中心として設計されているシステムで非英語系言語
のテキストを記憶し且つ検索するための技法の使用に関
する。

【０００２】

【従来の技術】今日、文書検索システム又は自動化テキ
ストプロセッサシステムは多くのコンピュータシステム
において主要な装置として使用されている。これらは、
様々な種類のテキストを何らかの形態のコンピュータメ
モリ又は記憶スペースに記憶しておき、そのテキストを
ユーザーにより効率良くアクセスし且つメモリ又は記憶
スペースから急速に検索できるようなシステムである。

【０００３】今日、多くのコンピュータシステムが使用
しているそのような記憶スペースの１つの型は、コンパ
クトディスク−読取り専用メモリ（ＣＤ−ＲＯＭ）であ
る。ＣＤ−ＲＯＭは、単一のディスクに何百万もの文字
のデータを記憶することができるディスクファイルであ
る。そのようなＣＤ−ＲＯＭを読取り、そのような型の
データベースからデータを検索するために使用されるソ
フトウェアシステムの１つの型は、Ｓｕｎ Ｍｉｃｒｏ
ｓｙｓｔｅｍｓ，Ｉｎｃ．が開発したＡｎｓｗｅｒＢｏ
ｏｋ^TMと呼ばれるシステムである。（ＡｎｓｗｅｒＢｏ
ｏｋはＳｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓ，Ｉｎｃ．の
商標である）。ＡｎｓｗｅｒＢｏｏｋは、他の同様のシ
ステムと同じように、１６０００ページを越える文書の
全テキスト探索（「内容ベース検索」と呼ばれることも
ある）を実行する能力を有する。そのような探索によっ
て、ユーザーは１つの語又は句や文（すなわち、文字の
ストリング）を入力し、入力された語又は文字ストリン
グの例を求めてテキストを探索することをテキスト検索
システムに求め、それらの例を迅速に表示させることが
できる。

【０００４】ＣＤ−ＲＯＭ又は他の記憶装置に文書を記
憶する場合、通常、文書は情報交換用米国標準コード
（ＡＳＣＩＩ）の８ビットフォーマットでコード化され
たテキスト文字として記憶される。英語のアルファベッ
トは文字を２６しか含んでおらず、また、その数に普通
使用する句読点や特殊文字を加えても、文字の種類は２
５６に満たないので、それらの文字の２進表示は１つの
８ビットバイトのコンピュータデータ（２⁸ ＝２５６）
の中に入ってしまう。

【０００５】英語以外の言語の中には、２５６を越える
文字を含んでいるものがある。たとえば、日本語は８０
００文字を越える文字セットを必要とする。この数を１
つの８ビット（１バイト）数の範囲内におさめることは
できないので、コンピュータに対して日本語の文字セッ
トを記述するためにはマルチバイト文字を使用しなけれ
ばならない。そのため、多くの自動化テキスト処理シス
テムはマルチバイトテキストファイルを表示又はアクセ
スすることができないので、アルファベット中に２５６
を越える文字を含む日本語又は他の言語については、既
存の自動化テキスト処理システムと利用可能なＣＤ−Ｒ
ＯＭテキストデータベースを使用していなかった。

【０００６】世界の言語に対してコードセットを標準化
し、そのような汎用コードセットを使用するためにコン
ピュータアプリケーションを開発しようとする中で技術
は大きく進歩しているが、英語系アプリケーションプロ
グラムを日本語のような別の言語と共に使用するために
は、一般に、そのプログラム自体を書き直すことが必要
である。多くの場合、そのような書き直しのコストはき
わめて高い。本発明は、英語以外の文字コードセットを
ＡＳＣＩＩフォーマットに変換する新規な技法によっ
て、既存の探索・検索プログラムを書き直す必要なく、
既存のプログラムを使用する別の方式を利用する。

【０００７】国際標準化機構（ＩＳＯ）は、様々に異な
る言語を処理するために様々な標準コード化方式を採用
しており、さらに多くの言語を追加するに際しては時に
応じてそれらの方式を改訂している。早くは１９８４年
４月に、Ｘｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎが独自の
文字コード規格を発行した。この規格は、ＩＳＯ６４６
により規定されているラテン文字セットに加えて、ギリ
シア文字、キリル文字及び日本語文字についてのコード
割当てを含むものであった。（初期のＸｅｒｏｘ規格の
詳細については、「Ｘｅｒｏｘ Ｎｅｔｗｏｒｋ Ｓｙ
ｓｔｅｍｓ Ａｒｃｈｉｔｅｃｔｕｒｅ，Ｇｅｎｅｒａ
ｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｍａｎｕａｌ」ＸＮＳＧ
０６８５０４，１９８４年４月刊，５７〜６１ページを
参照。）その後、様々な日本工業規格（ＪＩＳ）コード
セットが規定され、また、ＡＴ＆ＴもＩＳＯ規格２０２
２に準拠する「拡張Ｕｎｉｘコード（ＥＵＣ）」と呼ば
れる同様の標準コードを規定している。さらに最近にな
って、Ｏｐｅｎ Ｓｙｓｔｅｍｓ Ｆｏｕｎｄａｔｉｏ
ｎ，Ｕｎｉｘ Ｉｎｔｅｒｎａｔｉｏｎａｌ及びＵｎｉ
ｘ Ｓｙｓｔｅｍｓ Ｌａｂｏｒａｔｏｒｉｅｓ Ｐａ
ｃｉｆｉｃは日本語について拡張Ｕｎｉｘコード（ＥＵ
Ｘ）を支持することを同意した。それにより、コンピュ
ータアプリケーションの移植性や相互操作性の見込みは
向上した。この一般的な定義（ＥＵＣ）は１９９０年に
制定された日本語標準コードであるＪＩＳ Ｘ０２１２
補遺漢字、ＪＩＳ Ｘ０２０８漢字及びＪＩＳ Ｘ０２
０１１バイトかなを支持している。それらは「Ｃｏｄｅ
ｏｆ ｔｈｅ Ｊａｐａｎｅｓｅ Ｇｒａｐｈｉｃ
Ｃｈａｒａｃｔｅｒ Ｓｅｔ ｆｏｒ Ｉｎｆｏｒｍａ
ｔｉｏｎ Ｅｘｃｈａｎｇｅ（情報交換用日本語図形文
字セットのコード）」と題された規格刊行物の中に記載
されている。（ＵＮＩＸはＵＮＩＸ Ｓｙｓｔｅｍ Ｌ
ａｂｏｒａｔｏｒｉｅｓ，Ｉｎｃ．の登録商標であ
る。）

【０００８】複数バイトのコード化情報によって文字を
定義する日本語文字に関わるそれらの標準コード定義は
単一バイトコード化入力情報を処理するように設計され
ているアプリケーションに対して問題であるが、書きこ
とばとしての日本語はテキスト構文解析系について他に
も多くの複雑な問題を課する。日本語テキストの全テキ
スト探索を可能にするために解決しなければならない２
つの重大な問題は、１）テキスト中の語をいかにして分
割するかという問題（語には英文テキスト中の白色スペ
ースのような境界規定手段は存在していない）と、２）
探索を改善するために分解しなければならない複合名詞
の問題である。本発明は、ＡＳＣＩＩベーステキスト処
理システムに関連してそれらの問題を処理する方法をさ
らに提供する。従来の技術においては、既存の英語系テ
キスト検索アプリケーションを英語以外の複雑な言語に
使用することを可能にするためにそのような問題を解決
する方法は全く知られていない。

【０００９】

【発明が解決しようとする課題】従って、本発明の目的
は、既存のテキスト処理システムにより使用すべき、中
国語、日本語を始めとする多くの言語のように２５６を
越える文字を含む言語のテキストを作成することであ
る。本発明の別の目的は、言語テキストのデータベース
を探索するための探索引数のようなテキスト処理システ
ムにより使用すべき言語テキストを作成することであ
る。本発明の別の目的は、既存のＡＳＣＩＩベーステキ
スト処理システムにおいて使用するための日本語テキス
トを作成することである。

【００１０】

【課題を解決するための手段】本発明によれば、上記の
目的及びその他の目的は、既存のテキスト処理システム
により使用すべき、２５６を越える文字を含む言語のテ
キストを作成する方法及び装置により達成される。これ
は、所定の言語を表わす文字の入力ストリームを収集
し、この文字の入力ストリームを複数の語群に分割し、
それらの語群を、さらに処理するために選択されたテキ
スト処理システムに供給することができる複数の単一バ
イト文字の一意ストリングにマッピングすることにより
実行される。本発明は、選択した言語の文法規則を使用
して語群を識別する能力を提供すると共に、複合語を単
純な構成語部に分割するメカニズムを提供する。

【００１１】言語が日本語である特定のケースについて
いえば、好ましい実施例は、２バイト１６進文字のスト
リームを発生する拡張ＵＮＩＸコード（ＥＵＣ）を使用
して日本語文字をコード化することにより、既存のテキ
ストプロセッサシステムにより処理するための日本語テ
キストを作成する。その後、まず初めに、各文字コード
が漢字文字セットに属するか、カタカナ文字セットに属
するか又はひらがな文字セットに属するかを認識し、第
２に、名詞及び主要な語（漢字型又はカタカナ型であ
る）の次には通常は前置詞（ひらがな型）が続いている
という一般文法規則を適用することにより、この１６進
文字のストリームを複数の語に分割する。複合語ルック
アップテーブルを使用して、複合語をその単純な語部に
分解する。次に、１６進文字ストリングを単一バイトＡ
ＳＣＩＩ文字のストリングにマッピングし、最終的には
テキスト処理システムへ転送する。本発明のシステムの
目的、特徴及び利点は以下の説明から明白になるであろ
う。

【００１２】

【表記法及び用語】以下の詳細な説明は１つのコンピュ
ータ又はコンピュータのネットワークにおいて実行され
るプログラム手続きによって提示される。そのような手
続きによる説明や表示は、当該技術に熟達する人がその
作業の内容を他の当業者に最も良く伝達するために使用
する手段である。ここでは、また、一般的にも、手続き
は所望の結果に至る首尾一貫したステップのシーケンス
であると考えられている。それらのステップは物理的量
の物理的操作を要求するステップである。通常、それら
の量は記憶、転送、組合わせ、比較及びその他の方法に
よる操作が可能である電気信号又は磁気信号の形態をと
るが、必ずそうであるとは限らない。時によっては、主
に一般に使用されている用語であるという理由により、
それらの信号をビット、値、要素、記号、文字、項、数
などと呼ぶと好都合であることがわかる。ただし、これ
らの用語及びそれに類する用語は、全て、適切な物理的
量と関連させるべきものであり、単にそのような量に便
宜上付されたラベルであるにすぎないということを忘れ
てはならない。

【００１３】さらに、実行される操作を、一般的にはオ
ペレータが実行する知的動作と関連している加算又は比
較などの用語で呼ぶことが多いが、本発明の一部を形成
する、ここで説明する動作のどれをとっても、オペレー
タのそのような能力は不要であり、多くの場合に望まし
くない。動作は機械の動作である。本発明の動作を実行
するのに有用な機械には、汎用デジタルコンピュータ又
はそれに類する装置がある。また、本発明はそのような
動作を実行する装置にも関する。この装置は要求されて
いる目的に合わせて特別に構成されても良いが、汎用コ
ンピュータに記憶させたコンピュータプログラムにより
コンピュータを選択的に起動又は再構成しても良い。こ
こで提示する手続きは、元来、特定のコンピュータ又は
他の装置に関連するものではない。ここで示す教示に従
って書込んだプログラムと共に様々な汎用機械を使用で
きるであろうし、あるいは、要求されている方法ステッ
プを実行するためには、より特殊化した装置を構成する
ほうが好都合であるとわかるかもしれない。それらの多
様な機械に要求される構造は以下の説明から明白になる
であろう。

【００１４】

【実施例】定義 表意文字−日本語又は中国語の文字のように、特定の語
又は特定の句を表現せずにある概念又は事柄を表わす文
字又は記号。 ローマ字−日本語のことば又は文の発音を表わすアルフ
ァベット表示。 ひらがな−主に日本語の名前と場所を音声により記述す
るために使用される日本語の３つの文字セットの中の１
つ。この文字群は、通常、前置詞及びことばの接尾辞と
して使用される。 カタカナ（短縮してカナともいう）−主に外来の名前と
西欧の場所を音声によりつづるために使用される日本語
の３つの文字セットの中の別の１つ。 漢字−多くの場合に名詞や、動詞及び形容詞の語幹とし
て使用される日本語の表意文字の１形態。これは日本語
の３つの文字セットの中で最大のものであり、中国語の
表意文字に基づいている。

【００１５】説明 本発明は、既存のテキスト処理システムで使用するため
の２５６を越える文字を含む英語以外の言語を準備する
装置及び方法である。これは、その言語を表わす文字の
ストリームを収集し、文字ストリングを複数の語群（す
なわち、「語」）にマッピングし、合成語をその基本語
部に分解し、そのような語を英字アルファベットベース
自動化テキスト処理システムと共に使用するためのＡＳ
ＣＩＩ文字の独自のストリングにマッピングすることに
より実行される。それにより、本発明は、既存のＡＳＣ
ＩＩベーステキスト探索・検索システムを、たとえば、
日本語、中国語などのように表意文字言語を使用する言
語のような英語以外の言語と共に使用するのに実用的な
方法を提供する。

【００１６】本発明では、ＡＳＣＩＩ（単一バイト）環
境においてマルチバイト文字を使用するという問題を単
純ではあるが、効果的なマッピング技法によって解決す
る。日本語の表意文字はＩＳＯ，ＪＩＳ，ＥＵＣなどの
様々なコード化方式により列挙されている（すなわち、
個々の表意文字ごとに番号１つ）。代表的な番号を２つ
の８ビットバイト、すなわち、１６ビットにコード化す
ることができる。そこで、日本語の表意文字の数（８０
００＋）は２¹⁶＝６５５３６未満となる。１６進法は１
６を基底とするコード化方式であるため、それらの２バ
イト数を１６進数（「ｈｅｘ」）形態でコード化でき
る。図１は、１７種類の表意文字（表意文字は示されて
いない）について同じ表意文字に対する３つの異なるコ
ード化方式、すなわち、日本工業規格ＪＩＳ Ｘ０２０
８−１９９０（欄１０），Ｓ−ＪＩＳコード（代替日本
工業規格コードセット）（欄３０）及び拡張Ｕｎｉｘコ
ード（ＥＵＣ）（欄２０）を指示するテーブルを示す。
全コードセットは規格に関する公式刊行物に記載されて
いる。本発明の好ましい実施例では、「ＥＵＣ」とラベ
ル付けしてある欄のコードを使用する。このｈｅｘ形態
を使用すると、日本語の文字を２バイトｈｅｘ表示から
単一バイトＡＳＣＩＩ表示のストリングにマッピングす
ることができる。この技法は、言語の表意文字が英語の
ことばのように通常は固有の意味を含む、たとえば、日
本語のような言語に適している。好ましい実施例におい
ては、ＥＵＣのｈｅｘ形態をとる１つの日本語の表意文
字（４つの英数字文字により表わされる２つのｈｅｘバ
イトになる）を独自のＡＳＣＩＩ「語」ストリング（対
応する英数字文字のそれぞれについて１つずつ、合わせ
て４つのＡＳＣＩＩバイトになる）にマッピングするこ
とにより、日本語を英語にマッピングする。

【００１７】次に図２を参照すると、そのマッピング技
法の概要が示されている。たとえば、英語の数「ｏｎ
ｅ」は数字「１」６２として表わされる。数字「１」は
ｈｅｘコード「３１」６４により表示できる。本発明の
技法については以下にさらに詳細に説明するが、この技
法を使用すると、このｈｅｘコード「３１」をコンピュ
ータにおいては８進コード「０６３０６１」６６により
表わされるＡＳＣＩＩコードストリング「３１」に変換
することがわかる。

【００１８】同様に、日本語の数「１」はローマ文字
（ローマ字）では「ｉｃｈｉ」７４として表わされる。
ＥＵＣ規格コードによれば、ｉｃｈｉをｈｅｘコード
「ｂ０ｅｃ」７６により表示できる。本発明の技法に従
ってｈｅｘコード「ｂ０ｅｃ」７６をＡＳＣＩＩストリ
ング「ｂ０ｅｃ」７７にマッピングすると、８進コード
のストリング「１４２０６０１４５１４３」７８が得ら
れる。従って、ｈｅｘストリング「３１」が数字「１」
を表わす独自の文字のストリングであるのと全く同じよ
うに、ｈｅｘストリング「ｂ０ｅｃ」も日本語の数１
（ｉｃｈｉ）を表わす独自の文字のストリングである。
さらに、日本語は、その性質上、表意文字であるので、
所定の１つの記号は１つの完成した概念又はことばを表
現することができる。従って、大半の日本語の記号と対
応するローマ字のことばを４つのＡＳＣＩＩ文字から成
るストリングによって表わすことが可能なのである。こ
のように独自のｈｅｘストリング（この例では「ｂ０ｅ
ｃ」）を独自のＡＳＣＩＩ文字のストリング（「ｂ」
「０」「ｅ」「ｃ」）にマッピングする能力は、そのよ
うな英語以外の言語により既存のＡＳＣＩＩベーステキ
スト検索システムを使用できるようにする手段である。
好ましい実施例では日本語言語とＥＵＣコードセットを
使用するが、日本語又は他の言語と共に他のコードセッ
トも同様に使用して良いことは理解されるであろう。

【００１９】日本語のような言語でことばを文字のスト
リングの中で分離するという問題を完全に解決するため
には、普通、全自然言語構文解析系が必要になると考え
られる。ところが、一般的には、２バイト表示ごとにど
の「文字セット」を使用するかを識別することにより、
日本語の文を複数の語におおまかに分解することができ
る。たとえば、大半の名詞、動詞の語幹並びに一部の形
容詞と副詞として漢字文字セットを使用する。ひらがな
は、主に、前置詞、語の抑揚／変化を示すための接尾辞
並びに一部の形容詞と副詞に使用される。カタカナは外
来語の名詞に使用される。

【００２０】さらに、典型的な日本語で書かれた文にお
いては、名詞には主語、目的語、時間、場所などの「ク
ラス」を記述するための助詞（「ＰＰ」）が付随してい
る。この構造は「ＮＯＵＮ＋ＰＰ」＋「ＮＯＵＮ＋Ｐ
Ｐ」＋「ＮＯＵＮ＋ＰＰ」＋「ＶＥＲＢ」に幾分似てい
るように見える。

【００２１】それらの特性を使用して、個々の語をどの
ようにして識別するかを示すために、次の例を考える。
記憶・検索システムにに入力される１行分の日本語のテ
キストを表わすｈｅｘ文字のストリングが次のように見
えるものとする。「ｂｂｅ４ａ４ｃｆｂ３ａａａ４ｃ８
ａ５ｅｄａ５ｄ６ａ５ｂ９ａ５ｂｆａｌｂｃａ４ｆ２ａ
４ａａａ４ａ４ａ４ｂ７ａ４ａ４ａ４ｃ８ｂｂｄ７ａ４
ａ６」

【００２２】日本語の１つの表意文字は２つのｈｅｘバ
イトであることがわかっているので、ストリングは一度
に２バイトずつ構文解析される。２バイトを一対とし
て、各対を試験してそれが漢字であるか、カタカナであ
るか又はひらがなであるかを確定する。好ましい実施例
では、ＥＵＣコード化方式によって文字セットを分離す
るので、これを実行するのは容易である。すなわち、ひ
らがなの語は「ａ４ａ０」から「ａ４ｆ３」まで、カタ
カナは「ａ５ａ０」から「ａ５ｆ６」まで、漢字は「ｂ
０ａ０」から「ｆ４ａ４」までコード化される。以下に
さらに詳細に説明するが、２バイト対がどの「文字セッ
ト」に属するかのこの判定は、Ｓｕｎ０Ｓ商標日本語言
語環境（ＪＬＥ）のＣ言語機能を使用して実行される。
この例について説明を続けると、ｈｅｘ文字のストリー
ムは、当初、全体として次のようにマッピングされる。

【００２３】 ＥＵＣコード 文字セット 語（ローマ字） ｂｂｅ４ −漢字 −ｗａｔａｓｉ（私） ａ４ｃｆ −ひらがな −ｈａ（は） ｂ３ａａ −漢字 −ｋａｎｉ（蟹） ａ４ｃ８ −ひらがな −ｔｏ（と） a5eda5d6a5b9a5bfalbc −カタカナ（×５） −ｒｏｂｕｓｕｔａａ（ロブ スター） a4f2a4aaa4a4a4b7a4a4a4c8 −ひらがな（×６）−ｗｏｏｉｓｉｉｔｏ（をお いしいと） bbd7a4a6 −漢字＋ひらがな −ｏｍｏｕ（思う）

【００２４】各文字セットの変化を識別しながら、ｈｅ
ｘコードストリームの中に語セパレータとしてスペース
（ｈｅｘ「２０」）を挿入する。次に、「ａ５ｅｄａ５
ｄ６ａ５ｂ９ａ５ｂｆａｌｂｃ」，「ａ４ｆ２ａ４ａａ
ａ４ａ４ａ４ｂ７ａ４ａ４ａ４ｃ８」及び「ｂｂｄ７ａ
４ａ６」などの、複数の文字から構成されている。
「語」（複合語）を「複合語」ルックアップテーブル
（ＬＵＴ）と比較することにより、それらの語をさらに
解析する。テーブルの中に複合語ストリングが見当たら
なければ、その語ストリングを１つの語として扱う。上
記の複合語ストリングの中で、ひらがな文字のセット
「ａ４ｆ２ａ４ａａａ４ａ４ａ４ｂ７ａ４ａ４ａ４ｃ
８」は、 ａ４ｆ２ −ひらがな −ｗｏ（を） a4aaa4a4a4b7a4a4 −ひらがな（×４） −ｏｉｓｉｉ（おいしい） ａ４ｃ８ −ひらがな −ｔｏ（と） に対応するものとわかり、それぞれの間にスペース（ｈ
ｅｘ「２０」）が挿入されることになるであろう。そこ
で、この文をおおざっぱに英語に翻訳すると次のように
なる。

【００２５】ｗａｔａｓｉ（私） −Ｉ ｈａ（は） −（助詞） ｋａｎｉ（蟹） −ａ ｃｒａｂ ｔｏ（と） −ａｎｄ ｒｏｂｕｓｕｔａａ（ロブスター） −ａ ｌｏｂｓｔ
ｅｒ ｗｏ（を） −（助詞） ｏｉｓｉｉ（おいしい） −ｂｅ ｄｅｌｉｃｉｏｕｓ ｔｏ（と） −（助詞） ｏｍｏｕ（思う） −ｔｈｉｎｋ すなわち、通常は「Ｉ ｔｈｉｎｋ ｔｈａｔ ａ ｃ
ｒａｂ ａｎｄ ａ ｌｏｂｓｔｅｒ ａｒｅ ｄｅｌ
ｉｃｉｏｕｓ．」となる。

【００２６】従って、本発明の好ましい実施例では、そ
れらの異なる文字セットを認識し、上述の文字セットマ
ッピング技法を使用して見出された語の間にスペースを
挿入することにより、日本語の文をおおまかに分解す
る。いくつかの語には幾分かのあいまいさがあるが、そ
れらの語は名詞ほど意味論上は重要ではない。中国語、
ベトナム語又は他の表意文字言語の場合にも、同様の語
定義マッピング技法を想定することができる。

【００２７】上記の複合語ＬＵＴについて次にさらに詳
細に説明する。日本語のことばの中には、１つの概念又
は１つの物を表わすいくつかの表意文字から構成されて
おり、複合語を形成する語がある。英文テキストで１例
を挙げると、「ｂｌａｃｋｗａｌｎｕｔｔｒｅｅ」は複
合語である。この複合語を１つの語として記憶した場
合、「ｔｒｅｅ」，「ｂｌａｃｋ」又は「ｗａｌｎｕ
ｔ」をテキストで探索すると、全て発見できずに終わっ
てしまうであろう。最良の結果を得るためには、複合語
をその構成部分である「ｂｌａｃｋ ｗａｌｎｕｔ ｔ
ｒｅｅ」に分離すべきである。

【００２８】本発明の好ましい実施例では、一般的な複
合要素を認識し、それらがテキスト記憶・検索システム
の索引エンジンに供給されるときにそれらを分割するた
めにルックアップテーブル（ＬＵＴ）を使用することに
より、この問題を解決する。本発明の方式においては、
これは次のような効果を及ぼすと考えられる。「ａ５ａ
４ｂ８ｃ４ａ９ｂ３ｂ１ｄ９ｃ２ｅ４ｃ１ｂ２」＜−−
「ｂｌａｃｋｗａｌｎｕｔｔｒｅｅ」は、「ａ５ａ４ｂ
８ｃ４」「ａ９ｂ３ｂ１ｄ９ｃ２ｅ４」「ｃ１ｂ２」＜
−−「ｂｌａｃｋ ｗａｌｎｕｔ ｔｒｅｅ」に分割さ
れるであろう。ＬＵＴは次のようなエントリを含んでい
ると考えられる。 ａ５ａ４ｂ８ｃ４ ａ９ｂ３ｂ１ｄ９ｃ２ｅ４ ｃ１ｂ２．

【００２９】一般に、多くのコンピュータシステムで
は、複合名詞のあらゆる組合わせを保持するすることは
一般的には不可能である。ところが、コンピュータ機器
又は保守マニュアル、医療関係文書、政治の分野などの
特定の適用分野で見られる一般的複合語のみを含むよう
にこのテーブルの大きさを制限することは通常は可能で
ある。好ましい実施例においては、辞書は５キロバイト
に限定されており、特定の用途で見られる最も一般的な
１００種類の複合語のみを保持する。このＬＵＴの大き
さと構成をこの概念に従って広い範囲で変更できること
は当業者には理解されるであろう。

【００３０】別の言語を使用する探索・検索アプリケー
ションの中には、英語以外のテキストの中に、使用によ
ってその言語で「一般的な」語になってしまっているい
くつかの等価の英語のことばを含めることが望まれるも
のもある。従って、現時点で好ましい実施例において
は、何らかの手がかりとなる英語の語を見出すために
「手がかり英語等価語」を含む第２のルックアップテー
ブル（ＬＵＴ）を走査し、それらを日本語のｈｅｘ語に
隣合うようにｈｅｘストリームの中に挿入する。

【００３１】本発明の利用方法 次に、本発明の好ましい実施例をさらに詳細に説明す
る。図３を参照して説明すると、従来の典型的な自動化
テキスト処理システム、たとえば、ＡｎｓｗｅｒＢｏｏ
ｋ製品などのシステムは文書プロセッサと、索引付けエ
ンジン４４及び探索エンジン４８という２つの主要構成
要素を含む探索・検索システムとを有する。索引付けエ
ンジン４４はＡＳＣＩＩファイルを読取り、意味情報を
探索エンジン４８により記憶、あるいは使用することが
できる最終フォーマットに処理する。索引付けエンジン
４４の最終出力を「探索索引」４８という。探索エンジ
ン４８は、「事前コンパイル済」すなわち、事前処理済
のテキストデータベースを使用し、ユーザーが入力した
探索引数との一致を迅速に見出す構成要素である。典型
的なＡＳＣＩＩベース自動化テキストプロセッサシステ
ムでは、文書テキスト４０をフィルタ４２に供給する。
このフィルタ４２は索引付けエンジン４４に合うように
文書テキスト４０を準備する働きをし、索引付けエンジ
ン４４は、処理後、データを探索エンジン４８に供給す
る。索引付けエンジン４４はそれが認識する文字（すな
わち、テキストプロセッサの内部文字セット）と、いく
つかの文字をタイトル、見出し（構成要素）又は全くの
本文テキストに属するものとして識別するいくつかの制
御文字のみを見出すと期待される。従って、フィルタ４
２の機能は、ＡＳＣＩＩテキストを索引付けエンジン４
４が理解しうる適正なフォーマットに変換すると共に、
入力テキスト中の構成要素を確定し且つ不要な書式化情
報を放棄することである。本来、それぞれの語は索引付
けエンジン４４に文字ストリームからの語を「了解」さ
せるセパレータ文字（スペース、復帰改行、タブ）によ
り分離されているという仮定が成り立つ。通常、フィル
タ（フィルタ４２など）は索引付けエンジン４４が要求
するそれぞれのフォーマットに合わせて特定して書込ま
れている。

【００３２】次に図４を参照して説明する。本発明の好
ましい実施例においては、英語以外の言語のマルチバイ
ト文字を索引付けすべきＡＳＣＩＩストリングに変換す
るために、外国語文書テキスト５０（日本語の場合には
ＥＵＣ形態である）と索引付けエンジンフィルタ４２と
の間に、追加フィルタ（「翻訳フィルタ」）５２が追加
されている。好ましい実施例では、この翻訳フィルタ５
２は、英語であるか否かにかかわらず各文字を２バイト
として処理するために、特殊な「幅広文字」機能を使用
する。変換フィルタ５２は語の境界を確定し、複合語が
あれば、それを分解し、ｈｅｘストリームをＡＳＣＩＩ
ストリームに最終的にマッピングする前に特殊な英語等
価語を日本語の文字ストリームに挿入する。その後、そ
のＡＳＣＩＩストリームを「正規の」フィルタ４２に供
給する。

【００３３】翻訳フィルタ５２によりマルチバイト文字
をｈｅｘストリングからＡＳＣＩＩに変換したならば、
テキストプロセッサによる処理は通常通りに進行する
（すなわち、テキストの記憶又は探索と検索）。従っ
て、その時点では、あらゆる構造情報（章、タイトルな
ど）は英文テキストについてのものと同じであるので、
正規の索引付けエンジンフィルタ４２は変更なく動作す
ることができる。それに対し、この構造情報を日本語
（又は他の言語）の文字に変換してしまった場合には、
索引付けフィルタ４２はそれらの文字を構造データとし
て認識するように変更されることになるであろう。たと
えば、「ＣｈａｐｔｅｒＴｉｔｌｅ」ではなく、「ａ４
ａ５ｃ９ｃ３ｄ３ａ９」を認識するものと考えられる。

【００３４】次に、図５を参照しながら、この翻訳フィ
ルタ５２の動作をさらに詳細に説明する。翻訳フィルタ
５２に入力するときには、ＥＵＣ形態の１行文の日本語
文字を読取る（ステップ８２）。ステップ８４では、そ
の文字の行を「プロセス」コードに変換する。このプロ
セスコードは、翻訳フィルタ５２のプログラムにより処
理しやすいように、データを固定長の２バイト形態に変
える。これは、「マルチバイトセットを幅広文字セット
に変換する」という機能を実行するＣ言語機能「ｍｂｓ
ｔｏｗｃｓ（ｓ１，ｓ２，ｎ）」を使用することによっ
て実行される。この機能はＥＵＣストリング「ｓ２」を
プロセスコードストリング「ｓ１」に変換する。「ｓ
１」が指示するアレイの中に「ｎ」個以下の要素を記憶
し、空白文字が現われたならば、その前に停止する。こ
れを実行すると、全ての文字は確実に同じ幅を有するよ
うになる。たとえば、１バイトを使用する英語のＡＳＣ
ＩＩ文字を２バイトを使用する漢字文字と混合しても良
い。この機能「ｍｂｓｔｏｗｃｓ」は、英語の文字を２
バイト幅にするために英語の文字（及びそのような操作
を必要とする他の文字）に０バイトをパッドすることに
より、全ての文字を２バイトに割当てる。たとえば、 この変換後のコードのストリングから、１つの２バイト
対を処理してその文字セットを確定する（漢字、カタカ
ナ、ひらがな、英語又は数字）（ステップ８６）。これ
は、ＪＬＥの日本語ライブラリの中の次のＣ言語機能を
使用して実行される。

【００３５】ｉｓｗａｌｐｈａ（）（文字がアルファベ
ットか否かを判定する） ｉｓｊｈｉｒａ （）（文字がひらがなか否かを判定す
る） ｉｓｊｋａｔａ （）（文字がカタカナか否かを判定す
る） ｉｓｊｋａｎｊｉ（）（文字が漢字であるか否かを判定
する）

【００３６】このプロセスを次の２バイト対について繰
返し、第２のセットが異なる文字セットであれば、この
セットと先のセットとの間に白色スペース（ｈｅｘ「２
０」）を挿入する。たとえば、第１の文字セットの結果
が「漢字」であり、次の文字セットの結果は「カタカ
ナ」である場合、第１の２バイトコード対と第２の２バ
イトコード対との間に白色スペースを挿入する。その行
のコードが完了すると、このプロセスから得られた複合
語を複合名詞辞書ルックアップテーブル（ＬＵＴ）に照
らして試験し（ステップ８８）、ＬＵＴの中に見出され
た複合名詞を対応する分離した語部及び個々の語を分離
するために必要な白色スペースと置換える。次に、シス
テムは上記のプロセスにより識別されたそれぞれの語を
キーワードから成る小型の英和辞書に照らして検査する
（ステップ９０）。英語のキーワードが見つかれば、そ
のキーワードを文字ストリームの中の等価の日本語の次
に、適切な白色スペースセパレータを伴って挿入する。
そこで、「幅広文字」をプリントするいう点を除いて標
準Ｃ言語機能「ｓｐｒｉｎｔｆ（）」と等価の機能であ
るＣ言語機能「ｗｓｐｒｉｎｔｆ（）」を使用して、こ
の２バイト幅広文字のストリングをＡＳＣＩＩコード表
示に変換する（ステップ９２）。この機能は現実には何
かを「プリント」するのではなく、文字をＡＳＣＩＩ文
字に変換することにより、プリントに備えて文字を準備
する。本発明の好ましい実施例では、このＡＳＣＩＩ文
字のファイルを適用可能なテキスト検索用の索引付けエ
ンジンフィルタ４２（図４）に対する入力として使用す
る。図２の例を使用すると、英語と日本語の数「１」の
変換は次のように進行すると考えられる。

【００３７】 そのＡＳＣＩＩコードの行をファイルに書込み（ステッ
プ９４）、テキストの全ての行を処理し終わるまでプロ
セスを繰返し（ステップ９６）、ＡＳＣＩＩベースシス
テムによる処理のために制御を正規のフィルタ（図４の
４２）へ移行する。

【００３８】好ましい実施例では、記憶のために日本文
テキストを読取っているか又はテキスト検索のためにい
くつかの日本語の語を（探索引数として）入力するかに
かかわらず、これと同じフィルタ手続きを使用する。こ
のようにすれば、日本人のユーザーは文字をコンピュー
タ表示装置の探索ウィンドウにローマ字で入力すること
ができる。それらの文字は、その後、適切なストリング
に変換され、探索エンジンへ送信される。ストリングを
日本語文字に戻し変換するためのプログラムを使用し
て、探索の結果を表示し、それを日本語文字に戻すので
ある。

【００３９】語「ｆａｃｅ」などの英文テキスト／ｈｅ
ｘストリングの重複（英語の語「ｆａｃｅ」と日本語Ｅ
ＵＣコード値＝「ｆａｃｅ」）の中には、どちらが英語
であるかを知るためにｈｅｘストリング→日本語変換を
補助するように、英文又は日本文のいずれかのテキスト
にタグ付けすることを要求するものもある。すなわち、
文字「ａ，ｂ，ｃ，ｄ，ｅ，ｆ，０〜９」から構成され
ており且つＥＵＣコードの日本語文字セットの範囲内に
ある英語の語は日本語の文字と同じになってしまうこと
がある。好ましい実施例では、混乱を避けるために、日
本文の中の英語の語を２つのアンパーサンドでマークす
る。たとえば、英語の語「ｆａｃｅ」は「＠＠ｆａｃｅ
＠＠」とマークされることになるであろう。

【００４０】尚、好ましい実施例においては、翻訳フィ
ルタ５２（図４）と正規の索引付けフィルタ４２は具体
化連続体に沿って存在する−一方で起こるプロセスは他
方のフィルタでも起こりうるし、また、他方のフィルタ
で起こるプロセスは一方のフィルタでも起こりうるであ
ろう。必要に応じて労力の分配を選択するのは作成者の
責任であり、当業者は先に開示した方法の様々な実現形
態を企図することができる。

【００４１】現時点で好ましい実施例においては、複合
名詞から情報を抽出するための付加的な１つの方法を使
用する。探索エンジンの中には、探索の問い合わせに対
して「ワイルドカーディング」として知られている技法
を可能にするものがある（たとえば、ＡｎｓｗｅｒＢｏ
ｏｋで使用されている探索エンジンなど）。ワイルドカ
ーディングは、追加文字が特殊文字の位置又はその位置
の後に現われる事例を探索エンジンが選択すべきである
ことを指示するために、「^*」 又は「！」などの特殊文
字を挿入させる。この種の探索によれば、エンジンはＬ
ＵＴ技法を経て破壊されなかった複合名詞の中に埋込め
る語を見出すことができる。１例を挙げると、「ａ３ａ
４ｂ２ｂ５^* 」の探索の場合には、 ａ３ａ４ｂ２ｂ５ ａ３ａ４ｂ２ｂ５ｄ８ｅ３ ａ３ａ４ｂ２ｂ５ａ４ａ２ｃ９ｃ０ｄ０ｃ２ などが見出されることになる。

【００４２】本発明を現時点で好ましい一実施例によっ
て説明したが、本発明が以上説明した実施例に限定され
ないことは当業者には認められるであろう。他の言語を
ｈｅｘ文字に一意性をもってマッピングし且つ文字スト
リングを語に構文解析する方法を当業者が企図するのは
容易である。特許請求の範囲の趣旨の中で本発明の方法
及び装置を変形及び変更を伴って実施することが可能で
ある。従って、以上の説明は本発明の範囲を限定するの
ではなく、単なる例示としてみなされるべきである。

【図面の簡単な説明】

【図１】いくつかの表意文字とそのＪＩＳコード及びＥ
ＵＳコードとの関係を表わす現在コード化チャートの一
部の図（従来の技術）。

【図２】英語の１つの語又は日本語（ローマ字）の１つ
の語から１６進数（「ｈｅｘ」）へ、また、ｈｅｘから
ＡＳＣＩＩへのマッピングの概要を示す図。

【図３】既存のＡＳＣＩＩ入力探索・検索システム（従
来の技術）のブロック線図。

【図４】本発明を示す探索・検索システムの線図。

【図５】本発明の詳細な図。

【符号の説明】

４２ フィルタ ４４ 索引付けエンジン ４６ 探索索引 ４８ 探索エンジン ５０ 外国語文書テキスト ５２ 翻訳フィルタ

フロントページの続き (72)発明者 ユタカ・ヨシダ 日本国 156 東京都 世田谷区 経堂 ５−３−32 209号

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ２５６を越える文字を含む言語のテキス
   ト処理システムにより使用されるテキストを準備する方
   法において、 ａ）前記言語を表わす文字の入力ストリームを収集する
   過程と； ｂ）前記文字の入力ストリームを語を表わす複数の文字
   のストリングに分割する過程と； ｃ）前記文字のストリングを複数の単一バイト文字の一
   意セットにマッピングする過程と； ｄ）語を表わす前記単一バイト文字の一意セットをさら
   に処理するために前記テキスト処理システムへ転送する
   過程とから成る方法。
2. 【請求項２】 ２５６を越える文字を含む言語のテキス
   ト処理システムにより使用されるテキストを準備する装
   置において、 ａ）前記言語を表わす文字の入力ストリームを収集する
   フィルタ装置と； ｂ）前記フィルタ装置に結合し、前記文字の入力ストリ
   ームを語を表わす複数の文字のストリングに分割する語
   フィルタと； ｃ）前記語フィルタに結合し、語を表わす前記文字のス
   トリングを複数の単一バイト文字の一意ストリングにマ
   ッピングするマッピング装置と； ｄ）前記マッピング装置に結合し、語を表わす前記単一
   バイト文字の一意ストリングを前記テキスト処理システ
   ムに供給する出力装置とを具備する装置。
3. 【請求項３】 ＡＳＣＩＩベーステキスト処理システム
   を処理することができ且つ１６進文字をＡＳＣＩＩ文字
   に変換する能力を有するコンピュータシステムにあっ
   て、前記テキスト処理システムにより使用すべき、２５
   ６を越える文字を含む言語のテキストを準備する方法に
   おいて、 ａ）前記言語のテキストを複数の１６進文字ストリング
   に変換する過程と； ｂ）前記１６進文字ストリングを複数の単一バイトＡＳ
   ＣＩＩ文字の一意セットにマッピングする過程と； ｃ）前記言語の語を表わす前記単一バイトＡＳＣＩＩ文
   字の一意セットをさらに処理するために前記自動化テキ
   ストプロセッサプログラムへ転送する過程とから成る方
   法。