JP3300866B2 - テキスト処理システムにより使用されるテキストを準備する方法及び装置 - Google Patents

テキスト処理システムにより使用されるテキストを準備する方法及び装置

Info

Publication number
JP3300866B2
JP3300866B2 JP10876493A JP10876493A JP3300866B2 JP 3300866 B2 JP3300866 B2 JP 3300866B2 JP 10876493 A JP10876493 A JP 10876493A JP 10876493 A JP10876493 A JP 10876493A JP 3300866 B2 JP3300866 B2 JP 3300866B2
Authority
JP
Japan
Prior art keywords
characters
text
language
word
words
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP10876493A
Other languages
English (en)
Other versions
JPH0689304A (ja
Inventor
デビッド・ケイ・ホファート
ユタカ・ヨシダ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Microsystems Inc
Original Assignee
Sun Microsystems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Microsystems Inc filed Critical Sun Microsystems Inc
Publication of JPH0689304A publication Critical patent/JPH0689304A/ja
Application granted granted Critical
Publication of JP3300866B2 publication Critical patent/JP3300866B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Document Processing Apparatus (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、テキストの記憶及び検
索の技法を使用するコンピュータシステムの分野に関す
る。さらに特定すれば、本発明は、英語のアルファベッ
トを中心として設計されているシステムで非英語系言語
のテキストを記憶し且つ検索するための技法の使用に関
する。
【０００２】
【従来の技術】今日、文書検索システム又は自動化テキ
ストプロセッサシステムは多くのコンピュータシステム
において主要な装置として使用されている。これらは、
様々な種類のテキストを何らかの形態のコンピュータメ
モリ又は記憶スペースに記憶しておき、そのテキストを
ユーザーにより効率良くアクセスし且つメモリ又は記憶
スペースから急速に検索できるようなシステムである。
【０００３】今日、多くのコンピュータシステムが使用
しているそのような記憶スペースの１つの型は、コンパ
クトディスク−読取り専用メモリ（ＣＤ−ＲＯＭ）であ
る。ＣＤ−ＲＯＭは、単一のディスクに何百万もの文字
のデータを記憶することができるディスクファイルであ
る。そのようなＣＤ−ＲＯＭを読取り、そのような型の
データベースからデータを検索するために使用されるソ
フトウェアシステムの１つの型は、Ｓｕｎ Ｍｉｃｒｏ
ｓｙｓｔｅｍｓ，Ｉｎｃ．が開発したＡｎｓｗｅｒＢｏ
ｏｋTMと呼ばれるシステムである。（ＡｎｓｗｅｒＢｏ
ｏｋはＳｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓ，Ｉｎｃ．の
商標である）。ＡｎｓｗｅｒＢｏｏｋは、他の同様のシ
ステムと同じように、１６０００ページを越える文書の
全テキスト探索（「内容ベース検索」と呼ばれることも
ある）を実行する能力を有する。そのような探索によっ
て、ユーザーは１つの語又は句や文（すなわち、文字の
ストリング）を入力し、入力された語又は文字ストリン
グの例を求めてテキストを探索することをテキスト検索
システムに求め、それらの例を迅速に表示させることが
できる。
【０００４】ＣＤ−ＲＯＭ又は他の記憶装置に文書を記
憶する場合、通常、文書は情報交換用米国標準コード
（ＡＳＣＩＩ）の８ビットフォーマットでコード化され
たテキスト文字として記憶される。英語のアルファベッ
トは文字を２６しか含んでおらず、また、その数に普通
使用する句読点や特殊文字を加えても、文字の種類は２
５６に満たないので、それらの文字の２進表示は１つの
８ビットバイトのコンピュータデータ（２8 ＝２５６）
の中に入ってしまう。
【０００５】英語以外の言語の中には、２５６を越える
文字を含んでいるものがある。たとえば、日本語は８０
００文字を越える文字セットを必要とする。この数を１
つの８ビット（１バイト）数の範囲内におさめることは
できないので、コンピュータに対して日本語の文字セッ
トを記述するためにはマルチバイト文字を使用しなけれ
ばならない。そのため、多くの自動化テキスト処理シス
テムはマルチバイトテキストファイルを表示又はアクセ
スすることができないので、アルファベット中に２５６
を越える文字を含む日本語又は他の言語については、既
存の自動化テキスト処理システムと利用可能なＣＤ−Ｒ
ＯＭテキストデータベースを使用していなかった。
【０００６】世界の言語に対してコードセットを標準化
し、そのような汎用コードセットを使用するためにコン
ピュータアプリケーションを開発しようとする中で技術
は大きく進歩しているが、英語系アプリケーションプロ
グラムを日本語のような別の言語と共に使用するために
は、一般に、そのプログラム自体を書き直すことが必要
である。多くの場合、そのような書き直しのコストはき
わめて高い。本発明は、英語以外の文字コードセットを
ＡＳＣＩＩフォーマットに変換する新規な技法によっ
て、既存の探索・検索プログラムを書き直す必要なく、
既存のプログラムを使用する別の方式を利用する。
【０００７】国際標準化機構（ＩＳＯ）は、様々に異な
る言語を処理するために様々な標準コード化方式を採用
しており、さらに多くの言語を追加するに際しては時に
応じてそれらの方式を改訂している。早くは１９８４年
４月に、Ｘｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎが独自の
文字コード規格を発行した。この規格は、ＩＳＯ６４６
により規定されているラテン文字セットに加えて、ギリ
シア文字、キリル文字及び日本語文字についてのコード
割当てを含むものであった。（初期のＸｅｒｏｘ規格の
詳細については、「Ｘｅｒｏｘ Ｎｅｔｗｏｒｋ Ｓｙ
ｓｔｅｍｓ Ａｒｃｈｉｔｅｃｔｕｒｅ，Ｇｅｎｅｒａ
ｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｍａｎｕａｌ」ＸＮＳＧ
０６８５０４，１９８４年４月刊，５７〜６１ページを
参照。）その後、様々な日本工業規格（ＪＩＳ）コード
セットが規定され、また、ＡＴ＆ＴもＩＳＯ規格２０２
２に準拠する「拡張Ｕｎｉｘコード（ＥＵＣ）」と呼ば
れる同様の標準コードを規定している。さらに最近にな
って、Ｏｐｅｎ Ｓｙｓｔｅｍｓ Ｆｏｕｎｄａｔｉｏ
ｎ，Ｕｎｉｘ Ｉｎｔｅｒｎａｔｉｏｎａｌ及びＵｎｉ
ｘ Ｓｙｓｔｅｍｓ Ｌａｂｏｒａｔｏｒｉｅｓ Ｐａ
ｃｉｆｉｃは日本語について拡張Ｕｎｉｘコード（ＥＵ
Ｘ）を支持することを同意した。それにより、コンピュ
ータアプリケーションの移植性や相互操作性の見込みは
向上した。この一般的な定義（ＥＵＣ）は１９９０年に
制定された日本語標準コードであるＪＩＳ Ｘ０２１２
補遺漢字、ＪＩＳ Ｘ０２０８漢字及びＪＩＳ Ｘ０２
０１１バイトかなを支持している。それらは「Ｃｏｄｅ
ｏｆ ｔｈｅ Ｊａｐａｎｅｓｅ Ｇｒａｐｈｉｃ
Ｃｈａｒａｃｔｅｒ Ｓｅｔ ｆｏｒ Ｉｎｆｏｒｍａ
ｔｉｏｎ Ｅｘｃｈａｎｇｅ（情報交換用日本語図形文
字セットのコード）」と題された規格刊行物の中に記載
されている。（ＵＮＩＸはＵＮＩＸ Ｓｙｓｔｅｍ Ｌ
ａｂｏｒａｔｏｒｉｅｓ，Ｉｎｃ．の登録商標であ
る。）
【０００８】複数バイトのコード化情報によって文字を
定義する日本語文字に関わるそれらの標準コード定義は
単一バイトコード化入力情報を処理するように設計され
ているアプリケーションに対して問題であるが、書きこ
とばとしての日本語はテキスト構文解析系について他に
も多くの複雑な問題を課する。日本語テキストの全テキ
スト探索を可能にするために解決しなければならない２
つの重大な問題は、１）テキスト中の語をいかにして分
割するかという問題（語には英文テキスト中の白色スペ
ースのような境界規定手段は存在していない）と、２）
探索を改善するために分解しなければならない複合名詞
の問題である。本発明は、ＡＳＣＩＩベーステキスト処
理システムに関連してそれらの問題を処理する方法をさ
らに提供する。従来の技術においては、既存の英語系テ
キスト検索アプリケーションを英語以外の複雑な言語に
使用することを可能にするためにそのような問題を解決
する方法は全く知られていない。
【０００９】
【発明が解決しようとする課題】従って、本発明の目的
は、既存のテキスト処理システムにより使用すべき、中
国語、日本語を始めとする多くの言語のように２５６を
越える文字を含む言語のテキストを作成することであ
る。本発明の別の目的は、言語テキストのデータベース
を探索するための探索引数のようなテキスト処理システ
ムにより使用すべき言語テキストを作成することであ
る。本発明の別の目的は、既存のＡＳＣＩＩベーステキ
スト処理システムにおいて使用するための日本語テキス
トを作成することである。
【００１０】
【課題を解決するための手段】本発明によれば、上記の
目的及びその他の目的は、既存のテキスト処理システム
により使用すべき、２５６を越える文字を含む言語のテ
キストを作成する方法及び装置により達成される。これ
は、所定の言語を表わす文字の入力ストリームを収集
し、この文字の入力ストリームを複数の語群に分割し、
それらの語群を、さらに処理するために選択されたテキ
スト処理システムに供給することができる複数の単一バ
イト文字の一意ストリングにマッピングすることにより
実行される。本発明は、選択した言語の文法規則を使用
して語群を識別する能力を提供すると共に、複合語を単
純な構成語部に分割するメカニズムを提供する。
【００１１】言語が日本語である特定のケースについて
いえば、好ましい実施例は、２バイト１６進文字のスト
リームを発生する拡張ＵＮＩＸコード（ＥＵＣ）を使用
して日本語文字をコード化することにより、既存のテキ
ストプロセッサシステムにより処理するための日本語テ
キストを作成する。その後、まず初めに、各文字コード
が漢字文字セットに属するか、カタカナ文字セットに属
するか又はひらがな文字セットに属するかを認識し、第
２に、名詞及び主要な語（漢字型又はカタカナ型であ
る）の次には通常は前置詞（ひらがな型）が続いている
という一般文法規則を適用することにより、この１６進
文字のストリームを複数の語に分割する。複合語ルック
アップテーブルを使用して、複合語をその単純な語部に
分解する。次に、１６進文字ストリングを単一バイトＡ
ＳＣＩＩ文字のストリングにマッピングし、最終的には
テキスト処理システムへ転送する。本発明のシステムの
目的、特徴及び利点は以下の説明から明白になるであろ
う。
【００１２】
【表記法及び用語】以下の詳細な説明は１つのコンピュ
ータ又はコンピュータのネットワークにおいて実行され
るプログラム手続きによって提示される。そのような手
続きによる説明や表示は、当該技術に熟達する人がその
作業の内容を他の当業者に最も良く伝達するために使用
する手段である。ここでは、また、一般的にも、手続き
は所望の結果に至る首尾一貫したステップのシーケンス
であると考えられている。それらのステップは物理的量
の物理的操作を要求するステップである。通常、それら
の量は記憶、転送、組合わせ、比較及びその他の方法に
よる操作が可能である電気信号又は磁気信号の形態をと
るが、必ずそうであるとは限らない。時によっては、主
に一般に使用されている用語であるという理由により、
それらの信号をビット、値、要素、記号、文字、項、数
などと呼ぶと好都合であることがわかる。ただし、これ
らの用語及びそれに類する用語は、全て、適切な物理的
量と関連させるべきものであり、単にそのような量に便
宜上付されたラベルであるにすぎないということを忘れ
てはならない。
【００１３】さらに、実行される操作を、一般的にはオ
ペレータが実行する知的動作と関連している加算又は比
較などの用語で呼ぶことが多いが、本発明の一部を形成
する、ここで説明する動作のどれをとっても、オペレー
タのそのような能力は不要であり、多くの場合に望まし
くない。動作は機械の動作である。本発明の動作を実行
するのに有用な機械には、汎用デジタルコンピュータ又
はそれに類する装置がある。また、本発明はそのような
動作を実行する装置にも関する。この装置は要求されて
いる目的に合わせて特別に構成されても良いが、汎用コ
ンピュータに記憶させたコンピュータプログラムにより
コンピュータを選択的に起動又は再構成しても良い。こ
こで提示する手続きは、元来、特定のコンピュータ又は
他の装置に関連するものではない。ここで示す教示に従
って書込んだプログラムと共に様々な汎用機械を使用で
きるであろうし、あるいは、要求されている方法ステッ
プを実行するためには、より特殊化した装置を構成する
ほうが好都合であるとわかるかもしれない。それらの多
様な機械に要求される構造は以下の説明から明白になる
であろう。
【００１４】
【実施例】定義 表意文字−日本語又は中国語の文字のように、特定の語
又は特定の句を表現せずにある概念又は事柄を表わす文
字又は記号。 ローマ字−日本語のことば又は文の発音を表わすアルフ
ァベット表示。 ひらがな−主に日本語の名前と場所を音声により記述す
るために使用される日本語の３つの文字セットの中の１
つ。この文字群は、通常、前置詞及びことばの接尾辞と
して使用される。 カタカナ（短縮してカナともいう）−主に外来の名前と
西欧の場所を音声によりつづるために使用される日本語
の３つの文字セットの中の別の１つ。 漢字−多くの場合に名詞や、動詞及び形容詞の語幹とし
て使用される日本語の表意文字の１形態。これは日本語
の３つの文字セットの中で最大のものであり、中国語の
表意文字に基づいている。
【００１５】説明 本発明は、既存のテキスト処理システムで使用するため
の２５６を越える文字を含む英語以外の言語を準備する
装置及び方法である。これは、その言語を表わす文字の
ストリームを収集し、文字ストリングを複数の語群（す
なわち、「語」）にマッピングし、合成語をその基本語
部に分解し、そのような語を英字アルファベットベース
自動化テキスト処理システムと共に使用するためのＡＳ
ＣＩＩ文字の独自のストリングにマッピングすることに
より実行される。それにより、本発明は、既存のＡＳＣ
ＩＩベーステキスト探索・検索システムを、たとえば、
日本語、中国語などのように表意文字言語を使用する言
語のような英語以外の言語と共に使用するのに実用的な
方法を提供する。
【００１６】本発明では、ＡＳＣＩＩ（単一バイト）環
境においてマルチバイト文字を使用するという問題を単
純ではあるが、効果的なマッピング技法によって解決す
る。日本語の表意文字はＩＳＯ，ＪＩＳ，ＥＵＣなどの
様々なコード化方式により列挙されている（すなわち、
個々の表意文字ごとに番号１つ）。代表的な番号を２つ
の８ビットバイト、すなわち、１６ビットにコード化す
ることができる。そこで、日本語の表意文字の数（８０
００＋）は２16＝６５５３６未満となる。１６進法は１
６を基底とするコード化方式であるため、それらの２バ
イト数を１６進数（「ｈｅｘ」）形態でコード化でき
る。図１は、１７種類の表意文字（表意文字は示されて
いない）について同じ表意文字に対する３つの異なるコ
ード化方式、すなわち、日本工業規格ＪＩＳ Ｘ０２０
８−１９９０（欄１０），Ｓ−ＪＩＳコード（代替日本
工業規格コードセット）（欄３０）及び拡張Ｕｎｉｘコ
ード（ＥＵＣ）（欄２０）を指示するテーブルを示す。
全コードセットは規格に関する公式刊行物に記載されて
いる。本発明の好ましい実施例では、「ＥＵＣ」とラベ
ル付けしてある欄のコードを使用する。このｈｅｘ形態
を使用すると、日本語の文字を２バイトｈｅｘ表示から
単一バイトＡＳＣＩＩ表示のストリングにマッピングす
ることができる。この技法は、言語の表意文字が英語の
ことばのように通常は固有の意味を含む、たとえば、日
本語のような言語に適している。好ましい実施例におい
ては、ＥＵＣのｈｅｘ形態をとる１つの日本語の表意文
字（４つの英数字文字により表わされる２つのｈｅｘバ
イトになる）を独自のＡＳＣＩＩ「語」ストリング（対
応する英数字文字のそれぞれについて１つずつ、合わせ
て４つのＡＳＣＩＩバイトになる）にマッピングするこ
とにより、日本語を英語にマッピングする。
【００１７】次に図２を参照すると、そのマッピング技
法の概要が示されている。たとえば、英語の数「ｏｎ
ｅ」は数字「１」６２として表わされる。数字「１」は
ｈｅｘコード「３１」６４により表示できる。本発明の
技法については以下にさらに詳細に説明するが、この技
法を使用すると、このｈｅｘコード「３１」をコンピュ
ータにおいては８進コード「０６３０６１」６６により
表わされるＡＳＣＩＩコードストリング「３１」に変換
することがわかる。
【００１８】同様に、日本語の数「１」はローマ文字
（ローマ字）では「ｉｃｈｉ」７４として表わされる。
ＥＵＣ規格コードによれば、ｉｃｈｉをｈｅｘコード
「ｂ０ｅｃ」７６により表示できる。本発明の技法に従
ってｈｅｘコード「ｂ０ｅｃ」７６をＡＳＣＩＩストリ
ング「ｂ０ｅｃ」７７にマッピングすると、８進コード
のストリング「１４２０６０１４５１４３」７８が得ら
れる。従って、ｈｅｘストリング「３１」が数字「１」
を表わす独自の文字のストリングであるのと全く同じよ
うに、ｈｅｘストリング「ｂ０ｅｃ」も日本語の数１
（ｉｃｈｉ）を表わす独自の文字のストリングである。
さらに、日本語は、その性質上、表意文字であるので、
所定の１つの記号は１つの完成した概念又はことばを表
現することができる。従って、大半の日本語の記号と対
応するローマ字のことばを４つのＡＳＣＩＩ文字から成
るストリングによって表わすことが可能なのである。こ
のように独自のｈｅｘストリング（この例では「ｂ０ｅ
ｃ」）を独自のＡＳＣＩＩ文字のストリング（「ｂ」
「０」「ｅ」「ｃ」）にマッピングする能力は、そのよ
うな英語以外の言語により既存のＡＳＣＩＩベーステキ
スト検索システムを使用できるようにする手段である。
好ましい実施例では日本語言語とＥＵＣコードセットを
使用するが、日本語又は他の言語と共に他のコードセッ
トも同様に使用して良いことは理解されるであろう。
【００１９】日本語のような言語でことばを文字のスト
リングの中で分離するという問題を完全に解決するため
には、普通、全自然言語構文解析系が必要になると考え
られる。ところが、一般的には、２バイト表示ごとにど
の「文字セット」を使用するかを識別することにより、
日本語の文を複数の語におおまかに分解することができ
る。たとえば、大半の名詞、動詞の語幹並びに一部の形
容詞と副詞として漢字文字セットを使用する。ひらがな
は、主に、前置詞、語の抑揚／変化を示すための接尾辞
並びに一部の形容詞と副詞に使用される。カタカナは外
来語の名詞に使用される。
【００２０】さらに、典型的な日本語で書かれた文にお
いては、名詞には主語、目的語、時間、場所などの「ク
ラス」を記述するための助詞（「ＰＰ」）が付随してい
る。この構造は「ＮＯＵＮ＋ＰＰ」＋「ＮＯＵＮ＋Ｐ
Ｐ」＋「ＮＯＵＮ＋ＰＰ」＋「ＶＥＲＢ」に幾分似てい
るように見える。
【００２１】それらの特性を使用して、個々の語をどの
ようにして識別するかを示すために、次の例を考える。
記憶・検索システムにに入力される１行分の日本語のテ
キストを表わすｈｅｘ文字のストリングが次のように見
えるものとする。「ｂｂｅ４ａ４ｃｆｂ３ａａａ４ｃ８
ａ５ｅｄａ５ｄ６ａ５ｂ９ａ５ｂｆａｌｂｃａ４ｆ２ａ
４ａａａ４ａ４ａ４ｂ７ａ４ａ４ａ４ｃ８ｂｂｄ７ａ４
ａ６」
【００２２】日本語の１つの表意文字は２つのｈｅｘバ
イトであることがわかっているので、ストリングは一度
に２バイトずつ構文解析される。２バイトを一対とし
て、各対を試験してそれが漢字であるか、カタカナであ
るか又はひらがなであるかを確定する。好ましい実施例
では、ＥＵＣコード化方式によって文字セットを分離す
るので、これを実行するのは容易である。すなわち、ひ
らがなの語は「ａ４ａ０」から「ａ４ｆ３」まで、カタ
カナは「ａ５ａ０」から「ａ５ｆ６」まで、漢字は「ｂ
０ａ０」から「ｆ４ａ４」までコード化される。以下に
さらに詳細に説明するが、２バイト対がどの「文字セッ
ト」に属するかのこの判定は、Ｓｕｎ０Ｓ商標日本語言
語環境（ＪＬＥ）のＣ言語機能を使用して実行される。
この例について説明を続けると、ｈｅｘ文字のストリー
ムは、当初、全体として次のようにマッピングされる。
【００２３】 ＥＵＣコード 文字セット 語（ローマ字） ｂｂｅ４ −漢字 −ｗａｔａｓｉ（私） ａ４ｃｆ −ひらがな −ｈａ（は） ｂ３ａａ −漢字 −ｋａｎｉ（蟹） ａ４ｃ８ −ひらがな −ｔｏ（と） a5eda5d6a5b9a5bfalbc −カタカナ（×５） −ｒｏｂｕｓｕｔａａ（ロブ スター） a4f2a4aaa4a4a4b7a4a4a4c8 −ひらがな（×６）−ｗｏｏｉｓｉｉｔｏ（をお いしいと） bbd7a4a6 −漢字＋ひらがな −ｏｍｏｕ（思う）
【００２４】各文字セットの変化を識別しながら、ｈｅ
ｘコードストリームの中に語セパレータとしてスペース
（ｈｅｘ「２０」）を挿入する。次に、「ａ５ｅｄａ５
ｄ６ａ５ｂ９ａ５ｂｆａｌｂｃ」，「ａ４ｆ２ａ４ａａ
ａ４ａ４ａ４ｂ７ａ４ａ４ａ４ｃ８」及び「ｂｂｄ７ａ
４ａ６」などの、複数の文字から構成されている。
「語」（複合語）を「複合語」ルックアップテーブル
（ＬＵＴ）と比較することにより、それらの語をさらに
解析する。テーブルの中に複合語ストリングが見当たら
なければ、その語ストリングを１つの語として扱う。上
記の複合語ストリングの中で、ひらがな文字のセット
「ａ４ｆ２ａ４ａａａ４ａ４ａ４ｂ７ａ４ａ４ａ４ｃ
８」は、 ａ４ｆ２ −ひらがな −ｗｏ（を） a4aaa4a4a4b7a4a4 −ひらがな（×４） −ｏｉｓｉｉ（おいしい） ａ４ｃ８ −ひらがな −ｔｏ（と） に対応するものとわかり、それぞれの間にスペース（ｈ
ｅｘ「２０」）が挿入されることになるであろう。そこ
で、この文をおおざっぱに英語に翻訳すると次のように
なる。
【００２５】ｗａｔａｓｉ（私） −Ｉ ｈａ（は） −（助詞） ｋａｎｉ（蟹） −ａ ｃｒａｂ ｔｏ（と） −ａｎｄ ｒｏｂｕｓｕｔａａ（ロブスター） −ａ ｌｏｂｓｔ
ｅｒ ｗｏ（を） −（助詞） ｏｉｓｉｉ（おいしい） −ｂｅ ｄｅｌｉｃｉｏｕｓ ｔｏ（と） −（助詞） ｏｍｏｕ（思う） −ｔｈｉｎｋ すなわち、通常は「Ｉ ｔｈｉｎｋ ｔｈａｔ ａ ｃ
ｒａｂ ａｎｄ ａ ｌｏｂｓｔｅｒ ａｒｅ ｄｅｌ
ｉｃｉｏｕｓ．」となる。
【００２６】従って、本発明の好ましい実施例では、そ
れらの異なる文字セットを認識し、上述の文字セットマ
ッピング技法を使用して見出された語の間にスペースを
挿入することにより、日本語の文をおおまかに分解す
る。いくつかの語には幾分かのあいまいさがあるが、そ
れらの語は名詞ほど意味論上は重要ではない。中国語、
ベトナム語又は他の表意文字言語の場合にも、同様の語
定義マッピング技法を想定することができる。
【００２７】上記の複合語ＬＵＴについて次にさらに詳
細に説明する。日本語のことばの中には、１つの概念又
は１つの物を表わすいくつかの表意文字から構成されて
おり、複合語を形成する語がある。英文テキストで１例
を挙げると、「ｂｌａｃｋｗａｌｎｕｔｔｒｅｅ」は複
合語である。この複合語を１つの語として記憶した場
合、「ｔｒｅｅ」，「ｂｌａｃｋ」又は「ｗａｌｎｕ
ｔ」をテキストで探索すると、全て発見できずに終わっ
てしまうであろう。最良の結果を得るためには、複合語
をその構成部分である「ｂｌａｃｋ ｗａｌｎｕｔ ｔ
ｒｅｅ」に分離すべきである。
【００２８】本発明の好ましい実施例では、一般的な複
合要素を認識し、それらがテキスト記憶・検索システム
の索引エンジンに供給されるときにそれらを分割するた
めにルックアップテーブル（ＬＵＴ）を使用することに
より、この問題を解決する。本発明の方式においては、
これは次のような効果を及ぼすと考えられる。「ａ５ａ
４ｂ８ｃ４ａ９ｂ３ｂ１ｄ９ｃ２ｅ４ｃ１ｂ２」＜−−
「ｂｌａｃｋｗａｌｎｕｔｔｒｅｅ」は、「ａ５ａ４ｂ
８ｃ４」「ａ９ｂ３ｂ１ｄ９ｃ２ｅ４」「ｃ１ｂ２」＜
−−「ｂｌａｃｋ ｗａｌｎｕｔ ｔｒｅｅ」に分割さ
れるであろう。ＬＵＴは次のようなエントリを含んでい
ると考えられる。 ａ５ａ４ｂ８ｃ４ ａ９ｂ３ｂ１ｄ９ｃ２ｅ４ ｃ１ｂ２．
【００２９】一般に、多くのコンピュータシステムで
は、複合名詞のあらゆる組合わせを保持するすることは
一般的には不可能である。ところが、コンピュータ機器
又は保守マニュアル、医療関係文書、政治の分野などの
特定の適用分野で見られる一般的複合語のみを含むよう
にこのテーブルの大きさを制限することは通常は可能で
ある。好ましい実施例においては、辞書は５キロバイト
に限定されており、特定の用途で見られる最も一般的な
１００種類の複合語のみを保持する。このＬＵＴの大き
さと構成をこの概念に従って広い範囲で変更できること
は当業者には理解されるであろう。
【００３０】別の言語を使用する探索・検索アプリケー
ションの中には、英語以外のテキストの中に、使用によ
ってその言語で「一般的な」語になってしまっているい
くつかの等価の英語のことばを含めることが望まれるも
のもある。従って、現時点で好ましい実施例において
は、何らかの手がかりとなる英語の語を見出すために
「手がかり英語等価語」を含む第２のルックアップテー
ブル（ＬＵＴ）を走査し、それらを日本語のｈｅｘ語に
隣合うようにｈｅｘストリームの中に挿入する。
【００３１】本発明の利用方法 次に、本発明の好ましい実施例をさらに詳細に説明す
る。図３を参照して説明すると、従来の典型的な自動化
テキスト処理システム、たとえば、ＡｎｓｗｅｒＢｏｏ
ｋ製品などのシステムは文書プロセッサと、索引付けエ
ンジン４４及び探索エンジン４８という２つの主要構成
要素を含む探索・検索システムとを有する。索引付けエ
ンジン４４はＡＳＣＩＩファイルを読取り、意味情報を
探索エンジン４８により記憶、あるいは使用することが
できる最終フォーマットに処理する。索引付けエンジン
４４の最終出力を「探索索引」４８という。探索エンジ
ン４８は、「事前コンパイル済」すなわち、事前処理済
のテキストデータベースを使用し、ユーザーが入力した
探索引数との一致を迅速に見出す構成要素である。典型
的なＡＳＣＩＩベース自動化テキストプロセッサシステ
ムでは、文書テキスト４０をフィルタ４２に供給する。
このフィルタ４２は索引付けエンジン４４に合うように
文書テキスト４０を準備する働きをし、索引付けエンジ
ン４４は、処理後、データを探索エンジン４８に供給す
る。索引付けエンジン４４はそれが認識する文字（すな
わち、テキストプロセッサの内部文字セット）と、いく
つかの文字をタイトル、見出し（構成要素）又は全くの
本文テキストに属するものとして識別するいくつかの制
御文字のみを見出すと期待される。従って、フィルタ４
２の機能は、ＡＳＣＩＩテキストを索引付けエンジン４
４が理解しうる適正なフォーマットに変換すると共に、
入力テキスト中の構成要素を確定し且つ不要な書式化情
報を放棄することである。本来、それぞれの語は索引付
けエンジン４４に文字ストリームからの語を「了解」さ
せるセパレータ文字（スペース、復帰改行、タブ）によ
り分離されているという仮定が成り立つ。通常、フィル
タ（フィルタ４２など）は索引付けエンジン４４が要求
するそれぞれのフォーマットに合わせて特定して書込ま
れている。
【００３２】次に図４を参照して説明する。本発明の好
ましい実施例においては、英語以外の言語のマルチバイ
ト文字を索引付けすべきＡＳＣＩＩストリングに変換す
るために、外国語文書テキスト５０（日本語の場合には
ＥＵＣ形態である）と索引付けエンジンフィルタ４２と
の間に、追加フィルタ（「翻訳フィルタ」）５２が追加
されている。好ましい実施例では、この翻訳フィルタ５
２は、英語であるか否かにかかわらず各文字を２バイト
として処理するために、特殊な「幅広文字」機能を使用
する。変換フィルタ５２は語の境界を確定し、複合語が
あれば、それを分解し、ｈｅｘストリームをＡＳＣＩＩ
ストリームに最終的にマッピングする前に特殊な英語等
価語を日本語の文字ストリームに挿入する。その後、そ
のＡＳＣＩＩストリームを「正規の」フィルタ４２に供
給する。
【００３３】翻訳フィルタ５２によりマルチバイト文字
をｈｅｘストリングからＡＳＣＩＩに変換したならば、
テキストプロセッサによる処理は通常通りに進行する
（すなわち、テキストの記憶又は探索と検索）。従っ
て、その時点では、あらゆる構造情報（章、タイトルな
ど）は英文テキストについてのものと同じであるので、
正規の索引付けエンジンフィルタ４２は変更なく動作す
ることができる。それに対し、この構造情報を日本語
（又は他の言語）の文字に変換してしまった場合には、
索引付けフィルタ４２はそれらの文字を構造データとし
て認識するように変更されることになるであろう。たと
えば、「ＣｈａｐｔｅｒＴｉｔｌｅ」ではなく、「ａ４
ａ５ｃ９ｃ３ｄ３ａ９」を認識するものと考えられる。
【００３４】次に、図５を参照しながら、この翻訳フィ
ルタ５２の動作をさらに詳細に説明する。翻訳フィルタ
５２に入力するときには、ＥＵＣ形態の１行文の日本語
文字を読取る（ステップ８２）。ステップ８４では、そ
の文字の行を「プロセス」コードに変換する。このプロ
セスコードは、翻訳フィルタ５２のプログラムにより処
理しやすいように、データを固定長の２バイト形態に変
える。これは、「マルチバイトセットを幅広文字セット
に変換する」という機能を実行するＣ言語機能「ｍｂｓ
ｔｏｗｃｓ（ｓ１，ｓ２，ｎ）」を使用することによっ
て実行される。この機能はＥＵＣストリング「ｓ２」を
プロセスコードストリング「ｓ１」に変換する。「ｓ
１」が指示するアレイの中に「ｎ」個以下の要素を記憶
し、空白文字が現われたならば、その前に停止する。こ
れを実行すると、全ての文字は確実に同じ幅を有するよ
うになる。たとえば、１バイトを使用する英語のＡＳＣ
ＩＩ文字を２バイトを使用する漢字文字と混合しても良
い。この機能「ｍｂｓｔｏｗｃｓ」は、英語の文字を２
バイト幅にするために英語の文字（及びそのような操作
を必要とする他の文字）に０バイトをパッドすることに
より、全ての文字を２バイトに割当てる。たとえば、 この変換後のコードのストリングから、１つの２バイト
対を処理してその文字セットを確定する（漢字、カタカ
ナ、ひらがな、英語又は数字）（ステップ８６）。これ
は、ＪＬＥの日本語ライブラリの中の次のＣ言語機能を
使用して実行される。
【００３５】ｉｓｗａｌｐｈａ（）（文字がアルファベ
ットか否かを判定する） ｉｓｊｈｉｒａ （）（文字がひらがなか否かを判定す
る） ｉｓｊｋａｔａ （）（文字がカタカナか否かを判定す
る） ｉｓｊｋａｎｊｉ（）（文字が漢字であるか否かを判定
する）
【００３６】このプロセスを次の２バイト対について繰
返し、第２のセットが異なる文字セットであれば、この
セットと先のセットとの間に白色スペース（ｈｅｘ「２
０」）を挿入する。たとえば、第１の文字セットの結果
が「漢字」であり、次の文字セットの結果は「カタカ
ナ」である場合、第１の２バイトコード対と第２の２バ
イトコード対との間に白色スペースを挿入する。その行
のコードが完了すると、このプロセスから得られた複合
語を複合名詞辞書ルックアップテーブル（ＬＵＴ）に照
らして試験し（ステップ８８）、ＬＵＴの中に見出され
た複合名詞を対応する分離した語部及び個々の語を分離
するために必要な白色スペースと置換える。次に、シス
テムは上記のプロセスにより識別されたそれぞれの語を
キーワードから成る小型の英和辞書に照らして検査する
（ステップ９０）。英語のキーワードが見つかれば、そ
のキーワードを文字ストリームの中の等価の日本語の次
に、適切な白色スペースセパレータを伴って挿入する。
そこで、「幅広文字」をプリントするいう点を除いて標
準Ｃ言語機能「ｓｐｒｉｎｔｆ（）」と等価の機能であ
るＣ言語機能「ｗｓｐｒｉｎｔｆ（）」を使用して、こ
の２バイト幅広文字のストリングをＡＳＣＩＩコード表
示に変換する（ステップ９２）。この機能は現実には何
かを「プリント」するのではなく、文字をＡＳＣＩＩ文
字に変換することにより、プリントに備えて文字を準備
する。本発明の好ましい実施例では、このＡＳＣＩＩ文
字のファイルを適用可能なテキスト検索用の索引付けエ
ンジンフィルタ４２（図４）に対する入力として使用す
る。図２の例を使用すると、英語と日本語の数「１」の
変換は次のように進行すると考えられる。
【００３７】 そのＡＳＣＩＩコードの行をファイルに書込み（ステッ
プ９４）、テキストの全ての行を処理し終わるまでプロ
セスを繰返し（ステップ９６）、ＡＳＣＩＩベースシス
テムによる処理のために制御を正規のフィルタ（図４の
４２）へ移行する。
【００３８】好ましい実施例では、記憶のために日本文
テキストを読取っているか又はテキスト検索のためにい
くつかの日本語の語を（探索引数として）入力するかに
かかわらず、これと同じフィルタ手続きを使用する。こ
のようにすれば、日本人のユーザーは文字をコンピュー
タ表示装置の探索ウィンドウにローマ字で入力すること
ができる。それらの文字は、その後、適切なストリング
に変換され、探索エンジンへ送信される。ストリングを
日本語文字に戻し変換するためのプログラムを使用し
て、探索の結果を表示し、それを日本語文字に戻すので
ある。
【００３９】語「ｆａｃｅ」などの英文テキスト／ｈｅ
ｘストリングの重複（英語の語「ｆａｃｅ」と日本語Ｅ
ＵＣコード値＝「ｆａｃｅ」）の中には、どちらが英語
であるかを知るためにｈｅｘストリング→日本語変換を
補助するように、英文又は日本文のいずれかのテキスト
にタグ付けすることを要求するものもある。すなわち、
文字「ａ，ｂ，ｃ，ｄ，ｅ，ｆ，０〜９」から構成され
ており且つＥＵＣコードの日本語文字セットの範囲内に
ある英語の語は日本語の文字と同じになってしまうこと
がある。好ましい実施例では、混乱を避けるために、日
本文の中の英語の語を２つのアンパーサンドでマークす
る。たとえば、英語の語「ｆａｃｅ」は「＠＠ｆａｃｅ
＠＠」とマークされることになるであろう。
【００４０】尚、好ましい実施例においては、翻訳フィ
ルタ５２（図４）と正規の索引付けフィルタ４２は具体
化連続体に沿って存在する−一方で起こるプロセスは他
方のフィルタでも起こりうるし、また、他方のフィルタ
で起こるプロセスは一方のフィルタでも起こりうるであ
ろう。必要に応じて労力の分配を選択するのは作成者の
責任であり、当業者は先に開示した方法の様々な実現形
態を企図することができる。
【００４１】現時点で好ましい実施例においては、複合
名詞から情報を抽出するための付加的な１つの方法を使
用する。探索エンジンの中には、探索の問い合わせに対
して「ワイルドカーディング」として知られている技法
を可能にするものがある（たとえば、ＡｎｓｗｅｒＢｏ
ｏｋで使用されている探索エンジンなど）。ワイルドカ
ーディングは、追加文字が特殊文字の位置又はその位置
の後に現われる事例を探索エンジンが選択すべきである
ことを指示するために、「*」 又は「！」などの特殊文
字を挿入させる。この種の探索によれば、エンジンはＬ
ＵＴ技法を経て破壊されなかった複合名詞の中に埋込め
る語を見出すことができる。１例を挙げると、「ａ３ａ
４ｂ２ｂ５* 」の探索の場合には、 ａ３ａ４ｂ２ｂ５ ａ３ａ４ｂ２ｂ５ｄ８ｅ３ ａ３ａ４ｂ２ｂ５ａ４ａ２ｃ９ｃ０ｄ０ｃ２ などが見出されることになる。
【００４２】本発明を現時点で好ましい一実施例によっ
て説明したが、本発明が以上説明した実施例に限定され
ないことは当業者には認められるであろう。他の言語を
ｈｅｘ文字に一意性をもってマッピングし且つ文字スト
リングを語に構文解析する方法を当業者が企図するのは
容易である。特許請求の範囲の趣旨の中で本発明の方法
及び装置を変形及び変更を伴って実施することが可能で
ある。従って、以上の説明は本発明の範囲を限定するの
ではなく、単なる例示としてみなされるべきである。
【図面の簡単な説明】
【図１】いくつかの表意文字とそのＪＩＳコード及びＥ
ＵＳコードとの関係を表わす現在コード化チャートの一
部の図（従来の技術）。
【図２】英語の１つの語又は日本語（ローマ字）の１つ
の語から１６進数（「ｈｅｘ」）へ、また、ｈｅｘから
ＡＳＣＩＩへのマッピングの概要を示す図。
【図３】既存のＡＳＣＩＩ入力探索・検索システム（従
来の技術）のブロック線図。
【図４】本発明を示す探索・検索システムの線図。
【図５】本発明の詳細な図。
【符号の説明】
４２ フィルタ ４４ 索引付けエンジン ４６ 探索索引 ４８ 探索エンジン ５０ 外国語文書テキスト ５２ 翻訳フィルタ
フロントページの続き (73)特許権者 591064003 901 ＳＡＮ ＡＮＴＯＮＩＯ ＲＯＡ Ｄ ＰＡＬＯ ＡＬＴＯ，ＣＡ 94303, Ｕ．Ｓ．Ａ. (72)発明者 ユタカ・ヨシダ 日本国 156 東京都 世田谷区 経堂 ５−３−32 209号 (56)参考文献 特開 平４−86948（ＪＰ，Ａ) 特開 昭60−77222（ＪＰ，Ａ) 斉藤雅，印刷業における自然言語処理 の応用事例，情報管理，日本，特殊法人 日本科学技術情報センター，1990年 ８ 月 １日，Ｖｏｌ．33，Ｎｏ．５，ｐ. 425−433 青木裕一郎，石森秀明，会森清，有田 裕史，杉浦康収，丸山徹，嵩原哲，情報 検索システムＤＡＴＡ−710，ＮＥＣ技 報，日本，1988年10月31日，Ｖｏｌ. 41，Ｎｏ．12，ｐ．33−39 ＳＥＫＩＧＵＣＨＩ，Ｈ．，Ｎｅｗ ＡＳＣＩＩ ｖｅｒｓｉｏｎ ｍａｙ ｌｉｎｋ Ｊａｐａｎ ｔｏ ｔｈｅ Ｗｅｓｔｅｒｎ ｗｏｒｌｄ，Ｄａｔａ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，米 国，1985年 ８月19日，Ｖｏｌ．14，Ｎ ｏ．８，ｐ．231−232，235−238 (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 17/30 G06F 17/21 G06F 17/27 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項１】 ２５６を越える文字を含む言語のテキス
    ト処理システムにより使用されるテキストを準備する方
    法において、 ａ）前記言語を表わす文字の入力ストリームを収集する
    過程を備え； ｂ）前記文字の前記入力ストリームを、語を表わす文字
    ストリングへと分割をする分割過程であって、合成語を
    それを構成する語へと分割することも含んでいる分割過
    程を備え、この分割は、前記言語の文法規則を用いて前
    記入力ストリーム中への語セパレータの挿入位置を決定
    して、前記言語における語を構成する文字群の境界規定
    をすることによってなされるものであり、語すなわち文
    字セットの相互間の区別は前記入力ストリーム中の特別
    の文字を要することなくなされ； ｃ）前記文字ストリングを、単一バイトのＡＳＣＩＩ文
    字の一意セットにマッピングする過程を備え； ｄ）語を表わしている前記単一バイトのＡＳＣＩＩ文字
    の一意セットをさらに処理するために前記テキスト処理
    システムへ転送する過程を備えることを特徴とする、テ
    キスト処理システムにより使用されるテキストを準備す
    る方法。
  2. 【請求項２】 ２５６を越える文字を含む言語のテキス
    ト処理システムにより使用されるテキストを準備する装
    置において、 ａ）前記言語を表わす文字の入力ストリームを収集する
    フィルタ装置であって、前記文字の前記入力ストリーム
    を、語を表わす文字ストリングへと分割をする語フィル
    タであって、合成語をそれを構成する語へと分割するこ
    とも含んでいる語フィルタを含んでいるフィルタ装置を
    備え、前記語フィルタは、前記入力ストリームを、語を
    表わす文字ストリングへと分割をする文法規則解析手段
    を含み、語すなわち文字セットの相互間の区別は前記入
    力ストリーム中の特別の文字を要することなくなされ； ｂ）前記語フィルタに結合され、語を表わす前記文字ス
    トリングを、単一バイトのＡＳＣＩＩ文字の一意ストリ
    ングにマッピングするマッピング装置を備え； ｃ）前記マッピング装置に結合され、語を表わしている
    前記単一バイトのＡＳＣＩＩ文字の一意ストリングを前
    記テキスト処理システムに供給する出力装置を備えるこ
    とを特徴とする、テキスト処理システムにより使用され
    るテキストを準備する装置。
  3. 【請求項３】 ＡＳＣＩＩベースのテキスト処理システ
    ムを有するコンピュータシステムにあって、ＡＳＣＩＩ
    ベースの前記テキスト処理システムにより使用すべき、
    ２５６を越える文字を含む言語のテキストを準備する方
    法において、 ａ）前記言語のテキストを複数の１６進文字ストリング
    に変換する過程を備え； ｂ）前記１６進文字ストリング中に、前記言語の語を構
    成する１６進文字群へと境界規定されるように語セパレ
    ータを挿入する挿入過程であって、合成語をそれを構成
    する語へと分割して語セパレータを挿入することも含ん
    でいる挿入過程を備え、前記言語の文法規則が用いられ
    て前記１６進文字ストリングに対して語セパレータを挿
    入すべき位置が決定され、語すなわち文字セットの相互
    間の区別は前記１６進文字ストリング中の特別の文字を
    要することなくなされ、 ｃ）前記１６進文字ストリングを複数の単一バイトＡＳ
    ＣＩＩ文字の一意セットにマッピングする過程を備え； ｄ）前記言語の語を表わす前記単一バイトのＡＳＣＩＩ
    文字の一意セットをさらに処理するために前記ＡＳＣＩ
    Ｉベースのテキストプロセッサプログラムへ転送する過
    程を備えることを特徴とする、テキスト処理システムに
    より使用されるテキストを準備する方法。
JP10876493A 1992-04-13 1993-04-13 テキスト処理システムにより使用されるテキストを準備する方法及び装置 Expired - Fee Related JP3300866B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US867852 1986-05-27
US07/867,852 US5337233A (en) 1992-04-13 1992-04-13 Method and apparatus for mapping multiple-byte characters to unique strings of ASCII characters for use in text retrieval

Publications (2)

Publication Number Publication Date
JPH0689304A JPH0689304A (ja) 1994-03-29
JP3300866B2 true JP3300866B2 (ja) 2002-07-08

Family

ID=25350593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10876493A Expired - Fee Related JP3300866B2 (ja) 1992-04-13 1993-04-13 テキスト処理システムにより使用されるテキストを準備する方法及び装置

Country Status (4)

Country Link
US (1) US5337233A (ja)
JP (1) JP3300866B2 (ja)
KR (1) KR100235223B1 (ja)
TW (1) TW310400B (ja)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5511159A (en) * 1992-03-18 1996-04-23 At&T Corp. Method of identifying parameterized matches in a string
US5590317A (en) * 1992-05-27 1996-12-31 Hitachi, Ltd. Document information compression and retrieval system and document information registration and retrieval method
CA2125337A1 (en) * 1993-06-30 1994-12-31 Marlin Jay Eller Method and system for searching compressed data
CA2105847C (en) * 1993-09-09 1996-10-01 Adrian Storisteanu Method of editing text in column sensitive environments
US5742838A (en) * 1993-10-13 1998-04-21 International Business Machines Corp Method for conversion mode selection in hangeul to hanja character conversion
US5657259A (en) * 1994-01-21 1997-08-12 Object Technology Licensing Corp. Number formatting framework
US5822720A (en) 1994-02-16 1998-10-13 Sentius Corporation System amd method for linking streams of multimedia data for reference material for display
US5572668A (en) * 1995-02-07 1996-11-05 Oracle Corporation Method and apparatus for universal national language support program testing
US5778361A (en) * 1995-09-29 1998-07-07 Microsoft Corporation Method and system for fast indexing and searching of text in compound-word languages
US5624456A (en) * 1996-02-07 1997-04-29 Hellenkamp; Johann F. Automatic surgical device for cutting a cornea
US5802482A (en) * 1996-04-26 1998-09-01 Silicon Graphics, Inc. System and method for processing graphic language characters
US5787450A (en) * 1996-05-29 1998-07-28 International Business Machines Corporation Apparatus and method for constructing a non-linear data object from a common gateway interface
US5778213A (en) * 1996-07-12 1998-07-07 Microsoft Corporation Multilingual storage and retrieval
US5793869A (en) * 1996-10-11 1998-08-11 Claflin, Jr.; Raymond E. Method and apparatus for encoding and data compressing text information
US6055365A (en) * 1996-11-08 2000-04-25 Sterling Software, Inc. Code point translation for computer text, using state tables
CA2194019C (en) * 1996-12-24 2000-02-22 Daniel A. Rose Encoding of language, country and character formats for multiple language display and transmission
US6292770B1 (en) * 1997-01-22 2001-09-18 International Business Machines Corporation Japanese language user interface for messaging system
AUPO977997A0 (en) * 1997-10-14 1997-11-06 Pouflis, Jason The utilisation of multi-lingual names on the internet
JPH11143877A (ja) * 1997-10-22 1999-05-28 Internatl Business Mach Corp <Ibm> 圧縮方法、辞書の見出し語インデックス・データを圧縮するための方法、及び機械翻訳システム
US6083856A (en) * 1997-12-01 2000-07-04 3M Innovative Properties Company Acrylate copolymeric fibers
US6007914A (en) * 1997-12-01 1999-12-28 3M Innovative Properties Company Fibers of polydiorganosiloxane polyurea copolymers
US6370581B2 (en) * 1998-06-04 2002-04-09 Sun Microsystems, Inc. Method, apparatus, and product for transmitting multibyte characters in a network
JP2000020444A (ja) * 1998-06-26 2000-01-21 Bariafurii:Kk 機能拡張装置および機能拡張方法ならびに機能拡張プログラムを記録した記録媒体
US6560596B1 (en) * 1998-08-31 2003-05-06 Multilingual Domains Llc Multiscript database system and method
KR20010075446A (ko) * 1998-09-29 2001-08-09 엘리 에이버 대안의 인터넷 리소스 식별자 및 주소를 위한 방법 및시스템
JP3961697B2 (ja) * 1998-10-07 2007-08-22 日東電工株式会社 自動車塗膜保護用シート
US6279828B1 (en) * 1999-03-01 2001-08-28 Shawwen Fann One dimensional bar coding for multibyte character
US6467038B1 (en) * 1999-03-12 2002-10-15 Compaq Information Technologies Group, L.P. Method for supporting optical international language modules flashed into ROM
JP2001125915A (ja) * 1999-10-28 2001-05-11 Fujitsu Ltd 情報検索装置
US20020022953A1 (en) * 2000-05-24 2002-02-21 Bertolus Phillip Andre Indexing and searching ideographic characters on the internet
AU2001259949B2 (en) * 2000-05-24 2006-05-25 Web Wombat Pty Ltd Indexing and searching ideographic characters on a networked system of computers
US7716163B2 (en) 2000-06-06 2010-05-11 Microsoft Corporation Method and system for defining semantic categories and actions
US7788602B2 (en) 2000-06-06 2010-08-31 Microsoft Corporation Method and system for providing restricted actions for recognized semantic categories
US7421645B2 (en) * 2000-06-06 2008-09-02 Microsoft Corporation Method and system for providing electronic commerce actions based on semantically labeled strings
US7770102B1 (en) 2000-06-06 2010-08-03 Microsoft Corporation Method and system for semantically labeling strings and providing actions based on semantically labeled strings
US7712024B2 (en) * 2000-06-06 2010-05-04 Microsoft Corporation Application program interfaces for semantically labeling strings and providing actions based on semantically labeled strings
AU2001296774A1 (en) * 2000-10-09 2002-04-22 Enic Corporation Registering and using multilingual domain names
US7032174B2 (en) * 2001-03-27 2006-04-18 Microsoft Corporation Automatically adding proper names to a database
US7778816B2 (en) 2001-04-24 2010-08-17 Microsoft Corporation Method and system for applying input mode bias
US7130861B2 (en) 2001-08-16 2006-10-31 Sentius International Corporation Automated creation and delivery of database content
US7325194B2 (en) * 2002-05-07 2008-01-29 Microsoft Corporation Method, system, and apparatus for converting numbers between measurement systems based upon semantically labeled strings
US20050108195A1 (en) * 2002-05-07 2005-05-19 Microsoft Corporation Method, system, and apparatus for processing information based on the discovery of semantically labeled strings
US7707496B1 (en) 2002-05-09 2010-04-27 Microsoft Corporation Method, system, and apparatus for converting dates between calendars and languages based upon semantically labeled strings
US7707024B2 (en) 2002-05-23 2010-04-27 Microsoft Corporation Method, system, and apparatus for converting currency values based upon semantically labeled strings
US7742048B1 (en) * 2002-05-23 2010-06-22 Microsoft Corporation Method, system, and apparatus for converting numbers based upon semantically labeled strings
US7281245B2 (en) 2002-06-05 2007-10-09 Microsoft Corporation Mechanism for downloading software components from a remote source for use by a local software application
US7827546B1 (en) 2002-06-05 2010-11-02 Microsoft Corporation Mechanism for downloading software components from a remote source for use by a local software application
US7356537B2 (en) 2002-06-06 2008-04-08 Microsoft Corporation Providing contextually sensitive tools and help content in computer-generated documents
US7003522B1 (en) 2002-06-24 2006-02-21 Microsoft Corporation System and method for incorporating smart tags in online content
US7716676B2 (en) 2002-06-25 2010-05-11 Microsoft Corporation System and method for issuing a message to a program
US20040001099A1 (en) * 2002-06-27 2004-01-01 Microsoft Corporation Method and system for associating actions with semantic labels in electronic documents
US7392479B2 (en) 2002-06-27 2008-06-24 Microsoft Corporation System and method for providing namespace related information
US7209915B1 (en) 2002-06-28 2007-04-24 Microsoft Corporation Method, system and apparatus for routing a query to one or more providers
US7783614B2 (en) 2003-02-13 2010-08-24 Microsoft Corporation Linking elements of a document to corresponding fields, queries and/or procedures in a database
US7711550B1 (en) 2003-04-29 2010-05-04 Microsoft Corporation Methods and system for recognizing names in a computer-generated document and for providing helpful actions associated with recognized names
US7558841B2 (en) 2003-05-14 2009-07-07 Microsoft Corporation Method, system, and computer-readable medium for communicating results to a data query in a computer network
CA2432868A1 (en) * 2003-06-20 2004-12-20 Ibm Canada Limited - Ibm Canada Limitee System and method of processing a document targeted for one system on another system
US7739588B2 (en) 2003-06-27 2010-06-15 Microsoft Corporation Leveraging markup language data for semantically labeling text strings and data and for providing actions based on semantically labeled text strings and data
US7747428B1 (en) * 2003-09-24 2010-06-29 Yahoo! Inc. Visibly distinguishing portions of compound words
US7178102B1 (en) 2003-12-09 2007-02-13 Microsoft Corporation Representing latent data in an extensible markup language document
US7487515B1 (en) 2003-12-09 2009-02-03 Microsoft Corporation Programmable object model for extensible markup language schema validation
US7404195B1 (en) 2003-12-09 2008-07-22 Microsoft Corporation Programmable object model for extensible markup language markup in an application
US7434157B2 (en) 2003-12-09 2008-10-07 Microsoft Corporation Programmable object model for namespace or schema library support in a software application
US7509573B1 (en) 2004-02-17 2009-03-24 Microsoft Corporation Anti-virus security information in an extensible markup language document
US7849085B2 (en) * 2004-05-18 2010-12-07 Oracle International Corporation System and method for implementing MBSTRING in weblogic tuxedo connector
US7523102B2 (en) * 2004-06-12 2009-04-21 Getty Images, Inc. Content search in complex language, such as Japanese
US7260780B2 (en) * 2005-01-03 2007-08-21 Microsoft Corporation Method and apparatus for providing foreign language text display when encoding is not available
US7992085B2 (en) 2005-09-26 2011-08-02 Microsoft Corporation Lightweight reference user interface
US7788590B2 (en) 2005-09-26 2010-08-31 Microsoft Corporation Lightweight reference user interface
AU2006318417B2 (en) * 2005-11-23 2012-01-19 Dun And Bradstreet Corporation System and method for searching and matching data having ideogrammatic content
US7738717B1 (en) * 2006-06-27 2010-06-15 Verizon Services Corp. Systems and methods for optimizing bit utilization in data encoding
US7924182B2 (en) * 2006-07-21 2011-04-12 Cap Epsilon, Inc. Typeless representation of alphanumeric symbols
EP2165279A4 (en) * 2007-06-01 2012-01-18 Getty Images Inc METHOD AND SYSTEM FOR SEARCHING FOR DIGITAL ASSETS
US20090157774A1 (en) * 2007-12-18 2009-06-18 International Business Machines Corporation Character pattern-based file storage tool
TWI384377B (zh) 2008-12-04 2013-02-01 Ind Tech Res Inst 資料編碼及解碼方法
US8539359B2 (en) * 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US9454514B2 (en) * 2009-09-02 2016-09-27 Red Hat, Inc. Local language numeral conversion in numeric computing
CN102298582B (zh) * 2010-06-23 2016-09-21 商业对象软件有限公司 数据搜索和匹配方法和系统
US20120042263A1 (en) 2010-08-10 2012-02-16 Seymour Rapaport Social-topical adaptive networking (stan) system allowing for cooperative inter-coupling with external social networking systems and other content sources
US8676937B2 (en) * 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6077222A (ja) * 1983-10-04 1985-05-01 Kanaasu Data Kk 多種文字処理端末装置
US5050121A (en) * 1990-01-22 1991-09-17 Vaughan H W Communication system which uses characters that represent binary-coded decimal numbers

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ＳＥＫＩＧＵＣＨＩ，Ｈ．，Ｎｅｗ ＡＳＣＩＩ ｖｅｒｓｉｏｎ ｍａｙ ｌｉｎｋ Ｊａｐａｎ ｔｏ ｔｈｅ Ｗｅｓｔｅｒｎ ｗｏｒｌｄ，Ｄａｔａ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，米国，１９８５年 ８月１９日，Ｖｏｌ．１４，Ｎｏ．８，ｐ．２３１−２３２，２３５−２３８
斉藤雅，印刷業における自然言語処理の応用事例，情報管理，日本，特殊法人日本科学技術情報センター，１９９０年 ８月 １日，Ｖｏｌ．３３，Ｎｏ．５，ｐ．４２５−４３３
青木裕一郎，石森秀明，会森清，有田裕史，杉浦康収，丸山徹，嵩原哲，情報検索システムＤＡＴＡ−７１０，ＮＥＣ技報，日本，１９８８年１０月３１日，Ｖｏｌ．４１，Ｎｏ．１２，ｐ．３３−３９

Also Published As

Publication number Publication date
US5337233A (en) 1994-08-09
JPH0689304A (ja) 1994-03-29
TW310400B (ja) 1997-07-11
KR100235223B1 (ko) 1999-12-15
KR930022225A (ko) 1993-11-23

Similar Documents

Publication Publication Date Title
JP3300866B2 (ja) テキスト処理システムにより使用されるテキストを準備する方法及び装置
JP4544674B2 (ja) 選択文字列に関連する情報を提供するシステム
US5787386A (en) Compact encoding of multi-lingual translation dictionaries
EP0645720B1 (en) Dictionary creation supporting system
US6473729B1 (en) Word phrase translation using a phrase index
US6401061B1 (en) Combinatorial computational technique for transformation phrase text-phrase meaning
US5903858A (en) Translation machine for editing a original text by rewriting the same and translating the rewrote one
EP0971294A2 (en) Method and apparatus for automated search and retrieval processing
US20070179932A1 (en) Method for finding data, research engine and microprocessor therefor
WO1997004405A9 (en) Method and apparatus for automated search and retrieval processing
JP2006252428A (ja) マルチリンガル翻訳メモリ、翻訳方法および翻訳プログラム
JPS63231674A (ja) コンピュータによる形態論的テキスト解析方法
JP2001503540A (ja) アノテートされたテキストの自動翻訳
JPS61248160A (ja) 文書情報登録方式
JP2626722B2 (ja) 日本語生成装置
JPH09245051A (ja) 自然言語事例検索装置及び自然言語事例検索方法
Walker Computational linguistic techniques in an on-line system for textual analysis
KR20020003701A (ko) 디지털 문서의 키워드를 자동으로 추출하는 방법
JPH0827803B2 (ja) テキストベース検索方法
JP3701050B2 (ja) 文書形態素解析装置
JPH0320866A (ja) テキストベース検索方式
JPH04330565A (ja) 自然言語処理システム
JPH03229367A (ja) テキストベース検索方式
JPS6366665A (ja) 文書解析整形装置
JPH0778166A (ja) 翻訳方法及び機械翻訳装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees