JPH0724055B2 - 単語分割処理方法 - Google Patents

単語分割処理方法

Info

Publication number
JPH0724055B2
JPH0724055B2 JP59162443A JP16244384A JPH0724055B2 JP H0724055 B2 JPH0724055 B2 JP H0724055B2 JP 59162443 A JP59162443 A JP 59162443A JP 16244384 A JP16244384 A JP 16244384A JP H0724055 B2 JPH0724055 B2 JP H0724055B2
Authority
JP
Japan
Prior art keywords
word
division
text
stack
unknown
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP59162443A
Other languages
English (en)
Other versions
JPS6140671A (ja
Inventor
博行 梶
義彦 新田
敦子 伊佐津
富門 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP59162443A priority Critical patent/JPH0724055B2/ja
Priority to US06/760,918 priority patent/US4750122A/en
Publication of JPS6140671A publication Critical patent/JPS6140671A/ja
Publication of JPH0724055B2 publication Critical patent/JPH0724055B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/53—Processing of non-Latin text

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は、単語分割処理方法に関し、特に未知語を含む
テキストも処理できる日本語処理システムのテキストか
ら単語への自動分割方法に関するものである。
〔発明の背景〕
機械翻訳を含む各種の自然言語処理システムにおいて
は、単語を見出しとする辞書が用いられ、辞書を検索し
ながらテキストの処理が行われる（例えば特開昭56-174
67号公報参照）。しかし、テキストに出現する単語のす
べてをあらかじめ辞書に登録しておくことは不可能であ
り、未知語の取扱いが実用上重要な問題となる。すなわ
ちテキスト中の未知語を効率よく同定することが要求さ
れる。未知語を同定する場合、英語のように単語の間に
スペースが挿入される言語に対しては簡単にできるが、
日本語のように単語が続けて書かれる言語に対してはき
わめて難しい問題である。
日本語のように、単語間にスペースを挿入せずに続けて
書かれる言語のテキストの自動処理を行うには、第１段
階としてテキストを単語に分割する処理が必要である。
このためには、テキスト中の文字列をキーとして単語辞
書を検索し、単語の品詞等により前接語との接続可否を
チエツクする方法が広く用いられている。この方法で
は、分割が行き詰まる（辞書検索に失敗、あるいは接続
可能な単語がない）原因として、未知語がある場合と、
それまでの分割に誤りがあつた場合の２つがある。した
がつて、分割が行き詰つても、直ちに未知語と判定する
ことはできず、別の分割の可能性を求めて後戻り処理を
行うことが必要である。すなわち、未知語が含まれてい
るため、分割処理の行き詰りが発生した場合、後戻り処
理によりテキストの先頭まで戻つた時点で、初めて未知
語が含まれると判断されている。このため、未知語が含
まれていると判定するまでに、多くの処理時間を必要と
している。しかも、未知語が含まれると判断された場
合、そこから先の分割を続行することは簡単ではなかつ
た。すなわち、未知語の存在を考慮しないで、後戻りす
る際に、途中で失敗した分割結果の情報が保存されてい
ないため、未知語が含まれていたと判定されても、その
位置を同定することができなかつた。
前述のように、各種の自然言語処理システムにおいて、
あらゆる単語が辞書に登録されていると考えることは実
際上不可能であり、未知語の入力も許容することが必要
である。例えば機械翻訳の場合、未知語を含むものは翻
訳不可とせずに、未知語については原語のまま挿入した
翻訳文を出力することが望ましい。
〔発明の目的〕
本発明の目的は、このような従来の問題点を解決し、テ
キスト中の未知語を効率よく同定し、未知語以降の部分
に対してもテキストの分割処理を続けることができる単
語分割処理方法を提供することにある。
〔発明の概要〕
本発明の上述の目的は、テキストを入力装置から入力
し、前記テキスト中の文字列をキーとして辞書ファイル
記憶装置中の単語辞書を検索し、記憶装置中の品詞接続
可否情報を参照して前記検索された単語の接続可否をチ
ェックしながらテキストの単語分割処理を行って分割結
果を記憶装置に出力し、単語分割処理が行き詰まったと
きには前記記憶装置に出力されている分割結果の途中ま
で後戻りして、戻った個所より先について別の分割の可
能性を探すテキストの単語分割処理方法において、前記
後戻りを、後戻り開始個所に最も近い字種境界と単語境
界の一致点およびその先に制限するようにしたことを特
徴とする単語分割処理方法によって達成される。
〔発明の実施例〕
以下、本発明の実施例を、図面により説明する。
第１図は、本発明を用いるデータ処理システムのブロツ
ク図である。
この処理システムは、処理装置１、記憶装置２、辞書検
索処理装置３、辞書フアイル記憶装置４、入力装置５お
よび出力装置６から構成される。
記憶装置２には、分割処理の対象となるテキストを格納
するテキスト・エリア、辞書検索のキーとなる文字列を
格納する検索キー・エリア（KY）、辞書から検索された
レコードを格納する辞書レコード・エリア、単語間の接
続可否を示す接続行列を格納する接続行列エリア、分割
結果を格納する分割用スタツク・エリア、後戻りの際に
分割結果を退避する退避用スタツク・エリア等が、それ
ぞれ設けられる。
第２図は、接続行列の一部を示す図である。
接続行列とは、テキストを単語に分割した場合に、各単
語の品詞を調べて、前の単語の品詞が後接単語の品詞
に、文法的に接続可能か否かをチエツクするためのもの
である。そして、接続行列は、第２図に示すように各
行、各列が単語のカテゴリに対応した２値行列であつ
て、“1"のとき接続可、“0"のとき接続不可である。縦
軸に配列された品詞が前の単語であり、横軸に配列され
た品詞が後接単語である。例えば、「自動車（名詞）が
（助詞）走つた（動詞）。」というテキストでは、名詞
の次に格助詞が接続されるので、名詞（縦軸）と格助詞
（横軸）の交点は“1"であり、名詞の次に直接動詞が接
続されないので、名詞（縦軸）と動詞（横軸）との交点
は“0"である。すなわち、ｉ行ｊ列要素の値は、ｉ行に
対応するカテゴリに属する単語の後に、ｊ列に対応する
カテゴリに属する単語が接続可能か否かを“1"、“0"で
示したものである。
第３図は、本発明で用いられる分割用スタツクの説明図
である。
分割用スタツク（STC）は、テキストから分割された各
単語に対応するデータを格納するものである。第３図に
示すように、テキスト中の単語開始位置（ST）と単語の
属するカテゴリ（Ｃ）が少なくとも格納される。スタツ
ク（STC）へのデータの格納およびスタツクからのデー
タの取り出しは、ともにスタツクの先頭に対してのみ行
われる。すなわち、スタツク（STC）はFILO（First In
Last Out）動作を行うもので、最初に格納されたデータ
は最後に取り出される。このため、スタツクの先頭デー
タの位置を指示するスタツク先頭位置インデクス（TO
S）が記憶されている。
記憶装置２の分割結果を退避する退避用スタツク・エリ
アも、第３図の分割用スタツクと同じ構造を有してい
る。
辞書フアイル記憶装置４には、単語の表記文字列を見出
しとするレコードが格納されている。このレコードに
は、少なくとも、その単語の属するカテゴリを示すコー
ドが含まれている。
本実施例では、検索キーが与えられると、辞書検索処理
装置３によりその検索キーの前方と最長一致する見出し
を持つレコードが検索されるものとする。このような検
索機能は、よく知られたフアイル編成方法を用いて実現
することができる。
第４図（ａ）（ｂ）は、本発明の一実施例を示すテキス
トの単語分割処理のフローチヤートである。
第４図（ａ）（ｂ）の実施例においては、第１に、単語
分割が行詰つて、後戻りする際に、未知語の可能性の高
い途中結果を保存しておき、他の分割の可能性がなくな
つた場合には、直ちに未知語を同定できるようにする。
なお、未知語の可能性の高い途中結果の具体例として
は、未知語を後接語として持ち得る単語で終了している
途中結果であつて、最もテキストの前方まで進んだもの
が考えられる。第２に、テキスト中の一定の条件を満た
す点を越えないように、後戻りの範囲を制限することに
よつて、正解に至る可能性がない分割の試行をあらかじ
め防止する。なお、一定の条件を満たす点としては、例
えば、字種境界（ひらがなから漢字に変化する点等）と
単語境界の一致点がある。なぜならば、字種境界と一致
した単語境界は正解である確率がきわめて高いからであ
る。
第４図（ａ）におけるステツプ101,102は初期処理ステ
ツプであり、ステツプ103〜109は辞書検索ステツプであ
り、ステツプ110〜114は接続可否チエツク・ステツプで
あり、ステツプ115〜120は分割用スタツクへの単語登録
ステツプであり、ステツプ121〜129は退避用スタツクへ
の単語退避ステツプである。さらに、ステツプ130〜132
は分割用スタツクからの単語削除ステツプでありステツ
プ133〜137は退避用スタツク内容の分割用スタツクへの
移動ステツプであり、ステツプ138〜141は分割用スタツ
クへの未知語登録ステツプである。
（ｉ） 初期処理 入力装置５から入力されたテキストは、テキスト・エリ
アTXTに格納され、テキスト長TXLが求められる（ステツ
プ101）。次に、テキスト中の文字位置を示すインデク
スＩに初期値“1"を、テキスト中の未知語候補の位置を
示すインデクスMIに初期値“0"を、分割用スタツク先頭
位置インデクスTOSに初期値“0"を、退避用スタツク先
頭位置インデクスTOS′に初期値“0"を、それぞれセツ
トする（ステツプ102）。
（ii） 辞書検索 テキストの第Ｉ文字から初まる文字列をキーとする検索
が初回である場合には、検索キーの長さKYLをあらかじ
め定められた最大値MKYLと、第Ｉ文字以降の文字数との
最大値にする（ステツプ103）。ここでMKYLは辞書に登
録された見出しのうち最長のものの文字数としておく。
テキストの第Ｉ文字から始まる文字列をキーとしての検
索がすでに行われている場合、つまり前回検索された単
語を含むような分割が不可であることがわかつている場
合には前回検索された単語から最後尾１文字を削つたも
のをキーとする（ステツプ104）。検索キーの長さが１
以上であれば（ステツプ105）、検索キーを検索キー・
エリアKYにセツトする（ステツプ106）。検索キーの長
さが０であれば（ステツプ105）、辞書検索ができない
ので後戻り処理に移る（以降のステツプ）。
検索キー・エリアKYに検索キーがセツトされると、辞書
検索処理装置３に対し検索キーの前方と最長一致する見
出しを持つレコードの検索を要求する（ステツプ10
7）。辞書検索処理装置３は、該当するレコードが辞書
フアイルにあれば、見出し、カテゴリ・コード等を辞書
レコード・エリアに格納する。レコードが検索された場
合には（ステツプ108）、その単語の単語長をメモリ・
エリアWLに、その単語の属するカテゴリをメモリ・エリ
アC2に、それぞれセツトし（ステツプ109）、接続可否
チエツクに進む。レコードが検索されなかつた場合には
（ステツプ108）、後戻り処理に移る（以降のステツ
プ）。
（iii） 接続可否チエツク 接続可否チエツクすべき２つの単語のうち、後方の単語
のカテゴリは、すでにエリアC2にセツトされているの
で、ここでは前方の単語のカテゴリを分割用スタツク
（STC）の先頭データ（TOS）を参照することにより、エ
リアC1にセツトする（ステツプ111）。ただし、分割用
スタツク（STC）が空である場合には（ステツプ110）、
文頭の単語に対する処理があるので、エリアC1に“文
頭”をセツトする（ステツプ112）。
次に、エリアC1とC2の品詞間の接続可否を接続行列を参
照して、チエツクする（ステツプ113）。接続可であれ
ば、分割用スタツク（STC）への単語登録に移る。ま
た、接続不可であれば、エリアC2が“文末”の場合（ス
テツプ114）、後戻り処理に（以降の処理）、それ以
外の場合には辞書の再検索に移る（ステツプ104）。
（iv） 分割用スタツクへの単語登録 接続可否チエツクで接続可となつた場合（ステツプ11
3）、エリアC2が“文末”であれば（ステツプ115）、分
割処理はすべて終了であるが、そうでなければ単語を分
割用スタツク（STC）に登録する。このため、先ず、ス
タツク先頭位置インデクスTOSに１を加える（ステツプ1
16）。次に、登録すべき単語のテキスト中の開始位置は
Ｉ、カテゴリはエリアC2に記憶されているので、これら
をスタツク（STC）の先頭に書き込む（ステツプ117）。
この後、テキスト中の文字位置を示すインデクスＩを進
め（ステツプ118）、次の語の検索に進む。ただし、テ
キストの末尾まで達した場合には（ステツプ119）、エ
リアC2に“文末”をセツト（ステツプ120）した上で文
末チエツクに移る（ステツプ110）。
（ｖ） 退避用スタツクへの単語退避 第４図（ｂ）に示すように、後戻り処理の前半は、分割
用スタツク（STC）から退避用スタツクへの単語データ
の退避である。これは、他に解が見当らないとき、途中
で失敗した分割結果の情報を保存しておくことにより、
この保存情報を利用するものである。
先ず、分割用スタツク（STC）が空の場合には（ステツ
プ121）、退避すべきデータは存在しないので、退避用
スタツクのデータを復元した（ステツプ134〜136）上で
未知語を認定する処理に移る（ステツプ137〜139）。ま
た、分割用スタツク（STC）の先頭が“未知語”の場合
には（ステツプ122）、その未知語を１文字分延ばす処
理に移る（ステツプ140）。
次に、テキスト中の現在位置Ｉが未知語候補位置MIより
進んでおり（ステツプ123）、かつスタツクの先頭が
“未知語”を後接語としてもち得る語である場合（ステ
ツプ124）、未知語候補を更新する。すなわち、新しい
未知語候補の位置はＩの示す位置とし、同時に不要とな
つた退避用スタツクのデータを捨てる（ステツプ12
5）。次に、Ｉの示す位置の文字がその前の文字と同じ
文字種か否かを調べ（ステツプ126）、同じ文字種であ
ればデータの退避を行う（ステツプ128〜129）。また、
異なる文字種であれば、それ以上後戻りをせず、退避用
スタツクのデータを分割用スタツク（STC）に復元した
上で未知語を認定する処理に移る。ＩがMIより進んでい
ても（ステツプ123）、スタツク（STC）の先頭が“未知
語”を後接語として持ち得ない場合には（ステツプ12
4）、データの退避は行わず、直ちに分割用スタツク（S
TC）からの単語削除に移る（ステツプ130〜132）。
また、ＩがMIより進んでいない場合（ステツプ123）、
退避用スタツクの先頭の語の位置とＩが一致すれば（ス
テツプ127）、Ｉの示す位置の文字がその前の文字と同
一文字種か否かを調べ（ステツプ126）、同一文字種で
あればデータの退避を行う（ステツプ128,129）。ま
た、異なる文字種であれば、それ以上後戻りはせず、退
避用スタツクのデータを分割用スタツク（STC）に復元
した上で、未知語を認定する処理に移る（ステツプ133
〜139）。なお、退避用スタツクの先頭の語の位置がＩ
と一致しなければ（ステツプ127）、直ちに分割用スタ
ツク（STC）からの単語削除に移る（ステツプ130〜13
2）。
（vi） 分割用スタツクからの単語削除 後戻り処理の後半は、分割用スタツク（STC）からの単
語データの削除である。すなわち、検索キー長KYLに削
除する単語の長さをセツトし（ステツプ130）、テキス
ト中の現在位置Ｉをその単語の先頭位置に変更した上で
（ステツプ131）、データを削除し（ステツプ132）、辞
書の再検索に進む（以降の処理）。
（vii） 退避用スタツク内容の分割用スタツクへの移
動 これ以上後戻りができない場合には、退避用スタツクの
内容を分割用スタツクに戻す。このため、退避用スタツ
クの先頭データを分割用スタツク（STC）の先頭に移す
処理（ステツプ134〜136）を、退避用スタツクにデータ
が存在する限り（ステツプ133）、繰り返す。さらに、
テキストの現在位置Ｉを、復元された分割用スタツクの
内容に合わせて更新する（ステツプ137）。
（viii） 分割用スタツクへの未知語登録 退避用スタツクの内容が分割用スタツクに復元される
と、テキストの現在位置Ｉの１文字を“未知語”として
分割用スタツクの先頭に登録する（ステツプ138,13
9）。次に、Ｉを１文字分進めた上で（ステツプ140）、
辞書の検索に進む（以降の処理）。ただし、テキスト
末尾まで到達すると（ステツプ141）、分割処理は終了
する。
以上が処理装置１による単語分割処理の第１実施例であ
つて、分割用スタツク・エリアに残つている分割結果
は、処理装置１から出力装置６に出力される。
このように、第１の実施例においては、テキスト中の未
知語を効率よく同定することができる。未知語が含まれ
るテキストに対しても、テキストの末尾まで単語に分割
されるので、構文解析等の次のステツプの処理を続行す
ることができる。したがつて、機械翻訳において、未知
語を原語のまま挿入した形で、翻訳結果を出力すること
が可能となる。
一方、未知語を含まないテキストに対しても、従来と同
じ分割結果を得ることができる。未知語である可能性が
高い途中結果を保存する処理を含むため、その分だけ効
率は低下するが、保存するものは未知語の可能性の高い
ものに絞つているため、効率低下の割合は僅かである。
また、後戻りの範囲を制限することにより、正解を見逃
す可能性もあるが、字種境界のように統計的に意味のあ
る点を限界点としているため、正解を見逃す確率は小さ
く、未知語同定の効率向上の効果の方が大きい。
第５図（ａ）（ｂ）は、本発明の他の実施例を示すテキ
ストの単語分割処理のフローチヤートである。
フローチヤート中のステツプ201〜202は初期処理ステツ
プ、ステツプ203〜209は辞書検索ステツプ、ステツプ21
0〜214は接続可否チエツク・ステツプ、ステツプ215〜2
20は分割用スタツクへの単語登録ステツプ、221〜228は
未知語抽出ステツプ、229〜234は分割用スタツクからの
単語削除ステツプである。
第５図（ａ）（ｂ）の実施例においては、第１に、日本
語テキストにおいては、単語境界と文字種（漢字、ひら
がな、カタカナ、アルフアベツト等）との間に統計的に
密接な関係が認められ、ひらがなから他の字種に変わる
点で単語境界となる確率が高い性質があり、第２に、多
くの応用システムにおいては、未知語は固有名詞あるい
は専門分野の新しい概念に対して命名された術語である
ことが多いという２つの点に着目している。未知語は、
文字種でいうと、漢字列、カタカナ列、アルフアベツト
列等のひらがな以外の単一文字種からなる場合が多く、
また品詞でいうと名詞あるいはサ変動詞語幹等に限定さ
れると考えられる。
そこで、この実施例では、テキスト中、異種の文字に挟
まれた漢字列、カタカナ列、あるいはアルフアベツト列
に限定して未知語の候補と考える。また、未知語を、単
語の接続可否チエツクのために設定されたカテゴリの１
つと考え、未知語に対しても他のカテゴリと同じように
前接語あるいは後接語のカテゴリを決めておく。このよ
うな前提の下で、辞書検索と接続可否チエツクによる分
割が行き詰つた場合、未知語の可能性を調べ、未知語と
考えられるときは後戻りせずに、分割処理を続行する。
なお、第６図（ａ）（ｂ）の実施例においても、第１図
〜第３図の資源を用いて処理を実行する。
（ｉ） 初期処理 入力装置５から入力されたテキストは、記憶装置２のテ
キスト・エリアTXTに格納され、テキスト長TXLが求めら
れる（ステツプ201）。次に、テキスト中の文字位置を
示すインデクスＩに初期値“1"を、スタツク先頭位置に
インデクスTOSに初期値“0"をセツトする（ステツプ20
2）。
（ii） 辞書検索 テキストの第Ｉ文字から始まる文字列をキーとして行わ
れる検索が、初めての場合には、検索キーの長さKYLを
あらかじめ定められた最大値MKYLと、第Ｉ文字以降の文
字数のうちの最大値にする（ステツプ203）。なお、MKY
Lは、辞書に登録された見出しのうち最長のものの文字
数としておけばよい。また、テキストの第Ｉ文字から始
まる文字列をキーとする検索が、すでに行われている場
合には、前回検索された単語から最後尾１文字を削つた
ものをキーとする（ステツプ204）。検索キーの長さが
１以上であれば（ステツプ205）、検索キーを検索キー
・エリアKYにセツトする（ステツプ206）。検索キーの
長さが０であれば（ステツプ205）、辞書検索ができな
いため未知語の可能性を調べる処理に移る（を介して
第５図（ｂ）の処理へ）。検索キー・エリアKYに検索キ
ーがセツトされると、辞書検索処理装置３に対して、検
索キーの前方と最長一致する見出しを持つレコードの検
索を要求する（ステツプ207）。辞書検索処理装置３
は、該当するレコードが辞書フアイルに存在すれば、見
出しとカテゴリ・コード等を辞書レコード・エリアに格
納する。レコードが検索された場合には（ステツプ20
8）、その単語の単語長をメモリ・エリアWLに、その単
語の属するカテゴリをメモリ・エリアC2に、それぞれセ
ツトし（ステツプ209）、接続可否チエツクに進む。レ
コードが検索されなかつた場合には（ステツプ208）、
未知語の可能性を調べる処理に移る（を介して第６図
（ｂ）の処理へ）。
（iii） 接続可否チエツク 接続可否をチエツクすべき２つの単語のうち、後方の単
語のカテゴリはすでにエリアC2にセツトされているの
で、ここでは前方の単語のカテゴリを分割用スタツクの
先頭データを参照することにより、エリアC1にセツトす
る（ステツプ211）。ただし、分割用スタツクが空であ
る場合には（ステツプ210）、文頭の単語に対する処理
であるため、エリアC1に“文頭”をセツトする（ステツ
プ212）。次に、エリアC1とC2の接続可否を接続行列を
参照してチエツクする（ステツプ213）。接続可であれ
ば、分割用スタツクへの単語登録に進む。接続不可であ
れば、エリアC2が“未知語”あるいは“文末”の場合に
は（ステツプ214）、分割用スタツクからの単語削除に
（を介して第５図（ｂ）の処理へ）、それ以外の場合
には辞書の再検索に移る（ステツプ204）。
（iv） 分割用スタツクへの単語登録 接続可否チエツクで接続可となつた場合、エリアC2が
“文末”であれば（ステツプ215）、分割処理はすべて
終了であるが、“文末”でなければ、単語を分割用スタ
ツクに登録する。このため、先ずスタツク先頭位置イン
デクスTOSに１を加える（ステツプ216）、次に、登録す
べき単語のテキスト中の開始位置はＩ、カテゴリはC2に
記憶されているので、これらをスタツクの先頭に書き込
む（ステツプ217）。この後、テキスト中の文字位置を
示すインデクスを進め（ステツプ218）、次の語の検索
に進む（ステツプ219,203）。ただし、テキストの末尾
まで達した場合には（ステツプ219）、エリアC2に“文
末”をセツトした上で（ステツプ220）、文末チエツク
に移る（ステツプ210）。
（ｖ） 未知語抽出 未知語の候補となるのは、ひらがな以外の単一文字種の
列である。そこで、先ずテキストの第Ｉ文字がひらがな
か否かをチエツクする（ステツプ221）。第Ｉ文字がひ
らがなでなく、しかも、文頭でない場合には（ステツプ
222）、さらに第（Ｉ−１）文字が第Ｉ文字と異なる文
字種か否かをチエツクする（ステツプ223）。この結
果、未知語の先頭であり得るか否かを判別できる。未知
語の先頭であり得ない場合には（ステツプ221,223）、
分割用スタツクからの単語削除に移る（ステツプ229以
下）。一方、未知語の先頭と考えられる場合には、異な
る文字種が現われるまでテキストを前方にスキヤンする
ことにより、未知語の長さを求めてエリアWLにセツトす
る（ステツプ224〜227）。さらに、エリアC2に“未知
語”をセツトした上で（ステツプ228）、接続可否チエ
ツクに進む（を介して第６図（ａ）の210へ）。
（vi） 分割用スタツクからの単語削除 分割用スタツクからの単語削除が要求されたとき、すで
にスタツクが空であれば（ステツプ229）、分割できな
かつたものとして処理を終了する。スタツクが空でなけ
れば、スタツクの先頭からデータを削除する（ステツプ
230〜234）。スタツクの先頭に対応する単語のカテゴリ
が“未知語”でない場合（ステツプ230）、検索キー長K
YLにその単語の長さをセツトする（ステツプ231）。そ
して、テキスト中の文字位置を示すインデクスＩをその
単語の先頭位置に戻す（ステツプ232）。次に、スタツ
ク先頭位置インデクスTOSを１だけ減ずることにより、
スタツクから先頭データを削除する（ステツプ233）。
そして、テキストの第Ｉ文字以降の文字列による辞書検
索に進む（を介して第５図（ａ）のステツプ204
へ）。また、スタツクの先頭に対応する単語のカテゴリ
が“未知語”である場合には（ステツプ230）、先頭デ
ータを削除した後（ステツプ234）、次のデータの削除
処理を行う（ステツプ229）。
このようにして、順次分割処理を繰り返す。そして、分
割用スタツク・エリアに残つている分割結果は、処理処
置１から出力装置６に出力される。
第５図（ａ）（ｂ）の実施例においては、未知語を含む
テキストに対して末尾まで単語に分割できる確率がきわ
めて高い。また、未知語と仮定しての処理は、未知語で
ある可能性が高い場合にのみ行われ、かつ後戻り処理の
前に行うので、処理時間は短くなる。一方、未知語を含
んでいないテキストに対しても、未知語と仮定しての処
理が辞書に登録された語の範囲での分割が行き詰まつた
場合に、初めて行われるので、処理効率が損われること
はない。このように、未知語を含むテキストの単語への
自動分割を効率よく行うことができるので、辞書にすべ
ての単語を登録しておくことが不可能であることを考慮
すると、本実施例の処理方法は実用上きわめて有効であ
る。
〔発明の効果〕
以上説明したように、本発明によれば、テキスト中の未
知語を効率よく同定し、未知語を含む可能性のあるテキ
ストの自動分割処理を効率よく行うことができるので、
自然言語処理システムにおいて実用上きわめて効果が大
である。
【図面の簡単な説明】
第１図は本発明を用いたデータ処理システムのブロツク
図、第２図は本発明に用いる接続行列の一部を示す図、
第３図は本発明で用いる分割用スタツクの説明図、第４
図は本発明の一実施例を示すテキストの単語分割処理の
フローチヤート、第５図は本発明の他の実施例を示すテ
キストの単語分割処理のフローチヤートである。 1:処理装置、2:記憶装置、3:辞書検索処理装置、4:辞書
フアイル記憶装置、5:入力装置、6:出力装置。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 清水 富門 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 (56)参考文献 特開 昭57−127267（ＪＰ，Ａ) 特開 昭56−17467（ＪＰ，Ａ) 特開 昭55−127664（ＪＰ，Ａ)

Claims (3)

    【特許請求の範囲】
  1. 【請求項１】テキストを入力装置から入力し、前記テキ
    スト中の文字列をキーとして辞書ファイル記憶装置中の
    単語辞書を検索し、記憶装置中の品詞接続可否情報を参
    照して前記検索された単語の接続可否をチェックしなが
    らテキストの単語分割処理を行って分割結果を記憶装置
    に出力し、単語分割処理が行き詰まったときには前記記
    憶装置に出力されている分割結果の途中まで後戻りし
    て、戻った個所より前方の文字列について別の分割の可
    能性を探すテキストの単語分割処理方法において、前記
    後戻りは、最大限、後戻り開始個所に最も近い字種境界
    と単語境界の一致点までとすることを特徴とする単語分
    割処理方法。
  2. 【請求項２】前記後戻りの際に、それまでに最も先まで
    進んだ分割処理結果を記憶装置に退避させておき、後戻
    りしても別の分割の可能性がなかったとき、前記記憶装
    置に退避させておいた分割結果に復帰し、復帰した分割
    結果先に続く語が前記単語辞書に登録されていない語、
    すなわち、未知語であると認定して、該未知語に続くテ
    キストの単語分割処理を行うことを特徴とする特許請求
    の範囲第１項記載の単語分割処理方法。
  3. 【請求項３】前記未知語を認定する処理では、異種の文
    字に挟まれた漢字列，カタカナ列あるいはアルファベッ
    ト列に限定して未知語候補とすることを特徴とする特許
    請求の範囲第２項記載の単語分割処理方法。
JP59162443A 1984-07-31 1984-07-31 単語分割処理方法 Expired - Lifetime JPH0724055B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP59162443A JPH0724055B2 (ja) 1984-07-31 1984-07-31 単語分割処理方法
US06/760,918 US4750122A (en) 1984-07-31 1985-07-31 Method for segmenting a text into words

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP59162443A JPH0724055B2 (ja) 1984-07-31 1984-07-31 単語分割処理方法

Publications (2)

Publication Number Publication Date
JPS6140671A JPS6140671A (ja) 1986-02-26
JPH0724055B2 true JPH0724055B2 (ja) 1995-03-15

Family

ID=15754709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP59162443A Expired - Lifetime JPH0724055B2 (ja) 1984-07-31 1984-07-31 単語分割処理方法

Country Status (2)

Country Link
US (1) US4750122A (ja)
JP (1) JPH0724055B2 (ja)

Families Citing this family (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6290760A (ja) * 1985-10-16 1987-04-25 Fujitsu Ltd 文章解析方式
JPS638864A (ja) * 1986-06-27 1988-01-14 Sharp Corp 翻訳装置
JPS6441964A (en) * 1987-08-07 1989-02-14 Nippon Telegraph & Telephone Method for extracting object sentence inherent word of japanese
US4864502A (en) * 1987-10-07 1989-09-05 Houghton Mifflin Company Sentence analyzer
US4868750A (en) * 1987-10-07 1989-09-19 Houghton Mifflin Company Collocational grammar system
JPH01296373A (ja) * 1988-05-25 1989-11-29 Ricoh Co Ltd 未登録語処理方法
JP2790466B2 (ja) * 1988-10-18 1998-08-27 株式会社日立製作所 文字列検索方法及び装置
NL8900587A (nl) * 1989-03-10 1990-10-01 Bso Buro Voor Systeemontwikkel Werkwijze voor het bepalen van de semantische verwantheid van lexicale componenten in een tekst.
US5197004A (en) * 1989-05-08 1993-03-23 Resumix, Inc. Method and apparatus for automatic categorization of applicants from resumes
JP3114181B2 (ja) * 1990-03-27 2000-12-04 株式会社日立製作所 異言語交信用翻訳方法およびシステム
US5615123A (en) * 1991-04-02 1997-03-25 Creatacard, Inc. System for creating and producing custom card products
US5488719A (en) * 1991-12-30 1996-01-30 Xerox Corporation System for categorizing character strings using acceptability and category information contained in ending substrings
US5434777A (en) * 1992-05-27 1995-07-18 Apple Computer, Inc. Method and apparatus for processing natural language
US5987170A (en) * 1992-09-28 1999-11-16 Matsushita Electric Industrial Co., Ltd. Character recognition machine utilizing language processing
US6041141A (en) * 1992-09-28 2000-03-21 Matsushita Electric Industrial Co., Ltd. Character recognition machine utilizing language processing
ATE203604T1 (de) * 1993-02-23 2001-08-15 Xerox Corp Kategorisierende zeichenketten in der zeichenerkennung.
US5448474A (en) * 1993-03-03 1995-09-05 International Business Machines Corporation Method for isolation of Chinese words from connected Chinese text
US5726898A (en) 1994-09-01 1998-03-10 American Greetings Corporation Method and apparatus for storing and selectively retrieving and delivering product data based on embedded expert judgements
US5550746A (en) 1994-12-05 1996-08-27 American Greetings Corporation Method and apparatus for storing and selectively retrieving product data by correlating customer selection criteria with optimum product designs based on embedded expert judgments
US5642435A (en) * 1995-01-25 1997-06-24 Xerox Corporation Structured document processing with lexical classes as context
US5768142A (en) 1995-05-31 1998-06-16 American Greetings Corporation Method and apparatus for storing and selectively retrieving product data based on embedded expert suitability ratings
US5875110A (en) 1995-06-07 1999-02-23 American Greetings Corporation Method and system for vending products
US5917941A (en) * 1995-08-08 1999-06-29 Apple Computer, Inc. Character segmentation technique with integrated word search for handwriting recognition
US5806021A (en) * 1995-10-30 1998-09-08 International Business Machines Corporation Automatic segmentation of continuous text using statistical approaches
JPH09128396A (ja) * 1995-11-06 1997-05-16 Hitachi Ltd 対訳辞書作成方法
US6009382A (en) * 1996-08-19 1999-12-28 International Business Machines Corporation Word storage table for natural language determination
US6266659B1 (en) * 1997-08-07 2001-07-24 Uday P. Nadkarni Skills database management system and method
US6640006B2 (en) 1998-02-13 2003-10-28 Microsoft Corporation Word segmentation in chinese text
US6694055B2 (en) * 1998-07-15 2004-02-17 Microsoft Corporation Proper name identification in chinese
JP2000132560A (ja) 1998-10-23 2000-05-12 Matsushita Electric Ind Co Ltd 中国語テレテキスト処理方法及び装置
US6185524B1 (en) 1998-12-31 2001-02-06 Lernout & Hauspie Speech Products N.V. Method and apparatus for automatic identification of word boundaries in continuous text and computation of word boundary scores
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US6941513B2 (en) 2000-06-15 2005-09-06 Cognisphere, Inc. System and method for text structuring and text generation
US20050060150A1 (en) * 2003-09-15 2005-03-17 Microsoft Corporation Unsupervised training for overlapping ambiguity resolution in word segmentation
TWI247276B (en) * 2004-03-23 2006-01-11 Delta Electronics Inc Method and system for inputting Chinese character
WO2005116863A1 (en) * 2004-05-24 2005-12-08 Swinburne University Of Technology A character display system
JP4050755B2 (ja) * 2005-03-30 2008-02-20 株式会社東芝 コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8321197B2 (en) * 2006-10-18 2012-11-27 Teresa Ruth Gaudet Method and process for performing category-based analysis, evaluation, and prescriptive practice creation upon stenographically written and voice-written text files
US8428932B2 (en) * 2006-12-13 2013-04-23 Nathan S. Ross Connected text data stream comprising coordinate logic to identify and validate segmented words in the connected text
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
CN101430680B (zh) * 2008-12-31 2011-01-19 阿里巴巴集团控股有限公司 一种无词边界标记语言文本的分词序列选择方法及系统
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
KR20230137475A (ko) 2013-02-07 2023-10-04 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
EP3937002A1 (en) 2013-06-09 2022-01-12 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
AU2014278595B2 (en) 2013-06-13 2017-04-06 Apple Inc. System and method for emergency calls initiated by voice command
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
AU2015266863B2 (en) 2014-05-30 2018-03-15 Apple Inc. Multi-command single utterance input method
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9606986B2 (en) 2014-09-29 2017-03-28 Apple Inc. Integrated word N-gram and class M-gram language models
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
JP6880956B2 (ja) * 2017-04-10 2021-06-02 富士通株式会社 解析プログラム、解析方法および解析装置
CN107193807B (zh) * 2017-05-12 2021-05-28 北京百度网讯科技有限公司 基于人工智能的语言转换处理方法、装置及终端
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
CN110998589B (zh) * 2017-07-31 2023-06-27 北京嘀嘀无限科技发展有限公司 用于分割文本的系统和方法
CN107608968A (zh) * 2017-09-22 2018-01-19 深圳市易图资讯股份有限公司 面向文本大数据的中文分词方法、装置
US11361165B2 (en) * 2020-03-27 2022-06-14 The Clorox Company Methods and systems for topic detection in natural language communications

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5617467A (en) * 1979-07-20 1981-02-19 Fujitsu Ltd Word-to-word connection approval unit
JPS57127267A (en) * 1981-01-30 1982-08-07 Canon Inc Character processing system
JPS57201958A (en) * 1981-06-05 1982-12-10 Hitachi Ltd Device and method for interpretation between natural languages
JPS5840684A (ja) * 1981-09-04 1983-03-09 Hitachi Ltd 自然言語間の自動翻訳方式
JPS5994037A (ja) * 1982-11-19 1984-05-30 Shimadzu Corp 血球計数装置

Also Published As

Publication number Publication date
US4750122A (en) 1988-06-07
JPS6140671A (ja) 1986-02-26

Similar Documents

Publication Publication Date Title
JPH0724055B2 (ja) 単語分割処理方法
US5890103A (en) Method and apparatus for improved tokenization of natural language text
US7269547B2 (en) Tokenizer for a natural language processing system
US5680628A (en) Method and apparatus for automated search and retrieval process
US6816830B1 (en) Finite state data structures with paths representing paired strings of tags and tag combinations
WO1997004405A9 (en) Method and apparatus for automated search and retrieval processing
JP3022539B1 (ja) 文書検索装置
JPH0211934B2 (ja)
JPH067385B2 (ja) キ−ワ−ド自動抽出方式
JPS61248160A (ja) 文書情報登録方式
JP2807236B2 (ja) 形態素解析方法
EP0314503A2 (en) Dictionary structure for document processing apparatus
JP3581237B2 (ja) 未知語登録装置および方法並びに記録媒体
JPS63136224A (ja) キ−ワ−ド自動抽出装置
JP2897191B2 (ja) 日本語形態素解析システム及び形態素解析方式
JP3508312B2 (ja) キーワード抽出装置
JPS6395573A (ja) 日本語文形態素解析における未知語処理方法
JPH0816910B2 (ja) 言語解析装置
JPS6116367A (ja) テキスト分割方式
JPH0695330B2 (ja) 文書作成装置
JPH01281561A (ja) 日本文訂正候補文字抽出方法
JPH0635957A (ja) 日本語形態素解析システム及び形態素解析方式
JPH0546612A (ja) 文章誤り検出装置
JPH05135096A (ja) 形態素解析方式
JPS6395574A (ja) 日本語文の形態素解析方法