JP3203544B2 - テキスト最尤復号方法及び最尤復号装置と、データ通信ネットワーク装置 - Google Patents
テキスト最尤復号方法及び最尤復号装置と、データ通信ネットワーク装置Info
- Publication number
- JP3203544B2 JP3203544B2 JP01579296A JP1579296A JP3203544B2 JP 3203544 B2 JP3203544 B2 JP 3203544B2 JP 01579296 A JP01579296 A JP 01579296A JP 1579296 A JP1579296 A JP 1579296A JP 3203544 B2 JP3203544 B2 JP 3203544B2
- Authority
- JP
- Japan
- Prior art keywords
- language
- decoding
- character string
- code
- likelihood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、テキスト編集装
置、インターネット情報ブラウザ、テキスト情報検索装
置、テキスト解析装置等のテキスト情報を処理する方法
及び装置に係り、特に、文字に対応した文字コードから
なる符号列をテキストに復号する方法及び装置に関す
る。
置、インターネット情報ブラウザ、テキスト情報検索装
置、テキスト解析装置等のテキスト情報を処理する方法
及び装置に係り、特に、文字に対応した文字コードから
なる符号列をテキストに復号する方法及び装置に関す
る。
【０００２】更に、本発明は、送信側で符号系を用いて
通信文が符号化され、通信ネットワークを介して通信文
を受信した受信装置が通信文を復号する通信ネットワー
ク装置に関する。
通信文が符号化され、通信ネットワークを介して通信文
を受信した受信装置が通信文を復号する通信ネットワー
ク装置に関する。
【０００３】
【従来の技術】従来のテキスト情報の処理方法及び装置
によれば、入力符号列は、文字と、文字を表わす文字コ
ードとの対応を規定した符号系を用いてテキストに復号
されている。上記テキスト情報処理装置をかかる符号系
が複数存在する環境で使用する場合、与えられた入力符
号列が何れの符号系に基づいているかを判定することが
必要である。そのため、従来、上記入力符号列の中に特
定のエスケープ信号が挿入されているかどうか、或い
は、符号の８ビット目に１がセットされているかどうか
に応じて、入力符号列の属する符号系を自動的に識別
し、識別された結果に従って入力された符号列をテキス
トに復号する方法及び装置が提案され、実用化されてい
る。例えば、日本語の場合、新ＪＩＳ、旧ＪＩＳ、ＳＪ
ＩＳ（ＭＳ漢字コード）及びＵＪＩＳ（ＥＵＣ漢字コー
ド）を符号系として用いて、符号系を自動識別し、入力
符号列を復号する装置が開発され、テキスト編集プログ
ラム等に組み込まれている。
によれば、入力符号列は、文字と、文字を表わす文字コ
ードとの対応を規定した符号系を用いてテキストに復号
されている。上記テキスト情報処理装置をかかる符号系
が複数存在する環境で使用する場合、与えられた入力符
号列が何れの符号系に基づいているかを判定することが
必要である。そのため、従来、上記入力符号列の中に特
定のエスケープ信号が挿入されているかどうか、或い
は、符号の８ビット目に１がセットされているかどうか
に応じて、入力符号列の属する符号系を自動的に識別
し、識別された結果に従って入力された符号列をテキス
トに復号する方法及び装置が提案され、実用化されてい
る。例えば、日本語の場合、新ＪＩＳ、旧ＪＩＳ、ＳＪ
ＩＳ（ＭＳ漢字コード）及びＵＪＩＳ（ＥＵＣ漢字コー
ド）を符号系として用いて、符号系を自動識別し、入力
符号列を復号する装置が開発され、テキスト編集プログ
ラム等に組み込まれている。
【０００４】近年、種々の符号系で符号化されたテキス
トが国際的な通信ネットワークを介して通信される頻度
が増している。このため、符号化されたテキストを受信
した場合、ある符号系に従って符号化されたテキストを
復号する場合に、符号化に用いられた符号系を判定する
必要性は益々増大している。
トが国際的な通信ネットワークを介して通信される頻度
が増している。このため、符号化されたテキストを受信
した場合、ある符号系に従って符号化されたテキストを
復号する場合に、符号化に用いられた符号系を判定する
必要性は益々増大している。
【０００５】
【発明が解決しようとする課題】しかし、上記符号系の
中には、一つの国のように使用される文字の種類や符号
系の種類が限定されているような範囲での情報流通の効
率性を考慮して設計されるために、国際的識別可能性が
考慮されていない符号系、或いは、エスケープ記号等の
記号が省略された符号系が含まれている場合がある。
中には、一つの国のように使用される文字の種類や符号
系の種類が限定されているような範囲での情報流通の効
率性を考慮して設計されるために、国際的識別可能性が
考慮されていない符号系、或いは、エスケープ記号等の
記号が省略された符号系が含まれている場合がある。
【０００６】このため、現在世界中で使用されている符
号系の中には、上記エスケープ記号の有無、或いは、符
号の８ビット目が１であるかどうかを手掛かりとして識
別し得ない符号系の組が存在する。例えば、「日本語Ｅ
ＵＣ」と「韓国語ＥＵＣ」は同一の符号の値域を有する
ため、上記エスケープ記号の有無、或いは、符号の８ビ
ット目が１であるかどうかを手掛かりとして識別し得な
い。従って、国際的なネットワーク上で上記符号系によ
って符号化された情報が送られて来た場合、従来の復号
方法及び装置によれば、符号化の際に使用された符号系
を判定できないため、復号化の結果に誤りが生じる可能
性がある。
号系の中には、上記エスケープ記号の有無、或いは、符
号の８ビット目が１であるかどうかを手掛かりとして識
別し得ない符号系の組が存在する。例えば、「日本語Ｅ
ＵＣ」と「韓国語ＥＵＣ」は同一の符号の値域を有する
ため、上記エスケープ記号の有無、或いは、符号の８ビ
ット目が１であるかどうかを手掛かりとして識別し得な
い。従って、国際的なネットワーク上で上記符号系によ
って符号化された情報が送られて来た場合、従来の復号
方法及び装置によれば、符号化の際に使用された符号系
を判定できないため、復号化の結果に誤りが生じる可能
性がある。
【０００７】本発明は、上記従来技術の問題点に鑑み、
符号化の際に使用された符号系を判定して、テキストの
正確な復号を行なうテキストの復号方法及び復号装置の
提供を目的とする。更に、本発明は、通信ネットワーク
を介して通信される符号化された通信文を正確に復号す
る通信ネットワーク装置の提供を目的とする。
符号化の際に使用された符号系を判定して、テキストの
正確な復号を行なうテキストの復号方法及び復号装置の
提供を目的とする。更に、本発明は、通信ネットワーク
を介して通信される符号化された通信文を正確に復号す
る通信ネットワーク装置の提供を目的とする。
【０００８】
【課題を解決するための手段】上記本発明の目的を達成
する本発明のテキストの最尤復号方法の原理説明図を図
１に示す。同図に示す如く、文字に対応した文字コード
からなる符号列を上記文字と上記文字コードの対応を表
わす符号系によってテキストに復号する本発明のテキス
トの最尤復号方法は、上記符号列を入力する段階（ステ
ップ１）と；所定の符号系の組の中から上記入力された
符号列を復号し得る上記符号系を選択し、上記選択され
た符号系と、上記選択された符号系による復号によって
得られた文字列の対を表わす情報の組を得る段階（ステ
ップ２）と；所定の言語に対し、上記復号結果の文字列
の上記言語の文字列としての尤もらしさを表わす尤度を
評価する段階（ステップ３）と；上記評価された尤度に
応じて、上記入力された符号列を復号する言語と、上記
言語による復号結果の文字列を選択する段階（ステップ
４）と；上記選択された文字列に対応するテキストを出
力する段階（ステップ５）とからなる。
する本発明のテキストの最尤復号方法の原理説明図を図
１に示す。同図に示す如く、文字に対応した文字コード
からなる符号列を上記文字と上記文字コードの対応を表
わす符号系によってテキストに復号する本発明のテキス
トの最尤復号方法は、上記符号列を入力する段階（ステ
ップ１）と；所定の符号系の組の中から上記入力された
符号列を復号し得る上記符号系を選択し、上記選択され
た符号系と、上記選択された符号系による復号によって
得られた文字列の対を表わす情報の組を得る段階（ステ
ップ２）と；所定の言語に対し、上記復号結果の文字列
の上記言語の文字列としての尤もらしさを表わす尤度を
評価する段階（ステップ３）と；上記評価された尤度に
応じて、上記入力された符号列を復号する言語と、上記
言語による復号結果の文字列を選択する段階（ステップ
４）と；上記選択された文字列に対応するテキストを出
力する段階（ステップ５）とからなる。
【０００９】本発明は、符号列の形に符号化されたテキ
ストは、言語、特に、自然言語を含んでいる可能性が高
いという原理に基づいている。この原理によれば、種々
の符号系を用いた復号に対応する復号結果の中で、最も
多くの自然言語を含んでいる復号結果が元のテキストで
あるという尤もらしさ、即ち、尤度が最も高いと判定さ
れるので、これにより、最も誤りの少ない復号結果が得
られる。
ストは、言語、特に、自然言語を含んでいる可能性が高
いという原理に基づいている。この原理によれば、種々
の符号系を用いた復号に対応する復号結果の中で、最も
多くの自然言語を含んでいる復号結果が元のテキストで
あるという尤もらしさ、即ち、尤度が最も高いと判定さ
れるので、これにより、最も誤りの少ない復号結果が得
られる。
【００１０】従って、本発明のテキストの最尤復号方法
によれば、最初、所定の符号系の組の中の符号系を用い
て入力符号列を復号して文字列を取得する。次に、すべ
ての符号系に対し得られた各文字列が所定の言語の文字
列であると見なし得る程度、即ち、尤度を評価する。か
かる尤度は、各文字列の自然言語としての尤もらしさを
表わしているので、最終的に、尤度に応じて文字列を選
択することにより、最も誤りの少ない復号結果として正
しいテキストが得られる。
によれば、最初、所定の符号系の組の中の符号系を用い
て入力符号列を復号して文字列を取得する。次に、すべ
ての符号系に対し得られた各文字列が所定の言語の文字
列であると見なし得る程度、即ち、尤度を評価する。か
かる尤度は、各文字列の自然言語としての尤もらしさを
表わしているので、最終的に、尤度に応じて文字列を選
択することにより、最も誤りの少ない復号結果として正
しいテキストが得られる。
【００１１】図２は上記本発明のテキストの最尤復号方
法を行なう本発明のテキストの最尤復号装置の原理構成
図である。同図に示す如く、本発明のテキストの最尤復
号装置は：文字に対応した文字コードからなる符号列を
生成する入力手段（２）と；上記入力手段（２）に接続
され、上記入力手段（２）から上記符号列を受け、上記
文字と上記文字コードの対応を表わす符号系によってテ
キストに復号するテキスト復号手段（４）と；上記テキ
スト復号手段（４）に接続され、上記テキスト復号手段
（４）から上記復号されたテキストを受け出力する手段
（６）とからなる。上記テキスト復号手段（４）は：所
定の符号系の組の中の上記符号系を用いて上記入力手段
から受けた上記符号列を復号し、上記所定の符号系の組
の中から適当な文字列が得られた符号系を選択し、上記
選択された符号系と、上記選択された符号系による復号
によって得られた文字列の対を表わす情報の組を得る復
号手段（８）と；所定の言語に対し、上記復号結果の文
字列の上記言語の文字列としての尤もらしさを表わす尤
度を評価する言語識別手段（１０）と；上記復号手段
（８）に接続され、上記復号手段（８）から得られた情
報の組の中の上記文字列を上記言語識別手段（１０）に
供給し、上記言語識別手段（１０）を作動させ、上記言
語識別手段（１０）から得られた上記尤度に応じて、上
記入力された符号列を復号する言語と、上記言語による
復号結果の文字列を選択する最尤結果選択手段（１２）
とを更に有する。
法を行なう本発明のテキストの最尤復号装置の原理構成
図である。同図に示す如く、本発明のテキストの最尤復
号装置は：文字に対応した文字コードからなる符号列を
生成する入力手段（２）と；上記入力手段（２）に接続
され、上記入力手段（２）から上記符号列を受け、上記
文字と上記文字コードの対応を表わす符号系によってテ
キストに復号するテキスト復号手段（４）と；上記テキ
スト復号手段（４）に接続され、上記テキスト復号手段
（４）から上記復号されたテキストを受け出力する手段
（６）とからなる。上記テキスト復号手段（４）は：所
定の符号系の組の中の上記符号系を用いて上記入力手段
から受けた上記符号列を復号し、上記所定の符号系の組
の中から適当な文字列が得られた符号系を選択し、上記
選択された符号系と、上記選択された符号系による復号
によって得られた文字列の対を表わす情報の組を得る復
号手段（８）と；所定の言語に対し、上記復号結果の文
字列の上記言語の文字列としての尤もらしさを表わす尤
度を評価する言語識別手段（１０）と；上記復号手段
（８）に接続され、上記復号手段（８）から得られた情
報の組の中の上記文字列を上記言語識別手段（１０）に
供給し、上記言語識別手段（１０）を作動させ、上記言
語識別手段（１０）から得られた上記尤度に応じて、上
記入力された符号列を復号する言語と、上記言語による
復号結果の文字列を選択する最尤結果選択手段（１２）
とを更に有する。
【００１２】
【発明の実施の形態】以下、図面と共に本発明の実施の
形態を説明する。図３は本発明の一実施例のテキスト復
号装置の概要図である。同図に示す如く、本発明の一実
施例のテキストの最尤復号装置は：文字に対応した文字
コードからなる符号列を生成する入力装置２と；上記入
力装置２に接続され、上記入力装置２から上記符号列を
受け、上記文字と上記文字コードの対応を表わす符号系
によってテキストに復号するテキスト復号部４と；上記
テキスト復号部４に接続され、上記テキスト復号部４か
ら上記復号されたテキストを受け出力する装置６とから
なる。
形態を説明する。図３は本発明の一実施例のテキスト復
号装置の概要図である。同図に示す如く、本発明の一実
施例のテキストの最尤復号装置は：文字に対応した文字
コードからなる符号列を生成する入力装置２と；上記入
力装置２に接続され、上記入力装置２から上記符号列を
受け、上記文字と上記文字コードの対応を表わす符号系
によってテキストに復号するテキスト復号部４と；上記
テキスト復号部４に接続され、上記テキスト復号部４か
ら上記復号されたテキストを受け出力する装置６とから
なる。
【００１３】上記テキスト復号部４は、上記選択された
符号系と、上記選択された符号系による復号によって得
られた文字列の対を表わす情報の組を得る復号部８と；
上記復号結果の文字列の所定の言語の文字列としての尤
もらしさを表わす尤度を評価する言語識別部１０と；上
記言語識別部１０から得られた上記評価された尤度に応
じて、上記入力された符号列を復号する言語と、上記言
語による復号結果の文字列を選択する最尤結果選択部１
２とを更に有する。
符号系と、上記選択された符号系による復号によって得
られた文字列の対を表わす情報の組を得る復号部８と；
上記復号結果の文字列の所定の言語の文字列としての尤
もらしさを表わす尤度を評価する言語識別部１０と；上
記言語識別部１０から得られた上記評価された尤度に応
じて、上記入力された符号列を復号する言語と、上記言
語による復号結果の文字列を選択する最尤結果選択部１
２とを更に有する。
【００１４】上記復号部８は：上記符号系に対応し、上
記符号系を用いて上記符号列を上記文字列に復号する少
なくとも一つの個別符号系復号部１６と；上記少なくと
も一つの個別符号系復号部１６に接続され、上記少なく
とも一つの個別符号系復号部１６を作動させ、上記作動
された個別符号系復号部１６によって得られた上記文字
列を受け、上記所定の符号系の組の中で適当な上記文字
列が得られた符号系を選択し、上記選択された符号系
と、上記選択された符号系による復号結果の文字列の対
を表わす情報の組を得る復号制御部１４とを更に有す
る。尚、図面の簡単化のため、図３において、個別符号
系復号部１６は一つしか図示しない。
記符号系を用いて上記符号列を上記文字列に復号する少
なくとも一つの個別符号系復号部１６と；上記少なくと
も一つの個別符号系復号部１６に接続され、上記少なく
とも一つの個別符号系復号部１６を作動させ、上記作動
された個別符号系復号部１６によって得られた上記文字
列を受け、上記所定の符号系の組の中で適当な上記文字
列が得られた符号系を選択し、上記選択された符号系
と、上記選択された符号系による復号結果の文字列の対
を表わす情報の組を得る復号制御部１４とを更に有す
る。尚、図面の簡単化のため、図３において、個別符号
系復号部１６は一つしか図示しない。
【００１５】上記最尤結果選択部１２は、上記復号部８
に接続され、上記復号部８から得られた情報の組の中の
上記文字列を上記言語識別部１０に供給し、上記言語識
別部１０を作動させ、上記言語識別部１０から得られた
上記評価された尤度に応じて、上記入力された符号列を
復号する言語と、上記言語による復号結果の文字列を選
択する。
に接続され、上記復号部８から得られた情報の組の中の
上記文字列を上記言語識別部１０に供給し、上記言語識
別部１０を作動させ、上記言語識別部１０から得られた
上記評価された尤度に応じて、上記入力された符号列を
復号する言語と、上記言語による復号結果の文字列を選
択する。
【００１６】上記言語識別部１０は：上記各言語の特徴
データを格納する言語モデル保持部２２と；上記文字列
と上記言語を表わす情報を受け、上記言語モデル保持部
から上記言語に対応する上記特徴データを受け、上記文
字列の上記言語の文字列としての尤度を評価する言語尤
度計算部２０と；上記最尤結果選択部１２と上記言語尤
度計算部２０とに接続され、上記最尤結果選択部１２か
ら上記文字列を受け、上記文字列の上記言語の文字列と
しての尤度を得るため上記文字列と上記言語を表わす情
報を上記言語尤度計算部２０に供給して上記言語尤度計
算部２０を作動し、上記言語尤度計算部２０から評価さ
れた尤度を受け、上記言語を表わす情報と、上記文字列
の上記言語の文字列としての尤度を上記最尤結果選択部
１２に送出する言語識別制御部１８とを更に有する。
データを格納する言語モデル保持部２２と；上記文字列
と上記言語を表わす情報を受け、上記言語モデル保持部
から上記言語に対応する上記特徴データを受け、上記文
字列の上記言語の文字列としての尤度を評価する言語尤
度計算部２０と；上記最尤結果選択部１２と上記言語尤
度計算部２０とに接続され、上記最尤結果選択部１２か
ら上記文字列を受け、上記文字列の上記言語の文字列と
しての尤度を得るため上記文字列と上記言語を表わす情
報を上記言語尤度計算部２０に供給して上記言語尤度計
算部２０を作動し、上記言語尤度計算部２０から評価さ
れた尤度を受け、上記言語を表わす情報と、上記文字列
の上記言語の文字列としての尤度を上記最尤結果選択部
１２に送出する言語識別制御部１８とを更に有する。
【００１７】図４は図３に示した本発明の一実施例のテ
キストの復号装置の動作を示す概略的なフローチャート
である。以下、図３及び４を参照して本発明の一実施例
のテキストの復号装置の動作を説明する。最初、入力装
置２からテキストに含まれる文字に対応した文字コード
からなる符号列が復号制御部１４に供給される（ステッ
プ１０）。復号制御部１４は、符号列を各個別符号系復
号部１６に転送して、各個別符号系復号部１６の動作を
開始させる（ステップ１２）。各個別符号系復号部１６
は、符号列を受け取り、各個別符号系復号部１６に対応
する符号系の規定に従って符号列の符号を復号し、得ら
れた文字列を復号制御部１４に返す（ステップ１４）。
復号制御部１４は、全ての符号系に対し、各個別符号系
復号部１６の復号に関係する符号系と、各個別符号系復
号部１６から得られた文字列との対の情報を生成し、生
成された文字列と符号系の対の情報のリストを最尤結果
選択部１２に送出する（ステップ１６）。
キストの復号装置の動作を示す概略的なフローチャート
である。以下、図３及び４を参照して本発明の一実施例
のテキストの復号装置の動作を説明する。最初、入力装
置２からテキストに含まれる文字に対応した文字コード
からなる符号列が復号制御部１４に供給される（ステッ
プ１０）。復号制御部１４は、符号列を各個別符号系復
号部１６に転送して、各個別符号系復号部１６の動作を
開始させる（ステップ１２）。各個別符号系復号部１６
は、符号列を受け取り、各個別符号系復号部１６に対応
する符号系の規定に従って符号列の符号を復号し、得ら
れた文字列を復号制御部１４に返す（ステップ１４）。
復号制御部１４は、全ての符号系に対し、各個別符号系
復号部１６の復号に関係する符号系と、各個別符号系復
号部１６から得られた文字列との対の情報を生成し、生
成された文字列と符号系の対の情報のリストを最尤結果
選択部１２に送出する（ステップ１６）。
【００１８】最尤結果選択部１２は、復号制御部１４か
ら文字列と符号系の対の情報のリストを受け、上記リス
トの中から各文字列を取り出し（ステップ１８）、各文
字列を言語識別制御部１８に供給して、言語識別部１０
を動作させる（ステップ２０）。言語識別制御部１８
は、復号結果の文字列の自然言語としての尤度を評価す
るため、評価されるべき文字列と言語の言語名とを言語
尤度計算部２０に転送する（ステップ２２）。言語尤度
計算部２０は、言語モデル保持部２２から言語名が指定
された言語の特徴を表わす特徴データ、即ち、言語の特
徴を形式的に記述した言語モデルを取り出し（ステップ
２４）、上記文字列と、上記特徴データとに基づいて上
記言語に属する度合いを示す尤度を計算し、得られた尤
度を言語識別制御部１８に返す（ステップ２６）。
ら文字列と符号系の対の情報のリストを受け、上記リス
トの中から各文字列を取り出し（ステップ１８）、各文
字列を言語識別制御部１８に供給して、言語識別部１０
を動作させる（ステップ２０）。言語識別制御部１８
は、復号結果の文字列の自然言語としての尤度を評価す
るため、評価されるべき文字列と言語の言語名とを言語
尤度計算部２０に転送する（ステップ２２）。言語尤度
計算部２０は、言語モデル保持部２２から言語名が指定
された言語の特徴を表わす特徴データ、即ち、言語の特
徴を形式的に記述した言語モデルを取り出し（ステップ
２４）、上記文字列と、上記特徴データとに基づいて上
記言語に属する度合いを示す尤度を計算し、得られた尤
度を言語識別制御部１８に返す（ステップ２６）。
【００１９】以下、本発明による尤度の計算方法を説明
する。説明の便宜上、入力文字列をＷ、入力言語名をｌ
と表わす。入力文字列Ｗが言語ｌの文字列である尤度Ｓ
（ｌ）は次の式：
する。説明の便宜上、入力文字列をＷ、入力言語名をｌ
と表わす。入力文字列Ｗが言語ｌの文字列である尤度Ｓ
（ｌ）は次の式：
【００２０】
【数１】
【００２１】によって計算する。式中、ｗi は文字列Ｗ
のｉ番目の文字、ｎは文字列Ｗの長さ、Ｐ（ｃ，ｌ）は
文字ｃの言語ｌにおける出現確率を表わしている。上記
言語モデル保持部２２から得られる出現確率Ｐ（ｃ，
ｌ）は、言語ｌの多数のテキストの集まりからなるコー
パスを作成し、コーパスにおいて別個の各文字の全文字
に対する相対的な出現頻度によって近似的に得ることが
できる。即ち、言語ｌのコーパスに出現する文字ｃの数
をｍc,l で表わすと、文字ｃの出現確率Ｐ（ｃ，ｌ）は
次式：
のｉ番目の文字、ｎは文字列Ｗの長さ、Ｐ（ｃ，ｌ）は
文字ｃの言語ｌにおける出現確率を表わしている。上記
言語モデル保持部２２から得られる出現確率Ｐ（ｃ，
ｌ）は、言語ｌの多数のテキストの集まりからなるコー
パスを作成し、コーパスにおいて別個の各文字の全文字
に対する相対的な出現頻度によって近似的に得ることが
できる。即ち、言語ｌのコーパスに出現する文字ｃの数
をｍc,l で表わすと、文字ｃの出現確率Ｐ（ｃ，ｌ）は
次式：
【００２２】
【数２】
【００２３】によって表わすことができる。式中、Ｃl
は言語ｌのコーパスに含まれる全文字数を表わしてい
る。言語識別制御部１８は、評価すべき別の言語が未だ
存在するかどうかを判定し（ステップ２８）、未だ評価
すべき別の言語がある場合、ステップ２２に戻る。評価
すべき別の言語が存在しない場合、言語識別制御部１８
は、最尤結果選択部１２から与えられた文字列に対し、
評価された言語の中で最大の尤度が得られた言語名と、
そのときの尤度の対の情報を最尤結果選択部１２に返す
（ステップ３０）。
は言語ｌのコーパスに含まれる全文字数を表わしてい
る。言語識別制御部１８は、評価すべき別の言語が未だ
存在するかどうかを判定し（ステップ２８）、未だ評価
すべき別の言語がある場合、ステップ２２に戻る。評価
すべき別の言語が存在しない場合、言語識別制御部１８
は、最尤結果選択部１２から与えられた文字列に対し、
評価された言語の中で最大の尤度が得られた言語名と、
そのときの尤度の対の情報を最尤結果選択部１２に返す
（ステップ３０）。
【００２４】最尤結果選択部１２は、次いで、上記文字
列と符号系の対の情報のリストの中に未だ尤度を評価し
ていない文字列が存在するかどうかを判定し（ステップ
３２）、未だ尤度を評価していない文字列があれば、ス
テップ１８に戻る。上記文字列と符号系の対の情報のリ
ストの中の全ての文字列に対する尤度が評価された場
合、最尤結果選択部１２は、各文字列に対し言語識別制
御部１８から得られた言語名と尤度の対の情報の中から
最大の尤度を有する情報を選択し（ステップ３４）、最
大の尤度を有する情報に対応する文字列を最終的な復号
結果として出力装置６に送る（ステップ３６）。出力装
置６は、この文字列をテキストの形で出力し（ステップ
３８）、一連の動作が終了する。
列と符号系の対の情報のリストの中に未だ尤度を評価し
ていない文字列が存在するかどうかを判定し（ステップ
３２）、未だ尤度を評価していない文字列があれば、ス
テップ１８に戻る。上記文字列と符号系の対の情報のリ
ストの中の全ての文字列に対する尤度が評価された場
合、最尤結果選択部１２は、各文字列に対し言語識別制
御部１８から得られた言語名と尤度の対の情報の中から
最大の尤度を有する情報を選択し（ステップ３４）、最
大の尤度を有する情報に対応する文字列を最終的な復号
結果として出力装置６に送る（ステップ３６）。出力装
置６は、この文字列をテキストの形で出力し（ステップ
３８）、一連の動作が終了する。
【００２５】
【実施例】以下、本発明の一実施例を詳細に説明する。
本発明の一実施例のテキスト復号装置に以下のような符
号列が入力された場合を想定する。入力符号列： b3c6 b8c0 b8ec a4cb c2d0 a4b7 a4c6 a4bd a4ce b8c0 b8ec a4ce c6c3 c4a7 a4f2 b7c1 bcb0 c5aa a4cb b5ad bdd2 a4b7 a4bf a1d6 b8c0 b8ec a5e2 a5c7 a5eb a1d7 0a00 上記符号列はある文字列を日本語ＥＵＣ（ＵＪＩＳとも
呼ばれる）符号系によって符号化して得られたものであ
る。
本発明の一実施例のテキスト復号装置に以下のような符
号列が入力された場合を想定する。入力符号列： b3c6 b8c0 b8ec a4cb c2d0 a4b7 a4c6 a4bd a4ce b8c0 b8ec a4ce c6c3 c4a7 a4f2 b7c1 bcb0 c5aa a4cb b5ad bdd2 a4b7 a4bf a1d6 b8c0 b8ec a5e2 a5c7 a5eb a1d7 0a00 上記符号列はある文字列を日本語ＥＵＣ（ＵＪＩＳとも
呼ばれる）符号系によって符号化して得られたものであ
る。
【００２６】図５は上記符号列が入力された場合の復号
部８の復号制御部１４及び個別符号系復号部１６の動作
フローチャートである。復号制御部１４は、入力符号列
を受け取り、変数ｓｔｒｉｎｇに代入し、更に、変数ｃ
ｏｄｅ−ｌｉｓｔに上記復号部８において復号可能な符
号系の名前のリストをセットする（ステップ５０）。か
かる実施例の場合、復号可能な符号系は、日本語ＥＵＣ
と、韓国語ＥＵＣと、英語ＡＳＣＩＩと、Ｌａｔｉｎ１
の４種類である。図６はこれら４種類の言語用の個別符
号系復号部１６1 、１６2 、１６ 3 及び１６4 よりなる
復号部の構成図である。
部８の復号制御部１４及び個別符号系復号部１６の動作
フローチャートである。復号制御部１４は、入力符号列
を受け取り、変数ｓｔｒｉｎｇに代入し、更に、変数ｃ
ｏｄｅ−ｌｉｓｔに上記復号部８において復号可能な符
号系の名前のリストをセットする（ステップ５０）。か
かる実施例の場合、復号可能な符号系は、日本語ＥＵＣ
と、韓国語ＥＵＣと、英語ＡＳＣＩＩと、Ｌａｔｉｎ１
の４種類である。図６はこれら４種類の言語用の個別符
号系復号部１６1 、１６2 、１６ 3 及び１６4 よりなる
復号部の構成図である。
【００２７】次に、ｃｏｄｅ−ｌｉｓｔが空であるかど
うかを判定し（ステップ５２）、空の場合、処理を終了
する。ｃｏｄｅ−ｌｉｓｔが空ではない場合、変数ｃｏ
ｄｅ−ｌｉｓｔの中の先頭の要素を取り出して変数ｃｏ
ｄｅにセットする（ステップ５４）。この例の場合、最
初、日本語ＥＵＣが変数ｃｏｄｅにセットされる。これ
により、復号可能な符号系のリスト変数ｃｏｄｅ−ｌｉ
ｓｔは、韓国語ＥＵＣと、英語ＡＳＣＩＩと、Ｌａｔｉ
ｎ１の３種類の符号系を含む。
うかを判定し（ステップ５２）、空の場合、処理を終了
する。ｃｏｄｅ−ｌｉｓｔが空ではない場合、変数ｃｏ
ｄｅ−ｌｉｓｔの中の先頭の要素を取り出して変数ｃｏ
ｄｅにセットする（ステップ５４）。この例の場合、最
初、日本語ＥＵＣが変数ｃｏｄｅにセットされる。これ
により、復号可能な符号系のリスト変数ｃｏｄｅ−ｌｉ
ｓｔは、韓国語ＥＵＣと、英語ＡＳＣＩＩと、Ｌａｔｉ
ｎ１の３種類の符号系を含む。
【００２８】ステップ５６において、復号制御部１４
は、上記入力符号列が格納された変数ｓｔｒｉｎｇと、
日本語ＥＵＣがセットされた変数ｃｏｄｅを日本語ＥＵ
Ｃ用個別符号系復号部１６1 に供給し、日本語ＥＵＣ用
復号処理を呼び出す。次いで、個別符号系復号部１６1
は、上記変数ｓｔｒｉｎｇに対し日本語ＥＵＣ用復号処
理を正常に実行、即ち、復号によって文字列を生成する
ことができるので、復号結果である文字列を変数ｔｅｘ
ｔに代入し呼出し元の復号制御部１４に戻る。
は、上記入力符号列が格納された変数ｓｔｒｉｎｇと、
日本語ＥＵＣがセットされた変数ｃｏｄｅを日本語ＥＵ
Ｃ用個別符号系復号部１６1 に供給し、日本語ＥＵＣ用
復号処理を呼び出す。次いで、個別符号系復号部１６1
は、上記変数ｓｔｒｉｎｇに対し日本語ＥＵＣ用復号処
理を正常に実行、即ち、復号によって文字列を生成する
ことができるので、復号結果である文字列を変数ｔｅｘ
ｔに代入し呼出し元の復号制御部１４に戻る。
【００２９】個別符号系復号部１６1 の日本語ＥＵＣ用
復号処理は、例えば、ＵＮＩＸにおける所謂ｎｋｆプロ
グラムのような既に実用化され、入手可能な計算機プロ
グラムを使用する。ここで、個別符号系復号部１６1 が
符号列を復号した結果として得られる文字列の各文字
は、実際上、符号で表わされる点に注意が必要である。
復号化前の元の符号列の各符号は、特定の文字に対応付
けられていないが、復号化によって得られた符号列は、
各符号が復号に用いられた符号系を介して特定の文字に
曖昧さを残すことなく対応付けられている点に更に注意
が必要である。その他の個別符号系復号部１６2 、１６
3 及び１６4 は、夫々、韓国語ＥＵＣ、英語ＡＳＣＩＩ
及びＬａｔｉｎ１用の復号処理を行なう。
復号処理は、例えば、ＵＮＩＸにおける所謂ｎｋｆプロ
グラムのような既に実用化され、入手可能な計算機プロ
グラムを使用する。ここで、個別符号系復号部１６1 が
符号列を復号した結果として得られる文字列の各文字
は、実際上、符号で表わされる点に注意が必要である。
復号化前の元の符号列の各符号は、特定の文字に対応付
けられていないが、復号化によって得られた符号列は、
各符号が復号に用いられた符号系を介して特定の文字に
曖昧さを残すことなく対応付けられている点に更に注意
が必要である。その他の個別符号系復号部１６2 、１６
3 及び１６4 は、夫々、韓国語ＥＵＣ、英語ＡＳＣＩＩ
及びＬａｔｉｎ１用の復号処理を行なう。
【００３０】ステップ５８において、復号制御部１４
は、個別符号系復号部１６1 における復号処理は成功し
たかどうかを判定し（ステップ５８）、復号結果の文字
列が得られているので、符号系を表わす変数ｃｏｄｅ
と、復号結果文字列を表わす変数ｔｅｘｔの対の情報を
「符号系と文字列の対の情報のリスト」に加える（ステ
ップ６０）。
は、個別符号系復号部１６1 における復号処理は成功し
たかどうかを判定し（ステップ５８）、復号結果の文字
列が得られているので、符号系を表わす変数ｃｏｄｅ
と、復号結果文字列を表わす変数ｔｅｘｔの対の情報を
「符号系と文字列の対の情報のリスト」に加える（ステ
ップ６０）。
【００３１】尚、以下の説明では、上記復号処理におい
て、全ての符号が復号できたとき、復号処理が成功した
と判定し、文字列が得られる場合を想定しているが、符
号列の中の一部の符号だけが復号できたときにも復号処
理が成功したと判定し、復号できた符号に対する文字だ
けからなる文字列を生成してもよい。このように一部だ
けでも有効な文字が得られた場合にも処理を継続するこ
とにより、元の符号列に誤りが含まれている場合にもテ
キストの復号を行なうことができるようになる。
て、全ての符号が復号できたとき、復号処理が成功した
と判定し、文字列が得られる場合を想定しているが、符
号列の中の一部の符号だけが復号できたときにも復号処
理が成功したと判定し、復号できた符号に対する文字だ
けからなる文字列を生成してもよい。このように一部だ
けでも有効な文字が得られた場合にも処理を継続するこ
とにより、元の符号列に誤りが含まれている場合にもテ
キストの復号を行なうことができるようになる。
【００３２】図７は復号部８の復号処理によって得られ
た符号系と文字列の対の情報のリストの内容の一例を示
す図である。第１列目は符号系の名前を表わし、第２列
目は復号結果の文字列を表わしている。同図の第１行目
は日本語ＥＵＣによる復号結果を表わし、第２行目及び
第３行目は、夫々、韓国語ＥＵＣ及びＬａｔｉｎ１によ
る復号結果を表わしている。
た符号系と文字列の対の情報のリストの内容の一例を示
す図である。第１列目は符号系の名前を表わし、第２列
目は復号結果の文字列を表わしている。同図の第１行目
は日本語ＥＵＣによる復号結果を表わし、第２行目及び
第３行目は、夫々、韓国語ＥＵＣ及びＬａｔｉｎ１によ
る復号結果を表わしている。
【００３３】ステップ５８において復号処理が不成功、
即ち、復号結果の文字列が得られなかった場合、或い
は、復号処理が成功し、ステップ６０において「符号系
と文字列の対の情報のリスト」に情報が追加された後、
次の符号系に対する処理を行なうべくステップ５２に戻
る。
即ち、復号結果の文字列が得られなかった場合、或い
は、復号処理が成功し、ステップ６０において「符号系
と文字列の対の情報のリスト」に情報が追加された後、
次の符号系に対する処理を行なうべくステップ５２に戻
る。
【００３４】上記例の場合、変数ｃｏｄｅ−ｌｉｓｔは
空ではないので（ステップ５２）、変数ｃｏｄｅ−ｌｉ
ｓｔの中の先頭の要素である韓国語ＥＵＣを取り出して
変数ｃｏｄｅにセットする（ステップ５４）。次いで、
韓国語ＥＵＣ用の個別符号系復号部１６2 の復号処理が
行なわれる（ステップ５６）。ステップ５８において、
復号制御部１４は、個別符号系復号部１６2 における復
号処理は成功したかどうかを判定し（ステップ５８）、
韓国語ＥＵＣの復号結果の文字列が得られているので、
符号系を表わす変数ｃｏｄｅと、復号結果文字列を表わ
す変数ｔｅｘｔの対の情報を「符号系と文字列の対の情
報のリスト」に加える（ステップ６０）。これにより、
図７の第２行目に記載した情報が得られる。
空ではないので（ステップ５２）、変数ｃｏｄｅ−ｌｉ
ｓｔの中の先頭の要素である韓国語ＥＵＣを取り出して
変数ｃｏｄｅにセットする（ステップ５４）。次いで、
韓国語ＥＵＣ用の個別符号系復号部１６2 の復号処理が
行なわれる（ステップ５６）。ステップ５８において、
復号制御部１４は、個別符号系復号部１６2 における復
号処理は成功したかどうかを判定し（ステップ５８）、
韓国語ＥＵＣの復号結果の文字列が得られているので、
符号系を表わす変数ｃｏｄｅと、復号結果文字列を表わ
す変数ｔｅｘｔの対の情報を「符号系と文字列の対の情
報のリスト」に加える（ステップ６０）。これにより、
図７の第２行目に記載した情報が得られる。
【００３５】次いで、別の符号系に対する処理を行なう
べくステップ５２に戻る。上記例の場合、変数ｃｏｄｅ
−ｌｉｓｔは空ではないので（ステップ５２）、変数ｃ
ｏｄｅ−ｌｉｓｔの中の先頭の要素である英語ＡＳＣＩ
Ｉを取り出して変数ｃｏｄｅにセットする（ステップ５
４）。次いで、英語ＡＳＣＩＩ用の個別符号系復号部１
６3 の復号処理が行なわれる（ステップ５６）。ステッ
プ５８において、復号制御部１４は、個別符号系復号部
１６3 における復号処理は成功したかどうかを判定し
（ステップ５８）、英語ＡＳＣＩＩの復号結果の文字列
は得られていないので、別の符号系に対する処理を行な
うべくステップ５２に戻る。
べくステップ５２に戻る。上記例の場合、変数ｃｏｄｅ
−ｌｉｓｔは空ではないので（ステップ５２）、変数ｃ
ｏｄｅ−ｌｉｓｔの中の先頭の要素である英語ＡＳＣＩ
Ｉを取り出して変数ｃｏｄｅにセットする（ステップ５
４）。次いで、英語ＡＳＣＩＩ用の個別符号系復号部１
６3 の復号処理が行なわれる（ステップ５６）。ステッ
プ５８において、復号制御部１４は、個別符号系復号部
１６3 における復号処理は成功したかどうかを判定し
（ステップ５８）、英語ＡＳＣＩＩの復号結果の文字列
は得られていないので、別の符号系に対する処理を行な
うべくステップ５２に戻る。
【００３６】上記例の場合、変数ｃｏｄｅ−ｌｉｓｔは
空ではないので（ステップ５２）、変数ｃｏｄｅ−ｌｉ
ｓｔの中の先頭の要素であるＬａｔｉｎ１を取り出して
変数ｃｏｄｅにセットする（ステップ５４）。次いで、
Ｌａｔｉｎ１用の個別符号系復号部１６3 の復号処理が
行なわれる（ステップ５６）。ステップ５８において、
復号制御部１４は、個別符号系復号部１６3 における復
号処理は成功したかどうかを判定し（ステップ５８）、
Ｌａｔｉｎ１の復号結果の文字列が得られているので、
符号系を表わす変数ｃｏｄｅと、復号結果文字列を表わ
す変数ｔｅｘｔの対の情報を「符号系と文字列の対の情
報のリスト」に加える（ステップ６０）。これにより、
図７の第３行目に記載した情報が得られる。
空ではないので（ステップ５２）、変数ｃｏｄｅ−ｌｉ
ｓｔの中の先頭の要素であるＬａｔｉｎ１を取り出して
変数ｃｏｄｅにセットする（ステップ５４）。次いで、
Ｌａｔｉｎ１用の個別符号系復号部１６3 の復号処理が
行なわれる（ステップ５６）。ステップ５８において、
復号制御部１４は、個別符号系復号部１６3 における復
号処理は成功したかどうかを判定し（ステップ５８）、
Ｌａｔｉｎ１の復号結果の文字列が得られているので、
符号系を表わす変数ｃｏｄｅと、復号結果文字列を表わ
す変数ｔｅｘｔの対の情報を「符号系と文字列の対の情
報のリスト」に加える（ステップ６０）。これにより、
図７の第３行目に記載した情報が得られる。
【００３７】次いで、別の符号系に対する処理を行なう
べくステップ５２に戻る。上記例の場合、変数ｃｏｄｅ
−ｌｉｓｔは空であるので（ステップ５２）、復号処理
を終了する。以上の復号処理によって、図７に示したよ
うに、日本語ＥＵＣと、韓国語ＥＵＣと、Ｌａｔｉｎ１
の３種類の符号系に対し、復号結果文字列が得られる。
べくステップ５２に戻る。上記例の場合、変数ｃｏｄｅ
−ｌｉｓｔは空であるので（ステップ５２）、復号処理
を終了する。以上の復号処理によって、図７に示したよ
うに、日本語ＥＵＣと、韓国語ＥＵＣと、Ｌａｔｉｎ１
の３種類の符号系に対し、復号結果文字列が得られる。
【００３８】図８に示した言語識別部１０の動作を示す
フローチャートを参照して、図７に示した「符号系と文
字列の対の情報のリスト」が得られた場合における本発
明の一実施例の言語識別部１０の動作を説明する。言語
識別部１０の機能は、最尤結果選択部１２から供給され
た文字列が所定の各言語の文字列である尤度を計算し、
供給された文字列に対する最大の尤度と、その最大の尤
度に対応する言語名の対の情報を最尤結果選択部１２に
返すことである。
フローチャートを参照して、図７に示した「符号系と文
字列の対の情報のリスト」が得られた場合における本発
明の一実施例の言語識別部１０の動作を説明する。言語
識別部１０の機能は、最尤結果選択部１２から供給され
た文字列が所定の各言語の文字列である尤度を計算し、
供給された文字列に対する最大の尤度と、その最大の尤
度に対応する言語名の対の情報を最尤結果選択部１２に
返すことである。
【００３９】言語識別部１０の言語識別制御部１８は、
最尤結果選択部１２から上記「符号系と文字列の対の情
報のリスト」の中の一つの符号系に対する文字列を受け
て、初期化処理を行なう（ステップ７０）。上記例によ
れば、最初に言語識別制御部１８に供給される文字列
は、日本語ＥＵＣに対する文字列“各言語に対してその
言語の特徴を形式的に記述した「言語モデル」”であ
る。ステップ７０において、言語識別制御部１８は、最
尤結果選択部１２から受けた文字列を変数ｔｅｘｔにセ
ットし、言語識別部で識別可能な所定の言語のリストを
変数ｌａｎｇｓにセットし、更に、尤度の最大値を格納
する変数Ｓｍａｘを適当な負の大きい値、例えば、−９
９９９９９にセットする。この例の場合、識別可能な言
語は、日本語、中国語、韓国語及び英語である。
最尤結果選択部１２から上記「符号系と文字列の対の情
報のリスト」の中の一つの符号系に対する文字列を受け
て、初期化処理を行なう（ステップ７０）。上記例によ
れば、最初に言語識別制御部１８に供給される文字列
は、日本語ＥＵＣに対する文字列“各言語に対してその
言語の特徴を形式的に記述した「言語モデル」”であ
る。ステップ７０において、言語識別制御部１８は、最
尤結果選択部１２から受けた文字列を変数ｔｅｘｔにセ
ットし、言語識別部で識別可能な所定の言語のリストを
変数ｌａｎｇｓにセットし、更に、尤度の最大値を格納
する変数Ｓｍａｘを適当な負の大きい値、例えば、−９
９９９９９にセットする。この例の場合、識別可能な言
語は、日本語、中国語、韓国語及び英語である。
【００４０】言語識別制御部１８は言語のリストの変数
ｌａｎｇｓが空であるかどうかを判定し（ステップ７
２）、空の場合、ステップ８２に進む。この例の場合、
変数ｌａｎｇｓは空ではないので、ステップ７４に進
み、リスト変数ｌａｎｇｓの最初の要素である「日本
語」を変数ｌａｎｇにセットする。次いで、言語識別制
御部１８は、変数ｌａｎｇと変数ｔｅｘｔを言語尤度計
算部２０に供給し、言語尤度計算部２０の処理を開始さ
せる（ステップ７６）。
ｌａｎｇｓが空であるかどうかを判定し（ステップ７
２）、空の場合、ステップ８２に進む。この例の場合、
変数ｌａｎｇｓは空ではないので、ステップ７４に進
み、リスト変数ｌａｎｇｓの最初の要素である「日本
語」を変数ｌａｎｇにセットする。次いで、言語識別制
御部１８は、変数ｌａｎｇと変数ｔｅｘｔを言語尤度計
算部２０に供給し、言語尤度計算部２０の処理を開始さ
せる（ステップ７６）。
【００４１】言語尤度計算部２０は、言語識別制御部１
８から受けた文字列変数ｔｅｘｔと言語名変数ｌａｎｇ
を受けて、変数ｔｅｘｔで表わされた文字列が変数ｌａ
ｎｇで表わされた言語の文字列としてどの程度尤もらし
いかを表わす「尤度」を算出し、上記尤度の計算方法に
従って算出した尤度を言語識別制御部１８に返す。
８から受けた文字列変数ｔｅｘｔと言語名変数ｌａｎｇ
を受けて、変数ｔｅｘｔで表わされた文字列が変数ｌａ
ｎｇで表わされた言語の文字列としてどの程度尤もらし
いかを表わす「尤度」を算出し、上記尤度の計算方法に
従って算出した尤度を言語識別制御部１８に返す。
【００４２】言語尤度計算部２０は、最初、例えば、磁
気ディスク、或いは、ＲＡＭのような記憶装置からなる
言語モデル保持部２２から言語「日本語」に対応する言
語モデルを得る。言語モデルには、具体的には、尤度計
算に使用される言語の特徴を表わすデータ、即ち、当該
言語ｌａｎｇにおける別個の各文字の出現確率を含んで
いる。
気ディスク、或いは、ＲＡＭのような記憶装置からなる
言語モデル保持部２２から言語「日本語」に対応する言
語モデルを得る。言語モデルには、具体的には、尤度計
算に使用される言語の特徴を表わすデータ、即ち、当該
言語ｌａｎｇにおける別個の各文字の出現確率を含んで
いる。
【００４３】図９は、上記式（１）及び（２）に従って
得られた復号結果の文字列の中の各文字の所定の言語に
おける出現確率を示す図である。同図の左側には日本語
ＥＵＣによる復号結果の文字列の中の各文字の日本語に
おける出現確率の対数値（即ち、ｌｏｇ（Ｐ（ｃ，日本
語）））が示され、右側には韓国語ＥＵＣによる復号結
果の文字列の中の各文字の韓国語における出現確率の対
数値（即ち、ｌｏｇ（Ｐ（ｃ，韓国語）））が示されて
いる。更に各列の最下段には、各文字に対する確率の対
数値の平均、即ち、上記式（１）に従って算出された尤
度が示されている。
得られた復号結果の文字列の中の各文字の所定の言語に
おける出現確率を示す図である。同図の左側には日本語
ＥＵＣによる復号結果の文字列の中の各文字の日本語に
おける出現確率の対数値（即ち、ｌｏｇ（Ｐ（ｃ，日本
語）））が示され、右側には韓国語ＥＵＣによる復号結
果の文字列の中の各文字の韓国語における出現確率の対
数値（即ち、ｌｏｇ（Ｐ（ｃ，韓国語）））が示されて
いる。更に各列の最下段には、各文字に対する確率の対
数値の平均、即ち、上記式（１）に従って算出された尤
度が示されている。
【００４４】尚、上記実施例では、尤度を表わす尺度と
して、各文字の当該言語における出現確率の積（所謂、
ユニグラム確率による尺度）を用いているが、上記の例
に限定されることはなく、パターン認識技術の分野で提
案されている種々の尺度を利用することが可能である。
して、各文字の当該言語における出現確率の積（所謂、
ユニグラム確率による尺度）を用いているが、上記の例
に限定されることはなく、パターン認識技術の分野で提
案されている種々の尺度を利用することが可能である。
【００４５】次に、言語識別制御部１８は、文字列ｔｅ
ｘｔの日本語に対し得られた尤度Ｓが格納された最大の
尤度Ｓｍａｘよりも大きいかどうかを判定し（ステップ
７８）、Ｓ＝−６．２７７７３・・・は、Ｓｍａｘ＝−
９９９９よりも大きいので、ＳをＳｍａｘに代入し、現
在対象としている言語名ｌａｎｇを最大尤度の言語を表
わす変数Ｌｍａｘに代入する（ステップ８０）。
ｘｔの日本語に対し得られた尤度Ｓが格納された最大の
尤度Ｓｍａｘよりも大きいかどうかを判定し（ステップ
７８）、Ｓ＝−６．２７７７３・・・は、Ｓｍａｘ＝−
９９９９よりも大きいので、ＳをＳｍａｘに代入し、現
在対象としている言語名ｌａｎｇを最大尤度の言語を表
わす変数Ｌｍａｘに代入する（ステップ８０）。
【００４６】言語識別制御部１８は、ステップ７２に戻
り、別の言語が言語リスト変数ｌａｎｇｓにあるかどう
かを判定し、リストの先頭には「中国語」があるので、
変数ｌａｎｇに「中国語」をセットし（ステップ７
４）、言語尤度計算部２０をもう一度起動する（ステッ
プ７６）。
り、別の言語が言語リスト変数ｌａｎｇｓにあるかどう
かを判定し、リストの先頭には「中国語」があるので、
変数ｌａｎｇに「中国語」をセットし（ステップ７
４）、言語尤度計算部２０をもう一度起動する（ステッ
プ７６）。
【００４７】言語尤度計算部２０は、変数ｔｅｘｔに格
納された文字列“各言語に対してその言語の特徴を形式
的に記述した「言語モデル」”が指定された言語である
中国語の文字列である尤度Ｓを算出し、結果を言語識別
制御部１８に返す。上記尤度Ｓと、先に日本語に対し得
られた現在の最大尤度Ｓｍａｘを比較すると（ステップ
７８）、Ｓ＜Ｓｍａｘであるので、ステップ７２に戻
る。
納された文字列“各言語に対してその言語の特徴を形式
的に記述した「言語モデル」”が指定された言語である
中国語の文字列である尤度Ｓを算出し、結果を言語識別
制御部１８に返す。上記尤度Ｓと、先に日本語に対し得
られた現在の最大尤度Ｓｍａｘを比較すると（ステップ
７８）、Ｓ＜Ｓｍａｘであるので、ステップ７２に戻
る。
【００４８】リストｌａｎｇｓ内に残っている言語であ
る韓国語と英語に対し、上記中国語の場合と同様の手順
で尤度Ｓの計算が繰り返されるが、尤度Ｓと、先に日本
語に対し得られた現在の最大尤度Ｓｍａｘを比較すると
（ステップ７８）、Ｓ＜Ｓｍａｘであるので最大尤度は
更新されない。
る韓国語と英語に対し、上記中国語の場合と同様の手順
で尤度Ｓの計算が繰り返されるが、尤度Ｓと、先に日本
語に対し得られた現在の最大尤度Ｓｍａｘを比較すると
（ステップ７８）、Ｓ＜Ｓｍａｘであるので最大尤度は
更新されない。
【００４９】英語に対する処理の後、ステップ７２にお
いて別の言語が言語リスト変数ｌａｎｇｓにあるかどう
かを判定すると、ｌａｎｇｓは空であるので、文字列ｔ
ｅｘｔに対し得られた最大の尤度であるＳｍａｘ＝−
６．２７７７３・・・と、最大の尤度に対応する言語名
Ｌｍａｘ、即ち、日本語を最尤結果選択部１２に返し
（ステップ８２）、最初に言語識別制御部１８に供給さ
れた日本語ＥＵＣの文字列“各言語に対してその言語の
特徴を形式的に記述した「言語モデル」”に対する尤度
計算が終了する。
いて別の言語が言語リスト変数ｌａｎｇｓにあるかどう
かを判定すると、ｌａｎｇｓは空であるので、文字列ｔ
ｅｘｔに対し得られた最大の尤度であるＳｍａｘ＝−
６．２７７７３・・・と、最大の尤度に対応する言語名
Ｌｍａｘ、即ち、日本語を最尤結果選択部１２に返し
（ステップ８２）、最初に言語識別制御部１８に供給さ
れた日本語ＥＵＣの文字列“各言語に対してその言語の
特徴を形式的に記述した「言語モデル」”に対する尤度
計算が終了する。
【００５０】図８を参照して日本語ＥＵＣの文字列に対
し説明した言語識別部１０の尤度計算処理は、図７に示
した「符号系と文字列の対の情報のリスト」の中の他の
符号系である韓国語ＥＵＣ及びＬａｔｉｎ１に対応する
夫々の文字列に対し繰り返される。このため、最尤結果
選択部１２は、各文字列に対する上記尤度計算を繰り返
し行い、得られた尤度の中から最大の尤度を与える文字
列を選択する機能がある。以下、図１０に示した最尤結
果選択部の動作フローチャートを参照して、最尤結果選
択部１２の動作を説明する。
し説明した言語識別部１０の尤度計算処理は、図７に示
した「符号系と文字列の対の情報のリスト」の中の他の
符号系である韓国語ＥＵＣ及びＬａｔｉｎ１に対応する
夫々の文字列に対し繰り返される。このため、最尤結果
選択部１２は、各文字列に対する上記尤度計算を繰り返
し行い、得られた尤度の中から最大の尤度を与える文字
列を選択する機能がある。以下、図１０に示した最尤結
果選択部の動作フローチャートを参照して、最尤結果選
択部１２の動作を説明する。
【００５１】復号制御部１４からの「符号系と文字列の
対の情報のリスト」を受けた最尤結果選択部１２は、最
大の尤度を格納するメモリＳｍａｘと、最大の尤度が得
られた文字列を格納するメモリＴｍａｘを初期化する
（ステップ９０）。例えば、Ｓｍａｘには負の非常に大
きい値をセットする。
対の情報のリスト」を受けた最尤結果選択部１２は、最
大の尤度を格納するメモリＳｍａｘと、最大の尤度が得
られた文字列を格納するメモリＴｍａｘを初期化する
（ステップ９０）。例えば、Ｓｍａｘには負の非常に大
きい値をセットする。
【００５２】最尤結果選択部１２は、上記「符号系と文
字列の対の情報のリスト」の中に未だ尤度計算を行なっ
ていない対の情報があるかどうかを判定し（ステップ９
２）、全ての対の情報に対する処理が終了している場
合、ステップ１０２に進む。尤度計算が実行されていな
い対の情報がある場合、該当する符号系と文字列の対の
情報をリストから読み出し、符号系を変数ｃｏｄｅに設
定し、文字列を変数ｔｅｘｔに設定する（ステップ９
４）。図７に示したリストが得られた上記例の場合、最
初、変数ｃｏｄｅには「日本語ＥＵＣ」がセットされ、
変数ｔｅｘｔには、文字列“各言語に対してその言語の
特徴を形式的に記述した「言語モデル」”がセットされ
る。
字列の対の情報のリスト」の中に未だ尤度計算を行なっ
ていない対の情報があるかどうかを判定し（ステップ９
２）、全ての対の情報に対する処理が終了している場
合、ステップ１０２に進む。尤度計算が実行されていな
い対の情報がある場合、該当する符号系と文字列の対の
情報をリストから読み出し、符号系を変数ｃｏｄｅに設
定し、文字列を変数ｔｅｘｔに設定する（ステップ９
４）。図７に示したリストが得られた上記例の場合、最
初、変数ｃｏｄｅには「日本語ＥＵＣ」がセットされ、
変数ｔｅｘｔには、文字列“各言語に対してその言語の
特徴を形式的に記述した「言語モデル」”がセットされ
る。
【００５３】最尤結果選択部１２は、上記文字列変数ｔ
ｅｘｔを言語識別制御部１８に供給し、文字列“各言語
に対してその言語の特徴を形式的に記述した「言語モデ
ル」”に対する尤度の計算を開始させる（ステップ９
６）。言語識別部１０は、図８を参照した上記説明に従
って得られた尤度と言語の対の情報、即ち、文字列“各
言語に対してその言語の特徴を形式的に記述した「言語
モデル」”対し得られた最大の尤度の値−６．２と、最
大の尤度に対応する言語である日本語の対の情報を最尤
結果選択部１２に返す。
ｅｘｔを言語識別制御部１８に供給し、文字列“各言語
に対してその言語の特徴を形式的に記述した「言語モデ
ル」”に対する尤度の計算を開始させる（ステップ９
６）。言語識別部１０は、図８を参照した上記説明に従
って得られた尤度と言語の対の情報、即ち、文字列“各
言語に対してその言語の特徴を形式的に記述した「言語
モデル」”対し得られた最大の尤度の値−６．２と、最
大の尤度に対応する言語である日本語の対の情報を最尤
結果選択部１２に返す。
【００５４】最尤結果選択部１２は、日本語ＥＵＣの復
号結果文字列に対し得られた尤度−６．２を記憶してい
る最大尤度Ｓｍａｘと比較し（ステップ９８）、得られ
た尤度の方がＳｍａｘよりも大きいので、得られた尤度
−６．２をＳｍａｘに代入し、更に、最大の尤度に対応
する文字列“各言語に対してその言語の特徴を形式的に
記述した「言語モデル」”をＴｍａｘにセットする（ス
テップ１００）。
号結果文字列に対し得られた尤度−６．２を記憶してい
る最大尤度Ｓｍａｘと比較し（ステップ９８）、得られ
た尤度の方がＳｍａｘよりも大きいので、得られた尤度
−６．２をＳｍａｘに代入し、更に、最大の尤度に対応
する文字列“各言語に対してその言語の特徴を形式的に
記述した「言語モデル」”をＴｍａｘにセットする（ス
テップ１００）。
【００５５】最尤結果選択部１２は、ステップ９２に戻
り、未だ処理していない別の符号系と文字列の対の情報
があるかどうかを判定する。上記例の場合、図７の第２
行目に示したように、韓国語ＥＵＣと、それに対応する
文字列の対の情報があるので、符号系と文字列をセット
して（ステップ９４）、言語識別部１０による尤度計算
処理を開始させる（ステップ９６）。韓国語ＥＵＣの復
号結果の文字列に対する尤度計算によって、図９の右側
に示したような尤度−９．８が得られる。
り、未だ処理していない別の符号系と文字列の対の情報
があるかどうかを判定する。上記例の場合、図７の第２
行目に示したように、韓国語ＥＵＣと、それに対応する
文字列の対の情報があるので、符号系と文字列をセット
して（ステップ９４）、言語識別部１０による尤度計算
処理を開始させる（ステップ９６）。韓国語ＥＵＣの復
号結果の文字列に対する尤度計算によって、図９の右側
に示したような尤度−９．８が得られる。
【００５６】最尤結果選択部１２は、韓国語ＥＵＣの復
号結果文字列に対し得られた尤度−９．８を記憶してい
る最大尤度Ｓｍａｘ＝−６．２と比較し（ステップ９
８）、得られた尤度よりもＳｍａｘの方が大きいのでス
テップ９２に戻る。ステップ９２において、最尤結果選
択部１２は、未だ処理していない別の符号系と文字列の
対の情報があるかどうかを判定する。上記例の場合、図
７の第３行目に示したように、Ｌａｔｉｎ１と、それに
対応する文字列の対の情報があるので、符号系と文字列
をセットして（ステップ９４）、言語識別部１０による
尤度計算処理を開始させる（ステップ９６）。
号結果文字列に対し得られた尤度−９．８を記憶してい
る最大尤度Ｓｍａｘ＝−６．２と比較し（ステップ９
８）、得られた尤度よりもＳｍａｘの方が大きいのでス
テップ９２に戻る。ステップ９２において、最尤結果選
択部１２は、未だ処理していない別の符号系と文字列の
対の情報があるかどうかを判定する。上記例の場合、図
７の第３行目に示したように、Ｌａｔｉｎ１と、それに
対応する文字列の対の情報があるので、符号系と文字列
をセットして（ステップ９４）、言語識別部１０による
尤度計算処理を開始させる（ステップ９６）。
【００５７】言語識別制御部１８は、符号系がＬａｔｉ
ｎ１の場合、識別可能な言語として、上記日本語ＥＵＣ
の識別の際に利用した日本語、中国語、韓国語及び英語
の他に、例えば、イタリア語を追加して識別処理を行な
う。これにより、Ｌａｔｉｎ１の復号結果の文字列に対
する尤度計算によって、図７の第３行目に記載した文字
列に対しイタリア語の文字列である尤度−９．８が得ら
れ、この尤度はＬａｔｉｎ１の文字列に対し識別可能な
言語の中で最大の尤度である。
ｎ１の場合、識別可能な言語として、上記日本語ＥＵＣ
の識別の際に利用した日本語、中国語、韓国語及び英語
の他に、例えば、イタリア語を追加して識別処理を行な
う。これにより、Ｌａｔｉｎ１の復号結果の文字列に対
する尤度計算によって、図７の第３行目に記載した文字
列に対しイタリア語の文字列である尤度−９．８が得ら
れ、この尤度はＬａｔｉｎ１の文字列に対し識別可能な
言語の中で最大の尤度である。
【００５８】最尤結果選択部１２は、Ｌａｔｉｎ１の復
号結果文字列に対し得られた尤度−９．８を記憶してい
る最大尤度Ｓｍａｘ＝−６．２と比較し（ステップ９
８）、得られた尤度よりもＳｍａｘの方が大きいのでス
テップ９２に戻る。最尤結果選択部１２は、未だ処理し
ていない別の符号系と文字列の対の情報があるかどうか
を判定し（ステップ９２）、全ての情報が処理されてい
るので、現在Ｔｍａｘに設定されている文字列、即ち、
日本語ＥＵＣの復号結果の文字列“各言語に対してその
言語の特徴を形式的に記述した「言語モデル」”を最尤
結果として選択し、出力装置６へ送出し（ステップ１０
２）、処理を終了する。
号結果文字列に対し得られた尤度−９．８を記憶してい
る最大尤度Ｓｍａｘ＝−６．２と比較し（ステップ９
８）、得られた尤度よりもＳｍａｘの方が大きいのでス
テップ９２に戻る。最尤結果選択部１２は、未だ処理し
ていない別の符号系と文字列の対の情報があるかどうか
を判定し（ステップ９２）、全ての情報が処理されてい
るので、現在Ｔｍａｘに設定されている文字列、即ち、
日本語ＥＵＣの復号結果の文字列“各言語に対してその
言語の特徴を形式的に記述した「言語モデル」”を最尤
結果として選択し、出力装置６へ送出し（ステップ１０
２）、処理を終了する。
【００５９】上記の如く、図７に示した各符号系の文字
列に対する言語識別結果として、
列に対する言語識別結果として、
【００６０】
【表１】
【００６１】が得られるので、全ての符号系の文字列に
対する言語識別処理後の最大の尤度は日本語ＥＵＣに対
応する尤度−６．２である。これにより、上記入力符号
列： b3c6 b8c0 b8ec a4cb c2d0 a4b7 a4c6 a4bd a4ce b8c0 b8ec a4ce c6c3 c4a7 a4f2 b7c1 bcb0 c5aa a4cb b5ad bdd2 a4b7 a4bf a1d6 b8c0 b8ec a5e2 a5c7 a5eb a1d7 0a00 に対する復号結果のテキストとして日本語ＥＵＣの復号
結果である文字列：“各言語に対してその言語の特徴を
形式的に記述した「言語モデル」”が出力される。
対する言語識別処理後の最大の尤度は日本語ＥＵＣに対
応する尤度−６．２である。これにより、上記入力符号
列： b3c6 b8c0 b8ec a4cb c2d0 a4b7 a4c6 a4bd a4ce b8c0 b8ec a4ce c6c3 c4a7 a4f2 b7c1 bcb0 c5aa a4cb b5ad bdd2 a4b7 a4bf a1d6 b8c0 b8ec a5e2 a5c7 a5eb a1d7 0a00 に対する復号結果のテキストとして日本語ＥＵＣの復号
結果である文字列：“各言語に対してその言語の特徴を
形式的に記述した「言語モデル」”が出力される。
【００６２】上記例では、最尤結果選択部１２は、最大
の尤度を有する符号系の文字列を最終的な結果として出
力している。しかし、最尤結果選択部１２は、言語識別
制御部１８から得られた言語名と尤度の対の情報の中か
ら最大の尤度を有する情報を選択した後、得られた最大
の尤度を所定の閾値と比較し、所定の閾値を超える場
合、最大の尤度に対応する文字列を最終的な復号結果と
して出力してもよい。
の尤度を有する符号系の文字列を最終的な結果として出
力している。しかし、最尤結果選択部１２は、言語識別
制御部１８から得られた言語名と尤度の対の情報の中か
ら最大の尤度を有する情報を選択した後、得られた最大
の尤度を所定の閾値と比較し、所定の閾値を超える場
合、最大の尤度に対応する文字列を最終的な復号結果と
して出力してもよい。
【００６３】図１１は、本発明の他の実施例のデータ通
信ネットワーク装置の概要図である。上記データ通信ネ
ットワーク装置は、データ通信ネットワーク１００と；
上記データ通信ネットワーク１００に接続され、文字と
文字コードの対応を表わす符号系によって通信文を符号
化して送信する送信装置１０２と；上記データ通信ネッ
トワーク１００に接続された受信装置１０４とからな
る。上記受信装置１０４は、上記送信装置１０２から送
信された上記通信文の符号列を受信する通信部１１２
と、符号列を所定の符号系に従って復号する復号部１１
４と、所定の符号系に従う復号結果の文字列が所定の言
語の文字列である尤度を計算する言語識別部１１６と、
尤度の結果に従って上記通信文の符号化に用いられた符
号系を判定し、上記判定された符号系による復号結果の
文字列を元の通信文のテキストの復号結果として出力す
る最尤結果選択部１１８とからとからなる。
信ネットワーク装置の概要図である。上記データ通信ネ
ットワーク装置は、データ通信ネットワーク１００と；
上記データ通信ネットワーク１００に接続され、文字と
文字コードの対応を表わす符号系によって通信文を符号
化して送信する送信装置１０２と；上記データ通信ネッ
トワーク１００に接続された受信装置１０４とからな
る。上記受信装置１０４は、上記送信装置１０２から送
信された上記通信文の符号列を受信する通信部１１２
と、符号列を所定の符号系に従って復号する復号部１１
４と、所定の符号系に従う復号結果の文字列が所定の言
語の文字列である尤度を計算する言語識別部１１６と、
尤度の結果に従って上記通信文の符号化に用いられた符
号系を判定し、上記判定された符号系による復号結果の
文字列を元の通信文のテキストの復号結果として出力す
る最尤結果選択部１１８とからとからなる。
【００６４】上記復号部１１４は、所定の符号系の組の
中の符号系を用いて上記符号列を復号し、適当な文字列
が得られた符号系を選択し、上記選択された符号系と、
上記選択された符号系による復号により得られた文字列
の対を表わす情報の組を得る。
中の符号系を用いて上記符号列を復号し、適当な文字列
が得られた符号系を選択し、上記選択された符号系と、
上記選択された符号系による復号により得られた文字列
の対を表わす情報の組を得る。
【００６５】上記言語識別部１１６は、上記得られた情
報の各組の上記選択された符号系によって表わされる各
言語に対し、上記復号結果の文字列の所定の言語の文字
列としての尤もらしさを表わす尤度を評価する。上記最
尤結果選択部１１８は、上記復号手段に接続され、上記
復号手段から得られた情報の組の中の上記文字列を上記
言語識別手段に供給し、上記言語識別手段を作動させ、
上記言語識別手段から得られた上記評価された尤度に応
じて、上記入力された符号列を復号する言語と、上記言
語による復号結果の文字列を選択する。
報の各組の上記選択された符号系によって表わされる各
言語に対し、上記復号結果の文字列の所定の言語の文字
列としての尤もらしさを表わす尤度を評価する。上記最
尤結果選択部１１８は、上記復号手段に接続され、上記
復号手段から得られた情報の組の中の上記文字列を上記
言語識別手段に供給し、上記言語識別手段を作動させ、
上記言語識別手段から得られた上記評価された尤度に応
じて、上記入力された符号列を復号する言語と、上記言
語による復号結果の文字列を選択する。
【００６６】本発明の他の実施例のデータ通信ネットワ
ーク装置は、本発明のテキストの最尤復号方法及び最尤
復号装置の原理に基づいて構築されているので、データ
通信ネットワークを介して通信される符号化された通信
文を受信装置側で正確に復号することが可能になる。
ーク装置は、本発明のテキストの最尤復号方法及び最尤
復号装置の原理に基づいて構築されているので、データ
通信ネットワークを介して通信される符号化された通信
文を受信装置側で正確に復号することが可能になる。
【００６７】
【発明の効果】上記の本発明のテキストの最尤復号方法
及び最尤復号装置によれば、入力符号列に対し、多数の
符号系の候補の中から入力符号列の符号化に利用された
符号系をより高い確度で選択することができるので、入
力符号列の復号化の際に誤りの低減した復号結果を得る
ことができるようになる。
及び最尤復号装置によれば、入力符号列に対し、多数の
符号系の候補の中から入力符号列の符号化に利用された
符号系をより高い確度で選択することができるので、入
力符号列の復号化の際に誤りの低減した復号結果を得る
ことができるようになる。
【００６８】更に、本発明のテキストの最尤復号方法及
び最尤復号装置によれば、入力符号列の符号化の際に利
用された符号系を符号列に基づいて自動的に判定するこ
とができるようになるので、ネットワークを介した通信
を行なう際に送信側で符号系を通知する必要がなくなる
ので、ネットワークを介した通信の際の制約が低減され
る利点がある。
び最尤復号装置によれば、入力符号列の符号化の際に利
用された符号系を符号列に基づいて自動的に判定するこ
とができるようになるので、ネットワークを介した通信
を行なう際に送信側で符号系を通知する必要がなくなる
ので、ネットワークを介した通信の際の制約が低減され
る利点がある。
【図１】本発明の原理説明図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施例のテキスト復号装置の概要図
である。
である。
【図４】本発明の一実施例のテキスト復号装置の動作を
示すフローチャートである。
示すフローチャートである。
【図５】本発明の一実施例による復号部の動作フローチ
ャートである。
ャートである。
【図６】本発明の一実施例による復号部の構成図であ
る。
る。
【図７】復号部の復号結果文字列の説明図である。
【図８】本発明の一実施例の言語識別部の動作フローチ
ャートである。
ャートである。
【図９】復号結果の文字列の各文字の所定の言語におけ
る出現確率の説明図である。
る出現確率の説明図である。
【図１０】本発明の一実施例の最尤結果選択部の動作フ
ローチャートである。
ローチャートである。
【図１１】本発明の他の実施例のデータ通信ネットワー
ク装置の概要図である。
ク装置の概要図である。
２ 入力装置 ４ テキスト復号部 ６ 出力装置 ８ 復号部 １０ 言語識別部 １２ 最尤結果選択部 １４ 復号制御部 １６ 個別符号系復号部 １８ 言語識別制御部 ２０ 言語尤度計算部 ２２ 言語モデル保持部
フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 5/00 G06F 17/21 H03M 7/00
Claims (15)
- 【請求項１】 文字に対応した文字コードからなる符号
列を上記文字と上記文字コードの対応を表わす符号系に
よってテキストに復号する方法において、 上記符号列を入力する段階と；所定の符号系の組の中か
ら上記入力された符号列を復号し得る上記符号系を選択
し、上記選択された符号系と、上記選択された符号系に
よる上記符号列の復号により得られた復号結果の文字列
の対を表わす情報の組を得る段階と；所定の言語に対
し、上記復号結果の文字列の上記言語の文字列としての
尤もらしさを表わす尤度を評価する段階と；上記評価さ
れた尤度に応じて、上記入力された符号列を復号する言
語と、上記言語による復号結果の文字列を選択する段階
と；上記選択された文字列に対応するテキストを出力す
る段階とからなるテキストの最尤復号方法。 - 【請求項２】 上記復号結果の文字列は上記符号列の符
号の中で復号に成功した文字からなる請求項１記載のテ
キストの最尤復号方法。 - 【請求項３】 上記選択された符号系は上記符号列の中
の全ての符号を復号し得た符号系である請求項１記載の
テキストの最尤復号方法。 - 【請求項４】 上記各言語としての尤度を評価する段階
は：上記復号結果の文字列の中の各文字の上記各言語に
おける出現確率を上記文字列の全体に亘って集計するこ
とにより上記尤度を評価する段階を有する請求項１乃至
３のうちいずれか１項記載のテキストの最尤復号方法。 - 【請求項５】 上記出現確率は、上記言語で表された多
数のテキストからなるコーパスにおいて、夫々の文字の
全文字に対する相対頻度によって表わされる請求項４記
載のテキストの最尤復号方法。 - 【請求項６】 上記文字列を選択する段階は：上記尤度
を評価する段階で得られた尤度の中で最大の尤度を選択
し、上記最大の尤度に対応する上記言語と、上記言語に
よる復号結果の文字列とを選択する段階を更に有する請
求項１乃至３のうちいずれか１項記載のテキストの最尤
復号方法。 - 【請求項７】 文字に対応した文字コードからなる符号
列を生成する入力手段と；上記入力手段に接続され、上
記入力手段から上記符号列を受け、上記文字と上記文字
コードの対応を表わす符号系によってテキストに復号す
るテキスト復号手段と；上記テキスト復号手段に接続さ
れ、上記テキスト復号手段から受けた上記復号されたテ
キストを出力する手段とからなるテキストの復号装置に
おいて、 上記テキスト復号手段は：所定の符号系の組の中の上記
符号系を用いて上記入力手段から受けた上記符号列を復
号し、上記所定の符号系の組の中から適当な文字列が得
られた符号系を選択し、上記選択された符号系と、上記
選択された符号系による復号によって得られた文字列の
対を表わす情報の組を得る復号手段と；所定の言語に対
し、上記復号結果の文字列の上記言語の文字列としての
尤もらしさを表わす尤度を評価する言語識別手段と；上
記復号手段に接続され、上記復号手段から得られた情報
の組の中の上記文字列を上記言語識別手段に供給し、上
記言語識別手段を作動させ、上記言語識別手段によって
評価された上記尤度に応じて、上記入力された符号列を
復号する言語と、上記言語による復号結果の文字列を選
択する最尤結果選択手段とを更に有するテキストの最尤
復号装置。 - 【請求項８】 上記復号手段は：上記符号系に対応し、
上記符号系を用いて上記符号列を上記文字列に復号する
少なくとも一つの個別符号系復号手段と；上記少なくと
も一つの個別符号系復号手段に接続され、上記少なくと
も一つの個別符号系復号手段を作動させ、上記作動され
た個別符号系復号手段によって得られた上記文字列を受
け、上記所定の符号系の組の中で適当な上記文字列が得
られた符号系を選択し、上記選択された符号系と、上記
選択された符号系による復号結果の文字列の対を表わす
情報の組を得る復号制御手段とを更に有する請求項７記
載のテキストの最尤復号装置。 - 【請求項９】 上記言語識別手段は：上記各言語の特徴
データを格納する言語モデル保持手段と；上記文字列と
上記言語を表わす情報を受け、上記言語モデル保持手段
から上記言語に対応する上記特徴データを受け、上記文
字列の上記言語の文字列としての尤度を評価する言語尤
度計算手段と；上記最尤結果選択手段と上記言語尤度計
算手段とに接続され、上記最尤結果選択手段から上記文
字列を受け、上記文字列の上記言語の文字列としての尤
度を得るため上記文字列と上記言語を表わす情報を上記
言語尤度計算手段に供給して上記言語尤度計算手段を作
動し、上記言語尤度計算手段から評価された尤度を受
け、上記言語を表わす情報と、上記文字列の上記言語の
文字列としての尤度を上記最尤結果選択手段に送出する
言語識別制御手段とを更に有する請求項７又は８記載の
テキストの最尤復号装置。 - 【請求項１０】 上記復号結果の文字列は上記符号列の
符号の中で復号に成功した文字からなる請求項７乃至９
のうちいずれか１記載のテキストの最尤復号装置。 - 【請求項１１】 上記選択された符号系は上記符号列の
中の全ての符号を復号し得た符号系である請求項７乃至
９のうちいずれか１記載のテキストの最尤復号装置。 - 【請求項１２】 上記言語尤度計算手段は：上記復号結
果の文字列の中の各文字の上記各言語における出現確率
を上記文字列の全体に亘って集計することにより上記尤
度を評価する請求項９乃至１１のうちいずれか１項記載
のテキストの最尤復号装置。 - 【請求項１３】 上記出現確率は、上記言語で表された
多数のテキストからなるコーパスにおいて、夫々の文字
の全文字に対する相対頻度によって表わされる請求項１
２記載のテキストの最尤復号装置。 - 【請求項１４】 上記最尤結果選択手段は：上記言語識
別手段から得られた尤度の中で最大の尤度を選択し、上
記最大の尤度に対応する上記言語と、上記言語による復
号結果の文字列とを選択する請求項７乃至９のうちいず
れか１項記載のテキストの最尤復号装置。 - 【請求項１５】 データ通信ネットワークと；上記デー
タ通信ネットワークに接続され、文字と文字コードの対
応を表わす符号系によって通信文を符号化して送信する
第１の装置と；上記データ通信ネットワークに接続さ
れ、上記第１の装置から送信された上記通信文の符号列
を受信する手段と、上記通信文の符号化に用いられた符
号系を判定し、上記判定された符号系によって上記通信
文をテキストに復号するテキスト復号手段とからなる第
２の装置とを有するデータ通信ネットワーク装置であっ
て、 上記第２の装置のテキスト復号手段は：所定の符号系の
組の中の符号系を用いて上記符号列を復号し、適当な文
字列が得られた符号系を選択し、上記選択された符号系
と、上記選択された符号系による復号により得られた文
字列の対を表わす情報の組を得る復号手段と；所定の言
語に対し、上記復号結果の文字列の上記言語の文字列と
しての尤もらしさを表わす尤度を評価する言語識別手段
と；上記復号手段に接続され、上記復号手段から得られ
た情報の組の中の上記文字列を上記言語識別手段に供給
し、上記言語識別手段を作動させ、上記言語識別手段に
よって評価された上記尤度に応じて、上記入力された符
号列を復号する言語と、上記言語による復号結果の文字
列を選択する最尤結果選択手段とを更に有する、データ
通信ネットワーク装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01579296A JP3203544B2 (ja) | 1996-01-31 | 1996-01-31 | テキスト最尤復号方法及び最尤復号装置と、データ通信ネットワーク装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01579296A JP3203544B2 (ja) | 1996-01-31 | 1996-01-31 | テキスト最尤復号方法及び最尤復号装置と、データ通信ネットワーク装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09212334A JPH09212334A (ja) | 1997-08-15 |
| JP3203544B2 true JP3203544B2 (ja) | 2001-08-27 |
Family
ID=11898697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01579296A Expired - Lifetime JP3203544B2 (ja) | 1996-01-31 | 1996-01-31 | テキスト最尤復号方法及び最尤復号装置と、データ通信ネットワーク装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3203544B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4862079B2 (ja) * | 2006-05-31 | 2012-01-25 | サイトリックス システムズ， インコーポレイテッド | ゲートウェイでのリクエスト提出復号用文字セット符号化決定のためのシステムおよび方法 |
| CN104516862B (zh) | 2013-09-29 | 2018-05-01 | 北大方正集团有限公司 | 一种选择读取目标文档的编码格式的方法及其系统 |
| CN104361021B (zh) * | 2014-10-21 | 2018-07-24 | 小米科技有限责任公司 | 网页编码识别方法及装置 |
-
1996
- 1996-01-31 JP JP01579296A patent/JP3203544B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09212334A (ja) | 1997-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110097085B (zh) | 歌词文本生成方法、训练方法、装置、服务器及存储介质 | |
| CN1667699B (zh) | 为字母-声音转换生成有互信息标准的大文法音素单元 | |
| CN111523306A (zh) | 文本的纠错方法、装置和系统 | |
| US7925495B2 (en) | System and method for distributing multilingual documents | |
| CN111739514B (zh) | 一种语音识别方法、装置、设备及介质 | |
| CN110895651A (zh) | 地址标准化处理方法、装置、设备及计算机可读存储介质 | |
| CN108959388B (zh) | 信息生成方法及装置 | |
| CN111539199A (zh) | 文本的纠错方法、装置、终端、及存储介质 | |
| CN114528394B (zh) | 一种基于掩码语言模型的文本三元组提取方法及装置 | |
| CN111782892B (zh) | 基于前缀树的相似字符识别方法、设备、装置和存储介质 | |
| CN111680512A (zh) | 命名实体识别模型、电话总机转接分机方法及系统 | |
| CN112800737B (zh) | 自然语言文本生成方法和装置以及对话系统 | |
| CN115658898A (zh) | 一种中英文本实体关系抽取方法、系统及设备 | |
| CN115034194A (zh) | 一种摘要生成方法及相关装置 | |
| JP3203544B2 (ja) | テキスト最尤復号方法及び最尤復号装置と、データ通信ネットワーク装置 | |
| CN111159394A (zh) | 一种文本摘要生成方法和装置 | |
| CN111460109A (zh) | 摘要及对话摘要生成方法和装置 | |
| CN112686030A (zh) | 语法纠错方法、装置、电子设备和存储介质 | |
| EP1129537A1 (en) | Processing received data in a distributed speech recognition process | |
| JP2000148754A (ja) | マルチリンガル・システム，マルチリンガル処理方法およびマルチリンガル処理のプログラムを記憶した媒体 | |
| JP3080066B2 (ja) | 文字認識装置、方法及び記憶媒体 | |
| JP4718699B2 (ja) | 文字認識装置、文字認識方法、プログラム、およびコンピュータ読み取り可能な記録媒体 | |
| CN104641367A (zh) | 用于格式化电子字符序列的格式化模块、系统和方法 | |
| CN113220853B (zh) | 一种法律提问自动生成方法及系统 | |
| CN115146630B (zh) | 基于专业领域知识的分词方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090629 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090629 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140629 Year of fee payment: 13 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |