JPH01199264A - コード変換装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　要〕 日本語に使用されるコード系間の変換装置に関し、 コード系の不明の入力コードを指定した出力コードに効
率的に変換することを目的とし、入力されたコードのコ
ード系を判定する判定部と、判定を保留している間の入
力を一時保存する入力保存手段と、入力保存手段に保存
されている入力から出現頻度を計算し統計からコード系
を判定する統計計算手段と、入力を特定コード系へコー
ド変換するコード変換器の集合であるコード変換器群■
と、特定コード系からコード変換するコ−ド変換器の集
合であるコード変換器群■を備え、複数の入力コード系
について、どのコード系であるか一意に判定することが
できないコードが入力されたとき、判別できるまで保留
し確定してから保留した入力を再入力して変換し、一定
数の入力の間コード系を確定できないときは、保留中の
全コードの出現頻度からコード系を判定して変換するよ
う構成する。

〔産業上の利用分野〕

本発明は言語処理に係り、特に日本語に使用されるコー
ド系間の変換装置に関する。

日本語のコード系として各種のコード系が使用されてお
り、ソフトウェアによって異なるコード系が要求され、
コード系間の変換装置が必要となっている。コード系間
の変換装置として、入力のコード系が不明であっても、
指定した出力コード系に変換できる融通性の高い装置の
実現が望まれている。

〔従来の技術〕

従来技術によるコード変換装置は、元のコード系が何で
あるか判明している場合には、第９図（ａ）に示すよう
に、各種の（コード系Ａからコード系Ｂへ、コード系Ａ
からコード系Ｃへ、コード系Ｃからコード系Ｂへ、コー
ド系Ｂからコード系Ａへ等）コード変換器６１．６２．
６３．−６ｎを用意し、入力コード系と出力コード系に
応じて、スイッチ７で切り換えて使用するという方法が
採られていた。

〔発明が解決しようとする課題〕

第９図（ａ）に示すような従来のコード変換装置では、
元のコード系が何であるか知らないと、変換ができない
という欠点があった。

また、−意に自動弁別可能なコード群については、第９
図（ｂｌに示すように、判定部８と、それに連動するス
イッチ７１．７２によって変換器群６＋。

６２、６３．・−６ｎを切り換えるという方法が採られ
ていた。しかしこの方法では、−意に判定可能なコード
系間でしか切換えが行えなかった。

第１Ｏ図は、コード系間の関係を示す図である。

図において、縦軸はコードの第１バイトの値を示し、横
軸は第２バイトの値を示す。各コード系で使用する第１
バイトの値と第２バイトの値の範囲が、例えば、図に示
すＡ、Ｂ、Ｃのコード系では、ＡとＢ、或いはＡと０間
では重なりがないが、ＢとＣでは重なる部分がある。Ａ
とＢ、或いはＡとＣのように重なりがないものについて
は、判定することが可能であるが、ＢとＣのように重な
りのあるものについては、−意に判定することができな
かった。

また、入力と出力のコード系がそれぞれ複数ある場合は
、第１１図に示すように、入力と出力のコード系の全て
の組合せに対応する変換器を用意しなければならない場
合が多く、入力および出力のコード系の数が多いと多数
の変換器を要するものであった。

本発明の解決しようとする課題は、このような従来の問
題点を解消したコード変換装置を提供することにある。

〔課題を解決するための手段〕

第１図は、本発明のコード変換装置の原理ブロック図を
示す。

図において、１は判定部であり、入力されたコードのコ
ード系を判定する。

２は入力保留手段であり、判定を保留している存されて
いる入力から出現頻度を計算し統計からコード系を判定
する。

４はコード変換器群Ｉであり、入力を特定コード系へコ
ード変換するコード変換器の集合である。

５はコード変換器群■であり、特定コード系からコード
変換するコード変換器の集合である。

〔作　用〕

一つのコード系の中には、出現頻度の高い部分と低い部
分が存在する。例えば、日本語においては、ひらがな、
句読点、数字などの出現頻度は亮く、次いで第一水準の
漢字、最後に第二水準などのあまり使用しない漢字と、
順次出現頻度が低くなっていく。

また、二つのコード系が第１０図に示したＡとＢおよび
ＡとＣのように重なりが無い場合には、入力がどちらの
コード系のものであるかを一意的に判定できる。第１０
図に示したコード系ＢとＣのように、二つのコード系の
一部のみ重なる場合には、重なっていない部分の入力が
あれば判定することが可能である。また、入力がＢ、Ｃ
の重なりの部分だけからなる場合も、各入力コードにつ
いて、Ｂ、Ｃにおける出現頻度を算出した表を用意し、
未知の入力について出現頻度を計算し表と比較すること
により、どちらのコード系であるかを統計的に判断する
ことができる。例えば、Ｂ、Ｃが重なる部分のみのコー
ドからなる入力がある場合、統計的に出現頻度の高い文
字のコードを多く使用しているコード系の方が、そうで
ないコード系より確からしいということになる。このよ
うに、統計的情報を利用して判断することが可能である
。

これは、二つのコード系が完全に重なる場合についても
同様である。

第１図において、入力コードは判定部ｌにより、一つの
コード系のみであり、他のコード系と重なりがない、即
ちそのコード系であると判定可能なコードの入力がある
まで入力保留手段２で保留される。

どのコード系であるか判定可能なコードの入力があると
、判定部ｌは入力保留手段２で保留されていた入力を、
コード変換器群■４中の、判定されたコード系から特定
コードへの変換器に出力される。この変換器からの出力
はコード変換器群■５に入力され、その出力のうち、指
定するコード系への変換器の出力のみが選択され、最終
出力となる。その状態を示すのが第２図（ａ）である。

保留されていた入力がなくなると、第２図（ｂ）に示す
ように、入力コードは、判定部１から直接コード変換器
群Ｉ４中の判定されたコード系からのコード変換器に入
力され、コード変換群■５の出力から指定されたコード
系の出力が選択され出力される。

入力が終了するまで判定可能とならなかった場合は、入
力保留手段２に保留されている入力は統計計算手段３に
入力され、ここにおいて統計による出現頻度が計算され
て判定が行われ、その結果が判定部１に伝えられる。そ
の状態を示したのが第２図（ｅ）である（図中にＸ印で
示したのは入力或いは出力を停止していることを示す）
。判定部１は、統計計算手段３から伝えられた結果を判
定結果として、第２図（ａ）に示したと同じ方法で出力
を行う。

このようにして、従来では判定できなかったコード系間
についても判定を行うことが可能となる。

また、入力と出力のコード系がどちらもｎ個ある場合に
、これらの間の組合せの数の、ｎＸ（ｎ−１）個の変換
器が必要であった従来方式に比べ、第３図に示すように
、コード系Ａ、Ｂ、Ｃからコード系Ａ、Ｂ、Ｃへの変換
において、特定コード系Ｂを中間コード系とすることに
より、２×（ｎ−１）個の変換器で済むことになる。

〔実施例〕

以下第４図〜第８図に示す実施例により、本発明をさら
に具体的に説明する。

第４図は本発明の一実施例の構成を示すブロック図であ
る。

第４図の実施例は、三つのコード系； （ａｌ　　Ｊ　Ｉ　Ｓ　Ｘ　０２０２とＪＩＳＸＯ２０
ＢによるＪＩＳ漢字 山）　　ＡＴ＆Ｔの拡張ＵＮＩＸコードであるＥＵＣ（
Ｃ）　　シフトＪＩＳ について、入力コード系を指定せずに、この三つのうち
の任意の一つを、指定したコード系に変換するコード変
換装置である。

いま、入力は上記（ａ）、　（ｂ）、　（Ｃ）のいずれ
も、■ＪＩＳＸＯ２０１のローマ字を含み、■いわゆる
半角カナのＪＩＳカナは使用せず、■外字は使用せず、
■その他三つのコード系に共通でない文字は使用しなと
という４点の条件が成立するものであると仮定する。

第５図はこれら三つのコード系間の関係を示す図である
。山）のＥＵＣと、（Ｃ）のシフトＪＩＳの重なる部分
は１．双方共に第二水準の漢字のコードであり、これら
の出現頻度は非常に少ないが、幾つかの文字では他の文
字に七ぺて頻度が高いことを確認しである。

第４図において、０１は入力切換え用スイッチであり、
入力と保留していた入力とを切り換える。

１０は判定部であり、入力のコード系を判定する。

２０はバッファであり、判定を保留している間入力を一
時保存する。

３１は再判定部であり、バッファ２ｏに保存されている
入力について出現頻度を計算し、統計表と比較して系を
判定する。

３２は統計表であり、予め各コード系の多数の入力コー
ドについて出現頻度を計算した統計の表である。

４１はＪＩＳ漢字からＥＵＣへの変換器であり、４２は
シフトＪＩＳからＥＵＣへの変換器であり、１３は合流
器である。

５１はＥＵＣからＪＩＳ漢字への変換器であり、５２は
ＥＵＣからシフトＪＩＳへの変換器であり、Ｉｌは出力
切換え用スイッチである。

第６図は、本実施例における判定部の内部構成を示す図
である。

第６図において、１１．１４．１５はスイッチであり、
制御部１９により切換えが行われる。１６．１７．１８
は合流器である。

１２、１３は分流器である。分流器１２は、上記三つの
コード系（ａ）、　（ｂ）、　ｔｃ）で共通に用いられ
るＪＩＳＸＯ２０２のローマ字（制御コードを含む）の
コードはｌに、そうでないものは２に出力する。この判
別はコードの第１バイトの先頭ビットで簡単に識別でき
る。分流器１３は、（ｂ）のＥＵＣと（ｃｌのシフトＪ
ＩＳの重なる領域のコードは１へ、そうでないものは２
へ出力する。

１９はスイッチの制御部であり、再判定部１１がらの信
号ｒおよび分流器１３からの出力りを入力として、スイ
ッチ１１．１４．１５の制御信号ｊ、に、ｌを出力とす
る。

以下、第４図および第６図を参照して、本コード変換装
置の動作を説明する。

初期状態においては、バッファ２０は空であり、スイッ
チ１１は入力ｅが分流器１２につながる向きに、スイッ
チ１４は合流器１８につながる向きに、スイッチ１５は
合流器１８につながる向きとなっている。

第４図における入力切換え用スイッチ０１は入力側に向
いており、出力切換え用スイッチ５３は出力コード系の
指定により、それぞれ（ａｌ　Ｊ　Ｉ　Ｓ漢字ならばコ
ード変換器５１の方、（ｂ）　Ｅ　Ｕ　Ｃならば合流器
４２の方、（ＣｌシフトＪＩＳＯ方を向いている。

コード変換装置の状態としては、■初期状態、■保留中
、■保留処理、■確定の四つの状態があり、四つの状態
間は第７図の状態遷移図に示すように遷移する。

入力は、つぎの五つの場合に応じて処理が決まる。

■：ＪＩＳＸＯ２０２のローマ字（制御コードを含む） ■：（ａ）のＪＩＳ漢字、 ■：（ｂ）のＥＵＣのうち（Ｃ１と重ならない部分■：
（Ｃ）のシフトＪＩＳのうち（ｂｌと重ならない部分■
：（ｂ）と（Ｃ）の重なる部分 ■初期状Ｂ： 初期状態で■が入力されると：スイッチｏ１、スイッチ
１１分流器１２、スイッチ１４、合流器１８を通過して
出力端子すに出力され、合流器４３を経てコード変換器
５１または５２を経るか或いはそのまま出力されるが、
■についてはコード変換器５１．５２のどちらも何ら出
力を出さないので、判定部１０の出力すがそのまま出力
される。

初期状態で■が入力されると：スイ、ッチ０１、スイッ
チ１１、分流器１２を経て分流器１３に入力される一分
流器１３では１側に出力されると共に、制御部１９へ信
号りを通じて１に出力されることを知らせる。制御部１
９では、これにより直ちにスイッチ１５を出力ａに向か
う方向に制御し、ａから出力される。ａの出力はコード
変換器４１により中間コードであるＥＵＣに変換され、
出力コードの指定に応じて、コード変換５１か５２か、
或いは変換なしによって出力される。第８図の（ａ）は
この状況を示す。状態は、■の確定状態となる。

初期状態で■が入力されると；■が入力された場合とス
イッチ１５の位置が異なり出力すに出力されるという違
いがあるが、スイッチ０１．１１゜１４の−は同じにな
る。出力すからの出力は出力コードの指定に応じて、コ
ード変換器５１か５２か、或いはそのままで出力される
。また、状態は■の確定状態となる。

初期状態でＯが入力されると；■、■が入力された場合
と同様であるが、スイッチ１５の位置が出力を出力Ｃに
出力する向きになる。出力Ｃからの出力は、コード変換
器４２により中間コードのＥＵＣに変換され、その後は
同様である。

状態も■の確定状態となる。

初期状態で■が入力されると；スイッチ０１．１１、分
流器１２を経て分流器１３にくると、■であるという信
号が分流器１３から制’＜８部１９に伝わり、制御部１
９はスイッチ１４を合流器１７側に切り換える。分流器
１３は端子２に出力し、これが合流器１７を介して信号
ｄとしてバッファ２０に出力される。バッファ２０では
、再判定部３１から要求されるまで入力を保持する。第
８図（ｂｌはこの状況を示す。状態は、■の保留中にな
る。

■保留中： 保留中に■、■が入力されると；入力切換え用スイッチ
０１から判定部１０に入り、第９図（ｂ）に示す状態に
なっており、信号ｄとして出力され、バッファ２０に保
持される。

保留中に■、■、■のいずれかが入力されると；入力切
換え用スイッチＯ１から判定部１０に入り、第８図（ｂ
ｌに示す状態で分流器１３におい、て端子ｌに出力を出
そうということで、これを制御部１９に伝える。制御部
１９は、制御信号ｇをスイッチｒ２に出し、再判定部３
１側に切り換える。この時入力は待ちとなり、スイッチ
ｚ３が戻るまで入力されないようになっているものとす
る。この状態を第８図（Ｃ）に示す。またスイッチ１１
を合流器１６側にし、スイッチ１４を合流器１８側にし
、スイッチ１５を人力の■、■、■に応じてそれぞれ出
力ａ、ｂ、ｃの側にする。第８図（ａ）は、出力ａ側と
したときのスイッチの状態を示す。さらに、制御部１９
は、再判定部３１にバッファ２０の出力をそのまま出力
するよう命する信号ｆを送る。また、最後に分流器１３
に入っていたコードは、制御部１９より端子２に出力す
るよう命じられ、合流器１７を介してバッファ２０に送
られる。

状態は■の保留処理となる。

入力が無くなると；制御部１９はスイッチ０１を第８図
（Ｃ）に示す状態にし、スイッチ１１．１４を第８図（
ａｌに示す状態にする。さらに制御部１９は、再判定部
３１に対してコード系を調べるように命じる。再判定部
３１は、バッファの中味を統計表３２を用いて判断し、
コード系を決定して判定部１０に伝える。これに応じて
、制御１９はスイッチ１５を端子す、ｃのいずれかにし
て再判定部３１に対してバッファ２０の内容をそのまま
出力するよう命じる信号ｒを送る。状態は■の保留処理
となる。

■保留処理状態： 保留処理状態では、再判定部３１により、バッファ２０
の内容をそのまま出力し、スイッチ０１を介して判定部
ｌＯに送る。判定部１０では、スイッチ１１、分流器１
６、スイッチ１５を介して出力す。

Ｃのいずれかに出力する。この出力はコード変換器４２
で変換されまたはそのまま合流器４３を介バッファ２０
が空になると、再判定部３１は判定部１０にそのことを
伝え、判定部１０の制御部１９は、制御信号ｇによりス
イッチ０１を入力端に戻す。

状態は■の確定状態となる。

■確定状態： 確定状態では；入力はスイッチ１３を介して判定部１０
に入り、判定部１０内では、スイッチ１１、合流器１６
、スイッチ１５を介して入力のコード系に対応して出力
ａ、ｂ、ｃのいずれかに出力され、中間コードのＥＵＣ
に変換された後、指定された出力コードに変換されて出
力される。入力がなくなるまで■の　状態が続けられる
。

以上説明した動作により、コード変換が行われる。

本実施例では、再判定部３１において、バッファ２０内
の保留入力についてＥＵＣかシフ）ＪＩＳかを判定する
ために、統計表３２内に、それぞれのコード系において
重なる部分において頻度の高い文字を６．０００ずつ用
意し、この文字が多く出現する方のコード系として決定
した。

このコード変換装置を実用した場合、通常の日本語の文
章は問題なく変換された。さらに、バッファ２０のサイ
ズを６４文字と小さくし、バッファ２０が満杯になった
場合においても統計的に判定するようにした。たの場合
も、はとんどの場合問題なく変換できた。

ただ、例外として、ローマ字（■）の中に判別できない
漢字で書かれた（■に入る字のみで書かれた）人名（２
文字）があるだけの場合であった。

このような例外的な例を除く通常のローマ字・英記号を
含む漢字かな混じり文については、−１二文字の保留が
行われるだけで直ちに確定を行った。

これは、かなや句読点といった通常の文章で多用される
文字が、■の領域にないため、すぐに確定できるからで
ある。

原理的には、このコード変換装置では１００％変換する
ことはできないが、統計的には、はとんどの日本語の文
章については変換することが可能であると考えられる。

〔発明の効果〕

以上説明のように、従来、入力コードが何であるかを前
もって知らないとコード系の変換を正しく行うことがで
きなかったのに対し、本発明によれば、入力のコード系
が何であるかを知らなくとも、出力コードを指定するだ
けで正しくコード系の変換を行うことが可能となり、デ
ータ処理効率の向上に寄与する効果は極めて大である。

【図面の簡単な説明】 第１図は本発明の原理ブロック図、 第２図はコード変換装置内信号経路を示す図、第３図は
中間コード系を説明する図、 第４図は本発明の一実施例の構成を示すブロック図、 第５図は本発明の一実施例が対象としたコード系間の関
係を示す図、 第６図は本発明の一実施例における判定部の内部構成を
示す図、 第７図は本発明の一実施例における状態遷移図、第８図
は本発明の一実施例における装置内信号経路を示す図、 第９図は従来技術によるコード変換装置を示す図、 第１θ図はコード系間の関係を示す図、第１１図は複数
入力コード系、複数出力コード系間の変換を示す図、 図面において、 １．１０は判定部、　　　　　２ζ入力保留手段、３は
統計計算手段、　　　　４はコード変換器群■、５はコ
ード変換器群■、 ６＋、　６２．−・、６０はコード変換器、７．７１．
７２はスイッチ、　　　　８は判定部、０１は入力切換
え用スイッチ、 １１．１４．１５はスイッチ、　　　　　１２．１３は
分流器、１６、１７．１８．４３は合流器、　　　１９
は制御部、２０はバッファ、　　　　　　　３１は再判
定部、３２は統計表、 ４１．４２，５１．５２はコード変換器、５３は出力切
換え用スイッチ、 ａ、　　ｂ、　　ｃ、−・−２βは信号、をそれぞれ示
す。 本発明の原理ブロック図 第１図 中間コード系を説明する図 第　　３　　図 第　　　５　　　図 本発明の一実施例の構成を示すブロック同第　　４　　
図 第　　　６　　　図 第　　７　　図 第　　　８　　　図　（その１） （ｃ）　　　　　　　　　　　　　　　　　　　　（ｄ
）本発明の一実施例における装置内信号経路を示す１第
　　　８　　　図　（その２） （ａ）　　　　　　　　　　　　　　　　　　（ｂ）従
来技術によるコード変換装置を示す１第　　９　　図 第１Ｏ図

Claims (1)

1. 【特許請求の範囲】 自然言語の複数のコード系を、指定した手段コード系に
   変換するコード変換装置であって、入力されたコードの
   コード系を判定する判定部（１）と、 判定を保留している間の入力を一時保存する入力保存手
   段（２）と、 入力保存手段（２）に保存されている入力から出現頻度
   を計算し統計からコード系を判定する統計計算手段（３
   ）と、 入力を特定コード系へコード変換するコード変換器の集
   合であるコード変換器群 I （４）と、特定コード系か
   らコード変換するコード変換器の集合であるコード変換
   器群II（５）を備え、複数の入力コード系について、ど
   のコード系であるか一意に判定することができないコー
   ドが入力されたとき、判別できるまで保留し確定してか
   ら保留した入力を再入力して変換し、一定数の入力の間
   コード系を確定できないときは、保留中の全コードの出
   現頻度からコード系を判定して変換するよう構成したこ
   とを特徴とするコード変換装置。