JP2625815B2

JP2625815B2 - コード変換装置

Info

Publication number: JP2625815B2
Application number: JP63024179A
Authority: JP
Inventors: 至市川
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1988-02-04
Filing date: 1988-02-04
Publication date: 1997-07-02
Anticipated expiration: 2012-07-02
Also published as: JPH01199264A

Description

【発明の詳細な説明】〔概要〕コード系が明示されていない入力データを、所定のコ
ード系に効率的に変換することを目的し、入力データがどのコード系であるかをコード値に基づ
いて判定するコード系判定部と、入力データを一時保存
する入力保存部と、入力保存部に保存されている入力デ
ータを統計処理することにより、コード系を判定する統
計計算部と、各コード系から所定のコード系へ変換する
コード変換手段の集合体であり、データ制御部の指示に
より選択され、入力データを所定のコード系へコード変
換するコード変換部と、入力データのコード系の判定結
果に基づいて入力データの扱いを制御するデータ制御部
とを有し、データ制御部は、コード系判定部がどのコード系であ
るか一意に判定することができないとき、入力保存部に
入力データを保存させ、また、一定数の入力の間、コー
ド系判定部においてコード系を判定できないときは、統
計計算部に、保存中の入力データのコード系を判定さ
せ、コード系判定部または統計計算部において判定され
たコード系に対応してコード変換部の変換手段を選択
し、入力データのコード変換を行うように構成する。

また、コード変換部は、各種のコード系の入力データ
を特定コード系へ変換するコード変換手段の集合体であ
るコード変換手段群Ｉと、コード変換手段群Ｉの出力で
ある特定コード系のデータを各種のコード系へ変換する
コード変換手段の集合体であるコード変換手段群Ｉとに
より構成し、コード変換手段群Ｉのコード変換手段はコード系判定
部および統計計算部における判定結果により選択され、
コード変換手段群IIの変換手段は、別途指定されたコー
ド系に対応するものが選択されるように構成する。

〔産業上の利用分野〕

本発明は、文字コードの変換装置、特に日本語に使用
されるコード系間の変換装置に関する。

文字、特に日本語を現すコード系として各種のコード
系が使用されており、計算機システムやソフトウェアに
よって使用するコード系が決まっているのが普通であ
る。複数のシステムやソフトウェアにわたって処理を行
うような場合、それぞれのシステムやソフトウェアで扱
うデータは決まったコード系であることが要求されるの
で、コード系間の変換装置が必要となる。また、入力の
コード系が明示されていなくても、所定の出力コード系
に変換できることが望まれる。

〔従来の技術〕

従来技術によるコード変換装置は、元のコード系が何
であるか判明している場合には、第９図（ａ）に示すよ
うに、各種（コード系Ａからコード系Ｂへ、コード系Ａ
からコード系Ｃへ、コード系Ｃからコード系Ｂへ、コー
ド系Ｂからコード系Ａへ等）コード変換器または変換テ
ーブル6₁,6₂,6₃,・・6_nを用意し、入力コード系と出力
コード系に応じて、スイッチ手段７で切り替えて、また
は変換テーブルを選択して使用するという方法が採られ
ていた。

〔発明が解決しようとする課題〕

第９図（ａ）に示すような従来のコード変換装置で
は、元のコード系が何であるか知らないと、変換できな
いという欠点があった。

第10図では、２バイトで１文字を表す漢字コードを例
にとり、コード系間の関係を示す図である。図におい
て、縦軸はコードの第１バイトの値を示し、横軸は第２
バイトの値を示す。各コード系で使用する第１バイトの
値と第２バイトの値の範囲が、例えば、図に示すA,B,C
のコード系では、ＡとＢ、或いはＡとＣ間では重なりが
ないが、ＢとＣでは重なる部分がある。ＡとＢ、或いは
ＡとＣのように重なりがないものについては、コード値
によりコード系を一意に判定することが可能であるが、
ＢとＣのように重なりあるものについては、一意に判定
することができない。

一意に判定可能なコード群については、第９図（ｂ）
に示すように、判定部８と、それに連動するスイッチ手
段7₁,7₂によって変換器（または変換テーブル）群6₁,
6₂,6₃・・6_nを切り替えるという方法を採用することが
できる。しかしこの方法では、一意に判定可能なコード
系間でしか切換えが行えなかった。

また、入力と出力のコード系がそれぞれ複数ある場合
は、第11図に示すように、入力と出力のコード系の全て
の組合せに対応する変換器（または変換テーブル）を用
意しなければならない場合が多く、入力および出力のコ
ード系の数が多いと厄介なものであった。

本発明は、入力データのコード系が明示されていなく
ても、所定のコード系に変換して出力するコード変換装
置を構成することを目的とする。

〔課題を解決するための手段〕

第１図は、本発明のコード変換装置の原理ブロック図
を示す。図において、コード系判定部９は、入力された
データがどのコード系であるかをコード値に基づいて判
定するもの、入力保存部２は、入力データを一時保存するもの、統計計算部３は、入力保存部２に保存されている入力
データから出現頻度を計算し統計処理によりコード系を
判定するもの、コード変換部40は、各コード系から所定のコード系へ
変換するコード交換手段の集合体、データ制御部１は、入力データのコード系の判定結果
に基づいて入力データを制御するものである。

また、コード変換手段群I 4は、入力データを特定コ
ード系へコード変換するコード変換手段の集合体であ
り、コード変換手段群II 5は、特定コード系から各種のコ
ード系へコード変換するコード変換手段の集合体であ
る。

〔作用〕

二つのコード系が第10図に示したＡとＢおよびＡとＣ
のように重なりがない場合には、入力データがどちらの
コード系のものであるかを一意に判定できる。第10図に
示したコード系ＢとＣのように、二つのコード系の一部
のみ重なる場合には、重なっていない部分の入力があれ
ば判定することが可能である。

また、入力データがB,Cの重なりの部分だけからなる
場合も、各コード系の（B,Cの重なりの部分の）コード
の出現頻度を算出した表を用意し、未知の入力データに
ついて出現頻度を計算し表と比較することにより、どち
らのコード系であるかを統計的に判断することができ
る。一つのコード系の中には、出現頻度の高い部分と低
い部分が存在する。例えば、日本語においては、ひらが
な、句読点、数字などの出現頻度は高く、次いで第一水
準の漢字、最後に第二水準などのあまり使用しない漢字
と、順次出現頻度が低くなっていく。従って、B,Cが重
なる部分のみのコードからなる入力データがある場合、
統計的に出現頻度の高い文字のコードを多く使用してい
るコード系の方が、そうでないコード系より確からしい
ということになる。このように、統計的情報を利用して
判定することが可能である。これは、二つのコード系の
範囲が完全に重なる場合についても同様である。

第１図において、入力データは、コード系判定部９に
より、一つのコード系のみであり、他のコード系と重な
りがない、すなわち、そのコード系であると判定可能な
コードの入力があるまで調べる。その間、入力データは
入力保存部２で保存される。

どのデータ系であるか判定可能なコードの入力がある
と、コード系判定部９はデータ制御部１に対して通知す
る。データ制御部１は、判定結果のコード系から所定の
コード系へ変換するコード変換部40の変換手段を選択
し、入力保存部２で保存されていた入力データを渡す。

なお、コード変換部40が、コード変換手段群I 4と、
コード変換手段群II 5とより構成される場合は、まず、
コード変換手段I 4中の、判定されたコード系から特定
コードへの変換手段が用いられ、このコード変換手段か
らの出力はコード変換手段群II 5に入力され、その出力
のうち、別途指定されたコード系への変換手段の出力の
みが選択され、最終出力となる。その状態を示すのが第
２図（ａ）である。この場合は出力データのコード系は
あらかじめ固定されたものではなく、使用時に自由に指
定できる。

保存されていた入力データがなくなると、続く入力デ
ータは、第２図（ｂ）に示すようにデータ制御部１から
直接コード変換部40に入力してもよいし、必ず入力保存
部２を通すようにしてもよい。

入力が終了するまで、または、入力保存部２の保存限
度等の一定数まで判定可能とならなかった場合は、入力
保存部２に保存されている入力データは統計計算部３に
入力され、ここにおいて統計による出現頻度が計算され
て判定が行われ、その結果がデータ制御部１に伝えられ
る。その状態を示したのが第２図（ｃ）である。図中に
×印で示したのは入力或いは出力を停止していることを
示す。データ制御部１は統計計算部３から伝えられた判
定結果により、第２図（ａ）に示したと同じ方法で出力
を行う。

このようにして、従来では判定できなかったコード系
間についても判定を行うことが可能となる。

また、入力と出力のコード系がどちらもｎ個ある場合
に、これらの間の組合せの数の、ｎ×（ｎ−１）個の変
換手段が必要であった従来方式に比べ、コード変換部40
を各種のコード系の入力データを特定コード系へ変換す
るコード変換手段群I 4と、その出力である特定コード
系のデータを各種のコード系へ変換するコード変換手段
群II 5とにより構成すれば、２×（ｎ−１）個の変換手
段で済むことになる。例えば、第３図に示すように、コ
ード系A,B,Cからコード系A,B,Cへの変換において、特定
コード系Ｂを中間コード系とすることにより、従来方式
なら６個の変換手段が必要なところ、２×（３−１）個
の＝４個の変換手段で済むことになる。

〔実施例〕

第１図に示した原理ブロック図にそって主要な要素を
表とプログラムによって構成したソフトウェアによって
実現できることは自明である。以下に、コード系判定部
９とデータ制御部１とコード変換部とをハードウェア的
に実現した実施例を示す。

第４図は本発明の一実施例の構成を示すブロック図で
ある。この場合、第１図におけるコード系判定部９とデ
ータ制御部１とを一体化して判定部10としてあり、また
統計計算部３は再判定部31と統計表32としてある。

以下、第４図〜第８図により実施例をさらに具体的に
説明する。

第４図の実施例は、三のコード系：（ａ）JISX0202とJISX0208によるJIS漢字（ｂ）AT＆Ｔの拡張UNIXコードであるEUC （ｃ）シフトJIS について、入力コード系を指定せずに、この三つのうち
の任意の一つを、指定したコード系に変換するコード変
換装置である。

いま、入力データは上記（ａ）（ｂ）（ｃ）のいずれ
も、JISX0202のローマ字を含み、いわゆる半角カナ
のJISカナは使用せず、外字は使用せず、その他三
つのコード系に共通でない文字は使用しないという４点
の条件が成立するものであると仮定する。

第５図はこれら三つのコード系間の関係を示す図であ
る。（ｂ）のEUCと、（ｃ）のシフトJISの重なる部分
は、双方共に第二水準の漢字のコードであり、これらの
出現頻度は非常に少ないが、幾つかの文字では他の文字
に比べて頻度が高いことを確認してある。

第４図において、01は入力切換え用スイッチであり、
入力データと保存していた入力データとを切り換える。
10は判定部であり、入力データのコード系を判定し、扱
いを制御する。20はバッファであり、判定を保留してい
る間入力データを一時保存する。

31は再判定部であり、バッファ20に保存されている入
力データについて出現頻度を計算し、統計表と比較して
使用されているコード系を判定する。

32は統計表であり、あらかじめ各コード系の多数の入
力コードについて出現頻度を計算した統計の表である。

41はJIS漢字からEUCへの変換器であり、42はシフトJI
SからEUCへの変換器であり、43は合流器である。

51はEUCからJIS漢字への変換器であり、52はEUCから
シフトJISへの変換器であり、53は出力切換え用スイッ
チである。

第６図は、本実施例における判定部の内部構成を示す
図である。

第６図において、11,14,15はスイッチであり、制御部
19により切換えが行われる。16,17,18は合流器である。

12,13は分流器である。分流器12は、前述した三つの
コード系（ａ），（ｂ），（ｃ）で共通に用いられるJI
SX0202のローマ字（制御コードを含む）のコードは端子
１に、そうでないものは端子２に出力する。この判定は
コードの第１バイトの先頭ビットで簡単に識別できる。
分流器13は、（ｂ）のEUCと（ｃ）のシフトJISの重なる
領域のコードは端子２へ、そうでないものは端子１へ出
力する。

19はスイッチの制御部であり、再判定部31からの信号
ｆと分流器13からの出力ｈを入力として、スイッチ11,1
4,15の制御信号j,k,lを出力とする。

以下に、第４図および第６図を参照して、本コード変
換装置の動作を説明する。

初期状態においては、バッファ20は空であり、スイッ
チ11は入力ｅが、分流器12につながる向きに、スイッチ
14は合流器18につながる向きに、スイッチ15は合流器18
につながる向きとなっている。

第４図における入力切り換え用スイッチ01は入力側に
向いており、出力切換え用スイッチ53は出力コード系の
指定により、それぞれ（ａ）JIS漢字ならばコード変換
器51の方、（ｂ）EUCならば合流器43の方、（ｃ）シフ
トJISならばコード変換器52の方を向いている。

コード変換装置の状態としては、ａ初期状態、ｂ保留
中、ｃ保留処理、ｄ確定の四つの状態があり、制御部19
により制御される。四つの状態は第７図の状態遷移図に
示すように遷移する。

入力データは、コード値がつぎの五つの場合に応じて
処理が決まる。

I:JISX0202のローマ字（制御コードを含む） II:（ａ）のJIS漢字 III:（ｂ）のEUCのうち（ｃ）と重ならない部分 IV:（ｃ）のシフトJISのうち（ｂ）と重ならない部分 V:（ｂ）と（ｃ）の重なる部分・ａ初期状態：初期状態でＩの範囲のコードが入力されると；スイッ
チ01、スイッチ11、分流器12、スイッチ14、合流器18を
通過して出力端子ｂに出力され、合流器43を経てコード
変換器51または52を経るか或いはそのまま出力される
が、Ｉの範囲のコードについてはコード変換器51,52の
どちらも変換しないで出力するので、判定部10の出力ｂ
がそのまま出力される。

初期状態でIIの範囲のコードが入力されると；スイッ
チ01、スイッチ11、分流器12を経て分流器13に入力され
る。分流器13では端子１側に出力されると共に、制御部
19へ信号ｈを通じて端子１に出力されることを知らせ
る。制御部19では、これにより直ちにスイッチ15を端子
ａに向かう方向に制御する。端子ａの出力はコード変換
器41により中間コードとして使う特定コードであるEUC
に変換され、出力コードの指定に応じて、コード変換器
51か52か、あるいは変換なしとして出力される。第８図
の（ａ）はこの状況を示す。状態は、ｄの確定状態とな
る。

初期状態でIIIの範囲のコードが入力されると;IIの範
囲のコードが入力された場合とスイッチ15の位置が異な
り端子ｂに出力されるという違いがあるが、スイッチ0
1,11,14の位置は同じになる。端子ｂからの出力は出力
コードの指定に応じて、コード変換器51か52か、或いは
そのままで出力される。また、状態はｄの確定状態とな
る。

初期状態でIVの範囲のコードが入力されると;II、III
の範囲のコードが入力された場合と同様であるが、スイ
ッチ15の位置が端子ｃに出力する向きになる。端子ｃか
らの出力は、コード変換器42により中間コードのEUCに
変換され、その後は同様である。状態もｄの確定状態と
なる。

初期状態でＶの範囲のコードが入力されると；スイッ
チ01、11、分流器12を経て分流器13にくると、Ｖの範囲
のコードであるという信号が分流器13から制御部19に伝
わり、制御部19はスイッチ14を介して合流器17側に切り
換える。分流器13は端子２に出力し、これが合流器17を
介して信号ｄとしてバッファ20に出力される。バッファ
20では、再判定部31から要求されるまで入力を保持す
る。第８図（ｂ）はこの状況を示す。状態は、ｂの保留
中になる。

・ｂ保留中：保留中にＩ、Ｖの範囲のコードが入力されると；入力
切換え用スイッチ01から判定部10に入り、第８図（ｂ）
に示す状態になっており、信号ｄとして出力され、バッ
ファ20に保持される。

保留中にII、III、IVのいずれかの範囲のコードが入
力されると；入力切換え用スイッチ01か判定部10に入
り、第８図（ｂ）に示す状態で分流器13において端子１
に出力を出そうということで、これを制御部19に伝え
る。制御部19は、制御信号ｇをスイッチ01に出し、再判
定部31側に切り換える。この時入力は待ちとなり、スイ
ッチ01が戻るまで入力されないようになっているものと
する。この状態を第８図（ｃ）に示す。またスイッチ11
を合流器16側にし、スイッチ14を合流器18側にし、スイ
ッチ15を入力データのII、III、IVの範囲に応じてそれ
ぞれ端子ａ、ｂ、ｃの側にする。第８図（ａ）は、端子
ａ側としたときのスイッチの状態を示す。さらに、制御
部19は、再判定部31にバッファ20の出力をそのまま出力
するよう命ずる信号ｆを送る。また、最後に分流器13に
入っていたコードは、制御部19より端子２に出力するよ
う命じられ、合流器17を介してバッファ20に送られる。
状態はｃの保留処理となる。

入力データが無くなると；制御部19はスイッチ01を第
８図（ｃ）に示す状態にし、スイッチ11、14を第８図
（ａ）に示す状態にする。さらに制御部19は、再判定部
31に対してコード系を調べるように命じる。再判定部31
は、バッファの中身を統計表32を用いて判断し、コード
系を決定して判定部10に伝える。これに応じて、制御部
19はスイッチ15を端子b,cのいずれかにして再判定部31
に対してバッファ20の内容をそのまま出力するように命
じる信号ｆを送る。状態はｃの保留処理となる。

・ｃ保留処理状態：保留処理状態では、再判定部31により、バッファ20の
内容をそのまま出力し、スイッチ01を介して判定部10に
送る。判定部10では、スイッチ11、分流器16、スイッチ
15を介して端子b,cのいずれかに出力する。この出力は
コード変換器42で変換されまたはそのまま合流器43を介
して、出力のコード系で指定される変換を施されて出力
される。第８図（ｂ）はその状況を示す。バッファ20が
空になると、再判定部31は判定部10にそのことを伝え、
判定部10の制御部19は、制御信号ｇによりスイッチ01を
入力側に戻す。状態はｄの確定状態となる。

・ｄ確定状態：確定状態では；入力データはスイッチ01を介して判定
部10に入る。判定部10内では、スイッチ11、合流器16、
スイッチ15を介して入力のコード系に対応して端子a,b,
cのいずれかに出力され、中間コードのEUCに変換された
後、指定された出力コードに変換されて出力される。入
力データがなくなるまでｄの状態が続けられる。

以上説明した動作により、コード変換が行われる。

本実施例では、再判定部31において、バッファ20内の
保留入力についてEUCかシフトJISかを判定するために、
統計表32内に、それぞれのコード系において重なる部分
において頻度の高い文字を6,000ずつ用意し、この文字
が多く出現する方のコード系として決定した。

このコード変換装置を実用した場合、通常の日本語の
文章は問題なく変換された。さらに、バッファ20のサイ
ズを64文字と小さくし、バッファ20が満杯になった場合
においても統計的に判定するようにした。その場合も、
ほとんどの場合問題なく変換できた。

ただ、例外として変換できなかったのは、ローマ字
（Ｉの範囲のコード）の中に第２水準の漢字（Ｖの範囲
のコード）で書かれた人名（２文字）があるだけの場合
であった。このような例外的な場合を除く通常のローマ
字・英記号を含む漢字かな混じり文については、数文字
分の判定保留が行われるだけで直ちに確定を行った。こ
れは、かなや句読点といった通常の文章で多用される文
字が、Ｖの範囲にないため、すぐに確定できるからであ
る。

原理的には、このコード変換装置では100％変換する
ことはできないが、実際には、ほとんど日本語の文章に
ついては変換することが可能であると考えられる。

〔発明の効果〕

以上説明のように、従来は入力コード系が何であるか
を前もって知らないとコード変換を正しく行うことがで
きなかったのに対し、本発明によれば、入力のコード系
が何であるかを知らなくとも、所定の出力コード系に変
換を行うことが可能となる。

【図面の簡単な説明】

第１図は本発明の原理ブロック図、第２図はコード変換装置内信号経路を示す図、第３図は中間コード系を説明する図、第４図は本発明の一実施例の構成を示すブロック図、第５図は本発明の一実施例で対象としたコード系間の関
係を示す図、第６図は本発明の一実施例における判定部の内部構成を
示す図、第７図は本発明の一実施例における状態遷移図、第８図は本発明の一実施例における装置内信号経路を示
す図、第９図は従来技術によるコード変換装置を示す図、第10図はコード系間の関係を示す図、第11図は複数入力コード系、複数出力コード系間の変換
を示す図、図面において、１はデータ制御部、９はコード系判定部、10は判定部、２は入力保持部、20はバッファ、３は統計計算部、31は再判定部、32は統計表、 40はコード変換部４はコード変換手段群Ｉ、５はコード変換手段群II、 6₁,6₂,・・,6_nはコード変換器、 7,7₁,7₂はスイッチ、８は判定部 01は入力切換え用スイッチ、 11,14,15はスイッチ、12,13は分流器、 16,17,18,43は合流器、19は制御部、 41,42,51,52はコード変換器、 53は出力切換え用スイッチ、 a,b,cは端子、 d,e,・・・,1は信号、をそれぞれ示す。

Claims

(57)【特許請求の範囲】

【請求項１】各種のコード系の入力データを受入れ、所
定のコード系に変換するコード変換装置であって、入力データがどのコード系であるかをコード値に基づい
て判定するコード系判定部（９）と、入力データを一時保存する入力保存部（２）と、入力保存部（２）に保存されている入力データを統計処
理することにより、コード系を判定する統計計算部
（３）と、各コード系から所定のコード系へ変換するコード変換手
段の集合体であり、データ制御部（１）の指示により選
択され、入力データを所定のコード系へコード変換する
コード変換部（40）と入力データのコード系の判定結果に基づいて入力データ
の扱いを制御するデータ制御部（１）とを有し、データ制御部（１）は、コード系判定部（９）がどのコ
ード系であるか一意に判定することができないとき、入
力保存部（２）に入力データを保存させ、また、一定数の入力の間、コード系判定部（９）におい
てコード系を判定できないときは、統計計算部（３）
に、保存中の入力データのコード系を判定させ、コード系判定部（９）または統計計算部（３）において
判定されたコード系に対応してコード変換部（40）の変
換手段を選択し、入力データのコード変換を行うように構成したことを特徴とするコード変換装置。
【請求項２】請求項１に記載のコード変換装置であっ
て、コード変換部（40）は、各種のコード系の入力データを特定コード系へ変換する
コード変換手段の集合体であるコード変換手段群Ｉ
（４）と、コード変換手段群Ｉ（４）の出力である特定コード系の
データを各種のコード系へ変換するコード変換手段の集
合体であるコード変換手段群II（５）とにより構成され、コード変換手段群Ｉ（４）のコード変換手段はコード系
判定部（９）および統計計算部（３）における判定結果
により選択され、コード変換手段群II（５）の変換手段は、別途指定され
たコード系に対応するものが選択されることを特徴とするコード変換装置。