JPH05342013A - 文字処理方式 - Google Patents

Abstract

(57)【要約】 【目的】 文字処理が高速に行なえるようにし、バッフ
ァの内容を記憶装置に反映してもデータの内容が書き換
わることがなく、読み戻し以後の文字の解釈を誤らせて
しまうことはないようにする。 【構成】 記憶装置１はデータを格納する。入出力バッ
ファ２は記憶装置からデータを入力し、また記憶装置に
出力する際に用いる。文字バッファ３は読み戻された文
字を格納する。読み戻しフラグ４は読み戻しが行なわれ
たかどうかを判定するためのものである。解析部５は読
み込んだ文字列を解析する。解析部５では、入出力部６
から１文字ずつ文字を受け取って解析を行なってトーク
ン（文字列）を切り出す。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文字処理方式に関し、
特に、その解釈のために１文字先読みする場合にその読
み込んだ文字をもう一度読み込むために読み戻す文字処
理方式に関する。

【０００２】

【従来の技術】記憶装置に格納されたデータの解析を行
なうには、入出力バッファ（記憶装置へのアクセス回数
を減らすために一度に多くの文字を読み込んで、そねを
保持しておくための領域として入出力バッファを備えて
いる）に１入出力バッファ分データを入力し、そこから
順に１文字ずつ読み込み文字列を解析していくが、１つ
の文字列の終りは終りの次の１文字を読んで、それが区
切り文字であることを確認して始めて分かる。たとえ
ば、図５のようなデータを解釈する場合、まず最初に
“ｘ”という１文字を読み込む。英文字は区切り文字で
はないのでこの文字列が１文字で終るのか後ろに文字が
続くのかはこの時点では分からない。つぎの１文字を読
み込むと“＝”という文字は区切り文字なので“ｘ”は
１文字の文字列であることがわかる。このときには
“＝”を読み込んでしまっているが、これは読み終えた
“ｘ”とは関係がなく、“＝”は次の文字列の先頭の１
文字にあたるので、次の文字列を処理するときに文字列
の先頭から読み込めるように読み込む前の状態に戻す必
要がある。この１文字を戻す処理を「読み戻し」と呼
ぶ。

【０００３】あるシステムにおいて、入出力バッファに
直接読み込んだ１文字を読み戻すためには、入出力バッ
ファの現在の入力位置から読み込んだ文字のバイト数分
（日本語文字のように複数バイトで文字が構成されてい
ることもあるので）入力位置を戻し、その位置に読み込
んだ文字を書き込み、もう一度その文字のバイト数分入
力位置を戻す処理が必要になる。

【０００４】コンピュータに入力されるデータが、１文
字が１バイトで表せない日本語文字や韓国語文字などを
扱う場合１文字が１バイト以上になる。扱うデータがこ
のような多バイト文字のとき、読んだ文字が入出力バッ
ファの終端にまたがる場合、その文字を読み戻す処理は
複雑になる。

【０００５】入出力バッファの最後の１バイトから始ま
る多バイト文字を読み込むとその読み込んだ１バイト分
だけではどの文字であるか判定できないためさらにもう
１バイト分文字を読み込む必要があり、そのため多バイ
ト文字を読み込だ時点で入出力バッファの内容は次のデ
ータによって更新されてしまうことがある。この場合１
文字を読み戻すためにはまず入力位置を戻すために入出
力バッファに前のデータを記憶装置から入力し、入出力
位置を最後の１バイトに位置付ける。その位置に読み戻
す文字の１バイト目を書き込み、次の１バッファ分のデ
ータを記憶装置から入力する。その先頭に読み戻す文字
の２バイト目以降を書き込み、再び前のデータを入出力
バッファから入力し、入出力位置を最後に１バイトに位
置づけるという操作が必要である。

【０００６】

【発明が解決しようとする課題】記憶装置と入出力バッ
ファ間の入出力は記憶装置が磁気ディスク装置などアク
セス時間が遅いものであれば時間がかかる。また、読み
戻す文字が指定できるシステムにおいて入出力バッファ
に直接読み戻すと、バッファの内容が記憶装置に反映さ
れてデータの内容が変更されるため、もし本来ならば、
日本語文字のような多バイト文字を読み戻すべきところ
に英文字のような１バイト文字を読み戻すと、その読み
戻した文字以降が正しく日本語文字の並びと解釈できな
くなってしまうという問題もある。例えば、図６のよう
なデータを解釈するとき“日”という文字を読み込んだ
時点で“ａ”という文字を読み戻すと入出力バッファの
内容は図７のようになる。これを記憶装置に反映すると
データ自体が変更されてしまい、以後このデータを解析
するときは読み戻した“ａ”は英文字と認識できるが、
次の１バイトはそれだけでは文字と認識できないため、
さらに次の“本”という文字の１バイトを読み込み認識
しようとし、同じように以降のデータも正しく認識され
ない。

【０００７】

【課題を解決するための手段】本発明の文字処理方式
は、記憶装置からデータを読み込むための入出力バッフ
ァと、読み戻した１文字を記憶する文字バッファと、読
み戻しが行なわれたどうかを判定するための読み戻しフ
ラグを備え、文字の読み戻しが行なわれた場合にその文
字を前記文字バッファに格納することを特徴とする。

【０００８】

【実施例】次に、本発明について図面を参照して説明す
る。

【０００９】図１は本発明の一実施例を示す説明図、図
２はこの実施例の読み込みおよび読み戻しの動作を説明
するフローチャート、図３はこの実施例の読み込みの動
作を説明するフローチャート、図４はこの実施例の読み
戻しの動作を説明するフローチャートである。

【００１０】図１を参照すると、記憶装置１はデータを
格納するもの、入出力バッファ２は記憶装置からデータ
を入力し、また記憶装置に出力する際に用いるもの、文
字バッファ３は読み戻された文字を格納するもの、読み
戻しフラグ４は読み戻しが行なわれたかどうかを判定す
るためのもの、解析部５は読み込んだ文字列を解析する
ものである。解析部５では、入出力部６から１文字ずつ
文字を受け取って解析を行なってトークン（文字列）を
切り出す。

【００１１】まず図２を参照して、初期化処理について
説明する。読み戻しフラグはオフに設定し（ステップＳ
２０１）、文字バッファは０でクリアする（ステップＳ
２０２）。まず記憶装置１からデータを入出力バッファ
２に入力し（ステップＳ２０３）、入力が終了したかど
うか調べ（ステップＳ２０４）、終了している場合はす
でに記憶装置１から入力すべき文字が存在しないことを
意味するので、処理を終了する。もし入力文字があれ
ば、入出力バッファ２の文字入力位置が終端したかどう
か調べ（ステップＳ２０５）、文字入力位置が終端に来
ていたら、記憶装置１から新しいデータを入力する（ス
テップＳ２０３）動作から繰り返す。文字入力位置が入
出力バッファの終端に位置していないときは読み込み動
作により１文字を読み込む（ステップＳ２０６）。そし
て読み込んだ１文字がトークンの切れ目を示す区切り文
字に当たるかどうか調べ（ステップＳ２０７）、区切り
文字でなければステップＳ２０５からの読み込み動作を
繰り返す。もし、読み込んだ１文字がトークンの切れ目
の区切り文字である場合は、その文字は次の解析処理に
必要なので読み戻し動作を行ない（ステップＳ２０
８）、それまでに読み込んだ文字列を解析部５に渡しト
ークンとして解析する（ステップＳ２０９）。入力デー
タが終了するまで、ステップＳ２０４からステップＳ２
０９までの処理を繰り返す。

【００１２】次に図３を参照して、読み込み動作につい
て説明する。読み戻しが行なわれたかどうかを読み戻し
フラグ４によって調べる（ステップＳ３０１）。読み戻
しフラグがオフであれば読み戻しが行なわれていないの
で、入出力バッファ２の入力文字位置は読み込もうとし
ている文字に位置付けられているのでその位置から１バ
イト読み込む（ステップＳ３０２）。読み込んだデータ
が１バイト文字かどうか調べ（ステップＳ３０３）、１
バイト文字なら読み込み動作を終了する。１バイト文字
でなければ多バイト文字と判断して以降のバイトを繰り
返し読み込み（ステップＳ３０２〜３０３）、読み終れ
ば動作を終了し、その文字を返却する。

【００１３】もし読み戻しフラグがオンになっており読
み戻しが行なわれていたら、文字バッファ３に読み戻さ
れた文字が格納されているので文字バッファ３から１文
字読み込み（ステップＳ３０４）、読み戻しフラグ４を
オフにし（ステップＳ３０５）、読み込んだ文字を返却
値として処理を終わる。読み戻しが行なわれていると、
入出力バッファ２の入力文字位置は読み込もうとしてい
る次の文字に位置付けられているので、次の文字はその
位置から読み込むことができる。文字バッファから読み
込むときは、文字バッファ３に格納されているのは１バ
イト文字、多バイト文字にかかわらず１文字分なので、
１バイト文字か２バイト文字かを意識する必要はなく、
文字バッファから読み込んだ１文字をそのまま返す。読
み込み時に、入出力バッファ２から読み込むときは１バ
イト文字と２バイト文字が混在しているので、常に文字
が何バイトから構成されているかを認識する必要がある
が、読み戻した文字を文字バッファから読み取るときは
文字として認識されたものを必ず読むので、それが１バ
イト文字か多バイト文字かという判定は行なわなくても
よい。その分、処理の高速性が得られることになる。

【００１４】図４によって読み戻し動作について説明す
る。まず、読み戻しフラグ４を調べ（ステップＳ４０
１）、読み戻しフラグ４がオンになっていればすでに文
字バッファ３に読み戻す文字が格納されていると判断し
て何もしないで終了する。これは連続して複数の文字を
読み戻すことができないことを意味する。プログラム言
語の仕様としては１文字を読み戻すことを可能にするこ
とを要求されることは当然だが、２文字、３文字前に読
み込んだ文字までをも読み戻すことを必須とされること
はない。したがって仕様的には本実施例に問題はない。
ただし、読み戻す文字をどの１文字にするかは各システ
ムの解釈上の問題となる。本実施例は最も以前に読み戻
したものが優先されるが、最も最近に読み戻したものを
優先するようにもできる。この場合、ステップＳ４０１
で読み戻しフラグ４のチェックを行なわずに常に文字バ
ッファへの上書きをするようにすればよい。

【００１５】もし読み戻しフラグ４がオフなら、読み戻
しフラグ４をオンにして（ステップＳ４０２）、読み戻
す文字を文字バッファ３に格納し（ステップＳ４０
３）、動作を終了する。文字バッファに読み戻す際には
１バイト文字か多バイト文字かの区別を考慮する必要が
なくその上、入出力バッファの読み戻す位置の取得、読
み戻した後の読み込むための文字位置の更新作業が不要
になり、読み戻し動作が高速になる。入出力バッファ２
の入力文字位置は変更されず読み戻す文字の次の文字に
位置付けられたままになっているが、次に読み込みを行
なうときには必ず文字バッファ３に格納された文字を読
み込み、そのときに入出力バッファ２の文字入力位置を
進めないので入出力バッファ２の入力文字位置は変更す
る必要がない。

【００１６】また、文字を文字バッファに格納するとき
は１文字として読み戻す。したがって、それが１バイト
文字であるか多バイト文字であるかの区別を行なわずに
文字バッファへと格納する。このために、次の入力が行
なわれるときは１文字が取得できることになり、上述し
たような読み込み時の効率が得られる。

【００１７】また、読み戻す文字を指定する場合、読み
戻し時に読み戻す文字を直接入出力バッファに書き込む
ときは、入出力バッファの内容を更新する際に現在の入
出力バッファの内容を記憶装置１に反映するので、読み
戻しによって入出力バッファ２の内容が変更されている
ときは、今度読み込むデータ自体が書き換わってしまっ
ているので、そのため本来多バイト文字が格納されてい
たところに１バイト文字を読み戻すと多バイト文字の２
バイト目以降は文字と認識できなくなり以後の文字の並
びが解釈できなくなることがあったが、文字バッファ３
に読み戻すときは、入出力バッファ２の内は変更され
ず、記憶装置１上のデータを変更することもなく、後の
読み込みで文字の並びが認識できなくなるという問題も
回避できる。

【００１８】

【発明の効果】以上説明したように、本発明によれば、
記憶装置の入出力バッファ間の入出力を行なうことな
く、読み戻しを行なえるようになるので文字処理が高速
に行なえるようになる。また、読み戻す文字が指定でき
るようなシステムにおいても、入出力バッファに直接読
み戻さないのでバッファの内容を記憶装置に反映しても
データの内容が書き換わることがなく、読み戻し以後の
文字の解釈を誤らせてしまうことはない。

【図面の簡単な説明】

【図１】本発明の一実施例を示す説明図である。

【図２】図１の実施例の読み込みおよび読み戻しの動作
を説明するフローチャートである。

【図３】図２の実施例の読み込みの動作を説明するフロ
ーチャートである。

【図４】図２の実施例の読み戻しの動作を説明するフロ
ーチャートである。

【図５】読み戻しを説明するための入出力バッファを表
した図である。

【図６】読み戻しの問題点を説明するための入出力バッ
ファを表した図である。

【図７】読み戻しの問題点を説明するための入出力バッ
ファを表した図である。

【符号の説明】

１ 記憶装置 ２ 入出力バッファ ３ 文字バッファ ４ 読み戻しフラグ ５ 解析部 Ｓ２０１ 読み戻しフラグ初期設定ステップ Ｓ２０２ 文字バッファ初期設定ステップ Ｓ２０３ 入出力バッファ入力ステップ Ｓ２０４ 入力終了判定ステップ Ｓ２０５ 入出力バッファ終端判定ステップ Ｓ２０６ 読み込み動作ステップ Ｓ２０７ 区切り文字判定ステップ Ｓ２０８ 読み戻し動作ステップ Ｓ２０９ 文字列解析ステップ Ｓ３０１ 読み戻しフラグ判定ステップ Ｓ３０２ １バイト入力ステップ（文字バッファか
ら） Ｓ３０３ 終了判定ステップ Ｓ３０４ １文字入力ステップ（文字バッファから） Ｓ３０５ 読み戻しフラグオフ設定ステップ Ｓ４０１ 読み戻しフラグ判定ステップ Ｓ４０２ 読み戻しフラグオン設定ステップ Ｓ４０３ １文字出力ステップ（文字バッファに）

Claims (1)

【特許請求の範囲】
1. 【請求項１】 記憶装置からデータを読み込むための入
   出力バッファと、読み戻した１文字を記憶する文字バッ
   ファと、読み戻しが行なわれたどうかを判定するための
   読み戻しフラグを備え、文字の読み戻しが行なわれた場
   合にその文字を前記文字バッファに格納することを特徴
   とする文字処理方式。