JPH02294833A - 語彙解析方式 - Google Patents
語彙解析方式Info
- Publication number
- JPH02294833A JPH02294833A JP11777289A JP11777289A JPH02294833A JP H02294833 A JPH02294833 A JP H02294833A JP 11777289 A JP11777289 A JP 11777289A JP 11777289 A JP11777289 A JP 11777289A JP H02294833 A JPH02294833 A JP H02294833A
- Authority
- JP
- Japan
- Prior art keywords
- token
- storage buffer
- information
- character
- delimiter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 26
- 239000012536 storage buffer Substances 0.000 claims abstract description 36
- 238000010586 diagram Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 4
- 239000000872 buffer Substances 0.000 description 3
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 240000000220 Panda oleosa Species 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 241000233855 Orchidaceae Species 0.000 description 1
- YASYVMFAVPKPKE-UHFFFAOYSA-N acephate Chemical compound COP(=O)(SC)NC(C)=O YASYVMFAVPKPKE-UHFFFAOYSA-N 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Landscapes
- Devices For Executing Special Programs (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は複数のプログラム言語が利用できる電子計算機
システムにおいて各言語内に埋め込み利用される埋め込
み型言語の語彙解析方式に関する。
システムにおいて各言語内に埋め込み利用される埋め込
み型言語の語彙解析方式に関する。
従来、プログラム言語内に埋め込み利用される埋め込み
型言語に対する語全解析はプログラム言語ごとに用意さ
れたプリコンパイラによりプログラム言語と埋め込み型
言語とを切り分けるための語彙解析処理を行っていた。
型言語に対する語全解析はプログラム言語ごとに用意さ
れたプリコンパイラによりプログラム言語と埋め込み型
言語とを切り分けるための語彙解析処理を行っていた。
従ってプログラム言語が変わればそのつど新たな語全解
析処理部を作成しなげればならなかった。
析処理部を作成しなげればならなかった。
従来の手法では、プログラム言語内に埋め込み利用され
る埋め込み型言語が数挿のホスト言語に対して可能にな
っていくにつれて、その語柔解析処理を作成するときの
処理が複雑になり個々に語彙解析処理部をもたなければ
ならにという欠点があった。
る埋め込み型言語が数挿のホスト言語に対して可能にな
っていくにつれて、その語柔解析処理を作成するときの
処理が複雑になり個々に語彙解析処理部をもたなければ
ならにという欠点があった。
本発明の語全解析方式は、複数のプログラム言語を利用
できる電子計算機システムにおいて、プログラムのソー
ス文を１行ごとに読み取りプログラム格納バッファに格
納する入力手段と、プログラム言語を識別するプログラ
ム識別子を前記ソース文より得て、前記プログラム言語
に対する区切り子の情報が格納さ九ている区切り子テー
ブル情報から文字列を区切りトークン格納バッファに格
納し同時に文字列の先頭文字の種類やその後の文字の種
類を順次トークンパターンｌバッファに格納するトーク
ン判定手段と、前記トークン判定手段によりつくられれ
るトークンパターン格納バッファ情報とトークン格納バ
ッファ情報とプログラム言語ごとにその仕様上意味のあ
る文字列のパターンが用意されている言語タイプ別トー
クンパターンテーブル情報とから意味のあるトークンの
分割およびトークンコードの作成を行いその結果得られ
たトークンコードレコードヲトークンコードレコード格
納バッファに格納する解析手段と、前記解析手段によっ
て作成されたトークンフードレコード格納バッファの情
報をファイル等に出力する出力手段とを有し、プログラ
ム言語に依存することなく語嚢解析を行うようにして構
成される。
できる電子計算機システムにおいて、プログラムのソー
ス文を１行ごとに読み取りプログラム格納バッファに格
納する入力手段と、プログラム言語を識別するプログラ
ム識別子を前記ソース文より得て、前記プログラム言語
に対する区切り子の情報が格納さ九ている区切り子テー
ブル情報から文字列を区切りトークン格納バッファに格
納し同時に文字列の先頭文字の種類やその後の文字の種
類を順次トークンパターンｌバッファに格納するトーク
ン判定手段と、前記トークン判定手段によりつくられれ
るトークンパターン格納バッファ情報とトークン格納バ
ッファ情報とプログラム言語ごとにその仕様上意味のあ
る文字列のパターンが用意されている言語タイプ別トー
クンパターンテーブル情報とから意味のあるトークンの
分割およびトークンコードの作成を行いその結果得られ
たトークンコードレコードヲトークンコードレコード格
納バッファに格納する解析手段と、前記解析手段によっ
て作成されたトークンフードレコード格納バッファの情
報をファイル等に出力する出力手段とを有し、プログラ
ム言語に依存することなく語嚢解析を行うようにして構
成される。
次に、本発明について図面を参照して詳細に説明する。
第１図は本発明の一実施例を示すブロック図である。同
図において語彙解析方式は、入力手段１０と、トークン
判定手段２０と、解析手段３０と、出力手段４０と、言
語タイプ別区切り子テーブル５０と、言語タイプ別トー
クンパターンテーブル６０と、１レコード分プログラム
イメージ格納ハッファ７０と、トークンパターン格納バ
ッファ８０と、トークン格納バッファ９０と、トークン
コードレコード格納バッファ１００と、ソースファイル
１１０と、格納ファイル１２０とから構成されている。
図において語彙解析方式は、入力手段１０と、トークン
判定手段２０と、解析手段３０と、出力手段４０と、言
語タイプ別区切り子テーブル５０と、言語タイプ別トー
クンパターンテーブル６０と、１レコード分プログラム
イメージ格納ハッファ７０と、トークンパターン格納バ
ッファ８０と、トークン格納バッファ９０と、トークン
コードレコード格納バッファ１００と、ソースファイル
１１０と、格納ファイル１２０とから構成されている。
第７図は入力手段の処理を示す流れ図である。
同図において入力手段１０はソースファイル゜１１０内
の１プログラムをそのプログラムが終了するまで（ステ
ップ７１０）１行分ごとにプログラム格納バッファ７０
に格納し（ステップ７２０）、トークン判定手段２へ制
御をわたす。
の１プログラムをそのプログラムが終了するまで（ステ
ップ７１０）１行分ごとにプログラム格納バッファ７０
に格納し（ステップ７２０）、トークン判定手段２へ制
御をわたす。
第８図はトークン判定手段２０の処理を示す流れ図であ
る。同図においてトークン判定手段２０はプログラム格
納バッファ７０の情報を１バイトごとに読み込み、その
文字の種類，例えば英字（大文字，小文字の分類等もあ
る），数字，カナ，日本語，記号などを判断し（ステッ
プ８１０）、その文字が言語タイプ別区切り子テーブル
５０上の区切り子であれば解析手段３０へ制御を渡し（
ステップ８２０）、区切り子でなければ以降で文字や文
字種類を各バッファに格納して次の文字を読み込む処理
を繰り返す（ステップ８３０，８４０，８５０）。
る。同図においてトークン判定手段２０はプログラム格
納バッファ７０の情報を１バイトごとに読み込み、その
文字の種類，例えば英字（大文字，小文字の分類等もあ
る），数字，カナ，日本語，記号などを判断し（ステッ
プ８１０）、その文字が言語タイプ別区切り子テーブル
５０上の区切り子であれば解析手段３０へ制御を渡し（
ステップ８２０）、区切り子でなければ以降で文字や文
字種類を各バッファに格納して次の文字を読み込む処理
を繰り返す（ステップ８３０，８４０，８５０）。
判断方法は読み込んだ文字と言語タイプ別区切り子テー
ブル５０の比較である。ここで、第２図は言語タイプ別
区切り子テーブル５０の１例を示している。上記の区切
り子とは同図の区切り子群，例えば空白，ピリオド，コ
ロン等であり、真偽群とはプログラム言語タイプ別にそ
の文字が区切り子か否かを示す情報である。すなわちＦ
ＯＲＴＲＡＮならば空白，コロン，￥が区切り子であり
、ピリオド，＆は区切り子ではない。区切り子の次文字
であれば、トークンの先頭文字と判断する。
ブル５０の比較である。ここで、第２図は言語タイプ別
区切り子テーブル５０の１例を示している。上記の区切
り子とは同図の区切り子群，例えば空白，ピリオド，コ
ロン等であり、真偽群とはプログラム言語タイプ別にそ
の文字が区切り子か否かを示す情報である。すなわちＦ
ＯＲＴＲＡＮならば空白，コロン，￥が区切り子であり
、ピリオド，＆は区切り子ではない。区切り子の次文字
であれば、トークンの先頭文字と判断する。
先頭文字と判断されると、トークンパターン格納バッフ
ァ８０に文字種類を格納する（ステップ８３０）。先頭
文字以外であれば、順次その文字種類を格納していくの
だが、そのとき、英字，数字，カナ文字の繰り返しは省
略し、前の文字と比較した結果により文字種類が違う時
にそれを格納する（ステップ８４０）。
ァ８０に文字種類を格納する（ステップ８３０）。先頭
文字以外であれば、順次その文字種類を格納していくの
だが、そのとき、英字，数字，カナ文字の繰り返しは省
略し、前の文字と比較した結果により文字種類が違う時
にそれを格納する（ステップ８４０）。
第４図はトークンパターン格納バッファ８０の１例を示
している。このテーブルには先頭文字種類を最初に格納
し、その後の文字種類も順次格納される。例えば、ＡＢ
ＣＩＤ２Ｅという文字列は英字と英字一散字−＊と言う
ようになり、＊は順不同の繰り返し可能を示す。
している。このテーブルには先頭文字種類を最初に格納
し、その後の文字種類も順次格納される。例えば、ＡＢ
ＣＩＤ２Ｅという文字列は英字と英字一散字−＊と言う
ようになり、＊は順不同の繰り返し可能を示す。
また、１バイトずつ読み込む際、同時にそのまま文字を
トークン格納バッファ９０に格納する（ステップ８５０
）。ここで、第５図はトークン格納バッファ９０を示す
。図で示す通り、このバッファには１行分のトークンイ
メージが、空白区切りで順次格納されている。
トークン格納バッファ９０に格納する（ステップ８５０
）。ここで、第５図はトークン格納バッファ９０を示す
。図で示す通り、このバッファには１行分のトークンイ
メージが、空白区切りで順次格納されている。
トークン判定手段２０はこのような処理をトークンがで
きあがるまで行う。
きあがるまで行う。
第９図は解析手段３０の処理を示す流れ図である。同図
において解析手段３０は、トークン判定手段２０で作成
されたトークンパターン格納バッファ８０の情報と言語
タイプ別トークンパターンテーブル６０を最初に比較す
る。比較方法は、まず、トークンパターン格納バッファ
８０の先頭文字の種類が、言語タイプ別トークンパター
ンテーブル６０の先頭文字種類内にあるかを判断する。
において解析手段３０は、トークン判定手段２０で作成
されたトークンパターン格納バッファ８０の情報と言語
タイプ別トークンパターンテーブル６０を最初に比較す
る。比較方法は、まず、トークンパターン格納バッファ
８０の先頭文字の種類が、言語タイプ別トークンパター
ンテーブル６０の先頭文字種類内にあるかを判断する。
ここで存在していれば、その後の文字種類パターンが等
しいものを探す。さらに、それも存在していたならば、
言語タイプ別真偽群を参照し、ＹＥＳであればトークン
として成り立つことにする（ステップ９１０）。
しいものを探す。さらに、それも存在していたならば、
言語タイプ別真偽群を参照し、ＹＥＳであればトークン
として成り立つことにする（ステップ９１０）。
第３図は言語タイプ別トークンパターンテーブル６０の
１例である。例えば、１． ０ Ｅ ２という文字列は
数字一ピリオドー数字一Ｅ一数字というトークンパター
ンになり、パターン７にあたる。
１例である。例えば、１． ０ Ｅ ２という文字列は
数字一ピリオドー数字一Ｅ一数字というトークンパター
ンになり、パターン７にあたる。
ここで、言語タイプがＣＯＢＯＬであればトークンには
ならず、ＦＯ’ＲＴＲＡＮであればトークンとして定義
され、トークンコードは２３となる。
ならず、ＦＯ’ＲＴＲＡＮであればトークンとして定義
され、トークンコードは２３となる。
トークンパターンとしてあてはまった時、ト一クン判定
手段２０で作成さｈたトークン格納バッファ９０上のパ
ターンと対応する文字列イメージからキーワードの存在
チェックを行う。この存在チェックは文字列の先頭文字
からみて部分的にでも存在すればキーワードとして分割
する。その他の文字列は分割されたその次の文字を先頭
文字とみなして、また言語タイプ別トークンパターンテ
ーブル６０からパターンを探す（ステップ９１０）とい
う処理にもどる（ステップ９２０，９３０）。
手段２０で作成さｈたトークン格納バッファ９０上のパ
ターンと対応する文字列イメージからキーワードの存在
チェックを行う。この存在チェックは文字列の先頭文字
からみて部分的にでも存在すればキーワードとして分割
する。その他の文字列は分割されたその次の文字を先頭
文字とみなして、また言語タイプ別トークンパターンテ
ーブル６０からパターンを探す（ステップ９１０）とい
う処理にもどる（ステップ９２０，９３０）。
キーワードはそのトークンコードをそのままトークンコ
ードレコード格納ハッファ１００（第６図参照）に格納
し、トークンパターンとしてあてはまるものは言語タイ
プ別トークンパターンテーブル６０のトークンフードを
トークンコードレコード格納バッファ１００に格納する
（ステップ９３０）。パターンにあてはまらなかった文
字列については、例外トークンコードをトークンコード
レコード格納バッファ１００に格納する（ステップ９４
０）。以上の処理を行い、出力手段４０にわたるまでが
解析手段３０の処理である。
ードレコード格納ハッファ１００（第６図参照）に格納
し、トークンパターンとしてあてはまるものは言語タイ
プ別トークンパターンテーブル６０のトークンフードを
トークンコードレコード格納バッファ１００に格納する
（ステップ９３０）。パターンにあてはまらなかった文
字列については、例外トークンコードをトークンコード
レコード格納バッファ１００に格納する（ステップ９４
０）。以上の処理を行い、出力手段４０にわたるまでが
解析手段３０の処理である。
第１０図は圧力手段４０の処理を示す流れ図である。同
図において出力手段４０は解析手段３０で作成されたト
ークンコードレコード格納バッファ１００の情報を格納
ファイル１２０に出力し（ステップ１ ０ １ ０）、
入力手段１０に制御を渡す。
図において出力手段４０は解析手段３０で作成されたト
ークンコードレコード格納バッファ１００の情報を格納
ファイル１２０に出力し（ステップ１ ０ １ ０）、
入力手段１０に制御を渡す。
以上の手段を行い、入力手段１０において、ソースデー
タがなくなったら本語蘭解析処理方式は終了となる。
タがなくなったら本語蘭解析処理方式は終了となる。
本発明はプログラム言語内に埋め込み利用される埋め込
み型言語に対する語彙解析を、（１）プログラム言語ご
とに解析処理を考えることなく１つの共通な処理系で行
える。
み型言語に対する語彙解析を、（１）プログラム言語ご
とに解析処理を考えることなく１つの共通な処理系で行
える。
（２）プログラム言語としてのデータをテーブルにのせ
ることにより、数種のプログラム言語に使用できる。
ることにより、数種のプログラム言語に使用できる。
という効果がある。
第１図は本発明の一実施例を示すブロック図、第２図は
言語タイプ別区切り子テーブルの例を示す説明図、第３
図は言語タイプ別トークンパターンテーブルの例を示す
説明図、第４図はトークンパターン格納バッファの例を
示す説明図、第５図はトークン格納バッファの例を示す
説明図、第６図はトークンコードレコード格納バッファ
の例を示す説明図、第７図〜第１０図は動作を示す流れ
図である。 １０・・・・・・入力手段、２０・・・・・・トークン
判定手段、３０・・・・・・解析手段、４０・・・・・
・出力手段、５０・・・・・・言語タイプ別区切り子テ
ーブノ呟 ６０・・・・・・言語タイプ別トークンパタ
ーンテーブル、７０・・・・・・プログラム（イメージ
）格納バッファ、８０・・・・・・トークンパターン格
納バッファ、９０・・・・・・トークン格納ハッファ、
１００・・・・・・トークンコードレコード格納バッフ
ァ、１１０・・・・・・ソースファイル、１２０・・・
・・・格納ファイル（媒体）。 代理人 弁理士 内 原 音 ネ ■ １コ ７ｌ１ ＼ つ ケκ 丁ペ 田１１予ｊ（へ 千 ９ 図 牛 凹
言語タイプ別区切り子テーブルの例を示す説明図、第３
図は言語タイプ別トークンパターンテーブルの例を示す
説明図、第４図はトークンパターン格納バッファの例を
示す説明図、第５図はトークン格納バッファの例を示す
説明図、第６図はトークンコードレコード格納バッファ
の例を示す説明図、第７図〜第１０図は動作を示す流れ
図である。 １０・・・・・・入力手段、２０・・・・・・トークン
判定手段、３０・・・・・・解析手段、４０・・・・・
・出力手段、５０・・・・・・言語タイプ別区切り子テ
ーブノ呟 ６０・・・・・・言語タイプ別トークンパタ
ーンテーブル、７０・・・・・・プログラム（イメージ
）格納バッファ、８０・・・・・・トークンパターン格
納バッファ、９０・・・・・・トークン格納ハッファ、
１００・・・・・・トークンコードレコード格納バッフ
ァ、１１０・・・・・・ソースファイル、１２０・・・
・・・格納ファイル（媒体）。 代理人 弁理士 内 原 音 ネ ■ １コ ７ｌ１ ＼ つ ケκ 丁ペ 田１１予ｊ（へ 千 ９ 図 牛 凹
Claims (1)
- 複数のプログラム言語を利用できる電子計算機システム
において、プログラムのソース文を１行ごとに読み取り
プログラム格納バッファに格納する入力手段と、プログ
ラム言語を識別するプログラム識別子を前記ソース文よ
り得て、前記プログラム言語に対する区切り子の情報が
格納されている区切り子テーブル情報から文字列を区切
りトークン格納バッファに格納し同時に文字列の先頭文
字の種類やその後の文字の種類を順次トークンパターン
格納バッファに格納するトークン判定手段と、前記トー
クン判定手段によりつくられれるトークンパターン格納
バッファ情報とトークン格納バッファ情報とプログラム
言語ごとにその仕様上意味のある文字列のパターンが用
意されている言語タイプ別トークンパターンテーブル情
報とから意味のあるトークンの分割およびトークンコー
ドの作成を行いその結果得られたトークンコードレコー
ドをトークンコードレコード格納バッファに格納する解
析手段と、前記解析手段によって作成されたトークンコ
ードレコード格納バッファの情報をファイル等に出力す
る出力手段とを有し、プログラム言語に依存することな
く語彙解析を行うことを特徴とする語彙解析方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11777289A JPH02294833A (ja) | 1989-05-10 | 1989-05-10 | 語彙解析方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11777289A JPH02294833A (ja) | 1989-05-10 | 1989-05-10 | 語彙解析方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH02294833A true JPH02294833A (ja) | 1990-12-05 |
Family
ID=14719946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11777289A Pending JPH02294833A (ja) | 1989-05-10 | 1989-05-10 | 語彙解析方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH02294833A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1994008290A1 (en) * | 1992-10-02 | 1994-04-14 | Fujitsu Limited | System for writing program in user's language |
-
1989
- 1989-05-10 JP JP11777289A patent/JPH02294833A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1994008290A1 (en) * | 1992-10-02 | 1994-04-14 | Fujitsu Limited | System for writing program in user's language |
| US5640576A (en) * | 1992-10-02 | 1997-06-17 | Fujitsu Limited | System for generating a program using the language of individuals |
| JP3373517B2 (ja) * | 1992-10-02 | 2003-02-04 | 富士通株式会社 | 個人の言語によるプログラム作成システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9026485B2 (en) | Pattern-recognition processor with matching-data reporting module | |
| JP2726568B2 (ja) | 文字認識方法及び装置 | |
| US8648621B2 (en) | Counter operation in a state machine lattice | |
| CN104471552A (zh) | 用于处置状态机引擎所接收的数据的方法及系统 | |
| US7779049B1 (en) | Source level optimization of regular expressions | |
| KR20200038984A (ko) | 동의어 사전 작성 장치, 동의어 사전 작성 프로그램 및 동의어 사전 작성 방법 | |
| US6345322B1 (en) | Intelligently interpreting errors in build output log files | |
| JP3828379B2 (ja) | テスト仕様生成支援装置、方法、プログラム及び記録媒体 | |
| JP2002117027A (ja) | 感情情報抽出方法および感情情報抽出プログラムの記録媒体 | |
| KR20020009583A (ko) | 색인키 데이터 필드를 추출하기 위한 시스템 및 방법 | |
| JP6343081B1 (ja) | 符号符号分類検索ソフトウェアを記録した記録媒体 | |
| JP2693914B2 (ja) | 検索システム | |
| CN114153496A (zh) | 一种基于区块链的高速可并行代码相似度对比方法和系统 | |
| JP3251203B2 (ja) | Ｊｃｌプログラム変換装置、ｊｃｌプログラム変換方法、および、記録媒体 | |
| CN116360794A (zh) | 数据库语言解析方法、装置、计算机设备及存储介质 | |
| JPH02294833A (ja) | 語彙解析方式 | |
| US5987253A (en) | Method for classification of year-related data fields in a program | |
| JP6347023B1 (ja) | コード自動記述２ソフトウェアを記録した記録媒体 | |
| CN113408597B (zh) | 一种基于两阶段框架的Java方法名推荐方法 | |
| JP3018579B2 (ja) | 名前検索処理装置 | |
| JP6318327B1 (ja) | コード自動記述ソフトウェアを記録した記録媒体 | |
| JP2722684B2 (ja) | ファイルシステムの検索装置 | |
| JP4139805B2 (ja) | 字句をデータに変換する装置、方法及びプログラム | |
| JP2724235B2 (ja) | 変数名称推論装置 | |
| CN118171250A (zh) | 一种代码指纹溯源识别方法、系统、终端及存储介质 |