JPS5822434A - 日本語文章処理システム - Google Patents
日本語文章処理システムInfo
- Publication number
- JPS5822434A JPS5822434A JP56120199A JP12019981A JPS5822434A JP S5822434 A JPS5822434 A JP S5822434A JP 56120199 A JP56120199 A JP 56120199A JP 12019981 A JP12019981 A JP 12019981A JP S5822434 A JPS5822434 A JP S5822434A
- Authority
- JP
- Japan
- Prior art keywords
- data
- japanese
- document
- input
- coded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/018—Input/output arrangements for oriental characters
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Document Processing Apparatus (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
本発明は文章石層システムに係り、特に大量の日本語文
章データの保存または転記が必要なシステムに関する◎ 日本語文章を蓄積、検索ｔ７ｔは電子メールとして送る
場合、データ量の少ないことが望ましい。
章データの保存または転記が必要なシステムに関する◎ 日本語文章を蓄積、検索ｔ７ｔは電子メールとして送る
場合、データ量の少ないことが望ましい。
従来、日本餠文章処瑠システムでは、日本語文章データ
１１文字２バイトの漢字コードで表わしていた。Ｓバイ
トで表現できる文字種約６４０００に対し、実際に使用
さｎる漢字は約１万であり非常にすきまの多い；−ド化
方式でろ−）九〇他方、文章データは文字の無秩序な並
びではなく、数千〜数万種の決うた文字の並び（単語）
が一定の規則九より配置されたものである。したがって
、従来の漢字コードにエリ日本語文章を表現する方法は
きわめて冗長性が尚く、処理効率が悪匹という欠点があ
った。本発明は、日本語文章の冗長性に着目し、一連の
文字の並び（単語）に対して漢字コードと重複しないよ
うにコードを割り尚て、これと従来の１文字率位の漢字
コードを併用することで、処理対象のデータ量を大量に
減らし、データの格納スペースの節減、データ転送処理
効率の同上を図ることを目的とする。
１１文字２バイトの漢字コードで表わしていた。Ｓバイ
トで表現できる文字種約６４０００に対し、実際に使用
さｎる漢字は約１万であり非常にすきまの多い；−ド化
方式でろ−）九〇他方、文章データは文字の無秩序な並
びではなく、数千〜数万種の決うた文字の並び（単語）
が一定の規則九より配置されたものである。したがって
、従来の漢字コードにエリ日本語文章を表現する方法は
きわめて冗長性が尚く、処理効率が悪匹という欠点があ
った。本発明は、日本語文章の冗長性に着目し、一連の
文字の並び（単語）に対して漢字コードと重複しないよ
うにコードを割り尚て、これと従来の１文字率位の漢字
コードを併用することで、処理対象のデータ量を大量に
減らし、データの格納スペースの節減、データ転送処理
効率の同上を図ることを目的とする。
この目的は日本語文章を処理するシステムに２いて、入
力さｎた日本語文章データを、文字種別に部分文字列に
分離する手段と、該分離された一身の部分文字をｆ供用
の辞沓倉用いてコード化または部分的にコード化する正
変換手段と、該コード化された日本語文章データを保存
、転記その他の処理を行ない、必要に応じて逆変換用の
辞書を用いて元の日本語文章に復元する逆変換手段を設
けたこと１ｋｑ！Ｉ徴とする日本語文章処理システムに
よって達成される。
力さｎた日本語文章データを、文字種別に部分文字列に
分離する手段と、該分離された一身の部分文字をｆ供用
の辞沓倉用いてコード化または部分的にコード化する正
変換手段と、該コード化された日本語文章データを保存
、転記その他の処理を行ない、必要に応じて逆変換用の
辞書を用いて元の日本語文章に復元する逆変換手段を設
けたこと１ｋｑ！Ｉ徴とする日本語文章処理システムに
よって達成される。
本発明は、日本語文章データが漢字、カタカナ、ひらが
な、アルファベット、数字等の混在したものであり、こ
れら文字種別の変化する位置で区切ることにエリ簡単に
部分文字列が得られることを利用する・ 即ち、入力データの個々の文字についてよ記文字種別を
調べ、文字種別が同一の一連の文字全ひとつの部分文字
列として抽出し、この文字コードが辞書に登録さルてい
るかどうか判定し、登録さｎていればそのコードに変換
し、登録されていなければもとの漢字コードのｔまとす
る方式である・以下本発明を図ｒｋＪ′ｆｒ使って詳細
に説明するＯ第１図は本発明の一実施例を示す漢字／単
語コード系を示す図である。
な、アルファベット、数字等の混在したものであり、こ
れら文字種別の変化する位置で区切ることにエリ簡単に
部分文字列が得られることを利用する・ 即ち、入力データの個々の文字についてよ記文字種別を
調べ、文字種別が同一の一連の文字全ひとつの部分文字
列として抽出し、この文字コードが辞書に登録さルてい
るかどうか判定し、登録さｎていればそのコードに変換
し、登録されていなければもとの漢字コードのｔまとす
る方式である・以下本発明を図ｒｋＪ′ｆｒ使って詳細
に説明するＯ第１図は本発明の一実施例を示す漢字／単
語コード系を示す図である。
図において、１１は漢字コード領域、ｌＩｌは単語コー
ド領域、１８は制御コード領域、１４＃ｉ上位バイト、
１５ｔｉ下位バイトである。
ド領域、１８は制御コード領域、１４＃ｉ上位バイト、
１５ｔｉ下位バイトである。
第３図は本発明の一実施例を示す全体のブロック図であ
る。
る。
図において、ｚＯは入出力端末、Ｂ１は入出力側御゛部
、ｇｓＦｉ文章データバッファ、８８は文字種別判定部
、！４＃′ｉ文字種別判定テーブル、１１５は文章デー
タ圧縮部、１６は単語コード変換辞書テーブル、２７は
圧縮データバッファ、８８はデータ処理Ｓ（蓄積、検索
、電子メール処り、２９は文章データ伸長部、８０は単
語コード逆Ｒ換辞書テーブル、８１はディスクである。
、ｇｓＦｉ文章データバッファ、８８は文字種別判定部
、！４＃′ｉ文字種別判定テーブル、１１５は文章デー
タ圧縮部、１６は単語コード変換辞書テーブル、２７は
圧縮データバッファ、８８はデータ処理Ｓ（蓄積、検索
、電子メール処り、２９は文章データ伸長部、８０は単
語コード逆Ｒ換辞書テーブル、８１はディスクである。
ここで８５゜ｇ６は正変換手段ｓ ′Ｂ９ｅ８０は逆変
換手段という。
換手段という。
第８図は本発明の一実施例を示す文字種別判定テーブル
を示す図である０図において、８８は漢字コードの上位
バイト、８８は文字種別である・第４図は本発明の一実
施例を示す単一コード変換辞書を示す図である。図にお
いて４１は単語、４怠は単語コードである。
を示す図である０図において、８８は漢字コードの上位
バイト、８８は文字種別である・第４図は本発明の一実
施例を示す単一コード変換辞書を示す図である。図にお
いて４１は単語、４怠は単語コードである。
さて、オペレータに１す「日本語文書処理システムは計
算機による事務合理化の決定版です０」という文章が入
出力端末ｇｏより入力されると。
算機による事務合理化の決定版です０」という文章が入
出力端末ｇｏより入力されると。
入出刃側＃ｆＩ６ｓｌを介して文章データバッファＢＢ
に格納される。
に格納される。
文字種別判定部Ｓ８は、文字種別判定テーブルｍａ（８
８図に示す）をもとに尚該文章を以下のｌＯの部分文字
列に分解する・ 日本語文書処理 文字種別・・・・・・・・・漢
字システム ｌ カタカナは
Ｉ ひらがな計算ＭＡ
ｌ 漢 字による
ｌ ひらがな事務合理化 １
漢 字の ｌ
ひらがな決定版 Ｉ 漢
字です Ｉ ひらがなＩ
記号 文章データ圧１１ｆ１ｍＢでは、 ＊醋コード変換辞薔
テーブル３６（纂４図に示す）ｔ−もとに、ごれらを単
ＦＩＩｉ：１−ド化し、圧縮データバッファＳ７に格納
する。この際、文字列全体が単語コード変換辞書に登録
さｎていなくても％部分的にコード化可能なものはコー
ド化し、圧縮効率を高める（例日亭語文書兜理→日本飴
、文書、処理）。
８図に示す）をもとに尚該文章を以下のｌＯの部分文字
列に分解する・ 日本語文書処理 文字種別・・・・・・・・・漢
字システム ｌ カタカナは
Ｉ ひらがな計算ＭＡ
ｌ 漢 字による
ｌ ひらがな事務合理化 １
漢 字の ｌ
ひらがな決定版 Ｉ 漢
字です Ｉ ひらがなＩ
記号 文章データ圧１１ｆ１ｍＢでは、 ＊醋コード変換辞薔
テーブル３６（纂４図に示す）ｔ−もとに、ごれらを単
ＦＩＩｉ：１−ド化し、圧縮データバッファＳ７に格納
する。この際、文字列全体が単語コード変換辞書に登録
さｎていなくても％部分的にコード化可能なものはコー
ド化し、圧縮効率を高める（例日亭語文書兜理→日本飴
、文書、処理）。
変換結果は次のようになる。
文字列
日本語文書処理 ８櫂の単語コード ＤＤ８９
文ＩＦ ｊＦ ＩＪＩ８０ 処理 Ｉ ＢＯ９１ システム システム ｊＦ ５８
９０は 漢字コードのまま（注）
ム４０Ｆ針算４！！ 計算機の単語コード
７０５８にＬ心 によｊｂｚ
４人６Ｆ事務合理化 事務 ｓ Ａ
１７８合理化 ＩＦ ７ｉ＆？９の
漢字コードのまま（注） ム４
０Ｂ決定版 決定版の単語コード ７６
５０です です ａ ４１
８Ｊ１゜ 漢字コードのまま（ａ Ａ
ＩＡ８（注）賜ともと１文字なので単語コード化の意味
Ｆｉない。
文ＩＦ ｊＦ ＩＪＩ８０ 処理 Ｉ ＢＯ９１ システム システム ｊＦ ５８
９０は 漢字コードのまま（注）
ム４０Ｆ針算４！！ 計算機の単語コード
７０５８にＬ心 によｊｂｚ
４人６Ｆ事務合理化 事務 ｓ Ａ
１７８合理化 ＩＦ ７ｉ＆？９の
漢字コードのまま（注） ム４
０Ｂ決定版 決定版の単語コード ７６
５０です です ａ ４１
８Ｊ１゜ 漢字コードのまま（ａ Ａ
ＩＡ８（注）賜ともと１文字なので単語コード化の意味
Ｆｉない。
これによりｓ９文字（５８バイト）のデータが３６バイ
トで表現でき、圧縮率は５５１１である。
トで表現でき、圧縮率は５５１１である。
圧縮さｎた文章データは讐データ処理部ｇ８を介して保
存、送受信される。逆にデータを出力する場合は、文章
データ伸長ｓｚ９にてまずＳバイト単位のコードチェッ
クが行われる。もし、単語コードがあれば（下位バイト
がＸ’ ４１ ’〜＠ｈ６１である・・・・・・ｌ！ａ
１８照）、その部分を単語コード逆Ｒ洪辞書テーブル８
０を用いて、尤の文字列にもどす◎こｆ’ＬＫより最初
に入力さｎた文字列が復元され文章データバッファに蓄
えられ、必’ＩＫ応じて入出力側＠ｉ！ＢＳ１を介して
入出力端末ＩＱへ表示したり、印刷することができる。
存、送受信される。逆にデータを出力する場合は、文章
データ伸長ｓｚ９にてまずＳバイト単位のコードチェッ
クが行われる。もし、単語コードがあれば（下位バイト
がＸ’ ４１ ’〜＠ｈ６１である・・・・・・ｌ！ａ
１８照）、その部分を単語コード逆Ｒ洪辞書テーブル８
０を用いて、尤の文字列にもどす◎こｆ’ＬＫより最初
に入力さｎた文字列が復元され文章データバッファに蓄
えられ、必’ＩＫ応じて入出力側＠ｉ！ＢＳ１を介して
入出力端末ＩＱへ表示したり、印刷することができる。
以上Ｉｉ５！明したように本発明に工ｎば日本語文章デ
ータを効果的に圧縮でき、データの格納容量の節減、電
子メール時のデータ転送量の減少を図Ａ。
ータを効果的に圧縮でき、データの格納容量の節減、電
子メール時のデータ転送量の減少を図Ａ。
転送時間が削減されるという効果がるる。
一ド系を示す図である。
第ｓ図は本発明の一実施例を示す全体のブロック図であ
る。 ａｍ１１！Ｊは本発明の一実施例を示す文字種別判定テ
ーブルを示す図である。 第４図は本発明の一実施例を示す単語コード変換辞書を
示す図である◎ 記号の説ｋＪ１１ｇｏ−・−人出カ趨宋、ｇ １−−−
−−− 入出力側＠＠、■・・・・・・文章データバッ
ファ、Ｂ８・・・・・・文字種別判定部ｓ Ｂ ４ ”
””−文字種別判定テーブル、８５・・・・・・文章プ
リ圧ａｍ％Ｂ６・・・用単飴コード変換辞書テーブル、
！Ｉ７・・・・・・圧縮データバｙ７ｙ゛ ｇｇ°°°
°°°データ処ｊ１部（蓄積、検索、電子メール処［八
８９・・・用文章データ伸畏部、ｓ。 ・・・・・・ｊＩｉ餠シード逆変換辞薔テーブル、８１
・・・・・・ディスク。 第３図 第 ４図
る。 ａｍ１１！Ｊは本発明の一実施例を示す文字種別判定テ
ーブルを示す図である。 第４図は本発明の一実施例を示す単語コード変換辞書を
示す図である◎ 記号の説ｋＪ１１ｇｏ−・−人出カ趨宋、ｇ １−−−
−−− 入出力側＠＠、■・・・・・・文章データバッ
ファ、Ｂ８・・・・・・文字種別判定部ｓ Ｂ ４ ”
””−文字種別判定テーブル、８５・・・・・・文章プ
リ圧ａｍ％Ｂ６・・・用単飴コード変換辞書テーブル、
！Ｉ７・・・・・・圧縮データバｙ７ｙ゛ ｇｇ°°°
°°°データ処ｊ１部（蓄積、検索、電子メール処［八
８９・・・用文章データ伸畏部、ｓ。 ・・・・・・ｊＩｉ餠シード逆変換辞薔テーブル、８１
・・・・・・ディスク。 第３図 第 ４図
Claims (1)
- 日本語文章を１ＩＪＩｆｆｌすゐシステムにおいて、入
力された日本語文章データを、文字種別に部分文字列に
分離する手段と、該分離され九個々の部分文字ｔ−変換
用の辞書を用ｉてコード化または部分的にコード化する
正変換手段と、該コード化された日本語文章データを保
存、転記その他の処理を行ない、必要に応じて逆変換用
の辞１１を用いて元の日本語文章に復元する逆変換手段
を設けたことを特徴とする日本語文章処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP56120199A JPS5822434A (ja) | 1981-07-31 | 1981-07-31 | 日本語文章処理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP56120199A JPS5822434A (ja) | 1981-07-31 | 1981-07-31 | 日本語文章処理システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPS5822434A true JPS5822434A (ja) | 1983-02-09 |
Family
ID=14780353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP56120199A Pending JPS5822434A (ja) | 1981-07-31 | 1981-07-31 | 日本語文章処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS5822434A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61131952A (ja) * | 1984-11-29 | 1986-06-19 | インタ−ナショナル ビジネス マシ−ンズ コ−ポレ−ション | 電話によるプロセツサ補助通信装置 |
| JPS61232724A (ja) * | 1985-04-08 | 1986-10-17 | Nippon Denki Off Syst Kk | 文字コ−ドデ−タの圧縮方式 |
| JPS63289667A (ja) * | 1987-05-21 | 1988-11-28 | Matsushita Electric Ind Co Ltd | 日本語文書編集装置 |
| JPH06131152A (ja) * | 1992-04-13 | 1994-05-13 | Compaq Computer Corp | セパレータが無いか少ない言語を表わすコンピュータファイルのためのデータ圧縮方法 |
-
1981
- 1981-07-31 JP JP56120199A patent/JPS5822434A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61131952A (ja) * | 1984-11-29 | 1986-06-19 | インタ−ナショナル ビジネス マシ−ンズ コ−ポレ−ション | 電話によるプロセツサ補助通信装置 |
| JPH0137061B2 (ja) * | 1984-11-29 | 1989-08-03 | Intaanashonaru Bijinesu Mashiinzu Corp | |
| JPS61232724A (ja) * | 1985-04-08 | 1986-10-17 | Nippon Denki Off Syst Kk | 文字コ−ドデ−タの圧縮方式 |
| JPS63289667A (ja) * | 1987-05-21 | 1988-11-28 | Matsushita Electric Ind Co Ltd | 日本語文書編集装置 |
| JPH06131152A (ja) * | 1992-04-13 | 1994-05-13 | Compaq Computer Corp | セパレータが無いか少ない言語を表わすコンピュータファイルのためのデータ圧縮方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH11215007A (ja) | データ圧縮装置及び復元装置並びにその方法 | |
| Nandi et al. | A compression technique based on optimality of LZW code (OLZW) | |
| JPS5822434A (ja) | 日本語文章処理システム | |
| CN105653506B (zh) | 一种基于字符编码转换的gpu内文本处理的方法及装置 | |
| JP7247460B2 (ja) | 対応関係生成プログラム、対応関係生成装置、対応関係生成方法、及び翻訳プログラム | |
| Teahan et al. | Preprocessing for PPM: compressing UTF-8 encoded natural language text | |
| Anto et al. | A Compression System for Unicode Files Using an Enhanced Lzw Method. | |
| Hossain et al. | Transliteration based bengali text compression using huffman principle | |
| Awajan et al. | Hybrid technique for Arabic text compression | |
| JP2729416B2 (ja) | テキストデータの復元方法 | |
| JPS58184646A (ja) | メツセ−ジ通信方式 | |
| US11720760B2 (en) | Method of abbreviated typing and compression of texts written in languages using alphabetic scripts | |
| JPH0546358A (ja) | テキストデータの圧縮方法 | |
| Adubi et al. | Syllable-based text compression: a language case study | |
| Shanmugasundaram et al. | Text preprocessing using enhanced intelligent dictionary based encoding (EIDBE) | |
| Jrai et al. | Improving LZW Compression of Unicode Arabic Text Using Multi-Level Encoding and a Variable-Length Phrase Code | |
| JPH0554077A (ja) | 単語辞書検索装置 | |
| JPS6382061A (ja) | デ−タ圧縮方式 | |
| JP4953145B2 (ja) | 文字列データ圧縮装置及びその方法並びに文字列データ復元装置及びその方法 | |
| CN100410852C (zh) | 字处理方法和装置 | |
| JPS63263561A (ja) | 日本語文の圧縮方法 | |
| Hossain et al. | Performance improvement of bengali text compression using transliteration and huffman principle | |
| JP2004013680A (ja) | 文字コード圧縮・復元装置および同方法 | |
| JPH04167821A (ja) | データ符号化及び復号化方法 | |
| JPS61232724A (ja) | 文字コ−ドデ−タの圧縮方式 |