JPS6255725A - ソ−テイング装置 - Google Patents
ソ−テイング装置Info
- Publication number
- JPS6255725A JPS6255725A JP19376285A JP19376285A JPS6255725A JP S6255725 A JPS6255725 A JP S6255725A JP 19376285 A JP19376285 A JP 19376285A JP 19376285 A JP19376285 A JP 19376285A JP S6255725 A JPS6255725 A JP S6255725A
- Authority
- JP
- Japan
- Prior art keywords
- sorting
- data
- file
- circuit
- keys
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔発明の利用分野〕
本発明は、情報処理を効率的に行うためのデータのソー
ティングに係り、特に大量データの処理に好敵なソーテ
ィング装置に関する。
ティングに係り、特に大量データの処理に好敵なソーテ
ィング装置に関する。
従来、例えば、特開昭５９−１５３３６６号の装置はデ
ータを記憶する際専用のデータ圧縮回路を用いてデータ
圧縮を施こし、記憶装置の使用容量の低減化を図ってい
る。
ータを記憶する際専用のデータ圧縮回路を用いてデータ
圧縮を施こし、記憶装置の使用容量の低減化を図ってい
る。
しかし、ソーティング装置に適用する場合、必ずしもソ
ートキーをソートしやすい順番に配列し。
ートキーをソートしやすい順番に配列し。
比較回数を低減化するための符号変換する点は配慮され
ていなかった。
ていなかった。
本発明の目的は、外部記憶装置上の大量データを高速か
つ小さな容量の作業用外部記憶装置で処理するソーティ
ング装置を提供することにある。
つ小さな容量の作業用外部記憶装置で処理するソーティ
ング装置を提供することにある。
一般に、外部記憶装置にあるデータのソーティングを行
なう際、ランダムに発生させたデータに対し、ソートキ
ーの数を１個から２個に増やすと処理時間が３０％程度
増加することは実験よりわかっている（第４図）。また
汎用計算機ではデータの単位としてワード（１６ビツト
または３２ビツト）が多く用いられているが、処理の用
途によっては不要ビットが多い。これらの魚身考慮すれ
ばソート処理を行なう前にソートキーを優先順位の高い
ものを、先頭から並べ、大小関係が比較できるよう符号
変換を行ない、キーとなるビットを一度に比較できる比
較回路を用いて複数キーデータを１キーにまとめて、ソ
ートの高速化を計ること、さらに不要ビットをなくし、
データを圧縮することによってファイル転送の低減、一
度の内部ソートでソートされるデータ量を増やすことに
よすなわち、本発明は入力ファイル、出力ファイル、ソ
ートワークファイルなどの外部記憶装置と、入出力バッ
ファ、ソートワークエリアを含む内部記憶装置と、゛ソ
ート回路とからなるソーティング装置において、データ
の構造をソートに適したデータ構造に変換するデータ変
換回路と、ソート完了後、もとのデータ構造にデータを
復元するデータ復元回路とを設けたことを特徴とするも
のである。
なう際、ランダムに発生させたデータに対し、ソートキ
ーの数を１個から２個に増やすと処理時間が３０％程度
増加することは実験よりわかっている（第４図）。また
汎用計算機ではデータの単位としてワード（１６ビツト
または３２ビツト）が多く用いられているが、処理の用
途によっては不要ビットが多い。これらの魚身考慮すれ
ばソート処理を行なう前にソートキーを優先順位の高い
ものを、先頭から並べ、大小関係が比較できるよう符号
変換を行ない、キーとなるビットを一度に比較できる比
較回路を用いて複数キーデータを１キーにまとめて、ソ
ートの高速化を計ること、さらに不要ビットをなくし、
データを圧縮することによってファイル転送の低減、一
度の内部ソートでソートされるデータ量を増やすことに
よすなわち、本発明は入力ファイル、出力ファイル、ソ
ートワークファイルなどの外部記憶装置と、入出力バッ
ファ、ソートワークエリアを含む内部記憶装置と、゛ソ
ート回路とからなるソーティング装置において、データ
の構造をソートに適したデータ構造に変換するデータ変
換回路と、ソート完了後、もとのデータ構造にデータを
復元するデータ復元回路とを設けたことを特徴とするも
のである。
〔発明の実施例〕
以下、本発明の実施例について説明する。
第１図には、本発明の一実施例が示されている。
図において、外部ソートは、入力ファイル５上にあるデ
ータを入力バッファ５を介してソートワクファイル３０
に移してから実際のソーティングを行ない、ソート完了
後、出力４ベツフア４０を介して出力ファイル４５に出
力される。ここで入カフ ゛アイル５上データを
ソー、トワークファイル３０に移す際に、データ変換回
路によって第４図のよう）＝、ソートキーの配置換え、
符号化およびデータ全体の圧縮を行なう、ソートキーの
配置換えとは、優先順位の高いキーから順々に並べ換え
ること、符号化とはソートキー全体の集合を１個または
若千個とし、順序が正しく判定されるように変換するこ
とである。データ圧縮とは実際に使用されない無効ビッ
トを詰めることである。このように変換されたデータを
ソート回路２０とソートワークエリア２５．およびソー
トワークファイル３０を用いてソートする。この時ソー
トキーは１ケ所にまとめられて符号化されているので、
キー全体のビット数を一度に比較する比較回路を用いる
ことにより、判定の効率を高めることができる。二二で
のソートアルゴリズムには従来方式のものとする。
ータを入力バッファ５を介してソートワクファイル３０
に移してから実際のソーティングを行ない、ソート完了
後、出力４ベツフア４０を介して出力ファイル４５に出
力される。ここで入カフ ゛アイル５上データを
ソー、トワークファイル３０に移す際に、データ変換回
路によって第４図のよう）＝、ソートキーの配置換え、
符号化およびデータ全体の圧縮を行なう、ソートキーの
配置換えとは、優先順位の高いキーから順々に並べ換え
ること、符号化とはソートキー全体の集合を１個または
若千個とし、順序が正しく判定されるように変換するこ
とである。データ圧縮とは実際に使用されない無効ビッ
トを詰めることである。このように変換されたデータを
ソート回路２０とソートワークエリア２５．およびソー
トワークファイル３０を用いてソートする。この時ソー
トキーは１ケ所にまとめられて符号化されているので、
キー全体のビット数を一度に比較する比較回路を用いる
ことにより、判定の効率を高めることができる。二二で
のソートアルゴリズムには従来方式のものとする。
ソートされた変換構造のデータはソートワークファイル
３０から出力バッファ４０を介し、ここでデータ復元回
路３５によって元のデータ構造に直されてから出力ファ
イル４５に転送される。
３０から出力バッファ４０を介し、ここでデータ復元回
路３５によって元のデータ構造に直されてから出力ファ
イル４５に転送される。
データ変換回路ｌＯ、データ復元回路３５、ソート回路
２０は同一回路としてソフトウェアによってその機能を
実現することも可能であるが、ここでは３回路を用意し
、専用化することによって高速化を計っている。
２０は同一回路としてソフトウェアによってその機能を
実現することも可能であるが、ここでは３回路を用意し
、専用化することによって高速化を計っている。
本実施例によれば大量データを高速、かつ小さなソート
ワークファイルでソートできる。
ワークファイルでソートできる。
納上説明したように、本発明によればソートキー数−少
による順序の判定回数減少、データ圧縮ζ″′ による、ソートワークエリア上で内部ソートによって生
成される連の大型化がはかれるのでソーティング全体の
高速化の効果があり、またデータ圧縮はソートワークフ
ァイルの容量削減とそれにともなうデータ転送時間減少
の効果もある。
による順序の判定回数減少、データ圧縮ζ″′ による、ソートワークエリア上で内部ソートによって生
成される連の大型化がはかれるのでソーティング全体の
高速化の効果があり、またデータ圧縮はソートワークフ
ァイルの容量削減とそれにともなうデータ転送時間減少
の効果もある。
第１図は本発明の実施例を示す構成図、第２図は第１図
図示実施例の処理フローチャート、第３図は第１図図示
実施例におけるデータ構造変換例を示す図、第４図はソ
ーティング速度・ソートキー数の関係を示す図である。
図示実施例の処理フローチャート、第３図は第１図図示
実施例におけるデータ構造変換例を示す図、第４図はソ
ーティング速度・ソートキー数の関係を示す図である。
Claims (1)
- １、入力ファイル、出力ファイル、ソートワークファイ
ルなどの外部記憶装置と、入出力バッファ、ソートワー
クエリアを含む内部記憶装置と、ソート回路とからなる
ソーティング装置において、データの構造をソートに適
したデータ構造に変換するデータ変換回路と、ソート完
了後、もとのデータ構造にデータを復元するデータ復元
回路とを設けたことを特徴とするソーティング装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19376285A JPS6255725A (ja) | 1985-09-04 | 1985-09-04 | ソ−テイング装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19376285A JPS6255725A (ja) | 1985-09-04 | 1985-09-04 | ソ−テイング装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPS6255725A true JPS6255725A (ja) | 1987-03-11 |
Family
ID=16313383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19376285A Pending JPS6255725A (ja) | 1985-09-04 | 1985-09-04 | ソ−テイング装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS6255725A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010204381A (ja) * | 2009-03-03 | 2010-09-16 | Sony Corp | カメラ支持装置 |
-
1985
- 1985-09-04 JP JP19376285A patent/JPS6255725A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010204381A (ja) * | 2009-03-03 | 2010-09-16 | Sony Corp | カメラ支持装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4905562B2 (ja) | データ圧縮装置、及びデータ復元装置 | |
| EP0650264B1 (en) | Byte aligned data compression | |
| CN101820426B (zh) | 一种在线备份服务软件中的数据压缩方法 | |
| Ishida et al. | COMPACT: A hybrid method for compressing test data | |
| Yamaguchi et al. | An efficient method for compressing test data | |
| JPH03204232A (ja) | 圧縮データの符号化方法 | |
| CN1031144A (zh) | 存贮字符图形的方法和字符图形应用系统 | |
| JP2006526367A (ja) | 隣接比較に基づくロスレス高速画像圧縮システム | |
| JPH03204233A (ja) | データ圧縮方法 | |
| CN108234464B (zh) | 用于信号集中监测系统的采集数据高效压缩方法 | |
| JPH07261977A (ja) | データ圧縮方法および装置ならびにデータ復元方法および装置 | |
| CN1584875A (zh) | 批量计算机文件的遍历性压缩和解压缩方法 | |
| CN113612483A (zh) | 一种工业实时数据无损编码压缩方法 | |
| JPS6255725A (ja) | ソ−テイング装置 | |
| JPH0779265B2 (ja) | 圧縮データの復号方法 | |
| JPH0779264B2 (ja) | 圧縮データ復元方法 | |
| JPH0243652A (ja) | データ転送方式 | |
| CN1656688B (zh) | 在压缩之前处理数字数据 | |
| JPH0378322A (ja) | データ圧縮方式 | |
| JPH01314430A (ja) | 可変ビット長コード語のビット長通信方法 | |
| SAADA et al. | Dna sequences compression based on the frequencies of its nucleotides | |
| JPS6276931A (ja) | デ−タ圧縮装置 | |
| SAADA et al. | Dna sequences compression techniques based on its binary representation | |
| JP2923952B2 (ja) | マージ処理方法 | |
| Kim et al. | Dual pattern compression using data-preprocessing for large-scale gpu architectures |