JPH0371227A - ソーテイング方法 - Google Patents

ソーテイング方法

Info

Publication number
JPH0371227A
JPH0371227A JP2202598A JP20259890A JPH0371227A JP H0371227 A JPH0371227 A JP H0371227A JP 2202598 A JP2202598 A JP 2202598A JP 20259890 A JP20259890 A JP 20259890A JP H0371227 A JPH0371227 A JP H0371227A
Authority
JP
Japan
Prior art keywords
storage
internal
real
sorting
merge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2202598A
Other languages
English (en)
Inventor
Gary D Archer
ガリイ・デヴイド・アーチヤー
Roberts Case Douglas
ダグラス・ロバート・ケイス
Hilda J Wu
ヒルダ・ジヤ‐ウエイ・ウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH0371227A publication Critical patent/JPH0371227A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/22—Arrangements for sorting or merging computer data on continuous record carriers, e.g. tape, drum, disc
    • G06F7/36—Combined merging and sorting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99937—Sorting

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 Ａ、産業上の利用分野 この発明はソーティングに関するものであり、より詳細
には、ＣＰＵの要求によるページングがなされる仮想記
憶装置の環境におけるソーティングに関するものである
。
Ｂ、従来技術 ＣＰＵおよび段階的記憶装置 現状のデータ処理マシンを構成する命令プロセ・フサに
結合されているものは、階層的に組織されてＬＲＵ型の
管理がなされる、ソフトウェアおよびデータを含んだ段
階的な記憶装置である。最も迅速にアクセスされる記憶
装置は該命令プロセッサの最も近くに配置されている。
またそれは階層の頂点部に配置されている。より低速の
形式のものであり、大量のデータが書き込まれる記憶装
置は、該階層の下位部を占めている。
記憶装置のコストはその動作速度とともに著しく増大す
るために、多くのコンピュータ・システムにおいては、
物理的な記憶装置のサブシステムを多くの実行能力レベ
ルのものに分割している。
これらのレベルの中のあるものは、ＤＡｓＤやテープの
ように、周辺Ｉ１０装置として扱われていて、非同期的
なバスを通してアクセスされる。その他のレベルのもの
は、ＲＡＭやキャッシュのように、システム・ハードウ
ェアとして直接的に扱われていて、内部記憶装置の一部
として同期的なバスを通してアクセスされる。
“主記憶装置（ｐｒｉｉｔａｒｙ　ｓｔｏｒａｇｅ）”
または“内部記憶装置（ｉｎｔｅｒｎａｌ　ｓｔｏｒａ
ｇｅ）”なる述語は、単一の読み取りまたは書き込みの
転移のために、ランダムにアドレス可能な記憶装置の該
当の部分を特定するものである。１８Ｍシステムにおい
ては、ＲＡＭはバイト単位でアドレス可能なものである
。
“２次（ｓｅｃｏｎｄａｒｙ）”または“外部記憶装置
（ｅｘｔｅｒｎａｌ　ｓｔｏｒａｇｅ）”は、ランダム
にアドレス可能なものではなく、また、直接的にアクセ
スされるか、または、固定されたサイズのブロックでア
クセスされねばならない記憶装置の該当の部分を指すも
のである。
主記憶装置または内部記憶装置には“同期的”なる述語
が付されるが、これは、前記の内部記憶装置に関連する
プロセッサが戻りを受は入れるまでは遊休状態にあるこ
とによる。これに対して、求められているデータが（”
　Ｉ　１０境界”と呼ばれる点を越えている）外部記憶
装置内に存在するときには、関連するプロセッサは、待
機に代えて、他のタスクを実行するためのサーチを行う
。このタスクまたは処理のスイッチングは、新規なデー
タのために検索バスが設定されねばならず、また、以前
のタスクの処理状態は保持されねばならないという点で
非連続的なものである。外部記憶装置からの検索が完了
したときには、ＣＰＵを以前の処理またはタスクに戻す
ようにスイッチングさせることが再び必要である。
付加的な記憶装置を主記憶装置の一部として組み込むこ
とによるＣＰＵのオーバヘッドを減少させるために、Ｉ
１０境界を越えるページングまたは固定されたサイズの
ブロックの参照を少なくすることか所望されていた。“
拡張記憶装置（ｅｘｐａｎｄｅｄ　５ｔｏｒｅ）”と呼
ばれる付加された記憶装置は、ブロックまたはページ単
位でアドレス可能（４０９６バイト／クロツク）なこと
を基本として、ランダムなアクセスがなされる。それは
ＬＲＵ型の実記憶装置で支援されるベージング記憶装置
としての管理を受ける。
仮想記憶装置のページングの要求 “仮想記憶装置”は、ＣＰＵの主記憶装置または内部記
憶装置において利用可能なものより遥かに大きい記憶ス
ペースのアドレスをするものである。それはスペースお
よび時間の双方において参照することの局部性に依存し
ている。即ち、その処理は、−様ではなく、高度に局部
的にされたパターンでの記憶装置の参照に向かう傾向が
ある。
これにより、小さい容量の実記憶装置の内容を這かに大
容量の仮想記憶装置に戻すようにすることが可能にされ
る。参照されたデータが内部記憶装置において利用可能
なものではないときには、それは２次記憶装置からスワ
ップ・インされる。
仮想的要求のベージング・システムにおいては、その仮
想的なページのサブセットが各処理において積極的に参
照される。ページを管理するためのシステムの容量は、
スロットまたは“ページ・フレーム”の数の上限という
見地から計測される。
即ち、ページ・フレームの数は、該ページ・フレームを
支持するようにされる主記憶装置の容量に関連している
。処理によって参照されたページのサブセットの和がペ
ージ・フレームの数を越えているときには、障害が生じ
ることになる。参照されたページがＬＲｔＪ型の管理が
なされる主記憶装置内には存在しなかったということか
ら、“障害（ｆａｕｌｔｉｎｇ）”は２次記憶装置のア
クセスを要求することと同義である。この状態にあるシ
ステムは“ベージング状態にあると呼ばれる。
ベージングおよびスラッシング ＣＰＵが幾つかの処理を同時に行っている（マルチプロ
グラミングまたはマルチタスキング）ときには、各処理
においてはページのその“作業セラ）　（ｗｏｒｋｉｎ
ｇ　５ｅｔ）’″を反復して呼ぶことができる。
内部（実）記憶装置の固定したサイズのために、主記憶
装置内に存在する処理毎のページの数は、該処理の個数
とは逆の変動をする。このことにより、多数のページの
障害の発生を回避するために、処理毎に十分な数のペー
ジを主記憶装置内に保持することが不可能になる。かく
して、主（実）記憶装置の容量とマルチプログラミング
の程度との間には臨界的な関係がある。これの意味する
ことは、あるスレッシ３ルドを越えて２次記憶装置と主
記憶装置との間のバスが飽和すると、多くの処理におい
てページの転送が待機され、また、ＣＰＵの使用が不十
分にされ、または、欠乏の状態にされるということであ
る。これに関して、′スラッシングなる述語は、高い比
率の再ベージングを内包するために用いられるものであ
り、また、ＣＰＵに基づくページ置換マネジャーが、仮
想記憶装置のベージング要求における未来の参照の生起
を不正確に推測する傾向の指標である。
１９８３年１２月２０日に５ａｃｃｏ　ｅｔ　ａｌ、に
対して発効された米国特許第４，４２２，１４５号であ
る”Ｔｈｒａｓｈｉｎｇ　Ｒｅｄｕｃｔｉｏｎ　ｉｎ　
Ｄｅｍａｎｄ＾ｃｃｅｓｓｉｎｇ　ｏｆ　　ａ　　Ｄａ
ｔａ　　Ｂａ５ｅ　Ｔｈｒｏｕｇｈ　　ａｎ　ＬＲＵＰ
ａｇｉｎｇ　Ｂｕｆｆｅｒ　Ｐｏｏｌ”によれば、“作
業セット”モデルに代わる“ホット・セット（ｈｏｔ　
５ｅｔ）″を用いたページング要求式の仮想システムに
おいて、ページ、フレームおよび高い比率の再ページン
グ間の相互作用についての説明がされている。
内部および外部ソーティング 通常、ソーティング方法は内部的方法と外部的方法とに
分類される。プロセッサの主記憶装置に完全に含まれる
ことが可能なデータのリストに対してのみ受は入れられ
るように適用される方法が“内部的方法”である。“外
部的方法”は、主記憶装置に適合させるのには大きすぎ
るデータのファイルに合理的に適用されるものであり、
従って、そのソーティング処理の間に、テープまたはＤ
ＡＳＤのような外部的な大容量の記憶装置に依存せねば
ならない。
大吉の“外部的ソーティング方法によれば、ソートされ
るべきファイルを通して第１のバスを形成し、該ファイ
ルを内部記憶装置のサイズとほぼ同じブロックに分解し
て、幾つかの内部的ソーティング方法のいずれか一つを
用いてこれらのブロックのソーティング処理を行い、次
いでその結果を“作業装置”に書き込むようにされる。
これに次いで、該ファイルを通して幾つかのバスを形成
し、ファイル全体についてのソーティング処理がなされ
るまで、より大きいソートされたブロックを連続的に生
成することにより、ソートされたブロックについて一緒
にマージ処理がなされる。
多くの順序付けされたストリングを、より長いストリン
グにマージ処理するために、典型的には、置換選択が用
いられる。このことについては、Ａｄｄｉｓｏｎ−ｆｅ
ｓｌｅｙ　Ｐｕｂｌｉｓｈｉｎｇ　Ｃｏ、による１９７
３年版権のｒＴｈｅ　Ａｒｔ　ｏｒ　Ｃｏｍｐｕｔｅｒ
　ＰｒｏｇｒａｍｍｉｎｇＪのＶｏｌ、　３．　ｌ）ｐ
、　２５１−２６６において、ＫｎｕｔｈにょるＳｅａ
ｒｃｈｉｎｇ　ａｎｄ　Ｓｏｒｔｉｎｇ”において説明
されている。
外部的なソーティングにおいて、定量的には、ｎ個のキ
ーの順序が付けられないリストがあり、内部記憶装置の
容量がｍａｎワードであるときには、各ソート・バスに
よりｎ／ｍ個のソートされたブロックが生成される。後
続の各々のバスにおいてｐ通りのマージ処理が実行され
ると、ログ（ｌｏｇ）（ベース・キー）（ｎ／ｍ）バス
を要求することができる。
工起１１々−直における従来の外部的・／−ティング１
９７３年１月２３日にＢａｒｓａｍｉａｎに対して発効
された米国特許第３，７１３．１０７号の“Ｆｉｒｍｗ
ａｒｅ　５ｏｒｔ　Ｐｒｏｃｅｓｓｏｒ　Ｓｙｓｔｅｍ
”は、主記憶装置をソート・バッファとして用いる、多
重オーバラップ式のプロセッサ構成体に分類される。よ
り詳細には、Ｂａｒｓａｗ＋ｉａｎによれば、スルーブ
ツトを増大させるために、ホストＣＰＵ（２０）に結合
され、これとオーバラップされている外部的ソート・プ
ロセッサ（３０）が使用されている（コラム３、ライン
５９−６４　；コラム１９、ライン３７からコラム２２
、ライン３０まで；および、第３図および第５図を参照
）。
１９８５年１１月７日にＣａ５ｅ　ｅｔ　ａｌ、によっ
て出願された出願第０６／７９６，０３４号であるＣａ
ｃｈｅ−ｅｆｆｅｃｔｉｖｅ　５ｏｒｔ　Ｓｔｒｉｎｇ
　ＧｅｎｅｒａｔｉｏｎＭｅｔｈｏｄ”には、外部ソー
トについての内部ソートオヨヒマージ操作を実行するた
めの、ＣＰＵの主記憶装置におけるＬＲＵ型の管理がな
されるキャッシュ部分の新規な使用の教示がなされてい
る。これの結果として、各ソートおよびマージのサブセ
ットのサイズが当該キャッシュのサイズよりも小さくな
るように制限することにより、該キャッシュに対するＬ
ＲＵ型のページング動作がトリガされる。
仮想記憶装置におけるソーティング Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ　Ｐｕｂｌｉｓｈｉｎｇ
　Ｃｏ、による１９８３年、１９８８年版権のＳｅｄｇ
ｅｗｉｃｋによる’Ａ１ｇｏｒｉｔｈｍｓ’″第２版の
第・１８７頁において、“大容量の仮想記憶装置は、極
めて大きいファイルをソートするための方法では見落と
すべきではない”旨の指摘をしている。これに次いで、
彼がこれから離れて教示することは、Ｑｕｉｃｋｓｏｒ
ｔおよびＲａｄｉｘ　５ｏｒｔのような、ＶＭソートの
環境では成功しない幾つかのソート方法を指摘すること
である。
Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ　Ｐｕｂｌｉｓｈｉｎｇ
　Ｃｏ、による１９７５年版権のＬｏｒｉｎのＳｏｒｔ
ｉｎｇ　ａｎｄ　ＳｏｒｔＳｙｓｔｅｍｓ”のｐｐ、　
３２９−３４７において、特にその中のｐｐ、　３３４
−３３９およびｐｐ、　３４３−３４５において、次の
ような指摘をしている。
・・・仮想記憶装置のコンセットによれば、厳密な内部
ソート技術を用いることにより、より多くのファイルを
順序付けることが可能にされよう。実資源および論理的
資源の進歩についての平明性のコンセットのために、こ
のやり方で全てのソーティングを誘導することが可能に
されよう。
しかしながら、仮想記憶装置のとる態様が変動すること
から、ソーティングについての科学技術者は仮想記憶装
置におけるファイルの順序付けをするためには、どの内
部的ソーティングが適切であるかを見出さねばならない
。
Ｃ８発明が解決しようとする課題 この発明の目的は、ＣＰＵにおいて能率的な外部的ソー
ト操作を実行するための方法を発明することにある。
関連のある目的は、ベージングの要求をする仮想記憶装
置を有するＣＰＵにおいて前記の方法を実行させること
にある。
その更に別の目的は、前記の仮想記憶装置において、ベ
ージングの欠陥を最小限にして、前記の外部的なソート
操作を実行させることにある。
０１課題を解決するための手段 予期せぬこととして観察されたことは、実記憶装置で支
援されるときには、外部ソートのソート・フェーズおよ
びマージ・フェーズの間に、ベージングを要求する仮想
記憶装置が“作業装置”として用いられ、これに次いで
、内部記憶装置またはＤＡＳＤのいずれかが作業装置と
して作用するときには、要素毎のデータの移動の個数お
よびその実行時間が、当該必要とされたものよりも小さ
いということである。仮想記憶装置を作業装置として用
いる外部ソーティングにおいて、データ要素の参照が２
回しか必要とされないという事実の結果として、ベージ
ングの欠陥を減少させることができる。
ソートされないデータ・ストリングの上に第１のバスが
ある間に第１の参照が生起して、該データがブロックさ
れて、内部（実）記憶装置によって完全に支援されるＶ
Ｓ内でソートされ、これに次いで、内部（実）記憶装置
によって選択的に支援されるＶＳ１即ち作業装置の他の
部分に書き出される。ソートされたデータの各ブロック
が“作業装置”から読み取られたときには、第２の参照
が生起して、第２のバスの間に他のソートされたブロッ
クとのマージがなされる。該作業装置に対してデータ要
素毎に２個の参照だけしかなされなかったという事実に
より、仮想記憶装置の動作における過剰なベージングが
最小にされる。これの理由は、データ要素毎の再ページ
ングの比率が本来的に低いからである。
より詳細にいえば、前達された目的が満足されるのは、
ｍ個の記録の外部ソートのストリング発生において、Ｃ
ＰＵのＬＲＵ型の管理がなされる仮想記憶装置（ＶＳ）
のための新規な使用によってである。これに関して該Ｃ
ＰＵに含まれているものは、プログラムおよびデータを
記憶させるための内部（実）記憶装置、および、ソート
および管理操作を実行するための該内部（実）記憶装置
をアクセスするための手段であって、該内部（実）記憶
装置およびアクセス手段はＶＳとして管理されている。
また、該ソート・ストリングの発生は、該記録のキーに
ついてネストされた順序付けとして明らかなことである
。
この発明の方法は次の諸ステップを含んでなるものであ
る。即ち： （ａ）第１のバスの間に、外部源からの記録中の８個の
キーにおけるｍ　／　ｓ個のサブセット（ｓ　＜ｍ）の
１個を、内部（実）記憶装装置によって完全に支援され
ているＶＳのある部分に取り込み、該取り込まれたサブ
セットをその部分的にネストされた順序付けになるよう
に配列して、該ネストされた順序付けのものを内部（実
）記憶装置によって選択的に支援されているＶＳの他の
部分に転送し、そして、該不ストされた順序付けについ
てのＶＳアドレスを有するテーブルの更新を行うことで
あって、該取り込み、配列、転送および更新のステップ
はｍ／ｓ個のサブセットがなくなるまで反復されること
；および、 （ｂ）第２のバスの間に、ｍ／ｓ個の順序付けがなくな
るまで、それらのテーブルにおけるＶＳアドレスに従っ
て、該ＶＳ内に存在するサブセットのｔ個の部分的に不
ストされた順序付けの各々から選択された少なくとも１
個のキーの中から、内部（実）記憶装置によって選択的
に支援されているＶＳ内でｔ通りの置換選択マージ（ｔ
＜ｓ）を実行すること； の諸ステップが含まれている。
利点があることとしては、内部／実記憶装置と仮想記憶
装置との比率が増大するにつれて、Ｉ１０境界を越える
参照の数が減少する。かくして、主記憶装置即ち内部記
憶装置の一部としての拡張記憶装置を有するシステムに
おいて、最適の実行能力が期待される。
Ｅ、実施例 この発明のＲｐ　Ｇ　８行するためのホストＣＩ）　Ｕ
の環境 この発明の好都合な実施は、ＩＢＭ　ＭＶＳオペレーテ
ィング・システムを備えて構築されたＣＰＵとしての、
ＩＢＭ／３６０または３７０のような汎用コンピュータ
において可能にされる。１８Ｍ７３６０として構築され
たＣＰＵは、１９６８年９月３日にＡｍｄａｈｌ　ｅｔ
　ａｌ、に対して発効された米国特許第３，４００．３
７１号″Ｄａｔａ　ＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍ
”に完全に説明されている。
Ｍ　Ｖ　Ｓオペレーティング・システム（ＯＳ　）は、
ＩＢＭ刊行物ＧＣ２ｇ−１１５０，”ＭＶＳ／Ｅｘｔｅ
ｎｄｅｄＡｒｃｈｉｔｅｃｔｕｒｅ　！ｌｉｙｓｔｅｍ
　Ｐｒｏｇｒａｍｍｉｎｇ　Ｌｉｂｒａｒｙ＋Ｓｙｓｔ
ｅｍ　Ｍａｃｒｏｓ　ａｎｄ　Ｆａｃｉｌｉｔｉｅｓ　
、　Ｖｏｌ、　１に示されている。ロック管理、中断ま
たはモニタによるサブシステム支援、および、タスクの
伝達や待機のような、標準的なＭＶＳまたはその他のオ
ペレーティング・システム・サービスの詳細については
省略する。これらのＯＳサービスは、当業者によって良
く認められているものと確信する。
例示的な実施例と先行技術との比較 ３２ＭＢの内部（実）記憶装置およびほぼ無限のＤＡＳ
Ｄであって、その双方がページングを要求する仮想記憶
装置として管理されているものを有するｃｐｕ上で、２
００メガバイト（Ｍ　Ｂ　）のデータをソートすること
が所望されているものとする。
２５６ＭＢの拡張記憶装置とともに、またはこれなしで
、実記憶装置で支援される仮想記憶装置をソート作業装
置として用いて、２００ＭＢのファイルを外部的にソー
トすることが意図されている。
第１の例ではこの発明の方法の機能が果たされるが、第
２の例では先行技術による外部的なソーティングが例示
されている。
ここで第１テーブルを参照すると、この仮想記憶装置の
サイズは有効な内部的なソーティング・アルゴリズムを
適用することができる程度に十分に大きく、また、実記
憶装置によって常に支援される程度には十分に小さいも
のである。次の注釈は第１テーブルに示されているコン
トロール・フローの良さを認めるための助けになるもの
である。
ソート・フェーズ 拡張記憶装置は利用可能ではないものとする＝（１）３
２ＭＢの利用可能な実記憶装置が存在することから、オ
ペレータＧＥＴＭＡＩＮを用いて、３２ＭＢの仮想記憶
装置が確実に指定され、または保留されたことにより、
処理が開始される。
（２）仮想記憶装置は２個の等しい部分に区画される。
第１の部分である　ＩＮＡＲＥＡは入力バッファ・エリ
アとして用いられ、これに対して、第２の部分であるＲ
ＳＡＲＥＡはソートされたストリングを記憶するための
出カニリアとして用いられる。
（３）記録は、ＩＮＡＲＥＡが一杯になるまでＩＮＡＲ
ＥＡに転送される。次いで、それらは、ＩＮＡＲＥＡ内
の置換−選択内部ソート・アルゴリズムを用いてソート
される。この後で、（ａ）該記録はソーティングをしな
からＲＳＡＲＥＡに変位することができる（即ち、置換
−選択で“最小の”記録を選択した後、この記録は当該
時点においてＲＳＡＲＥＡに変位することができる）か
；または、（ｂ）　ＩＮＡＲＥＡ内の記録に対するポイ
ンタがソートされ、これに次いで、ソートされたポイン
タに基づき、ＩＮＡＲＥＡ内の記録がＲ３ＡＲＥＡに変
位される。
（４）記憶装置マツプ・テーブルＳＴＧＭＡＰ内のＲ３
ＡＲＥＡのアドレスを保持して、その内容を２次記憶装
置に対してページ・アウトする。
（５）仮想記憶装置のその他のセグメントを獲得する。
このセグメントのサイズはＲ３ＡＲＥＡのサイズ（この
例では１６ＭＢ）に等しく、このエリアを新しいＲＳＡ
ＲＥＡにする。
（６）入力ファイルにおける全記録が読み取られ、ソー
トされ（配列され）、内部（実）記憶装置で支援される
ＶＳに転送され、２次記憶装置にスワップ・アウトされ
、モしてＶＳアドレスが記録されるまで、ステップ３−
５を繰り返す。
注意されることは、外部記憶装置への書き込みに先立っ
て、多くの記録をグループ化する処理が“ブロック化”
と呼ばれることである。該ブロック化の処理は、外部記
憶装置に対する書き込みが可能になるのに先立って、Ｒ
３ＡＲＥＡ内の記録に対して適用されねばならない。該
ブロック化の処理に含まれていることは、ブロック・サ
イズ、ブロック当たりの記録の個数、各ブロックの位置
等を計算することである。また、該ブロック化の処理に
は、選択されたアクセス方法に対して、必要な全情報を
伝えるべきブロックのコントロールの発生も含まれてい
る。記録がページ・アウトできるときでも、それらが仮
想記憶装置内に留まっているときには、言うなれば、そ
れらは既に所要のフォーマット内にあることになる。
拡張記憶装置は利用可能であるとする：（７）　ＧＥＴ
ＭＡＩＮされ、参照された仮想記憶装置のサイズが実記
憶装置のサイズを越えたときには、ＬＲＵの仮想記憶装
置のページが拡張記憶装置にページ・アウトされるよう
に、ステップ（１）（６）の修正がなされる。また、最
小のインデクス（Ｉ）ナンバーをもつＲ３ＡＲＥＡも拡
張記憶装置にページ・アウトされる。２５６ＭＢの拡張
記憶装置が利用可能であることから、２次記憶装置に転
送されるページはない。
マージ・フェーズ ソートされるべきファイルは、２００／１６＝１３のサ
ブセットまたは１３個のソートされたストリングに区画
される。各ストリングのサイズは１５ＭＢである。記憶
装置マツプ・テーブル内での各エントリは、゛ミートさ
れたストリングのＶＳ開始アドレスを示すものである。
各ストリングの第１の記録を見出すための記憶装置マツ
プ・テーブル内でのエントリを用いて、各ストリングの
第１の記録がソート／マージ・トリー上に配置される。
次いで、１３個のノードを有するトリーを用いて、１３
通りの置換／選択マ・−ジが実行される。この時点にお
いて、参照された記録は既に拡張記憶装置にページ・ア
ウトすることが可能であるから、それらは内部（実）記
憶装置に伝送されねばならない。ここで、ＩＮＡＲＥＡ
は出力バッファ・エリアとして用いられる。ＩＮＡＲＥ
Ａが一杯であるときには、ＩＮＡＲＥＡ内のデータは出
力ファイルに書き込まれることになる。全部の記録がマ
ージされて１個の出力ファイルになるまでは、この処理
が続行される。
この発明において、仮想記憶装置にはソート作業のデー
タ・セットが含まれており、この装置は単なる“ソーテ
ィング・エリア”ではない。仮想記憶装置を“ソーティ
ング・エリア”として用いることで、２次記憶装置に対
するデータの転送を回避することができるけれども、典
型的な内部ソーティングのためのデータ参照パターンが
ランダムになり、潜在的な可能性のある記録を何回も参
照するという不利益点がもたらされる。仮想記憶装置の
容量が利用可能な実記憶装置の容量に比べて大きすぎる
ときには、次に続く参照が生じる時点までに、ある１個
の記録が既にページ・アウトされている可能性が極めて
高い。この記録がベージングされるべきであれば、これ
により他のｄ記録がページ・アウトを生じるようにされ
る。システムのページング比率が上昇を開始すると、“
スラッシングの問題が生じる可能性がある。
仮想記憶装置に対してマツピングされている、各順序を
付されたストリングからの記録のサブセットが一緒にマ
ージされる。通常、ソート・ステップとマージ・ステッ
プとの間には比較的長い時間周期があることから、この
データは既に拡張記憶装置または補助記憶装置のいずれ
かに転送されている可能性がある。しかしながら、該デ
ータには２個の参照しかないことから、記録が一旦順序
通りにされ、また、該記録がマージされたときには、多
くとも２ページの欠陥が生じることがある。
坦慇 通常は、外部的なソートはＩ１０境界（即ち、外部記憶
装置または２次記憶装置に対する参照）になる傾向があ
る。これの意味することは、外部ソートにおける経過時
間の多くが通常はその完了のためのＩｌｏに対する待機
のために費やされるということである。Ｉ１０手段が少
なくなれば、経過時間が短くなる。この発明における外
部ソーティングの方法によれば、従来の外部ソーティン
グの方法に比べて、“ソーティング・エリア”としての
仮想記憶装置を用いる方法と同様に、Ｉｌｏで必要な活
動が最小限にされる。
次のテーブルを参照すると、仮想記憶装置を支援するた
めに利用可能な実／拡張記憶装置の容量に関する各方法
のための、Ｉｌｏの活動における比較が示されている。
ここに示されている数字は、各記録のために必要とされ
るＩｌｏの活動を表す数である。“２″の意味すること
は、各記録のために２個のＩｌｏの活動が要求されると
いうことテアル。“Ｉ“の意味することは、各記録のた
めに平均して１個のＩｌｏの活動が要求されるというこ
とである。“無限”の意味することは、各記録のために
要求されるＩｌｏの活動の個数が、潜在的に無限になる
ということである。
この発明を考慮することで想起されることは、ここでの
開示は例示的なことに過ぎず、この発明の範囲は添記の
特許請求の範囲で規定されるべきであるということであ
る。
Ｆ１発明の効果 実記憶装置で支援される、ページングを要求スる仮想記
憶装置が、外部ソートにおいて作業装置として用いられ
るときには、そのデータ変位および処理のための時間は
、内部（実）記憶装置またはＤＡＳＤのいずれかが作業
装置として作用するときに同じ外部ソートを処理するた
めの時間に比べて、相当に短いものである。また、ソー
ト・フェーズの間に発生された部分的なソートのストリ
ング、および、マージ・フェーズの間に全体として順序
付けられたストリングを再ブロックすることが回避され
る。仮想記憶装置に対する内部（実）記憶装置の支援の
最適な比率は３０−８０％の間にある。仮想記憶装置を
作業装置として用いた外部ソーティングにおいて、デー
タ要素の参照は２回しか必要とされないという事実の結
果として、ページの欠陥が節減される。
下記の第１テーブルは、作業デバイスとしての仮想記憶
装置で支援される区画された実記憶装置を用いた、この
発明による２相の外部ソート方法における擬似コード表
現を示すものである。
Ｒ３ＡＲＥＡ　　−＞ υＯＩ　　＝　　１．１３

Claims (6)

    【特許請求の範囲】
  1. （１）キーに基づく記録における外部ソート操作のソー
    ト・フェーズおよびマージ・フェーズの間に、ＣＰＵの
    ＬＲＵ管理型の仮想記憶装置（ＶＳ）を作業装置として
    用いる新規な方法であって、前記のＶＳは高速内部（実
    ）記憶装置および低速大容量の支援記憶装置によって指
    示されており： （ａ）ソート・フェーズの間に、記録キーのサブセット
    を完全に内部記憶装置で支援されているＶＳに読み込み
    、該記録を順序付けられたストリングに配列し、そして
    、該順序付けられたストリングをＶＳの他の選択的に内
    部記憶装置で支援されている部分にマッピング処理を施
    すこと；および、 （ｂ）マージ・フェーズの間に、該ソートされたストリ
    ングの予め選択された要素を完全に内部記憶装置で支援
    されているＶＳにマッピング処理を施して戻し、そして
    、前記マッピング処理を施された予め選択されたストリ
    ング要素について複数通りのマージ操作を実行すること
    ； の諸ステップが含まれている前記の方法。
  2. （２）該複数通りのマージは置換選択タイプのものであ
    って、 更に、該ソート・フェーズには、全ての順序付けられた
    ストリングについて、ＶＳの開始アドレスのテーブルの
    生成・更新操作が含まれており、 また更に、複数通りのマージにおいて用いられる予め選
    択された要素は、該テーブルのアドレスおよびこれから
    の変位に従ってアクセスされる、 請求項１に記載の方法。
  3. （３）各サブセットは、該サブセットのアドレス容量の
    少なくとも２倍のＶＳの補完スペースに取り込まれるも
    のであって、 更に、該順序付けられたストリングは、 内部記憶装置内でのデータ転送ではなく、内部記憶装置
    で支援されたＶＳの別異の部分に、ＶＳアドレスの変更
    によって書き込まれる、 請求項１に記載の方法。
  4. （４）ｍ個の記録のソート・ストリングの発生における
    、ＣＰＵのＬＲＵ管理型の仮想記憶装置を用いる新規な
    方法であって、前記ＣＰＵに含まれているものは、プロ
    グラムおよびデータを記憶するための内部（実）記憶装
    置、および、ソート操作および管理操作を実行するため
    に該実記憶装置をアクセスするための手段であり、前記
    実記憶装置およびアクセス手段は仮想記憶装置として管
    理され、前記ソート・ストリングの発生は記録のキーの
    ネストされた順序付けとして示されており： （ａ）第１のバスの間に、外部源からの記録中のｓ個の
    キーにおけるｍ／ｓ個のサブセット（ｓ＜ｍ）の１個を
    、内部（実）記憶装置によって完全に支援されているＶ
    Ｓのある部分に取り込み、該取り込まれたサブセットを
    その部分的にネストされた順序付けになるように配列し
    て、該ネストされた順序付けのものを内部（実）記憶装
    置によって選択的に支援されているＶＳの他の部分に転
    送し、そして、該ネストされた順序付けについてのＶＳ
    アドレスを有するテーブルの更新を行うことであって、
    ｍ／ｓ個のサブセットがなくなるまで反復されること；
    および、 （ｂ）第２のバスの間に、ｍ／ｓ個の順序付けがなくな
    るまで、それらのテーブルにおけるＶＳアドレスに従っ
    て、該ＶＳ内に存在するサブセットのｔ個の部分的にネ
    ストされた順序付けの各々から選択された少なくとも１
    個のキーの中から、内部（実）記憶装置によって選択的
    に支援されているＶＳ内でｔ通りの置換選択マージ（ｔ
    ＜ｓ）を実行すること； の諸ステップが含まれている前記の方法。
  5. （５）前記内部記憶装置に含まれているものは、バイト
    単位でランダムにアドレス可能な部分、および、ブロッ
    ク単位でＬＲＵ型の管理がなされる部分である、請求項
    １または４に記載の方法。
  6. （６）ＶＳに対する内部（実）記憶装置の支援の比率は
    実質的に３０−８０％の範囲内にある、請求項１または
    ４に記載の方法。
JP2202598A 1989-08-02 1990-08-01 ソーテイング方法 Pending JPH0371227A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US38924389A 1989-08-02 1989-08-02
US389243 1989-08-02

Publications (1)

Publication Number Publication Date
JPH0371227A true JPH0371227A (ja) 1991-03-27

Family

ID=23537435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2202598A Pending JPH0371227A (ja) 1989-08-02 1990-08-01 ソーテイング方法

Country Status (3)

Country Link
US (1) US5414842A (ja)
EP (1) EP0411788A3 (ja)
JP (1) JPH0371227A (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5794240A (en) * 1992-05-26 1998-08-11 Fujitsu Limited Multi-threaded sorting system for a data processing system
JPH06242925A (ja) * 1993-02-15 1994-09-02 Mitsubishi Electric Corp ソート処理装置
GB2283118B (en) * 1993-02-15 1997-06-18 Mitsubishi Electric Corp Sorting apparatus
US5487166A (en) * 1994-09-19 1996-01-23 Amdahl Corporation Computer with two-dimensional merge tournament sort using offset-value coding
US5632035A (en) * 1994-09-20 1997-05-20 International Business Machines Corporation Process for verifying GDMO template references and for providing an ordered list of GDMO templates
US5819082A (en) * 1995-06-07 1998-10-06 Sierra On-Line, Inc. Data storage optimization using an access order resource list
JPH0954676A (ja) * 1995-08-11 1997-02-25 Yamaha Corp 整順列化方法および整順列化装置
US5852826A (en) * 1996-01-26 1998-12-22 Sequent Computer Systems, Inc. Parallel merge sort method and apparatus
US5884297A (en) * 1996-01-30 1999-03-16 Telefonaktiebolaget L M Ericsson (Publ.) System and method for maintaining a table in content addressable memory using hole algorithms
US8234477B2 (en) * 1998-07-31 2012-07-31 Kom Networks, Inc. Method and system for providing restricted access to a storage medium
US6738769B2 (en) 2001-01-11 2004-05-18 International Business Machines Corporation Sorting multiple-typed data
US7484074B2 (en) * 2006-01-18 2009-01-27 International Business Machines Corporation Method and system for automatically distributing real memory between virtual memory page sizes
US8839215B2 (en) 2010-07-19 2014-09-16 International Business Machines Corporation String cache file for optimizing memory usage in a java virtual machine
CN101976224B (zh) * 2010-10-13 2012-05-16 清华大学 一种嵌入式系统的内存管理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62113234A (ja) * 1985-11-07 1987-05-25 インタ−ナショナル　ビジネス　マシ−ンズ　コ−ポレ−ション レコ−ドセツト分類方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3713107A (en) * 1972-04-03 1973-01-23 Ncr Firmware sort processor system
US4423479A (en) * 1980-11-14 1983-12-27 Sperry Corporation Cache/disk subsystem with acquire write command
US4422145A (en) * 1981-10-26 1983-12-20 International Business Machines Corporation Thrashing reduction in demand accessing of a data base through an LRU paging buffer pool
JPS61275934A (ja) * 1985-05-31 1986-12-06 Toshiba Corp デイスクソ−トシステム
US4873625A (en) * 1987-11-17 1989-10-10 International Business Machines Corporation Method and apparatus for extending collation functions of a sorting program
US5038278A (en) * 1988-04-01 1991-08-06 Digital Equipment Corporation Cache with at least two fill rates
US5003459A (en) * 1988-04-01 1991-03-26 Digital Equipment Corporation Cache memory system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62113234A (ja) * 1985-11-07 1987-05-25 インタ−ナショナル　ビジネス　マシ−ンズ　コ−ポレ−ション レコ−ドセツト分類方法

Also Published As

Publication number Publication date
EP0411788A3 (en) 1992-08-05
US5414842A (en) 1995-05-09
EP0411788A2 (en) 1991-02-06

Similar Documents

Publication Publication Date Title
US5694568A (en) Prefetch system applicable to complex memory access schemes
US7844802B2 (en) Instructions for ordering execution in pipelined processes
US6112285A (en) Method, system and computer program product for virtual memory support for managing translation look aside buffers with multiple page size support
RU2212704C2 (ru) Структура совместно используемого кэша для временных и невременных команд
JP2839060B2 (ja) データ処理システムおよびデータ処理方法
US6408325B1 (en) Context switching technique for processors with large register files
US6542960B1 (en) System and method for parity caching based on stripe locking in raid data storage
US5734817A (en) Method for making a data base available to a user program during data base recovery
US7493464B2 (en) Sparse matrix
JPH06309224A (ja) データ・ページの制御方法及びデータ処理システム
JPH0371227A (ja) ソーテイング方法
US5796989A (en) Method and system for increasing cache efficiency during emulation through operation code organization
EP0221358B1 (en) Sort string generation in a staged storage system
US6745291B1 (en) High speed LRU line replacement system for cache memories
CN1196997C (zh) 不按序执行指令的装置和检测不按序指令的方法
JP3527765B2 (ja) プログラムキャッシュ装置
EP0782725A1 (en) Computer with two-dimensional merge tournament sort using caching
US5671405A (en) Apparatus and method for adaptive logical partitioning of workfile disks for multiple concurrent mergesorts
US5333291A (en) Stride enhancer for high speed memory accesses with line fetching mode and normal mode employing boundary crossing determination
Li et al. A multi-hashing index for hybrid dram-nvm memory systems
Li et al. Phast: Hierarchical concurrent log-free skip list for persistent memory
JPH08255079A (ja) コンピュータ・プロセッサ用のレジスタ・キャッシュ
US4992935A (en) Bit map search by competitive processors
JP2002202960A (ja) データ処理方法および装置
EP0890148A1 (en) Cache multi-block touch mechanism for object oriented computer system