JPH08241208A - キャッシュの情報表示システム - Google Patents

Abstract

(57)【要約】 【目的】高速なキャッシュを持つ計算機に関し、キャッ
シュ最適化のための情報を表示するシステムを提供する
ことを目的とする。 【構成】キャッシュの容量、ウェイ数、ラインの大きさ
を含むキャッシュに関する情報を内部情報として蓄えて
おく蓄積機能１１と、原始プログラムよりループを認識
し、そのループにおけるデータのアクセス状況を解析す
る解析機能１２と、解析機能１２による解析結果を表示
する表示機能１６とを有して構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、高速なキャッシュを持
つ計算機で、プログラムの実行性能を上げるための情報
表示システムに関する。

【０００２】ソース・コードの中には、キャッシュを有
効に使うことを考慮して作成した場合とそうでない場合
とで、プログラムの実行時の性能に大きな差が生じるも
のがある。ソース・コードのコーディングの違いによっ
て、プログラム実行時の性能に大きな差が生じることは
周知の通りである。

【０００３】本発明では、コンパイラが持っているデー
タフローや制御フローの情報と、キャッシュの容量、ウ
ェイ数やラインの大きさなどの情報とを組み合わせて、
キャッシュを有効に利用する方法を考える。例えば、コ
ンパイラが、キャッシュを有効に利用した方が良いと判
断したのに、キャッシュに関する情報不足のために最適
化を行えなかった部分に対しては、その旨を伝えるメッ
セージを用意する。また、ユーザがソース・コードを変
更したりコンパイラに情報を提供するなりして、キャッ
シュを有効に利用するための支援が行えるように必要な
情報を表示する。

【０００４】

【従来の技術】キャッシュというのは、ＣＰＵの処理速
度と外部メモリへのアクセスに係るコストの差を吸収す
るために設けられる高速で小容量のメモリのことであ
る。ＣＰＵで処理に掛かる時間を速くしても、演算に使
うデータを揃える時間や演算の結果を外部メモリに書き
込む時間がネックとなるから、システム全体の処理速度
を上げることは難しい。

【０００５】その解決のために、外部メモリとＣＰＵの
間に用意されたのがキャッシュである。キャッシュは、
ＣＰＵチップ上に設けられる場合が多いが、中には、プ
ライマリーとセカンダリーとに分割され、プライマリー
のみがオン・チップとなっているものも存在する。

【０００６】キャッシュは外部メモリよりも容量が小さ
いため、キャッシュに置くことができるデータは、外部
メモリにあるデータのごく一部になる。外部メモリにあ
るデータをキャッシュまで持ってくる方式は、幾つか知
られている。データの存在する外部メモリのアドレスを
キーとして、キャッシュにおける格納部分が一意に決ま
るもの（ダイレクトマッピング方式）、メモリアドレス
とは関係なくキャッシュの任意の場所に格納できるもの
（フルアソシアティブ方式）、及びその中間の方法（セ
ットアソシアティブ方式）がある。

【０００７】キャッシュ上で一度に読み書きされる単位
を‘ライン’という。ラインの大きさはマシンに依存す
る。例えば、ラインの大きさが１６バイトで、参照しよ
うとする変数‘ａ’の大きさが、４バイトとする。ここ
で、変数‘ａ’を参照する場合、変数‘ａ’のみを単独
で外部メモリからキャッシュへ持ってくるのではなく、
‘ａ’を含む連続した１６バイトのデータを固まりとし
て扱う。

【０００８】

【発明が解決しようとする課題】従って、キャッシュを
有効に扱うには、キャッシュの容量、ウェイ数（データ
をキャッシュに持ってくる方式に関連する）、ラインの
大きさなどの情報が必要である。具体的に、この情報が
なぜ必要なのかを説明する。

【０００９】キャッシュの容量が３２ｋバイト、ウェイ
数が‘４’である４ウェイセットアソシアティブ方式
で、ラインの大きさが１６バイトのキャッシュを考え
る。（３２，０００÷１６＝）２０００なので、キャッ
シュには２０００個のラインが存在する。アドレスが連
続する四バイトデータでキャッシュを埋めると（２００
０×４＝）８０００個のデータを格納できる。

【００１０】図４にプログラム例を示す。図中、配列は
ａ〜ｄの四種類あり、それぞれが２０００個の要素を有
しているから、全部で８０００個の要素となる。制御変
数ｉは、‘０，４，８，，１９６，１，５，，１９
７，’と四ずつ増加しておりアドレスを連続的にアクセ
スしないが、配列ａ〜ｄの全要素はちょうどキャッシュ
の容量に納まるので、ミスヒットの問題はない。

【００１１】図５に、別のプログラム例を示すが、この
プログラムではキャッシュ・ミスを頻繁に引き起こす。
ここで参照される配列ａ，ｂ，ｃ，ｄは、それぞれ４，
０００個の要素を持つから、このループで使用される全
要素は１６，０００個になる。これを大きさに換算する
と６４ｋバイトになるから、３２ｋバイトのキャッシュ
の容量よりも大きい。

【００１２】ループ中にある処理に注目すると、配列
ａ，ｂ，ｃ，ｄの四つが占める領域の大きさはキャッシ
ュの容量の二倍の大きさで、各要素は一回づつアクセス
されている。単純に考えればキャッシュの書き替えは各
アドレス領域ごとに一回といえる。

【００１３】実際に一回で済むのか確認してみる。ライ
ンの大きさは１６バイトで配列要素のタイプは四バイト
のｉｎｔｅｇｅｒである。従って、一回のライン操作で
連続する四つの配列要素がひとまとめに扱われる。

【００１４】例えば、図５のループ処理における第一回
目の演算では、ａ［０］〜ａ［３］の四つの配列要素が
同一のラインに格納される。同様に、ｂ［０］〜ｂ
［３］の四つの配列要素、ｃ［０］〜ｃ［３］の四つの
配列要素、及びｄ［０］〜ｄ［３］の四つの配列要素が
それぞれ同一のラインに格納される。こうして、第一回
目の演算で四つのラインが使用される。

【００１５】ところで、データの扱いとして、常にメモ
リ上で連続したアドレスの要素を順番にアクセスする分
けではない。アクセス順序はプログラムに依存する。図
５の処理を辿ると、制御変数ｉを四ずつ増加して、四つ
おきに配列要素をアクセスしている。これは、各処理ス
テップではラインの一部のみを参照し、ライン上にある
データが全てアクセスされる前に、書き替えが起こり、
キャッシュ上からデータがなくなることを意味する。よ
って、単純に各アドレス領域ごとに一回の書き替え処理
では済まないことが分かる。

【００１６】図５のプログラムをこのままの順序で実行
する場合、参照される各配列ａ，ｂ，ｃ，ｄの順序は次
の通りである。まず、ｊ＝０の時、‘ｉ＝０，４，８，
・・・，１９９６，２０００，・・・，３９９６’の値
をとり、このｉを制御変数にして各配列ａ，ｂ，ｃ，ｄ
はアクセスされる。配列は四種類あり、一つの要素番号
に対する一つの演算で四個のデータが参照され、四つの
ラインが使用されていく。従って、ｉ＝１９９６の時点
で２０００個のデータが参照され、２０００個のライン
が占有される。ここで、キャッシュは一杯になる。そし
て、ｉ＝２０００のとき、２００１番目のデータが参照
されるのでミス・ヒットが起きる。

【００１７】次にｊ＝１の時、‘ｉ＝１，５，９，・・
・，１９９７，２００１，・・・，３９９７’の順に各
配列は参照される。ｊ＝１，ｉ＝１のとき、４００１番
目のデータが参照されるが、ここでもミス・ヒットが起
こる。４００１番目のデータが参照されるときには、２
００１番目のデータを格納したラインの書き替えが必要
になる。また、ｉ＝１９９７のとき、６００１番目のデ
ータが参照され、ここでもミス・ヒットが起こる。６０
０１番目のデータが参照されるときには、４００１番目
のデータを格納したラインの書き替えが必要になる。

【００１８】同様に外側ループの制御変数ｊがインクリ
メントされるたびに、二回づつのミス・ヒットが生じる
ので、結局最初にキャッシュに持ってくるときも数える
と、各ライン毎に平均で八回の書き替えが必要になる。
因に、図４に示すループ処理でミス・ヒットが生じるの
は、最初の参照の時のみである。

【００１９】このように、キャッシュのミス・ヒットが
頻繁に起こると、プログラムの実行性能は大きく低下す
る。それにも拘らず、プログラム開発者は、キャッシュ
に関してどれくらいの最適化効率が上がっているのか、
もしくは足を引っ張っている部分がどれか等の情報を得
ることができない。キャッシュの最適化に積極的に取り
組む情報に不足している。

【００２０】従来のコンパイラにもキャッシュの大きさ
とウェイ数を情報として入手し、キャッシュを有効に利
用するための最適化を自動的に行うものが存在する。し
かし、どういうケースに最適化が施されたか、または最
適化の対象であったのに最適化できなかった部分が存在
するか、その理由は何か、どのような工夫をすればより
多くの部分がキャッシュの最適化の恩恵を受けられるか
等の情報を得ることはできない。コンパイラが解析でき
たループのみが自動的に最適化されるに留まっている。

【００２１】本発明は、ユーザがよりよい実行性能を得
ようとしているプログラムに関して、キャッシュを有効
に利用する最適化の施されている状況、あるいは最適化
の対象となっているにもかかわらず最適化が行われなか
った部分や、その部分に対して最適化した場合の効果の
見込み等を示せるように、キャッシュ最適化のための情
報を表示するシステムを提供することを目的とする。

【００２２】

【課題を解決するための手段】本発明によれば、上述の
目的は、前記特許請求の範囲に記載した手段にて達成さ
れる。

【００２３】すなわち、請求項１の発明は、図１にも示
されるように、原始プログラム１を目的プログラム５に
コンパイルするコンパイラ３とデータをやり取りしてプ
ログラムのアルゴリズムを解析すると共に、キャッシュ
の最適化を図るために情報表示を行うシステムであっ
て、キャッシュの容量、ウェイ数、ラインの大きさを含
むキャッシュに関する情報を内部情報として蓄えておく
蓄積機能１１と、原始プログラムよりループを認識し、
そのループにおけるデータのアクセス状況を解析する解
析機能１２と、解析機能による解析結果を表示する表示
機能１６とを有するキャッシュの情報表示システム１０
である。

【００２４】また、請求項２の発明は、ループからアウ
トプット・ディペンデンシー又はアンチ・ディペンデン
シーの影響を受けない変数を抽出する抽出機能１３と、
抽出した変数を所定の注釈と共に表示する表示機能１６
とを設けるキャッシュの情報表示システム１０である。

【００２５】また、請求項３の発明は、ループ内に一つ
又は複数の下層内側ループが存在する場合に、キャッシ
ュを有効に活用できる別のループ構造を求めるループ生
成機能１４と、生成したループを所定の注釈と共に表示
する表示機能１６とを設けるキャッシュの情報表示シス
テム１０である。

【００２６】また、請求項４の発明は、ループに最適化
できる箇所があるのに、コンパイラによる書き替えが行
われなかった箇所がある場合に、その箇所を明示して表
示する表示機能１６を設けるキャッシュの情報表示シス
テム１０である。

【００２７】また、請求項５の発明は、解析機能による
解析結果に基づいてループを書き替え、キャッシュの最
適化を図るプログラムの自動編集機能１５と、プログラ
ムを書き替えた箇所と共に、書き替えを行わなかった箇
所を明示して表示する表示機能１６とを設けるキャッシ
ュの情報表示システム１０である。

【００２８】例えば、図５に示すループ処理に対して、
蓄積機能１１は、キャッシュの容量、ウェイ数、ライン
の大きさとデータの量についての情報を蓄積する。すな
わち、キャッシュの大きさは３２ｋバイト、ウェイ数は
４、ラインの大きさは１６バイト、データの量は（４０
００×４×４＝）６４ｋバイトといった情報を得る。

【００２９】メモリアドレスが連続したデータを続けて
アクセスするように最適化を行う際に、これらの情報は
必要無いように思えるが、例えば２ウェイセットアソシ
アティブ方式でキャッシュにデータを持ってくる場合
は、一回の処理で、ｂ［ｘ］，ｃ［ｘ］を参照した後
に、同じラインにｄ［ｘ］，ａ［ｘ］を持ってこなけれ
ばならないので、別の最適化を行った方がよりよい効果
を得られる。なお、ノーライトアロケートの場合は、ａ
［＊］をキャッシュに持ってくる必要は無いが、ここで
はライトアロケートの方式とする。

【００３０】解析機能１２は、例えば、重なっている
ループ各々の制御変数の働き、アクセスされる配列要
素に関する外側ループの繰り返しによるものも含めた依
存関係、アクセスされる配列の構造とアクセスの順序
を調べる。

【００３１】そして、については、制御変数ｉは、ｊ
から３９９９までの範囲で四づつ増加する。制御変数ｊ
は‘０’から‘３’までの範囲で一づつ増加する。ｉは
ｊに依存する。といった情報を得る。については、処
理式は外側ループの制御変数ｊに関して不変である。処
理式は内側のループの制御変数ｉに関して依存関係を持
たない。といった情報を得る。については、配列は全
て一次元で要素の大きさは四バイトである。内側の制御
変数ｉによりアクセスの順序が決まり、要素は四つおき
にアクセスされる。といったことを解析する。そして、
配列のデータ量がキャッシュの容量を超える程大きいこ
とを判断する。表示機能は、上記のような解析結果を表
示する。

【００３２】さて、上記の情報から次のことが言え
る。（イ）処理式は外側のループの制御変数ｊに依存し
ていず、内側の制御変数ｉに依存している。制御変数ｉ
は制御変数ｊに依存しているが、ｉは四づつ増えて、ｊ
のとる範囲は‘０’から‘３’である。（ロ）・キャッ
シュの大きさがデータの量より小さい。同じ情報の乗っ
ているラインがキャッシュにオン／オフを繰り返す。

【００３３】ループ生成機能１４は、（イ）より制御変
数ｉとｊをまとめることができ、（ロ）より一つのライ
ンに乗っているデータを連続してアクセスするように処
理の流れを変えた方がよい、といった結論を得ることが
できる。そこで、例えば図６に示すループ構造を生成す
ることができる。このループ処理では、連続したメモリ
アドレスを持つデータがアクセスされるようになってい
る。要素番号‘０’の第一番目のデータに続いて、二番
目、三番目、四番目のデータが順番にアクセスされるの
で、頻繁なミス・ヒットは起こらない。これがキャッシ
ュを有効に利用するための最適化であり、またその効果
である。

【００３４】表示機能１６は、ユーザの側がキャッシュ
の有効利用を意識できる、あるいはユーザから情報が提
供されればコンパイラが最適化を行えるような場合に、
その情報提供をユーザに促すメッセージなどを表示す
る。

【００３５】

【作用】請求項１の発明では、キャッシュに関する情報
を内部情報として蓄えておく蓄積機能と、データのアク
セス状況を解析する解析機能と、解析機能による解析結
果を表示する表示機能とを有しているので、ループ処理
におけるキャッシュの使用態様に関する情報がユーザに
対して提示される。

【００３６】請求項２の発明では、ループからアウトプ
ット・ディペンデンシー又はアンチ・ディペンデンシー
の影響を受けない変数を抽出する抽出機能と、抽出した
変数を所定の注釈と共に表示する表示機能とを設けてい
るので、ループを分割して処理した方がよい演算部がユ
ーザに対して提示される。

【００３７】請求項３の発明では、キャッシュを有効に
活用できるループ構造を求めるループ生成機能と、生成
したループを所定の注釈と共に表示する表示機能とを設
けているので、キャッシュの有効利用を図れるプログラ
ムがユーザに対して提示される。

【００３８】請求項４の発明では、ループに最適化でき
る箇所があるのに、コンパイラによる書き替えが行われ
なかった箇所がある場合に、その箇所を明示して表示す
る表示機能を設けているので、キャッシュの有効利用を
図るために書き替えを行うべき箇所がユーザに対して提
示される。

【００３９】請求項５の発明では、キャッシュの最適化
を図るプログラムの自動編集機能と、プログラムを書き
替えた箇所と、書き替えを行わなかった箇所とを明示し
て表示する表示機能とを設けているので、キャッシュの
最適化が施された箇所、あるいは最適化の対象となって
いるにもかかわらず最適化が行われなかった箇所がユー
ザに対して提示される。

【００４０】

【実施例】図２は、キャッシュについて最適化できる箇
所を含むプログラム例である。図示するプログラムを入
力してコンパイルした時のメッセージ例を示す。なお、
使用するキャッシュについて、容量は６４ｋバイト、ラ
インの大きさは３２バイト、セットアソシアティビティ
ーは‘１’、総ライン数は２，０００として説明する。

【００４１】メッセージ：（キャッシュサイズ：６４
ｋバイト、ラインの大きさ：３２ｋバイト、セットアソ
シアティビティー：１）、ライン数は２，０００であ
る。 メッセージ：行番号３８９から始まる”ｆｏｒルー
プ”にある配列の大きさは約１，３１０ｋバイトある。
キャッシュサイズの６４ｋバイトを越えている。 メッセージ：行番号３８９から始まる”ｆｏｒルー
プ”で、行番号３９３にある配列ａ［ｉ］［ｊ］の計算
は、ループ内のその他の計算からｏｕｔｐｕｔｄｅｐｅ
ｎｄｅｎｃｙ（アウトプット・ディペンデンシー），ａ
ｎｔｉ ｄｅｐｅｎｄｅｎｃｙ（アンチ・ディペンデン
シー）の影響を受けない。配列ａ［ｉ］［ｊ］の計算を
行番号３８９のループの外側に移動することを勧める。 メッセージ：行番号３９４及び行番号３９５の計算を
行うループ、すなわち行番号３８９から始まるループを
ｓｔｒｉｐ ｍｉｎｉｎｇ ｂｌｏｃｋ ｓｉｚｅ‘５
６’で最適化する。

【００４２】また、本発明では、ループ生成機能がメッ
セージの情報に基づいて、配列ａの計算をループの外
に出してキャッシュの最適化を施したプログラムを示す
こともできる。例えば、図３に示すようなループ構造を
ユーザに提示することも可能である。

【００４３】その他、本発明によって表示されるメッセ
ージを例示すると次のようなものを挙げることができ
る。 ・行番号Ｘ番から始まる”ｆｏｒループ”の順番を入れ
替えた。配列Ａへのアクセスの順番が変わるので、キャ
ッシュの一ラインに格納されている連続したアドレスの
データを一度に参照できる。 ・行番号Ｙ番から始まるループで参照される配列Ｂのサ
イズはＸＸで、キャッシュサイズＹＹを越えている。こ
の配列Ｂは最内のループ以外の制御変数の影響を受けな
い。配列Ｂが別名を持っていなければループ内の他の処
理からのｏｕｔｐｕｔ ｄｅｐｅｎｄｅｎｃｙもａｎｔ
ｉ ｄｅｐｅｎｄｅｎｃｙも持たないので新しいループ
を作成して行番号Ｙループより前に単独で計算すること
で、配列Ｃのキャッシュ利用をスムーズにすることがで
きる。 ・行番号Ｚから始まるループは複数の配列を含む。全て
の配列を合わせた大きさはＰｋバイトであり、キャッシ
ュサイズＱｋバイトを上回る。このループをｓｔｒｉｐ
ｍｉｎｉｎｇで分割した。

【００４４】

【発明の効果】以上説明したように、本発明によれば、
キャッシュを有効利用するための情報が表示される。こ
の情報を得ることによってユーザは自らのソースを変更
したり、あるいはユーザが知っている情報をコンパイラ
に提供することが可能になるので、キャッシュのミスヒ
ットにより損なっていた情報処理システムの積極的な性
能改善に寄与することができる。

【図面の簡単な説明】

【図１】本発明の概念図である。

【図２】最適化対象のプログラムを示す図である。

【図３】最適化を施したプログラムを例示する図であ
る。

【図４】プログラムの一例を示す図である。

【図５】キャッシュ・ミスを頻繁に発生させるプログラ
ムの一例を示す図である。

【図６】最適化を施したプログラムを例示する図であ
る。

【符号の説明】

１ 原始プログラム ３ コンパイラ ５ 目的プログラム １０ 情報表示システム １１ 蓄積機能 １２ 解析機能 １３ 抽出機能 １４ 生成機能 １５ 編集機能 １６ 表示機能

Claims (5)

【特許請求の範囲】
1. 【請求項１】原始プログラムを目的プログラムにコンパ
   イルするコンパイラとデータをやり取りしてプログラム
   のアルゴリズムを解析すると共に、キャッシュの最適化
   を図るために情報表示を行うシステムであって、 キャッシュの容量、ウェイ数、ラインの大きさを含むキ
   ャッシュに関する情報を内部情報として蓄えておく蓄積
   機能と、 原始プログラムよりループを認識し、そのループにおけ
   るデータのアクセス状況を解析する解析機能と、 解析機能による解析結果を表示する表示機能とを有する
   ことを特徴とするキャッシュの情報表示システム。
2. 【請求項２】ループからアウトプット・ディペンデンシ
   ー又はアンチ・ディペンデンシーの影響を受けない変数
   を抽出する抽出機能と、 抽出した変数を所定の注釈と共に表示する表示機能とを
   設ける請求項１記載のキャッシュの情報表示システム。
3. 【請求項３】ループ内に一つ又は複数の下層内側ループ
   が存在する場合に、キャッシュを有効に活用できる別の
   ループ構造を求めるループ生成機能と、 生成したループを所定の注釈と共に表示する表示機能と
   を設ける請求項１記載のキャッシュの情報表示システ
   ム。
4. 【請求項４】ループに最適化できる箇所があるのに、コ
   ンパイラによる書き替えが行われなかった箇所がある場
   合に、その箇所を明示して表示する表示機能を設ける請
   求項１〜３いずれか１項に記載のキャッシュの情報表示
   システム。
5. 【請求項５】解析機能による解析結果に基づいてループ
   を書き替え、キャッシュの最適化を図るプログラムの自
   動編集機能と、 プログラムを書き替えた箇所と共に、書き替えを行わな
   かった箇所を明示して表示する表示機能とを設ける請求
   項１〜３いずれか１項に記載のキャッシュの情報表示シ
   ステム。