JP3224782B2 - 処理分担動的変更方法及びコンピュータ - Google Patents

処理分担動的変更方法及びコンピュータ

Info

Publication number
JP3224782B2
JP3224782B2 JP21885298A JP21885298A JP3224782B2 JP 3224782 B2 JP3224782 B2 JP 3224782B2 JP 21885298 A JP21885298 A JP 21885298A JP 21885298 A JP21885298 A JP 21885298A JP 3224782 B2 JP3224782 B2 JP 3224782B2
Authority
JP
Japan
Prior art keywords
processing
stage
queue
groups
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP21885298A
Other languages
English (en)
Other versions
JP2000057329A (ja
Inventor
桂 川瀬
孝男 森山
英史 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP21885298A priority Critical patent/JP3224782B2/ja
Priority to US09/345,371 priority patent/US6651082B1/en
Publication of JP2000057329A publication Critical patent/JP2000057329A/ja
Application granted granted Critical
Publication of JP3224782B2 publication Critical patent/JP3224782B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、マルチプロセッサ
・システムにおける処理分担の動的変更に関し、より詳
しくは、コンピュータにおけるホスト・プロセッサとグ
ラフィックス・アダプタにおける処理分担の動的変更に
関する。
【０００２】
【従来の技術】ＯｐｅｎＧＬやＤｉｒｅｃｔ３Ｄといっ
たポリゴンベースの三次元グラフィックスの場合、全体
のパフォーマンスを決める主な要因は以下のようなもの
がある。 （１）ＡＰＩ アプリケーションからＡＰＩを介して描画コマンドを発
行する速度 （２）ジオメトリ（Geometry）処理 三角形分割／座標変換／照度計算といったジオメトリ処
理の速度 （３）セットアップ（Setup）処理 三角形の辺／面に沿った色／Ｚ座標値／テクスチャ座標
値の勾配計算の速度 （４）ラスタ処理 三角形内部のピクセルの色／Ｚ座標値／テクスチャ座標
値を補間して求め、それらをフレーム・バッファへ読み
書きする速度
【０００３】（１）は、最も処理量が多い方法であると
ころの、頂点ごとにＡＰＩを呼び出す方法を用いても、
一頂点当たり数十クロックしかかからないので、（１）
が問題となることはない。
【０００４】（４）は一秒間に何ピクセル描画できるか
（ピクセル・レート（pixel rate）と呼ぶ）に相当す
る。このピクセル・レートはポリゴン・レート（polygo
n rate、後述）とは無関係であり、画面サイズ（例えば
６４０×４８０や１０２４×７６８といった一画面が何
ピクセルから構成されるか。）とフレーム・レート（fr
ame rate。一秒間に何コマ表示を行うか。ＣＲＴのリフ
レッシュ・レート（Refresh rate）とは異なる。一般
に、１２−６０フレーム／秒程度必要。）と画面上での
平均的な重なり（通常３回程度）によって要求量が決定
されるものである。最近のグラフィックス・アダプタで
はＳＸＧＡ（１２８０×１０２４ピクセル）程度の画面
サイズまで、ほぼ問題ない程度になりつつある。
【０００５】（２）及び（３）のジオメトリとセットア
ップ処理のパフォーマンスは直接一秒間に何ポリゴン処
理できるか（先に述べたポリゴン・レート）に相当す
る。セットアップ処理は、ジオメトリ処理の一部とされ
ることも多いので、ここではジオメトリ処理として扱う
ことにする。ジオメトリ処理は数多くの浮動小数点演算
が必要である。これには１頂点あたりの処理に数百から
数千クロックかかる。従って、ホスト・プロセッサの処
理能力だけでは不十分な場合が多い。例えば、１０Ｍ個
の頂点を１秒間に処理する場合、１頂点処理するのに１
０００クロック必要ならば、１０Ｇクロック／秒のプロ
セッサが必要になってしまう。よって、グラフィックス
・アダプタ上にジオメトリ処理専用の演算器を設けるこ
とが多い。また処理の条件、例えば光源の数や光源の種
類等によって処理量が大きく変化する。
【０００６】ところで、ホスト・プロセッサは描画コマ
ンド（Graphics Command）の列を主記憶装置に蓄える。
この描画コマンドの列をコマンド・キュー（Command Qu
eue）という。グラフィックス・アダプタはＤＭＡを用
いてコマンド・キューの内容を内部に取り込み、処理を
施して表示装置に表示する。このコマンド・キューはＤ
ＭＡ転送を行う必要上物理的に主記憶装置内に又はグラ
フィックス・アダプタ上に存在しなければならない。従
って、コマンド・キューの大きさには制限がある。この
コマンド・キューが処理の途中で満杯になったり、空に
なったりすると、ホスト・プロセッサ又はグラフィック
ス・アダプタが停止するので、全体としてのパフォーマ
ンスが落ちてしまう。コマンド・キューが満杯（Ｆｕｌ
ｌ）の場合には、ホスト・プロセッサはこれ以上コマン
ド・キューに書き込むことができないので、それに空き
が生じるまでホスト・プロセッサは処理を進めることが
できない。また、コマンド・キューが空（Ｅｍｐｔｙ）
である場合には、グラフィックス・アダプタは処理を行
うことができない。
【０００７】ホスト・プロセッサの処理速度とグラフィ
ックス・アダプタの処理速度が等しければコマンド・キ
ューは満杯又は空になることはないが、以下の理由で両
者の処理速度を均等にすることはできなかった。 （ａ）表示のために使用できるホスト・プロセッサの処
理能力が予測困難である。ホスト・プロセッサの種類／
動作周波数／個数が多様である。また、表示以外で使用
するホスト・プロセッサの負荷が予測困難あり、動的に
変化する。 （ｂ）上述のジオメトリ処理のように、描画コマンドの
ホスト・プロセッサ上での処理量（ワークロード：work
load）は、現在の状態やデータに依存して動的に変化
するので、予測困難である。例えばクリッピング（clip
ping）によって頂点の数は増減する。 （ｃ）描画コマンドのグラフィックス・アダプタ上での
処理量は、現在の状態やデータに依存して動的に変化す
るので、予測困難である。
【０００８】ホスト・プロセッサの処理能力と処理量を
それぞれＰh，Ｌhとし、グラフィックス・アダプタの処
理能力と処理量をそれぞれＰa，Ｌaとすると、Ｌh／Ｐh
＝Ｌ a／Ｐaが成り立てば、コマンド・キューが空になっ
たり満杯になったりすることなく処理が進められるが、
Ｌh、Ｐh、Ｌa及びＰaはいずれも予測不可能であり、必
ずしもシステムの性能を最大限引き出すことができてい
なかった。
【０００９】特開平２−２７５５８１号公報は、機能毎
にその機能を使用する際に必要な時間が予め分かってい
る場合に、利用者が使用する幾つかの機能をオン／オフ
するごとに、複数のプロセッサの処理分担を変更して、
システム全体の処理速度を向上させる技術を開示してい
る。しかし、機能を使用する際に必要な時間は、処理す
るデータに依存するため、この公報の前提では処理分担
を適切に変更できない。また、ホスト・プロセッサはマ
ルチタスクＯＳの環境にあることが多く、グラフィック
スに割り当てられる計算能力は時々刻々と変化するた
め、この点においてもこの公報の前提は適切ではない。
さらに、この公報では、機能のオン／オフの全ての組み
合わせに対応する処理分担表を作っておく必要がある
が、実際の環境においてはオン／オフできる機能の数は
膨大になり実際的ではない。
【００１０】
【発明が解決しようとする課題】よって、本発明では、
Ｌh、Ｐh、Ｌa及びＰaがいずれも予測不可能である環境
において、Ｌh／Ｐh＝Ｌa／Ｐaに近づけることができる
ようなコンピュータ・システムを提供することである。
【００１１】また、Ｌh／Ｐh＝Ｌa／Ｐaに近づけること
により、システム全体のパフォーマンスをできる限り引
き出すことができるようにすることも目的である。
【００１２】さらに、将来のホスト・プロセッサの処理
能力の向上に適応できるようにし、製品寿命を伸ばすこ
とも目的である。
【００１３】さらに、コマンド・キューが満杯になるよ
うな事態が生じても、ホスト・プロセッサの処理を停止
せずにシステム全体のパフォーマンスを下げないように
することも目的である。
【００１４】
【課題を解決するための手段】少なくとも２つのグルー
プに分けることができる複数の処理装置を有するコンピ
ュータにおいて、各グループにおける、第１段から第ｎ
段までの一連の処理の分担を動的に変更する本発明は、
グループ間で処理結果を受渡すためのキューにおける特
徴量の増減を検出するステップと、特徴量の増減に基づ
き、各グループにおける処理の分担を変更する変更ステ
ップとを含む。キューに格納されたデータの特徴量は、
処理量に関係する値を表すものであり、この特徴量を参
照しつつ処理分担を変更すれば、キューが満杯又は空に
なることはほとんど生じなくなる。
【００１５】例えば、この特徴量は、キューに格納され
た情報の量又はキューのサイズ（長さ）であっても、グ
ラフィックスに関連する処理の場合、キューに格納され
た頂点データの数であってもよい。
【００１６】また、先に述べた変更ステップは、特徴量
が所定のしきい値以上増加した場合には、グループ間の
処理分担の境界である第ｉ段（１≦ｉ＜ｎ）までの処理
を実施していたグループの担当を第ｉ段より後段の処理
まで当該グループの担当と設定するステップを含むよう
にすることも考えられる。後段の処理とは、第ｉ＋１段
以降の処理である。また、特徴量が所定のしきい値以上
減少した場合には、グループ間の処理分担の境界である
第ｉ段（１＜ｉ≦ｎ）までの処理を実施していたグルー
プの担当を第ｉ段より前段の処理までを当該グループの
担当と設定するステップを実行するようにすることも考
えられる。また、前段の処理とは、第ｉ−１段以前の処
理である。
【００１７】またこのように処理分担を動的に変える
と、後段の処理を実施するグループは、その段階から処
理を実施すべきかという情報が必要になる場合がある。
よって、処理結果は、何段目までの処理を実施したかに
ついての情報を含むようにすることも考えられる。
【００１８】また、キューの使用量が上限に達していな
いか検査するステップと、キューの使用量が上限に達し
ている場合、グループ間の処理分担の境界である第ｉ段
（１≦ｉ＜ｎ）までの処理を実施しているグループに属
する処理装置がキューの最後尾の処理結果を取り出し、
第ｉ段より後段の処理まで実施した後に、キューに当該
処理結果を格納するステップをさらに含むようにするこ
とも考えられる。これにより、コマンド・キューが満杯
になるような事態が生じても、ホスト・プロセッサの処
理を停止せずにシステム全体のパフォーマンスを下げな
いようにすることができる。
【００１９】本発明を実施したコンピュータは、少なく
とも２つのグループに分けることができ、各前記グルー
プにおける、第１段から第ｎ段までの一連の処理の分担
が設定される、複数の処理装置と、グループ間の処理結
果の受渡しのためのキューと、キューにおける特徴量の
増減を検出し、特徴量の増減に基づき、各グループにお
ける処理の分担を変更するコントローラとを有する。
【００２０】以上本発明の構成を説明したが、各ステッ
プを実行するようなプログラムにて本発明を実施するこ
とも可能である。その際、プログラムはＣＤ−ＲＯＭや
フロッピー・ディスク等の記憶媒体に記憶されたり、ハ
ードディスクやＲＯＭ等の記憶装置又はデバイスに記憶
される場合がある。また、本発明の処理を実施するよう
な専用の回路又は装置を実施することも可能である。
【００２１】
【発明の実施の形態】図１にパイプライン式に処理すべ
きプロセス群を示す。図１では説明を簡単にするため、
プロセス０乃至４を示しているが、これより多いプロセ
スが存在する場合及び少ないプロセスが存在する場合の
両方が考えられる。グラフィックスに関する処理もこの
ようなパイプライン式に実施する必要がある。
【００２２】図１のようなプロセス０乃至４を３つの処
理装置グループで処理する場合の一例を図２に示してい
る。処理装置グループ１（１）はプロセス０及び１を担
当しており、処理装置グループ２（３）はプロセス２及
び３を担当しており、処理装置グループ３（５）はプロ
セス４を担当している。処理装置グループとしているの
は、各処理装置グループに含まれるプロセッサの数は１
つでも複数でもよいからである。この処理装置グループ
間のデータの交換にはコマンド・キュー１（７）及びコ
マンド・キュー２（９）が用いられる。
【００２３】コマンド・キュー１（７）は処理装置グル
ープ１及び２の間のデータの交換に、コマンド・キュー
２（９）は処理装置グループ２及び３の間のデータの交
換に用いられる。このコマンド・キューは、処理装置グ
ループが用いるメモリの一部に設けられるようにして
も、別個設けるようにしてもよい。コマンド・キュー
は、コマンド・キューを挟んだ両側の処理装置グループ
の処理速度が多少変動しても、ある程度の時間空になっ
たり満杯になったりしないような大きさが必要である。
これは、処理装置グループの他のプロセスやスレッドに
より処理能力が変動したり、両側の処理装置グループの
処理量は離散的にしか分割できないため、正確にはＬ1
／Ｐ1＝Ｌ2／Ｐ2（１及び２は処理装置グループ１及び
２を示す）を保つことはできないからである。
【００２４】また、処理分担コントローラ１１は、コマ
ンド・キュー１及び２を監視して、処理分担を変更する
際の指標となる特徴量の増減を検出する。処理分担コン
トローラ１１は必要に応じて処理分担を変更するよう処
理装置グループに命ずる。なお、図２では１つの処理分
担コントローラ１１を設けているが、各処理装置グルー
プ内で同様の機能を実施するようにすることも可能であ
る。
【００２５】処理装置グループ１（１）は、プロセス０
及びプロセス１を実行し、コマンド・キュー１（７）に
プロセス１の処理結果を順次書き込み、例えばＤＭＡ
（図示せず）のような機構を介してプロセス２を実施す
る処理装置グループ２（３）にデータを渡す。処理装置
グループ２（３）は、コマンド・キュー１（７）におけ
る処理結果を順次用いてプロセス２及びプロセス３を実
施し、コマンド・キュー２（７）にプロセス３の処理結
果を書き込み、同じようにしてプロセス４を実施する処
理装置グループ３（５）にデータを渡す。処理装置グル
ープ３はコマンド・キュー２（９）における処理結果を
順次用いてプロセス４を実施する。
【００２６】図３に、コマンド・キュー１（７）におけ
る特徴量が所定のしきい値以上減少した場合を示す。コ
マンド・キュー１（７）における特徴量が所定のしきい
値以上減少した場合には、処理装置グループ１（１）の
負荷が大きくなったか又は処理能力が落ちたか、若しく
は処理装置グループ２（３）の負荷が軽くなったか又は
処理能力が上がったか、である。とにかく、このまま放
置するとコマンド・キュー１（７）が空になって、処理
装置グループ２（３）が遊んでしまう。そこで、処理分
担コントローラ１１は、処理装置グループ１にプロセス
０のみ実行するように命じ、処理装置グループ２（３）
にプロセス１も実行するように命ずる。図３はこのよう
な処理分担の変更を実施した後の状態を示している。も
し、この後コマンド・キュー２（９）における特徴量が
所定のしきい値以上減少するような場合には、再度処理
装置グループ２（３）及び処理装置グループ３（５）の
間で担当プロセスの調整がなされる。
【００２７】通常のコンピュータにおけるグラフィック
ス処理を考えた場合には、図２及び図３における処理装
置グループは２つで、ホスト・プロセッサ（１又は複
数）のグループとグラフィックス・アダプタのグループ
に分けられる。図４に本発明のコンピュータの例を示
す。ホスト・プロセッサ２１はメモリ・コントローラ２
３に接続している。メモリ・コントローラ２３はメイン
・メモリ２５及びバス２７に接続している。バス２７に
はグラフィックス・アダプタ２９が接続しており、この
グラフィックス・アダプタ２９は表示装置３１に接続し
ている。ホスト・プロセッサ２１は上でも述べているよ
うに複数のプロセッサであってもよい。メモリ・コント
ローラ２３にはＤＭＡコントローラを含む。また、メイ
ン・メモリ２５内には、コマンド・キュー２５ａと、ソ
フトウエアとして実施されている処理分担コントローラ
２５ｃと、本発明ではホスト・プロセッサ２１が処理し
た頂点データの数（コマンド・キュー２５ａへの入力と
なる）をカウントするカウンタ１（２５ｂ）とを含む。
また、メイン・メモリ２５には実行中の他のソフトウエ
ア（割り当てられたプロセスに関するプログラムを含
む）も含まれ、それらは必要に応じて図示しないハード
ディスク等からロードされる。グラフィックス・アダプ
タ２９には、図示しないジオメトリ・プロセッサ及びラ
スタ・プロセッサと、グラフィックス・アダプタ２９が
処理した頂点データの数をカウントするカウンタ２９ａ
と、割り当てられる可能性のある処理プロセスに必要な
プログラム（図示せず）を含む。
【００２８】ホスト・プロセッサ２１は、図示しないプ
ログラムを用いて割り当てられたプロセスの処理を実施
し、その結果をコマンド・キュー２５ａにメモリ・コン
トローラ２３を介して書き込む。頂点データを１つ処理
するごとにカウンタ１（２５ｂ）を１インクメントす
る。また、メモリ・コントローラ２３は所定のサイズご
とにコマンド・キュー２５ａのデータをバス２７を介し
てグラフィックス・アダプタ２９に渡す。グラフィック
ス・アダプタ２９は渡されたデータ（ホスト・プロセッ
サ２１の処理結果）を用いて割り当てられたプロセスを
実施し、処理結果として表示装置３１にグラフィックス
を表示する。なお、グラフィックス・アダプタ２９にお
いて頂点データが１つ処理されるごとにカウンタ２（２
９ａ）を１インクリメントする。
【００２９】ホスト・プロセッサ２１側に設けられた処
理分担コントローラ２５ｃは、一定期間ごとにカウンタ
１（２５ｂ）及びカウンタ２（２９ａ）の値を取得し、
各カウンタ値の増分を用いて後に説明する処理分担の変
更を行う。本発明では、ホスト・プロセッサ２１側に処
理分担コントローラ２５ｃを設けているが、これはグラ
フィックス・アダプタ２９側に設けることも可能であ
る。
【００３０】コマンド・キュー２５ａの一例を図５に示
す。コマンド・キュー２５ａは、ＤＭＡ時のページ・マ
ッピングの問題や、ホスト・プロセッサ２１が複数のプ
ロセッサを含むような場合のロックの問題から、ページ
境界（page boundary）に沿ったページ・サイズ以下の
リンク・リスト（Linked List）構造が好ましい。リン
グ・バッファはポインタを格納しており、各ポインタの
先には各キュー・エレメントが配置されている。キュー
・エレメントは描画コマンド（Ｃｏｍｍａｎｄ）及びデ
ータ（Ｄａｔａ）を含んでおり、ページ・サイズ以下で
例えば２−４Ｋバイトである。書き込みポインタ（Ｗｒ
ｉｔｅ ＰＴＲ）はホスト・プロセッサ２１が書き込ん
だキュー内の最後のキュー・エレメントを指す。読み出
しポインタ（Ｒｅａｄ ＰＴＲ）はグラフィックス・ア
ダプタ２９が次に読み出すべきキュー・エレメントのア
ドレスを指す。ＤＭＡでキュー・エレメントを読み出す
と、読み出しポインタを１つ進める。
【００３１】ホスト・プロセッサ２１とグラフィックス
・アダプタ２９の間で処理プロセス間のデータの受渡し
方法を予め定義しておき、ホスト・プロセッサ２１がコ
マンド・キュー２５ａに処理結果として描画コマンドと
データを渡す際に、どの処理プロセスまで実施したかを
表すタグを付加しておく。タグには、例えばプロセス２
まで実施したということを含めてもよいし、プロセス３
から実施しろということを含めても良い。このタグは例
えばキュー・エレメント内の描画コマンド内に含める。
このようにすれば、グラフィックス・アダプタ２９がど
の処理プロセスから残りの処理プロセスを実施すればよ
いかが分かるので、全体として正しい結果が得られる。
【００３２】処理分担コントローラ２５ｃの処理を説明
する前に、処理分担コントローラ２５ｃが処理分担を変
更するために参照する特徴量について説明しておく。図
４に示したように、本実施例では頂点データの数を特徴
量としている。これは、コマンド・キュー２５ａには頂
点データ以外にもビットマップ等の二次元イメージを描
画する命令も含まれる。この場合にはジオメトリ処理は
必要なく素通りし、ラスタ処理部で処理される。ビット
マップ等がコマンド・キュー２５ａに入っている場合に
は、コマンド・キューの大きさは大きくなるし、頂点デ
ータに比して処理負荷は軽くなるので、長さ又は大きさ
を基準にすると、グラフィックス・アダプタ２９への処
理分担は不正確になるおそれがある。よって、本実施例
ではコマンド・キュー２５ａに含まれる頂点データの数
を特徴量として取り扱う。但し、他の状況においてはコ
マンド・キューの長さや大きさを特徴量とすることが可
能な場合も生じえる。
【００３３】特徴量である頂点データの数を把握するた
めに、コマンド・キュー２５ａを走査して、カウントす
ることも可能である。しかし、本実施例では、ホスト・
プロセッサ２１とグラフィックス・アダプタ２９がそれ
ぞれ自分で処理した頂点データを数を、カウンタ１（２
５ｂ）及びカウンタ２（２９ａ）でカウントし（それぞ
れカウント１及びカウント２とする）、一定期間におけ
る増分（それぞれ△カウント１及び△カウント２とす
る）の差によりコマンド・キュー２５ａ内に存在する頂
点データの数を把握することにする。
【００３４】例えば、△カウント２が所定のしきい値以
上△カウント１より大きい場合には、グラフィックス・
アダプタ２９の処理の方が速いので、ホスト・プロセッ
サ２１に割り当てられている処理プロセスをグラフィッ
クス・アダプタ２９に割り当てないと、コマンド・キュ
ー２５ａが空になってしまうと判断できる。また、△カ
ウント１が所定のしきい値以上△カウント２より大きい
場合には、グラフィックス・アダプタ２９の処理の方が
遅いので、グラフィックス・アダプタ２９に割り当てら
れた処理プロセスをホスト・プロセッサ２１に割り当て
ないと、コマンド・キュー２５ｃが満杯になっていしま
うと判断できる。このような判断を、△カウント１及び
△カウント２の関数を定義して行うことも出来る。
【００３５】処理分担コントローラ２５ｃの処理フロー
を図６に示す。まず、特徴量の増減を検出するために、
カウンタ１及びカウンタ２の値を取得し、△カウント１
及び△カウント２を計算する（ステップ１１０）。そし
て、△カウント１が△カウント２より第１のしきい値以
上大きいか判断する（ステップ１２０）。もし大きい場
合には、コマンド・キュー２５ａ内の頂点データは許容
できる範囲を超えて増加しているため、満杯になってし
まう可能性がある。よって、グラフィックス・アダプタ
２９の担当処理プロセスを第ｉ段以降から第ｉ＋ｐ段以
降に変更する（ステップ１５０）。ここでｐは正の整数
である。なお、グラフィックス・アダプタ２９の担当処
理プロセスを減らせば、自動的にホスト・プロセッサ２
１の担当分が増加する。
【００３６】一方、ステップ１２０の条件が満たされな
い場合には、△カウント２が△カウント１より第２のし
きい値以上大きいか判断する（ステップ１３０）。も
し、この条件が満たされる場合には、コマンド・キュー
２５ａ内の頂点データ数が許容範囲を超えて減少してい
るため、コマンド・キュー２５ａは空になってしまうか
もしれない。そこで、ホスト・プロセッサ２１の担当処
理プロセスを第ｉ段以前から第ｉ−ｍ段（ｍは正の整
数）以前に変更する（ステップ１４０）。
【００３７】そして、所定時間経過後、再度ステップ１
１０からの処理を繰り返す。
【００３８】このようにして、特徴量の増減に基づき、
各処理装置グループにおける処理の分担を変更する。
【００３９】図６の処理フローは様々な変更が可能であ
る。△カウント１及び△カウント２の差である△カウン
トの増減によって、処理分担を変更するようにしてもよ
い。また、第１及び第２のしきい値は同じでも異なって
いても良い。また、ｐ及びｍは固定であっても△カウン
ト１及び△カウント２の差の大きさによって変化させて
もよい。
【００４０】ステップ１６０における所定時間は、コマ
ンド・キュー２５ａを空にしないような周期、具体的に
は以下のような条件で決めることができる。すなわち、
現在のコマンド・キュー２５ａの内容を全てグラフィッ
クス・アダプタ２９に転送するのに必要な時間をＸと
し、一つのキュー・エレメントをホスト側にて最高速度
（最大限グラフィックス・アダプタ２９に処理を実行さ
せる場合）で作成する時間をＣとした場合、処理分担を
変更する周期である、この所定時間ＴはＴ＜Ｘ−Ｃであ
ればよい。
【００４１】なお、ホスト・プロセッサ２１に処理すべ
き描画コマンドが残っているのに、コマンド・キュー２
５ｃ（サイズは通常数十Ｋバイトから数Ｍバイト）の使
用量が上限に達してしまうと、ホスト・プロセッサ２１
は処理を続行することができなくなる。よって、例えば
図６におけるステップ１２０のようなタイミングで、コ
マンド・キュー２５ａが満杯かどうかを検査して、もし
満杯であれば、処理分担コントローラ２５ｃはホスト・
コンピュータ２１に取り戻し命令を出力し、図７のよう
な処理が実施される。タイミングは他の場合であっても
よく、ホスト・プロセッサ２１が書き込みの際に自分で
判断して図７のような処理を開始しても良い。
【００４２】まず、ホスト・コンピュータ２１は、コマ
ンド・キュー２５ａ内の最後尾の処理結果を取り出す
（ステップ２１０）。これは、図８のように、リング・
バッファの元の書き込みポインタ（ＷＲＩＴＥ＿ＰＲ
Ｔ）から最後尾のキュー・エレメント７を取り戻すもの
である。なお、書き込みポインタの位置を一つ戻す。本
実施例では最後尾の１つのキュー・エレメントを取り出
すことにしているが、複数のキュー・エレメントを取り
出すことにしてもよい。そして、グラフィックス・アダ
プタ２９担当の処理プロセスの一部を、取り戻した処理
結果に対して実施する（ステップ２３０）。例えば第ｉ
段まで担当していた場合には、第ｉ＋１段以降を実施す
る。ホスト・プロセッサ２１はどの処理プロセスまで実
施したかはキュー・エレメントの描画コマンド部分に付
されたタグを見れば分かるので、その後の段階の処理プ
ロセスを実施する。図８の例では、後段の処理プロセス
を実施した結果が、キュー・エレメント７'として示さ
れている。どの段階まで処理プロセスを実施するかは任
意である。但し、場合によっては、再度キュー・エレメ
ント７'を取り戻して処理する場合も生じえる。最後
に、実施終了した処理プロセスのタグを付して、再度処
理結果をコマンド・キュー２５ａに入力する（ステップ
２３０）。このタグは、次にグラフィックス・アダプタ
２９が開始すべき処理プロセスに関する情報でもよい。
図９にステップ２３０終了後の状態を示す。この図では
まだキュー・エレメント０がグラフィックス・アダプタ
２９へ転送されていないので、コマンド・キュー２５ａ
が満杯ということになってしまうが、キュー・エレメン
ト０の転送が終了していれば、ホスト・プロセッサ２１
は次の処理に取りかかることができる。以上のようにし
て、コマンド・キューが万が一満杯になった場合に対処
する。
【００４３】以上本発明の一実施例を説明したが、本発
明は上の実施例に限定されない。例えば、コマンド・キ
ューの構造は図５のような構造に限定されない。コマン
ド・キューはキュー・エレメントをチェーン化して構成
することも可能である。また、処理装置グループ内の複
数のプロセッサは同じ能力でなくともよい。また、処理
分担コントローラはソフトウエアで実施しても専用の回
路などを用意しても良い。
【００４４】
【効果】Ｌ1、Ｐ1、Ｌ2及びＰ2（それぞれ第１処理装置
グループの処理量、処理能力、第２処理装置グループの
処理量、処理能力）がいずれも予測不可能である環境に
おいて、Ｌ1／Ｐ1＝Ｌ2／Ｐ2に近づけることができるよ
うなコンピュータ・システムを提供することができた。
【００４５】また、Ｌ1／Ｐ1＝Ｌ2／Ｐ2に近づけること
により、システム全体のパフォーマンスをできる限り引
き出すことができるようにすることもできた。
【００４６】さらに、将来のホスト・プロセッサの処理
能力の向上に適応できるようにし、製品寿命を伸ばすこ
ともできた。
【００４７】さらに、コマンド・キューが満杯になるよ
うな事態が生じても、コマンド・キューに書き込みを行
う処理装置グループの処理を停止せずにシステム全体の
パフォーマンスを下げないようにすることもできた。
【図面の簡単な説明】
【図１】パイプライン式の処理プロセスの例である。
【図２】複数の処理装置グループにおいて処理プロセス
を分担する際の機能ブロック図である。
【図３】図２の状態から処理分担を変更した場合の図で
ある。
【図４】グラフィックス処理の処理プロセスをホスト・
プロセッサとグラフィックス・アダプタとで分担する場
合の機能ブロック図である。
【図５】コマンド・キュー構造の例である。
【図６】処理分担コントローラの処理フローの例であ
る。
【図７】コマンド・キューが満杯になった際のホスト・
プロセッサの処理フローの例である。
【図８】図７の処理を模式的に示した図である。
【図９】図７の処理結果を模式的に示した図である。
【符号の説明】
１、３、５ 処理装置グループ ７、９ コマンド・キュー １１ 処理分担コントローラ ２１ ホスト・プロセッサ ２３ メモリ・コントローラ ２５ メイン・メモリ ２５ａ コマンド・キュー ２５ｂ カウンタ１ ２５ｃ 処理分担コントローラ ２７ バス ２９ グラフィックス・コントローラ ２９ａ カウンタ２ ３１ 表示装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 森山 孝男 神奈川県大和市下鶴間1623番地14 日本 アイ・ビー・エム株式会社 東京基礎研 究所内 (72)発明者 中村 英史 神奈川県大和市下鶴間1623番地14 日本 アイ・ビー・エム株式会社 東京基礎研 究所内 (56)参考文献 特開 平２−275581（ＪＰ，Ａ) 特開 平５−225153（ＪＰ，Ａ) 特開 平６−187309（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/20 G06F 15/16

Claims (11)

    (57)【特許請求の範囲】
  1. 【請求項１】少なくとも２つのグループに分けることが
    できる複数の処理装置を有するコンピュータにおいて、
    各前記グループにおける、第１段から第ｎ段までの一連
    の処理の分担を動的に変更する方法であって、 前記グループ間の処理結果の受渡しのためのキューにお
    ける特徴量の増減を検出するステップと、 前記特徴量の増減に基づき、前記キューが満杯又は空に
    ならないように各前記グループにおける処理の分担を変
    更する変更ステップと、 を含み、 前記特徴量は前記キューに格納された情報の量であるこ
    とを特徴とする処理分担動的変更方法。
  2. 【請求項２】少なくとも２つのグループに分けることが
    できる複数の処理装置を有するコンピュータにおいて、
    各前記グループにおける、第１段から第ｎ段までの一連
    の処理の分担を動的に変更する方法であって、 前記グループ間の処理結果の受渡しのためのキューにお
    ける特徴量の増減を検出するステップと、 前記特徴量の増減に基づき、前記キューが満杯又は空に
    ならないように各前記グループにおける処理の分担を変
    更する変更ステップと、 を含み、 前記特徴量は、グラフィックスに関連する処理の場合、
    前記キューに格納された頂点データの数であることを特
    徴とする処理分担動的変更方法。
  3. 【請求項３】前記変更ステップは、 前記特徴量が所定のしきい値以上増加した場合には、前
    記グループ間の処理分担の境界である第ｉ段（１≦ｉ＜
    ｎ）までの処理を実施していたグループの担当を第ｉ段
    より後段の処理まで当該グループの担当と設定するステ
    ップ、 を含む請求項１又は２に記載の処理分担動的変更方法。
  4. 【請求項４】前記変更ステップは、 前記特徴量が所定のしきい値以上減少した場合には、前
    記グループ間の処理分担の境界である第ｉ段（１＜ｉ≦
    ｎ）までの処理を実施していたグループの担当を第ｉ段
    より前段の処理までを当該グループの担当と設定するス
    テップ、 を含む請求項１又は２に記載の処理分担動的変更方法。
  5. 【請求項５】前記処理結果は、何段目までの処理を実施
    したかについての情報を含む、請求項１又は２に記載の
    処理分担動的変更方法。
  6. 【請求項６】前記キューの使用量が上限に達していない
    か検査するステップと、 前記キューの使用量が上限に達している場合、前記グル
    ープ間の処理分担の境界である第ｉ段（１≦ｉ＜ｎ）ま
    での処理を実施しているグループに属する処理装置が前
    記キューの最後尾の処理結果を取り出し、前記第ｉ段よ
    り後段の処理まで実施した後に、前記キューに当該処理
    結果を格納するステップと、 をさらに含む請求項１又は２の記載の処理分担動的変更
    方法。
  7. 【請求項７】少なくとも２つのグループに分けることが
    でき、各前記グループにおける、第１段から第ｎ段まで
    の一連の処理の分担が設定される、複数の処理装置と、 前記グループ間の処理結果の受渡しのためのキューと、 前記キューにおける特徴量の増減を検出し、前記特徴量
    の増減に基づき、当該キューが満杯又は空にならないよ
    うに各前記グループにおける処理の分担を変更するコン
    トローラと、 を有し、 前記特徴量は前記キューに格納された情報の量であるこ
    とを特徴とするコンピュータ。
  8. 【請求項８】前記コントローラは、 前記特徴量が所定のしきい値以上増加した場合には、前
    記グループ間の処理分担の境界である第ｉ段（１≦ｉ＜
    ｎ）までの処理を実施していたグループの担当を第ｉ段
    より後段の処理まで当該グループの担当と設定する、 請求項７記載のコンピュータ。
  9. 【請求項９】前記コントローラは、前記特徴量が所定の
    しきい値以上減少した場合には、前記グループ間の処理
    分担の境界である第ｉ段（１＜ｉ≦ｎ）までの処理を実
    施していたグループの担当を第ｉ段より前段の処理まで
    を当該グループの担当と設定する、 請求項７記載のコンピュータ。
  10. 【請求項１０】前記コントローラは、 前記キューの使用量が上限に達していないか検査し、 前記キューの使用量が上限に達している場合、前記グル
    ープ間の処理分担の境界である第ｉ段（１≦ｉ＜ｎ）ま
    での処理を実施しているグループに属する処理装置に、
    前記キューの最後尾の処理結果を取り出し、前記第ｉ段
    より後段の処理まで実施した後に、前記キューに当該処
    理結果を格納するように命ずる、 請求項７記載のコンピュータ。
  11. 【請求項１１】少なくとも２つのグループに分けること
    ができる複数の処理装置を有するコンピュータに、各前
    記グループにおける、第１段から第ｎ段までの一連の処
    理の分担を動的に変更させるプログラムを格納した記憶
    媒体であって、 前記プログラムは、前記コンピュータに、 前記グループ間の処理結果の受渡しのためのキューにお
    ける特徴量の増減を検出するステップと、 前記特徴量の増減に基づき、前記キューが満杯又は空に
    ならないように各前記グループにおける処理の分担を変
    更する変更ステップと、 を実行させるプログラムを格納した記憶媒体であって、 前記特徴量は前記キューに格納された情報の量であるこ
    とを特徴とする、記憶媒体。
JP21885298A 1998-08-03 1998-08-03 処理分担動的変更方法及びコンピュータ Expired - Fee Related JP3224782B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP21885298A JP3224782B2 (ja) 1998-08-03 1998-08-03 処理分担動的変更方法及びコンピュータ
US09/345,371 US6651082B1 (en) 1998-08-03 1999-07-01 Method for dynamically changing load balance and computer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21885298A JP3224782B2 (ja) 1998-08-03 1998-08-03 処理分担動的変更方法及びコンピュータ

Publications (2)

Publication Number Publication Date
JP2000057329A JP2000057329A (ja) 2000-02-25
JP3224782B2 true JP3224782B2 (ja) 2001-11-05

Family

ID=16726345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21885298A Expired - Fee Related JP3224782B2 (ja) 1998-08-03 1998-08-03 処理分担動的変更方法及びコンピュータ

Country Status (2)

Country Link
US (1) US6651082B1 (ja)
JP (1) JP3224782B2 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6959438B2 (en) 2000-12-06 2005-10-25 Microsoft Corporation Interface and related methods for dynamically generating a filter graph in a development system
US7287226B2 (en) * 2000-12-06 2007-10-23 Microsoft Corporation Methods and systems for effecting video transitions represented by bitmaps
US7447754B2 (en) 2000-12-06 2008-11-04 Microsoft Corporation Methods and systems for processing multi-media editing projects
US20020099759A1 (en) * 2001-01-24 2002-07-25 Gootherts Paul David Load balancer with starvation avoidance
US6826662B2 (en) 2001-03-22 2004-11-30 Sony Computer Entertainment Inc. System and method for data synchronization for a computer architecture for broadband networks
US7233998B2 (en) 2001-03-22 2007-06-19 Sony Computer Entertainment Inc. Computer architecture and software cells for broadband networks
US7093104B2 (en) 2001-03-22 2006-08-15 Sony Computer Entertainment Inc. Processing modules for computer architecture for broadband networks
US6526491B2 (en) 2001-03-22 2003-02-25 Sony Corporation Entertainment Inc. Memory protection system and method for computer architecture for broadband networks
US6809734B2 (en) 2001-03-22 2004-10-26 Sony Computer Entertainment Inc. Resource dedication system and method for a computer architecture for broadband networks
US6886074B1 (en) * 2001-12-05 2005-04-26 Adaptec, Inc. Method and apparatus for raid load balancing
JP3683211B2 (ja) * 2001-12-10 2005-08-17 エヌイーシーコンピュータテクノ株式会社 ノード間データ転送方法及びノード間データ転送装置
EP1378824A1 (en) * 2002-07-02 2004-01-07 STMicroelectronics S.r.l. A method for executing programs on multiple processors and corresponding processor system
US7287254B2 (en) * 2002-07-30 2007-10-23 Unisys Corporation Affinitizing threads in a multiprocessor system
TW583601B (en) * 2003-01-15 2004-04-11 Via Tech Inc Data processing path selection method and graphics processor utilizing the same
US7472392B2 (en) * 2003-04-23 2008-12-30 Micron Technology, Inc. Method for load balancing an n-dimensional array of parallel processing elements
US7437726B2 (en) * 2003-04-23 2008-10-14 Micron Technology, Inc. Method for rounding values for a plurality of parallel processing elements
US7448038B2 (en) * 2003-04-23 2008-11-04 Micron Technology, Inc. Method for using filtering to load balance a loop of parallel processing elements
US7430742B2 (en) * 2003-04-23 2008-09-30 Micron Technology, Inc. Method for load balancing a line of parallel processing elements
US7437729B2 (en) * 2003-04-23 2008-10-14 Micron Technology, Inc. Method for load balancing a loop of parallel processing elements
US7392314B2 (en) * 2003-08-15 2008-06-24 International Business Machines Corporation System and method for load—balancing in a resource infrastructure running application programs
US7075541B2 (en) * 2003-08-18 2006-07-11 Nvidia Corporation Adaptive load balancing in a multi-processor graphics processing system
US20050275760A1 (en) * 2004-03-02 2005-12-15 Nvidia Corporation Modifying a rasterized surface, such as by trimming
US8224639B2 (en) 2004-03-29 2012-07-17 Sony Computer Entertainment Inc. Methods and apparatus for achieving thermal management using processing task scheduling
US20070266388A1 (en) * 2004-06-18 2007-11-15 Cluster Resources, Inc. System and method for providing advanced reservations in a compute environment
KR100460009B1 (ko) * 2004-06-23 2004-12-04 엔에이치엔(주) 이미지 리소스를 로딩하는 방법 및 이미지 리소스 로딩시스템
KR20080067021A (ko) * 2004-08-24 2008-07-17 샤프 가부시키가이샤 표시 시스템
JPWO2006022228A1 (ja) * 2004-08-24 2008-05-08 シャープ株式会社 シミュレーション装置、シミュレーションプログラム、シミュレーション方法
CN101091175B (zh) * 2004-09-16 2012-03-14 辉达公司 负载均衡
JP4190476B2 (ja) 2004-09-22 2008-12-03 株式会社ソニー・コンピュータエンタテインメント グラフィックプロセッサ、制御用プロセッサおよび情報処理装置
US7466316B1 (en) 2004-12-14 2008-12-16 Nvidia Corporation Apparatus, system, and method for distributing work to integrated heterogeneous processors
US7446773B1 (en) 2004-12-14 2008-11-04 Nvidia Corporation Apparatus, system, and method for integrated heterogeneous processors with integrated scheduler
US7898545B1 (en) * 2004-12-14 2011-03-01 Nvidia Corporation Apparatus, system, and method for integrated heterogeneous processors
JP4969791B2 (ja) * 2005-03-30 2012-07-04 株式会社日立製作所 ディスクアレイ装置およびその制御方法
US7836250B2 (en) * 2005-07-15 2010-11-16 International Business Machines Corporation Automatic rebalancing of a data storage system
US8144149B2 (en) * 2005-10-14 2012-03-27 Via Technologies, Inc. System and method for dynamically load balancing multiple shader stages in a shared pool of processing units
US8266232B2 (en) * 2005-10-15 2012-09-11 International Business Machines Corporation Hardware processing of commands within virtual client computing environment
US7493428B2 (en) * 2006-07-25 2009-02-17 International Business Machines Corporation Method and system for dynamic queue splitting for maximizing throughput of queue based operations while maintaining per-destination order of operations
JP2008140046A (ja) * 2006-11-30 2008-06-19 Fuji Xerox Co Ltd 画像処理装置、画像処理プログラム
US7814243B2 (en) * 2007-06-01 2010-10-12 Sonics, Inc. Shared storage for multi-threaded ordered queues in an interconnect
US20090040232A1 (en) * 2007-08-10 2009-02-12 Manjunath Basappa Muttur Method to record bus data in a graphics subsystem that uses dma transfers
US7386851B1 (en) * 2008-01-04 2008-06-10 International Business Machines Corporation System and method for implementing dynamic lifetime reliability extension for microprocessor architectures
US8514215B2 (en) * 2008-11-12 2013-08-20 International Business Machines Corporation Dynamically managing power consumption of a computer with graphics adapter configurations
JP5336945B2 (ja) * 2009-06-29 2013-11-06 ルネサスエレクトロニクス株式会社 画像処理装置
US8527988B1 (en) 2009-07-31 2013-09-03 Hewlett-Packard Development Company, L.P. Proximity mapping of virtual-machine threads to processors
US8972995B2 (en) 2010-08-06 2015-03-03 Sonics, Inc. Apparatus and methods to concurrently perform per-thread as well as per-tag memory access scheduling within a thread and across two or more threads
JP5842601B2 (ja) * 2011-12-26 2016-01-13 富士通株式会社 プログラム、情報処理方法及び情報処理装置
US8984526B2 (en) * 2012-03-09 2015-03-17 Microsoft Technology Licensing, Llc Dynamic processor mapping for virtual machine network traffic queues
US20150032961A1 (en) * 2013-07-23 2015-01-29 Lexmark International Technologies S.A. System and Methods of Data Migration Between Storage Devices
JP6331554B2 (ja) * 2014-03-25 2018-05-30 日本電気株式会社 負荷分散方法とシステムと装置及びプログラム
US9678806B2 (en) * 2015-06-26 2017-06-13 Advanced Micro Devices, Inc. Method and apparatus for distributing processing core workloads among processing cores
GB2559042B (en) 2015-12-21 2019-06-05 Imagination Tech Ltd Allocation of tiles to processing engines in a graphics processing system
US10592279B2 (en) * 2016-06-23 2020-03-17 Advanced Micro Devices, Inc. Multi-processor apparatus and method of detection and acceleration of lagging tasks
US10455007B2 (en) 2016-07-14 2019-10-22 International Business Machines Corporation Managing asset placement with respect to a distributed computing environment having a set of hosts

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4755659A (en) 1987-02-03 1988-07-05 Chomerics, Inc. Combined busbar and electrical lead assembly
JP2562935B2 (ja) 1988-04-28 1996-12-11 明治製菓株式会社 抗腫瘍性物質ｓｆ２５８２誘導体
US5031089A (en) * 1988-12-30 1991-07-09 United States Of America As Represented By The Administrator, National Aeronautics And Space Administration Dynamic resource allocation scheme for distributed heterogeneous computer systems
US5692193A (en) * 1994-03-31 1997-11-25 Nec Research Institute, Inc. Software architecture for control of highly parallel computer systems
JPH09269903A (ja) * 1996-04-02 1997-10-14 Hitachi Ltd プロセス管理方式
US6128642A (en) * 1997-07-22 2000-10-03 At&T Corporation Load balancing based on queue length, in a network of processor stations

Also Published As

Publication number Publication date
US6651082B1 (en) 2003-11-18
JP2000057329A (ja) 2000-02-25

Similar Documents

Publication Publication Date Title
JP3224782B2 (ja) 処理分担動的変更方法及びコンピュータ
US11017493B2 (en) FIFO queue, memory resource, and task management for graphics processing
US11829197B2 (en) Backward compatibility through use of spoof clock and fine grain frequency control
US8310492B2 (en) Hardware-based scheduling of GPU work
US6002409A (en) Arbitration for shared graphics processing resources
JP3359393B2 (ja) 図形データ並列処理表示装置
KR100617998B1 (ko) 시간 할당기를 갖는 그래픽 렌더링 엔진을 포함하는 장치,방법 및 시스템
US6166743A (en) Method and system for improved z-test during image rendering
EP2513860B1 (en) A graphics pipeline scheduling architecture utilizing performance counters
US11663767B2 (en) Power efficient attribute handling for tessellation and geometry shaders
US7760205B2 (en) Information processing apparatus for efficient image processing
JPH0760423B2 (ja) データ転送方式
CN113342485A (zh) 任务调度方法、装置、图形处理器、计算机系统及存储介质
TWI489289B (zh) 分散作業的預先排程重播
TWI457828B (zh) 執行緒陣列粒化執行的優先權計算
US7644214B2 (en) Information processing apparatus and task execution method
US8593465B2 (en) Handling of extra contexts for shader constants
US9406101B2 (en) Technique for improving the performance of a tessellation pipeline
US9111360B2 (en) Technique for improving the performance of a tessellation pipeline
US6003098A (en) Graphic accelerator architecture using two graphics processing units for processing aspects of pre-rasterized graphics primitives and a control circuitry for relaying pass-through information
US20140362094A1 (en) System, method, and computer program product for recovering from a memory underflow condition associated with generating video signals
US8059128B1 (en) Apparatus and method for performing blit operations across parallel processors
WO2023129435A1 (en) Cache blocking for dispatches
JP3277903B2 (ja) マルチウィンドウ高速描画装置およびマルチウィンドウ高速描画方法
JPH0528276A (ja) マルチプロセツサシステムにおける図形描画方式

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees