JP6413634B2 - ジョブ管理プログラム、ジョブ管理方法、およびジョブ管理装置 - Google Patents
ジョブ管理プログラム、ジョブ管理方法、およびジョブ管理装置Info
- Publication number
- JP6413634B2 JP6413634B2 JP2014220910A JP2014220910A JP6413634B2 JP 6413634 B2 JP6413634 B2 JP 6413634B2 JP 2014220910 A JP2014220910 A JP 2014220910A JP 2014220910 A JP2014220910 A JP 2014220910A JP 6413634 B2 JP6413634 B2 JP 6413634B2
- Authority
- JP
- Japan
- Prior art keywords
- nodes
- range
- node
- axis
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multi Processors (AREA)
Description
ジョブ管理プログラムに基づいて、コンピュータは、まず、利用ノード数を指定したジョブ実行要求に応じて、複数のノードがメッシュ結合またはトーラス結合で接続されたネットワークを表すn(nは2以上の整数)次元の空間のn個の軸から、順番に決定対象軸を選択する。次にコンピュータは、複数のノードそれぞれのn次元の座標値と利用可否を含む状態を示す状態情報とに基づいて、決定対象軸の座標値の候補範囲の幅を所定値から広げていき、範囲が決定した軸の座標値が該範囲内であり、決定対象軸の座標値が候補範囲内である利用可能なノードの数が利用ノード数以上となったときの候補範囲を、決定対象軸の座標値の範囲に決定する。そしてコンピュータは、すべての軸について座標値の範囲が決定すると、各軸の決定した範囲内の座標値を有する利用可能な第1ノードの中から、ジョブに割り当てる第2ノードを決定する。
〔第1の実施の形態〕
図1は、第1の実施の形態に係るジョブ管理装置の例を示す図である。ジョブ管理装置10は、端末装置1と複数のノード2a,2b,2c,・・・とに接続されている。端末装置1は、例えばユーザが使用するコンピュータである。複数のノード2a,2b,2c,・・・は、ジョブの計算を行うコンピュータである。複数のノード2a,2b,2c,・・・は、n(nは2以上の整数)次元メッシュ結合またはn次元トーラス結合のネットワークを構成している。
次に第2の実施の形態について説明する。
図2は、第2の実施の形態のシステム構成例を示す図である。第2の実施の形態では、複数の端末装置31,32,33,・・・がネットワーク30を介してジョブ管理サーバ100に接続されている。端末装置31,32,33,・・・は、並列ジョブの実行指示をするユーザが使用するコンピュータである。
図7は、ルータ故障の影響範囲の一例を示す図である。ネットワークトポロジーがメッシュ/トーラスで、かつ、ノード間通信におけるパケットの経路選択(ルーティング)が静的であるものとする。すなわち、予め決められた経路でデータ通信が行われる。図7の例では、ジョブAに割り当てられたノード間の通信と、ジョブBに割り当てられたノード間の通信と、ジョブCに割り当てられたノード間の通信とがいずれもノード57を経由している。この場合、ノード57のルーティング機能が故障すると、ノード57を経由したノード間通信を行う全てのジョブに影響が及ぶ。このように通信経路の重なりが多いほど、1台のノードの故障の影響範囲が大きくなりやすい。
・軸0方向のサイズの小さい順
・軸0方向のサイズが同じ場合、軸1方向のサイズの小さい順
・軸0,1方向のサイズが同じ場合、軸2方向のサイズの小さい順
軸の優先順位は、ネットワークトポロジーに基づいて、その軸方向への通信を行うノードのペアの数が多くなる軸ほど高くすることができる。例えば、あるノードを選択し、当該ノードを通過する通信を行い得る任意のノードのペア(パケット送信ノードとパケット受信ノード)の集合を考える。このとき、ノードのペア間の通信が、どの軸方向の移動により選択したノードを通過するかによって分類する。そして、最もペアの数が多い軸から順番に高優先度となるように設定する。
[ステップS101]スケジューラ130は、BBの開始位置を示すxの初期値として原点Oを設定する。またBBのサイズsの初期値として、最小の値(1,1,・・・,1)を設定する。
[ステップS103]スケジューラ130は、BB探索処理により、ジョブの利用ノード数分の割り当て可能なノードを含むBBが検出できたか否かを判断する。該当BBが検出できた場合、処理がステップS104に進められる。該当BBが検出できなかった場合、処理がステップS105に進められる。
図11は、BB探索処理の手順を示すフローチャートである。
[ステップS111]スケジューラ130は、軸0に関する探索範囲の制限処理を行う。探索範囲の制限処理は、判断対象の軸方向のBBのサイズを最大にしないと、ジョブの利用ノード数分の空きノードを含むBBを生成できない場合、判断対象の軸方向のBBの幅を、最大値にする処理である。これにより、判断対象の軸方向の幅が狭いBBについての探索処理が不要となり、処理が効率化される。探索範囲制限処理の詳細は後述する(図13参照)。
図12は、軸i範囲決定処理の手順の一例を示すフローチャートである。
[ステップS131]スケジューラ130は、軸iがトーラスであり、かつsi<Siであるか否かを判断する。これらの条件が満たされれば、処理がステップS132に進められる。条件が満たされなければ、処理がステップS133に進められる。
[ステップS134]スケジューラ130は、siがSi以下であるとの条件が満たされるか否かを判断する。条件が満たされれば、処理がステップS135に進められる。条件が満たされなければ、軸iの範囲決定失敗として、軸i範囲決定処理が終了する。
Ni(xi,si)=Ni(xi,si−1)+Ni(xi+si−1,1)
ここで、
Ni(xi,si)=N((x0,x1,・・・,xi,0,0,・・・,0),(s0,s1,・・・,si,Si+1,Si+2,・・・,Sn-1))
である。
以上のような処理によって、ジョブの利用ノード数p以上の利用可能ノードを含む、できるだけ小さなBBが探索される。
条件X
∀xi∈[0,si),N(ai(0),bi(Si))N(ai(xi),bi(1))<p
ここで
ai(k)=x0,x1,・・・,xi-1,k,0,0,・・・,0
bi(k)=(s0,s1,・・・,si-1,k,Si+1,Si+2,・・・,Si-1)
である。上記条件式を満たす場合、N(x,s)≧pを満たすのはsi=Siのみであるため、si<Siについての探索を省略してもよい。
[ステップS151]スケジューラ130は、軸iについて、条件Xを満たすか否かを判断する。条件Xが満たされる場合、処理がステップS152に進められる。条件Xが満たされなければ、探索範囲制限処理が終了する。
このように、ある軸方向について、BBの幅を最大にしないと、ジョブの利用ノード数以上の利用可能ノードをBB内に含めることができない場合、その軸方向の幅を最初から最大にしてBBの探索が行われる。これにより、探索処理の効率化を図ることができる。
次に第3の実施の形態について説明する。第3の実施の形態は、BBの探索に際して、以前の探索結果より全ノード間での通信が保証されないことが明らかなBBについては、全ノード間で通信可能かどうかの検証を省略するものである。これにより、BB探索処理の効率化が図れる。
このようにBBの軸i方向の幅がsiのときに、xiをどこにとっても全対全通信が保証できない場合、幅がsi+1,si+2のBBを続けて探索しても全対全通信は必ず保証されず、これ以上探索する意味がないため軸iに対する探索が打ち切られる。
次に第4の実施の形態について説明する。第4の実施の形態は、ネットワークトポロジーがn=u+v(u,vは、1以上の整数)次元のメッシュ/トーラス結合の例である。
図20は、ルーティング機能が故障したノードを含む単位ノード群内の通信例を示す図である。単位ノード群80uでは、ノード81uのルーティング機能が故障しているものとする。このときノード82uからノード83uへの通信は可能である。しかしノード82uからノード84uへは通信できない。
1.軸3,4,5からなる3次元サブメッシュ/トーラス内の移動(移動時に通過するノードの軸0,1,2の座標値はすべて同一)
2.軸0,1,2からなる3次元サブメッシュ/トーラス内の移動(移動時に通過するノードの軸3,4,5の座標値はすべて同一)
3.軸3,4,5からなる3次元サブメッシュ/トーラス内の移動(移動時に通過するノードの軸0,1,2の座標値はすべて同一)
BB内のルーティング機能の故障が存在するノードの座標値の集合をBとする。また、集合Bの軸3,4,5からなるサブメッシュ/トーラス空間への射影B’を以下のように定義する。
B’={(x3,x4,x5)|∀(x0,x1,x2,x3,x4,x5)∈B}
このとき、以下の条件を満たす場合、全対全通信が保証されると判断する。
(B’の補集合)≠(空集合)、かつルーティング機能が故障したノードと(x0,x1,x2)座標値がすべて同一であるノードをジョブへは割り当てない。
{x|x∈B,x4=0}=(空集合)または、
{x|x∈B,x4=1}=(空集合)
{x|x∈B,x4=2}=(空集合)
以上のようにして、ネットワークトポロジーがn(=u+v)次元のメッシュ/トーラス結合の場合において、全対全通信が可能かどうかを、効率的に判断することができる。
・bcaルーティング:送信元ノードからb=1面へは1ホップで移動可能
・xyzルーティング:b=1面の4ノードのうちいずれかで移動可能
・acbルーティング:b=1面から送信先ノードへは1ホップで移動可能
これにより、例えば単位ノード群80v内のノード81vから単位ノード群80x内のノード81xへのデータ送信も可能であることが分かる。その結果、ルーティング機能が故障したノードを含む単位ノード群80v,80w,80x内のノードを、ジョブに割り当てることが可能となる。
図22は、通信規則ごとの利用可能ノード数の比較例を示す図である。図22には、以下の4種類の通信規則ごとに、利用可能ノード数が示されている。
・規則「ALL」:xyzルーティングに任意ノードを利用(故障を含む単位ノード群へはジョブを割り当てない)
・規則「b0」:xyzルーティングにb=0面内のノードを利用(BB内でb=0のノードに故障が無いこと)
・規則「b1」:xyzルーティングにb=1面内のノードを利用(BB内でb=1のノードに故障が無いこと)
・規則「b2」:xyzルーティングにb=2面内のノードを利用(BB内でb=2のノードに故障が無いこと)
単位ノード群96の場合、ルーティング機能が故障したノードを含んでいない。そのため、いずれの規則であっても、空きノードすべてが利用可能となる。
次に、ネットワークトポロジーが6(=3+3)次元のメッシュ/トーラス結合のBB探索の具体例を、図23〜図25を参照して説明する。以下の例では、単位ノード群ごとに利用可能ノード数が集計されているものとする。またBBの軸a、軸b、軸cの範囲は全範囲として、軸x、軸y、軸zの範囲を、順番に決定するものとする。軸x、軸y、軸zのうち、優先順位が最も高い軸を軸0、次に優先順位が高い軸を軸1、最も優先順位が低い軸を軸2として、軸ごとの範囲が決定される。
軸0方向には、3つの単位ノード群が並べられている。そして軸0=0の面上の単位ノード群、軸0=1の面上の単位ノード群、および軸0=2の面上の単位ノード群それぞれについて、利用可能ノード数が集計されている。軸0=0の面上の単位ノード群の利用可能ノードの総数は「20」である。軸0=1の面上の単位ノード群の利用可能ノードの総数は「90」である。軸0=2の面上の単位ノード群の利用可能ノードの総数は「240」である。
軸2方向には、4つの単位ノード群が並べられている。軸2=0である単位ノード群の利用可能ノードの総数は「71」である。軸2=1である単位ノード群の利用可能ノードの総数は「63」である。軸2=2である単位ノード群の利用可能ノードの総数は「79」である。軸2=3である単位ノード群の利用可能ノードの総数は「65」である。
2a,2b,2c ノード
3 ジョブ実行要求
4 n次元空間
5 BB(Bounding Box)
10 ジョブ管理装置
11 記憶部
12 演算部
Claims (8)
- コンピュータに、
利用ノード数を指定したジョブ実行要求に応じて、複数のノードがメッシュ結合またはトーラス結合で接続されたネットワークを表すn(nは2以上の整数)次元の空間のn個の軸から、順番に決定対象軸を選択し、
前記複数のノードそれぞれのn次元の座標値と利用可否を含む状態を示す状態情報とに基づいて、前記決定対象軸の座標値の候補範囲の幅を所定値から広げていき、先に選択した軸の座標値については、該軸に対して決定した座標値の範囲内であり、かつ前記決定対象軸の座標値が前記候補範囲内である利用可能なノードの数が前記利用ノード数以上となったときの前記候補範囲を、前記決定対象軸の座標値の範囲に決定し、
すべての軸について座標値の範囲が決定すると、各軸の決定した範囲内の座標値を有する利用可能な第1ノードの中から、前記ジョブに割り当てる第2ノードを決定する、
処理を実行させるジョブ管理プログラム。 - 前記コンピュータに、さらに、
前記状態情報には、前記複数のノードの故障の有無が含まれており、すべての軸の範囲を決定したとき、前記複数のノードの前記座標値と前記状態情報とに基づいて、前記第1ノード間で全対全通信が保証できるかどうかを判断する処理を実行させ、
前記第2ノードの決定では、全対全通信が保証できると判断された場合に、前記第1ノードの中から、前記ジョブに割り当てる第2ノードを決定する、
請求項1記載のジョブ管理プログラム。 - 前記範囲の決定では、前記第1ノード間で全対全通信が保証できないと判断された場合、既に範囲が決定された軸の少なくとも一部において範囲が変更されるように、範囲決定をやり直す請求項2記載のジョブ管理プログラム。
- 前記範囲の決定では、前記決定対象軸の座標値の範囲の幅を変えずに範囲の位置を移動しても、すべての位置において前記第1ノード間で全対全通信が保証できないと判断された場合、前記決定対象軸の座標値の範囲の決定を取りやめ、既に範囲が決定された軸の少なくとも一部において範囲が変更されるように、範囲決定をやり直す請求項2または3記載のジョブ管理プログラム。
- 前記ネットワークは、ノード集合である単位ノード群内のノードがu(uは1以上の整数)次元メッシュ結合またはu次元トーラス結合で接続された第1ネットワークと、複数の単位ノード群がv(vは1以上の整数)次元メッシュ結合またはv次元トーラス結合で接続された第2ネットワークとで構成されており、前記第2ネットワークでは、隣接する単位ノード群内のu次元の座標値が同じノード同士が接続されており、
前記判断では、前記複数の単位ノード群内の各ノードのu次元の座標値のうち、前記複数の単位ノード群それぞれにおけるルーティング機能が故障した故障ノードのu次元の座標値と重複しない座標値が少なくとも1つあれば、前記第2ネットワークを介した単位ノード群間の全対全通信が保証できると判断する請求項2乃至4のいずれかに記載のジョブ管理プログラム。 - 前記範囲の決定では、範囲が決定した軸の座標値が該範囲内である利用可能なノードの数から、範囲が決定した軸の座標値が該範囲内であり、前記決定対象軸の座標値が所定座標値である利用可能なノードの数を減算した結果が、前記利用ノード数に満たない場合、前記候補範囲の幅の前記所定値を、前記決定対象軸の座標値の全範囲とする請求項1乃至5のいずれかに記載のジョブ管理プログラム。
- コンピュータが、
利用ノード数を指定したジョブ実行要求に応じて、複数のノードがメッシュ結合またはトーラス結合で接続されたネットワークを表すn(nは2以上の整数)次元の空間のn個の軸から、順番に決定対象軸を選択し、
前記複数のノードそれぞれのn次元の座標値と利用可否を含む状態を示す状態情報とに基づいて、前記決定対象軸の座標値の候補範囲の幅を所定値から広げていき、先に選択した軸の座標値については、該軸に対して決定した座標値の範囲内であり、かつ前記決定対象軸の座標値が前記候補範囲内である利用可能なノードの数が前記利用ノード数以上となったときの前記候補範囲を、前記決定対象軸の座標値の範囲に決定し、
すべての軸について座標値の範囲が決定すると、各軸の決定した範囲内の座標値を有する利用可能な第1ノードの中から、前記ジョブに割り当てる第2ノードを決定する、
ジョブ管理方法。 - 複数のノードがメッシュ結合またはトーラス結合で接続されたネットワーク内の前記複数のノードそれぞれのn(nは2以上の整数)次元の座標値と利用可否を含む状態を示す状態情報とを記憶する記憶部と、
利用ノード数を指定したジョブ実行要求に応じて、前記ネットワークを表すn次元の空間のn個の軸から、順番に決定対象軸を選択し、前記複数のノードそれぞれのn次元の座標値と利用可否を含む状態を示す状態情報とに基づいて、前記決定対象軸の座標値の候補範囲の幅を所定値から広げていき、先に選択した軸の座標値については、該軸に対して決定した座標値の範囲内であり、かつ前記決定対象軸の座標値が前記候補範囲内である利用可能なノードの数が前記利用ノード数以上となったときの前記候補範囲を、前記決定対象軸の座標値の範囲に決定し、すべての軸について座標値の範囲が決定すると、各軸の決定した範囲内の座標値を有する利用可能な第1ノードの中から、前記ジョブに割り当てる第2ノードを決定する演算部と、
を有するジョブ管理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014220910A JP6413634B2 (ja) | 2014-10-30 | 2014-10-30 | ジョブ管理プログラム、ジョブ管理方法、およびジョブ管理装置 |
US14/828,555 US9329898B1 (en) | 2014-10-30 | 2015-08-18 | Method and apparatus for job management |
EP15182489.3A EP3015982A1 (en) | 2014-10-30 | 2015-08-26 | Program, method, and apparatus for job management |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014220910A JP6413634B2 (ja) | 2014-10-30 | 2014-10-30 | ジョブ管理プログラム、ジョブ管理方法、およびジョブ管理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016091069A JP2016091069A (ja) | 2016-05-23 |
JP6413634B2 true JP6413634B2 (ja) | 2018-10-31 |
Family
ID=54035138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014220910A Active JP6413634B2 (ja) | 2014-10-30 | 2014-10-30 | ジョブ管理プログラム、ジョブ管理方法、およびジョブ管理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9329898B1 (ja) |
EP (1) | EP3015982A1 (ja) |
JP (1) | JP6413634B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108304261B (zh) * | 2017-12-29 | 2022-05-24 | 曙光信息产业(北京)有限公司 | 一种基于6D-Torus网络的作业调度方法和装置 |
WO2020174840A1 (ja) * | 2019-02-28 | 2020-09-03 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
US11042416B2 (en) * | 2019-03-06 | 2021-06-22 | Google Llc | Reconfigurable computing pods using optical networks |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2543878B2 (ja) * | 1987-03-31 | 1996-10-16 | 株式会社東芝 | 並列処理システム |
US8117288B2 (en) | 2004-10-12 | 2012-02-14 | International Business Machines Corporation | Optimizing layout of an application on a massively parallel supercomputer |
US7433931B2 (en) | 2004-11-17 | 2008-10-07 | Raytheon Company | Scheduling in a high-performance computing (HPC) system |
JP5429382B2 (ja) | 2010-08-10 | 2014-02-26 | 富士通株式会社 | ジョブ管理装置及びジョブ管理方法 |
-
2014
- 2014-10-30 JP JP2014220910A patent/JP6413634B2/ja active Active
-
2015
- 2015-08-18 US US14/828,555 patent/US9329898B1/en active Active
- 2015-08-26 EP EP15182489.3A patent/EP3015982A1/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
US9329898B1 (en) | 2016-05-03 |
EP3015982A1 (en) | 2016-05-04 |
JP2016091069A (ja) | 2016-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10594591B2 (en) | Information processing apparatus, method and non-transitory computer-readable storage medium | |
US7543252B2 (en) | Migration of integrated circuit layout for alternating phase shift masks | |
US8793344B2 (en) | System and method for generating a response plan for a hypothetical event | |
KR100998391B1 (ko) | 데이터 처리 시스템을 관리하는 규정 설정 방법, 컴퓨터 판독 가능한 저장 매체 및 시스템 | |
JP6241300B2 (ja) | ジョブスケジューリング装置、ジョブスケジューリング方法、およびジョブスケジューリングプログラム | |
CN107851043B (zh) | 快捷外围部件互连网络中资源组的动态分配 | |
JP6413634B2 (ja) | ジョブ管理プログラム、ジョブ管理方法、およびジョブ管理装置 | |
JP2010267025A (ja) | ジョブスケジューリングプログラム、ジョブスケジューリング装置及びジョブスケジューリング方法 | |
US9996391B2 (en) | Parallel computer system, method of controlling parallel computer system, and recording medium | |
JP6079065B2 (ja) | 情報処理装置,処理方法及びプログラム | |
US10084860B2 (en) | Distributed file system using torus network and method for configuring and operating distributed file system using torus network | |
JP2016024612A (ja) | データ処理制御方法、データ処理制御プログラムおよびデータ処理制御装置 | |
CN112948279A (zh) | 管理存储系统中的访问请求的方法、设备和程序产品 | |
JP5515889B2 (ja) | 仮想マシンシステム、自動マイグレーション方法および自動マイグレーションプログラム | |
US8892937B2 (en) | Parallel computer system, control device, and controlling method | |
WO2022042368A1 (zh) | 一种逻辑节点布局方法、装置、计算机设备及存储介质 | |
JP6666553B2 (ja) | 情報処理装置、ジョブ管理方法およびジョブ管理プログラム | |
JP2016162014A (ja) | データ転送制御装置、データ転送制御プログラム、および並列計算システム | |
US11294591B2 (en) | Apparatus configured to create extended configuration proposal of storage system including multiple notes | |
US10061624B2 (en) | Parallel computing system, job management device, and job management method | |
KR102076626B1 (ko) | 클라우드 컴퓨팅 시스템에서 가상 머신 재배치 방법 | |
WO2014141510A1 (ja) | テスト設計支援装置、テスト設計支援方法、プログラム及びコンピュータ読み取り媒体 | |
JP2019046041A (ja) | 情報処理装置、情報処理システム、情報処理装置の制御方法及び情報処理装置の制御プログラム | |
JP2021086178A (ja) | 情報処理装置および並列演算プログラム | |
US20240061698A1 (en) | Managing the assignment of virtual machines to non-uniform memory access nodes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170704 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180917 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6413634 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |