JP7371483B2 - ストレージ制御装置及び制御プログラム - Google Patents

ストレージ制御装置及び制御プログラム Download PDF

Info

Publication number
JP7371483B2
JP7371483B2 JP2019228552A JP2019228552A JP7371483B2 JP 7371483 B2 JP7371483 B2 JP 7371483B2 JP 2019228552 A JP2019228552 A JP 2019228552A JP 2019228552 A JP2019228552 A JP 2019228552A JP 7371483 B2 JP7371483 B2 JP 7371483B2
Authority
JP
Japan
Prior art keywords
storage
area
control device
storage control
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019228552A
Other languages
English (en)
Other versions
JP2021096714A (ja
Inventor
智彦 室山
晋一 西園
章二 大嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019228552A priority Critical patent/JP7371483B2/ja
Priority to US17/078,142 priority patent/US11449251B2/en
Publication of JP2021096714A publication Critical patent/JP2021096714A/ja
Application granted granted Critical
Publication of JP7371483B2 publication Critical patent/JP7371483B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0634—Configuration or reconfiguration of storage systems by changing the state or mode of one or more devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0658—Controller construction arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Hardware Redundancy (AREA)
  • Stored Programmes (AREA)
  • Debugging And Monitoring (AREA)

Description

本発明は、ストレージ制御装置及び制御プログラムに関する。
ストレージ装置には様々な機能が実装されており、ユーザは機能使用の際に必要な機能を有効化する操作を行なう。
図１は、ストレージ装置６００の操作例を説明する図である。
ストレージ装置６００は、符号Ａ１に示すように、ユーザ端末８のGraphical User Interface（ＧＵＩ）又はCommand Line Interface（ＣＬＩ）により機能を有効化させる操作を受け付ける。これにより、ストレージ装置６００は、対象の機能の制御のために必要なメモリ領域を動的に獲得し、装置構成変更処理等を実施することで機能を使用可能な状態にする。
特開２０１２－０４８６１３号公報 特開平１１－１４３６４９号公報
図２は、キャッシュテーブル獲得状態が正常な状態を示すブロック図である。
ストレージ装置６００は、複数のController Enclosure（ＣＥ）６０（別言すれば、ＣＥ＃０，＃１）及び複数のDrive Enclosure（ＤＥ）７（別言すれば、ＤＥ＃０，＃１，・・・，＃ｎ－１，＃ｎ）を備える。
各ＤＥ７は、Input Output Module（ＩＯＭ）＃０，＃１をそれぞれ備える。
各ＣＥ６０は、２つのController Module（ＣＭ）６（別言すれば、ＣＭ＃０，＃１）をそれぞれ備える。なお、ＣＥ＃０のＣＭ＃１はマスタＣＭであり、その他のＣＭ６はスレーブＣＭであってよい。
ストレージ装置６００に実装されている機能を使用する場合には、対象の機能を制御するための制御データをキャッシュ上に管理テーブルとして保持する場合がある。例えば、図２における各ＣＭ６は、Pool IDが(xx, yy, zz,・・・)ごとのキャッシュテーブルを格納するためのメモリ領域（テーブル領域）をキャッシュメモリ（以下、キャッシュと略す）上に確保されている。また、キャッシュ上にテーブル領域を確保する場合には、機能有効化処理において全てのＣＭ６で装置稼働中に動的にキャッシュからテーブル領域を確保した後に、装置構成として機能が有効状態であることを示す情報が各ＣＭ６において反映される。
装置起動の際には、装置構成情報が参照され、設定値に基づいてそれぞれの機能で必要なテーブルサイズが算出され、全ＣＭ６でテーブル領域を確保する処理が動作する。
キャッシュテーブル獲得処理は全ＣＭ６で同期して処理が実施されるため、機能有効化処理中にＣＭ６に異常が発生した場合には、キャッシュ上のテーブル領域の獲得に失敗する場合がある。機能有効化処理は途中で中断し、異常終了するため、機能構成として有効化対象機能は無効の状態となる。ハードウェアの異常ではなくソフトウェアのパニックにより異常となったＣＭ６は、自動でリブートして装置への組み込み処理が動作し、復旧処理（別言すれば、Check1）が実施される。Check1を実施したＣＭ６は、Power on処理と同様に装置構成を参照してそれぞれの機能で必要なテーブル領域を獲得した状態で起動する。装置構成として有効化処理中であった対象機能は無効なため、リブートしたＣＭ６ではテーブル領域が確保されないが、他の正常なＣＭ６では機能有効化処理が途中まで進んでいるため、ＣＭ６毎にキャッシュテーブルの獲得状態が不一致になる状態が存在する。
図３は、キャッシュテーブル獲得状態が不一致な状態を示すブロック図である。
図３に示す例では、符号Ｂ１に示すように、Pool ID:zzのテーブル領域の獲得中にＣＥ＃０のＣＭ＃１でソフトウェアのパニックによるリブートが発生し、ＣＥ＃０のＣＭ＃１のテーブル領域の獲得状態が他のＣＭ６と比較して不一致となっている。
ＣＭ６に搭載されるキャッシュメモリは、ストレージ装置６００の制御のための制御テーブル以外にホストからのInput/Output（Ｉ／Ｏ）を高速に処理するキャッシュ領域としても使用される。機能が無効な状態で未使用の領域はＣＭ６毎に独自にホストＩ／Ｏの処理のためのキャッシュ領域として使用されるため、キャッシュテーブルの獲得状態がＣＭ６間で異なる状態となる場合がある。そして、ホストＩ／Ｏで使用されるキャッシュ領域と各種機能で使用されるテーブル領域とが重複した場合には、データが破壊されるという事象が発生するおそれがある。
１つの側面では、ストレージ装置に備えられる複数のストレージ制御装置間のキャッシュテーブル獲得状態を一致させることを目的とする。
１つの側面では、ストレージ制御装置は、ストレージ装置に備えられる複数のストレージ制御装置のうちのスレーブとして機能する一のストレージ制御装置であって、当該ストレージ制御装置の起動が、前記ストレージ装置全体の電源投入処理によるものであるか、当該ストレージ制御装置単体のリブートによるものであるかを判定する判定部と、前記判定部による判定結果において当該ストレージ制御装置の起動が当該ストレージ制御装置単体のリブートによるものである場合に、前記複数のストレージ制御装置のうちのマスタとして機能するストレージ制御装置から、前記ストレージ装置における領域獲得のための制御情報を格納する制御情報格納領域の獲得状態を取得し、取得した前記獲得状態に基づいて前記制御情報格納領域を当該ストレージ制御装置において設定する領域設定部と、を備える。
１つの側面では、ストレージ装置に備えられる複数のストレージ制御装置間のキャッシュテーブル獲得状態を一致させることができる。
ストレージ装置の操作例を説明する図である。 キャッシュテーブル獲得状態が正常な状態を示すブロック図である。 キャッシュテーブル獲得状態が不一致な状態を示すブロック図である。 実施形態の一例におけるストレージ装置のハードウェア構成例を模式的に示すブロック図である。 図４に示したＣＭのソフトウェア構成例を模式的に示すブロック図である。 図４に示したＣＭにおけるキャッシュテーブル獲得状態情報を例示するテーブルである。 図４に示したキャッシュテーブル情報を例示するテーブルである。 図４に示したストレージ装置における機能有効化処理を説明するシーケンス図である。 図８に示したキャッシュテーブル獲得処理の詳細を説明するフローチャートである。 図９に示した装置全体のPower onの際におけるキャッシュテーブル獲得処理の詳細を説明するフローチャートである。 図９に示した単体ＣＭのリブートの際におけるキャッシュテーブル獲得処理の詳細を説明するフローチャートである。 ハイエンドのストレージ装置のハードウェア構成例を模式的に示すブロック図である。
以下、図面を参照して一実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。
また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
以下、図中において、同一の各符号は同様の部分を示しているので、その説明は省略する。
〔Ａ〕実施形態の一例
〔Ａ－１〕システム構成例
図４は、実施形態の一例におけるストレージ装置１００のハードウェア構成例を模式的に示すブロック図である。
ストレージ装置１００は、ＣＥ１０及び複数のＤＥ２（別言すれば、ＤＥ＃１０～＃２９）を備える。
図４に示すように、一部のＤＥ２（別言すれば、ＤＥ＃１９，＃２０）は、複数のＩＯＭ２１（別言すれば、ＩＯＭ＃０，＃１）及びFan Expander Module（ＦＥＭ）２３（別言すれば、ＦＥＭ＃００，＃０１）を備える。また、他のＤＥ２は、複数のＩＯＭ２１（別言すれば、ＩＯＭ＃０，＃１）及びディスク群２２を備える。
ＩＯＭ２１は、Ｉ／Ｏユニット又はボードであり、後述するＣＥ１０のＣＭ１から指定されたドライブへSerial Attached SCSI（ＳＡＳ）フレームを転送する。
ディスク群２２は、複数のHard Disk Drive（ＨＤＤ）等のディスクを備える。
ＦＥＭ２３は、ＩＯＭ２１で受領したＳＡＳフレームをＣＭ１から指定されたドライブへ転送する。ＦＥＭ２３は、ファンも搭載し、ＤＥ２内を冷却する。
ＣＥ１０は、複数のＣＭ１（別言すれば、ＣＭ＃０，＃１）を備える。
ＣＭ１は、ストレージ制御装置の一例であり、ＣＰＵ１１，ＢＩＯＳ１２，ＢＵＤコントローラ１３，ＢＵＤ１４，ＩＯＣ１５，ＥＸＰ１６及びＣＡ１７を備える。なお、ＣＰＵはCentral Processing Unitの略称であり、ＢＩＯＳはBasic Input/Output Systemの略称であり、ＢＵＤはBoot up Utility Deviceの略称である。また、ＩＯＣはInput Output Controllerの略称であり、ＥＸＰはExpanderの略称であり、ＣＡはCommunication Adapterの略称である。
ＢＩＯＳ１２は、ＣＰＵ１１によって実行され、プログラムからハードウェアに対するデータの入出力を行なう。
ＢＵＤコントローラ１３は、ＣＰＵ１１からＢＵＤ１４に対するアクセスを中継する。
ＢＵＤ１４は、ストレージ装置１００の起動のためのファームウェアであり、起動の際のログを記録する。
ＩＯＣ１５は、ＤＥ２とＣＰＵ１１との間のデータ転送を実施し、例えば、専用チップとして構成される。
ＥＸＰ１６は、ＳＡＳ／Serial ATA（ＳＡＴＡ）接続用のエキスパンダチップであり、ＣＭ１と複数のＤＥ２とを接続するスイッチ機構である。複数のＤＥ２は、ＣＭ１に対してカスケード接続されている。ＣＭ＃０に対してＤＥ＃２０～＃２９が、ＣＭ＃１に対してＤＥ＃１０～＃１９が、それぞれカスケード接続されている。
ＣＡ１７は、不図示の上位装置とストレージ装置１００とを通信可能に接続するインタフェースである。
図５は、図４に示したＣＭ１のソフトウェア構成例を模式的に示すブロック図である。
ＣＰＵ１１は、例示的に、種々の制御や演算を行なう処理装置であり、種々の機能を実現する。すなわち、ＣＰＵ１１は、図５に示すように、ＧＵＩ／ＣＬＩ制御部１１１，コマンド制御部１１２，メモリ管理部１１３，構成管理部１１４及びＩ／Ｏ制御部１１５として機能してよい。
なお、これらのＧＵＩ／ＣＬＩ制御部１１１，コマンド制御部１１２，メモリ管理部１１３，構成管理部１１４及びＩ／Ｏ制御部１１５としての機能を実現するためのプログラムは、例えばフレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ等）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋ＲＷ、ＨＤ ＤＶＤ等）、ブルーレイディスク、磁気ディスク、光ディスク、光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供されてよい。そして、コンピュータ（本実施形態ではＣＰＵ１１）は上述した記録媒体から図示しない読取装置を介してプログラムを読み取って内部記録装置または外部記録装置に転送し格納して用いてよい。また、プログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、記憶装置から通信経路を介してコンピュータに提供してもよい。
ＧＵＩ／ＣＬＩ制御部１１１，コマンド制御部１１２，メモリ管理部１１３，構成管理部１１４及びＩ／Ｏ制御部１１５としての機能を実現する際には、内部記憶装置に格納された制御プログラムがコンピュータ（本実施形態ではＣＰＵ１１）によって実行されてよい。また、記録媒体に記録された制御プログラムをコンピュータが読み取って実行してもよい。
ＣＰＵ１１は、例示的に、ＣＭ１全体の動作を制御する。ＣＭ１全体の動作を制御するための装置は、ＣＰＵ１１に限定されず、例えば、ＭＰＵやＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのいずれか１つであってもよい。また、ＣＭ１全体の動作を制御するための装置は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ及びＦＰＧＡのうちの２種類以上の組み合わせであってもよい。なお、ＭＰＵはMicro Processing Unitの略称であり、ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific Integrated Circuitの略称である。また、ＰＬＤはProgrammable Logic Deviceの略称であり、ＦＰＧＡはField Programmable Gate Arrayの略称である。
ＧＵＩ／ＣＬＩ制御部１１１は、ユーザ／外部ソフトウェア４からの指示を受け付け、装置制御用のコマンドInterface（ＩＦ）を実行する。ＣＬＩ実行の際には、制御用コマンドＩＦをセットにして、コマンド制御部１１２を依頼してよい。なお、ユーザ／外部ソフトウェア４は、不図示の上位装置上で動作するストレージ管理ソフトウェアであってよい。ユーザ／外部ソフトウェア４は、ストレージ管理ソフトウェア上からストレージ装置１００の機能の管理を実施し、ストレージ装置１００における必要な機能を有効化する処理を行なってよい。
コマンド制御部１１２は、ＧＵＩ／ＣＬＩ制御部１１１から実行された制御用コマンドのＩＦ設定に基づき、内部処理シーケンスの制御を行なう。
メモリ管理部１１３は、ストレージ装置１００内のキャッシュテーブル（別言すれば、制御情報）の獲得や解放処理を実施する。
メモリ管理部１１３は、ＣＭ１の起動の際にＣＭ１のリブートモードをチェックし、最適にキャッシュテーブルのテーブル領域を獲得する処理を行なう。ストレージ装置１００の機能有効化の際においてキャッシュテーブルを獲得する処理の動作中に機能有効化処理が異常終了した場合に、メモリ管理部１１３は、ＣＭ１の起動がストレージ装置１００全体のPower on処理であるか単体のＣＭ１のリブートかを判定する。そして、メモリ管理部１１３は、ＣＭ１の起動がストレージ装置１００全体のPower on処理であるか単体のＣＭ１のリブートかに応じたキャッシュテーブル獲得処理を動作させることで、ＣＭ１間でキャッシュテーブルの獲得状態が不一致になることを回避する。
ＣＭ１の起動がストレージ装置１００全体のPower on処理である場合には、全てのＣＭ１で同一の装置構成情報が保持されるため、全ＣＭ１でのキャッシュテーブルの獲得状態は整合性が確保された状態となる。そこで、メモリ管理部１１３は、装置構成情報からキャッシュテーブルのサイズを算出して、キャッシュメモリからテーブル領域を獲得する。
一方、単体のＣＭ１がリブートした場合には、メモリ管理部１１３は、マスタのＣＭ１からキャッシュテーブル獲得状態情報（図６を用いて後述）を取得する。そして、メモリ管理部１１３は、自ＣＭ１の装置構成情報とマスタのＣＭ１のキャッシュテーブル獲得状態情報とに基づき、キャッシュテーブル獲得処理を実行する。
すなわち、メモリ管理部１１３は、ＣＭ１の起動が、ストレージ装置１００全体の起動によるものであるか、ＣＭ１単体の起動によるものであるかを判定する判定部の一例として機能する。そして、メモリ管理部１１３は、判定結果に応じて、ストレージ装置１００の機能の有効化のためのキャッシュテーブルを格納するテーブル領域（別言すれば、制御情報格納領域）を設定する領域設定部の一例として機能する。
また、メモリ管理部１１３は、スレーブとして機能する自ＣＭ１の起動がＣＭ１単体の起動によるものである場合に、マスタとして機能するＣＭ１から制御情報格納領域の獲得状態を取得し、取得した獲得状態に基づいてテーブル領域を獲得してよい。
更に、メモリ管理部１１３は、獲得状態にＩＤが含まれているPoolについて、獲得状態で割り当てられている領域のサイズに応じて、テーブル領域を獲得してよい。
また、メモリ管理部１１３は、獲得状態にＩＤが含まれていないPoolについて、領域のサイズをゼロとして、テーブル領域を獲得してよい。
更に、メモリ管理部１１３は、獲得状態が取得できない場合に、ストレージ装置１００全体を再起動させた後に、テーブル領域を獲得してよい。
構成管理部１１４は、コマンド実行の際の構成変更処理や処理変更通知を実施する。
Ｉ／Ｏ制御部１１５は、ホストからのＩ／Ｏ処理やユーザデータの冗長化処理を行なう。
図６は、図４に示したＣＭ１におけるキャッシュテーブル獲得状態情報を例示するテーブルである。
キャッシュテーブル獲得情報には、Byte 0x00-0x10において、Cache Table information[0]が格納されている。また、Byte 0x10以降においても、Cache Table information[1] … [n-1]が格納されている。
図７は、図４に示したキャッシュテーブル情報を例示するテーブルである。
図６に示したCache Table Information [0]には、Byte 0x00-0x03においてMemory Pool Nameが格納されており、Byte 0x04-0x07においてPool IDが格納されており、Byte 0x08-0x0BにおいてAllocation Sizeが格納されており、Byte 0x0C以降においてAttributeが格納されている。Cache Table information[1] … [n-1]も同様に、各フィールドが格納されている。
Memory Pool Nameはキャッシュテーブルの名称であり、Pool IDはキャッシュテーブルの識別子であり、Allocation Sizeはキャッシュテーブルの獲得サイズであり、Attributeはキャッシュテーブルの属性である。
〔Ａ－２〕動作例
図４に示したストレージ装置１００における機能有効化処理を、図８に示すシーケンス図（処理Ｃ１～Ｃ１６）に従って説明する。
以下、マスタとして機能するＣＭ１をマスタＣＭ１ａと称し、スレーブとして機能するＣＭ１をスレーブＣＭ１ｂと称する。
マスタＣＭ１ａのＧＵＩ／ＣＬＩ制御部１１１は、コマンド制御部１１２に対して、機能有効化指示を発行する（符号Ｃ１参照）。
マスタＣＭ１ａのコマンド制御部１１２は、コマンド指示を受け付け（符号Ｃ２参照）、ＧＵＩ／ＣＬＩ制御部１１１に対して機能有効化指示の応答を行なう（符号Ｃ３参照）。
マスタＣＭ１ａのＧＵＩ／ＣＬＩ制御部１１１は、コマンド制御部１１２に対して、機能有効化結果を要求する（符号Ｃ４参照）。
マスタＣＭ１ａのコマンド制御部１１２は、メモリ管理部１１３に対してメモリ獲得要求を発行する（符号Ｃ５参照）と共に、ＧＵＩ／ＣＬＩ制御部１１１に対して機能有効化結果を応答する（符号Ｃ６参照）。
マスタＣＭ１ａのメモリ管理部１１３は、スレーブＣＭ１ｂのメモリ管理部１１３と同期して、キャッシュテーブル獲得処理を実施する（符号Ｃ７及びＣ８参照）。なお、キャッシュテーブル獲得処理の詳細は、図９を用いて後述する。
マスタＣＭ１ａのメモリ管理部１１３は、コマンド制御部１１２に対して、メモリ獲得を応答する（符号Ｃ９参照）。
マスタＣＭ１ａのコマンド制御部１１２は、構成管理部１１４に対して、構成変更指示を発行する（符号Ｃ１０参照）。
マスタＣＭ１ａの構成管理部１１４は、装置構成変更処理を行ない（符号Ｃ１１参照）、コマンド制御部１１２に対して構成変更の応答を行なう（符号Ｃ１２参照）。
マスタＣＭ１ａのＧＵＩ／ＣＬＩ制御部１１１は、コマンド制御部１１２に対して、機能有効化結果を要求する（符号Ｃ１３参照）。
マスタＣＭ１ａのコマンド制御部１１２は、コマンド処理を終了させ（符号Ｃ１４参照）、ＧＵＩ／ＣＬＩ制御部１１１に対して機能有効化結果を応答する（符号Ｃ１５参照）。そして、機能有効化処理は終了する。
なお、ＧＵＩ／ＣＬＩ制御部１１１は、符号Ｃ３に示した機能有効化指示の応答を受け取ってから、符号Ｃ１５に示した機能有効化結果の応答を受け取るまで、コマンド制御部１１２からの機能有効化結果の応答をポーリングする（符号Ｃ１６参照）。
次に、図８に示したキャッシュテーブル獲得処理の詳細を、図９に示すフローチャート（ステップＳ１～Ｓ４）に従って説明する。
メモリ管理部１１３は、ＣＭ１のPower onを検知すると、キャッシュテーブル獲得処理を開始する（ステップＳ１）。
メモリ管理部１１３は、Power onが単体のＣＭ１のリブートであるか（別言すれば、ＣＭ１の復旧処理であるCheck1を示すBitが有効であるか）を判定する（ステップＳ２）。
Power onが単体のＣＭ１のリブートでない場合には（ステップＳ２のＮＯルート参照）、メモリ管理部１１３は、ストレージ装置１００全体のPower on処理についてのキャッシュテーブル獲得処理を実行する（ステップＳ３）。そして、キャッシュテーブル獲得処理は終了する。なお、ステップＳ３に示すストレージ装置１００全体のPower on処理についてのキャッシュテーブル獲得処理の詳細は、図１０を用いて後述する。
一方、Power onが単体のＣＭ１のリブートである場合には（ステップＳ２のＹＥＳルート参照）、メモリ管理部１１３は、単体のＣＭ１のリブートの際におけるキャッシュテーブル獲得処理を実行する（ステップＳ４）。そして、キャッシュテーブル獲得処理は終了する。なお、ステップＳ４に示す単体のＣＭ１のリブートの際におけるキャッシュテーブル獲得処理の詳細は、図１０を用いて後述する。
次に、図９に示した装置全体のPower onの際におけるキャッシュテーブル獲得処理の詳細を、図１０に示すフローチャート（ステップＳ３１～Ｓ３４）に従って説明する。
メモリ管理部１１３は、ストレージ装置１００全体のPower onの際におけるキャッシュテーブル獲得処理を開始する（ステップＳ３１）。
メモリ管理部１１３は、構成設定からキャッシュテーブルのサイズを算出する（ステップＳ３２）。メモリ管理部１１３は、Pool ID毎に定義されたキャッシュテーブルのサイズを決定する関数を実行する。
メモリ管理部１１３は、キャッシュテーブル獲得処理を実行する（ステップＳ３３）。
メモリ管理部１１３は、未処理の残Poolが存在するかを判定する（ステップＳ３４）。
未処理の残Poolが存在する場合には（ステップＳ３４のＹＥＳルート参照）、処理はステップＳ３２に戻る。
一方、未処理の残Poolが存在しない場合には（ステップＳ３４のＮＯルート参照）、ストレージ装置１００全体のPower onの際におけるキャッシュテーブル獲得処理は終了する。
次に、図９に示した単体ＣＭ１のリブートの際におけるキャッシュテーブル獲得処理の詳細を、図１１に示すフローチャート（ステップＳ４１～Ｓ４８）に従って説明する。
メモリ管理部１１３は、単体ＣＭ１のリブートの際におけるキャッシュテーブル獲得処理を開始する（ステップＳ４１）。
メモリ管理部１１３は、マスタＣＭ１ａのキャッシュテーブル情報が有効であるかを判定する（ステップＳ４２）。
マスタＣＭ１ａのキャッシュテーブル情報が有効でない場合には（ステップＳ４２のＮＯルート参照）、メモリ管理部１１３は、構成テーブルの設定値に従って、Pool ID有効時のキャッシュテーブルのサイズを算出する（ステップＳ４３）。すなわち、ストレージ装置１００全体の再起動が実行され、図１０に示したストレージ装置１００全体のPower onの際におけるキャッシュテーブル獲得処理が実行される。そして、処理はステップＳ４７へ進む。
一方、マスタＣＭ１ａのキャッシュテーブル情報が有効である場合には（ステップＳ４２のＹＥＳルート参照）、メモリ管理部１１３は、対象のPoolがマスタＣＭ１ａで獲得されているかを判定する（ステップＳ４４）。
対象のPoolがマスタＣＭ１ａで獲得されていない場合には（ステップＳ４４のＮＯルート参照）、メモリ管理部１１３は、Pool ID無効時のキャッシュテーブルのサイズを算出する（ステップＳ４５）。対象のPoolがマスタＣＭ１ａで獲得されていない場合には、キャッシュテーブルのサイズは０として算出される。そして、処理はステップＳ４７へ進む。
一方、対象のPoolがマスタＣＭ１ａで獲得されている場合には（ステップＳ４４のＹＥＳルート参照）、メモリ管理部１１３は、Pool ID有効時のキャッシュテーブルのサイズを算出する（ステップＳ４６）。
メモリ管理部１１３は、キャッシュテーブル獲得処理を実行する（ステップＳ４７）。
メモリ管理部１１３は、未処理の残Poolが存在するかを判定する（ステップＳ４８）。
未処理の残Poolが存在する場合には（ステップＳ４８のＹＥＳルート参照）、処理はステップＳ４４へ戻る。
一方、未処理の残Poolが存在しない場合には（ステップＳ４８のＮＯルート参照）、単体ＣＭ１のリブートの際におけるキャッシュテーブル獲得処理は終了する。
〔Ａ－３〕効果
上述した実施形態の一例におけるＣＭ１及び制御プログラムによれば、例えば以下の作用効果を奏することができる。
メモリ管理部１１３は、ＣＭ１の起動が、ストレージ装置１００全体の起動によるものであるか、ＣＭ１単体の起動によるものであるかを判定する。そして、メモリ管理部１１３は、判定結果に応じて、ストレージ装置１００の機能の有効化のためのキャッシュテーブルを格納するテーブル領域を獲得する。
これにより、ストレージ装置１００に備えられる複数のＣＭ１間のキャッシュテーブル獲得状態を一致させることができる。具体的には、ストレージ装置１００の機能有効化の際におけるキャッシュテーブル獲得処理の動作中において、機能有効化の処理が異常終了した場合でも、異常が発生したＣＭ１のリブートの際に他のＣＭ１との間でキャッシュテーブル獲得状態を一致させることができる。そして、キャッシュテーブル獲得状態をＣＭ１間で整合性がある状態にすることで、ストレージ装置１００を安定して稼働させることができる。
メモリ管理部１１３は、スレーブとして機能する自ＣＭ１の起動がＣＭ１単体の起動によるものである場合に、マスタとして機能するＣＭ１から領域の獲得状態を取得し、取得した獲得状態に基づいてテーブル領域を獲得する。
これにより、スレーブのＣＭ１とマスタのＣＭ１との間におけるキャッシュテーブル獲得状態を一致させることができる。
メモリ管理部１１３は、獲得状態にＩＤが含まれているPoolについて、獲得状態で割り当てられている領域のサイズに応じて、テーブルの領域を獲得する。
これにより、スレーブのＣＭ１とマスタのＣＭ１との間におけるキャッシュテーブルの領域サイズを一致させることができる。
メモリ管理部１１３は、獲得状態にＩＤが含まれていないPoolについて、領域のサイズをゼロとして、テーブル領域を獲得する。
これにより、マスタのＣＭ１で獲得されていないPoolの領域サイズを０として、スレーブのＣＭ１においてテーブル領域を獲得できる。
メモリ管理部１１３は、獲得状態が取得できない場合に、ストレージ装置１００全体を再起動させた後に、テーブル領域を獲得する。
これにより、マスタのＣＭ１からキャッシュテーブル獲得状態が取得できない場合においても、ＣＭ１間のキャッシュテーブル獲得状態の整合性を確実にとることができる。
〔Ｂ〕その他
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
ストレージ装置１００の装置構成は、図４に示した例に限定されるものではない。
図１２は、ハイエンドのストレージ装置１００ａのハードウェア構成例を模式的に示すブロック図である。
ストレージ装置１００ａはｎ－１個のＣＥ１０（別言すれば、ＣＥ＃０～＃ｎ）を備え、各ＣＥ１０には４つのＤＥ２がそれぞれ接続される。なお、ＣＥ１０及びＤＥ２の構成は、図４に示したストレージ装置１００と同様である。
また、ストレージ装置１００ａは、２つのＦＥ３（別言すれば、ＦＥ＃０，＃１）を備える。
各ＦＥ３は、２つのFrontend Router（ＦＲＴ）３１及びService Controller（ＳＶＣ）３２を備える。なお、ＦＥ＃０はＦＲＴ＃０，＃１及びＳＶＣ＃０を備え、ＦＥ＃１はＦＲＴ＃２，＃３及びＳＶＣ＃１を備える。
ＦＲＴ３１は、ＦＥ３とＣＭ１との間の通信経路を提供する。
ＳＶＣ３２は、システム管理を担うユニットであり、ストレージ装置１００ａに搭載されるモジュールの監視及び制御を行なう。
図１２に示したストレージ装置１００ａにおいても、実施形態の一例に示したストレージ装置１００と同様の作用効果を奏することができる。
〔Ｃ〕付記
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
ストレージ装置に備えられる複数のストレージ制御装置のうちの一のストレージ制御装置であって、
当該ストレージ制御装置の起動が、前記ストレージ装置全体の起動によるものであるか、当該ストレージ制御装置単体の起動によるものであるかを判定する判定部と、
前記判定部による判定結果に応じて、前記ストレージ装置の機能の有効化のための制御情報を格納する制御情報格納領域を設定する領域設定部と、
を備える、ストレージ制御装置。
（付記２）
当該ストレージ制御装置は、前記ストレージ装置においてスレーブとして機能するストレージ制御装置であり、
前記領域設定部は、当該ストレージ制御装置の起動が当該ストレージ制御装置単体の起動によるものである場合に、前記複数のストレージ制御装置のうちのマスタとして機能するストレージ制御装置から前記制御情報格納領域の獲得状態を取得し、取得した前記獲得状態に基づいて前記制御情報格納領域を設定する、
付記１に記載のストレージ制御装置。
（付記３）
前記領域設定部は、前記獲得状態に識別子が含まれているストレージプールについて、前記獲得状態で割り当てられている領域のサイズに応じて、前記制御情報格納領域を設定する、
付記２に記載のストレージ制御装置。
（付記４）
前記領域設定部は、前記獲得状態に識別子が含まれていないストレージプールについて、領域のサイズをゼロとして、前記制御情報格納領域を設定する、
付記２又は３に記載のストレージ制御装置。
（付記５）
前記領域設定部は、前記獲得状態が取得できない場合に、前記ストレージ装置全体を再起動させた後に、前記制御情報格納領域を設定する、
付記２～４のいずれか１項に記載のストレージ制御装置。
（付記６）
ストレージ装置に備えられる複数のストレージ制御装置のうちの一のストレージ制御装置に備えられるコンピュータに、
当該ストレージ制御装置の起動が、前記ストレージ装置全体の起動によるものであるか、当該ストレージ制御装置単体の起動によるものであるかを判定し、
前記判定の結果に応じて、前記ストレージ装置の機能の有効化のための制御情報を格納する制御情報格納域を設定する、
処理を実行させる、制御プログラム。
（付記７）
前記一のストレージ制御装置は、前記ストレージ装置においてスレーブとして機能するストレージ制御装置であり、
当該ストレージ制御装置の起動が当該ストレージ制御装置単体の起動によるものである場合に、前記複数のストレージ制御装置のうちのマスタとして機能するストレージ制御装置から前記制御情報格納領域の獲得状態を取得し、取得した前記獲得状態に基づいて前記制御情報格納領域を設定する、
処理を前記コンピュータに実行させる、付記６に記載の制御プログラム。
（付記８）
前記獲得状態に識別子が含まれているストレージプールについて、前記獲得状態で割り当てられている領域のサイズに応じて、前記制御情報格納領域を設定する、
処理を前記コンピュータに実行させる、付記７に記載の制御プログラム。
（付記９）
前記獲得状態に識別子が含まれていないストレージプールについて、領域のサイズをゼロとして、前記制御情報格納領域を設定する、
処理を前記コンピュータに実行させる、付記７又は８に記載の制御プログラム。
（付記１０）
前記獲得状態が取得できない場合に、前記ストレージ装置全体を再起動させた後に、前記制御情報格納領域を設定する、
処理を前記コンピュータに実行させる、付記７～９のいずれか１項に記載の制御プログラム。
１００，１００ａ，６００：ストレージ装置
１０，６０：ＣＥ
１，６ ：ＣＭ
１ａ ：マスタＣＭ
１ｂ ：スレーブＣＭ
１１ ：ＣＰＵ
１１１ ：ＧＵＩ／ＣＬＩ制御部
１１２ ：コマンド制御部
１１３ ：メモリ管理部
１１４ ：構成管理部
１１５ ：Ｉ／Ｏ制御部
１２ ：ＢＩＯＳ
１３ ：ＢＵＤコントローラ
１４ ：ＢＵＤ
１５ ：ＩＯＣ
１６ ：ＥＸＰ
１７ ：ＣＡ
２，７ ：ＤＥ
２１ ：ＩＯＭ
２２ ：ディスク群
２３ ：ＦＥＭ
３ ：ＦＥ
３１ ：ＦＲＴ
３２ ：ＳＶＣ
４ ：ユーザ／外部ソフトウェア
８ ：ユーザ端末

Claims (5)

  1. ストレージ装置に備えられる複数のストレージ制御装置のうちのスレーブとして機能する一のストレージ制御装置であって、
    当該ストレージ制御装置の起動が、前記ストレージ装置全体の電源投入処理によるものであるか、当該ストレージ制御装置単体のリブートによるものであるかを判定する判定部と、
    前記判定部による判定結果において当該ストレージ制御装置の起動が当該ストレージ制御装置単体のリブートによるものである場合に、前記複数のストレージ制御装置のうちのマスタとして機能するストレージ制御装置から、前記ストレージ装置における領域獲得のための制御情報を格納する制御情報格納領域の獲得状態を取得し、取得した前記獲得状態に基づいて前記制御情報格納領域を当該ストレージ制御装置において設定する領域設定部と、
    を備える、ストレージ制御装置。
  2. 前記領域設定部は、前記獲得状態に識別子が含まれている前記ストレージ装置の領域を表すストレージプールについて、前記獲得状態で割り当てられている領域のサイズに応じて、前記制御情報格納領域を設定する、
    請求項１に記載のストレージ制御装置。
  3. 前記領域設定部は、前記獲得状態に識別子が含まれていない前記ストレージ装置の領域を表すストレージプールについて、領域のサイズをゼロとして、前記制御情報格納領域を設定する、
    請求項１又は２に記載のストレージ制御装置。
  4. 前記領域設定部は、前記獲得状態が取得できない場合に、前記ストレージ装置全体を再起動させた後に、前記制御情報格納領域を設定する、
    請求項２又は３に記載のストレージ制御装置。
  5. ストレージ装置に備えられる複数のストレージ制御装置のうちのスレーブとして機能する一のストレージ制御装置に備えられるコンピュータに、
    当該ストレージ制御装置の起動が、前記ストレージ装置全体の電源投入処理によるものであるか、当該ストレージ制御装置単体のリブートによるものであるかを判定し、
    前記判定の結果において当該ストレージ制御装置の起動が当該ストレージ制御装置単体のリブートによるものである場合に、前記複数のストレージ制御装置のうちのマスタとして機能するストレージ制御装置から、前記ストレージ装置における領域獲得のための制御情報を格納する制御情報格納領域の獲得状態を取得し、取得した前記獲得状態に基づいて前記制御情報格納領域を当該ストレージ制御装置において設定する、
    処理を実行させる、制御プログラム。
JP2019228552A 2019-12-18 2019-12-18 ストレージ制御装置及び制御プログラム Active JP7371483B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019228552A JP7371483B2 (ja) 2019-12-18 2019-12-18 ストレージ制御装置及び制御プログラム
US17/078,142 US11449251B2 (en) 2019-12-18 2020-10-23 Storage control device and non-transitory computer-readable storage medium for storing control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019228552A JP7371483B2 (ja) 2019-12-18 2019-12-18 ストレージ制御装置及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2021096714A JP2021096714A (ja) 2021-06-24
JP7371483B2 true JP7371483B2 (ja) 2023-10-31

Family

ID=76431494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019228552A Active JP7371483B2 (ja) 2019-12-18 2019-12-18 ストレージ制御装置及び制御プログラム

Country Status (2)

Country Link
US (1) US11449251B2 (ja)
JP (1) JP7371483B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012048613A (ja) 2010-08-30 2012-03-08 Fujitsu Ltd ストレージシステム、制御装置および制御方法
JP2012203881A (ja) 2011-03-28 2012-10-22 Fujitsu Ltd ストレージ装置及びストレージ制御装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3618529B2 (ja) * 1997-11-04 2005-02-09 富士通株式会社 ディスクアレイ装置
JP3681590B2 (ja) * 1999-10-28 2005-08-10 株式会社ルネサステクノロジ データ処理装置及びデータ処理システム
US8656098B1 (en) * 2007-07-30 2014-02-18 Hewlett-Packard Development Company, L.P. System and method for activating a raid disk
US9557938B2 (en) * 2014-05-13 2017-01-31 Netapp, Inc. Data retrieval based on storage device activation schedules
JP2016212548A (ja) * 2015-05-01 2016-12-15 富士通株式会社 ストレージ制御装置、ストレージ制御方法、及びストレージ制御プログラム
KR20180038109A (ko) * 2016-10-05 2018-04-16 삼성전자주식회사 모니터링 회로를 포함하는 전자 장치 및 그것에 포함되는 스토리지 장치
KR20180095766A (ko) * 2017-02-17 2018-08-28 삼성전자주식회사 스토리지 장치
KR20200114481A (ko) * 2019-03-28 2020-10-07 에스케이하이닉스 주식회사 메모리 시스템, 메모리 컨트롤러 및 그 동작 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012048613A (ja) 2010-08-30 2012-03-08 Fujitsu Ltd ストレージシステム、制御装置および制御方法
JP2012203881A (ja) 2011-03-28 2012-10-22 Fujitsu Ltd ストレージ装置及びストレージ制御装置

Also Published As

Publication number Publication date
US11449251B2 (en) 2022-09-20
US20210191637A1 (en) 2021-06-24
JP2021096714A (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
JP4723290B2 (ja) ディスクアレイ装置及びその制御方法
US8127128B2 (en) Synchronization of swappable module in modular system
JP6555096B2 (ja) 情報処理装置およびプログラム更新制御方法
JP5637873B2 (ja) 計算機システムおよびｐｃｉカードのｈｂａ識別子引き継ぎ方式
TWI522807B (zh) 利用儲存區域網路回復電腦系統的系統及方法
US20170139605A1 (en) Control device and control method
JP2007025933A (ja) ストレージシステム及びそのファームウェア自動更新方法
JP5314731B2 (ja) データ処理装置間の基本入出力プログラムの同期化方法及びコンピュータシステム
JP2009282834A (ja) ディスクアレイ装置，制御ファーム適用方法，及び制御ファーム適用制御部
JP2007080012A (ja) 再起動方法、システム及びプログラム
JP6515462B2 (ja) 情報処理装置、情報処理装置の設定方法及び設定プログラム
JP5078592B2 (ja) フェイルオーバーを行わせる方法
JP7371483B2 (ja) ストレージ制御装置及び制御プログラム
JP2015099541A (ja) ストレージ制御装置，プログラム及び制御方法
JP5484434B2 (ja) ネットワークブート計算機システム、管理計算機、及び計算機システムの制御方法
JP2010198420A (ja) ストレージ制御装置，ストレージ制御方法およびストレージ制御プログラム
JP2014191399A (ja) 情報処理システム、記憶装置、およびバックアップ方法
US8667262B2 (en) Information processing apparatus and its control method
US20190129634A1 (en) Method and apparatus for triggering raid reconstruction
KR100792786B1 (ko) 백업 이미지 파일을 이용한 컴퓨터의 최적화 운영체제 복구방법
US10977107B2 (en) Apparatus and method to control a storage device
US11074144B2 (en) Active firmware replacement in storage system and in storage controller, and computer-readable recording medium having stored therein program for active firmware replacement in controlling storage
JP2019159437A (ja) 情報処理装置、転送制御方法および転送制御プログラム
JP5345655B2 (ja) 基本入出力プログラムの冗長管理方法及びデータ処理装置
JP2016126594A (ja) 制御装置，ストレージ装置及び制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230825

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231002

R150 Certificate of patent or registration of utility model

Ref document number: 7371483

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150