JP7321406B2 - バリデーション方法決定装置およびバリデーション方法決定方法 - Google Patents
バリデーション方法決定装置およびバリデーション方法決定方法 Download PDFInfo
- Publication number
- JP7321406B2 JP7321406B2 JP2023529257A JP2023529257A JP7321406B2 JP 7321406 B2 JP7321406 B2 JP 7321406B2 JP 2023529257 A JP2023529257 A JP 2023529257A JP 2023529257 A JP2023529257 A JP 2023529257A JP 7321406 B2 JP7321406 B2 JP 7321406B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- validation method
- validation
- unit
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010200 validation analysis Methods 0.000 title claims description 557
- 238000000034 method Methods 0.000 title claims description 27
- 238000012360 testing method Methods 0.000 claims description 126
- 238000009826 distribution Methods 0.000 claims description 92
- 239000000284 extract Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 18
- 238000002790 cross-validation Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 230000001174 ascending effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
また、予測器の予測性能を見積もる方法として、ホールドアウト検証および交差検証(Cross-validation)が知られている。例えば、非特許文献1には交差検証が記載されている。
本開示に係るバリデーション方法決定装置は、予測対象に対応したバリデーションデータが抽出されるバリデーション方法を決定できるので、予測器の予測性能の評価に適したバリデーションデータを得ることができる。
図1は、実施の形態1に係るバリデーション方法決定装置1の構成を示すブロック図である。図1において、バリデーション方法決定装置1は、学習データD1_1、テストデータD1_2およびデータ種別情報D1_3を用いて、学習データと予測対象に対応したバリデーションデータとを抽出するバリデーション方法を示す推薦情報D2を生成する。バリデーション方法決定装置1は、推薦情報D2が示すバリデーション方法から、予測器の予測性能の評価に用いるバリデーション方法を決定する。
図2に示すログデータにはカラムデータC1~C4が含まれ、カラムデータC1~C4は、特徴量名称N1が示す特徴量ごとのデータの集合である。図2において、特徴量名称N1は、「日付」、「温度」、「動作状態」、および「その他」である。
図3は、実施の形態1に係るバリデーション方法決定方法を示すフローチャートであって、データ取得部11、バリデーション方法推薦部12およびバリデーション方法決定部13による一連の動作を示している。データ取得部11は、学習データD1_1、テストデータD1_2およびデータ種別情報D1_3を取得する(ステップST1)。学習データD1_1およびテストデータD1_2は、例えば図2に示したログデータから抽出されたデータである。
バリデーション方法推薦部12は、データ種別情報D1_3を用いて、学習データD1_1およびテストデータD1_2から、データ種別が「日時」であるカラムデータC1を抽出する。次に、バリデーション方法推薦部12は、学習データD1_1のカラムデータC1に含まれる最も新しい日時よりもテストデータD1_2のカラムデータC1に含まれる最も古い日時が新しいか否かを判定する(ステップST1A)。
バリデーション方法推薦部12は、データ種別情報D1_3を用いて、学習データD1_1およびテストデータD1_2からデータ種別が「カテゴリ」であるカラムデータC3を抽出する。次に、バリデーション方法推薦部12は、カラムデータC3における、学習データD1_1の分布とテストデータD1_2の分布との重複が閾値以上であるか否かを判定する(ステップST1B)。分布が重複する部分では、学習データD1_1とテストデータD1_2とで同じデータが含まれる。
図9において、学習データの分布とテストデータの分布には、ビルIDの重複がない。このため、図9に示す学習データおよびテストデータを用いるタスクは、学習データには存在しない未知のビルにおける消費電力値を予測するタスクとなる。
バリデーション方法推薦部12は、データ種別情報D1_3を用いて、学習データD1_1およびテストデータD1_2から、データ種別が「数値」であるカラムデータC2を抽出する。続いて、バリデーション方法推薦部12は、カラムデータC2における、学習データD1_1の最大値がテストデータD1_2の最小値よりも小さいか否か、または、学習データD1_1の最小値がテストデータD1_2の最大値よりも大きいか否かを判定する(ステップST1C)。
数値が小さい領域と大きい領域との中間領域である数値データが、クラスBに属するデータに分割され、1回目および3回目のイテレーションは学習データとされ、2回目のイテレーションはバリデーションデータとされている。
数値が大きい領域の数値データがクラスCに属するデータに分割され、1回目および2回目のイテレーションは学習データとされ、3回目のイテレーションはバリデーションデータとされている。
また、1回目のイテレーションに用いるデータにおいて、クラスAに属するデータは、バリデーションデータとされ、クラスBおよびクラスCに属するデータは学習データとされる。2回目のイテレーションに用いるデータにおいて、クラスAおよびクラスCに属するデータは学習データとされ、クラスBに属するデータはバリデーションデータとされる。3回目のイテレーションに用いるデータにおいて、クラスAおよびクラスBに属するデータは学習データとされ、クラスCに属するデータはバリデーションデータとされる。
また、バリデーション方法推薦部12は、バリデーション方法決定部13が、推薦したバリデーション方法を使用しない場合、このバリデーション方法の特定に使用したカラムデータカラムの特徴量を、バリデーション方法の推薦処理から除外してもよい。
すなわち、バリデーション方法決定装置1は、図3に示したステップST1からステップST3の各処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するCPU(Central Processing Unit)であってもよい。
例えば、バリデーション方法決定装置1は、プロセッサ103によって実行されるときに、図3に示すフローチャートにおけるステップST1からステップST3までの各処理が結果的に実行されるプログラムを記憶するためのメモリ104を備えている。これらのプログラムは、データ取得部11、バリデーション方法推薦部12およびバリデーション方法決定部13が行う処理の手順または方法をコンピュータに実行させる。メモリ104は、コンピュータを、データ取得部11、バリデーション方法推薦部12およびバリデーション方法決定部13として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
例えば、データ取得部11は、専用のハードウェアである処理回路102によって機能が実現され、バリデーション方法推薦部12およびバリデーション方法決定部13は、プロセッサ103がメモリ104に記憶されたプログラムを読み出して実行することにより機能が実現される。このように、処理回路はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより上記機能を実現することができる。
これに対して、バリデーション方法決定装置1は、予測対象に対応したバリデーションデータを抽出するバリデーション方法を決定できるので、特別なノウハウを必要とせず、予測器の予測性能の評価に適したバリデーションデータを得ることができる。
また、実施の形態1に係るバリデーション方法決定方法においても、同様の効果が得られる。
図16は、実施の形態2に係るバリデーション方法決定装置1Aの構成を示すブロック図である。図16において、バリデーション方法決定装置1Aは、データ取得部11A、バリデーション方法推薦部12A、バリデーション方法決定部13A、データ種別判定部14、分布計算部15、順序付け部16、およびユーザフィードバック部17を備える。データ取得部11Aは、学習データD1_1およびテストデータD1_2を取得し、取得した学習データD1_1およびテストデータD1_2をバリデーション方法推薦部12Aとデータ種別判定部14に出力する。
データ取得部11Aは、学習データD1_1およびテストデータD1_2を取得する(ステップST1D)。データ取得部11Aは、学習データD1_1およびテストデータD1_2を、バリデーション方法推薦部12A、データ種別判定部14および分布計算部15にそれぞれ出力する。
ユーザフィードバック部17は、提示情報D4をユーザに提示する。例えば、ユーザフィードバック部17は、図16において不図示の表示装置または音声出力装置において提示情報D4を出力する。
バリデーション方法推薦部12Aは、データ種別情報D1_3を用いて、学習データD1_1およびテストデータD1_2からデータ種別が「日時」であるカラムデータC1を抽出する。バリデーション方法推薦部12Aは、学習データD1_1のカラムデータC1に含まれる最も新しい日時よりも、テストデータD1_2のカラムデータC1に含まれる最も古い日時が新しいか否かを判定する(ステップST1E)。
バリデーション方法推薦部12Aは、データ種別情報D1_3を用いて、学習データD1_1およびテストデータD1_2からデータ種別が「カテゴリ」であるカラムデータC3を抽出する。次に、バリデーション方法推薦部12Aは、カラムデータC3における、学習データD1_1の分布とテストデータD1_2の分布との重複が閾値以上であるか否かを判定する(ステップST1F)。
バリデーション方法推薦部12Aは、フィードバック情報D5を用いて、ユーザが未知のカテゴリに対して予測したくないと判定した場合(ステップST3F;NO)、ステップST2Fの処理に移行する。
バリデーション方法推薦部12Aは、データ種別情報D1_3を用いて、学習データD1_1およびテストデータD1_2から、データ種別が「数値」であるカラムデータC2を抽出する。続いて、バリデーション方法推薦部12Aは、カラムデータC2における、学習データD1_1の最大値がテストデータD1_2の最小値よりも小さいか否か、または、学習データD1_1の最小値がテストデータD1_2の最大値よりも大きいか否かを判定する(ステップST1G)。
バリデーション方法決定装置1Aは、データ種別情報D1_3および分布情報D1_4を用いて、カラムデータの順序付けを行うことができる。
バリデーション方法決定装置1Aは、ユーザからのフィードバック情報D7を用いて、予測器の予測性能の評価に用いるバリデーション方法を決定することが可能である。
バリデーション方法推薦部12Aは、学習データとテストデータとの大小関係を保ったまま予測することを示すフィードバック情報を取得した場合、学習データとテストデータとの大小関係を保つように、学習データとバリデーションデータとを抽出するバリデーション方法を推薦する。
また、バリデーション方法推薦部12Aは、学習データとテストデータとの大小関係を保ったまま予測をしないことを示すフィードバック情報を取得し、かつ学習データの分布とテストデータの分布との分布差異が閾値以上である場合、教師ラベルの割合が同一になるように、学習データとバリデーションデータとを抽出するバリデーション方法を推薦する。さらに、バリデーション方法推薦部12Aは、学習データとテストデータとの大小関係を保ったまま予測をしないことを示すフィードバック情報を取得し、かつ学習データの分布とテストデータの分布との分布差異が閾値未満である場合には、学習データとテストデータとの局在関係を保つように、学習データとバリデーションデータとを抽出するバリデーション方法を推薦する。
このように、バリデーション方法推薦部12Aは、ユーザからのフィードバック情報D5に応じたバリデーション方法を、バリデーション方法決定部13Aに推薦することが可能である。
Claims (15)
- 予測器の学習に用いる学習データおよび前記予測器の予測精度の測定に用いるテストデータを取得するデータ取得部と、
前記学習データ、前記テストデータおよび両データを構成するカラムデータのデータ種別を示すデータ種別情報を用いて、前記学習データと予測対象に対応したバリデーションデータとを抽出するバリデーション方法を推薦するバリデーション方法推薦部と、
推薦されたバリデーション方法から、前記予測器の予測性能の評価に用いるバリデーション方法を決定するバリデーション方法決定部と、を備えた
ことを特徴とするバリデーション方法決定装置。 - 前記バリデーション方法推薦部は、前記学習データと前記バリデーションデータの時系列の順序関係を保つように、前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦する
ことを特徴とする請求項1に記載のバリデーション方法決定装置。 - 前記バリデーション方法推薦部は、教師ラベルの割合が同一になるように、前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦する
ことを特徴とする請求項1に記載のバリデーション方法決定装置。 - 前記バリデーション方法推薦部は、グループ単位で前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦する
ことを特徴とする請求項1に記載のバリデーション方法決定装置。 - 前記バリデーション方法推薦部は、前記学習データと前記テストデータとの大小関係を保つように、前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦する
ことを特徴とする請求項1に記載のバリデーション方法決定装置。 - 前記バリデーション方法推薦部は、前記学習データと前記テストデータとの局在関係を保つように、前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦する
ことを特徴とする請求項1に記載のバリデーション方法決定装置。 - 前記学習データおよび前記テストデータをそれぞれ構成するカラムデータのデータ種別を判定して前記データ種別情報を生成するデータ種別判定部を備えた
ことを特徴とする請求項1に記載のバリデーション方法決定装置。 - 前記学習データの分布と前記テストデータの分布との差異を算出し、算出した分布差異を示す分布情報を出力する分布計算部を備え、
前記バリデーション方法推薦部は、前記分布情報に基づいてバリデーション方法を推薦する
ことを特徴とする請求項1に記載のバリデーション方法決定装置。 - 前記データ種別情報および前記分布情報を用いて、前記バリデーションデータを抽出するカラムデータの順序付けを行い、カラムデータの順序付けを示す順序情報を出力する順序付け部を備えた
ことを特徴とする請求項8に記載のバリデーション方法決定装置。 - バリデーション方法の推薦に関する提示情報を出力し、前記提示情報に対するフィードバック情報を前記バリデーション方法推薦部に出力するフィードバック部を備え、
前記バリデーション方法推薦部は、取得した前記フィードバック情報に対応するバリデーション方法を推薦する
ことを特徴とする請求項1に記載のバリデーション方法決定装置。 - バリデーション方法の決定に関する提示情報を出力し、前記提示情報に対するフィードバック情報を前記バリデーション方法決定部に出力するフィードバック部を備え、
前記バリデーション方法決定部は、取得した前記フィードバック情報に基づいて、推薦されたバリデーション方法を、前記予測器の予測性能の評価に用いるか否かを決定する
ことを特徴とする請求項1に記載のバリデーション方法決定装置。 - 前記フィードバック部は、過去のデータを用いて未来のデータを予測するか否かの問い合わせ情報を前記提示情報として出力し、前記提示情報に対する前記フィードバック情報を前記バリデーション方法推薦部に出力し、
前記バリデーション方法推薦部は、過去のデータを用いて未来のデータを予測することを示す前記フィードバック情報を取得した場合に、前記学習データと前記バリデーションデータの時系列の順序関係を保つように、前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦する
ことを特徴とする請求項10に記載のバリデーション方法決定装置。 - 前記フィードバック部は、未知のカテゴリについて予測するか否かの問い合わせ情報を前記提示情報として出力し、前記提示情報に対する前記フィードバック情報を前記バリデーション方法推薦部に出力し、
前記バリデーション方法推薦部は、
未知のカテゴリについて予測することを示す前記フィードバック情報を取得した場合、グループ単位で前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦し、
未知のカテゴリについて予測しないことを示す前記フィードバック情報を取得した場合は、教師ラベルの割合が同一になるように前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦する
ことを特徴とする請求項10に記載のバリデーション方法決定装置。 - 前記フィードバック部は、前記学習データと前記テストデータとの大小関係を保ったまま予測するか否かの問い合わせ情報を前記提示情報として出力し、前記提示情報に対する前記フィードバック情報を前記バリデーション方法推薦部に出力し、
前記バリデーション方法推薦部は、
前記学習データと前記テストデータとの大小関係を保ったまま予測することを示す前記フィードバック情報を取得した場合に、前記学習データと前記テストデータの大小関係を保つように、前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦し、
前記学習データと前記テストデータとの大小関係を保ったまま予測をしないことを示す前記フィードバック情報を取得し、かつ前記学習データの分布と前記テストデータの分布との分布差異が閾値以上である場合に、教師ラベルの割合が同一になるように、前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦し、
前記学習データと前記テストデータとの大小関係を保ったまま予測をしないことを示す前記フィードバック情報を取得し、かつ前記学習データの分布と前記テストデータの分布との分布差異が閾値未満である場合に、前記学習データと前記テストデータの局在関係を保つように、前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦する
ことを特徴とする請求項10に記載のバリデーション方法決定装置。 - データ取得部が、予測器の学習に用いる学習データおよび前記予測器の予測精度の測定に用いるテストデータを取得するステップと、
バリデーション方法推薦部が、前記学習データ、前記テストデータおよび両データを構成するカラムデータのデータ種別を示すデータ種別情報を用いて、前記学習データと予測対象に対応したバリデーションデータとを抽出するバリデーション方法を推薦するステップと、
バリデーション方法決定部が、推薦されたバリデーション方法から、前記予測器の予測性能の評価に用いるバリデーション方法を決定するステップと、を備えた
ことを特徴とするバリデーション方法決定方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/023501 WO2022269733A1 (ja) | 2021-06-22 | 2021-06-22 | バリデーション方法決定装置およびバリデーション方法決定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2022269733A1 JPWO2022269733A1 (ja) | 2022-12-29 |
JP7321406B2 true JP7321406B2 (ja) | 2023-08-04 |
Family
ID=84545281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023529257A Active JP7321406B2 (ja) | 2021-06-22 | 2021-06-22 | バリデーション方法決定装置およびバリデーション方法決定方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240078468A1 (ja) |
EP (1) | EP4343642A1 (ja) |
JP (1) | JP7321406B2 (ja) |
CN (1) | CN117651956A (ja) |
WO (1) | WO2022269733A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200349467A1 (en) | 2019-05-02 | 2020-11-05 | Nicholas John Teague | Preparing Structured Data Sets for Machine Learning |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7218274B2 (ja) * | 2019-11-05 | 2023-02-06 | 株式会社 ディー・エヌ・エー | 化合物の性質を予測するための化合物性質予測装置、化合物性質予測プログラム及び化合物性質予測方法 |
-
2021
- 2021-06-22 JP JP2023529257A patent/JP7321406B2/ja active Active
- 2021-06-22 WO PCT/JP2021/023501 patent/WO2022269733A1/ja active Application Filing
- 2021-06-22 CN CN202180099516.4A patent/CN117651956A/zh active Pending
- 2021-06-22 EP EP21947021.8A patent/EP4343642A1/en active Pending
-
2023
- 2023-11-07 US US18/387,573 patent/US20240078468A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200349467A1 (en) | 2019-05-02 | 2020-11-05 | Nicholas John Teague | Preparing Structured Data Sets for Machine Learning |
Also Published As
Publication number | Publication date |
---|---|
JPWO2022269733A1 (ja) | 2022-12-29 |
US20240078468A1 (en) | 2024-03-07 |
CN117651956A (zh) | 2024-03-05 |
WO2022269733A1 (ja) | 2022-12-29 |
EP4343642A1 (en) | 2024-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6636071B2 (ja) | コンピュータ実装方法、コンピュータシステム及びコンピュータ装置 | |
Shepperd | Software project economics: a roadmap | |
US20130024173A1 (en) | Computer-Implemented Systems and Methods for Testing Large Scale Automatic Forecast Combinations | |
Verbraken et al. | Development and application of consumer credit scoring models using profit-based classification measures | |
Zhang et al. | Applications and comparisons of four time series models in epidemiological surveillance data | |
US20240012882A1 (en) | Technology for building and managing data models | |
US20130024167A1 (en) | Computer-Implemented Systems And Methods For Large Scale Automatic Forecast Combinations | |
US20150088606A1 (en) | Computer Implemented Tool and Method for Automating the Forecasting Process | |
Chougule et al. | A fuzzy logic based approach for modeling quality and reliability related customer satisfaction in the automotive domain | |
CN110472802B (zh) | 一种数据特征评估方法、装置及设备 | |
JPWO2016151618A1 (ja) | 予測モデル更新システム、予測モデル更新方法および予測モデル更新プログラム | |
CN111783867A (zh) | 机器学习算法选择方法及装置 | |
Acebes et al. | On the project risk baseline: Integrating aleatory uncertainty into project scheduling | |
Acebes et al. | Stochastic earned duration analysis for project schedule management | |
Doumpos | Robustness analysis in decision aiding, optimization, and analytics | |
Adegboye et al. | Algorithmic trading with directional changes | |
US20210090101A1 (en) | Systems and methods for business analytics model scoring and selection | |
Baechle et al. | A cost sensitive approach to predicting 30-day hospital readmission in COPD patients | |
JP7321406B2 (ja) | バリデーション方法決定装置およびバリデーション方法決定方法 | |
US20190205804A1 (en) | Information processing device, information processing method and computer readable medium | |
JP2016532949A (ja) | 従来の予測子の将来的変化を予測するためにある期間にわたって精選され、分析されたデータシグナルから重大変化属性を導出するためのシステム及び方法 | |
KR20220097822A (ko) | 비정형 기업 데이터를 이용한 기업성장 예측 시스템 | |
Bao et al. | Dynamic financial distress prediction based on Kalman filtering | |
JP4230890B2 (ja) | モデル同定装置,モデル同定プログラム及びモデル同定装置の動作方法 | |
Saif | Software Effort Estimation for Successful Software Application Development |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230602 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7321406 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |