JP7049212B2 - 分析システム、分析方法、プログラム、及び記憶媒体 - Google Patents
分析システム、分析方法、プログラム、及び記憶媒体 Download PDFInfo
- Publication number
- JP7049212B2 JP7049212B2 JP2018150213A JP2018150213A JP7049212B2 JP 7049212 B2 JP7049212 B2 JP 7049212B2 JP 2018150213 A JP2018150213 A JP 2018150213A JP 2018150213 A JP2018150213 A JP 2018150213A JP 7049212 B2 JP7049212 B2 JP 7049212B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- series data
- work
- processing unit
- operations
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
- G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Description
また、本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
図2~図5は、第1実施形態に係る分析システムにおける処理を説明するための模式図である。
まず、処理部20は、時系列データを複数の状態に分割し、状態の変化点を抽出する。状態の変化点の抽出には、例えば、階層デリクレ過程に対する隠れマルコフモデル(HDP-HMM)、k-means法、x-means法、又はスペクトラルクラスタリングが用いられる。図2(b)は、処理部20による分割の結果を表す。図2(b)に表したように、時系列データが複数の状態Aに分割され、状態A同士の間の変化点Bが抽出される。
すなわち、処理部20は、図3(c)に表したように、作業C3の開始点の候補として、サンプルD3a~D3cを設定する。処理部20は、変化点B2に最も近いサンプルD3cを作業C3の開始点D3として設定する。
処理部20は、図4(a)に表したように、作業C3(第1工程C)の終了点の候補として、サンプルD4a~D4cを設定する。処理部20は、変化点B3に最も近いサンプルD4bを作業C3の終了点D4として設定する。
一例として、処理部20は、図6に表した処理を実行する。まず、図2(b)に表したように、時系列データにおける複数の変化点を抽出する(ステップS1)。複数の変化点の1つを、第n作業の開始点に設定する(ステップS2)。なお、ステップS2では、n=1に設定される。すなわち、ステップS2では、最初の作業の開始点が設定される。図3(a)に表したように、第n作業の次の、第n+1作業の開始点の候補をN個サンプリングする(ステップS3)。設定された各サンプルについて、評価値を算出する(ステップS4)。評価値に基づき、図3(c)などに表したように、第n+1作業の開始点を決定する(ステップS5)。nとして、n+1を設定する(ステップS6)。第n+1作業が存在するか判断する(ステップS7)。存在する場合、ステップS3が再度実行される。存在しない場合、第1工程に含まれる全ての作業の開始点及び第1工程の終了点に対応する複数のサンプルが設定されたことを意味する。これにより、図4(b)に表したように、各作業の開始点及び第1工程の終了点を含む1つのサンプルパスが生成される。
図7は、第1実施形態の第1変形例に係る分析システムにおける処理を説明するための模式図である。
ある作業の開始点に基づき、次の作業の開始点をサンプリングした後、リサンプリングが行われても良い。
図8に表した第1変形例に係るフローチャートは、ステップS5に代えてステップS20及びS21を含む点で、図6に表したフローチャートと異なる。
図9は、第1実施形態の第2変形例に係る分析システムにおける処理を説明するための模式図である。
処理部20は、時系列データにおいて繰り返し現れる特徴的なパターン(モチーフ)を検出しても良い。まず、処理部20は、時系列データの一部を切り出す。切り出すデータの範囲(時間の長さ)は、例えば、複数の作業のいずれかの所要時間に基づいて設定される。一例として、処理部20は、図9(a)に表した全体の時系列データから、図9(b)に表したように、一部のデータを切り出す。
図10に表した第2変形例に係るフローチャートは、ステップS1に代えてステップS30~S32を含む点で、図6に表したフローチャートと異なる。
ただし、実際に作業者が第1工程Cに要する時間は、第1工程Cの標準時間と大きく異なる場合もある。作業者の熟練度が高いと、第1工程Cに実際に要する時間は、標準時間よりも短い可能性がある。すなわち、必要以上の長さのデータが切り出されるため、類似部分に基づいてデータを切り出した場合に比べて、その後の処理に要する時間が長くなる可能性がある。一方、作業者の熟練度が低いと、第1工程Cに実際に要する時間が標準時間よりも長い可能性がある。このため、切り出したデータに全ての作業の動作が含まれず、適切に分析できない可能性がある。
類似部分を用いることで、分析の精度の低下を抑制しつつ、処理に要する時間を効果的に短縮できる。
図11(a)及び図11(b)は、第1実施形態の第3変形例に係る分析システムにおける処理を説明するための模式図である。
サンプルパスの評価値を算出する際、処理部20は、第1工程に含まれる各作業間の類似度を参照しても良い。類似度は、例えば記憶部30に記憶される。
図12に表した第3変形例に係るフローチャートは、ステップS10に代えてステップS40及びS41を含む点で、図6に表したフローチャートと異なる。
図13は、第1実施形態の第4変形例に係る分析システムにおける処理を説明するための模式図である。
ここでは、第1工程において、実施される作業の流れが複数存在する場合について説明する。例えば図13(a)に表したように、第1工程Cは、作業C4をさらに含む。作業C4は、作業C2と作業C3との間に行われる場合がある。作業C4が行われない場合、作業C2の直後に作業C3が行われる。すなわち、作業C2の後に実施される可能性のある作業が、作業C3と作業C4に分岐している。
図14に表した第4変形例に係るフローチャートは、ステップS3に代えてステップS50を含み、ステップS5に代えてステップS20及びS21を含み、且つステップS7に代えてステップS51~S53を含む点で、図6に表したフローチャートと異なる。
図15は、第2実施形態に係る分析システムの構成を表すブロック図である。
第2実施形態に係る分析システム2は、図15に表したように、学習データ記憶部50及びRNN記憶部60をさらに有する。
処理部20は、第1工程に対応する時系列データの一部を抽出すると、そのデータを学習データ記憶部50に記憶する。学習データ記憶部50は、時系列データの他に、その時系列データが取得された作業者の熟練度に関する情報を記憶している。熟練度は、ユーザが予め学習データ記憶部50に記憶する。又は、時系列データの時間の長さに基づいて熟練度が算出されて記憶されても良い。この場合、第1工程に要する時間が短いほど、熟練度が高く算出される。
図16に表したように、RNN200は、入力層201、中間層202、及び出力層203を含む。さらに、RNNでは、ある時間区分における中間層202のニューロンNの出力が、その後の時間区分における中間層202のニューロンNの出力に接続される。
RNNを用いた分析では、例えば、ある作業者の動作が、どの程度の熟練度に相当するかを調べることができる。また、作業者の動作において、改善した方が良い点を発見することもできる。分析する際は、分析対象となる作業者の第1工程における動作を示す時系列データが予め記憶部30に記憶される。この時系列データは、例えば、分析システム1で説明した処理により抽出される。
図17に表したように、LSTM構造300は、忘却ゲート310、入力ゲート320、及び出力ゲート330を含む。
まず、図6、図8、図10、図12、又は図14などのフローチャートに表した分析処理が実行され、第1工程における動作を示す時系列データが取得される(ステップS60)。次に、ステップS60で取得した時系列データを用いて、RNNを学習させる(ステップS61)。続いて、分析の対象となる時系列データを取得する(ステップS62)。学習されたRNNに取得した時系列データを入力し、ニューロンの反応を検出する(ステップS63)。検出の結果を表示部40に表示する(ステップS64)。
第2実施形態に係る分析システム2及び分析方法によれば、ある作業者の第1工程における動作が、改善すべき点を含んでいるか検出できる。従来、動作の改善すべき点の有無は、例えば、人が観察することで確認していた。しかし、この場合、観察者は、それぞれの作業者の作業全体を観察しなければならず、長大な時間を要する。また、改善すべき点の抽出は、観察者の主観や、経験、熟練度に依存するため、ばらつきも生じる。
作業周期は、作業者ごとに異なる。従って、それぞれの作業者が同じ時間に作業を開始しても、時間が経過するにつれて、各作業者がある時点で行っている作業にはばらつきが生じる。この点について、RNNを用いることで、このような作業周期のばらつきの影響を無くし、作業時の改善すべき動作の検出が可能となる。また、RNNを用いることで、ある時間区分の動作と、その後の時間区分の動作と、の関連性を考慮することができるようになる。この結果、作業時間の増加を招いている動作だけでなく、その動作に繋がる原因となる動作を検出することも可能となる。
図19(a)及び図19(b)は、実施例において取得したデータを表すグラフである。
図20(a)は、実施例において取得したデータを表すグラフである。図20(b)及び図20(c)は、実施例におけるニューロンの活性度を表すグラフである。
例えば、本発明の実施形態は、以下の特徴を含む。
(特徴1)
複数の作業を含む第1工程における作業者の動作を示す時系列データを取得する取得部と、
1つの前記時系列データにおける状態の変化点を複数抽出し、前記複数の変化点を用いて、前記1つの時系列データと前記複数の作業のそれぞれとの対応付けを行う処理部と、
を備え、
前記複数の作業は、第1作業と、前記第1作業の後に行われる第2作業と、を含み、
前記処理部は、前記対応付けにおいて、
前記1つの時系列データについて、前記第1作業及び前記第2作業の開始点及び終了点にそれぞれ対応する複数のサンプルを含むサンプルパスを生成し、
前記複数のサンプルと前記複数の変化点との適合度合いに基づいて第1評価値を算出し、
前記第1評価値を用いて、前記1つの時系列データと前記第1作業及び前記第2作業のそれぞれとを対応付ける、
分析システム。
(特徴2)
前記処理部は、前記対応付けにおいて、
前記複数のサンプルに基づき、前記時系列データから、前記第1作業に対応する第1データと、前記第2作業に対応する第2データと、を抽出し、
前記第1データと前記第2データとの間の第1類似度を算出し、
前記第1評価値を算出する際、前記適合度合いと、前記第1類似度と、前記第1作業と前記第2作業との間の第2類似度と、に基づいて前記第1評価値を算出する、
特徴1記載の分析システム。
(特徴3)
前記処理部は、前記サンプルパスの生成において、
前記複数の変化点の1つを前記第1作業の開始点に設定し、
前記第1作業に要する時間に基づいて、前記第2作業の開始点の候補として複数のサンプルを設定し、
前記複数のサンプルのそれぞれについて、最も近い前記変化点までの距離を算出し、
複数の前記を用いて、前記複数のサンプルの1つを前記第2作業の開始点に設定する、
特徴1又は2に記載の分析システム。
(特徴4)
前記処理部は、前記サンプルパスの生成において、
前記複数の変化点の1つを前記第1作業の開始点に設定し、
前記第1作業に要する時間に基づいて前記第2作業の開始点の候補として複数のサンプルを設定し、
前記複数のサンプルのそれぞれについて、最も近い前記変化点までの距離を用いて第2評価値を算出し、
複数の前記第2評価値を用いて定義された確率分布に従って、前記第2作業の開始点の候補として別の複数のサンプルを設定する、
特徴1又は2に記載の分析システム。
(特徴5)
前記処理部は、
前記第1作業の開始点として設定する前記変化点を変更しながら複数の前記サンプルパスを生成し、
複数の前記サンプルパスのそれぞれについて、前記第1評価値を算出し、
複数の前記第1評価値に基づいて、複数の前記サンプルパスの1つを選定し、
前記複数のサンプルパスの前記1つに含まれる前記複数のサンプルを、前記複数の作業の開始点及び終了点とする、
特徴1~4のいずれか1つに記載の分析システム。
(特徴6)
複数の作業を含む第1工程における作業者の動作を示す時系列データを取得し、
1つの前記時系列データにおける状態の変化点を複数抽出し、
前記複数の変化点を用いて、前記1つの時系列データと前記複数の作業のそれぞれとの対応付けを行う分析方法であって、
前記複数の作業は、第1作業と、前記第1作業の後に行われる第2作業と、を含み、
前記対応付けにおいて、
前記1つの時系列データについて、前記第1作業及び前記第2作業の開始点及び終了点にそれぞれ対応する複数のサンプルを含むサンプルパスを生成し、
前記複数のサンプルと前記複数の変化点との適合度合いに基づいて第1評価値を算出し、
前記第1評価値を用いて、前記1つの時系列データと前記第1作業及び前記第2作業のそれぞれとを対応付ける、
分析方法。
(特徴7)
第1作業と、前記第1作業の後に行われる第2作業と、を含む複数の作業を含む第1工程における作業者の動作を示す1つの時系列データから、状態の変化点を複数抽出させ、
前記複数の変化点を用いて、前記1つの時系列データと前記複数の作業のそれぞれとの対応付けを行わせ、
前記対応付けにおいて、
前記1つの時系列データについて、前記第1作業及び前記第2作業の開始点及び終了点にそれぞれ対応する複数のサンプルを含むサンプルパスを生成させ、
前記複数のサンプルと前記複数の変化点との適合度合いに基づいて第1評価値を算出させ、
前記第1評価値を用いて、前記1つの時系列データと前記第1作業及び前記第2作業のそれぞれとを対応付けさせる、
処理を処理部に実行させるプログラム。
(特徴8)
特徴7記載のプログラムを記憶した記憶媒体。
Claims (7)
- 複数の作業を含む第1工程を繰り返す作業者の動作を示す時系列データを取得する取得部と、
1つの前記時系列データにおける状態の変化点を複数抽出し、前記複数の変化点を用いて、前記1つの時系列データと前記複数の作業のそれぞれとの対応付けを行う処理部と、
を備え、
前記処理部は、前記対応付けにおいて、
前記1つの時系列データから、互いに類似する複数の類似部分を抽出し、
時間上で隣り合う前記類似部分同士の間の時間の長さに基づき、前記1つの時系列データから一部を切り出し、
切り出された前記時系列データと、前記複数の作業のそれぞれと、を対応付ける、
分析システム。 - 前記処理部は、前記時系列データのうち前記複数の作業のそれぞれと対応付けられた部分の時間の長さを算出し、外部に出力する請求項1記載の分析システム。
- 前記処理部は、前記複数の作業のそれぞれと対応付けられた前記時系列データと、作業者の熟練度に関する情報と、を用いて、リカレントニューラルネットワークを学習させる請求項1又は2に記載の分析システム。
- 前記処理部は、前記第1工程における別の作業者の動作を示す別の時系列データを、学習された前記リカレントニューラルネットワークに入力し、前記リカレントニューラルネットワークの出力層の反応を検出する請求項3記載の分析システム。
- 複数の作業を含む第1工程を繰り返す作業者の動作を示す時系列データを取得し、
1つの前記時系列データにおける状態の変化点を複数抽出し、
前記複数の変化点を用いて、前記1つの時系列データと前記複数の作業のそれぞれとの対応付けを行う分析方法であって、
前記対応付けにおいて、
前記1つの時系列データから、互いに類似する複数の類似部分を抽出し、
時間上で隣り合う前記類似部分同士の間の時間の長さに基づき、前記1つの時系列データから一部を切り出し、
切り出された前記時系列データと、前記複数の作業のそれぞれと、を対応付ける、
分析方法。 - 複数の作業を含む第1工程を繰り返す作業者の動作を示す1つの時系列データから、状態の変化点を複数抽出させ、
前記複数の変化点を用いて、前記1つの時系列データと前記複数の作業のそれぞれとの対応付けを行わせ、
前記対応付けにおいて、
前記1つの時系列データから、互いに類似する複数の類似部分を抽出させ、
時間上で隣り合う前記類似部分同士の間の時間の長さに基づき、前記1つの時系列データから一部を切り出させ、
切り出された前記時系列データと、前記複数の作業のそれぞれと、を対応付けさせる、
処理を処理部に実行させるプログラム。 - 請求項6記載のプログラムを記憶した記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018150213A JP7049212B2 (ja) | 2018-08-09 | 2018-08-09 | 分析システム、分析方法、プログラム、及び記憶媒体 |
CN201910227735.0A CN110826383B (zh) | 2018-08-09 | 2019-03-25 | 分析系统、分析方法、程序以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018150213A JP7049212B2 (ja) | 2018-08-09 | 2018-08-09 | 分析システム、分析方法、プログラム、及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020027324A JP2020027324A (ja) | 2020-02-20 |
JP7049212B2 true JP7049212B2 (ja) | 2022-04-06 |
Family
ID=69547574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018150213A Active JP7049212B2 (ja) | 2018-08-09 | 2018-08-09 | 分析システム、分析方法、プログラム、及び記憶媒体 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7049212B2 (ja) |
CN (1) | CN110826383B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113486072A (zh) * | 2020-03-17 | 2021-10-08 | 中国移动通信集团福建有限公司 | 数据分析方法、装置、电子设备及计算机可读存储介质 |
WO2023276083A1 (ja) * | 2021-06-30 | 2023-01-05 | 慎平 大杉 | 情報処理システム、学習済みモデル、情報処理方法、及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012185695A (ja) | 2011-03-07 | 2012-09-27 | Univ Of Tsukuba | 作業管理システム及び作業管理方法 |
JP2017091249A (ja) | 2015-11-11 | 2017-05-25 | 株式会社東芝 | 分析装置および分析方法 |
JP2018045512A (ja) | 2016-09-15 | 2018-03-22 | オムロン株式会社 | 作業性評価装置 |
-
2018
- 2018-08-09 JP JP2018150213A patent/JP7049212B2/ja active Active
-
2019
- 2019-03-25 CN CN201910227735.0A patent/CN110826383B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012185695A (ja) | 2011-03-07 | 2012-09-27 | Univ Of Tsukuba | 作業管理システム及び作業管理方法 |
JP2017091249A (ja) | 2015-11-11 | 2017-05-25 | 株式会社東芝 | 分析装置および分析方法 |
JP2018045512A (ja) | 2016-09-15 | 2018-03-22 | オムロン株式会社 | 作業性評価装置 |
Non-Patent Citations (2)
Title |
---|
尾原和也ほか3名,"ウェアラブルセンサを用いた教師なしライン作業分析に関する検討",電気学会研究会資料,日本,一般社団法人電気学会,2016年08月02日,IS-16-012~023,pp.17~20 |
浪岡保男ほか1名,"ウエアラブルセンサーを用いた繰り返し作業のサイクルタイム自動計測手法",東芝レビュー,2018年06月01日,第73巻, 第3号,pp.50~54 |
Also Published As
Publication number | Publication date |
---|---|
JP2020027324A (ja) | 2020-02-20 |
CN110826383A (zh) | 2020-02-21 |
CN110826383B (zh) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108602191B (zh) | 动作信息生成装置、动作信息生成方法以及记录介质 | |
JP6897037B2 (ja) | 作業性評価装置 | |
JP6250198B2 (ja) | 異常音診断装置、異常音診断システム、異常音診断方法および異常音診断プログラム | |
KR101872907B1 (ko) | 듀얼 스마트 밴드를 이용한 모션 분석 장치 및 방법 | |
KR102265525B1 (ko) | 인공지능 기반의 피부 진단 방법 및 시스템 | |
JP7049212B2 (ja) | 分析システム、分析方法、プログラム、及び記憶媒体 | |
KR20120052610A (ko) | 신경망 학습을 통한 동작 인식 방법 및 장치 | |
US10713770B2 (en) | Analysis apparatus and analysis method | |
JP2018026122A5 (ja) | ||
Diete et al. | A smart data annotation tool for multi-sensor activity recognition | |
Calvo et al. | Human activity recognition using multi-modal data fusion | |
JP2017156978A (ja) | 作業動作認識システム | |
JP7165108B2 (ja) | 作業訓練システム及び作業訓練支援方法 | |
Oğul et al. | Ranking robot-assisted surgery skills using kinematic sensors | |
US11966836B2 (en) | Detection system and detection method for using a neural network to detect a proficiency of a worker | |
JPH08115408A (ja) | 手話認識装置 | |
León-Duarte et al. | A software tool for the calculation of time standards by means of predetermined motion time systems and motion sensing technology | |
Park et al. | Standard time estimation of manual tasks via similarity measure of unequal scale time series | |
JP2022003491A (ja) | 分析装置、分析システム、分析方法、プログラム、及び記憶媒体 | |
JP2022186422A (ja) | 分類装置、分類方法、及び、分類プログラム | |
Nömm et al. | Interpretable Quantitative Description of the Digital Clock Drawing Test for Parkinson's Disease Modelling | |
EP3758023B1 (en) | Method and device for assessing physical movement of an operator during a work cycle execution on an industrial manufacturing work station | |
JP2009110239A (ja) | 作業動作分析システム及び作業動作分析方法 | |
Akhshik et al. | Pressure Sensor Positioning for Accurate Human Interaction with a Robotic Hand | |
WO2022190434A1 (ja) | 命令記述支援システム、命令記述支援方法および命令記述支援プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190918 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210730 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7049212 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |