JP7334456B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents
情報処理装置、情報処理方法及び情報処理プログラム Download PDFInfo
- Publication number
- JP7334456B2 JP7334456B2 JP2019082232A JP2019082232A JP7334456B2 JP 7334456 B2 JP7334456 B2 JP 7334456B2 JP 2019082232 A JP2019082232 A JP 2019082232A JP 2019082232 A JP2019082232 A JP 2019082232A JP 7334456 B2 JP7334456 B2 JP 7334456B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- sensor
- user
- information
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Distances Traversed On The Ground (AREA)
- Navigation (AREA)
Description
マラソン等のレースに参加する人も増加しており、特にレースにおいては自身の走行距離を正確に知ることが重要である。
また、日々のランニング等においても自分がどのくらいの距離を走ったか等を知ることは、ユーザによって目標達成度の目安となったり、また日々練習を続ける上での励みともなる。
このため、特許文献1に記載の技術のように、ステップ数とユーザの歩幅等に基づいて移動距離等を算出する場合には、その算出精度が低く、およその目安とはなり得ても、例えばレースの際の移動距離を知る目的等で利用する場合には、正確性・信頼性に欠けるとの問題がある。
ユーザに装着され、
前記ユーザの足元の地面に関する画像情報を取得するオプティカルフローセンサと、
前記ユーザの体の動きに関する情報を取得する第2のセンサと、
前記オプティカルフローセンサによって取得された前記画像情報及び前記第2のセンサによって取得された情報に基づいて移動距離を算出する算出手段と、
を備えることを特徴とする。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
図1は、本実施形態における情報処理装置の使用状態における構成を示す概念図である。また、図2は、本実施形態に係る情報処理装置の一構成例を示す機能ブロック図である。
図1に示すように、本実施形態における情報処理装置1は、例えばチップ型に構成され、ユーザUSの履いているランニングシューズ等の靴2の靴底21に装着されている。
具体的には、情報処理装置1は歩行又は走行の際に直接地面に当たらないように、例えば靴底21の中央部等に埋め込むようにして設けられている。情報処理装置1の配置位置等は特に限定されない。靴を履くユーザUSの履き心地に違和感等の影響を与えない場所に設けられる。また、足が着地する際の衝撃等の影響を受けにくい場所に設けられることが好ましい。
また、本実施形態において、情報処理装置1はユーザUSが左右の足に履いている靴2にそれぞれ装着されている。
本実施形態において、オプティカルフローセンサ11は、ユーザUSの足元の地面に関する情報を画像的に取得する第1のセンサである。
オプティカルフローセンサ11は、連続的に取得した画像情報から画像上の各点の移動ベクトルの推定値(オプティカルフロー値)を算出し、センサが設けられている対象物の移動距離や移動速度を推定する。
オプティカルフローセンサ11は、画像情報を取得するための図示しない撮像部(レンズ等の光学系)を備えている。本実施形態では、人が歩行又は走行する際における靴底21から地面までの距離に対応する焦点距離の光学系を撮像部として有している。
なお、前述のように情報処理装置1は、靴底21に埋め込むように設けられるが、少なくともオプティカルフローセンサ11の撮像部は、地面を撮影することができるように、靴底21が接地する面に露出するように配置される。
この加速度センサ12から出力される加速度データは、互いに直交する3軸(x軸、y軸、z軸)方向の信号成分として出力される。
この3軸方向の加速度データは、後述する演算回路100において合成され、時間データに関連付けられて、時系列データとしてメモリ部101の所定の記憶領域に保存される。
例えば、測距センサ14は、赤外線等の光を発射する図示しない投光部と、投光部から発射され対象物に反射した光等を検出する図示しない受光部とを備え、対象物に反射した光を受光部が検出するまでの時間によって対象物までの距離を測定する。
なお、本実施形態において、測距センサ14はどのような原理を用いたものであっても適用可能である。
複数のセンサの動作データ(センサデータ)を併せて用いる場合、単独のデータでは、何らかの要因で正確な検出結果を得られないような場合にも、より正確性のある高精度な検出結果を得ることが期待できる。
また、情報処理装置1がこれらすべてのセンサを第2のセンサ(モーションセンサ)として備えなくてもよく、運動時のユーザUSの姿勢等が分かるセンサを少なくとも1つ備えていればよい。
また、本実施形態において、情報処理装置1はユーザUSの左右の靴2にそれぞれ設けられている。このため、左右どちらかの情報処理装置1で後述する距離測定処理を行う場合には、2つの情報処理装置1間でデータ等を送受信して連携させる必要がある。
通信回路部17は、このような情報処理装置1間におけるデータ送受信の際のインターフェースとしても機能する。
無線通信方式を用いて情報処理情報等を送受信する場合には、例えばデジタル機器用の近距離無線通信規格であるブルートゥース(Bluetooth(登録商標))等の通信方式を良好に適用することができる。このような無線通信方式によれば、後述する電源供給部18として、例えば環境発電技術等を用いて生成された小電力であっても良好にデータ伝送を行うことができる。
データメモリは、フラッシュメモリ等の不揮発性メモリを有し、上述したオプティカルフローセンサ11、加速度センサ12、角速度センサ13、測距センサ14により取得されたセンサデータが、時間データに関連付けられて、時系列データとして所定の記憶領域に保存される。
また、データメモリは、後述する情報処理方法においてセンサデータに基づいて取得される距離情報等が、所定の記憶領域に保存される。
また、プログラムメモリには、ユーザUSの走行距離等を算出するためのアルゴリズムプログラムが保存される。
作業用メモリは、RAM(ランダムアクセスメモリ)を有し、上記制御プログラム及びアルゴリズムプログラムを実行する際に使用する各種データや、生成される各種データが一時的に保存される。
なお、メモリ部101は、その一部又は全部が、例えばメモリカード等のリムーバブル記憶媒体としての形態を有し、情報処理装置1の機器本体1等に対して着脱可能に構成されているものであってもよい。
また、本実施形態の演算回路100は、第1のセンサとしてのオプティカルフローセンサ11によって取得された情報、第2のセンサとしての加速度センサ12、角速度センサ13、測距センサ14によって取得された情報に基づいて移動距離を算出する算出手段として機能する。
演算回路100は、上記動作クロックに基づいて、メモリ部101(プログラムメモリ)に保存された所定のアルゴリズムプログラムを実行する。これにより、演算回路100は、ユーザUSの移動距離を取得する一連の情報処理処理を実行する。演算回路100によって行われる処理の詳細については後述する。
なお、演算回路100において実行される制御プログラムやアルゴリズムプログラムは、予め演算回路100の内部に組み込まれているものであってもよい。
次に、本実施形態における情報処理方法について説明する。ここでは、ユーザUSが運動動作としてランニングを行う場合の情報処理方法について説明する。
そして、演算回路100は、「θ<θth」であるか否かを判断する(ステップS2)。
図4に示すように、情報処理装置1の設けられている靴2の靴底21が地面の方を向いている状態であるとき(すなわち「θ<θth」を満たす場合、ステップS2;YES)には、オプティカルフローセンサ11によって地面を撮影することが可能である。
これに対して、例えば図1に示すように、足が後ろにけり出されて靴底21が上を向いているような場合(すなわち「θ<θth」を満たさない場合、ステップS2;NO)には、その先の処理に進んでもオプティカルフローセンサ11によって地面を撮影することができない。このため、その先のセンシング処理には進まずに、ステップS1に戻って処理を繰り返す。
さらに、演算回路100は、第1のセンサであるオプティカルフローセンサ11によって取得された情報(オプティカルフローセンサ11の出力情報)を取得する(ステップS4)。
そして、距離の算出に必要なデータがそろうと、演算回路100は、オプティカルフローセンサ11によって取得されたデータと、加速度センサ12や角速度センサ13、測距センサ14によって取得されたデータに基づいて、ユーザUSの進行方向における左右いずれかの片足の1サンプリング分の移動距離(走行距離)Diを算出する(ステップS5)。なお、1サンプリング分の移動距離(走行距離)Diは、左右の足について交互に取得される。
なお、式1において、
「Pi」は、ユーザUSの進行方向のオプティカルフローセンサ11による出力(pix)を示し、「Pmax」は、ユーザUSの進行方向のオプティカルフローセンサ11のピクセル数を示し、「α」は、ユーザUSの進行方向のオプティカルフローセンサ11の画角を示し、「Di」は左右各足のサンプリングごと(すなわち1歩分)の移動距離(i=lのときは左足の移動距離を示し、i=rのときは右足の移動距離の値であることを示す。)を示している。
左右片足分ずつのデータを足し合わせる場合、一方の情報処理装置1から他方の情報処理装置1に片足分の算出データを送信し、受信側の演算回路100において、左右の算出データを足し合わせる処理を行う。
なお、左右の足の歩幅はほぼ同じであるため、情報処理装置1が左右いずれかの靴2のみに設けられている場合には、式1で求めた値を2倍することによっても、ほぼ同様の結果を得ることができる。
移動距離(走行距離)Dは、その時点における総移動距離である。移動距離(走行距離)Dは、ランニングが終了するまで(すなわち、後述のステップS7がYESとなるまで)累積されていく。
なお、移動距離(走行距離)Dは、サンプリングデータが増えて累積される毎に随時更新されていく。
なお、ランニングが終了したか否かの判断手法は特に限定されず、どのようなものを用いても構わない。
例えば、演算回路100は、合成加速度の信号波形(加速度センサ12によって取得される動作データ)が特有の波形を有しているか否かに基づいてユーザUSがランニングを終了したか、いまだ継続中であるかの判断を行う。
すなわち、ランニング時には合成加速度の信号波形に、特定の周期や強度等を有する特徴的な変化が観測されることが知られている。このため、3軸方向の加速度データや合成加速度の信号波形を観測することにより、ユーザUSがランニングを行っているか否かを正確に判断することができる。
この場合、演算回路100は、左右の情報処理装置1(情報処理装置1が設けられている靴2)の移動距離の差に基づいてユーザUSの移動方向を取得してもよい。すなわち、演算回路100は、左右の移動距離の差から、ユーザUSの進行方向における相対角度φの推定を行う。
図5では、人が右に曲がろうとしているときの左右の歩幅を模式的に示しており、図5に示すように、人が右に曲がろうとしているときには左足が多く動いて歩幅が大きくなる(すなわち左足の移動距離が長くなる。)。他方、人が左に曲がろうとしているときには右足が多く動いて歩幅が大きくなる(すなわち右足の移動距離が長くなる。)。
このような左右の足の移動距離の差を見ることで、ユーザUSが左右どちらの方向に行こうとしているか、その進行方向の相対角度φを推定することができる。
なお、式2において、
「Dij」は左右各足のサンプリングごと(すなわち1歩分)の移動距離(i=lのときは左足の移動距離を示し、i=rのときは右足の移動距離の値であることを示す。)、「φj」は「j」歩目の進行方向変化角度を示し、「l」は、左右の足の距離(間隔)を示している。
なお、進行方向の相対角度φは、算出に必要な上記の各項目のデータが取得されたときに、演算回路100が、その都度リアルタイムに算出してもいいし、移動距離の算出データを外部の端末装置等に送って外部装置において事後的に算出してもよい。
前者によった場合には、情報処理装置1のデータを受信することのできる図示しない携帯端末装置や各種のウェアラブルデバイス等に進行方向の相対角度φに関するデータを送って、ランニング中等にも適宜確認できるように構成されている場合に、リアルタイムで進行方向等を確認することができるとのメリットがある。また、後者によった場合には、リアルタイムでの確認はできないが、情報処理装置1の処理負担を軽減させることができる。
以上のように、本実施形態によれば、ユーザUSに装着され、ユーザUSの足元の地面に関する情報を画像的に取得する第1のセンサとしてのオプティカルフローセンサ11と、ユーザUSの体の動きに関する情報を取得する例えば角速度センサ13等の第2のセンサと、第1のセンサであるオプティカルフローセンサ11によって取得された情報及び第2のセンサである角速度センサ13等によって取得された情報に基づいて移動距離を算出する算出手段としての演算回路100と、を備えている。
このように、本実施形態では、地面の画像を取得して移動距離の算出に用いるため、ステップ数等から移動距離を推定する場合と比較して高精度な測距を行うことができる。
また、こうした地面の画像を取得するセンサを用いる場合において、モーションセンサである第2のセンサによってユーザUSの動きや姿勢、情報処理装置1の地面に対する傾き具合等を詳細に把握できるようにしている。
このため、地面の画像を撮像するオプティカルフローセンサ11は、これらの測定結果を踏まえて適切なデータ取得を行うことが可能であり、正確で高精度な測距を行うことが可能となる。
このため、地面に近い位置においてオプティカルフローセンサ11が地面の画像を撮像することができ、より誤差の少ない、高精度の検出結果を得ることができる。
また靴底21は、ランニング中にユーザUSが特に意識しない部分であり、ここにセンサ等を含む情報処理装置1を設けることにより、肌に触れるような他の部分にセンサ等を設ける場合と比べてユーザUSの負担を抑えることができる。
これにより、ランニング等における移動距離等を極めて高精度に検出することが可能となる。
このように、2つの情報処理装置1を設けることにより、移動距離のみならず、移動方向についても高度に検出することが可能となる。
なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。
例えば、靴2の踵部分等、靴2の外部であって、情報処理装置1内のオプティカルフローセンサ11が地面を撮影可能な位置に取り付けられてもよい。
情報処理装置1を内蔵型ではなく、外装型とすることにより、情報処理装置1を内蔵していない靴2に情報処理装置1を後付けすることが可能となる。また、靴2を履き替えたり、新調した場合等に、ユーザUSが情報処理装置1を自由に付け替えることも可能となる。
例えば、腰回りや体幹周辺に配置されてもよい。なおこの場合、足の蹴り上げによってオプティカルフローセンサ11の撮像視野が遮られ、オプティカルフローセンサ11によるデータ取得が阻害される場合がある。このため、オプティカルフローセンサ11を足の蹴り上げ位置からずらして配置しすることにより、オプティカルフローセンサ11が確実に地面を撮像できるタイミングで画像を取得することができるように構成したり、第2のセンサ(モーションセンサ)のデータを用いて、ランニング中のユーザの足の動きを解析して、左右の足の何れも蹴り上げ状態となっていないタイミングを検出し、この検出したタイミングにおいオプティカルフローセンサ11が地面を撮影するように制御する。
情報処理装置1によって進行方向についての情報まで得る必要がない場合であれば、例えば左右いずれか一方の靴2に設けられてもよい。
なお、片足のみに情報処理装置1を設ける場合には、算出された移動距離の値を2倍して実際の移動距離を算出する。
例えば、ランニング等を行う際の足の上げ下げは、およそ一定している。このため、足を上げたときの靴底から地面までの距離を一般的な値やユーザのフォームから読み取った値等に予め設定しておいてもよい。この場合には靴底21から地面までの距離hを検出するための測距センサを設ける必要はない。
また、情報処理装置1は本実施形態で示した以外の各種センサを有していてもよい。例えば、本実施形態のセンサによって検出される結果を補完してさらに精度を上げるためにGPS情報を検出することのできるGPS検出部等を備えていてもよい。GPS検出部を備える場合には、GPS衛星の信号を受信し、情報処理装置1の正確な位置情報等を得ることができる。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
ユーザに装着され、
前記ユーザの足元の地面に関する情報を画像的に取得する第1のセンサと、
前記ユーザの体の動きに関する情報を取得する第2のセンサと、
前記第1のセンサによって取得された情報及び前記第2のセンサによって取得された情報に基づいて移動距離を算出する算出手段と、
を備えることを特徴とする情報処理装置。
<請求項2>
前記第1のセンサは、オプティカルフローセンサであることを特徴とする請求項1に記載の情報処理装置。
<請求項3>
前記算出手段は、前記第2のセンサが取得する前記ユーザの体の動きに関する情報に基づいて、前記第1のセンサが前記ユーザの足元の地面に関する情報を画像的に取得可能なタイミングを検出し、この検出したタイミングにおいて、前記第1のセンサが画像的に取得する前記ユーザの足元の地面に関する情報に基づいて移動距離を算出することを特徴とする請求項1又は請求項2に記載の情報処理装置。
<請求項4>
当該情報処理装置は、前記ユーザの履いている靴に装着されていることを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置。
<請求項5>
当該情報処理装置は、前記ユーザが左右の足に履いている靴にそれぞれ装着され、
前記算出手段は、左右の前記移動距離の差に基づいて前記ユーザの移動方向を取得することを特徴とする請求項1から請求項4のいずれか一項に記載の情報処理装置。
<請求項6>
第1のセンサによってユーザの足元の地面に関する情報を画像的に取得し、
第2のセンサによって前記ユーザの体の動きに関する情報を取得し、
前記第1のセンサによって取得された情報及び前記第2のセンサによって取得された情報に基づいて移動距離を算出することを特徴とする情報処理方法。
<請求項7>
コンピュータに、
第1のセンサによって画像的に取得されたユーザの足元の地面に関する情報と、第2のセンサによって取得された前記ユーザの体の動きに関する情報と、に基づいて移動距離を算出させることを特徴とする情報処理プログラム。
2 機器本体
11 オプティカルフローセンサ
12 加速度センサ
13 角速度センサ
14 測距センサ
17 通信回路部
100 演算回路
101 メモリ部
US ユーザ
Claims (6)
- ユーザに装着され、
前記ユーザの足元の地面に関する画像情報を取得するオプティカルフローセンサと、
前記ユーザの体の動きに関する情報を取得する第2のセンサと、
前記オプティカルフローセンサによって取得された前記画像情報及び前記第2のセンサによって取得された情報に基づいて移動距離を算出する算出手段と、
を備えることを特徴とする情報処理装置。 - 前記算出手段は、前記第2のセンサが取得する前記ユーザの体の動きに関する情報に基づいて、前記オプティカルフローセンサが前記ユーザの足元の地面に関する前記画像情報を取得可能なタイミングを検出し、この検出したタイミングにおいて、前記オプティカルフローセンサが取得する前記ユーザの足元の地面に関する前記画像情報に基づいて移動距離を算出することを特徴とする請求項1に記載の情報処理装置。
- 当該情報処理装置は、前記ユーザの履いている靴に装着されていることを特徴とする請求項1又は請求項2に記載の情報処理装置。
- 当該情報処理装置は、前記ユーザが左右の足に履いている靴にそれぞれ装着され、
前記算出手段は、左右の前記移動距離の差に基づいて前記ユーザの移動方向を取得することを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置。 - オプティカルフローセンサによってユーザの足元の地面に関する画像情報を取得し、
第2のセンサによって前記ユーザの体の動きに関する情報を取得し、
前記オプティカルフローセンサによって取得された前記画像情報及び前記第2のセンサによって取得された情報に基づいて移動距離を算出することを特徴とする情報処理方法。 - コンピュータに、
オプティカルフローセンサによって取得されたユーザの足元の地面に関する画像情報と、第2のセンサによって取得された前記ユーザの体の動きに関する情報と、に基づいて移動距離を算出させることを特徴とする情報処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019082232A JP7334456B2 (ja) | 2019-04-23 | 2019-04-23 | 情報処理装置、情報処理方法及び情報処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019082232A JP7334456B2 (ja) | 2019-04-23 | 2019-04-23 | 情報処理装置、情報処理方法及び情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020180804A JP2020180804A (ja) | 2020-11-05 |
JP7334456B2 true JP7334456B2 (ja) | 2023-08-29 |
Family
ID=73023927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019082232A Active JP7334456B2 (ja) | 2019-04-23 | 2019-04-23 | 情報処理装置、情報処理方法及び情報処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7334456B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001272247A (ja) | 2000-03-28 | 2001-10-05 | Japan Radio Co Ltd | 携帯型複合測位装置及びその現在位置推定方法 |
JP2016009330A (ja) | 2014-06-24 | 2016-01-18 | 本田技研工業株式会社 | 立体物認識装置 |
JP2016211972A (ja) | 2015-05-08 | 2016-12-15 | 富士通株式会社 | 移動情報計算方法、移動情報計算装置、及び移動情報計算プログラム |
-
2019
- 2019-04-23 JP JP2019082232A patent/JP7334456B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001272247A (ja) | 2000-03-28 | 2001-10-05 | Japan Radio Co Ltd | 携帯型複合測位装置及びその現在位置推定方法 |
JP2016009330A (ja) | 2014-06-24 | 2016-01-18 | 本田技研工業株式会社 | 立体物認識装置 |
JP2016211972A (ja) | 2015-05-08 | 2016-12-15 | 富士通株式会社 | 移動情報計算方法、移動情報計算装置、及び移動情報計算プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020180804A (ja) | 2020-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6183906B2 (ja) | 歩容推定装置とそのプログラム、転倒危険度算出装置とそのプログラム | |
US7912672B2 (en) | Method and device for evaluating displacement signals | |
CA3023844C (en) | Dead-reckoning drift compensation using personal gait | |
CA3022913C (en) | Instrumented orthotic | |
US9804189B2 (en) | Upper body motion measurement system and upper body motion measurement method | |
US20080146968A1 (en) | Gait analysis system | |
US20150351484A1 (en) | Method for monitoring an individual's motor load and insole for the implementation thereof | |
US20160100801A1 (en) | Detachable Wireless Motion System for Human Kinematic Analysis | |
JPWO2018066422A1 (ja) | 認知機能評価装置、認知機能評価方法及びプログラム | |
CN108836344A (zh) | 步长步频估算方法和装置及步态检测仪 | |
KR20190011163A (ko) | 혈압 측정 장치 및 방법 | |
JP7334456B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
KR101830371B1 (ko) | 압력 중심 경로 기반 운동 자세 도출 방법 및 장치 | |
WO2015121690A1 (en) | Device apt for measuring physical efficiency and power output of human running, walking and other movements in watts and a method for its usage, application and processes | |
TW200950748A (en) | Portable record and analysis system of exercise track and a track building method | |
JP2009268831A (ja) | 酸素摂取量測定方法およびこの方法を用いる装置 | |
KR101995482B1 (ko) | 보행 및 주행 모니터링을 위한 운동 인식 방법 및 장치 | |
CN112107290A (zh) | 预测对象的多个步态周期的kam的系统、方法和软件应用程序 | |
JP6783013B2 (ja) | 歩行計測システム、歩行計測プログラム、及び歩行計測方法 | |
US20210258540A1 (en) | Motion monitoring and analysis system and method | |
JP2007125074A (ja) | 骨折リスク評価システム | |
KR20180017530A (ko) | 보행 및 주행 모니터링을 위한 운동 인식 방법 및 장치 | |
KR102177647B1 (ko) | 개인별 특성을 감안한 맞춤형 보행패턴 측정장치 및 측정방법 | |
US20200107750A1 (en) | Method and system for assessing human movements | |
KR101174729B1 (ko) | 유비쿼터스 헬스케어 장치 및 이를 구비한 다기능 신발 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7334456 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |