JP6725411B2 - 行動評価装置、行動評価方法 - Google Patents
行動評価装置、行動評価方法 Download PDFInfo
- Publication number
- JP6725411B2 JP6725411B2 JP2016252355A JP2016252355A JP6725411B2 JP 6725411 B2 JP6725411 B2 JP 6725411B2 JP 2016252355 A JP2016252355 A JP 2016252355A JP 2016252355 A JP2016252355 A JP 2016252355A JP 6725411 B2 JP6725411 B2 JP 6725411B2
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- action
- unit
- reference value
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Selective Calling Equipment (AREA)
- Image Analysis (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Image Processing (AREA)
Description
また、居住空間内における物理的な構造だけではなく、照度の不足や急激な温度の変化、風といった利用者にとって不適切な環境による身体への影響によるものもある。特に、身体や認知機能に障害のある人や、高齢や疾病による機能の低下した人にとっては、障害となる状況は多様であり、またその程度も異なる。
これらの問題を軽減する為に、バリアフリー設計を実施した住居を提供したり、またリフォームにより居住空間の物理的な障害を軽減,除外することが行われている。
特許文献1は、自動走行ロボットの障害物を検知するセンサと画像モニタを用いて居住空間における障害となる箇所を特定するものである。
この方法では、生活環境内に障害があるか否かを判定することができるが、障害と判定する基準を、使用者の特性(身体における認知能力や運動能力)に対応しているとは限らない。
<第1の実施形態>
図1において、生活環境評価システム1は、宅内サブシステム10において、生活者の行動を複数のカメラ100によって撮像するともにセンサ(例えば、圧力センサ110、温度・湿度センサ120、照度センサ130)によって計測する。そして、各カメラ100によって得られた画像に基づいて、対象者を識別するとともに、対象者の行動を識別し、これらの識別結果と、各センサ(圧力センサ110、温度・湿度センサ120、照度センサ130)から得られた測定結果であるセンサ情報とを同時に記録するものである。
このセンサとしては、温度、湿度、照度、圧力を測定する他に、音響を測定する音響センサ(例えばマイクロフォン)、振動センサ、接触センサなどであってもよい。
対象者の行動の識別結果に基づいて、あらかじめ登録した行動と同じ行動がなされていると判定された場合に、カメラ画像のフレーム間に基づいて移動速度を算出し、動作速度を判断し、その動作速度が設定された範囲(基準値)を超えた場合に、アラームによって報知する。
例えば、関節リウマチの症状がある場合には、季節によって平均的な室温が下がってくると、関節の動きが悪くなり、動作を遅くなる傾向がある。日常の動作速度が、温度データに相関している場合には、温度が低い場合には基準値が自動的に下方に修正される(別の基準値を用いる)。これは、特定された疾患を考慮しなくても、データだけで修正されるもので、疾患に至らない状況でも個人の特性に対応できる。
カメラ100は、有線LAN(ローカルエリアネットワーク)または無線LAN等を介して生活環境評価装置140に接続される。これらカメラ100は、リビング、玄関、寝室、台所、浴室、トイレ、階段等の各部位に配置され、評価対象領域内を撮像する。評価対象領域としては、居住空間内の一部の空間であり、例えば、階段、廊下、玄関、リビング、和室、台所等がある。1つのカメラ100の撮像可能領域が1つの評価対象領域全てを撮像できない場合には、複数のカメラ100によって1つの評価対象領域を撮像するようにしてもよい。
温度・湿度センサ120、照度センサ130は、カメラ100と一体となった1つの装置として構成するようにしてもよいし、より体感に近い場所、例えば、床面から1m程度の高さの壁面に取り付けるようにしてもよい。
所定の行動がなされたか否かに関する記録は、生活環境評価装置140がセンサデータ(カメラ100、圧力センサ110、温度・湿度センサ120、照度センサ130等からの得られる結果)とともに内部の記憶部に記録する。
画像処理部1451は、カメラ100の撮像結果に含まれる評価対象者の動作を検出し、評価項目に応じた行動を検出する。画像処理部1451は、撮像結果を基に評価対象者の移動速度を検出する。
また、画像処理部1451は、カメラ100撮像結果に含まれる評価対象者の所定の範囲内にある物品を検出する。例えば、画像処理部1451は、評価対象者を特定し、その評価対象者の右手または左手の位置を特定し、その位置近傍に手とは異なる物体が検出され、手の動きと連動して移動している場合には、手に荷物を持っているとして判定する。この場合、物体としては、評価対象者が携帯しうる物品(例えば手提げ鞄等)を撮影してその特徴データを登録しておくことで、その特徴データに対して所定値以上のマッチング結果が得られた場合には、その物品であることを特定するようにしてもよい。
また、例えば、画像処理部1451は、評価対象者と特定し、その評価対象者の右足または左足の位置を特定し、その位置近傍において予め登録されていたスリッパの画像の特徴データと所定値以上のマッチング結果が得られた場合には、スリッパがあることを検出する。そして、その評価対象者の右足または左足の位置の動きと連動して当該スリッパがあることが検出された場合には、スリッパを履いているとして判定する。このスリッパ等の検出対象物については、予め撮像して特徴データを記憶しておくことで、検出対象物があるか否かを検出することができる。
送信部1456は、判定結果が環境特性要因である場合には、評価対象領域内における環境を改善させることに関する情報を含むメッセージを前記評価対象者に関連するユーザの端末装置に送信する。
送信部1456は、判定結果が個人特性要因である場合には、評価対象領域内において評価対象者が行動基準値の範囲内ではない行動があったことを表すメッセージを評価対象者に関連するユーザの端末装置に送信する。
また、書き込み指示部1457は、評価値が行動基準値内ではない場合において撮像された撮像結果を広域通信モジュール143によってネットワーク40を介して生活環境評価サーバ20に送信させることで書き込みを行なわせる。
制御部1458は、情報処理モジュール145内の各部を制御する。
判定ルールは、評価項目における行動の基準を表す行動基準値と評価項目に対応した環境の基準を表す環境基準値が対応付けられた情報であり、ここではさらに、評価対象領域識別情報、カメラID、検出物が対応付けられている。
評価対象領域識別情報は、居住空間を構成する少なくとも一部の領域を特定可能な情報であり、例えば、階段、玄関、廊下、リビング、洗面所、台所等のうちいずれかの情報である。カメラIDは、評価対象領域識別情報が表す評価対象領域を撮像するカメラ100を識別する情報である。1つの評価対象領域を撮像するために複数のカメラ100が用いられる場合には、1つの評価対象領域識別情報に対し、それぞれのカメラ100のIDが別の行における情報として対応づけて記憶される。
環境基準値は、評価項目に対応した環境の基準を表す情報である。例えば、環境基準値としては、温度の基準値、湿度の基準値、圧力の基準値、照度基準値、音響基準値、振動基準値等の、センサによって得られるセンサデータと比較することが可能なデータである。ここでは、環境基準値としては、「e1℃からe2℃」のように、範囲が示されるようにしていてもよい。
行動情報データは、カメラ100や各種センサによって得られたセンサデータ、情報処理モジュール145において用いられた各種情報が含まれる時系列の情報である。
日時は、各種センサから検出結果が得られた日付と時刻を表す情報である。
場所は、センサが設置された場所を表す情報であり、評価対象領域識別情報が表す場所に対応している。すなわち、センサが評価対象領域識別情報の表すどの場所に設置されたかを特定可能である。
対象者は、センサによって得られた情報を基に特定された人物(利用者)を表す情報である。
行動は、カメラ100によって撮像され、画像処理部1451によって検出された、評価対象者の行動の種別を情報であり、撮像されたカメラ100と、そのカメラが設置された場所(評価対象領域識別情報)との組み合わせから決まる情報である。例えば、階段では、行動として「移動」があるが、移動にも「上る」と「下る」がある。そのような場合には、撮像された画像から、移動方向を特定し、予め決められた第1の方向(画像の変化領域が撮像領域の下側から上側に向かう場合)であれば、「階段を上る」行動であるとして特定され、予め決められた第2の方向(画像の変化領域が撮像領域の上側から下側に向かう場合)であれば、「階段を下る」行動であるとして特定される。この行動の特定は、画像処理部1451によって行なわれ、その検出結果が記憶される。
センサは、動作速度の測定が行なわれている時点における各種センサによって得られたセンサデータであり、例えば、温度データや湿度データ、圧力データ等が用いられる。
検出物は、画像処理部1451によって検出対象物が検出されたか否かを表す情報であり、検出対象物が検出された場合には、その対象物の名称も記憶される。
図5は、生活環境評価装置140の初期設定動作を説明するフローチャートである。生活環境評価装置140は、設置時に初期設定を行い、所定のトレーニング期間の後に必要な補正を行ってから日常運用に入る。
カメラ100が設置された場所を示す設置位置情報の登録と、配置場所に応じレンズや焦点距離の調整を行い、必要により画像の歪補正の調整を行い、これら調整した後の設定値とを登録する(ステップS101)。これらの調整は、カメラ100において自動で行われることが望ましいが、設置作業者が手動にて行ない、その設定値を登録するようにしてもよい。手動にて調整した場合には、設置作業者が実際の撮影情報を確認しながら調整するため、調整結果が望ましい状態になる多いため、より確実である。設置位置情報は、生活環境評価装置140に接続される入力装置(キーボードやマウスやタッチパネル等)を介して入力することができ、また、調整結果の設定値は、カメラ100からカメラインタフェースを介して受信して情報処理モジュール145が、内部の記憶部に記憶するようにしてもよい。
また、階段、床に設置された圧力センサの反応の記録と検出の記録からも一致度を確認し、必要に応じて、検出レベルの調整を行なう。
各カメラ100は、撮像が開始されると、常時撮像を行ない、撮像結果としての画像データを得る。この撮像は、例えば、1秒間30枚の静止画を取り込んだ時系列で連続する画像情報である。画像処理部1451は、画像のサンプリングを行い、静止画と、静止画間の差異データの解析(フレーム間の画像の差分の検出)を行なう。この処理には通常、CPU(Central Processing Unit)とGPU(Graphics Processing Unit)の処理を適切に組み合わせて行われる。映像に対して学習済みのモデルを用いて、写っている人物とその動作を畳み込みニューラルネットワーク(convolutional neural network, CNN)と、回帰結合ニューラルネットワーク(recurrent convolutional neural network, RNN)の手法によって実行する。これらの手法を用いた人物および行動の推定については、例えば非特許文献1、2に記載されている。
ここでの、ステップS301の誤判定指摘作業は、判定した場面の画像データを本人、家族、介護専門職が視認することで撮像内容と、生活環境評価装置140における各種判定結果が正しいかを確認することで、誤り判定に関して指摘することで実施する。
このように、生活環境評価サーバ20に記録されたデータや、生活環境評価装置140に記録されたデータから、行動の判定結果を再評価することもできる。誤判定と指摘されるデータを指摘してフローに従って再学習することによって、より検出率を高めることができる。
ここでは、一例として階段において評価対象者が移動(上るまたは下る)場合について説明する。
例えば、図9に示すように居住空間内の各部位にセンサとカメラを配置する。ここでは、例えば、圧力センサ110は、階段の各段においてユーザが踏むことが想定される領域内に複数設けられ、ここでは、階段の踊場よりも低い位置にある階段の各段の踏面には、圧力センサ111としてそれぞれ設けられ、階段の踊場には圧力センサ112として設けられ、階段の踊場よりも高い位置にある階段の各段の踏面には圧力センサ113がそれぞれ設けられる。また、階段の外側の壁(階段を上る場合の向きを基準にした場合の左側の壁)の手すりには、圧力センサ115として設けられ、階段の内側の壁(階段を下る場合の向きを基準とした場合の左側の壁)の手すりには、圧力センサ116として設けられている。このように、圧力センサ110は、階段の手すりや階段の踏面において、ユーザが触れることが想定される領域内に複数設けられる。
また、温度・湿度センサ120は、階段の最下段と最上段の間のいずれかの位置(例えば、階段の踊場よりも低い位置にある階段の中段あたりと、階段の踊場よりも高い位置にある階段の中段あたり)であって床面から所定の高さ(例えば50cm等)に、温度・湿度センサ121、温度・湿度センサ122として設けられる。この場合、カメラ100は、階段の天井か天井近傍であって、階段を昇降するユーザを撮像可能な位置に設置される。
そして、立位姿勢をとったことが検出された場合には、その検出時において、体の各部位(頭部、四伎、胴部)の移動速度を評価することで、ふらつきを評価することができる。例えば、立位姿勢をとった場合における頭部、四肢、胴部に該当する位置を特徴データとして含むモデルを予め登録しておき、そのモデルに基づいて、部位のそれぞれについて移動速度を測定する。ここでは、行動基準値としては、行動「立位姿勢」について、各部位における行動基準値が記憶部1453に予め記憶される。そして、判定部1454は、この行動基準値と測定された各部位の速度とを比較し、いずれかの部位における速度が標準値から外れたと判定された場合には、行動基準値の範囲外であると判定することができる。
そして、例えば、センサデータは環境基準値の範囲に収まっており、検出物として「スリッパ」が検出された場合には、「階段カメラで立位姿勢のふらつきが検出されました。スリッパが要因と考えられます」とのメッセージが報知端末30に送信され、検出物として「携帯電話」が検出された場合には、「階段カメラで階段下り行動の異常が検出されました。右手に携帯した鞄が要因と考えられます。」等のメッセージが報知端末30に送信される。また、ここでは、単に移動が遅くなったということではなく、ふらつきやすい状況になっていることが把握できる。
また、「座位からの立ち上がり行動」においては、姿勢のふらつきが評価され、床面圧力や手すり圧力との相関が評価される。何れの場合も温度、湿度、照度との相関も評価される。以下、画面から対象者が消えるまで、「立位姿勢」「移動行動」が同様に評価される。
また、検出対象の行動としては、高次行動から、プリミティブな動作単位に階層的に分解してもよく、各階層において下位階層評価されたものを、重複して評価してもよい。「収納」、「掃除」、等の日常行動や、「モノの移動」、「移動行動」等の異なった視点での行動定義を行って、重複して評価されても問題ない。例えば、「掃除」の行動を認識した場合には、同時に「移動行動」が検出される。また、「モノの移動」も検出される場合がある。この場合、「掃除」行動を階層化して「モノの移動」「拭き掃除」「掃除機作業」等と分解すると同時に、独立して「モノの移動」を評価してもよい。何れの評価においても、同時に検出される「モノ」と時間及び、付随するセンサデータが同一形式で時系列に記録されていればよい。
(1)福祉住環境の整備の一環として実施される住宅の改築に際しては、専門職による観察や対象者や家族へのヒヤリングによって「身体状況と日常生活動作」のアセスメントを行いケアプランを作成するが、この際のアセスメントの精度向上につながる。
(2)また、住宅改築後の効果の確認が客観的に行える。
(3)介護保険制度のもとで、予防給付を行う介護予防サービスのケアプラン作成時のチェックリストをより客観的に作成することができ、適切なサービスを実施することができる。また、継続的なモニタリングが可能となる。
(4)カメラとセンサを用いた観察を自動化することにより、家族、介護専門職が、より客観的な視点で心情を持って総合的な判断を行う時間を多く取ることができるようになり、介護予防や介護の支援の質を向上させることが可能となる。
10 宅内サブシステム
20 生活環境評価サーバ
30、150 報知端末
40 ネットワーク
100 カメラ
110 圧力センサ
120 温度・湿度センサ
130 照度センサ
140 生活環境評価装置
Claims (8)
- 評価対象領域内を撮像する撮像部と、
前記撮像部の撮像結果に含まれる評価対象者の動作を検出し評価項目に応じた行動を検出する画像処理部と、
前記検出された行動に応じた評価値を付与する評価値付与部と、
前記撮像部の撮像範囲における環境に関する測定を行なう測定部と、
前記評価項目における行動の基準を表す行動基準値と前記評価項目に対応した環境の基準を表す環境基準値と含む判定ルールを記憶する判定ルール記憶部と、
前記付与された評価値と前記行動基準値とを比較し、前記評価値が前記行動基準値を満たさない場合に、前記測定された測定結果と前記環境基準値とを比較し、比較結果に基づいて、行動の障害となる要因が個人特性要因であるか環境特性要因であるかを判定する判定部と、
前記判定部の判定結果に基づくメッセージを送信する送信部と、
を有する行動評価装置。 - 前記送信部は、前記判定結果が環境特性要因である場合には、前記評価対象領域内における環境を改善させることに関する情報を含むメッセージを前記評価対象者に関連する端末装置に送信する
請求項1に記載の行動評価装置。 - 前記送信部は、前記判定結果が個人特性要因である場合には、前記評価対象領域内において評価対象者が行動基準値の範囲内ではない行動があったことを表すメッセージを前記評価対象者に関連する端末装置に送信する
請求項1または請求項2に記載の行動評価装置。 - 前記測定部は、温度、湿度、照度、音響、振動、接触のうち少なくともいずれか1つを測定するセンサである
請求項1から請求項3のうちいずれか1項に記載の行動評価装置。 - 前記画像処理部は、前記撮像結果を基に前記評価対象者の移動速度を検出する
請求項1から請求項4のうちいずれか1項に記載の行動評価装置。 - 前記評価値が行動基準値内ではない場合において撮像された撮像結果を記憶装置に書き込みを行なわせる書き込み指示部
を有する請求項1から請求項5のうちいずれか1項に記載の行動評価装置。 - 前記撮像部の撮像結果から所定の検出対象物があるか否かを検出する画像処理部を有し、
前記判定部は、前記評価値が前記行動基準値を満たさない場合に、前記測定された測定結果と前記環境基準値との比較結果と前記検出対象物が検出されたか否かに基づいて、個人特性要因であるか環境特性要因であるかを判定する
請求項1から請求項6のうちいずれか1項に記載の行動評価装置。 - 行動評価装置における行動評価方法であって、
撮像部が、評価対象領域内を撮像し、
画像処理部が、前記撮像結果に含まれる評価対象者の動作を検出し評価項目に応じた行動を検出し、
評価値付与部が、前記検出された行動に応じた評価値を付与し、
測定部が、前記撮像部の撮像範囲における環境に関する測定を行ない、
判定部が、前記評価項目における行動の基準を表す行動基準値と前記評価項目に対応した環境の基準を表す環境基準値と含む判定ルールを記憶する判定ルール記憶部を参照し、前記付与された評価値と前記行動基準値とを比較し、前記評価値が前記行動基準値を満たさない場合に、記測定された測定結果と前記環境基準値とを比較し、比較結果に基づいて、行動の障害となる要因が個人特性要因であるか環境特性要因であるかを判定し、
送信部が、前記判定された判定結果に基づくメッセージを送信する
行動評価方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016252355A JP6725411B2 (ja) | 2016-12-27 | 2016-12-27 | 行動評価装置、行動評価方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016252355A JP6725411B2 (ja) | 2016-12-27 | 2016-12-27 | 行動評価装置、行動評価方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018106437A JP2018106437A (ja) | 2018-07-05 |
JP6725411B2 true JP6725411B2 (ja) | 2020-07-15 |
Family
ID=62788171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016252355A Active JP6725411B2 (ja) | 2016-12-27 | 2016-12-27 | 行動評価装置、行動評価方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6725411B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202019001159U1 (de) * | 2019-03-12 | 2019-04-04 | Blue Star Gmbh | Treppensystemvorrichtung |
US11151412B2 (en) * | 2019-07-01 | 2021-10-19 | Everseen Limited | Systems and methods for determining actions performed by objects within images |
JP7351339B2 (ja) | 2019-08-21 | 2023-09-27 | コニカミノルタ株式会社 | 画像処理システム、画像処理プログラム、および画像処理方法 |
JP7447999B2 (ja) | 2020-05-15 | 2024-03-12 | 日本電気株式会社 | 処理装置、推定装置、監視システム、処理方法及びプログラム |
JP6971448B1 (ja) * | 2020-08-24 | 2021-11-24 | 株式会社エクサウィザーズ | 情報処理方法、情報処理装置及びコンピュータプログラム |
US20230418916A1 (en) * | 2020-10-16 | 2023-12-28 | Nec Corporation | Authentication system, authentication method, and computer readable medium |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3776741B2 (ja) * | 2001-03-29 | 2006-05-17 | 株式会社東芝 | 地図情報取得方法、地図情報取得システム及びプログラム |
SE0203483D0 (sv) * | 2002-11-21 | 2002-11-21 | Wespot Ab | Method and device for fall detection |
WO2011083733A1 (ja) * | 2010-01-07 | 2011-07-14 | 株式会社ニコン | 画像判定装置 |
US8675920B2 (en) * | 2011-04-04 | 2014-03-18 | Alarm.Com Incorporated | Fall detection and reporting technology |
JP2016024651A (ja) * | 2014-07-22 | 2016-02-08 | 沖電気工業株式会社 | 状態判定システム、状態判定方法及びプログラム |
JP2016067641A (ja) * | 2014-09-30 | 2016-05-09 | 東京エレクトロンデバイス株式会社 | 転倒検知処理装置及び転倒検知システム |
CN107533764A (zh) * | 2015-05-21 | 2018-01-02 | 柯尼卡美能达株式会社 | 图像处理系统、图像处理装置、图像处理方法以及图像处理程序 |
-
2016
- 2016-12-27 JP JP2016252355A patent/JP6725411B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018106437A (ja) | 2018-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6725411B2 (ja) | 行動評価装置、行動評価方法 | |
US20240081748A1 (en) | Systems for automatic assessment of fall risk | |
EP3525673B1 (en) | Method and apparatus for determining a fall risk | |
Werner et al. | Fall detection with distributed floor-mounted accelerometers: An overview of the development and evaluation of a fall detection system within the project eHome | |
JP6720909B2 (ja) | 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置 | |
Ariani et al. | Software simulation of unobtrusive falls detection at night-time using passive infrared and pressure mat sensors | |
JP2018094242A (ja) | 健康支援システム | |
JP7403132B2 (ja) | 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法 | |
Alzahrani et al. | FallFree: Multiple fall scenario dataset of cane users for monitoring applications using kinect | |
JP7183788B2 (ja) | 行動判定装置及び行動判定方法 | |
WO2021014718A1 (ja) | 情報提供装置及び情報提供プログラム | |
JP5473750B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2018173763A (ja) | 行動支援システム、行動支援方法 | |
JP2020187389A (ja) | 移動体軌跡分析装置、移動体軌跡分析プログラム、および移動体軌跡分析方法 | |
AU2021106898A4 (en) | Network-based smart alert system for hospitals and aged care facilities | |
Dimitrov et al. | A cyber physical system testbed for assistive robotics technologies in the home | |
JP7351339B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP2021190051A (ja) | 行動体特定システム | |
JP2021033379A (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP5945030B1 (ja) | 安全監視システム | |
JPWO2020003952A1 (ja) | コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法 | |
JP7314939B2 (ja) | 画像認識プログラム、画像認識装置、学習プログラム、および学習装置 | |
JP2021197072A (ja) | 制御プログラム、演算装置、制御システム、および制御方法 | |
JP7388440B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP7226142B2 (ja) | 居住設備提示装置、システム、方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190711 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200515 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200625 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6725411 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |