JP6781979B2 - 心理状態評価用プログラム及び心理状態評価装置 - Google Patents
心理状態評価用プログラム及び心理状態評価装置 Download PDFInfo
- Publication number
- JP6781979B2 JP6781979B2 JP2016101637A JP2016101637A JP6781979B2 JP 6781979 B2 JP6781979 B2 JP 6781979B2 JP 2016101637 A JP2016101637 A JP 2016101637A JP 2016101637 A JP2016101637 A JP 2016101637A JP 6781979 B2 JP6781979 B2 JP 6781979B2
- Authority
- JP
- Japan
- Prior art keywords
- nose
- psychological state
- procedure
- temperature
- state evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims description 83
- 238000000034 method Methods 0.000 claims description 151
- 230000001815 facial effect Effects 0.000 description 16
- 238000000605 extraction Methods 0.000 description 14
- 210000001061 forehead Anatomy 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000003708 edge detection Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000036760 body temperature Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000012356 Product development Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
被検体の心理状態を評価するための心理状態評価用プログラムであって、
コンピューターに、
被検体の顔面の熱分布画像(サーモグラフ等)を取得する熱分布画像取得手順と、
熱分布画像取得手順で取得された熱分布画像から鼻の左端部及び右端部の位置を推定する鼻端部推定手順と、
鼻端部推定手順で推定された鼻の左端部と右端部との間に位置する箇所を鼻の頂部と推定する鼻頂部推定手順と、
鼻頂部推定手順で推定された鼻の頂部の温度T1を、前記熱分布画像から取得する鼻頂部温度取得手順と、
鼻頂部温度取得手順で取得した温度T1に基づいて被検体の心理状態を評価する心理状態評価手順と、
心理状態評価手順での評価結果を出力する評価結果出力手順と
を実行させる
ことを特徴とする心理状態評価用プログラム
を提供することによって解決される。
図1は、本発明の心理状態評価装置100の構成例を示したブロック図である。本実施態様の心理状態評価装置100は、図1に示すように、コンピューター110と、サーモカメラ120と、表示装置130とを備えたものとなっている。コンピューター110は、プロセッサ111とメモリ112とを備えており、メモリ112には、本実施態様の心理状態評価用プログラムが記憶されている。本実施態様の心理状態評価装置100は、コンピューター110に心理状態評価用プログラムを実行させることにより、図3に示すような被検体の顔面の熱分布画像200から被検体のストレス状態を評価することができるものとなっている。被検体の顔面の熱分布画像200は、コンピューター110に接続されたサーモカメラ120を用いて撮影される。撮影された熱分布画像200やストレス状態の評価結果は、表示装置130に表示される。メモリ112としては、ハードディスクやRAM等の各種の記憶装置が例示される。サーモカメラ120は、心理状態評価装置100に内蔵のものとしても、心理状態評価装置100に対して接続可能な外部装置としてもよい。
図2は、本発明の心理状態評価用プログラムのフローチャートである。本実施態様の心理状態評価用プログラムは、図2に示すように、熱分布画像取得手順S1と、鼻端部推定手順S2と、鼻頂部推定手順S3と、鼻頂部温度取得手順S4と、特定部位温度取得手順S5と、心理状態評価手順S6と、評価結果出力手順S7とで構成されている。以下、本発明の心理状態評価用プログラムがコンピューター110に実行させる各手順について、詳しく説明する。
熱分布画像取得手順S1は、被検体の顔面の熱分布画像200(サーモグラフ等)を取得するための手順である。図3は、被検体の顔面の熱分布画像200の一例を示した図である。図3(a)はストレス度が低い状態で撮影されたものであり、図3(b)はストレス度が高い状態で撮影されたものである。熱分布画像取得手順S1では、被検体の顔面の熱分布画像200をコンピューター110のメモリ112に取り込んで、後に続く鼻端部推定手順S2以降の処理を行うことができるようにする。熱分布画像200は、予め撮影されたものをコンピューター110に取り込むようにすることもできるが、本実施態様においては、コンピューター110に接続されたサーモカメラ120を用いて撮影され、コンピューター110に自動的に取り込まれるようになっている。このとき、以降の手順におけるコンピューター110の処理負担を軽減する必要がある場合等には、取り込んだ熱分布画像200の解像度を自動的に変更して、熱分布画像200のデータサイズを小さくする手順をさらに備えてもよい。
鼻端部推定手順S2は、熱分布画像取得手順S1で取得された熱分布画像200が有する情報に基づいて、鼻の左右端部の位置を自動的に推定するための手順である。図4は、図2における鼻端部推定手順S2のフローチャートである。図5は、図3(a)の熱分布画像200を用いた、鼻頂部330等の位置の推定例を説明する図である。本実施態様における鼻端部推定手順S2は、図4に示すように、顔領域推定手順S2.1と、顔中央画像抽出手順S2.2と、エッジ検出手順S2.3と、鼻端点決定手順S2.4とを備えたものとなっている。以下、これらの手順について順に説明する。
顔領域推定手順S2.1は、熱分布画像200(図5を参照。)における顔領域300(被検体の顔面のうち、肌が露出した部分)の位置を推定するための手順である。本実施態様においては、熱分布画像200における、所定温度(例えば、30°C)よりも高くなっている部分を顔領域300と推定している。この結果、図5に示すように、熱分布画像200における背景や髪を除いた領域が顔領域300として推定される。このとき、被検体が着帽していることや、髪が被検体の顔にかかっていること等によって、推定された顔領域300の周辺部が実際の顔に比べて多少欠けていたとしても、問題なく以降の手順を行うことができる。
顔中央画像抽出手順S2.2は、熱分布画像200のうち、顔領域推定手順S2.1で推定された顔領域300の中央部を含む範囲を、顔中央画像210として自動的に抽出するための手順である。具体的には、顔領域300の位置及び大きさに対して予め相対的に定められた範囲を抽出する顔中央抽出用フィルタを用意しておき、これを、図5に示すように、顔領域推定手順S2.1を経た後の熱分布画像200に適用することにより、顔中央画像210を抽出する。これにより、以降の手順で処理するデータ量を少なくして、コンピューター110の処理負担を軽減することができる。また、後述する鼻端点決定手順S2.4において、鼻左端部310及び鼻右端部320の位置を誤って推定することを防ぐこともできる。抽出された顔中央画像210は、熱分布画像取得手順S1で取り込んだ熱分布画像200とは別のデータとしてコンピューター110のメモリ112に記憶するようにしてもよいが、この場合には、メモリ112に記憶すべきデータ量が大きくなってしまう。このため、本実施態様においては、顔中央抽出用フィルタを画像マスクとして熱分布画像200に適応することで、顔中央画像210以外の部分では以降の処理を行わないようにしている。
エッジ検出手順S2.3は、顔中央画像抽出手順S2.2で抽出された顔中央画像210におけるエッジを検出するための手順である。ここで「エッジ」とは、所定値以上の温度差を有する領域同士が隣接する箇所における境界部分のことを言う。このエッジを検出することにより、顔中央画像210に含まれる各顔部位の輪郭や位置を推定することができる。既に述べたとおり、鼻左端部310及び鼻右端部320は、被検体のストレスの有無に関わらず、周囲(特に、隣接する頬部)よりも低い温度を示す(図3(a)及び図3(b)を参照。)。このため、鼻左端部310と左頬部との境界と推定される鼻左端エッジE1、及び、鼻右端部320と右頬部との境界と推定される鼻右端エッジE2(図5を参照。)も、エッジとして検出される。
鼻端点決定手順S2.4は、エッジ検出手順S2.3で検出されたエッジを用いて、鼻左端エッジE1上の鼻左端点P1と、鼻右端エッジE2上の鼻右端点P2とを自動的に決定するための手順である。鼻端点決定手順S2.4においては、まず、エッジ検出手順S2.3で検出されたエッジのうち、鼻左端エッジE1及び鼻右端エッジE2を抽出する。具体的には、顔領域300の中央付近において所定の距離を空けて向かい合う一対のエッジを検出し、そのうち左側に位置するものを鼻左端エッジE1と推定し、右側に位置するものを鼻右端エッジE2と推定する。次に、図5に示すように、鼻左端エッジE1上に位置する点のうち、最も左にあるものを鼻左端点P1と決定し、鼻右端エッジE2上に位置する点のうち、最も右にあるものを鼻右端点P2と決定する。決定された鼻左端点P1を鼻左端部310の左端点であると推定し、鼻右端点P2を鼻右端部320の右端点であると推定する。以上で、本実施態様における鼻端部推定手順S2が完了する。
鼻頂部推定手順S3は、鼻端部推定手順S2で推定された鼻左端部310及び鼻右端部320の位置に基づいて、鼻頂部330の位置を自動的に推定するための手順である。本実施態様において、鼻頂部330の位置は、鼻左端点P1及び鼻右端点P2に対する鼻頂部330の平均的な位置関係から推定している。具体的には、鼻左端点P1及び鼻右端点P2の位置に対して、所定の相対位置にある所定の相対領域を、鼻頂部330として抽出する鼻頂部抽出用フィルタを用意しておき、これを、鼻端部推定手順S2を経た顔中央画像210に適用することで、鼻頂部330の位置を推定する。鼻頂部抽出用フィルタは、一定数以上の被検体を用いた予備実験等により予め求めた、鼻左端点P1及び鼻右端点P2に対する鼻頂部330の平均的な位置とサイズから作製する。本実施例においては、図5に示すように、鼻左端点P1及び鼻右端点P2の間に位置する略円形状の領域を鼻頂部330として推定している。鼻頂部抽出用フィルタによって鼻頂部330と推定される領域の形状は、特に限定されない。鼻頂部抽出用フィルタは、被検体の生物種や人種、年齢や性別等に合わせて複数用意することもできる。
鼻頂部温度取得手順S4は、鼻頂部推定手順S3で推定された鼻頂部330の温度T1を取得するための手順である。鼻頂部推定手順S3において鼻頂部330の位置を点で推定した場合には、その一点における温度データを鼻頂部330の温度T1として取得する。一方、鼻頂部330の位置をある程度の広さを持つ領域として推定した場合には、その領域内に含まれる複数の点における温度データから鼻頂部330の温度T1を算出する。温度T1を算出する方法としては、鼻頂部330と推定された領域内の温度データを、領域内の位置によって重み付けをしたうえで重ね合わせてもよいが、本実施態様においては、鼻頂部抽出用フィルタによって鼻頂部330と推定された領域内の温度データを平均して得られた値を、鼻頂部330の温度T1としている。
特定部位温度取得手順S5は、熱分布画像取得手順S1で取得された熱分布画像200における、顔の特定部位(鼻の頂部以外の特定の部分)の温度T2を自動的に取得するための手順である。取得した温度T2は、後述する心理状態評価手順S6において、鼻頂部330の温度T1とともにストレス状態の評価のために用いる。本実施態様においては、特定部位として顎部340を採用している。本実施態様における特定部位温度取得手順S5では、上述した鼻端部推定手順S2と同様に、顎部340と首との境界と推定されるエッジ上の顎端点P3を決定し、上述した鼻頂部推定手順S3と同様に、鼻左端点P1、鼻右端点P2及び顎端点P3の位置に顎部抽出用フィルタを適用することによって、熱分布画像200における顎部340の位置を推定している(図5を参照。)。顎部抽出用フィルタは、鼻頂部抽出用フィルタと同様の方法で作製している。顎部340の温度T2は、鼻頂部温度取得手順S4と同様に、推定された顎部340から取得される。
心理状態評価手順S6は、鼻頂部温度取得手順S4で取得された鼻頂部330の温度T1に基づいて、被検体の心理状態を評価する手順である。被検体の心理状態は、鼻頂部330の温度T1を所定の基準温度と比較する等、鼻頂部330の温度のみに基づいて評価するようにしてもよい。基準温度としては、例えば、被検体自身の非ストレス時における鼻頂部330の温度を用いることができる。しかし、この場合には、当該被検体の非ストレス時における鼻頂部330の温度を予め測定しておかなければならず、被検体に対して時間を空けて複数回の測定を行う必要が生ずる。このため、本実施態様においては、鼻頂部温度取得手順S4で取得された鼻頂部330の温度T1だけでなく、特定部位温度取得手順S5で取得された特定部位(顎部340)の温度T2にも基づいて、被検体の心理状態を評価するようにしている。
評価結果出力手順S7は、心理状態評価手順S6における評価結果を出力するための手順である。評価結果は、紙等に印刷して出力することもできるが、電子データとして出力するようにすると、データの保存や加工がしやすいため好ましい。本実施態様においては、心理状態評価手順S6で得られた評価結果を、心理状態評価装置100に備えられた表示装置130の表示画面に表示することで出力している。評価結果は、心理状態評価手順S6の評価方法に応じて、ストレスレベル等の数値データとして出力しても、段階的なストレス度評価結果として出力してもよい。
本発明の心理状態評価用プログラム及び心理状態評価装置100は、被検体の顔面の熱分布画像200に基づいて被検体の心理状態を精度良く評価することができ、被検体に器具等を装着させる必要も、被検体の顔画像データを用いる必要もないものであるため、幅広い用途において好適に使用することができる。例えば、乗物(車、船舶、飛行機等)の運転手の疲労度の計測、企業等における従業者のストレスチェック、医療現場等における痛みの計測や痛みの緩和の計測等に好適に用いることができる。加えて、本発明の心理状態評価用プログラム及び心理状態評価装置100は、被検体の体温情報に基づいて心理状態評価を行うものであり、被験者の主観や感情的要因(遠慮、謙遜等)に影響されにくいため、商品開発補助(使用感や着心地の評価、官能検査等)やマーケティングにおいても有用である。また、被検体が人間以外の動物や幼児であって、言葉によるコミュニケーションが困難な場合にも、精度良く心理状態評価を行うことができる。加えて、本発明の心理状態評価装置100を携帯型端末とした場合には、使用箇所を問わないため、末端需要者が日常的に行う自己のストレスチェック、自宅介護における被介護者の痛みやストレスの計測、環境快適性評価等に好適に用いることができる。本発明の用途は、ここに列記したものに限定されず、被検体の顔面の熱分布画像200を得ることが可能なものであればどのような用途においても使用することができる。
110 コンピューター
111 プロセッサ
112 メモリ
120 サーモカメラ
130 表示装置
200 熱分布画像
210 顔中央画像
300 顔領域
310 鼻左端部
320 鼻右端部
330 鼻頂部
340 顎部
DA 暗領域(低温領域)
DB 暗領域(低温領域)
E1 鼻左端エッジ
E2 鼻右端エッジ
P1 鼻左端点
P2 鼻右端点
P3 顎端点
S1 熱分布画像取得手順
S2 鼻端部推定手順
S2.1 顔領域推定手順
S2.2 顔中央画像抽出手順
S2.3 エッジ検出手順
S2.4 鼻端点決定手順
S3 鼻頂部推定手順
S4 鼻頂部温度取得手順
S5 特定部位温度取得手順
S6 心理状態評価手順
S7 評価結果出力手順
Claims (6)
- 被検体の心理状態を評価するための心理状態評価用プログラムであって、
コンピューターに、
被検体の顔面の熱分布画像を取得する熱分布画像取得手順と、
熱分布画像取得手順で取得された熱分布画像における、鼻の左端部と左頬部との境界と推定される鼻左端エッジ、及び、鼻の右端部と右頬部との境界と推定される鼻右端エッジを検出することにより、鼻の左端部及び右端部の位置を推定する鼻端部推定手順と、
鼻端部推定手順で推定された鼻の左端部と右端部との間に位置する箇所を鼻の頂部と推定する鼻頂部推定手順と、
鼻頂部推定手順で推定された鼻の頂部の温度T1を、前記熱分布画像から取得する鼻頂部温度取得手順と、
鼻頂部温度取得手順で取得した温度T1に基づいて被検体の心理状態を評価する心理状態評価手順と、
心理状態評価手順での評価結果を出力する評価結果出力手順と
を実行させる
ことを特徴とする心理状態評価用プログラム。
- コンピューターに、熱分布画像取得手順で取得された熱分布画像における顔の特定部位(鼻の頂部を除く。)の温度T2を取得する特定部位温度取得手順をさらに実行させ、
心理状態評価手順において、温度T1と温度T2とを比較することにより被検体の心理状態を評価するようにした
請求項1に記載の心理状態評価用プログラム。
- 前記特定部位が、顎部である請求項2に記載の心理状態評価用プログラム。
- 心理状態評価手順で評価される心理状態が、ストレス状態である請求項1〜3のいずれかに記載の心理状態評価用プログラム。
- 請求項1〜4のいずれかに記載の心理状態評価用プログラムが記録されたメモリを備えた心理状態評価装置。
- 請求項1〜4のいずれかに記載の心理状態評価用プログラムが記録されたメモリを備えた携帯型端末。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016101637A JP6781979B2 (ja) | 2016-05-20 | 2016-05-20 | 心理状態評価用プログラム及び心理状態評価装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016101637A JP6781979B2 (ja) | 2016-05-20 | 2016-05-20 | 心理状態評価用プログラム及び心理状態評価装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017205426A JP2017205426A (ja) | 2017-11-24 |
JP6781979B2 true JP6781979B2 (ja) | 2020-11-11 |
Family
ID=60414861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016101637A Active JP6781979B2 (ja) | 2016-05-20 | 2016-05-20 | 心理状態評価用プログラム及び心理状態評価装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6781979B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7154493B2 (ja) * | 2018-07-05 | 2022-10-18 | 国立大学法人電気通信大学 | 自律神経活動評価装置、自律神経活動評価方法及びプログラム |
WO2023195092A1 (ja) * | 2022-04-06 | 2023-10-12 | 日本電信電話株式会社 | 体温測定装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07243687A (ja) * | 1994-03-09 | 1995-09-19 | Sanyo Electric Co Ltd | 空気調和装置 |
JP2759189B2 (ja) * | 1995-07-20 | 1998-05-28 | 工業技術院長 | ストレス測定装置 |
JPH09294724A (ja) * | 1996-05-08 | 1997-11-18 | Sanyo Electric Co Ltd | 精神安定化訓練装置 |
JP3054708B1 (ja) * | 1999-02-23 | 2000-06-19 | 工業技術院長 | ストレス計測装置 |
JP3931889B2 (ja) * | 2003-08-19 | 2007-06-20 | ソニー株式会社 | 画像表示システム、画像表示装置、画像表示方法 |
JP2007068620A (ja) * | 2005-09-05 | 2007-03-22 | Konica Minolta Holdings Inc | 心理状態計測装置 |
JP5077929B2 (ja) * | 2007-03-23 | 2012-11-21 | 独立行政法人海上技術安全研究所 | 緊張度計測用熱源支持装置 |
JP5446443B2 (ja) * | 2009-05-15 | 2014-03-19 | 日産自動車株式会社 | 心拍数測定装置および心拍数測定方法 |
JP5528850B2 (ja) * | 2010-02-18 | 2014-06-25 | Kddi株式会社 | 携帯端末装置、ストレス推定システム、動作方法、ストレス推定プログラム |
KR20150053715A (ko) * | 2013-11-08 | 2015-05-18 | 상명대학교서울산학협력단 | 시각 피로 판단 방법 및 이를 적용하는 장치 |
US20150297140A1 (en) * | 2014-04-21 | 2015-10-22 | Microsoft Corporation | User stress detection and mitigation |
-
2016
- 2016-05-20 JP JP2016101637A patent/JP6781979B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017205426A (ja) | 2017-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Non-intrusive interpretation of human thermal comfort through analysis of facial infrared thermography | |
Hegde et al. | Autotriage-an open source edge computing raspberry pi-based clinical screening system | |
JP6595474B2 (ja) | 創傷アセスメントおよびマネジメントのための方法およびシステム | |
US9672426B2 (en) | Intelligent monitoring system | |
US9875393B2 (en) | Information processing apparatus, information processing method, and program | |
KR101301821B1 (ko) | 안색 정보 생성 장치 및 그 방법, 안색 정보를 이용한 건강 상태 판단 장치 및 그 방법, 건강 분류 함수 생성 장치 및 그 방법 | |
CN111524608B (zh) | 智能检测与防疫系统和方法 | |
US10249039B2 (en) | Skin condition detection method, eletronic apparatus, and skin condition detection system | |
WO2018202065A1 (zh) | 基于人工智能的美业产品及服务的推荐系统 | |
US9924861B2 (en) | System and methods for assessing vision using a computing device | |
JP6781979B2 (ja) | 心理状態評価用プログラム及び心理状態評価装置 | |
Mohd et al. | A non-invasive facial visual-infrared stereo vision based measurement as an alternative for physiological measurement | |
Mohd et al. | Internal state measurement from facial stereo thermal and visible sensors through SVM classification | |
KR20130141285A (ko) | 피부상태 진단 방법 및 장치와 이를 이용한 피부상태 적합 화장정보 제공 방법 | |
CN108416331B (zh) | 脸部对称识别的方法、装置、存储介质及终端设备 | |
Bae et al. | Robust skin-roughness estimation based on co-occurrence matrix | |
CN110175522A (zh) | 考勤方法、系统及相关产品 | |
JP2008046691A (ja) | 顔画像処理装置及びコンピュータのプログラム | |
Mohd et al. | Facial visual-infrared stereo vision fusion measurement as an alternative for physiological measurement | |
KR102239575B1 (ko) | 피부 진단 장치 및 방법 | |
JP7436708B2 (ja) | 樹状毛穴を識別するための方法 | |
JP5897745B2 (ja) | 加齢分析方法及び加齢分析装置 | |
Yoshikawa et al. | Dynamic Offset Correction for Smartphone Thermal Cameras Using a Wristband Sensor | |
KR101943580B1 (ko) | 이미지 분석에 기반한 피부 상태 평가 방법 및 프로그램 | |
KR102473744B1 (ko) | 가림 안가림 검사 중 획득한 안구 이미지 분석을 통한 사시진단방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190517 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200306 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201008 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6781979 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |