JP5928676B2 - 作業療法訓練支援装置 - Google Patents
作業療法訓練支援装置 Download PDFInfo
- Publication number
- JP5928676B2 JP5928676B2 JP2011062412A JP2011062412A JP5928676B2 JP 5928676 B2 JP5928676 B2 JP 5928676B2 JP 2011062412 A JP2011062412 A JP 2011062412A JP 2011062412 A JP2011062412 A JP 2011062412A JP 5928676 B2 JP5928676 B2 JP 5928676B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- predetermined
- displayed
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Rehabilitation Tools (AREA)
Description
また、特許文献2には、ディスプレイとコントローラとを備える荷重検出装置が記載されている。この荷重検出装置では、ディスプレイに表示される指示に従ってコントローラを操作することで、使用者は身体を動かすリハビリテーションを行うことができる。
なお、ここで「表示形態を変更」とは、画面に表示している所定画像を消去すること、画面に表示している所定画像とは異なる新たな所定画像を表示すること、画面に表示している所定画像の形状を変更すること等が含まれる。
なお、所定部位と表示画面との間の距離が所定範囲にない場合は、その旨警告する警告音を発生するようにしてもよい。また、撮像手段による撮像を終了して、表示画面を暗転させてもよい。
より具体的には、画像を表示画面に表示する表示手段と、前記表示画面の前方を表示画像として撮像する複数の撮像手段とを備える作業療法訓練支援装置であって、前記表示手段は、前記複数の撮像手段のうちのひとつの撮像手段を通じて撮像された表示画像を前記表示画面に表示し、前記表示画面に表示される前記表示画像を複数の領域に区画して、前記複数の領域のうち少なくともひとつの領域を選択し、前記表示画面に対して垂直方向に延びる座標において表示座標を設定し、前記選択した領域において設定した前記表示座標に応じて、設定される前記表示座標が所定値より大きい場合には、前記所定画像を、使用者から離れているように見えるべく小さい大きさにて表示するとともに、設定される前記表示座標が所定値より小さい場合には、前記所定画像を、使用者の近くにあるように見えるべく大きい大きさにて表示し、前記複数の撮像手段を通じて撮像される各表示画像に基づいて、使用者の所定部位と前記表示画面との間の距離を算出し、前記所定部位と前記表示画面との間が前記所定範囲にあるときに、前記所定画像が表示される領域に使用者の所定部位が位置するか否かを判断する判断処理を実行し、前記判断手段は、設定される前記表示座標が所定値より大きい場合には、前記使用者の所定部位と前記表示画面との間が所定値よりも小さくなったことをもって、前記所定画像が表示される領域に使用者の所定部位が位置すると判断し、設定される前記表示座標が所定値より小さい場合には、前記使用者の所定部位と前記表示画面との間が所定値よりも大きくなったことをもって、前記所定画像が表示される領域に使用者の所定部位が位置すると判断することを特徴としている。
以下、本発明を具体化した第一実施形態を図1〜図3に基づいて説明する。
ここで、カメラ2の撮像範囲は、ディスプレイ4前方に起立した使用者5の全身が収まる範囲であればよい。
同図2に示されるように、本処理が開始されると、まず、PC3はプレイ時間Tpの計時を開始し(ステップS100)、次に基準画像(本発明の「表示画像」に相当)を取得する(ステップS101)。ここで、基準画像とは、本処理が開始される毎にカメラ2によって撮像されるディスプレイ4前方の画像のことである。
本実施形態では、以下の数式1を用いて2次元相関係数rを算出する。
基準値Cは、実験等を通じて予め定められる値としてもよいし、当該作業療法訓練支援装置1を設置する環境(例えば、周囲の明るさや背景画像)に応じて変更してもよい。いずれにしても、基準値Cは、0.90〜0.99の範囲とすることが好ましい。より好ましくは、0.97および0.98が好ましい。基準値Cが0.99を超えたり、0.90を下回ると、ターゲット6が表示される領域に使用者5の手が位置するか否かについて適切に判断することが困難となる。
一方、表示時間Tdが最長表示時間Tdmaxを超えたと判断する場合(ステップS108:YES)、次に現在ディスプレイ4に表示されているターゲット6を消去する(ステップS109)。また、表示時間Tdの計時を終了するとともに、表示時間Tdをクリアする(ステップS109)。
(1)上記実施形態によれば、使用者5がディスプレイ4に接触したり、操作端末を操作したりすることなく、使用者5の手がターゲット6の表示される領域に位置しているか否かを判断することができる。したがって、使用者5は、ディスプレイ4から離れて起立し、全身を表示画面に表示した状態で、ターゲット6が表示される領域に向けて手を移動する作業療法訓練を行うことができる。このため、使用者の安全性を確保しつつ、運動機能の回復を図ることができるようになる。
以下、本発明を具体化した第二実施形態を上記第一実施形態と異なる点を中心に図4および図5に基づいて説明する。なお、これら図4および図5において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
同図5に示されるように、この距離算出処理が開始されると、まずPC3を用いて想定距離D1を設定する(ステップS200)。想定距離D1は、ディスプレイ4前方に起立した使用者5の全身画像がディスプレイ4に適切な大きさで表示されるために必要な距離である。距離D1は、予め設定されていてもよいし、使用者5や管理者が都度設定するようにしてもよい。
白画素を検出したと判断する場合(ステップS204:YES)、この白画素が検出された位置に使用者5が位置しているとして、その座標を(X1,Y1)として記憶する(ステップS205)。
一方、白画素を検出していないと判断する場合(ステップS209:NO)、すなわち、前回撮像した画像と今回撮像した画像との間に変化がないと判断する場合、ステップS206〜ステップS209の処理を再び実行する。
そして、距離D2が想定距離D1−αよりも大きく、且つ想定距離D1+α以下であると判断する場合(ステップS212:YES)、この処理を一旦終了する。この場合は、第一実施形態で説明した画像処理を実行する。
(2)本実施形態によれば、使用者5とディスプレイ4との間の距離D2が、想定距離D1−αよりも大きく且つ想定距離D1+α以下であることをもって、画像処理が開始される。このため、使用者5がディスプレイ4から離れてしまい、PC3が使用者5を適切に検出することができない状態にあるときに、画像処理が実行されることを抑制することができる。
以下、本発明を具体化した第三実施形態を上記第一実施形態と異なる点を中心に図6〜図8に基づいて説明する。なお、これら図6〜図8において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
同図7に示されるように、本処理が開始されると、まず、PC3はプレイ時間Tpの計時を開始し(ステップS300)、次に中央カメラ7にて撮像された基準画像(本発明の「表示画像」に相当)を取得する(ステップS301)。そして、ターゲット6を表示する座標(Xt,Yt,Zt)を設定する(ステップS302)。
同図8に示されるように、本処理が開始されると、PC3は、まず以下に説明するステップS330〜S334の処理と並行して、以下に説明するステップS335〜S339の処理を実行する。
PC3は、中央カメラ7が撮像した画像のうち、ターゲット6が表示される領域の画像を取得する(ステップS330)。そして、この画像に対して白と黒の2階調に変換する2値化処理を施す(ステップS331)。
白画素を検出したと判断する場合(ステップS333:YES)、検出した白画素の座標を(X1,Y1)として記憶する(ステップS334)。
PC3は、端側カメラ8が撮像した画像のうち、ターゲット6が表示される領域の画像を取得する(ステップS335)。そして、この画像に対して白と黒の2階調に変換する2値化処理を施す(ステップS336)。
一方、白画素を検出していないと判断する場合(ステップS338:NO)、すなわち、前回撮像した画像と今回撮像した画像との間に変化がないと判断する場合、ステップS335〜ステップS337の処理を再び実行する。
一方、Z軸座標の値「Zt」が大きい値に設定されたときには、同図9(b)に示されるように、ターゲット6が使用者5から遠いところに表示されるように見えるべく、ターゲット6を小さく表示する。このときには、使用者5がディスプレイ4に近づいたこと、すなわち使用者5とディスプレイ4との間の距離D2が小さくなったことをもって、使用者5が所定範囲にあると判断する。
なお、画面上に表示される使用者5の大きさは、画角が広いときほど小さくなる。このため、使用者5が、ターゲット6が表示される領域に手を位置させることは、画角が大きいときほど困難となる。したがって、Z軸座標の値「Zt」は、中央カメラ7および端側カメラ8の画角が広いときほど小さくなるように設定する一方、中央カメラ7および端側カメラ8の画角が狭いときほど大きくなるように設定することが好ましい。
一方、表示時間Tdが最長表示時間Tdmaxを超えたと判断する場合(ステップS310:YES)、次に現在ディスプレイ4に表示されているターゲット6を消去する(ステップS311)。また、表示時間Tdの計時を終了するとともに、表示時間Tdをクリアする(ステップS311)。
(3)本実施形態によれば、使用者5は、リハビリテーションを行う際、X軸方向およびY軸方向のみならずZ軸方向(前後方向)にも動くこととなる。このため、使用者5が動く範囲が大きくなり、より好的にリハビリテーションを行うことができるようになる。
以下、本発明を具体化した第四実施形態を上記第一実施形態と異なる点を中心に図10および図11に基づいて説明する。なお、図10および図11において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
また、これら第一カメラ10および第二カメラ11は、所定回数(本実施形態では、1秒間に20〜60回のうちの任意の回数)ディスプレイ4前方の画像を撮像して、それぞれPC3(本発明の「表示手段」、「判断手段」に相当)に出力している。
以下、ディスプレイ4に表示する画像の処理手順について図11を参照しながら詳細に説明する。
一方、表示時間Tdが最長表示時間Tdmaxを超えたと判断する場合(ステップS410:YES)、次に現在ディスプレイ4に表示されているターゲット6を消去する(ステップS411)。また、表示時間Tdの計時を終了するとともに、表示時間Tdをクリアする(ステップS411)。
(5)本実施形態によれば、赤外光ライト13から照射されて、使用者5に反射し、第一カメラ10にて撮像される赤外光を用いて使用者5の位置を検出することができる。このため、ディスプレイ4の前方にある使用者5以外のものを使用者5と誤認することを抑制し、使用者5を適切に検出することができる。
以下、本発明を具体化した第五実施形態を上記第三実施形態と異なる点を中心に図7、図8、図12および図13に基づいて説明する。なお、図7、図8、図12および図13において、第三実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
同図13(a)に示されるように、本実施形態では、プレイ時間Tpの計時が開始された(ステップS300)後、端側カメラ8にて撮像された可視光画像を取得し、ディスプレイ4に表示する(ステップS501)。そして、中央カメラ7にて撮像された基準画像を取得する(ステップS301)。
(6)本実施形態によれば、赤外光を使用して使用者5を検出するとともに、中央カメラ7および端側カメラ8から出力される画像を用いて使用者5とディスプレイ4との距離を検出しているため、使用者5以外のものが使用者として誤認されることを抑制し、より好的に使用者5を検出することができるようなる。
以下、本発明を具体化した第六実施形態を上記第一実施形態と異なる点を中心に図1および図14に基づいて説明する。なお、図1および図14において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
以下、このディスプレイ4に表示する画像の処理手順について図14を参照しながら詳細に説明する。
そして、PC3は、設定された座標(Xt,Yt)を中心とする領域にターゲット6を表示し、当該ターゲット6の表示時間Tdの計時を開始する(ステップS602)。
同様に、評価画像においてターゲット6が表示される領域Aの階調値と、基準画像において領域Aに相当する領域Bの階調値との2次元相関係数r2を青色成分で算出する(ステップS606)。
赤色成分の2次元相関係数r1が基準値C以下であると判断する場合(ステップS607にて「赤色成分:YES」の場合)、赤色の得点を加算して、赤色の得点をディスプレイ4に表示する(ステップS608)。
この際、青色に加算する得点は、赤色に加算する得点よりも大きくする。このように、左手(青色の手袋が装着されている)をターゲット6が表示される領域Aに位置させた場合の方が、右手(赤色の手袋が装着されている)を領域Aに位置させた場合よりも加算する点数を大きくすることで、使用者5は左手を動かす機会が増えるため、効率よくリハビリテーションを行うことができる。
ターゲット6の表示時間Tdが最長表示時間Tdmax以下であると判断する場合(ステップS610:NO)、ステップS603以降の処理を実行する。
(6)本実施形態によれば、加算する点数を左手と右手で異なるようにしたため、使用者5は片方の手だけでなく、双方の手を使いながらリハビリテーションを行うことができる。このため、使用者5は効率よくリハビリテーションを行うことができる。
なお、この発明にかかる作業療法訓練支援装置1は、上記実施形態にて例示した構成に限定されるものではなく、同実施の形態を適宜変更した例えば次のような形態として実施することもできる。また以下の各変形例は、上記実施形態についてのみ適用されるものではなく、異なる変形例同士を互いに組み合わせて実施することもできる。
2…カメラ
3…PC
4…ディスプレイ
5…使用者
6…ターゲット
7…中央カメラ
8…端側カメラ
10…第一カメラ
11…第二カメラ
12…フィルタ
13…赤外光ライト
Claims (8)
- 画像を表示する表示画面と、前記表示画面の前方を表示画像として撮像する撮像手段とを備える作業療法訓練支援装置であって、
前記表示画像を前記表示画面に表示するとともに、前記表示画像を区画して形成された複数の領域のうち少なくともひとつの領域に所定画像を表示する表示手段と、
前記所定画像が表示される領域に使用者の所定部位が位置するか否かを前記表示画像に基づいて判断する判断手段とを備え、
前記表示画像には、前記所定画像が前記表示画面に表示される前に撮像される基準画像と、前記所定画像が前記表示画面に表示された後に撮像される評価画像とが含まれるものであり、
前記判断手段は、基準画像において前記所定画像が表示される領域に対応する領域の各画素の諧調値と、評価画像において前記所定画像が表示される領域の各画素の諧調値とについて、2次元相関係数を算出し、前記算出した2次元相関係数に基づいて、前記所定画像が表示される領域に使用者の所定部位が位置するか否かを判断する
ことを特徴とする作業療法訓練支援装置。 - 請求項1に記載の作業療法訓練支援装置において、
前記表示手段は、前記所定画像を、所定時間の経過毎に異なる領域に表示する
ことを特徴とする作業療法訓練支援装置。 - 請求項1または2に記載の作業療法訓練支援装置において、
前記所定画像が表示される領域に前記所定部位が位置していると前記判断手段を通じて判断されたときには、前記表示手段は、前記所定画像の表示形態を変更する
ことを特徴とする作業療法訓練支援装置。 - 請求項1〜3のいずれか一項に記載の作業療法訓練支援装置において、
前記所定画像が表示される領域に前記所定部位が位置していると前記判断手段を通じて判断されたときには、加点ポイントを加算する
ことを特徴とする作業療法訓練支援装置。 - 請求項1〜4のいずれか一項に記載の作業療法訓練支援装置であって、
それぞれ加点ポイントが定められた前記使用者の各所定部位を抽出し、
前記所定画像が表示される領域に前記所定部位が位置していると前記判断手段を通じて判断されたときには、前記領域に位置している所定部位に定められる前記加点ポイントを加算する
ことを特徴とする作業療法訓練支援装置。 - 請求項1〜5のいずれか一項に記載の作業療法訓練支援装置であって、
前記撮像手段は複数備えられるものであり、
前記判断手段は、前記各撮像手段を通じて撮像される各表示画像に基づいて、前記所定部位と前記表示画面との間の距離を算出し、
前記所定部位と前記表示画面との間が所定距離にあるときに、前記所定画像が表示される領域に使用者の所定部位が位置するか否かを判断する
ことを特徴とする作業療法訓練支援装置。 - 画像を表示画面に表示する表示手段と、前記表示画面の前方を表示画像として撮像する複数の撮像手段とを備える作業療法訓練支援装置であって、
前記表示手段は、前記複数の撮像手段のうちのひとつの撮像手段を通じて撮像された表示画像を前記表示画面に表示し、
前記表示画面に表示される前記表示画像を複数の領域に区画して、前記複数の領域のうち少なくともひとつの領域を選択し、
前記表示画面に対して垂直方向に延びる座標において表示座標を設定し、
前記選択した領域において設定した前記表示座標に応じて、設定される前記表示座標が所定値より大きい場合には、前記所定画像を、使用者から離れているように見えるべく小さい大きさにて表示するとともに、設定される前記表示座標が所定値より小さい場合には、前記所定画像を、使用者の近くにあるように見えるべく大きい大きさにて表示し、
前記複数の撮像手段を通じて撮像される各表示画像に基づいて、使用者の所定部位と前記表示画面との間の距離を算出し、
前記所定部位と前記表示画面との間が前記所定範囲にあるときに、前記所定画像が表示される領域に使用者の所定部位が位置するか否かを判断する判断処理を実行し、
前記判断手段は、設定される前記表示座標が所定値より大きい場合には、前記使用者の所定部位と前記表示画面との間が所定値よりも小さくなったことをもって、前記所定画像が表示される領域に使用者の所定部位が位置すると判断し、設定される前記表示座標が所定値より小さい場合には、前記使用者の所定部位と前記表示画面との間が所定値よりも大きくなったことをもって、前記所定画像が表示される領域に使用者の所定部位が位置すると判断する
ことを特徴とする作業療法訓練支援装置。 - 請求項1〜7のいずれか一項に記載の作業療法訓練支援装置であって、
前記撮像手段は、赤外光を撮像する
ことを特徴とする作業療法訓練支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011062412A JP5928676B2 (ja) | 2011-03-22 | 2011-03-22 | 作業療法訓練支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011062412A JP5928676B2 (ja) | 2011-03-22 | 2011-03-22 | 作業療法訓練支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012196315A JP2012196315A (ja) | 2012-10-18 |
JP5928676B2 true JP5928676B2 (ja) | 2016-06-01 |
Family
ID=47179185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011062412A Expired - Fee Related JP5928676B2 (ja) | 2011-03-22 | 2011-03-22 | 作業療法訓練支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5928676B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5974422B2 (ja) * | 2011-10-04 | 2016-08-23 | 長崎県公立大学法人 | 画像表示装置 |
JP2014238792A (ja) * | 2013-06-10 | 2014-12-18 | 長崎県公立大学法人 | 学習支援装置および学習支援方法 |
JP6895504B2 (ja) * | 2015-07-06 | 2021-06-30 | パラマウントベッド株式会社 | リハビリテーション支援装置 |
JP6573580B2 (ja) * | 2016-06-06 | 2019-09-11 | 株式会社ソフトアップJ | トレーニング支援装置 |
JP7029722B2 (ja) * | 2017-10-23 | 2022-03-04 | 株式会社Splink | Ar装置、方法及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09120464A (ja) * | 1995-08-21 | 1997-05-06 | Matsushita Electric Ind Co Ltd | リハビリテーション支援装置 |
JP2002000584A (ja) * | 2000-06-16 | 2002-01-08 | Matsushita Electric Ind Co Ltd | 関節可動域検査訓練システム |
JP2004212163A (ja) * | 2002-12-27 | 2004-07-29 | Kazuyoshi Tsukamoto | バーチャルスポーツシステム |
JP4323180B2 (ja) * | 2003-02-13 | 2009-09-02 | 日本電信電話株式会社 | 自己画像表示を用いたインタフェース方法、装置、およびプログラム |
JP2006325740A (ja) * | 2005-05-24 | 2006-12-07 | Nagasaki Univ | リハビリテーション支援システム及びプログラム |
WO2008099301A1 (en) * | 2007-02-14 | 2008-08-21 | Koninklijke Philips Electronics N.V. | Feedback device for guiding and supervising physical exercises |
JP2009277195A (ja) * | 2008-04-18 | 2009-11-26 | Panasonic Electric Works Co Ltd | 情報表示システム |
JP2011110215A (ja) * | 2009-11-26 | 2011-06-09 | Toyota Motor Kyushu Inc | リハビリテーション用システム、プログラム、およびプログラムを記録したコンピュータ読み取り可能な記録媒体 |
-
2011
- 2011-03-22 JP JP2011062412A patent/JP5928676B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012196315A (ja) | 2012-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6334925B2 (ja) | 動作情報処理装置及び方法 | |
JP5928676B2 (ja) | 作業療法訓練支援装置 | |
KR101118654B1 (ko) | 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법 | |
US20130171601A1 (en) | Exercise assisting system | |
JP6631250B2 (ja) | 立位姿勢評価装置 | |
US8605990B2 (en) | Image recognition device and image recognition method | |
JP5400077B2 (ja) | 運動支援システム | |
JP6369811B2 (ja) | 歩行解析システムおよび歩行解析プログラム | |
WO2012043540A1 (ja) | 重心移動訓練システム | |
JP5624625B2 (ja) | 運動支援システム | |
JPWO2007052755A1 (ja) | 呼吸モニタリング装置、呼吸モニタリングシステム、医療的処理システム、呼吸モニタリング方法、呼吸モニタリングプログラム | |
KR102073093B1 (ko) | 신체 균형 측정 시스템 | |
CN109219426B (zh) | 康复训练辅助控制装置以及计算机能够读取的记录介质 | |
JP5624488B2 (ja) | 運動機能測定システム | |
JP5652882B2 (ja) | 側弯症スクリーニングシステム、これに使用する側弯症判定プログラム,及び端末装置 | |
KR101657277B1 (ko) | 동작관찰을 통한 보행운동 대상자 맞춤형 실시간 되먹임 보행운동 장치 | |
JP2016087226A (ja) | 運動補助装置、運動補助方法、プログラム | |
Caetano et al. | Development of a biofeedback approach using body tracking with active depth sensor in asbgo smart walker | |
JP2013533999A (ja) | オプションを提示するための方法及び装置 | |
US20040059264A1 (en) | Footprint analyzer | |
US10094731B2 (en) | Standing position evaluation apparatus, standing position evaluation method, and non-transitory computer readable medium | |
JP6127302B2 (ja) | 運動補助装置、運動補助方法、プログラム | |
JP2018038679A (ja) | 立位姿勢評価装置 | |
JP5789738B2 (ja) | 重心移動訓練システム | |
JP2010069228A (ja) | 圧力分布測定センサ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140320 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140320 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140320 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160412 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5928676 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |