JP5760905B2 - 危険検知装置及び危険検知方法 - Google Patents

危険検知装置及び危険検知方法 Download PDF

Info

Publication number
JP5760905B2
JP5760905B2 JP2011212398A JP2011212398A JP5760905B2 JP 5760905 B2 JP5760905 B2 JP 5760905B2 JP 2011212398 A JP2011212398 A JP 2011212398A JP 2011212398 A JP2011212398 A JP 2011212398A JP 5760905 B2 JP5760905 B2 JP 5760905B2
Authority
JP
Japan
Prior art keywords
unit
position information
detection
dangerous state
danger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011212398A
Other languages
English (en)
Other versions
JP2013073445A (ja
Inventor
細田 篤
篤 細田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2011212398A priority Critical patent/JP5760905B2/ja
Publication of JP2013073445A publication Critical patent/JP2013073445A/ja
Application granted granted Critical
Publication of JP5760905B2 publication Critical patent/JP5760905B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、転倒などの危険状態の検出を行う危険検知装置及び危険検知方法に関する。
従来、高齢者を見守るためのカメラやセンサを設置して、長時間動きの無い場合に危険状態と判断する安全装置が知られている。また、危険状態を即座に検知する転倒検知装置も提案されている(例えば、特許文献1参照)。
特開2008−9498号公報
特許文献1に記載の転倒検知装置は、肩の位置を検出し、その垂直方向の変化量が大きい場合に転倒したと判断する。このような判断は、特許文献1に例示されたエスカレータ上などの場所では有効である。しかしながら、浴室やトイレ、居室などの室内では椅子などに座ることがあり、転倒でなくても肩が垂直方向に変化する場合がある。特許文献1に記載の転倒検知装置は、このような座ったときにも、転倒と誤検出してしまう恐れがあるという問題があった。
そこで、本発明が解決しようとする課題は、危険状態を短時間で、かつ精度よく検知することが可能な危険検知装置を提供することにある。
上記の課題を解決するために、本願発明は以下の装置、方法を提供するものである。1) 対象人物の身体上部の一点である計測点の位置情報を取得する位置情報取得部(101)と、前記位置情報の変化を示す移動ベクトルを算出する移動ベクトル算出部(102)と、前記移動ベクトルの垂直方向成分である垂直移動データに基づいて前記計測点の下降を検出する下降検出部(103)と、前記移動ベクトルの水平方向成分である水平移動データに基づいて前記計測点の反転を検出する反転検出部(104)と、前記下降検出部が下降を検出し、かつ前記反転検出部が反転を検出しなかったとき、危険状態と判定する危険状態判定部(106)と、前記危険状態判定部の判定結果に応じて危険情報を出力する出力部(107)とを備えることを特徴とする危険検知装置。
2)位置情報取得部と、移動ベクトル算出部と、下降検出部と、反転検出部と、危険状態判定部と、出力部、を備える危険検知方法であって、前記位置情報取得部が、対象人物の身体上部の一点である計測点の位置情報を取得する位置情報取得ステップ(ステップS503)と、前記移動ベクトル算出部が、前記位置情報の変化を示す移動ベクトルを算出する移動ベクトル算出ステップ(ステップS504)と、前記下降検出部が、前記移動ベクトルの垂直方向成分である垂直移動データに基づいて前記計測点の下降を検出する下降検出ステップ(ステップS505)と、前記反転検出部が、前記移動ベクトルの水平方向成分である水平移動データに基づいて前記計測点の反転を検出する反転検出ステップ(ステップS506)と、前記危険状態判定部が、前記下降検出ステップで下降と検出され、かつ前記反転検出ステップで反転と検出されなかったとき、危険状態と判定する危険状態判定ステップ(ステップS506)と、前記出力部が、前記危険状態判定ステップの判定結果に応じて危険情報を出力する出力ステップ(ステップS507)とを有することを特徴とする危険検知方法。
本発明によれば、危険な状態を短時間で、かつ精度よく検知することが可能な危険検知装置を提供することができる。
本発明の実施の形態における危険検知装置を示すブロック構成図である。 位置情報取得部の設置状態を示す模式図である。 本発明の実施の形態における危険検知置を用いた危険検知システムのシステム構成図である。 本発明の実施の形態における計測点の反転を示す模式図である。 本発明の実施の形態における危険検知装置における危険状態の判断のフローチャートの例である。 座る動作における頭部の位置を示す模式図である。 転倒時の頭部の位置を示す模式図である。 位置情報取得部で取得した頭部の位置情報と移動ベクトルの例である。 停止位置認識部で用いる寄りかかり領域の例である。
以下、本発明の危険検知装置について、実施の形態に基づき添付図面を参照して説明する。
<構成>
図1は、本実施形態の危険検知装置10を示すブロック構成図である。位置情報取得部101は、見守り対象の人物(以下、対象人物とする)の身体上部の一点を計測点とし、計測点の位置情報である三次元座標データを所定の間隔で取得する。計測点はたとえば頭部であるが、これに限らず、肩部、胸部など、身体上部の一点であればよい。
位置情報取得部101は、たとえば三次元計測が可能なステレオカメラやTOF(Time-of-Flight、距離画像)カメラなどの撮像部と画像認識部とで構成し、撮像部で対象人物全体とその頭部の画像を撮像し、画像認識部で画像認識を行って頭部を識別し、頭部の三次元座標データを取得する。また、別の例として位置情報取得部101を天井に設置した超音波センサとカメラとで構成し、超音波センサで頭部の垂直方向の高さを取得するとともに、カメラで頭部の水平方向の位置情報を取得してもよい。さらに、装着型の発信器を頭部や肩に装着したり胸ポケットに入れ、これをセンサで検出する構成としてもよい。これらの技術は、たとえば特開2002−352231号などに詳細が開示された公知の技術であり、本願では説明を省略する。
本実施の形態における位置情報検出部101の設置状態を図2に示す。本実施の形態では、浴槽201の上部の天井202に、位置情報取得部101の撮像部としてステレオカメラ203を設けている。ステレオカメラ203の設置位置は天井202に限らず、壁面でもよく、浴室内の全体を撮像できる位置であればよい。位置情報取得部101は、ステレオカメラ203で撮像した画像から、画像認識により対象人物の頭部の位置情報として三次元座標データを取得し、取得した頭部の三次元座標データを移動ベクトル算出部102へ送る。
移動ベクトル算出部102は、位置情報取得部101で取得した頭部の三次元座標データから、単位時間ごとの差分を計算し、三次元の移動ベクトルを算出する。単位時間は位置情報取得部101の三次元座標データの取得タイミングと同一であってもよいが、後述の座ったときと転倒したときの移動ベクトルを検出するのに好適な単位時間を別途設定し、設定した単位時間ごとに差分を計算してもよい。
移動ベクトル算出部102はまた、算出した移動ベクトルからその水平方向成分である水平移動データと、垂直方向成分である垂直移動データとを抽出する。そして抽出した垂直移動データを下降検出部103へ送り、水平移動データを反転検出部104へ送る。
下降検出部103は、移動ベクトル算出部102でから送られた垂直移動データが、いったん所定の閾値を超えて下降したのちに停止したとき、計測点が下降したものと検出する。
水平方向ベクトル反転検出部104は、移動ベクトル算出部102から送られた水平移動データに基づいて、計測点の反転を検出する。ここで反転とは、図4a)に示すように、ある時点での移動ベクトル41の水平方向成分の方向を基準(0°)としたとき、図4b)に示す次の時点での移動ベクトル42の水平方向成分の方向が補助線43の150°から補助線44の210°の角度範囲内であるときを反転であるとする。
危険状態判定部106は、下降検出部103の検出結果と、反転検出部104の検出結果と、停止位置認識部105の認識した位置とから、対象人物の状態が危険状態かどうかを判定する。判定の詳細については後述する。
出力部107は、検出された危険情報を出力する。危険情報の出力は、たとえば警告音を発したり回転灯を点灯させたりすることにより行う。これにより、周囲の人間が様子を見たり救助を行うことができる。
<危険状態の判定方法>
ここで本実施の形態における危険状態の判定の方法について説明する。本実施の形態では、危険状態とは、不注意、或いは何らかの疾患により意識障害が発生するなどして、急に転倒する状態を指すものとする。このようなケースでは、人体は、床に倒れたり、何かにもたれるように下降する。
一方、通常の座ったりする動作でも人体が下降するので、こういった動作が頻繁になされる室内などで危険状態を検出しようとする場合は、これらを混同することなく検出処理を行わなければならない。そのため、本実施の形態の危険検知装置では、身体上部の移動ベクトルを用いて計測点の反転を検出する。
図6に、椅子62に座るときの対象人物の姿勢61を示す。椅子に座る場合、人体がバランス(重心)をとりながら動く。最初の姿勢61aから、まず頭を前方に倒してかがんだ姿勢61bとなり、それから足を曲げて体が下がって座る姿勢61cとなる。このときの身体上部の動きを矢印62で示すと、矢印62aから矢印62bへと、「く」の字のような動きを示す。この身体上部の動きを垂直方向と水平方向の動きに分けてみると、垂直方向には下降を続け、水平方向にはいったん前方に進んで次に後方に戻る。つまり身体上部の水平方向の動きは、ある時点の前後で反転する。
これに対し、転倒するときの対象人物の姿勢71を図7に示す。転倒の場合は、身体上部に複雑な動きは無く、最初の姿勢71aから概ね直線的に下がっていき、転倒した姿勢71bとなる。このときの身体上部の水平方向の動きは、多少の方向変化はあっても、反転することは無い。
したがって、身体上部が下降中に水平方向に反転するか否かを検出することで、転倒と座る動作の区別をつけることができる。
また、めまいなどでふらついて周囲にもたれたり寄りかかるケースにおいてはやはり身体上部が「く」の字の動きを示すことがあるが、その場合は自己で対処可能な状態であるので、本発明の実施の形態においては検出の対象としないこととする。
<作用>
このように構成される危険検知装置10が浴室に設置され、危険状態を検出するときの例について、図5のフローチャートに沿って説明する。本位置情報取得部101は、ステレオカメラで画像を撮像する(ステップS501)。そして撮像した画像から画像認識により対象人物の頭部を抽出し(ステップS502)、頭部の位置情報を単位時間ごとに三次元座標データとして取得する(ステップS503)。取得した三次元座標データの例を図8a)に示す。位置情報取得部101は、図8a)に示す三次元座標データを移動ベクトル検出部102と停止位置認識部105とへ送る。
移動ベクトル算出部102は、送られた三次元座標データの単位時間ごとの差分をとり、図8b)に示すような、頭部の位置の変化を示す移動ベクトルを算出する(ステップS504)。移動ベクトル算出部102は、算出した移動ベクトルのうち、図8b)のzの行に示す垂直移動データを、下降検出部103に送る。
下降検出部103は、垂直移動データの単位時間当たりの下降量が閾値を超えている部分があるどうか判断する(ステップS505)。これは、頭部が少し下がったときは転倒ではないとして、頭部が大きく下がったときのみを転倒かどうか判断する危険候補とするものである。図8b)の例では、閾値を−10として、z方向成分のマイナスの値が−10を超えた部分、すなわちNo.4、5、6、7がそれに相当する。下降検出部103は、このようにして閾値を超えている部分を検出したら、その前後に連続する下降を示している時間の範囲を、危険候補として危険状態判定部106へ送る。本実施例では、No.3からNo.7の範囲である。
なお、下降の判断の方法は、単位時間当たりの下降量をしきい値と比較する方法だけでなく、下降を開始してから停止するまでの総下降量をしきい値と比較する方法や、下降を停止した位置をしきい値と比較する方法など、垂直移動データを用いて下降を判断する方法であれば他の方法であってもよい。
移動ベクトル算出部102はまた、算出した移動ベクトルのうち、図8b)のxとyの行に示す水平移動データを、反転検出部104に送る。反転検出部104は、まず送られた水平移動データから、水平方向の移動ベクトルのx軸との角度を算出する。図8b)において、arctan(y/x)を算出することにより、移動ベクトルのx軸との角度を算出することができる。次に、反転検出部104は、連続する移動ベクトルの角度の差分を求める。そして反転検出部104は、求めた差分が所定の範囲内、ここでは150°〜210°の範囲にあるかどうかをみて、範囲内であれば反転であると判断し、反転した時間危険状態判定部106に通知しない。図8b)の例では、No.4の(x,y,z)=(5,0,−10)とNo.5の(−5,0,−35)の間で180°方向が変わっているので、反転検出部104はこの時間反転と判断して危険状態判定部106に通知しない。
危険状態判定部106は、下降検出部103から送られた危険候補の時間の範囲内で、反転検出部104から否反転の通知があるかを確認し、否反転の通知があったときは危険と判断する(ステップS506)。
出力部107は、危険状態判定部106が危険と判断したら、危険情報を出力する(ステップS506)。危険情報の出力は、たとえば警告音を発したり回転灯を点灯させたりすることにより行う。これにより、周囲の人間が様子を見たり救助を行うことができる。また、警告音や回転等灯の光により本人の意識が戻る可能性もある。
ただし、一人暮らしの高齢者の自宅に設置した危険検知装置などでは、警告音や回転灯で報知を行なっても、様子を見たり救助を行う人間がいないおそれがある。そのような場合に備え、危険検知装置をネットワークに接続し、危険検知システムを構成することも好適である。図3に危険検知システムの例を示す。自宅30に設置した危険検知装置10に通信部を設け、ネットワーク31を介して介護センタ32のセンタ装置33に接続する。危険検知装置10の出力部107が危険情報として警告信号を出力すると、その出力が通信部からネットワーク31を介して介護センタ32のセンタ装置22に送られる。介護センタ32では複数の危険検知装置10を一箇所で集中的に見守ることができるので、常時係員を配置して見守りを行うことが容易である。そのため、センタ装置33に危険情報が送られると、すぐに係員が様子を見に行ったり、救急車の手配を行うことができる。
さらに、センタ装置33と危険検知装置10との間にネットワーク31を介して音声通話ができるよう、それぞれにマイクとスピーカと音声通信を行う送受信部を設けることも好適である。その場合、危険情報を受信した係員は、様子を見に行ったり救急車の手配をする前に、センタ装置33のマイクから送受信部とネットワーク31を通して危険検知装置のスピーカーへ呼びかけを行って、状況を確認することができる。
さらに、危険検知装置10の位置情報取得部101が取得した位置情報の3次元座標データを、危険検知装置10の送信部からネットワーク31を介してセンタ装置33に送ることも好適である。これにより、介護センタ32の係員は、対象人物が立っているか座っているか、動いているかとまっているか、といった状況を把握することができ、より正確に危険状態かどうかを判断することができる。
<位置情報を用いた危険状態の判定の例>
危険状態の判断に、垂直移動データと水平移動ベクトルのを用いた判定のほかに、対象人物の位置情報を利用した判定の例を説明する。位置情報取得部101は、図8a)に示す三次元座標データを停止位置認識部105へ送る。
一般に、頭部の位置が床面に近い場合は、転倒した可能性が高い。したがって、停止位置認識部105は、頭部の垂直座標がしきい値、たとえば50cmよりも小さい状態が所定の時間、たとえば10秒以上経過した場合は、危険状態判定部106が危険状態と判断して、出力部107から危険情報を出力する。
さらに、対象人物が浴槽や壁に近接した領域で気を失った場合は、完全には転倒せずに壁や浴槽に寄りかかって気を失う可能性がある。その場合、頭部の位置がそれほど低くならない可能性がある。
したがって、停止位置認識部105は、まず計測点の三次元座標データのx、y座標を、予め定めた寄りかかり領域と比較し、対象人物があらかじめ定められた寄りかかり領域にいるかどうか判断する。ここで寄りかかり領域とは、浴槽や壁に近接した領域であり、寄りかかり領域の例を図9a)に示す。図9a)において黒く塗りつぶした領域が寄りかかり領域であり、その外周部が壁、白い波線で示したのが浴槽である。
停止位置認識部105は、対象人物が寄りかかり領域にあると判断した場合、頭部の垂直座標にかかわらず頭部が所定の時間、たとえば60秒以上経過した場合は、危険状態判定部106が危険状態と判断して、出力部107から危険情報を出力する。
逆に、対象人物が浴槽につかっている場合、ある程度の時間は動かない場合がある。そのため、停止位置認識部105は、領域テーブルに浴槽内の領域も記憶させておき、対象人物が浴槽内にいる場合は、前述の所定の時間を長くしてもよい。図9b)に浴槽内の領域の例を示す。図9b)において、波線で示した浴槽に対し、黒く塗りつぶした部分が、浴槽内の領域である。対象人物が浴槽に入っている場合、浴槽のやや外に頭部がある場合を配慮して、浴槽よりやや広く領域を設定している。停止位置認識部105は、対象人物が浴槽内にいると判断した場合、頭部の垂直座標にかかわらず頭部が所定の時間、たとえば10分以上経過した場合は、危険状態判定部106が危険状態と判断して、出力部107から危険情報を出力する。このようにして危険状態を判定することにより、さらに正確に危険状態を判定することができる。
以上のように、本発明の危険検知装置は、対象人物の行動を、身体上部の高さ方向の位置情報のみでなく、身体上部の水平方向の動きの変化の状態により判定するので、座る動きと転倒を精度よく区別できるとともに、転倒して短時間で危険を検知することができる。
10 危険検知装置
101 位置情報取得部
102 移動ベクトル算出部
103 反転検出部
104 下降検出部
105 停止位置認識部
106 危険状態判定部
107 出力部

Claims (2)

  1. 対象人物の身体上部の一点である計測点の位置情報を取得する位置情報取得と、
    前記位置情報の変化を示す移動ベクトルを算出する移動ベクトル算出と、
    前記移動ベクトルの垂直方向成分である垂直移動データに基づいて前記計測点の下降を検出する下降検出と、
    前記移動ベクトルの水平方向成分である水平移動データに基づいて前記計測点の反転を検出する反転検出と、
    前記下降検出が下降を検出し、かつ前記反転検出が反転を検出しなかったとき、危険状態と判定する危険状態判定部と、
    前記危険状態判定部の判定結果に応じて危険情報を出力する出力部と
    を備えることを特徴とする危険検知装置。
  2. 位置情報取得部と、移動ベクトル算出部と、下降検出部と、反転検出部と、危険状態判定部と、出力部、を備える危険検知方法であって、
    前記位置情報取得部が、対象人物の身体上部の一点である計測点の位置情報を取得する位置情報取得ステップと、
    前記移動ベクトル算出部が、前記位置情報の変化を示す移動ベクトルを算出する移動ベクトル算出ステップと、
    前記下降検出部が、前記移動ベクトルの垂直方向成分である垂直移動データに基づいて前記計測点の下降を検出する下降検出ステップと、
    前記反転検出部が、前記移動ベクトルの水平方向成分である水平移動データに基づいて前記計測点の反転を検出する反転検出ステップと、
    前記危険状態判定部が、前記下降検出ステップで下降と検出され、かつ前記反転検出ステップで反転と検出されなかったとき、危険状態と判定する危険状態判定ステップと、
    前記出力部が、前記危険状態判定ステップの判定結果に応じて危険情報を出力する出力ステップとを有することを特徴とする危険検知方法。
JP2011212398A 2011-09-28 2011-09-28 危険検知装置及び危険検知方法 Active JP5760905B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011212398A JP5760905B2 (ja) 2011-09-28 2011-09-28 危険検知装置及び危険検知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011212398A JP5760905B2 (ja) 2011-09-28 2011-09-28 危険検知装置及び危険検知方法

Publications (2)

Publication Number Publication Date
JP2013073445A JP2013073445A (ja) 2013-04-22
JP5760905B2 true JP5760905B2 (ja) 2015-08-12

Family

ID=48477889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011212398A Active JP5760905B2 (ja) 2011-09-28 2011-09-28 危険検知装置及び危険検知方法

Country Status (1)

Country Link
JP (1) JP5760905B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6297822B2 (ja) * 2013-11-19 2018-03-20 ルネサスエレクトロニクス株式会社 検知装置、検知システム及び検知方法
JP6314517B2 (ja) * 2014-02-10 2018-04-25 富士通株式会社 状態通知方法、装置、およびプログラム
JP6424542B2 (ja) * 2014-09-25 2018-11-21 富士通株式会社 人物の動作モニタ方法、人物の動作モニタプログラムおよび情報処理装置
JP6557853B2 (ja) * 2015-02-23 2019-08-14 株式会社国際電気通信基礎技術研究所 異常状態通知システム、異常状態通知プログラム、異常状態通知方法および異常状態通知装置
WO2016181731A1 (ja) * 2015-05-11 2016-11-17 コニカミノルタ株式会社 転倒検知装置および転倒検知方法ならびに被監視者監視装置
US20180300538A1 (en) * 2015-06-10 2018-10-18 Konica Minolta, Inc. Image processing system, image processing apparatus, image processing method, and image processing program
JP6978080B2 (ja) * 2016-08-22 2021-12-08 株式会社イデアクエスト 個室見守り装置
CN112415507B (zh) * 2019-08-20 2024-03-29 富士通株式会社 检测浴室内的危险状态的方法、装置和电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000253382A (ja) * 1999-02-25 2000-09-14 Matsushita Electric Works Ltd 転倒検知装置
SE0203483D0 (sv) * 2002-11-21 2002-11-21 Wespot Ab Method and device for fall detection
US8427324B2 (en) * 2010-07-30 2013-04-23 General Electric Company Method and system for detecting a fallen person using a range imaging device

Also Published As

Publication number Publication date
JP2013073445A (ja) 2013-04-22

Similar Documents

Publication Publication Date Title
JP5760905B2 (ja) 危険検知装置及び危険検知方法
Yu Approaches and principles of fall detection for elderly and patient
Wang et al. An enhanced fall detection system for elderly person monitoring using consumer home networks
TWI574230B (zh) 防止跌落裝置與其操作方法
Bevilacqua et al. Fall detection in indoor environment with kinect sensor
CN105700488B (zh) 一种目标人体活动信息的处理方法及系统
JP6984712B2 (ja) 被監視者監視システムおよび被監視者監視システムのプログラム
JP5924820B2 (ja) トイレ見守り方法およびこれに用いるトイレ見守り装置
WO2011055255A1 (en) Method and system for revoking a fall alarm field of the invention
KR20160080046A (ko) 사용자의 낙상 여부를 감지하는 낙상 감지 서버 및 낙상 감지 서버가 수행하는 낙상 감지 방법
JP6086468B2 (ja) 被写体見守りシステム
US10509967B2 (en) Occupancy detection
TW201701238A (zh) 跌倒偵測系統及方法
JP6791731B2 (ja) 姿勢判定装置及び通報システム
WO2018058788A1 (zh) 一种基于智能鞋的状态识别方法及系统
WO2012002904A1 (en) Device and method for detection of abnormal spatial states of a human body
KR101629219B1 (ko) 얼굴인식을 통해 이용을 제한하는 엘리베이터 감시장치
JP2009268790A (ja) 離床予測装置及び離床予測方法
JP5870230B1 (ja) 見守り装置、見守り方法および見守りプログラム
US20220084383A1 (en) System and method for monitoring an individual using lidar
KR102404971B1 (ko) 환자의 낙상 감시시스템 및 그 감시방법
JPWO2018016392A1 (ja) 姿勢検出装置及び姿勢検出方法
JP2020013185A (ja) 見守り装置および見守り装置の制御プログラム
Wohlrab et al. Hom-e-call-an enhanced fall detection system based on accelerometer and optical sensors applicable in domestic environment
JP7137155B2 (ja) 被監視者監視支援システム、被監視者監視支援方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150525

R150 Certificate of patent or registration of utility model

Ref document number: 5760905

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150