JP5997463B2 - 転倒検知装置および転倒検知方法 - Google Patents

転倒検知装置および転倒検知方法 Download PDF

Info

Publication number
JP5997463B2
JP5997463B2 JP2012050765A JP2012050765A JP5997463B2 JP 5997463 B2 JP5997463 B2 JP 5997463B2 JP 2012050765 A JP2012050765 A JP 2012050765A JP 2012050765 A JP2012050765 A JP 2012050765A JP 5997463 B2 JP5997463 B2 JP 5997463B2
Authority
JP
Japan
Prior art keywords
center
fall
detection
gravity
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012050765A
Other languages
English (en)
Other versions
JP2013185924A (ja
Inventor
創 恒次
創 恒次
美智子 小川
美智子 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SOHGO SECURITY SERVICES CO.,LTD.
Original Assignee
SOHGO SECURITY SERVICES CO.,LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SOHGO SECURITY SERVICES CO.,LTD. filed Critical SOHGO SECURITY SERVICES CO.,LTD.
Priority to JP2012050765A priority Critical patent/JP5997463B2/ja
Publication of JP2013185924A publication Critical patent/JP2013185924A/ja
Application granted granted Critical
Publication of JP5997463B2 publication Critical patent/JP5997463B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、転倒検知装置および転倒検知方法に関する。
従来、一人暮らしの高齢者や被介護者の動きを検出し、転倒等の状態を検出する装置が知られている。例えば、特許文献1には、被介護者の位置を検出し、検出した位置に基づいて被介護者の状態を監視する装置が開示されている。
また、人間を検出する方法としては、特許文献1に開示されているような測距データを用いる他に、カメラによる画像撮像、人間の温度検出などの方法が挙げられる。例えば、特許文献2には、サーモパイルを用いて人間を検知する技術が開示されている。
特開2002−345766号公報 特開2011―208936号公報
しかしながら、従来の人間の状態を監視する装置はいずれも高価な装置であり、例えば高齢者の自宅の複数の部屋に設置するような利用形態ではコスト高となってしまうという問題があった。このため、転倒検知精度が低下することなく、低コストで人間の転倒を検知する装置が望まれている。
本発明は、上記に鑑みてなされたものであって、低コストで精度よく人間の転倒を検知することのできる転倒検知装置および転倒検知方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、人間の転倒を検知する転倒検知装置であって、互いに異なる複数の検知領域であって、鉛直方向において検知されないエリアが存在しないように、鉛直方向に隣接する隣接検知領域と重なる重なり領域を有する前記複数の検知領域の温度を検知する複数のサーモパイルを有するサーモパイルユニットと、第1経過時間が経過する度に前記複数のサーモパイルそれぞれから、検知した温度を示す温度情報を取得し、前記温度情報を取得する度に、取得した前記温度情報と、各サーモパイルの前記検知領域の位置と、前記温度が検知された時刻とを対応付けて温度情報記憶部に書き込む温度情報取得部と、前記温度情報に示される各サーモパイルの前記第1経過時間の経過前と経過後の前記温度の差分を算出し、各差分と第1閾値とを比較し、前記第1閾値以上の前記差分が算出された前記サーモパイルに対応する前記検知領域を変化領域として検出する変化領域検出部と、前記変化領域検出部が前記変化領域を検出した場合に、前記変化領域それぞれの位置および温度に基づいて、前記変化領域の重心位置を算出する重心位置算出部と、前記重心位置算出部により、第1検知時刻に前記温度情報取得部が取得した前記温度情報に基づいて算出された前記重心位置の高さ方向の成分と、前記第1検知時刻より後の第2検知時刻に前記温度情報取得部が取得した前記温度情報に基づいて算出された前記重心位置の高さ方向の成分の重心差分を算出する重心差分算出部と、前記重心差分が第2閾値よりも大きい場合に、前記第2検知時刻に人間の転倒を検知したと判定する転倒判定部と、前記転倒判定部が前記人間の転倒を検知したと判定した場合に、転倒を検知した旨を出力する転倒出力部とを備えることを特徴とする。
また、本発明は、人間の転倒を検知する転倒検知装置で実行される転倒検知方法であって、複数のサーモパイルを有するサーモパイルユニットが、互いに異なる複数の検知領域であって、鉛直方向において検知されないエリアが存在しないように、鉛直方向に隣接する隣接検知領域と重なる重なり領域を有する前記複数の検知領域の温度を検知する工程と、第1経過時間が経過する度に前記複数のサーモパイルそれぞれから、検知した温度を示す温度情報を取得し、前記温度情報を取得する度に、取得した前記温度情報と、各サーモパイルの前記検知領域の位置と、前記温度が検知された時刻とを対応付けて温度情報記憶部に書き込む温度情報取得工程と、前記温度情報に示される各サーモパイルの前記第1経過時間の経過前と経過後の前記温度の差分を算出し、各差分と第1閾値とを比較し、前記第1閾値以上の前記差分が算出された前記サーモパイルに対応する前記検知領域を変化領域として検出する変化領域検工程と、前記変化領域検出工程において前記変化領域を検出した場合に、前記変化領域それぞれの位置および温度に基づいて、前記変化領域の重心位置を算出する重心位置算出工程と、前記重心位置算出工程において、第1検知時刻に取得された前記温度情報に基づいて算出された前記重心位置の高さ方向の成分と、前記第1検知時刻より後の第2検知時刻に取得された前記温度情報に基づいて算出された前記重心位置の高さ方向の成分の重心差分を算出する重心差分算出工程と、前記重心差分が第2閾値よりも大きい場合に、前記第2検知時刻に人間の転倒を検知したと判定する転倒判定工程と、前記転倒判定工程において前記人間の転倒を検知したと判定した場合に、転倒を検知した旨を出力する転倒出力部工程とを含むことを特徴とする。
本発明によれば、低コストで精度よく人間の転倒を検知することができるという効果を奏する。
図1は、実施の形態にかかる転倒検知装置の構成を示すブロック図である。 図2は、転倒検知装置の設置例を示す図である。 図3−1は、yz平面に投影された検知エリアを示す図である。 図3−2は、xz平面における各サーモパイルの検知エリアを示す図である。 図4−1は、サーモパイルによる立位の人間の検知例を示す図である。 図4−2は、サーモパイルによる立位の人間の検知例を示す図である。 図5は、転倒処理部の機能構成を示すブロック図である。 図6は、電圧記憶部のデータ構成を模式的に示す図である。 図7は、基準電圧算出部の処理を説明するための図である。 図8は、電圧差分算出部の処理を説明するための図である。 図9は、転倒検知処理を示すフローチャートである。 図10は、立位人間判定処理(ステップS100)における詳細な処理を示すフローチャートである。 図11−1は、立位の人間の検知の有無を判定する処理の一例を示す図である。 図11−2は、立位の人間の検知の有無を判定する処理の一例を示す図である。 図11−3は、立位の人間の検知の有無を判定する処理の一例を示す図である。 図12−1は、対象範囲を示す図である。 図12−2は、対象範囲を示す図である。 図12−3は、対象範囲を示す図である。 図13−1は、重心位置を算出する処理を説明するための図である。 図13−2は、重心位置を算出する処理を説明するための図である。 図14は、転倒検知処理を示すフローチャートである。 図15は、転倒判定処理(ステップS131)における詳細な処理を示すフローチャートである。 図16−1は、電圧変化エリア特定処理(ステップS140)における処理を説明するための図である。 図16−2は、電圧変化エリア特定処理(ステップS140)における処理を説明するための図である。 図16−3は、電圧変化エリア特定処理(ステップS140)における処理を説明するための図である。 図17は、重心位置を算出する処理を説明するための図である。 図18は、タイムアウト処理(ステップS137)における詳細な処理を示すフローチャートである。 図19−1は立位の人間の検出例を説明するための図である。 図19−2は立位の人間の検出例を説明するための図である。 図20は、y方向への転倒を示す図である。 図21−1は、サーモパイルユニットから遠ざかる方向への転倒を示す図である。 図21−2は、サーモパイルユニットから遠ざかる方向への転倒を示す図である。 図21−3は、サーモパイルユニットから遠ざかる方向への転倒を示す図である。 図22−1は、サーモパイルユニットに近付く方向への転倒を示す図である。 図22−2は、サーモパイルユニットに近付く方向への転倒を示す図である。 図23は、サーモパイルユニットに近付く方向への歩行を示す図である。
以下に添付図面を参照して、転倒検知装置および転倒検知方法の実施の形態を詳細に説明する。
図1は、実施の形態にかかる転倒検知装置1の構成を示すブロック図である。転倒検知装置1は、サーモパイルユニット100と、転倒処理部200とを備え、人間の転倒を検知する。
サーモパイルユニット100は、複数のサーモパイルアレイ110を備えている。さらに、サーモパイルアレイ110は、8列に配列された複数のサーモパイル111〜118を有している。以下、サーモパイルアレイ110に含まれる各サーモパイルの水平方向に構成される検知エリアに対応する配列を列と称し、鉛直方向に配置された各サーモパイルアレイ110,120,130に対応する配列を行と称する。
なお、本実施の形態においては、8個のサーモパイルが配列された3段のサーモパイルアレイ110,120,130を有するサーモパイルユニット100を例に説明するが、サーモパイルアレイの数およびレイアウトは実施の形態に限定されるものではない。例えば、サーモパイルユニット100は、4段のサーモパイルアレイを有してもよい。
各サーモパイルは、それぞれが検知対象とする検知エリア(検知領域)の赤外線を受け、赤外線の入射エネルギーに応じた電圧を出力する。赤外線のエネルギーは温度に相当する値であり、すなわち各サーモパイルは、検知エリアの温度を検知し、検知した温度に相当する電圧を転倒処理部200に出力する。
一般的な住居など、空調等によって適切な温度が設定されている空間においては、人間の表面温度が、周囲の温度に比べて高いことから、サーモパイルの検知エリア内に人間が進入すると、サーモパイルはより高い温度を検知する。転倒処理部200は、人間の進入に伴う、サーモパイルユニット100の各サーモパイルから出力された電圧の変化に基づいて人間を検知し、さらに、人間の熱分布の重心位置を算出し、重心位置の変化に基づいて人間の転倒を検出する。
図2は、転倒検知装置1の設置例を示す図である。転倒検知装置1は、転倒検出の対象となる領域の上部に設置された状態で転倒検知を行う。転倒検知装置1は、具体的には、対象となる部屋の壁または天井等に設置される。ここで、鉛直方向、すなわち高さ方向をz方向と定める。さらに、水平面をxy平面と定める。xy平面内の方向のうち、行方向に配列された複数のサーモパイルに対応する複数の検知エリアの配列方向をy方向と定める。さらに、zy平面内の方向のうち、y方向に垂直な方向をx方向と定める。なお、サーモパイルユニット100の設置位置から、検知エリアに向かう方向をx軸のプラスの方向と定める。
図3−1は、yz平面に投影された検知エリアを示す図である。図3−2は、xz平面における各サーモパイルの検知エリアを示す図である。図3−1および図3−2に示すように、高さ方向(z方向)において検知されないエリアが存在しないように、各検知エリアの一部と、各検知エリアに高さ方向において隣接する隣接検知エリアの一部とが重なるように各サーモパイルが設定されている。すなわち、各検知エリアは、高さ方向において隣接検知エリアと重なる重なり領域350を有している。
例えば、第1列の3つの検知エリア311,321,331においては、検知エリア311と検知エリア321は、いずれも重なり領域350を有している。また、検知エリア321と検知エリア331は、いずれも重なり領域350を有している。
なお、各検知エリアの位置の調整は、サーモパイルユニット100における各サーモパイルの配置位置および各サーモパイルのレンズ角度などを調整することにより行われる。
本実施の形態のサーモパイルユニット100の検知エリアは、高さ方向において重なり領域を有するが、y方向においては隣接検知エリアとの重なり領域を有さず、すなわち、y方向においては、隣り合う検知エリアの間には、いずれのサーモパイルによっても検知されないエリアが存在する。他の例としては、検知エリアは、y方向においても、隣接検知エリアと重なる重なり領域を有することとしてもよい。
図4−1および図4−2は、サーモパイルによる立位の人間の検知例を示す図である。ここで、立位とは、立っている状態および歩行中の状態である。図4−1に示すように、検知エリア311,321,331が高さ方向において重なり領域を有する場合には、図4−2に示すように、検知エリア411,421,431が高さ方向において離れて配置されている場合に比べて精度よく人間の表面温度を検知することができる。
本実施の形態にかかる転倒検知装置1は、人間の面積に対する重心位置ではなく、人間表面の熱分布の重心位置を算出するものであり、さらに重心位置の変化に基づいて人間の転倒を検知するものである。
また、転倒検知の対象となる人間は、衣服を着ていることから、頭部および手の部分において、より高い温度が検出される傾向にある。したがって、図4−1に示すように、頭部等の温度を確実に検出することにより、図4−2に示すように、頭部の温度を検出できない場合に比べて、より高い位置を重心位置として算出することができる。これにより、立位の人間の重心位置と、転倒時の人間の重心位置とが大きく異なることとなるので、立位と転倒を精度よく判別することが可能となる。
図5は、転倒処理部200の機能構成を示すブロック図である。転倒処理部200は、電圧取得部201と、電圧記憶部202と、基準電圧算出部203と、基準電圧記憶部204と、電圧差分算出部205と、電圧差分記憶部206と、変化エリア検出部207と、人間進入カウンタ208と、重心更新カウンタ209と、人間進入出力部210と、重心位置算出部211と、重心位置記憶部212と、重心差分算出部213と、転倒判定部214と、転倒カウンタ215と、転倒出力部216と、タイムアウト処理部217と、タイムアウトカウンタ218とを有している。
電圧取得部201は、サーモパイルユニット100の各サーモパイルから出力された電圧値を定期的に取得し、これを電圧記憶部202に書き込む。電圧取得部201は具体的には、サーモパイルユニット100から出力された電圧をA/D変換することにより、電圧値を示すデジタル信号を得る。電圧取得部201は、取得した電圧値を、出力元のサーモパイルの検知エリアの位置と、電圧値を取得した時刻に対応付けて電圧記憶部202に書き込む。なお、本実施の形態においては、電圧取得部201が10Hzの周期で電圧値を取得する場合を例に説明する。上述のように、電圧値は温度に相当する値であり、電圧取得部201は、温度を示す温度情報を取得する温度情報取得部に相当し、電圧記憶部は温度情報記憶部に相当する。
図6は、電圧記憶部202のデータ構成を模式的に示す図である。図6に示すように、電圧記憶部202は、所定の時刻にサーモパイルユニット100の複数のサーモパイルから取得した複数の電圧値を1データセットとし、複数のデータセットを取得時刻に対応付けて履歴として蓄積している。
各データセットは、サーモパイルユニット100において行列に配列された各サーモパイルの検知エリアの位置と各サーモパイルから得られた電圧値とを対応付けて記憶している。すなわち、各データセットは、「サーモパイルアレイが有するサーモパイルの数」×「サーモパイルアレイの数」の配列を有しており、各フィールドに電圧値が書き込まれている。
なお、他の例としては、各検知エリアに識別番号を付与し、識別番号と電圧値とを対応付けて記憶してもよい。このように、電圧記憶部202は、電圧値を、当該電圧値に対応する検知エリアを識別可能に記憶すればよく、記憶形式は実施の形態に限定されるものではない。
図5に戻り、基準電圧算出部203は、電圧記憶部202に記憶されている電圧値に基づいて基準電圧値を算出する。ここで、基準電圧値とは、人間が存在しない場合に検知される赤外線のエネルギーに応じた電圧値である。人間が存在しないことが予めわかっている時間帯のサーモパイルユニット100の検知結果を電圧記憶部202に記憶しておき、基準電圧算出部203は、この検知結果に基づいて、各サーモパイルの基準電圧を算出する。
図7は、基準電圧算出部203の処理を説明するための図である。基準電圧算出部203は、電圧記憶部202に記憶されている一定時間に得られた複数のデータセットにおいて、同一の検知エリアに対する電圧値の平均値を算出し、これを検知エリアの基準電圧値とする。
図5に戻り、電圧差分算出部205は、電圧記憶部202に記憶された電圧値と、基準電圧記憶部204に記憶されている基準電圧値の差分を電圧差分として算出する。
図8は、電圧差分算出部205の処理を説明するための図である。電圧差分算出部205は、同一のサーモパイルに対して電圧記憶部202に記憶されている最新の電圧値と基準電圧記憶部204に記憶されている基準電圧値の差分を算出し、これを電圧差分として電圧差分記憶部206に記憶する。
電圧差分記憶部206は、図6を参照しつつ説明した電圧記憶部202と同様に、所定の時刻に取得した複数の電圧値から得られた複数の電圧差分を1データセットとし、複数のデータセットを取得時刻に対応付けて履歴として蓄積している。
図5に戻り、変化エリア検出部207は、電圧差分記憶部206に記憶されている電圧差分と予め設定された電圧差分閾値とを比較し、電圧差分閾値以上の電圧差分が算出された検知エリアを電圧変化エリアとして検出する。変化エリア検出部207はさらに、電圧変化エリアの検出結果に基づいて、立位の人間を検知したか否かを判定する。すなわち、変化エリア検出部207は、立位人間判定部として機能する。変化エリア検出部207が立位の人間を検出したか否かを判定する処理の詳細については後述する。変化エリア検出部207は、立位の人間を検出したと判定した場合には、人間進入カウンタ208および重心更新カウンタ209を1だけカウントアップ、すなわちカウンタの値を1だけ増加する。
人間進入出力部210は、人間進入カウンタ208を参照し、人間進入カウンタ208の値が最大値である場合に、人間が進入したことを管理者等に通知する。以下、人間進入出力部210による、人間が進入したことを管理者等に通知する処理を人間進入出力と称する。人間進入出力部210は具体的には、人間進入を示す音または画像などを出力する。
人間進入カウンタ208の最大値は予め設定された値である。人間進入出力部210は、人間進入出力を行うと、人間進入カウンタ208をゼロに初期化する。
本実施の形態においては、人間進入カウンタ208の最大値は5に設定されている。すなわち、人間進入出力部210は、10Hz周期で取得される電圧値に対し、人間進入カウンタ208が5をカウントした場合、すなわち0.5S継続して立位の人間を検知した場合に、人間進入出力を行う。
重心位置算出部211は、重心更新カウンタ209に最大値が記憶されている場合に、電圧差分記憶部206を参照し、変化エリア検出部207により検出された電圧変化エリアの熱分布の重心位置を算出する。重心位置算出部211は、さらに、変化エリア検出部207が立位の人間を検知したと判定した際に参照された電圧変化エリアの熱分布の重心位置、すなわち立位の人間の熱分布の重心位置を算出した場合には、算出した立位の人間の重心位置を重心位置記憶部212に書き込み、重心更新カウンタ209の値をゼロに初期化する。なお、重心位置記憶部212に既に重心位置が記憶されている場合には、重心位置算出部211は、重心位置記憶部212の重心位置を新たに得られた重心位置に更新する。他の例としては、重心位置記憶部212は、重心位置算出部211により算出された重心位置を時系列順を識別可能に履歴としてすべて記憶してもよい。
重心差分算出部213は、変化エリア検出部207が立位の人間を検知しないと判定した際に参照された電圧変化エリアの熱分布の重心位置の高さ方向の成分と、重心位置記憶部212に記憶されている、立位の人間の重心位置の高さ方向の成分の差分である重心差分を算出する。転倒判定部214は、重心差分算出部213により算出された重心差分と予め設定された重心差分閾値とを比較する。転倒判定部214は、重心差分が重心差分閾値よりも大きい場合に転倒と判定し、転倒カウンタ215を1だけカウントアップする。
転倒出力部216は、転倒カウンタ215を参照し、適宜転倒したことを管理者等に通知するための出力を行う。なお、転倒出力部216は、例えば転倒したことを示す音または画像などを出力する。
なお、人間進入出力部210および転倒出力部216は、ネットワークを介してサーバ等の他の装置に各情報を送信してもよい。
タイムアウト処理部217は、立位の人間が検知されず、かつ転倒が検知されない場合に、タイムアウトにかかる処理を行う。タイムアウトカウンタ218は、タイムアウト処理部217によりカウントアップされ、また初期化される。
図9は、転倒処理部200による転倒検知処理を示すフローチャートである。転倒検知処理は、電圧取得部201がサーモパイルユニット100の各サーモパイルの電圧を取得する度に実行される。なお、転倒検知処理の実行前の時点で、基準電圧算出部203による基準電圧算出が実行され、基準電圧記憶部204には、基準電圧が記憶されているものとする。
電圧取得部201が各検知エリアの電圧を取得すると、立位人間判定処理が行われる(ステップS100)。図10は、立位人間判定処理(ステップS100)における転倒処理部200の詳細な処理を示すフローチャートである。立位人間判定処理においては、まず、電圧差分算出部205は、電圧記憶部202を参照して電圧差分を算出し、算出した電圧差分を検知エリアに対応付けて電圧差分記憶部206に書き込む(ステップS101)。次に、変化エリア検出部207は、電圧差分記憶部206に記憶されているデータセットを参照し、立位の人間を検知したか否かを判定する。
具体的には、まず変化エリア検出部207は、電圧差分記憶部206に記憶されているデータセットのうち、1行目すなわち最上段のサーモパイルに対応する検知エリアを処理の対象範囲に設定する(ステップS102)。次に、変化エリア検出部207は、電圧差分と予め設定された電圧差分閾値とを順次比較し、電圧差分閾値以上の電圧差分の検知エリアを電圧変化エリアとして検出する(ステップS103)。次に、変化エリア検出部207は、電圧変化エリアが検出された場合には(ステップS104,Yes)、電圧変化エリアを基準とし、ステップS102において対象範囲に設定した最上段より下の段の対象範囲を設定する(ステップS105)。なお、対象範囲については後述する。
次に、変化エリア検出部207は、ステップS105において設定した対象範囲において、電圧差分と電圧差分閾値とを順次比較し、残りの段における電圧変化エリアを検出する(ステップS106)。次に、変化エリア検出部207は、電圧変化エリアが検出された行数と予め設定された行数閾値とを比較し、電圧変化エリアが検出された行数が行数閾値以上である場合に(ステップS107,Yes)、立位の人間を検知したと判定する(ステップS108)。すなわち、高さ方向の位置が異なる行数閾値以上の数の電圧変化エリアが検出された場合に、立位の人間と検知する。
一方、ステップS104において、電圧変化エリアが検出されない場合(ステップS104,No)、およびステップS107において、電圧変化エリアの行数が、行数閾値よりも小さい場合には(ステップS107,No)、変化エリア検出部207は、立位の人間を検知しないと判定する(ステップS109)。以上で、立位人間判定処理(ステップS100)が終了し、図9のステップS110へ進む。
図11−1〜図11−3は、立位の人間の検知の有無を判定する処理の一例を示す図である。本例においては、電圧差分閾値は0.3Vとする。そして、まず、図11−1に示すように、最上段、すなわち1行目のすべての検知エリアを対象範囲に設定する。そして、検出された電圧変化エリアの列を記憶しておく。図11−1に示す例においては、電圧変化エリアとして4列目が検出される。
次に、2行目においては、1行目において検出された電圧変化エリアの列を基準とし、基準とする列と、基準とする列の両隣の列を対象範囲に設定する。図11−2に示す例においては、3−5列目が対象範囲に設定され、電圧変化エリアとして4,5列目が検出される。さらに、図11−3に示すように、最下段、すなわち3行目の3−5列目が対象範囲に設定され、電圧変化エリアとして、3,4列目が検出される。
以上の処理により検出された電圧変化エリアの行数をカウントし、人間の高さとみなせる行数として予め設定された行数閾値以上の行数が得られた場合に立位の人間を検出したと判定する。本実施の形態においては、行数閾値を3行とする。すなわち、すべての行から電圧変化エリアが検出された場合に、立位の人間を検知したと判定する。
なお、図11−1を参照しつつ説明した、1行目の探索において、複数の電圧変化エリアが検出された場合には、各電圧変化エリアに対して上述の図11−1〜図11−3の処理を繰り返すことにより、各電圧変化エリアに対し立位の人間であるか否かの判定を行う。
以上のように、電圧変化エリアを検出する処理の対象範囲は、最上段の電圧変化エリアを基準として設定される。図12−1は、対象範囲を示す図である。さらに、電圧変化エリアがサーモパイルユニット100の全検知エリアのy方向における端部である場合には、図12−2または図12−3に示すような対象範囲が設定される。
図9に戻り、立位人間判定処理(ステップS100)において、変化エリア検出部207は、立位の人間の検知の有無の判定(ステップS107,ステップS108)の後、立位の人間を検知したと判定した場合には(ステップS110,Yes)、人間進入出力部210により既に人間進入出力が行われているか否かを確認する。人間進入出力がまだ行われていない場合には(ステップS111,No)、変化エリア検出部207は、人間進入カウンタ208を1だけカウントアップする(ステップS112)。
次に、変化エリア検出部207は、人間進入カウンタ208を参照する。人間進入カウンタ208の値が最大値よりも小さい場合には(ステップS113,No)、処理が終了する。
一方、ステップS113において、人間進入カウンタ208の値が最大値である場合には(ステップS113,Yes)、人間進入出力部210は、人間進入出力を行う(ステップS114)。次に、重心位置算出部211は、変化エリア検出部207が立位人間判定の対象とした時刻における電圧差分のデータセットに基づいて、立位の人間の熱分布の重心位置を算出し、算出した立位の人間の重心位置を重心位置記憶部212に書き込む(ステップS115)。次に、重心位置算出部211は、人間進入カウンタ208を初期化し(ステップS116)、処理が終了する。
例えばカーテンの揺れなどに起因して、一時的に高さ方向に複数の電圧変化エリアが生じる現象が立位の人間の検知と誤って判定される可能性がある。本実施の形態においては、このような誤検知時に、人間進入出力部210が、人間進入出力を行うのを避けるべく、人間進入カウンタ208が最大値をカウントした後、すなわち立位の人間を検出したと一定時間継続して判定された場合にのみ、人間進入出力を行うこととする。これにより、誤って人間進入出力を行うのを避けることができる。
図13−1〜図13−2は、重心位置を算出する処理を説明するための図である。図13−1に示すように、変化エリア検出部207が立位の人間が検出されたと判定したデータセットの数が所定数に達した場合、すなわち、ステップS112において、人間進入カウンタ208が最大値をカウントした場合に、人間進入出力を行う。
そして、図13−2に示すように、人間が進入したと判定された場合、重心位置算出部211は、人間進入カウンタ208が最大値をカウントしたときの処理の対象のデータセット、すなわち最新のデータセットに基づいて、重心位置を算出する。
重心位置の算出においては、電圧変化エリアには、この差分電圧をセットし、これ以外の検知エリアには、0をセットする。そして、(式1)の行列式に基づいて、重心位置を算出する。

Figure 0005997463

ここで、Gは行方向の重心位置、Gは列方向の重心位置を示す。また、Iは検知エリアの数、Jはサーモパイルの設置数、V(i,j)は電圧変化エリアの電圧値、Wは電圧変化エリアの電圧値の総和である。なお、Wは、(式2)により算出される。

Figure 0005997463
図9に戻り、ステップS111において、人間進入出力が既に行われている場合には(ステップS111,Yes)、人間進入出力部210は、再び人間進入出力を行う(ステップS120)。変化エリア検出部207は、さらに転倒カウンタ215を初期化する(ステップS121)。次に、変化エリア検出部207は、重心更新カウンタ209の値を1だけ増加、すなわちカウントアップする(ステップS122)。
次に、変化エリア検出部207は、重心更新カウンタ209を参照する。重心更新カウンタ209の値が最大値よりも小さい場合には(ステップS123,No)、処理が終了する。
一方、ステップS123において、重心更新カウンタ209の値が最大値である場合には(ステップS123,Yes)、重心位置算出部211は、変化エリア検出部207により立位の人間を検知したと判定されたデータセットに基づいて、立位の人間の重心位置を算出し、重心位置記憶部212に書き込む(ステップS124)。なお、重心位置記憶部212に既に重心位置が書き込まれている場合には、重心位置記憶部212の重心位置を、今回得られた重心位置に更新する。次に、重心位置算出部211は、重心更新カウンタ209の値を初期化する(ステップS125)。以上で、処理が終了する。
以上、ステップS120からステップS125までの処理により、一旦人間進入判定を出力後は、重心更新カウンタ209がカウント最大値をカウントする度に、重心位置が新たに算出され、重心位置記憶部212の重心位置が更新される。これにより、重心位置記憶部212に記憶される重心位置を定期的に更新することができる。なお、他の例としては、重心位置の更新は行わないこととしてもよい。
ステップS110において、変化エリア検出部207が立位の人間を検出したと判定しなかった場合には(ステップS110,No)、図14のステップS130に進む。すなわち、変化エリア検出部207は、さらに人間進入出力部210が人間進入出力を行ったか否かを確認し、人間進入出力が行われている場合には(ステップS130,Yes)、転倒判定処理(ステップS131)に進む。なお、人間進入出力が行われていない場合には(ステップS130,No)、処理が終了する。
図15は、転倒判定処理(ステップS131)における詳細な処理を示すフローチャートである。転倒判定処理(ステップS131)においては、変化エリア検出部207は、処理対象のデータセットから図9を参照しつつ説明した立位人間判定処理(ステップS100)において検出した電圧変化エリアを特定する(ステップS140)。なお、ステップS140における電圧変化エリアを特定する処理については後に詳述する。
次に、重心位置算出部211は、ステップS140において特定された電圧変化エリアの重心位置を算出する(ステップS141)。次に、重心差分算出部213は、重心位置記憶部212に記憶されている重心位置、すなわち立位の人間の重心位置と、重心位置算出部211によりステップS141において算出された重心位置の差分、すなわち重心差分を算出する(ステップS142)。そして、転倒判定部214は、重心差分算出部213により算出された重心差分と、重心差分閾値とを比較し、算出された重心差分が重心差分閾値以上である場合には(ステップS143,Yes)、人間の転倒を検知したと判定する(ステップS144)。
一方、重心差分が重心差分閾値よりも小さい場合には(ステップS143,No)、転倒判定部214は、人間の転倒を検知しないと判定する(ステップS145)。以上で、転倒判定処理(ステップS131)が終了し、図14のステップS132へ進む。
図16−1〜図16−3は、電圧変化エリア特定処理(ステップS140)における処理を説明するための図である。電圧変化エリア特定処理(ステップS140)においては、図16−1に示すように、直前の人間進入出力時に処理対象となったデータセットにおいて、検出された電圧変化エリアを検索範囲として、今回の処理対象のデータセットの電圧変化エリアを検索する。次に、図16−2に示すように、人間進入出力時の電圧変化エリアの行方向の両隣の検知エリアを基点とし、データセットの行方向に沿って両端まで電圧変化エリアを検索する。検索途中で、電圧変化エリアが検出されない場合には、この時点で電圧変化エリアの検索を終了する。以上の処理により、図16−3に示すように、今回の処理対象のデータセットにおける電圧変化エリアを特定する。
このように、直前の人間進入出力時に検出された電圧変化エリアを基準として、処理対象のデータセットにおける電圧変化エリアの検索を行うことにより、処理の効率化を図ることができる。
次に、図17に示すように、電圧変化エリアの電圧差分を残し、他の検知エリアの電圧差分を0に変更した状態で、熱分布の重心位置を算出する。なお、重心位置の算出には、前述の(式1)を用いる。
図14に戻り、転倒判定処理(ステップS131)において、転倒を検知したと判定された場合には(ステップS132,Yes)、転倒判定部214は、転倒カウンタを1だけカウントアップする(ステップS133)。次に、転倒判定部214は、転倒カウンタ215を参照する。転倒カウンタ215の値が予め設定された許容値よりも小さい場合には(ステップS134,No)、転倒出力部216は、転倒を検知したことを示す転倒警報を出力する(ステップS135)。
一方、ステップS134において、転倒カウンタ215の値が許容値以上である場合には(ステップS134,Yes)、転倒出力部216は、転倒が継続して検知されたことを示す転倒継続警報を出力する(ステップS136)。
転倒が一定回数以上連続して検知された場合には、転倒したまま起き上がれない状態であるなど、転倒の状況がより深刻である可能性が高い。そこで、このように、転倒警報と転倒継続警報とを異ならせることにより、管理者等に転倒の状況の深刻度を通知することができる。
また、転倒判定処理(ステップS131)において、転倒が検知されないと判定された場合には(ステップS132,No)、タイムアウト処理に進む(ステップS137)。
図18は、タイムアウト処理(ステップS137)における詳細な処理を示すフローチャートである。タイムアウト処理(ステップS137)においては、タイムアウト処理部217は、電圧変化エリアの数と予め設定された規定数とを比較する。電圧変化エリアの数が規定数以下である場合に(ステップS150,Yes)、タイムアウト処理部217は、タイムアウトカウンタ218を1だけカウントアップする(ステップS151)。次に、タイムアウト処理部217は、タイムアウトカウンタ218の値が最大値である場合には(ステップS152,Yes)、人間進入カウンタ208、タイムアウトカウンタ218および転倒カウンタ215の値をそれぞれ0に初期化する(ステップS153〜ステップS155)。以上でタイムアウト処理(ステップS137)が終了する。
一方、ステップS150にいて、電圧変化エリアの数が規定値よりも大きい場合(ステップS150,No)、およびステップS152において、タイムアウトカウンタ218の値が最大値よりも小さい場合(ステップS152,No)には、処理が終了する。
以上のように、本実施の形態の転倒検知装置1によれば、熱分布の重心位置の変化に基づいて、人間の転倒を精度よく検知することができる。
さらに、本実施の形態の転倒検知装置1においては、サーモパイルは高さ方向において検知エリアが重なるように設置されている。これにより、図19−1に示すように、立位の人間がサーモパイルユニット100の検知エリア内に進入した場合には、人間の表面温度のうち比較的高温が検知される頭部等が複数の検知エリアにおいて検知され、比較的高い重心位置を算出することができる。このため、転倒時の重心位置と立位の人間の重心位置の差が十分に大きくなるため、精度よく転倒を検知することができる。
なお、図19−2は、高さ方向において検知エリアが重ならない例を示す図である。この場合には、図19−2に示すように、立位の人間に対し、図19−1に示す場合に比べて、より低い重心位置が算出される。このため、立位の人間の重心位置と転倒時の重心位置の差が小さく、精度よく転倒を検知することができない。
さらに、図2に示すように、サーモパイルユニット100を転倒検知の対象となる人間の行動エリアの上部に設置することにより、サーモパイルが立位の人間の上部ほどより近い位置で検知することが可能となる。すなわち、人間の上部の表面の検知エリアに占める割合が人間の表面の検知エリアに占める割合に比べて相対的に大きくなるので、立位の人間に対しより高い重心位置を算出することができる。
さらに、本実施の形態の転倒検知装置1においては、様々な方向への転倒を精度よく検知することができる。図20は、y方向への転倒を示す図である。図20に示すように、y方向に転倒した場合には、立位の状態に比べてより低い重心位置が算出される。したがって、転倒検知装置1は、y方向、検知エリアの行方向への転倒を精度よく検知することができる。
図21−1〜図21−3は、x軸のプラスの方向、すなわちサーモパイルユニット100から遠ざかる方向への転倒を示す図である。サーモパイルユニット100から遠ざかるほど、検知エリアに占める人間の面積の割合は小さくなる。これに対し、図21−2および図21−3に示すように、立位の状態から転倒した場合には、頭部の位置がサーモパイルユニット100から離れる方向に変化することとなるため、検知エリアに対する頭部側が占める割合が小さくなる。このため、ほぼ同一検知エリアにて人間が検知されるものの、頭部側の割合が小さくなることにより、熱分布の重心位置は、立位時に比べてより低い位置に変化する。したがって、転倒検知装置1は、サーモパイルユニット100から遠ざかる方向への転倒を精度よく検知することができる。
図22−1および図22−2は、x軸のマイナスの方向、すなわちサーモパイルユニット100に近付く方向への転倒を示す図である。この場合には、頭部の位置がサーモパイルユニット100に近づく方向に変化することとなる。これにより、熱分布の重心位置は、立位時に比べてより低い位置に変化する。したがって、転倒検知装置1は、サーモパイルユニット100に近づく方向への転倒を精度よく検知することができる。
図23は、サーモパイルユニット100に近付く方向への歩行を示す図である。図23に示すように、単にサーモパイルユニット100に近付く方向に移動している場合には、人間全体の検知エリアに占める割合が大きくなる。このため、全電圧変化エリアの電圧値が大きくなるので、移動前後において重心位置は変化しない。このため、図22−1および図22−2を参照しつつ説明したサーモパイルユニット100に近付く方向への転倒と精度よく判別することができる。
なお、本実施の形態の転倒処理装置1は、電圧差分のデータセットから立位の人間を検知したか否かを判定し、立位の人間の重心位置と、立位の人間を検知しない場合の重心位置を比較することとしたが、他の例としては、電圧差分の各データセットから重心位置を算出し、算出した重心位置を、既に算出済みの重心位置を比較することにより、転倒の有無を検出することとしてもよい。
1 転倒検知装置
100 サーモパイルユニット
110,120,130 サーモパイルアレイ
200 転倒処理部
201 電圧取得部
202 電圧記憶部
203 基準電圧算出部
204 基準電圧記憶部
205 電圧差分算出部
206 電圧差分記憶部
207 変化エリア検出部
208 人間進入カウンタ
209 重心更新カウンタ
210 人間進入出力部
211 重心位置算出部
212 重心位置記憶部
213 重心差分算出部
214 転倒判定部
215 転倒カウンタ
216 転倒出力部
217 タイムアウト処理部
218 タイムアウトカウンタ

Claims (8)

  1. 人間の転倒を検知する転倒検知装置であって、
    互いに異なる複数の検知領域であって、鉛直方向において検知されないエリアが存在しないように、鉛直方向に隣接する隣接検知領域と重なる重なり領域を有する前記複数の検知領域の温度を検知する複数のサーモパイルを有するサーモパイルユニットと、
    第1経過時間が経過する度に前記複数のサーモパイルそれぞれから、検知した温度を示す温度情報を取得し、前記温度情報を取得する度に、取得した前記温度情報と、各サーモパイルの前記検知領域の位置と、前記温度が検知された時刻とを対応付けて温度情報記憶部に書き込む温度情報取得部と、
    前記温度情報に示される各サーモパイルの前記第1経過時間の経過前と経過後の前記温度の差分を算出し、各差分と第1閾値とを比較し、前記第1閾値以上の前記差分が算出された前記サーモパイルに対応する前記検知領域を変化領域として検出する変化領域検出部と、
    前記変化領域検出部が前記変化領域を検出した場合に、前記変化領域それぞれの位置および温度に基づいて、前記変化領域の重心位置を算出する重心位置算出部と、
    前記重心位置算出部により、第1検知時刻に前記温度情報取得部が取得した前記温度情報に基づいて算出された前記重心位置の高さ方向の成分と、前記第1検知時刻より後の第2検知時刻に前記温度情報取得部が取得した前記温度情報に基づいて算出された前記重心位置の高さ方向の成分の重心差分を算出する重心差分算出部と、
    前記重心差分が第2閾値よりも大きい場合に、前記第2検知時刻に人間の転倒を検知したと判定する転倒判定部と、
    前記転倒判定部が前記人間の転倒を検知したと判定した場合に、転倒を検知した旨を出力する転倒出力部と
    を備えることを特徴とする転倒検知装置。
  2. 前記変化領域検出部が鉛直方向の位置が異なる第3閾値以上の数の前記変化領域を検出した場合に、立位の人間を検知したと判定する立位人間判定部をさらに備え、
    前記重心位置算出部は、前記立位人間判定部が立位の人間を検知したと判定した場合に、当該立位の人間を検知したと判定した際に参照された前記変化領域の位置および温度に基づいて、立位の人間の前記重心位置を算出し、
    前記重心差分算出部は、立位の人間の前記重心位置の高さ方向の成分と、立位の人間を検知したと判定された前記温度情報より後に取得された前記温度情報から得られた前記重心位置の高さ方向の成分の前記重心差分を算出することを特徴とする請求項1に記載の転倒検知装置。
  3. 前記重心位置算出部は、立位の人間を検知したと判定された前記温度情報より後に取得された前記温度情報に基づいて、前記変化領域検出部が前記第3閾値未満の数の前記変化領域を検出した場合に、前記閾値未満の数の前記変化領域の位置および温度に基づいて前記重心位置を算出し、
    前記重心差分算出部は、前記第3閾値未満の数の前記変化領域の前記重心位置の高さ方向の成分と、立位の人間の前記重心位置の高さ方向の成分の前記重心差分を算出することを特徴とする請求項2に記載の転倒検知装置。
  4. 前記立位人間判定部は、第2経過時間の間に取得された前記温度情報それぞれから、鉛直方向において位置の異なる前記第3閾値以上の数の前記変化領域を検出した場合に、立位の人間を検知したと判定することを特徴とする請求項2または3に記載の転倒検知装置。
  5. 前記重心位置算出部は、立位の人間の前記重心位置が算出された前記温度情報の取得後第3時間の間に取得された前記温度情報それぞれから、立位の人間を検知したと判定された場合に、最新の前記温度情報に基づいて再び立位の人間の重心位置を算出し、
    前記重心差分算出部は、前記第3閾値未満の数の前記変化領域の前記重心位置の高さ方向の成分と、立位の人間の前記重心位置の高さ方向の成分のうち最新の前記重心位置の前記重心差分を算出することを特徴とする請求項2から4のいずれか一項に記載の転倒検知装置。
  6. 前記転倒出力部は、前記転倒判定部が所定回数以上継続して転倒を検知したと判定した場合に、継続して転倒を検知した旨を出力することを特徴とする請求項1から5のいずれか一項に記載の転倒検知装置。
  7. 前記変化領域検出部は、鉛直方向における上方の段から下方の段に向かって順に前記変化領域を検出する際に、前記上方の段において検出された前記変化領域の位置を基準とし、前記下方の段においては、前記変化領域の位置に基づいて、前記変化領域を検出する範囲を設定し、当該範囲内において前記変化領域を検出することを特徴とする請求項1から6のいずれか一項に記載の転倒検知装置。
  8. 人間の転倒を検知する転倒検知装置で実行される転倒検知方法であって、
    複数のサーモパイルを有するサーモパイルユニットが、互いに異なる複数の検知領域であって、鉛直方向において検知されないエリアが存在しないように、鉛直方向に隣接する隣接検知領域と重なる重なり領域を有する前記複数の検知領域の温度を検知する工程と、
    第1経過時間が経過する度に前記複数のサーモパイルそれぞれから、検知した温度を示す温度情報を取得し、前記温度情報を取得する度に、取得した前記温度情報と、各サーモパイルの前記検知領域の位置と、前記温度が検知された時刻とを対応付けて温度情報記憶部に書き込む温度情報取得工程と、
    前記温度情報に示される各サーモパイルの前記第1経過時間の経過前と経過後の前記温度の差分を算出し、各差分と第1閾値とを比較し、前記第1閾値以上の前記差分が算出された前記サーモパイルに対応する前記検知領域を変化領域として検出する変化領域検工程と、
    前記変化領域検出工程において前記変化領域を検出した場合に、前記変化領域それぞれの位置および温度に基づいて、前記変化領域の重心位置を算出する重心位置算出工程と、
    前記重心位置算出工程において、第1検知時刻に取得された前記温度情報に基づいて算出された前記重心位置の高さ方向の成分と、前記第1検知時刻より後の第2検知時刻に取得された前記温度情報に基づいて算出された前記重心位置の高さ方向の成分の重心差分を算出する重心差分算出工程と、
    前記重心差分が第2閾値よりも大きい場合に、前記第2検知時刻に人間の転倒を検知したと判定する転倒判定工程と、
    前記転倒判定工程において前記人間の転倒を検知したと判定した場合に、転倒を検知した旨を出力する転倒出力部工程と
    を含むことを特徴とする転倒検知方法。
JP2012050765A 2012-03-07 2012-03-07 転倒検知装置および転倒検知方法 Active JP5997463B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012050765A JP5997463B2 (ja) 2012-03-07 2012-03-07 転倒検知装置および転倒検知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012050765A JP5997463B2 (ja) 2012-03-07 2012-03-07 転倒検知装置および転倒検知方法

Publications (2)

Publication Number Publication Date
JP2013185924A JP2013185924A (ja) 2013-09-19
JP5997463B2 true JP5997463B2 (ja) 2016-09-28

Family

ID=49387480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012050765A Active JP5997463B2 (ja) 2012-03-07 2012-03-07 転倒検知装置および転倒検知方法

Country Status (1)

Country Link
JP (1) JP5997463B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018107374A1 (zh) * 2016-12-14 2018-06-21 深圳先进技术研究院 跌倒检测设备、跌倒检测方法及装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500497A (zh) * 2013-09-12 2014-01-08 广州供电局有限公司 一种智能遥控器
JP6241725B2 (ja) * 2013-10-24 2017-12-06 綜合警備保障株式会社 見守り装置および見守りシステム
CN103577810A (zh) * 2013-11-13 2014-02-12 汕头大学 智能看护方法
CN103886715B (zh) * 2014-02-28 2016-02-10 南京邮电大学 一种人体跌倒检测方法
JP6848533B2 (ja) * 2017-03-02 2021-03-24 株式会社デンソー 車両の走行制御システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4048779B2 (ja) * 2001-12-28 2008-02-20 松下電工株式会社 距離画像処理装置
JP5489915B2 (ja) * 2010-08-19 2014-05-14 三菱電機株式会社 空気調和機

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018107374A1 (zh) * 2016-12-14 2018-06-21 深圳先进技术研究院 跌倒检测设备、跌倒检测方法及装置

Also Published As

Publication number Publication date
JP2013185924A (ja) 2013-09-19

Similar Documents

Publication Publication Date Title
JP5997463B2 (ja) 転倒検知装置および転倒検知方法
US20140058610A1 (en) Method and apparatus for simultaneous localization and mapping of mobile robot environment
JP2014078254A5 (ja)
WO2019199919A1 (en) A system for monitoring occupancy and activity in a space
WO2016016900A1 (en) Method and system for passive tracking of moving objects
JPWO2018216197A1 (ja) 異常重要度算出システム、異常重要度算出装置、及び異常重要度算出プログラム
JP5864335B2 (ja) 人体検知装置
TW201835856A (zh) 物件追蹤方法及系統
JP2020126036A (ja) センサーシステム及びセンサーの落下判定方法
JP2010206404A (ja) 画像監視装置
Karakaya et al. Collaborative localization in visual sensor networks
JP2011209128A (ja) 特定スペース内異常判別用計算式の作成方法及び該計算式を用いた特定スペース内異常検知システム
US9948897B2 (en) Surveillance camera management device, surveillance camera management method, and program
JP2009169581A (ja) 移動体、移動体システム、及びその故障診断方法
JP6927752B2 (ja) 温度分布検出装置および方法
JP5679760B2 (ja) 侵入物体検出装置
JP6331566B2 (ja) 人物頭部検知装置及び姿勢推定装置
JP2016177676A (ja) 診断装置、診断方法、診断システムおよび診断プログラム
JP5000928B2 (ja) 物体検知装置および方法
JP5167186B2 (ja) 煙検出装置
US10520209B2 (en) Motion tracking
JP2020160901A (ja) 物体追跡装置および物体追跡方法
US10482480B2 (en) Occupancy interaction detection
JP4116393B2 (ja) 火源探査システム
JP2003296877A (ja) データ確信度を用いたセンサ選択方法とこれを用いた道路交通監視システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160826

R150 Certificate of patent or registration of utility model

Ref document number: 5997463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250