JP4587067B2 - 物体の転倒をモニターする方法および装置 - Google Patents
物体の転倒をモニターする方法および装置 Download PDFInfo
- Publication number
- JP4587067B2 JP4587067B2 JP2004553362A JP2004553362A JP4587067B2 JP 4587067 B2 JP4587067 B2 JP 4587067B2 JP 2004553362 A JP2004553362 A JP 2004553362A JP 2004553362 A JP2004553362 A JP 2004553362A JP 4587067 B2 JP4587067 B2 JP 4587067B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinates
- determining
- foreground
- fall
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0461—Sensor means for detecting integrated or attached to an item closely associated with the person but not worn by the person, e.g. chair, walking stick, bed sensor
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
Landscapes
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Emergency Management (AREA)
- General Health & Medical Sciences (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Business, Economics & Management (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
この装置は、転倒した後助けが受けられないと言う恐怖なしに独立した生活を望む高齢者によりまたは高齢者用に使用可能であり、家庭用または高齢者介護センターや病院で使用される。
人がベッドから床上に落下する。システムが「ベッドを離れる」事象を検出するまで転倒検出は使用されないため、この転倒は特別な場合である。これを解決する一つの方法は、人がベッドを離れた後の所定時間、床上に人が横たわっているか否かを調べることである。
血圧の急激な低下や心臓発作に襲われた人は床に崩れ落ちる。崩壊は、多かれ少なかれ動きを伴い、急激であったり緩やかであったり、様々な種類があるため、それらの転倒を検出することは難しい。
人が常に床と近接しており高速度に達しないため、椅子から転倒する人を検出することは難しい。
転倒の別の種類は、例えば人が椅子に到達したとき、それに座り損ねて転倒することである。これは、転倒が緩やかに起きる場合、検出が困難であるが、しばしばこの種の転倒は高速度と関係がある。
濡れた床やカーペットなどで、人は滑って転倒する。この種の転倒は、高い速度と加速度と関係があり、例えば人が床に横になっているような非転倒状況と区別することが容易である。
この種の転倒は滑り転倒と同じ特徴があるので、検出が容易である。敷居、カーペット、およびその他の障害物がつまずき転倒の共通原因である。
高い所からの転倒には、椅子、梯子、階段、およびその他の高い場所からの転倒がある。ここでは、高速度と加速度が存在する。
[5]
ここで、xpとypはそれぞれ画素の幅と高さであり、xiとyiは 画素座標である。
目的は、前に述べたように、移動する物体を含まない背景の画像を作ることである。m行n列からなる一連のN値グレースケール画像I0...INを想定する。画像を6×6画素のブロックに分解し、ブロックを背景として更新する時間を制御するタイマーを各ブロックに割り当てる。ここで、各画像Ii(i=x...N)に対して、Iiを画像Ii−Xで減算して差画像DIiを得る。DIi中の各ブロックに対して、絶対画素値がzより大きい状態でDIiがy画素よりも大きい場合にはタイマーをリセットする。4つの最近接ブロックについてもタイマーをリセットする。DIiがy画素よりも小さい場合、ブロックは動きがないと考えられ、タイマーが終了した場合Ii中のそれに対応するブロックを背景として更新する。用いられるパラメータ値は、x=10、y=5、およびタイマー終了=2000msである。ノイズによりzの値が決まる。
[9]
のように選択される。
背景画像を現在の画像から減算することにより、差画像が得られる。この画像は動きが起きた領域を含む。理想的な画像において、ある閾値より上のグレースケールをもつそれらの画素を前景画素として選択することで十分である。しかし、影、ノイズ、画面のちらつき、およびその他の外乱も画像中に動きとして発生する。背景と同じ色の服を着た人も、差画像中に表れないので、問題となる。
場面中で移動する物体は、壁、床およびその他の物体に影を落とす。影の強度は光源により変化する。例えば、移動する物体によりスポットライトから白い壁に落とす影は、差画像中の物体それ自体よりも高い強度がある。そのため、影を減らすことは、画像の前処理の重要な一部である。
[10]
ノイズと偽の物体
画像は、前景画素に対して値1を持つ画素から成る二値画像である。小さなノイズ領域を除去し、二値画像中の穴を埋めてより特質的なセグメントを得ることが重要である。これはモーフィングのようなものにより行われる(付録A参照)。ここで、三つより少ない1−画素と接するすべての1−画素を除去し、三つより多くの1−画素と接するすべての0−画素を1に設定する。
動いている人を追尾し続けることは有用である。偽の物体を除去し、人が次のフレーム中に存在するという想定ができる。
トラッキングアルゴリズムは、その場面中のいくつかの移動する物体を追尾する。各追尾された物体に対して、トラッキングアルゴリズムは、物体が次の画像中に現れそうな領域Aを計算する。
[11]
として計算する。
床アルゴリズムの場合、次のアルゴリズムを用いることができる。
床画素と前景画素の合計量で除算した前景画素との両方である画素量を利用して、床上での前景画素のパーセント比を計算する。
立っている人と床に横たわっている人との顕著な相違は、人の身体方向と部屋のY軸との角度である。角度が小さくなるほど、人が立っている確率が増加する。
第三の方法は、「頭」および「足」に対する画像座標を見つけて、それらの間のベクトルを計算することである。物体が幅よりも長い高さがあるかどうかに応じて、逆の場合も同様に、物体を垂直にまたは水平に5つの部分に分割する。最大の部分の質量中心を計算して、それらの間のベクトルを身体の方向とする。
高齢者についての研究によれば、転倒の速度は、歩くこと、座ること屈むことなどの通常動作に比べて2から3倍速い。この結果は、次のアルゴリズムの土台となるものである。
二つの画像間の経過時間により除算した二つの後に続く画像のIiとIi+1前景画素の質量中心MiとMi+1間の距離として、人の速度vを計算する。
部屋座標中の質量中心を計算することが望ましい。しかし、繰返しになるがこれを実現することは難しい。代わりに、画像座標中の質量中心を計算しても良い。これを実行することにより、結果は人が部屋のどこに位置するかによって決まる。人がセンサーから離れている場合には測定された距離は非常に短くなり、人がセンサーの近くにいる場合には逆になる。これを打ち消すためには、人の足のZ座標で除算すると計算された距離が規格化される。
速度を測る別の方法を、次のアルゴリズムにおいて用いる。これは、前の画像を背景として用いる場合、速く移動する物体は、遅く移動する物体よりも、前景画素が多くなるという事実に基づくものである。
人が転倒すると、人は最終的に床上に横たわる。このため、例えば約0.5メートルより高い身体箇所はなくなる。ここでの着想は、約1メートルの高さに相当する画像中に水平な線を見つけることである。これは画像内の人の位置によるため、人の足に対する部屋座標を計算することによりアルゴリズムが開始する。長さΔY=1mをYに加え、部屋座標を画像座標に逆変換する。画像座標yiを水平線に印を付ける。アルゴリズムは、前景画素の総数で除算した水平線より下の前景画素の数に戻る。
質量中心および前画像転倒検出アルゴリズムはノイズの多いパターンを示す。影、突然の光の変化、および偽の物体がアルゴリズムをだますので、それらを全時間にわたって動作させると、誤警報を返送するかもしれない。誤警報の数を減らすためには、転倒アルゴリズムを連続的に動作させずに、一つ以上の床アルゴリズム(床上のアルゴリズム、角度アルゴリズム、および外見の長さアルゴリズム)が人が床上にいることを示すときに、転倒アルゴリズムを作動させる。誤警報の数を減らす別の特徴は、転倒が起きた後警報を送信する前の短い時間待つことである。これにより、一つ以上の床アルゴリズムが30秒より長く人が床上にいることを検出するまで、転倒検出を先送りすることができる。この方法により、誤警報の数は顕著に減少する。
既に述べたように、直立条件の検出について警報を発生し、それによりこれから生きる可能性のある転倒を防止することが望ましい。以下、そのような検出に用いられるアルゴリズムをベッドスタンド過程と呼ぶ。
人は、いくつかの過程により床の上に横たわる。しかし、これらは主に二つのグループに分けることができる。すなわち、転倒と非転倒である。判断過程を信頼できるものにするため、これら二つのグループのデータをできる限り分離する必要がある。
[15]
mとΣに対する値が与えられると、転倒が起きたかどうかを判断することができる。転倒の可能性についてデータxを想定する。式13は、転倒と非転倒に対するそれぞれ二つの値にffall(x)とfno fall(x)に戻る。転倒に対する確率を相関付けることは、非転倒よりも容易である。
[16]
これは、ffall(x)がfno fall(x)よりも大きい場合には転倒が起きたという判断であり、ffall(x)がfno fall(x)よりも小さい場合には、逆に転倒は起きなかったという判断であることを暗に示している。
データベース用入力として用いた転倒と非転倒を、モデルが機能するかどうかを判断するために試験した。29転倒中28が検出され、18非転倒のすべてにおいて誤警報はなかった。従って、このモデルは適切に動作した。
基本的な画像解析
画像解析は、顔の認識から画像圧縮まで多くの具体例がある広範な分野である。この章では、いくつかの基本的な画像解析の特徴を説明する。
デジタル画像はm×n行列としてしばしば表される。ここで、mは行の数、nは列の数である。各行列要素(u,v)は画素と呼ばれる。ここでu=1...m、およびv=1...nである。デジタル画像中の画素が増えると、解像度が上がる。
デジタル画像は行列で表されるので、加算、減算、乗算、および除算などの標準的な行列演算を用いることができる。共通行列乗法とElement−wiseな乗法との二つの異なる乗法が使用可能である。すなわち、それぞれ
および
である。
有用な別の演算は二つの画像間の畳込みまたは相関である。すなわち、画像の一つは、しばしば核が小さく、例えば3×3行列である。画像BとCとの間の相関は次式のように定義される。
画像中の端を見つけるためには、
または、画像中の詳細、高分散の領域を見つけるためには、
A.4.モルフォロジー
モーフィングは、数学的な集合理論に基づく強力な処理ツールである。小さな核Bの助けにより、セグメントAを拡大縮小できる。拡大過程は拡大(dilation)、また縮小過程は縮小(erosion)と呼ばれる。これらは数学的にそれぞれ以下のように記述される。
[10.]
A.5.セグメンテーション
例えば、形状、色、分散、および寸法などに応じて、画像を様々なセグメントに細分することがしばしば有用である。セグメンテーションは、カラー画像、グレースケール画像、および二値画像について実行可能である。二値画像セグメンテーションのみをここで説明する。
セグメント画像(画像×画像){
画像中の各画素に対して{
新しいセグメントを作る;
リージョングローイングセグメント(画素,セグメント);
}
}
リージョングローイングセグメント(画素×画素,セグメント×セグメント){
画素をセグメントに付加する;
巡回するように画素を設定する;
画素の各近接画素に対して{
近接画素が1で巡回しないとき、{
リージョングローイングセグメント(近接画素,セグメント);
}
}
}
上記に見られるように、リージョングローイングアルゴリズムは再帰的であり、多数のメモリーを使用する。メモリーの少ないシステムでは、メモリーのオーバーフローが起きる。このため、次の繰返し法が開発された。
画像中の各画素に対して{
1に等しい画素を見つけこれを開始画素と表す{
開始画素に戻るまで行う{
外周部で次の画素へ;
}
巡回する画素が前に見つけた画素の次であるとき、
巡回する画素を前の階級に付加する;
}あるいは{
新しい階級を作る;
}
巡回する画素を画像から減算する;
}
}
Claims (33)
- 転倒の可能性に関して物体をモニターする方法であって、
光学検出器により検出領域を観測するステップと、
検出領域の少なくとも一つの画像に基づいて物体が検出領域において直立状態であるかどうかを判断するステップと、
所定時間待つステップと、
物体が直立状態であると判断すると、前記所定時間の後に警報を発するステップと、を含み、
前記直立状態であるかどうかを判断するステップは、物体の方向と垂直方向との角度を判断するステップをさらに含み、該角度が20度より小さいと、物体が検出領域において直立状態にあると判断し、
前記角度を判断するステップは、
物体の足部分の足の画像座標(uf,vf)を足の部屋座標(Xf,Yf=0,Zf)に変換するステップと、
長さΔYを前記足の部屋座標の垂直座標(Yf)に加えるステップと、
少なくとも前記垂直座標を変換して上部画像座標(uh,vh)を形成し、それにより足の画像座標(uf,vf)と上部画像座標(uh,vh)との間のベクトルにより垂直方向が与えられるステップと、
前記ベクトルと物体の方向との間の角度を決めるステップと
を含むことを特徴とする方法。 - さらに、物体の少なくとも二つの末端部分の質量中心を計算することにより物体の方向を判断するステップと、およびそれらの間のベクトルを物体の方向として判断するステップを含むことを特徴とする請求項1に記載の方法。
- さらに、物体の少なくとも二つの末端部分の質量中心を判断するステップと、および物体長さを判断するステップを含み、前記直立状態であるかどうかを判断するステップは、物体長さが所定長さより長いかどうかを判断するステップを含むことを特徴とする請求項1または請求項2に記載の方法。
- 前記所定長さは、少なくとも2メートルの物体長さを表すことを特徴とする請求項3に記載の方法。
- さらに、前記質量中心を検出領域中の床の高さ(Y=0)における部屋座標に変換するステップと、および前記部屋座標中の物体長さを決めるステップを含むことを特徴とする請求項3または請求項4に記載の方法。
- さらに、部屋座標中の検出領域高さ制限を定義するステップと、前記部屋高さ制限を画像座標中の画像高さ制限に変換するステップと、現在の画像と背景画像との差を計算することにより前景画像を形成するステップと、および前景画像中の画像高さ制限より下に位置する前景画素の数を前景画像から導き出すステップを含み、前記直立状態であるかどうかを判断するステップは、前記数が所定の値を超えるかどうかを判断するステップを含むことを特徴とする請求項1から請求項5のいずれか一項に記載の方法。
- さらに、物体の表面積を計算するステップを含み、前記直立状態であるかどうかを判断するステップは、表面積が所定の最小値を超えるかどうかを判断するステップを含むことを特徴とする請求項1から請求項6のいずれか一項に記載の方法。
- 検出領域中のベッドの少なくとも一部が動いたことが特定されると、直立状態を調べることが開始されることを特徴とする請求項1から請求項7のいずれか一項に記載の方法。
- 転倒の可能性に関して物体をモニターする装置であって、
検出領域を観測する検出器と、
検出器からの少なくとも一つの画像に基づいて物体が検出領域において直立状態であるかどうかを判断する判断装置と、
判断装置による直立状態の判断の後、物体が直立状態であると判断すると、所定時間の間警報を発する警報装置とを備え、
前記判断装置は、物体の方向と垂直方向との角度を判断する角度計算装置をさらに備え、該角度が20度より小さいと、物体が検出領域において直立状態にあると判断し、
前記角度計算装置は、
物体の足部分の足の画像座標(uf,vf)を足の部屋座標(Xf,Yf=0,Zf)に変換し、
長さΔYを前記足の部屋座標の垂直座標(Yf)に加え、
少なくとも前記垂直座標を変換して上部画像座標(uh,vh)を形成し、それにより足の画像座標(uf,vf)と上部画像座標(uh,vh)との間のベクトルにより垂直方向を与え、
前記ベクトルと物体の方向との間の角度を決めるように、設けられたことを特徴とする装置。 - 前記判断装置は、物体の少なくとも二つの末端部分の質量中心を判断する長さ計算装置をさらに備え、物体長さを計算し、前記物体長さが所定長さより長いと判断すると、物体が直立状態にあると判断することを特徴とする請求項9に記載の装置。
- 前記判断装置は、部屋座標中の部屋高さ制限を定義し、前記部屋高さ制限を画像座標中の画像高さ制限に変換し、現在の画像と背景画像との差を計算することにより前景画像を形成し、前景画像中の画像高さ制限より下に位置する前景画素の数を前景画像から導き出す高さ制限計算装置をさらに備え、前記数が所定の値を超えると判断すると、物体が直立状態にあると判断することを特徴とする請求項9または請求項10に記載の装置。
- 前記判断装置は、物体の表面積を計算する面積計算装置をさらに備え、該表面積が所定の最小値を超えると判断すると、物体が直立状態にあると判断することを特徴とする請求項9から請求項11のいずれか一項に記載の装置。
- 検出領域中のベッドの少なくとも一部が動いたことを特定する移動検出器をさらに備え、移動検出器により移動が特定されると、前記判断装置は直立状態を調べることを開始することを特徴とする請求項9から請求項12のいずれか一項に記載の装置。
- 転倒に関して物体をモニターする方法であって、
光学検出器により検出領域を観測するステップと、
検出領域の少なくとも一つの画像に基づいて物体が検出領域において横たわっているかどうかを判断するステップと、
所定時間待つステップと、
物体が検出領域において床上に横たわっていると判断すると、前記所定時間の後に警報を発するステップと、を含み、
前記横たわっているかどうかを判断するステップは、物体の方向と垂直方向との角度を判断するステップをさらに含み、該角度が10度より大きいと、物体が検出領域において床上に横たわっていると判断し、
前記角度を判断するステップは、
物体の足部分の足の画像座標(uf,vf)を足の部屋座標(Xf,Yf=0,Zf)に変換するステップと、
長さΔYを前記足の部屋座標の垂直座標(Yf)に加えるステップと、
少なくとも前記垂直座標を変換して上部画像座標(uh,vh)を形成し、それにより足の画像座標(uf,vf)と上部画像座標(uh,vh)との間のベクトルにより垂直方向が与えられるステップと、
前記ベクトルと物体の方向との間の角度を決めるステップと
を含むことを特徴とする方法。 - 前記所定時間は2分より長いことを特徴とする請求項14に記載の方法。
- さらに、現在の画像と所定の背景画像との差である前景画像を計算するステップと、および検出領域の床上に存在する前景画像と前景画像全体との比を計算するステップを含み、当該比が所定の閾値である0.5を超えると、物体が床上に横たわっていると判断することを特徴とする請求項14または請求項15に記載の方法。
- さらに、物体の少なくとも二つの末端部分の質量中心を計算することにより物体の方向を判断するステップと、およびそれらの間のベクトルを物体の方向として判断するステップを含むことを特徴とする請求項14から請求項16のいずれか一項に記載の方法。
- さらに、物体の少なくとも二つの末端部分の質量中心を判断するステップと、および物体の長さを判断するステップを含み、前記横たわっていると判断するステップは、物体の長さが所定長さより短いかどうかを判断するステップを含むことを特徴とする請求項14から請求項17のいずれか一項に記載の方法。
- 前記所定長さは、2メートルより短いことを特徴とする請求項18に記載の方法。
- さらに、前記質量中心を検出領域中の床の高さ(Y=0)における部屋座標に変換するステップと、および前記部屋座標中の物体長さを決めるステップを含むことを特徴とする請求項18または請求項19に記載の方法。
- さらに、物体が床上に横たわっていると判断する時点よりも前の時間を含む所定時間分の画像シーケンスを引き出すステップと、
転倒が起きたかどうかの情報を含む物体の速度および/または物体の負の加速度に関して、引き出された画像シーケンスを解析するステップとを含み、
転倒状態を特定する次のステップは、物体の速度が所定値より大きく、および/または物体の負の加速度が負の値より小さいと判断するステップを含むことを特徴とする請求項14から請求項20のいずれか一項に記載の方法。 - 画像シーケンスを引き出す分の前記所定時間は、前記判断の後の時間を含むことを特徴とする請求項21に記載の方法。
- 画像シーケンスを引き出す分の前記所定時間は、2秒であることを特徴とする請求項21または請求項22に記載の方法。
- さらに、現在の画像と前の画像との差を計算することにより前景画像を形成するステップと、
前景画像から前景画素の数を導き出すステップを含み、
転倒状態を特定する次のステップは、前景画素の数が前景数の値を超えると判断するステップを含み、当該前景数の値は、現在の画像と背景画像との差を計算することにより導き出される基準前景画像中の前景画素の数を表すことを特徴とする請求項14から請求項23のいずれか一項に記載の方法。 - さらに、部屋座標中の検出領域高さ制限を定義するステップと、および前記部屋高さ制限を画像座標中の画像高さ制限に変換するステップを含み、前景画素の数は、前景画像中の画像高さ制限より下に位置する前景画素を表すことを特徴とする請求項24に記載の方法。
- 所定の時間中に前景画像において変化がない場合、前記現在の画像は前記背景画像として設定されることを特徴とする請求項24または請求項25に記載の方法。
- さらに、転倒が起きたかどうかの情報を含む物体の速度および/または物体の負の加速度に関して、転倒状態の確率曲線と非転倒状態の確率曲線を事前に計算するステップを含み、転倒状態を特定する次のステップは、物体の速度および/または物体の負の加速度が転倒状態に対して最も高い確率を有すると判断するステップを含むことを特徴とする請求項21から請求項26のいずれか一項に記載の方法。
- 転倒に関して物体をモニターする装置であって、
検出領域を観測する検出器と、
検出器からの少なくとも一つの画像に基づいて物体が検出領域において横たわっているかどうかを判断する判断装置と、
判断装置により物体が横たわっていると判断された後、所定時間の間警報を発する警報装置とを備え、
前記判断装置は、物体の方向と垂直方向との角度を判断する角度計算装置をさらに備え、該角度が10度より大きいと、物体が検出領域において床上に横たわっていると判断し、
前記角度計算装置は、
物体の足部分の足の画像座標(uf,vf)を足の部屋座標(Xf,Yf=0,Zf)に変換し、
長さΔYを前記足の部屋座標の垂直座標(Yf)に加え、
少なくとも前記垂直座標を変換して上部画像座標(uh,vh)を形成し、それにより足の画像座標(uf,vf)と上部画像座標(uh,vh)との間のベクトルにより垂直方向を与え、
前記ベクトルと物体の方向との間の角度を決めるように、設けられたことを特徴とする装置。 - 前記判断装置は、現在の画像と所定の背景画像との差である前景画像を計算し、かつ検出領域の床上に存在する前景画像と前景画像全体との比を計算する前景計算装置をさらに備え、当該比が所定の閾値である0.5を超えると、物体が床上に横たわっていると判断することを特徴とする請求項28に記載の装置。
- 前記判断装置は、物体の少なくとも二つの末端部分の質量中心を判断する長さ計算装置をさらに備え、物体長さを計算し、前記物体長さが所定長さより短いと判断すると、物体が床上に横たわっていると判断することを特徴とする請求項28または請求項29に記載の装置。
- 検出領域における転倒を特定する転倒検出器をさらに備え、床上に物体が横たわっていると前記判断装置が判断すると、前記転倒検出器が転倒の特定を開始することを特徴とする請求項28から請求項30のいずれか一項に記載の装置。
- 前記転倒検出器は、物体が床上に横たわっていると判断装置が判断する際に、所定時間画像シーケンスを引き出すための手段と、
転倒が起きたかどうかの情報を含む物体の速度および/または物体の負の加速度に関して、引き出された画像シーケンスを解析するための手段と、
物体の速度が所定値より大きく、および/または物体の負の加速度が負の値より小さいと判断することにより転倒状態を特定するための手段とを備え、
前記所定時間は、前記判断装置により、物体が床上に横たわっていると判断する時点よりも前の時間を含むことを特徴とする請求項31に記載の装置。 - 前記転倒検出器は、
現在の画像と前の画像との差を計算することにより前景画像を形成するための手段と、
前景画像から前景画素の数を導き出すための手段と、
前景画素の数が前景数の値を超えるかどうかを判断することにより転倒状態を特定するための手段とを備え、
当該前景数の値は、現在の画像と背景画像との差を計算することにより導き出される基準前景画像中の前景画素の数を表すことを特徴とする請求項31または請求項32に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE0203483A SE0203483D0 (sv) | 2002-11-21 | 2002-11-21 | Method and device for fall detection |
PCT/SE2003/001814 WO2004047039A1 (en) | 2002-11-21 | 2003-11-21 | Method and device for fall prevention and detection |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006522959A JP2006522959A (ja) | 2006-10-05 |
JP4587067B2 true JP4587067B2 (ja) | 2010-11-24 |
Family
ID=20289668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004553362A Expired - Fee Related JP4587067B2 (ja) | 2002-11-21 | 2003-11-21 | 物体の転倒をモニターする方法および装置 |
Country Status (5)
Country | Link |
---|---|
US (2) | US7541934B2 (ja) |
JP (1) | JP4587067B2 (ja) |
AU (1) | AU2003302092A1 (ja) |
SE (1) | SE0203483D0 (ja) |
WO (1) | WO2004047039A1 (ja) |
Families Citing this family (98)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8564661B2 (en) | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
US8711217B2 (en) | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
US9892606B2 (en) | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
US7424175B2 (en) | 2001-03-23 | 2008-09-09 | Objectvideo, Inc. | Video segmentation using statistical pixel modeling |
JP4618176B2 (ja) * | 2006-03-22 | 2011-01-26 | 船井電機株式会社 | 監視装置 |
JP2009533778A (ja) | 2006-04-17 | 2009-09-17 | オブジェクトビデオ インコーポレイテッド | 統計的画素モデリングを使った映像セグメント化 |
US8217795B2 (en) * | 2006-12-05 | 2012-07-10 | John Carlton-Foss | Method and system for fall detection |
US8260570B2 (en) * | 2007-01-22 | 2012-09-04 | National University Of Singapore | Method and system for fall-onset detection |
US7612681B2 (en) * | 2007-02-06 | 2009-11-03 | General Electric Company | System and method for predicting fall risk for a resident |
US20100052896A1 (en) * | 2008-09-02 | 2010-03-04 | Jesse Bruce Goodman | Fall detection system and method |
DE102008049194B4 (de) * | 2008-09-26 | 2013-05-08 | Atos It Solutions And Services Gmbh | Verfahren zum Detektieren von Stürzen |
CN101465955B (zh) * | 2009-01-05 | 2013-08-21 | 北京中星微电子有限公司 | 背景更新方法和装置 |
DE102009015537B4 (de) * | 2009-04-01 | 2016-04-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Warnsystem und Verfahren zum Erkennen einer Notsituation |
WO2011016782A1 (en) * | 2009-08-05 | 2011-02-10 | Agency For Science, Technology And Research | Condition detection methods and condition detection devices |
WO2011055255A1 (en) | 2009-11-03 | 2011-05-12 | Koninklijke Philips Electronics N.V. | Method and system for revoking a fall alarm field of the invention |
US8350709B2 (en) * | 2010-03-31 | 2013-01-08 | Hill-Rom Services, Inc. | Presence detector and occupant support employing the same |
US8508372B2 (en) * | 2010-06-21 | 2013-08-13 | General Electric Company | Method and system for fall detection |
US8427324B2 (en) | 2010-07-30 | 2013-04-23 | General Electric Company | Method and system for detecting a fallen person using a range imaging device |
US20130163879A1 (en) | 2010-08-30 | 2013-06-27 | Bk-Imaging Ltd. | Method and system for extracting three-dimensional information |
US9204823B2 (en) | 2010-09-23 | 2015-12-08 | Stryker Corporation | Video monitoring system |
JP5682204B2 (ja) * | 2010-09-29 | 2015-03-11 | オムロンヘルスケア株式会社 | 安全看護システム、および、安全看護システムの制御方法 |
JP5682203B2 (ja) | 2010-09-29 | 2015-03-11 | オムロンヘルスケア株式会社 | 安全看護システム、および、安全看護システムの制御方法 |
US20120106778A1 (en) * | 2010-10-28 | 2012-05-03 | General Electric Company | System and method for monitoring location of persons and objects |
CN103493112B (zh) * | 2011-02-22 | 2016-09-21 | 菲力尔系统公司 | 红外传感器系统及方法 |
WO2012115881A1 (en) * | 2011-02-22 | 2012-08-30 | Flir Systems, Inc. | Infrared sensor systems and methods |
DK2681722T3 (en) | 2011-03-04 | 2018-03-05 | Deutsche Telekom Ag | Method and system for identifying falls and transmitting an alarm |
CA3090537A1 (en) | 2011-04-04 | 2012-10-04 | Alarm.Com Incorporated | Fall detection and reporting technology |
US20130127620A1 (en) | 2011-06-20 | 2013-05-23 | Cerner Innovation, Inc. | Management of patient fall risk |
US9741227B1 (en) | 2011-07-12 | 2017-08-22 | Cerner Innovation, Inc. | Method and process for determining whether an individual suffers a fall requiring assistance |
US9489820B1 (en) | 2011-07-12 | 2016-11-08 | Cerner Innovation, Inc. | Method for determining whether an individual leaves a prescribed virtual perimeter |
US10546481B2 (en) | 2011-07-12 | 2020-01-28 | Cerner Innovation, Inc. | Method for determining whether an individual leaves a prescribed virtual perimeter |
US8826473B2 (en) | 2011-07-19 | 2014-09-09 | Hill-Rom Services, Inc. | Moisture detection system |
JP5760905B2 (ja) * | 2011-09-28 | 2015-08-12 | 株式会社Jvcケンウッド | 危険検知装置及び危険検知方法 |
EP2575113A1 (en) | 2011-09-30 | 2013-04-03 | General Electric Company | Method and device for fall detection and a system comprising such device |
TWI512638B (zh) * | 2011-10-31 | 2015-12-11 | Univ Nat Chiao Tung | Intelligent area method and automatic camera state judgment method |
US8847781B2 (en) | 2012-03-28 | 2014-09-30 | Sony Corporation | Building management system with privacy-guarded assistance mechanism and method of operation thereof |
US8929853B2 (en) | 2012-09-05 | 2015-01-06 | Apple Inc. | Mobile emergency attack and failsafe detection |
US10229489B1 (en) | 2012-10-16 | 2019-03-12 | Ocuvera LLC | Medical environment monitoring system |
US11570421B1 (en) | 2012-10-16 | 2023-01-31 | Ocuvera, LLC | Medical environment monitoring system |
US9538158B1 (en) | 2012-10-16 | 2017-01-03 | Ocuvera LLC | Medical environment monitoring system |
US10229491B1 (en) | 2012-10-16 | 2019-03-12 | Ocuvera LLC | Medical environment monitoring system |
US20140276504A1 (en) | 2013-03-13 | 2014-09-18 | Hill-Rom Services, Inc. | Methods and apparatuses for the detection of incontinence or other moisture, methods of fluid analysis, and multifunctional sensor systems |
US9974344B2 (en) | 2013-10-25 | 2018-05-22 | GraceFall, Inc. | Injury mitigation system and method using adaptive fall and collision detection |
US10096223B1 (en) * | 2013-12-18 | 2018-10-09 | Cerner Innovication, Inc. | Method and process for determining whether an individual suffers a fall requiring assistance |
US9729833B1 (en) | 2014-01-17 | 2017-08-08 | Cerner Innovation, Inc. | Method and system for determining whether an individual takes appropriate measures to prevent the spread of healthcare-associated infections along with centralized monitoring |
US10225522B1 (en) | 2014-01-17 | 2019-03-05 | Cerner Innovation, Inc. | Method and system for determining whether an individual takes appropriate measures to prevent the spread of healthcare-associated infections |
US10078956B1 (en) | 2014-01-17 | 2018-09-18 | Cerner Innovation, Inc. | Method and system for determining whether an individual takes appropriate measures to prevent the spread of healthcare-associated infections |
US10593186B2 (en) * | 2014-09-09 | 2020-03-17 | Apple Inc. | Care event detection and alerts |
US10786408B2 (en) | 2014-10-17 | 2020-09-29 | Stryker Corporation | Person support apparatuses with exit detection systems |
US10090068B2 (en) | 2014-12-23 | 2018-10-02 | Cerner Innovation, Inc. | Method and system for determining whether a monitored individual's hand(s) have entered a virtual safety zone |
US10524722B2 (en) | 2014-12-26 | 2020-01-07 | Cerner Innovation, Inc. | Method and system for determining whether a caregiver takes appropriate measures to prevent patient bedsores |
US10091463B1 (en) | 2015-02-16 | 2018-10-02 | Cerner Innovation, Inc. | Method for determining whether an individual enters a prescribed virtual zone using 3D blob detection |
US10342478B2 (en) | 2015-05-07 | 2019-07-09 | Cerner Innovation, Inc. | Method and system for determining whether a caretaker takes appropriate measures to prevent patient bedsores |
CN107533764A (zh) * | 2015-05-21 | 2018-01-02 | 柯尼卡美能达株式会社 | 图像处理系统、图像处理装置、图像处理方法以及图像处理程序 |
US9892611B1 (en) | 2015-06-01 | 2018-02-13 | Cerner Innovation, Inc. | Method for determining whether an individual enters a prescribed virtual zone using skeletal tracking and 3D blob detection |
CN107735813A (zh) * | 2015-06-10 | 2018-02-23 | 柯尼卡美能达株式会社 | 图像处理系统、图像处理装置、图像处理方法及图像处理程序 |
WO2016199748A1 (ja) * | 2015-06-11 | 2016-12-15 | コニカミノルタ株式会社 | 動作検出システム、動作検出装置、動作検出方法、および動作検出プログラム |
EP3170125B1 (en) | 2015-08-10 | 2017-11-22 | Koninklijke Philips N.V. | Occupancy detection |
JP2016028333A (ja) * | 2015-09-18 | 2016-02-25 | 株式会社ニコン | 電子機器 |
US11707387B2 (en) | 2015-11-16 | 2023-07-25 | Hill-Rom Services, Inc. | Incontinence detection method |
US11147719B2 (en) | 2015-11-16 | 2021-10-19 | Hill-Rom Services, Inc. | Incontinence detection systems for hospital beds |
US10653567B2 (en) | 2015-11-16 | 2020-05-19 | Hill-Rom Services, Inc. | Incontinence detection pad validation apparatus and method |
US10614288B2 (en) | 2015-12-31 | 2020-04-07 | Cerner Innovation, Inc. | Methods and systems for detecting stroke symptoms |
US10140832B2 (en) | 2016-01-26 | 2018-11-27 | Flir Systems, Inc. | Systems and methods for behavioral based alarms |
US10489661B1 (en) | 2016-03-08 | 2019-11-26 | Ocuvera LLC | Medical environment monitoring system |
FI126922B (fi) * | 2016-03-29 | 2017-08-15 | Maricare Oy | Menetelmä ja järjestelmä valvontaan |
FI127322B (fi) * | 2016-04-22 | 2018-03-29 | Maricare Oy | Anturi ja järjestelmä valvontaan |
US10115291B2 (en) | 2016-04-26 | 2018-10-30 | Hill-Rom Services, Inc. | Location-based incontinence detection |
US10506990B2 (en) | 2016-09-09 | 2019-12-17 | Qualcomm Incorporated | Devices and methods for fall detection based on phase segmentation |
US20180146906A1 (en) | 2016-11-29 | 2018-05-31 | Hill-Rom Services, Inc. | System and method for determining incontinence device replacement interval |
JP6725411B2 (ja) * | 2016-12-27 | 2020-07-15 | 積水化学工業株式会社 | 行動評価装置、行動評価方法 |
US10600204B1 (en) | 2016-12-28 | 2020-03-24 | Ocuvera | Medical environment bedsore detection and prevention system |
US10147184B2 (en) | 2016-12-30 | 2018-12-04 | Cerner Innovation, Inc. | Seizure detection |
EP3346402A1 (en) | 2017-01-04 | 2018-07-11 | Fraunhofer Portugal Research | Apparatus and method for triggering a fall risk alert to a person |
US10553099B2 (en) * | 2017-08-07 | 2020-02-04 | Ricoh Company, Ltd. | Information providing apparatus and information providing system |
EP3879459A1 (en) | 2017-08-29 | 2021-09-15 | Hill-Rom Services, Inc. | Rfid tag inlay for incontinence detection pad |
US10643446B2 (en) | 2017-12-28 | 2020-05-05 | Cerner Innovation, Inc. | Utilizing artificial intelligence to detect objects or patient safety events in a patient room |
US10482321B2 (en) | 2017-12-29 | 2019-11-19 | Cerner Innovation, Inc. | Methods and systems for identifying the crossing of a virtual barrier |
US10198928B1 (en) | 2017-12-29 | 2019-02-05 | Medhab, Llc. | Fall detection system |
CN108629300B (zh) * | 2018-04-24 | 2022-01-28 | 北京科技大学 | 一种跌倒检测方法 |
US10945892B2 (en) | 2018-05-31 | 2021-03-16 | Hill-Rom Services, Inc. | Incontinence detection system and detectors |
KR102038081B1 (ko) * | 2018-10-16 | 2019-10-29 | 주식회사 젠다카디언 | 낙상 및 기립 감지 장치 |
US10922936B2 (en) | 2018-11-06 | 2021-02-16 | Cerner Innovation, Inc. | Methods and systems for detecting prohibited objects |
CN109858322A (zh) * | 2018-12-04 | 2019-06-07 | 广东工业大学 | 一种人体跌倒检测方法及装置 |
CN109430984A (zh) * | 2018-12-12 | 2019-03-08 | 云南电网有限责任公司电力科学研究院 | 一种适用于电力场所的图像化智能安全盔 |
WO2020188748A1 (ja) * | 2019-03-19 | 2020-09-24 | 日本電気株式会社 | 監視システム、情報処理装置、転倒検出方法、及び非一時的なコンピュータ可読媒体 |
US11950987B2 (en) | 2019-05-21 | 2024-04-09 | Hill-Rom Services, Inc. | Manufacturing method for incontinence detection pads having wireless communication capability |
US11717186B2 (en) | 2019-08-27 | 2023-08-08 | Medtronic, Inc. | Body stability measurement |
CN110575647B (zh) * | 2019-09-12 | 2020-09-29 | 常州市第一人民医院 | 一种医疗防跌倒预警装置 |
US12048613B2 (en) | 2019-09-30 | 2024-07-30 | Hill-Rom Services, Inc. | Incontinence detection system |
US11712186B2 (en) | 2019-09-30 | 2023-08-01 | Hill-Rom Services, Inc. | Incontinence detection with real time location information |
CN111369763B (zh) * | 2020-04-09 | 2022-04-29 | 西南政法大学 | 一种精神障碍患者攻击防范系统 |
GB202007587D0 (en) | 2020-05-21 | 2020-07-08 | Essence Smartcare Ltd | A device for determining a status of a person |
GB202008326D0 (en) | 2020-06-03 | 2020-07-15 | Essence Smartcare Ltd | Controlling frame rate of active reflected wave detector |
US11602313B2 (en) | 2020-07-28 | 2023-03-14 | Medtronic, Inc. | Determining a fall risk responsive to detecting body position movements |
CN112180359B (zh) * | 2020-11-03 | 2024-04-05 | 常州百芝龙智慧科技有限公司 | 一种基于fmcw的人体摔倒的检测方法 |
US20220147736A1 (en) * | 2020-11-09 | 2022-05-12 | Altumview Systems Inc. | Privacy-preserving human action recognition, storage, and retrieval via joint edge and cloud computing |
CN113378692B (zh) * | 2021-06-08 | 2023-09-15 | 杭州萤石软件有限公司 | 一种降低跌倒行为误检的方法、检测系统 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0335399A (ja) | 1989-06-30 | 1991-02-15 | Toshiba Corp | 変化領域統合装置 |
US6897780B2 (en) * | 1993-07-12 | 2005-05-24 | Hill-Rom Services, Inc. | Bed status information system for hospital beds |
JP3103931B2 (ja) * | 1997-02-19 | 2000-10-30 | 鐘紡株式会社 | 室内監視装置 |
DE903707T1 (de) * | 1997-09-17 | 1999-12-09 | Matsushita Electric Industrial Co., Ltd. | Bettbelegungs-Erfassungssystem |
US6212510B1 (en) | 1998-01-30 | 2001-04-03 | Mitsubishi Electric Research Laboratories, Inc. | Method for minimizing entropy in hidden Markov models of physical signals |
US6049281A (en) | 1998-09-29 | 2000-04-11 | Osterweil; Josef | Method and apparatus for monitoring movements of an individual |
JP3420079B2 (ja) * | 1998-09-29 | 2003-06-23 | 松下電器産業株式会社 | 状態検知システム |
US6160478A (en) * | 1998-10-27 | 2000-12-12 | Sarcos Lc | Wireless health monitoring system |
GB2344167B (en) | 1998-11-26 | 2000-09-06 | Infrared Integrated Syst Ltd | Use of detector arrays to detect cessation of motion |
JP3900726B2 (ja) * | 1999-01-18 | 2007-04-04 | 松下電工株式会社 | 転倒検知装置 |
SE519700C2 (sv) | 1999-12-23 | 2003-04-01 | Wespot Ab | Bilddatabehandling |
DE60039630D1 (de) | 1999-12-23 | 2008-09-04 | Secuman B V | Verfahren, vorrichtung und rechnerprogramm zur überwachung eines gebiets |
SE517900C2 (sv) | 1999-12-23 | 2002-07-30 | Wespot Ab | Sätt,övervakningssystem och övervakningsenhet för övervakning av en övervakningsplats |
JP3389548B2 (ja) | 2000-01-13 | 2003-03-24 | 三洋電機株式会社 | 部屋内異常検出装置及び部屋内異常検出方法 |
AU2001236234A1 (en) | 2000-02-02 | 2001-08-14 | Lorand Csiszar | Patient monitoring devices and methods |
EP1195139A1 (en) | 2000-10-05 | 2002-04-10 | Ecole Polytechnique Féderale de Lausanne (EPFL) | Body movement monitoring system and method |
US6616607B2 (en) * | 2000-10-18 | 2003-09-09 | Matsushita Electric Industrial Co., Ltd. | State information acquisition system, state information acquisition apparatus, attachable terminal apparatus, and state information acquisition method |
JP2002232870A (ja) * | 2001-02-06 | 2002-08-16 | Mitsubishi Electric Corp | 検知装置及び検知方法 |
US7038588B2 (en) * | 2001-05-04 | 2006-05-02 | Draeger Medical Infant Care, Inc. | Apparatus and method for patient point-of-care data management |
US6544200B1 (en) * | 2001-08-31 | 2003-04-08 | Bed-Check Corporation | Electronic patient monitor with automatically configured alarm parameters |
SE523456C2 (sv) | 2001-09-28 | 2004-04-20 | Wespot Ab | System, anordning och förfarande för inställning av en övervakningsenhet |
SE523547C2 (sv) | 2001-09-28 | 2004-04-27 | Wespot Ab | Övervakningsenhet |
US6897781B2 (en) * | 2003-03-26 | 2005-05-24 | Bed-Check Corporation | Electronic patient monitor and white noise source |
-
2002
- 2002-11-21 SE SE0203483A patent/SE0203483D0/xx unknown
-
2003
- 2003-11-21 WO PCT/SE2003/001814 patent/WO2004047039A1/en active Application Filing
- 2003-11-21 JP JP2004553362A patent/JP4587067B2/ja not_active Expired - Fee Related
- 2003-11-21 AU AU2003302092A patent/AU2003302092A1/en not_active Abandoned
- 2003-11-21 US US10/536,016 patent/US7541934B2/en not_active Expired - Fee Related
-
2008
- 2008-12-16 US US12/240,735 patent/US8106782B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2004047039A1 (en) | 2004-06-03 |
US8106782B2 (en) | 2012-01-31 |
SE0203483D0 (sv) | 2002-11-21 |
US20060145874A1 (en) | 2006-07-06 |
AU2003302092A1 (en) | 2004-06-15 |
US20090121881A1 (en) | 2009-05-14 |
US7541934B2 (en) | 2009-06-02 |
JP2006522959A (ja) | 2006-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4587067B2 (ja) | 物体の転倒をモニターする方法および装置 | |
US9996739B2 (en) | System and method for automatic gait cycle segmentation | |
Solbach et al. | Vision-based fallen person detection for the elderly | |
Debard et al. | Camera-based fall detection on real world data | |
Bevilacqua et al. | Fall detection in indoor environment with kinect sensor | |
CN108629300B (zh) | 一种跌倒检测方法 | |
Tzeng et al. | Design of fall detection system with floor pressure and infrared image | |
US7106885B2 (en) | Method and apparatus for subject physical position and security determination | |
Foroughi et al. | Intelligent video surveillance for monitoring fall detection of elderly in home environments | |
US20190034713A1 (en) | Method and apparatus for health and safety momitoring of a subject in a room | |
EP2398003A1 (en) | Method and system for fall detection | |
KR101309366B1 (ko) | 영상 기반 이상 동작 감시 시스템 및 방법 | |
Shoaib et al. | View-invariant fall detection for elderly in real home environment | |
JP2752335B2 (ja) | 病室内患者監視装置 | |
Yang et al. | Fall detection for multiple pedestrians using depth image processing technique | |
Debard et al. | Camera based fall detection using multiple features validated with real life video | |
JPH11276443A (ja) | 被介護者観測装置及びその方法 | |
JP3103931B2 (ja) | 室内監視装置 | |
JP2018533240A (ja) | 占有検出 | |
CN111243230A (zh) | 基于两台深度相机的人体跌倒检测装置和方法 | |
KR101212383B1 (ko) | 홈 헬스케어 모니터링 장치 및 방법 | |
KR20130094488A (ko) | 영상 기반 이상 동작 감시 시스템 및 방법 | |
CN108846996B (zh) | 一种摔倒侦测系统及方法 | |
Miaou et al. | A smart vision-based human fall detection system for telehealth applications | |
Medina-Quero et al. | Computer vision-based gait velocity from non-obtrusive thermal vision sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090324 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090616 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090623 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100406 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100803 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100826 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130917 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |