JP5885292B2 - 行動認識プログラムおよび行動認識用の処理装置 - Google Patents
行動認識プログラムおよび行動認識用の処理装置 Download PDFInfo
- Publication number
- JP5885292B2 JP5885292B2 JP2011244951A JP2011244951A JP5885292B2 JP 5885292 B2 JP5885292 B2 JP 5885292B2 JP 2011244951 A JP2011244951 A JP 2011244951A JP 2011244951 A JP2011244951 A JP 2011244951A JP 5885292 B2 JP5885292 B2 JP 5885292B2
- Authority
- JP
- Japan
- Prior art keywords
- acceleration
- action
- lie
- motion
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
また、特許文献3としての特開2008−102781号公報には、2台のカメラによってユーザをステレオ視し、ユーザの肌色部分として抽出された手先領域の3次元位置の変化に基づいて、ユーザの手の動きの大きさや速度を計算する技術が記載されている。また、特許文献3には、ユーザの顔領域も抽出し、ファジー推論によって、抽出された顔と手との位置関係と計算された手の動きの大きさと速度とから、ユーザが健常者であるか白杖者(視覚障害者)であるかを判別する技術が記載されている。
すなわち、特許文献1〜3には、カメラを用いて人間の動作を自動的に判別する技術が記載されている。
特許文献1〜3に記載の技術では、両方のカメラの撮像範囲内に、撮像対象(ユーザの顔や手)が存在する必要があり、撮像対象がいずれか1つのカメラの撮像範囲外、すなわち、死角に移動してしまった場合、撮像対象の3次元位置が計算できないため、ユーザの動作が判別できなくなるという問題がある。また、例えば、ユーザがカメラに背を向けたり、屈み込んだりした場合、撮像対象の全部または一部が隠れて撮像し難くなる。よって、特許文献1〜3に記載の技術では、ユーザの身体の向きや姿勢によってユーザの動作が判別し難くなるという問題があった。また、例えば、朝、昼、夜の室内の明るさが異なる場合、撮像対象の追跡精度が低下したり、追跡できなくなったりする可能性がある。特に、室内の照明を暗くした場合には、追跡できなくなるという問題があった。
この結果、特許文献1〜3に記載の技術では、ユーザの動作を判別できなくなる場合があり、判別できた場合であっても判別結果の精度が低下するおそれがあった。また、特許文献1〜3に記載の技術では、昼夜の明るさが大きく変化する室外ではユーザの動作を判別し続けることが困難であるという問題があった。
コンピュータを、
人が携帯可能な端末に設けられて加速度を検出可能な加速度センサで検出される加速度と、前記端末を携帯した人の姿勢と、を対応づける情報が予め記憶された姿勢情報記憶手段、
前記加速度センサで検出された加速度と、前記姿勢情報記憶手段に記憶された情報とに基づいて、前記端末を携帯した人の動作を判別する動作判別手段、
前記動作の推移を記憶する動作推移記憶手段、
前記動作の推移と、前記端末を携帯した人の行動と、を対応づける情報が予め記憶された行動情報記憶手段、
前記動作の推移と、前記動作の前後の間の動作の激しさと、前記行動情報記憶手段に記憶された情報とに基づいて、前記端末を携帯した人の行動を判別する行動判別手段、
として機能させるための行動認識プログラムであって、
前記動作判別手段では、
加速度と該加速度に対応する確率変数とが対応付けられたメンバシップ関数が、各姿勢毎に予め照合されて設定され、前記加速度センサで検出された加速度と前記メンバシップ関数とに基づいて、前記端末を携帯した人の姿勢が判別され、
加速度ベクトルの分散と該分散に対応する確率変数とが対応付けられたメンバシップ関数が、静止および移動のいずれかと予め照合されて設定され、前記加速度センサで検出された加速度と前記メンバシップ関数とに基づいて、前記端末を携帯した人の静止及び移動のいずれかが判別され、
加速度ベクトルの最大値と最小値との差分と該差分に対応する確率変数とが対応付けられたメンバシップ関数が、動作の激しいか否かに応じて予め照合されて設定され、前記加速度センサで検出された加速度と前記メンバシップ関数とに基づいて、前記端末を携帯した人の動作の激しさを判別する
ことを特徴とする。
加速度を検出可能な加速度センサを備え、人が携帯可能な端末との間で情報の送受信が可能な行動認識用の処理装置であって、
前記加速度センサで検出される加速度と前記端末を携帯した人の姿勢とを対応づける情報が予め記憶された姿勢情報記憶手段と、
前記加速度センサで検出された加速度と前記姿勢情報記憶手段に記憶された情報とに基づいて、前記端末を携帯した人の動作を判別する動作判別手段と、
前記動作の推移を記憶する動作推移記憶手段と、前記動作の推移と前記端末を携帯した人の行動とを対応づける情報が予め記憶された行動情報記憶手段と、
前記動作の推移と、前記動作の前後の間の動作の激しさと、前記行動情報記憶手段に記憶された情報とに基づいて、前記端末を携帯した人の行動を判別する行動判別手段と、
を備え、
前記動作判別手段では、
加速度と該加速度に対応する確率変数とが対応付けられたメンバシップ関数が、各姿勢毎に予め照合されて設定され、前記加速度センサで検出された加速度と前記メンバシップ関数とに基づいて、前記端末を携帯した人の姿勢が判別され、
加速度ベクトルの分散と該分散に対応する確率変数とが対応付けられたメンバシップ関数が、静止および移動のいずれかと予め照合されて設定され、前記加速度センサで検出された加速度と前記メンバシップ関数とに基づいて、前記端末を携帯した人の静止及び移動のいずれかが判別され、
加速度ベクトルの最大値と最小値との差分と該差分に対応する確率変数とが対応付けられたメンバシップ関数が、動作の激しいか否かに応じて予め照合されて設定され、前記加速度センサで検出された加速度と前記メンバシップ関数とに基づいて、前記端末を携帯した人の動作の激しさを判別する
を備えたことを特徴とする。
人が携帯可能な端末に設けられて加速度を検出可能な加速度センサで検出される加速度と、前記加速度と前記端末を携帯した人の姿勢とが予め対応づけられた情報とに基づいて、前記端末を携帯した人の動作を判別する動作判別ステップと、
前記動作の推移と、前記動作の推移と前記端末を携帯した人の行動とが予め対応づけられた情報と、に基づいて、前記端末を携帯した人の行動を判別する行動判別ステップと、
を実行することも可能である。
図1において、実施例1の行動認識システム1は、行動認識用の処理装置の一例としてのサーバ2を有する。実施例1の前記サーバ2は、コンピュータ装置により構成されており、コンピュータ本体2aと、ディスプレイ2bと、キーボード2cやマウス2d等の入力装置、図示しないハードディスクドライブ等により構成されている。
ここで、ZigBee(登録商標)とは、センサネットワークとして利用することを想定して開発された家電向けの短距離無線通信規格の一つであり、低速で情報の送受信の範囲が狭い替わりに、他の無線通信規格の端末に比べて安価で消費電力が少ないという特徴を有している。
また、実施例1の前記センサタグ4,4は、一例として、図示しないフックでベルトのバックル部分に引っ掛ける等して各対象者の腰の位置に装着されており、直交する3軸のそれぞれの方向の加速度を検出する加速度センサ(3軸加速度センサ)4a,4aを有する。
よって、例えば、対象者が静止している場合、1[G]の重力加速度が下向きに働くため、直立していれば、ax=−1[G]、ay=az=0[G]となる加速度ax〜azが検出される。また、例えば、対象者が左向きで寝ている状態で静止していれば、ay=−1[G]、az=ax=0[G]となる加速度ax〜azが検出され、対象者がうつ伏せで寝ている状態で静止していれば、az=+1[G]、ax=ay=0[G]となる加速度ax〜azが検出される。
(実施例1のセンサタグ4,4の制御部の説明)
図2は実施例1の行動認識システムのサーバとアクセスポイントとセンサタグとの各制御部が備えている各機能をブロック図(機能ブロック図)で示した図である。
図2において、前記センサタグ4,4の制御部は、外部との信号の入出力等を行う入出力インターフェース(I/O)、必要な処理を行うためのプログラムおよび情報等が記憶されたROM(リードオンリーメモリ)、必要なデータを一時的に記憶するためのRAM(ランダムアクセスメモリ)、前記ROMに記憶されたプログラムに応じた処理を行うCPU(中央演算処理装置)、ならびに発振器等を有する小型情報処理装置、いわゆる、マイクロコンピュータにより構成されており、前記ROMに記憶されたプログラムを実行することにより種々の機能を実現することができる。
前記センサタグ4,4の制御部は、加速度センサ4a,4a等の信号出力要素からの出力信号が入力されている。前記加速度センサ4a,4aは、50[ms]ごとに3軸の各方向の加速度ax〜azを検出する。
(実施例1のセンサタグ4,4の制御部の機能)
前記センサタグ4,4の制御部は、前記信号出力要素からの入力信号に応じた処理を実行する以下の機能を有している。
CS1:端末情報記憶手段(識別情報記憶手段、センサタグID記憶手段、端末識別情報記憶手段)
端末情報記憶手段CS1は、センサタグ4,4ごとに予め設定されたセンサタグID(識別情報、端末情報、端末識別情報)を記憶する。
CS2:送信手段
送信手段CS2は、前記端末情報記憶手段CS1に記憶されたセンサタグIDを送信する端末情報送信手段CS2Aを有し、加速度センサ4a,4aによって検出された加速度ax〜azの情報である加速度データ(加速度の情報)を送信する。実施例1の前記送信手段CS2は、いわゆる、ZigBee(登録商標)モジュール(ZigBee(登録商標)チップ、ZigBee(登録商標)送受信機)によって構成された図示しない送信部を介して、検出された加速度データと、記憶されたセンサタグIDと含む情報を50[ms]ごとにアクセスポイント3,3に送信(無線送信)する。
(実施例1のアクセスポイント3,3の制御部の機能)
また、前記アクセスポイント3,3の制御部は、前記センサタグ4,4の制御部と同様のマイクロコンピュータにより構成されており、以下の機能を有している。
CA1:転送情報記憶手段(アクセスポイントID記憶手段、転送部材識別情報記憶手段)
転送情報記憶手段CA1は、アクセスポイント3,3ごとに予め設定されたアクセスポイントID(転送情報、転送部材識別情報)を記憶する。
転送手段CA2は、転送用受信手段CA2Aと、信号強度検出手段CA2Bと、転送用送信手段CA2Cとを有し、前記送信手段CS2によって送信された情報をサーバ2に転送する。
CA2A:転送用受信手段
転送用受信手段CA2Aは、前記ZigBee(登録商標)モジュールによって構成された図示しない受信部を介して、前記送信手段CS2によって送信された加速度データとセンサタグIDとを含む情報を受信する。
信号強度検出手段C2A2Bは、前記転送用受信手段CA2Aによって受信した情報の受信信号の強度である受信信号強度(RSSI:Received Signal Strength Indicator)の値であるRSSI値を検出する。実施例1の前記信号強度検出手段CA2Bは、受信信号のRSSI値を、−128[dBm:デービーエム]から+128[dBm]までの値で検出する。なお、「dBm」とは、基準値である1[mW]に対する受信信号の電力のレベル表現の値(比の常用対数の10倍)のことをいう。例えば、1[mW]は、10×log10((1×10−3)/(1×10−3))=0[dBm]、30[mW]は、10×log10((30×10−3)/(1×10−3))≒14.8[dBm]、0.1[mW]は、10×log10((0.1×10−3)/(1×10−3))=−10[dBm]となる。
CA2C:転送用送信手段
転送用送信手段CA2Cは、前記転送情報記憶手段CA1に記憶されたアクセスポイントIDと前記信号強度検出手段CA2Bによって検出されたRSSI値とを送信する端末位置送信手段CA2C1を有し、いわゆる、無線LANモジュール(無線LAN送受信機)によって構成された図示しない送信部を介して、前記転送用受信手段CA2Aによって受信した前記情報とアクセスポイントIDとRSSI値とを含む情報をサーバ2に送信する。
また、前記サーバ2のコンピュータ本体2aの制御部は、I/O、ROM、RAM、CPU、クロック発振器等を有し、前記構成のサーバ2は、ハードディスクドライブやROM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
前記制御部には、基本動作を制御する基本ソフト、いわゆる、オペレーティングシステムOS、アプリケーションプログラムとしての行動認識プログラムAP1、その他の図示しないソフトウェアが記憶されている。
前記行動認識プログラムAP1は、下記の機能手段(プログラムモジュール)を有する。
C1:特定手段(端末情報特定手段、センサタグID特定手段、端末識別情報特定手段)
特定手段C1は、センサタグIDに基づいて、センサタグ4,4を携帯した対象者を特定する。
受信手段C2は、前記端末情報送信手段CS2Aから送信されたセンサタグIDを受信する端末情報受信手段C2Aと、前記端末位置送信手段CA2C1から送信されたアクセスポイントIDとRSSI値とを受信する端末位置受信手段C2Bとを有し、前記送信手段CS2から送信された加速度データを受信する。実施例1の前記受信手段C2は、前記転送用送信手段CA2Cから転送された前記情報(加速度データ、センサタグID、アクセスポイントID、RSSI値を含む情報)を受信する。
C3:受信情報記憶手段
受信情報記憶手段C3は、前記受信手段C2から前記情報を受信した時期(タイムスタンプ)を記憶する受信時期記憶手段(タイムスタンプ記憶手段)C3Aを有し、前記受信手段C2によって受信した前記情報と時期とを対応付けて記憶する。すなわち、実施例1の前記受信情報記憶手段C3には、受信した時期ごとに、加速度データ、センサタグID、アクセスポイントID、RSSI値が対応付けられて記憶される。
図4は実施例1のメンバシップ関数を設定する際に対象者から取得した各動作の加速度データと連続画像と時系列で照合する作業に関する説明図であり、対象者が前方に転倒した際の各動作の画像と縦軸を加速度とし横軸を時間とした場合の3軸の加速度データとを照合する作業の概念説明図である。
動作情報記憶手段C4は、姿勢情報記憶手段C4Aと、静動情報記憶手段C4Bと、強弱情報記憶手段C4Cとを有し、前記受信情報記憶手段C3に記憶された加速度データと、対象者の動作とを対応づける情報としての動作情報を記憶する。実施例1の前記動作情報記憶手段C4は、前記動作情報として、図3に示す、ファジィ推論(Fuzzy Inference)に用いるメンバシップ関数(Membership function)(f1〜f13)を記憶する。具体的には、各加速度ax〜azから後述する各メンバシップ値(STAND,SIT,LIE,LIE_LEFT,LIE_RIGHT,NOT_LIE_LR,LIE_FRONT,LIE_BACK,NOT_LIE_FB,STOP,MOVE,WALK,RUN)を演算するための情報(例えば、メンバシップ関数の定数や、メンバシップ値設定テーブル等)をセンサタグIDと対応付けて記憶する。
すなわち、実施例1の前記動作情報記憶手段C4は、センサタグIDに応じて、対象者ごとに各メンバシップ関数(f1〜f13)を記憶する。
また、図3に示す実施例1の各メンバシップ関数(f1〜f13)は、図4に示すように、センサタグ4を装着した対象者をカメラで撮影しながら、対象者に判別対象の各動作を21回ずつ予め実行してもらい、取得した「立位」、「座位」、前後左右に向いた「臥位」、「歩行」、「走行」の8種類の各動作の21個のサンプルについて、それぞれ加速度データと動画とを時系列で照合することによって予め設定されている。
姿勢情報記憶手段C4Aは、前記受信情報記憶手段C3に記憶された加速度データと、対象者の姿勢とを対応づける情報としての姿勢情報を記憶する。実施例1では、対象者の姿勢の一例として、立っている状態である「立位」、座っている状態である「座位」、寝ている状態である「臥位」が予め設定されている。ここで、静止している場合の「立位」、「座位」、「臥位」については、X軸加速度axに基づいて判別可能である。例えば、「立位」ならばax≒−1[G]となり、「臥位」ならばax≒0[G]となり、「座位」ならば上体が前か後に傾いた状態になり易く、上体の傾きによってX軸加速度axが−1[G]から0[G]までの間の値が検出される。よって、図3Aに示すように、X軸加速度axに基づいて、X軸加速度axと「立位」、「座位」、「臥位」の各メンバシップ値(確率変数)STAND,SIT,LIE(0≦STAND≦1,0≦SIT≦1,0≦LIE≦1)とを対応づける「立位」、「座位」、「臥位」の各メンバシップ関数f1,f2,f3を設定できる。
よって、X軸加速度axに応じた各メンバシップ値STAND〜LIEの和(STAND+SIT+LIE)が1に設定されている(f1(ax)+f2(ax)+f3(ax)=1)。また、ax≦−0.8,−0.6<ax≦−0.4,−0.2≦axで各メンバシップ値STAND,SIT,LIEがそれぞれ1に設定され、−0.8<ax<−0.6が各メンバシップ値STAND,SITの0から1への境界部に設定され、−0.4<ax<−0.2が各メンバシップ値SIT,LIEの0から1への境界部に設定されている。
よって、Y軸加速度ayに応じた各メンバシップ値LIE_LEFT〜NOT_LIE_LRの和(LIE_LEFT+LIE_RIGHT+NOT_LIE_LR)が1に設定されている(f4(ay)+f5(ay)+f6(ay)=1)。また、ay≦−0.6,−0.4≦ay≦0.4,0.6≦ayで各メンバシップ値LIE_LEFT,NOT_LIE_LR,LIE_RIGHTがそれぞれ1に設定され、−0.6<ay<−0.4が各メンバシップ値LIE_LEFT,NOT_LIE_LRの0から1への境界部に設定され、0.4<ay<0.6が各メンバシップ値NOT_LIE_LR,LIE_RIGHTの0から1への境界部に設定されている。
なお、実施例1では、各加速度ax〜azに応じて出力される各メンバシップ値STAND〜NOT_LIE_FBの和(STAND+SIT+LIE),(LIE_LEFT+LIE_RIGHT+NOT_LIE_LR),(LIE_FRONT+LIE_BACK+NOT_LIE_FB)が1となる各メンバシップ関数f1〜f9を設定したが、これに限定されず、例えば、和(STAND+SIT+LIE),(LIE_LEFT+LIE_RIGHT+NOT_LIE_LR),(LIE_FRONT+LIE_BACK+NOT_LIE_FB)が1より小さい値となるメンバシップ関数を設定することも可能である。
静動情報記憶手段C4Bは、前記受信情報記憶手段C3に記憶された複数の加速度データに基づく複数の加速度ベクトル(各加速度ax〜azの合成ベクトル)の分散σ2と、対象者の動作の有無、すなわち、「静止」および「移動」とを対応づける情報としての静動情報をセンサタグIDと対応付けて記憶する。ここで、「静止」、「移動」については、複数の加速度ベクトルの分散σ2に基づいて判別可能である。例えば、「静止」ならばσ2≒0となり、「移動」ならばσ2>0で変化すると考えられる。よって、図3Dに示すように、分散σ2に基づいて、分散σ2と「静止」、「移動」の各メンバシップ値STOP,MOVE(0≦STOP≦1,0≦MOVE≦1)とを対応づける「静止」、「移動」の各メンバシップ関数f10,f11を設定できる。
よって、分散σ2に応じた各メンバシップ値STOP,MOVEの和(STOP+MOVE)が1に設定されている(f10(σ2)+f11(σ2)=1)。また、0≦σ2≦0.004,0.006≦σ2で各メンバシップ値STOP,MOVEがそれぞれ1に設定され、0.004<σ2<0.006が各メンバシップ値STOP,MOVEの0から1への境界部に設定されている。
なお、実施例1では、分散σ2に応じて出力される各メンバシップ値STAND,MOVEの和(STOP+MOVE)が1となる各メンバシップ関数f10,f11を設定したが、これに限定されず、例えば、和(STOP+MOVE)が1より小さい値となるメンバシップ関数を設定することも可能である。
なお、実施例1の前記分散σ2は、直近50個の各加速度ax〜azから得られる加速度ベクトルa1,a2,…,a50(a1=(ax1,ay1,az1),a2=(ax2,ay2,az2),…,a50=(ax50,ay50,az50))の標本分散となるように予め設定されている。すなわち、分散σ2は、50個の加速度ベクトルa1〜a50の平均ベクトルをμとし各ベクトルa1〜a50,μの転置ベクトルをa1 T〜a50 T,μTとした場合に、以下の式(1−1)によって演算される。
σ2=(1/50)×Σi=1 50(aiai T)−μμT …式(1−1)
σ2=+{(ax1 2+ay1 2+az1 2)
+…+(ax50 2+ay50 2+az50 2)}/50
−{(ax1+…+ax50)2
+(ay1+…+ay50)2
+(az1+…+az50)2}/502 …式(1−2)
よって、例えば、対象者が2.5秒以上仰向けで静止し(50×50=2500[ms])、az1=…=az50=−1[G],ax1=…=ax50=ay1=…=ay50=0[G]が成立する場合、σ2=50/50−502/502=0が成立する。
強弱情報記憶手段C4Cは、前記受信情報記憶手段C3に記憶された複数の加速度データに基づく複数の加速度ベクトルの長さ(大きさ)の最大値と最小値との差分Δaと、対象者の動作の激しさ(強弱)とを対応づける情報としての強弱情報を記憶する。実施例1では、対象者の動作の激しさの一例として、激しさが小さい(弱い)「弱」、激しさが大きい(強い)「強」が予め設定されている。ここで、「弱」、「強」については、複数の加速度ベクトルの最大値と最小値との差分Δaに基づいて判別可能である。例えば、「弱」の代表例として対象者が歩行している場合にはΔa≒1となり、「強」の代表例として対象者が走行している場合ならばΔa>1で変化すると考えられる。
具体的には、図3Eに示すように、「弱」のメンバシップ関数f12の一例として、0≦Δa≦1.25の場合にWALK=1となり、1.25<Δa<1.75の場合にWALK=−2(Δa)+2.5となり、1.25≦Δaの場合にWALK=0となる関数が設定できる。また、「強」のメンバシップ関数f13の一例として、0≦Δa≦1.25の場合にRUN=0となり、1.25<Δa<1.75の場合にRUN=2(Δa)−2.5となり、1.75≦Δaの場合にRUN=1となる関数が設定できる。
なお、実施例1では、差分Δaに応じて出力される各メンバシップ値WALK,RUNの和(WALK+RUN)が1となる各メンバシップ関数f12,f13を設定したが、これに限定されず、例えば、和(WALK+RUN)が1より小さい値となるメンバシップ関数を設定することも可能である。
なお、実施例1の前記差分Δaは、直近17個の各加速度ax〜azから得られる加速度ベクトルa1,a2,…,a17の最大値と最小値との差分となるように予め設定されている。すなわち、差分Δaは、17個の加速度ベクトルa1〜a17の大きさ、すなわち、ユークリッド距離を|a1|〜|a17|とし(|ai|=(axi 2+ayi 2+azi 2)1/2,i=1,2,…,17)、最大値をmax(|a1|,|a2|,…,|a17|)とし、最小値をmin(|a1|,|a2|,…,|a17|)とした場合に、以下の式(1−3)によって演算される。
Δa=+max(|a1|,…,|a17|)
−min(|a1|,…,|a17|) …式(1−3)
よって、例えば、対象者が2.5秒以上仰向けで静止し、az1=…=az17=−1,ax1=…=ax17=ay1=…=ay17=0が成立する場合、Δa=1−1=0が成立する。
割合演算手段C5は、前記受信情報記憶手段C3に記憶された加速度データと、前記動作情報記憶手段C4に記憶された動作情報とに基づいて、対象者の姿勢、動作の有無、動作の激しさの各割合(グレード値、確率)を演算する。実施例1の前記割合演算手段C5は、以下の式(2−1)〜式(2−13)から、直近50個の加速度ベクトルa1〜a50とメンバシップ関数f1〜f13とに応じたメンバシップ値STAND〜RUNを演算する(図3参照)。
f2(ax1)=SIT …式(2−2)
f3(ax1)=LIE …式(2−3)
f4(ay1)=LIE_LEFT …式(2−4)
f5(ay1)=LIE_RIGHT …式(2−5)
f6(ay1)=NOT_LIE_LR …式(2−6)
f7(az1)=LIE_FRONT …式(2−7)
f8(az1)=LIE_BACK …式(2−8)
f9(az1)=NOT_LIE_FB …式(2−9)
f10(σ2)=STOP …式(2−10)
f11(σ2)=MOVE …式(2−11)
f12(Δa)=WALK …式(2−12)
f13(Δa)=RUN …式(2−13)
よって、例えば、対象者が2.5秒以上仰向けで静止し、az1=…=az50=−1,ax1=…=ax50=ay1=…=ay50=0,σ2=Δa=0が成立する場合、LIE=NOT_LIE_LR=LIE_FRONT=STOP=WALK=1,STAND=SIT=LIE_LEFT=LIE_RIGHT=LIE_BACK=NOT_LIE_FB=MOVE=RUN=0が成立する。
判別値演算手段C6は、前記割合演算手段C5によって演算された対象者の姿勢、動作の有無、動作の激しさの各割合から、動作を判別するために用いる判別値を演算する。実施例1の前記判別値演算手段C6は、前記割合演算手段C5によって演算された各メンバシップ値STAND〜RUNに予め設定された各ファジィルールを適用して、「立位」、「座位」、「臥位(前後左右の向きは不明)」、「臥位(左向き)」、「臥位(右向き)」、「臥位(左右の向きなし)」、「臥位(うつ伏せ)」、「臥位(仰向け)」、「臥位(前後の向きなし)」、「静止」、「弱」、「強」の判別値STAND,SIT,LIE,LIE_LEFT,LIE_RIGHT,NOT_LIE_LR,LIE_FRONT,LIE_BACK,NOT_LIE_FB,STOP,WALK,RUNを演算する。すなわち、「移動」のメンバシップ値MOVE以外を更新する。
なお、ファジィルールに関する詳細な説明については、例えば、特許文献3等に記載されており、公知であるため、詳細な説明については省略する。
ここで、式(3−1)〜(3−12)に示す、NOT(A)とは、「Aの否定(余事象)」の演算子である。例えば、NOT(0.7) = 1 - 0.7 = 0.3が成立する。また、OR(A, B)とは、「AとBとの論理和」の演算子であり、AとBとのうちの最大値が演算される。例えば、OR(0.7, 0.3) = max(0.7, 0.3) = 0.7が成立する。さらに、AND(A, B)とは、「AとBとの論理積」の演算子であり、AとBとのうちの最小値が演算される。例えば、AND(0.7, 0.3) = min(0.7, 0.3) = 0.3が成立する。
なお、式(3−1)〜(3−12)に示す実施例1の各ファジィルールは、各メンバシップ関数gf1〜f13と同様に、予め取得した各動作の21個のサンプルに基づいて予め設定されている(図4参照)。
NOT_LIE_FB = NOT(OR(LIE_FRONT, LIE_BACK)) …式(3−2)
LIE = OR(NOT(OR(STAND, SIT)),
OR(OR(LIE_LEFT, LIE_RIGHT), OR(LIE_FRONT, LIE_BACK))) …式(3−3)
STAND = AND(STAND, AND(NOT_LIE_LR, NOT_LIE_FB)) …式(3−4)
SIT = AND(SIT, AND(NOT_LIE_LR, NOT_LIE_FB)) …式(3−5)
LIE_LEFT = AND(LIE_LEFT, LIE) …式(3−6)
LIE_RIGHT = AND(LIE_RIGHT, LIE) …式(3−7)
LIE_FRONT = AND(LIE_ FRONT, LIE) …式(3−8)
LIE_BACK = AND(LIE_BACK, LIE) …式(3−9)
STOP = OR(STOP, OR(LIE, SIT) …式(3−10)
WALK = OR(WALK, MOVE) …式(3−11)
RUN = OR(RUN, MOVE) …式(3−12)
よって、例えば、対象者が2.5秒以上仰向けで静止し、LIE=NOT_LIE_LR=LIE_FRONT=STOP=WALK=1,STAND=SIT=LIE_LEFT=LIE_RIGHT=LIE_BACK=NOT_LIE_FB=MOVE=RUN=0が成立する場合、NOT_LIE_LR=LIE=LIE_FRONT=STOP=WALK=1,NOT_LIE_FB=STAND=SIT=LIE_LEFT=LIE_RIGHT=LIE_BACK=RUN=0に更新される。なお、「移動」のメンバシップ値MOVEは更新されず、MOVE=0が成立する。
動作判別手段C7は、姿勢判別手段C7Aと、静動判別手段C7Bと、強弱判別手段C7Cとを有し、前記受信情報記憶手段C3に記憶された加速度データと、前記動作情報記憶手段C4に記憶された動作情報とに基づいて、対象者の動作を判別する。
C7A:姿勢判別手段
姿勢判別手段C7Aは、前記加速度データに基づいて、対象者の姿勢を判別する。実施例1の前記姿勢判別手段C7Aは、「立位」、「座位」、「臥位(前後左右の向きは不明)」、「臥位(左向き)」、「臥位(右向き)」、「臥位(左右の向きなし)」、「臥位(うつ伏せ)」、「臥位(仰向け)」、「臥位(前後の向きなし)」の各判別値STAND,SIT,LIE,LIE_LEFT,LIE_RIGHT,NOT_LIE_LR,LIE_FRONT,LIE_BACK,NOT_LIE_FBのうちの最大値に対応する姿勢(「立位」、「座位」、「臥位(前後左右の向きは不明)」、「臥位(左向き)」、「臥位(右向き)」、「臥位(左右の向きなし)」、「臥位(うつ伏せ)」、「臥位(仰向け)」、「臥位(前後の向きなし)」)を判別する。
静動判別手段C7Bは、加速度ベクトルa1〜a50の分散σ2に基づいて、対象者の動作の有無、すなわち、「静止」および「移動」のいずれかを判別する。実施例1の前記静動判別手段C7Bは、「静止」、「移動」の各判別値STOP,MOVEのうちの大きな値に対応する「静止」および「移動」のいずれかを判別する。また、実施例1の前記静動判別手段C7Bは、STOP=MOVEが成立する場合、STOP→MOVEの優先順位で選択されるように予め設定されており、「静止」と判別される。よって、例えば、対象者が2.5秒以上仰向けで静止し、STOP=1,MOVE=0が成立する場合、「静止」と判別される。
強弱判別手段C7Cは、加速度ベクトルa1〜a17の最大値と最小値との差分Δaに基づいて、対象者の動作の激しさを判別する。実施例1の前記強弱判別手段C7Cは、「弱」、「強」の各判別値WALK,RUNのうちの大きな値に対応する「弱」および「強」のいずれかを判別する。また、実施例1の前記強弱判別手段C7Cは、WALK=RUNが成立する場合、WALK→RUNの優先順位で選択されるように予め設定されており、「弱」と判別される。よって、例えば、対象者が2.5秒以上仰向けで静止しWALK=1,RUN=0が成立する場合、「弱」と判別される。
動作推移記憶手段C8は、前記動作判別手段C7によって判別された対象者の動作の推移(動作ログ)を記憶する。実施例1の前記動作推移記憶手段C8は、前記動作判別手段C7によって判別された対象者の動作と前記受信情報記憶手段C3に記憶された情報とを対応付けて記憶することにより、対象者の動作の推移を記憶する。すなわち、前記動作推移記憶手段C8には、前記受信情報記憶手段C3に記憶された時期ごとに、対象者の動作(「立位」、「歩行」、「走行」、「座位」、「臥位(前後左右の向きは不明)」、「臥位(左向き)」、「臥位(右向き)」、「臥位(左右の向きなし)」、「臥位(うつ伏せ)」、「臥位(仰向け)」、「臥位(前後の向きなし)」)が記憶される。また、実施例1の前記動作推移記憶手段C8には、判別された前記動作だけでなく前記動作の有無(「静止」、「移動」)と前記動作の激しさ(「弱」、「強」)が併せて記憶される。
この結果、実施例1の前記動作推移記憶手段C8は、センサタグIDに応じて、対象者ごとに動作の推移(姿勢を含む動作、動作の有無、動作の激しさ)を記憶する。
行動情報記憶手段C9は、前記動作推移記憶手段C8に記憶された対象者の動作の推移と、対象者の行動とを対応づける情報としての行動情報を記憶する。実施例1の前記行動情報記憶手段C9は、前記行動情報として、対象者の動作の前後関係(文脈、脈絡)の情報(対象者の行動の判別条件の情報)である動作コンテキスト(Context、コンテクスト)(c1〜c3)をセンサタグIDと対応付けて記憶する。
すなわち、実施例1の前記行動情報記憶手段C9は、センサタグIDに応じて、対象者ごとに各動作コンテキスト(c1〜c3)を記憶する。
また、「寝返り」についても「転倒」と同様に、図5Aに示すように、「臥位(左向き)」、「臥位(右向き)」、「臥位(うつ伏せ)」、「臥位(仰向け)」のいずれかが同じ動作で変化せずに一定期間継続された後に数秒間で姿勢が大きく変化し、別の「臥位(左向き)」、「臥位(右向き)」、「臥位(うつ伏せ)」、「臥位(仰向け)」に変化すると考えられる。よって、実施例1では、「寝返り」の動作コンテキストc2として、『「臥位(左向き)」、「臥位(右向き)」、「臥位(うつ伏せ)」、「臥位(仰向け)」のいずれかが同じ動作で変化せずに20秒以上連続した後、別の「臥位(左向き)」、「臥位(右向き)」、「臥位(うつ伏せ)」、「臥位(仰向け)」に変化すること』に関する情報が予め設定されている。
よって、前記行動情報記憶手段C9には、予め設定された「転倒」、「寝返り」、「離床(起床)」の動作コンテキストc1〜c3をセンサタグIDと対応付けて記憶する。
行動判別手段C10は、「転倒」の動作コンテキストc1に基づいて対象者の「転倒」を判別する転倒判別手段C10Aと、「寝返り」の動作コンテキストc2に基づいて対象者の「寝返り」を判別する寝返り判別手段C10Bと、「離床(起床)」の動作コンテキストc3に基づいて、対象者の「離床(起床)」を判別する離床判別手段C10Cとを有し、前記動作推移記憶手段C8に記憶された対象者の動作の推移と前記行動情報記憶手段C9に記憶された行動情報とに基づいて、対象者の行動を判別する。実施例1の前記行動判別手段C10は、前記動作推移記憶手段C8に記憶内容、すなわち、対象者の動作の推移が更新された場合に、前記行動情報記憶手段C9に記憶された「転倒」、「寝返り」、「離床(起床)」の各動作コンテキストc1〜c3に基づいて、対象者の「転倒」、「寝返り」、「離床(起床)」を判別する。
行動認識情報記憶手段C11は、前記行動判別手段C10によって判別された対象者の行動に基づく行動認識情報を記憶する。実施例1の前記行動認識情報記憶手段C11は、前記行動判別手段C10によって判別された対象者の行動と、前記受信情報記憶手段C3に記憶された情報とを対応付けて記憶する。すなわち、実施例1の前記行動認識情報記憶手段C11には、前記受信情報記憶手段C3に記憶された時期ごとに、対象者の動作の推移に基づく行動が記憶される。
この結果、実施例1の前記行動認識情報記憶手段C11は、センサタグIDに応じて、対象者ごとに行動認識情報を記憶する。
C12:行動表示手段
行動表示手段C12は、行動表示画像表示手段C12Aと、動作推移表示手段C12Bと、行動認識情報表示手段C12Cと、行動認識情報通報手段C12Dとを有し、前記行動判別手段C10によって判別された対象者の行動を表示する。実施例1の前記行動表示手段C12は、センサタグIDに応じて、対象者ごとに判別された行動を表示する。
C12A:行動表示画像表示手段
行動表示画像表示手段C12Aは、図6に示す行動表示画像101をディスプレイ2bに表示する。実施例1の前記行動表示画像101は、対象者の動作の推移を表示する動作推移表示部101aと、対象者の行動を表示する行動表示部102aとを有する。実施例1の前記行動表示画像表示手段C12Aは、センサタグIDに応じて、対象者ごとに行動表示画像101を表示する。
動作推移表示手段C12Bは、前記受信情報記憶手段C3に記憶された時期に応じた時刻と、前記動作推移記憶手段C8に記憶された前記時刻に応じた動作と、前記受信情報記憶手段C3に記憶されたアクセスポイントIDおよびRSSI値に基づくセンサタグ4,4のアクセスポイント3,3までの距離とを動作推移表示部101aに表示する。実施例1の前記動作推移表示手段C12Bは、センサタグIDに応じて、対象者ごとに1分ごとの対象者の動作の推移と前記距離とを動作推移表示部101aに表示する。なお、RSSI値に基づく前記距離は、実験等により予め設定された関数に基づいて演算され、例えば、−128[dBm]の場合に30[m]、+128[dBm]の場合に0[m]が演算される。
行動認識情報表示手段C12Cは、前記受信情報記憶手段C3に記憶された時期に応じた時刻と、前記行動認識情報記憶手段C11に記憶された前記時刻に応じた行動とを行動表示部102aに表示する。実施例1の前記行動認識情報表示手段C12Cは、センサタグIDに応じて、対象者ごとに認識した時刻と行動とを行動表示部102aに表示する。
C12D:行動認識情報通報手段
行動認識情報通報手段C12Dは、行動表示部102aに表示される時刻と行動とを外部の通報先(例えば、老人ホームの介護士ステーションや、離れて暮らす家族、ホームセキュリティ会社、病院のナースステーション(管理室)等)に通報する(図1参照)。
次に、実施例1の前記各制御部の各プログラムの処理の流れをフローチャートを使用して説明する。なお、センサタグ4,4がアクセスポイント3,3に情報を送信する処理については、加速度センサ4a,4aによって検出された加速度データと端末情報記憶手段CS1に記憶されたセンサタグIDと含む情報を50[ms]ごとに送信するだけである。また、アクセスポイント3,3がサーバ2に情報を転送する処理については、センサタグ4,4から受信した情報にアクセスポイントIDとRSSI値とを付加した情報をサーバ2に送信するだけである。また、サーバ2で行動表示画像101を表示する処理については、センサタグIDに応じた対象者ごとの行動表示画像101をディスプレイ2aに表示し、1分ごとに各対象者の動作の推移とアクセスポイント3,3からの距離とを動作推移表示部101aに表示すると共に、各対象者の行動が判別された場合に行動認識情報を行動表示部102aに表示するだけである。よって、説明の簡単のため、図示および詳細な説明を省略する。
図7は実施例1の動作推移記憶処理のフローチャートである。
図7のフローチャートの各ST(ステップ)の処理は、サーバ2のコンピュータ本体2aの制御部のROM等に記憶されたプログラムに従って行われる。また、この処理は前記制御部の他の各種処理と並行してマルチタスクで実行される。
図7に示すフローチャートは、前記制御部の行動認識プログラムAP1が起動した場合に開始される。
ST102において、受信した時期と受信した情報とを対応付けて記憶する。そして、ST103に移る。
ST103において、直近50個の加速度ベクトルa1〜a50とメンバシップ関数f1〜f13とに応じたメンバシップ値STAND〜RUNを演算する(図3、式(2−1)〜式(2−13)参照)。そして、ST104に移る。
ST104において、演算されたメンバシップ値STAND〜RUNにファジィルールを適用して判別値STAND〜RUNを演算する。すなわち、メンバシップ値STAND〜RUNを更新する。そして、ST105に移る。
ST105において、対象者の姿勢と動作の有無と動作の激しさとに基づく対象者の動作を判別する動作判別処理を実行する。そして、ST106に移る。
ST106において、判別された動作を受信した時期と対応付けて記憶することにより、対象者の動作の推移を記憶する。そして、ST101に戻る。
図8は実施例1の動作判別処理のフローチャートであり、図7のST105のサブルーチンの説明図である。
図8のST151において、判別値STAND〜NOT_LIE_FBの最大値に対応する姿勢(「立位」、「座位」、「臥位(前後左右の向きは不明)」、「臥位(左向き)」、「臥位(右向き)」、「臥位(左右の向きなし)」、「臥位(うつ伏せ)」、「臥位(仰向け)」、「臥位(前後の向きなし)」)を判別する。そして、ST152に移る。
ST152において、判別値STOP,MOVEの大きな値に対応する対象者の動作の有無(「静止」または「移動」)を判別する。そして、ST153に移る。
ST153において、判別値WALK,RUNの大きな値に対応する対象者の動作の激しさ(「弱」または「強」)を判別する。そして、ST154に移る。
ST154において、対象者の姿勢が「立位」であるか否かを判別する。イエス(Y)の場合はST155に移り、ノー(N)の場合はST160に移る。
ST155において、動作の有無が「移動」であるか否かを判別する。ノー(N)の場合はST156に移り、イエス(Y)の場合はST157に移る。
ST157において、対象者の動作の激しさが「弱」であるか否かを判別する。イエス(Y)の場合はST158に移り、ノー(N)の場合はST159に移る。
ST158において、対象者の動作を「歩行」と判別する。そして、前記動作判別処理を終了して図7のST105に戻る。
ST159において、対象者の動作を「走行」と判別する。そして、前記動作判別処理を終了して図7のST105に戻る。
ST160において、対象者の動作を判別された姿勢(「座位」、「臥位(左向き)」、「臥位(右向き)」、「臥位(うつ伏せ)」、「臥位(仰向け)」、「臥位(左右の向きなし)」、「臥位(前後の向きなし)」、「臥位(前後左右の向きは不明)」と判別する。そして、前記動作判別処理を終了して図7のST105に戻る。
図9は実施例1の行動認識処理のフローチャートである。
図9のフローチャートの各ST(ステップ)の処理は、前記サーバ2の制御部のROM等に記憶されたプログラムに従って行われる。また、この処理は前記制御部の他の各種処理と並行してマルチタスクで実行される。
図9に示すフローチャートは、前記制御部の前記行動認識プログラムAP1が起動した場合に開始される。
ST202において、各動作コンテキストc1〜c3に基づいて、対象者の行動(「転倒」、「寝返り」、「離床(起床)」)を判別する行動判別処理を実行する。そして、ST203に移る。
ST203において、前記行動判別処理によって行動が判別されたか否かを判別する。イエス(Y)の場合はST204に移り、ノー(N)の場合はST201に戻る。
ST204において、判別された行動を受信した時期と対応付けて記憶することにより、行動認識情報を記憶する。そして、ST205に移る。
ST205において、前記時期に応じた時刻と行動認識情報とを通報先に通報する。そして、ST201に戻る。
図10は実施例1の行動判別処理のフローチャートであり、図9のST202のサブルーチンの説明図である。
図10のST251において、動作推移記憶手段C8に記憶された動作の推移に基づいて、20秒以上「立位」、「歩行」、「走行」のいずれかが連続後に、最新の動作が「座位」、「臥位(前後左右の向きは不明)」、「臥位(左向き)」、「臥位(右向き)」、「臥位(左右の向きなし)」、「臥位(うつ伏せ)」、「臥位(仰向け)」、「臥位(前後の向きなし)」のいずれかに変化したか否かを判別する。イエス(Y)の場合はST252に移り、ノー(N)の場合はST254に移る。
ST252において、直前の2.5秒間に、「移動」且つ「強」の判別回数が閾値を超えたか否かを判別する。イエス(Y)の場合はST253に移り、ノー(N)の場合は前記行動判別処理を終了して図9のST202に戻る。
ST253において、対象者の行動を「転倒」と判別する。そして、前記行動判別処理を終了して図9のST202に戻る。
ST255において、対象者の行動を「寝返り」と判別する。そして、前記行動判別処理を終了して図9のST202に戻る。
ST257において、対象者の行動を「離床(起床)」と判別する。そして、前記行動判別処理を終了して図9のST202に戻る。
前記構成を備えた実施例1の前記行動認識システム1では、サーバ2において、図7、図8に示す動作推移記憶処理および動作判別処理が実行され、各対象者の腰に装着されたセンサタグ4,4から送信された加速度データ等を含む情報の受信信号に基づいて、対象者の動作の推移が記憶される。実施例1の動作推移記憶処理では、ファジィ推論を適用して、検出された加速度データに応じた各動作が検出時期ごとに判別されて記憶される。具体的には、直近50個の加速度データに応じたメンバシップ値STAND〜RUNが予め設定された各メンバシップ関数f1〜f13によって演算され、演算されたメンバシップ値STAND〜RUNにファジィルールが適用されて更新された判別値STAND〜RUNの最大値に基づいて各動作が判別され記憶される。
また、実施例1の前記行動認識システム1では、サーバ2において、図9、図10に示す行動認識処理および行動判別処理が実行され、記憶された動作の推移と、各行動に応じた各動作コンテキストc1〜c3とに基づいて、動作の前後関係から判別された行動が記憶されて通報先に通報される。
前記実験では、サーバ2や、アクセスポイント3、センサタグ4を実施例1と同様に配置し、年齢が20代の健康な被験者(健常者)7人に対して、センサタグ4を腰に取り付けて、被験者全員に共通した各メンバシップ関数f1〜f13や各動作コンテキストc1〜c3を設定、記憶した上で、1人ずつ各動作、各行動をそれぞれ3回(3セット)試行させて、各判別処理を実行した判別結果と前記試行とを照合した認識率を算出した。
この結果、「立位」については認識率100[%]であり、「臥位」についても前傾等して静止できていない場合に「座位」と誤認識することがあったが、静止できている場合には4方向全て認識率は100[%]であった。なお、「座位」については腰の角度に応じて識別できない場合があったが、腰の角度が軽く椅子の背もたれを使う程度で静止できている場合には認識率100[%]が得られた。なお、「立位」と「座位」とを交互に繰り返す行動(「起立着席」)を試行してみたところ、78.2[%]の識別率が得られた。
この結果、継続した「弱」、「弱」と「強」とを交互に繰り返す動作については認識率100[%]であり、継続した「強」、「弱」と「立位(静止)」とを交互に繰り返す動作についても、それぞれ77.7[%],68.3[%]の認識率が得られた。
この結果、「寝返り」、「離床(起床)」については認識率100[%]であり、左方への「転倒」、右方への「転倒」については認識率だけでなく転倒方向の認識率も100[%]であった。また、前方への「転倒」、後方への「転倒」については認識率がそれぞれ90.4[%],95.0[%]であり転倒方向の認識率がそれぞれ85.7[%],95[%]であった。
なお、前記実験では、7人の被験者全員が同様の体格であったため、被験者全員に共通する各メンバシップ関数f1〜f13等を設定したが、同様の体格であれば同じ各メンバシップ関数f1〜f13等であっても各対象者の動作や行動を判別できることがわかる。なお、各対象者に応じて最適の各メンバシップ関数f1〜f13等を設定すれば、前記実験より高い認識率で各対象者の動作や行動を判別できることが期待できる。
したがって、実施例1の前記行動認識システム1では、サーバSVの管理者は、認識された各対象者の姿勢や動作や行動と、記憶された各対象者の情報に基づく生活パターン等から、これらが複合した異常事態(例えば、転倒したまま長時間起き上がらないの事態や、火災等の非難時に倒れて逃げ遅れている事態等)や体調不良(例えば、昼間の活動量が普段より少ない、昼間もずっと寝込んでいる)を確認する(看視する、見守る)ことができる。
したがって、実施例1の前記行動認識システム1は、ステレオ視の死角が発生したり室内の照明環境によって判別ミスが発生する特許文献1〜3等の構成に比べ、人間の動作の判別ミスを低減し易くすることができる。
特に、実施例1では、暗闇でも対象者の動作を判別できるため、例えば、照明を落とした夜間の室内や、夜間の屋外でも対象者の動作の推移を記憶したり、行動を認識したりすることができる。
この結果、実施例1の前記行動認識システム1では、人間の動作の判別ミスを低減し易くしつつ、人間の動作の連続性から判別可能な行動を認識することができる。
これに対して、前記構成を備えた実施例1の前記行動認識システム1では、前記受信情報にセンサタグIDが含まれているため、センサタグIDで各対象者を特定することができる。この結果、実施例1の前記行動認識システム1は、複数の人間から個人を特定することが困難な特許文献1〜3の構成に比べ、複数の人間が動作した場合に動作した人物を容易に特定することができる。
これに対して、前記構成を備えた実施例1の前記行動認識システム1では、前記受信情報にアクセスポイントIDとRSSI値とが含まれている。このため、アクセスポイント3,3を複数台に増設して対象者の動作を判別する範囲を拡大した場合に、アクセスポイントIDとRSSI値によって各対象者の加速度データを転送した位置(各アクセスポイント3,3からの距離)を特定できる。
特に、実施例1では、センサタグ4,4は、ZigBee(登録商標)ネットワーク6を介して、アクセスポイント3,3と接続されており、他の無線通信規格の端末に比べても安価で増設することができ、拡張コストをさらに低減することができる。
この実施例2は、下記の点で前記実施例1と相違しているが、他の点では前記実施例1と同様に構成されている。
図11において、実施例2の前記行動認識システム1′は、実施例1の前記サーバ(行動表示装置、動作推移記憶装置)2を有する。また、前記行動認識システム1′は、実施例1の前記アクセスポイント3,3が省略されており、実施例1の前記センサタグ4,4に替えて、前記対象者が携帯する携帯端末(端末、行動認識用の端末、行動認識装置)4′,4′とを有する。実施例2では、前記携帯端末4′,4′は、第3の情報通信回線の一例としての携帯電話網(移動通信ネットワーク)5′を介して、前記サーバ2と接続されている。
また、実施例2の前記携帯端末4′,4′は、実施例1と同様に対象者の腰の位置に装着されており、実施例1の加速度センサ4a,4aと、GPS(Global Positioning System、全地球測位システム)衛星からの情報を受信可能なGPS受信機4b,4bとを有する。
(実施例2の携帯端末4′,4′の制御部の説明)
図12は実施例1の図2に対応する説明図であって実施例2の行動認識システムのサーバと携帯端末との各制御部が備えている各機能をブロック図(機能ブロック図)で示した図である。
図12において、前記携帯端末4′,4′の制御部は、I/O、ROM、RAM、CPU、クロック発振器等を有し、前記構成の携帯端末ZS1は、ソリッドステートドライブ(SSD)やROM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
前記制御部には、オペレーティングシステムOS、アプリケーションプログラムとしての行動認識プログラムAP1′、その他の図示しないソフトウェアが記憶されている。
実施例2の前記行動認識プログラムAP1′は、実施例1の前記動作情報記憶手段C4、前記割合演算手段C5、前記判別値演算手段C6、前記動作判別手段C7、前記動作推移記憶手段C8、前記行動情報記憶手段C9、前記行動判別手段C10、前記行動認識情報記憶手段C11を有する。また、前記行動認識プログラムAP1′は、実施例1の前記端末情報記憶手段CS1、前記受信情報記憶手段C3、前記行動表示手段C12に替えて、端末情報記憶手段CS1′、取得情報記憶手段C3′、行動送信手段C13を有する。
端末情報記憶手段CS1′は、携帯端末4′,4′ごとに予め設定された端末ID(端末情報、端末識別情報)を記憶する。
C3′:取得情報記憶手段
取得情報記憶手段C3′は、加速度センサ4a,4aから加速度データを取得した時期(タイムスタンプ)を記憶する取得時期記憶手段(タイムスタンプ記憶手段)C3A′と、GPS受信機4b,4bがGPS衛星から受信した情報から位置データ(位置情報)を演算する位置情報演算手段C3B′とを有し、加速度センサ4a,4aから取得した加速度データと時期とを対応付けて記憶する。すなわち、実施例2の前記取得情報記憶手段C3′には、取得した時期ごとに、加速度データ、位置データが記憶される。
なお、実施例2の前記動作情報記憶手段C4、前記割合演算手段C5、前記動作判別手段C7、前記動作推移記憶手段C8、前記行動認識情報記憶手段C11については、「前記受信情報記憶手段C3」を「前記取得情報記憶手段C3′」、「センサタグID」を「端末ID」に読み替えるだけで、実施例1と同様の説明になるため、詳細な説明については省略する。
行動表示手段C13は、実施例1の前記行動認識情報通報手段C12Dを有し、前記行動判別手段C10によって判別された対象者の行動を送信する。実施例2の前記行動送信手段C13は、前記行動認識情報通報手段C12Dによって実施例1と同様の情報を通報先に通報すると共に、前記端末情報記憶手段CS1′に記憶された端末IDと、前記受信情報記憶手段C3′に記憶された1時間分の加速度データおよび位置データと、前記動作推移記憶手段C8に記憶された1時間分の対象者の動作の推移と、前記行動認識情報記憶手段C11に記憶された1時間分の行動認識情報とを1時間ごとにサーバ2に送信する。
また、実施例2の前記サーバ2のコンピュータ本体2aの制御部には、実施例1の前記行動認識プログラムAP1に替えて、アプリケーションプログラムとしての行動表示プログラム(動作推移記憶プログラム)AP2が記憶されている。
前記行動表示プログラムAP2は、端末IDに基づいて対象者を特定する実施例1と同様の前記特定手段C1と、下記の機能手段(プログラムモジュール)を有する。
C14:行動受信手段(動作推移受信手段)
行動受信手段C14は、前記行動送信手段C13から送信された情報(端末ID、1時間分の加速度データと位置データ、1時間分の対象者の動作の推移、1時間分の行動認識情報)を受信する。
C15:受信情報記憶手段(動作推移記憶手段)
受信情報記憶手段C15は、前記行動受信手段C14によって受信した前記情報を記憶する。
行動表示手段C16は、実施例1の前記行動表示画像表示手段C12Aと、前記動作推移表示手段C12Bと、前記行動認識情報表示手段C12Cとを有し、前記受信情報記憶手段C15に記憶された対象者の行動を表示する。
なお、実施例2の動作推移表示部101a(図6参照)には、実施例1のRSSI値に基づく距離に替えて、対象者の位置を特定する図示しない地図画像のアドレス情報(例えば、ホームページへのハイパーリンク等)が表示される。
次に、実施例2の前記各制御部の各プログラムの処理の流れをフローチャートを使用して説明する。なお、携帯端末4′,4′がサーバ2に情報を送信する処理については、端末ID、1時間分の加速度データと位置データ、1時間分の対象者の動作の推移、1時間分の行動認識情報を1時間ごとに送信するだけであるため、説明の簡単のため、図示および詳細な説明を省略する。
図13は実施例1の図7に対応する説明図であって実施例2の動作推移記憶処理のフローチャートである。
図13に示す実施例2の動作推移記憶処理のフローチャートは、実施例1の前記動作推移記憶処理のフローチャートのST101とST102とに替えて、以下のST101′とST102′とを実行するだけである。よって、その他のST103〜ST106については実施例1と同様であるため、詳細な説明を省略する。
図13のST101′において、加速度センサ4aが加速度データを検出したか否かを判別する。イエス(Y)の場合はST102′に移り、ノー(N)の場合はST101′を繰り返す。
ST102′において、検出した時期と加速度データとを対応付けて記憶する。そして、ST103〜ST106の各処理を実行して、ST101に戻る。
前記構成を備えた実施例2の前記行動認識システム1′では、携帯端末4′,4′において、図13、図8に示す動作推移記憶処理および動作判別処理と、図9、図10に示す行動認識処理および行動判別処理とが実行され、対象者の動作の推移と対象者の行動とが記憶されて通報先に通報される。
したがって、実施例2の前記行動認識システム1′では、加速度センサ4a,4aが設けられた携帯端末4′,4′で対象者の動作や行動を判別することができ、対象者が携帯電話網5′の通話エリア外に移動してサーバ2に情報を送信できない場合でも、対象者の動作や行動を判別することができる。
したがって、実施例2の前記行動認識システム1′では、携帯端末4′,4′で判別された動作や行動を記憶容量の大きいサーバ2に記憶でき、実施例1と同様に、記憶した動作や行動をサーバ2の管理者が行動表示画像101で確認する(看視する、見守る)ことが可能となっている。
また、前記構成を備えた実施例2の前記行動認識システム1′では、サーバ2の前記受信情報にGPS受信機4b,4bがGPS衛星から受信した情報に基づく位置データとが含まれており、実施例1と同様に、各対象者の加速度データを検出した位置(動作や行動が判別された位置)を特定できる。
その他、実施例2の前記行動認識システム1′は、実施例1の前記行動認識システム1と同様の作用効果を奏する。
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲で、種々の変更を行うことが可能である。本発明の変更例(H01)〜(H021)を下記に例示する。
(H01)前記実施例では、対象者の動作の推移に基づいて、対象者の3種類の行動(「転倒」、「寝返り」、「離床(起床)」を判別したが、動作コンテキストを追加することによりその他の行動(例えば、「起立」、「着席」、「躓き」、「体当たり」、「着床」等)を判別することも可能である。
(H02)前記実施例では、対象者の行動が判別された場合に通報先に通報したが、これに限定されず、行動がない場合にも通報することが可能である。例えば、長時間同じ「臥位」が継続している場合に、「倒れ込んで起きる気配がない」と判断して通報することも可能である。
(H04)前記実施例では、前後左右の「臥位」等を判別し、「立位」、「座位」については1種類しか判別していないが、これに限定されず、前後左右に傾斜した「立位」、「座位」と通常の(中立の)「立位」、「座位」の5種類の「立位」、「座位」を判別することも可能である。
(H06)前記実施例のように、センサタグ4や携帯端末4′をバックル部分に固定支持することが好ましいが、これに限定されず、例えば、胸ポケットに入れた場合でも、対象者の動作や行動を判別することが可能である。この場合、対象者のメンバシップ関数f1〜f13や動作コンテキストc1〜c3を胸の加速度センサ4aからの加速度に対応できるように設定する必要がある。
(H011)前記実施例では、50[ms]ごとに加速度データを検出したが、加速度データを検出する周期については任意に変更可能である。
(H012)前記実施例1では、アクセスポイント4からサーバ2に対して、加速度データや、センサタグID、アクセスポイントID、RSSI値を含む情報を送信したが、これに限定されず、例えば、センサタグ4から受信したバッテリ残量の情報についても送信可能である。この場合、サーバ2でセンサタグ4のバッテリ残量を監視することが可能となる。
(H014)前記実施例では、3軸の加速度ベクトルa1〜a50に基づく分散σ2や差分Δaと各メンバシップ値STOP,MOVE,WALK,RUNとを対応付ける各メンバシップ関数f12,f13を設定、記憶して対象者の動作を判別したが、これに限定されず、例えば、前後方向への「移動」や「転倒」等のみを判別する場合には、X軸方向の加速度ax1〜ax50に基づく分散(σx2)や差分(Δax)と各メンバシップ値STOP,MOVE,WALK,RUNとを対応付ける各メンバシップ関数(fx12),(fx13)を設定、記憶して対象者の動作を判別することも可能である。
(H018)前記実施例2のように、携帯端末4′,4′から定期的に記憶した情報(加速度データ、判別された動作、行動等)をサーバ2に転送する構成では、携帯端末4′,4′が転送済みの情報を削除することも可能である。この場合、携帯端末4′,4′において、行動認識プログラムAP1′に関する記憶容量を低減することができ、小型である替わりに記憶容量が少ない記憶媒体を選択して携帯端末4′,4′全体を小型化することができる。
(H020)前記実施例2では、携帯端末4′,4′によって対象者の動作や行動を認識したが、携帯端末4′,4′は行動認識用の専用端末に限定されず、例えば、GPS機能付き携帯電話やスマートフォンやタブレットPC等によって構成することも考えられる。
(H021)前記実施例2では、GPS受信機4b,4bがGPS衛星から受信した情報から位置データ(位置情報)を演算したが、携帯端末4′,4′で位置データを取得する方法についてはこれに限定されず、例えば、携帯電話網5′の基地局から受信する情報に基づいて位置データを演算することも可能である。
Claims (2)
- コンピュータを、
人が携帯可能な端末に設けられて加速度を検出可能な加速度センサで検出される加速度と、前記端末を携帯した人の姿勢と、を対応づける情報が予め記憶された姿勢情報記憶手段、
前記加速度センサで検出された加速度と、前記姿勢情報記憶手段に記憶された情報とに基づいて、前記端末を携帯した人の動作を判別する動作判別手段、
前記動作の推移を記憶する動作推移記憶手段、
前記動作の推移と、前記端末を携帯した人の行動と、を対応づける情報が予め記憶された行動情報記憶手段、
前記動作の推移と、前記動作の前後の間の動作の激しさと、前記行動情報記憶手段に記憶された情報とに基づいて、前記端末を携帯した人の行動を判別する行動判別手段、
として機能させるための行動認識プログラムであって、
前記動作判別手段では、
加速度と該加速度に対応する確率変数とが対応付けられたメンバシップ関数が、各姿勢毎に予め照合されて設定され、前記加速度センサで検出された加速度と前記メンバシップ関数とに基づいて、前記端末を携帯した人の姿勢が判別され、
加速度ベクトルの分散と該分散に対応する確率変数とが対応付けられたメンバシップ関数が、静止および移動のいずれかと予め照合されて設定され、前記加速度センサで検出された加速度と前記メンバシップ関数とに基づいて、前記端末を携帯した人の静止及び移動のいずれかが判別され、
加速度ベクトルの最大値と最小値との差分と該差分に対応する確率変数とが対応付けられたメンバシップ関数が、動作の激しいか否かに応じて予め照合されて設定され、前記加速度センサで検出された加速度と前記メンバシップ関数とに基づいて、前記端末を携帯した人の動作の激しさを判別する
ことを特徴とする前記行動認識プログラム。 - 加速度を検出可能な加速度センサを備え、人が携帯可能な端末との間で情報の送受信が可能な行動認識用の処理装置であって、
前記加速度センサで検出される加速度と前記端末を携帯した人の姿勢とを対応づける情報が予め記憶された姿勢情報記憶手段と、
前記加速度センサで検出された加速度と前記姿勢情報記憶手段に記憶された情報とに基づいて、前記端末を携帯した人の動作を判別する動作判別手段と、
前記動作の推移を記憶する動作推移記憶手段と、前記動作の推移と前記端末を携帯した人の行動とを対応づける情報が予め記憶された行動情報記憶手段と、
前記動作の推移と、前記動作の前後の間の動作の激しさと、前記行動情報記憶手段に記憶された情報とに基づいて、前記端末を携帯した人の行動を判別する行動判別手段と、
を備え、
前記動作判別手段では、
加速度と該加速度に対応する確率変数とが対応付けられたメンバシップ関数が、各姿勢毎に予め照合されて設定され、前記加速度センサで検出された加速度と前記メンバシップ関数とに基づいて、前記端末を携帯した人の姿勢が判別され、
加速度ベクトルの分散と該分散に対応する確率変数とが対応付けられたメンバシップ関数が、静止および移動のいずれかと予め照合されて設定され、前記加速度センサで検出された加速度と前記メンバシップ関数とに基づいて、前記端末を携帯した人の静止及び移動のいずれかが判別され、
加速度ベクトルの最大値と最小値との差分と該差分に対応する確率変数とが対応付けられたメンバシップ関数が、動作の激しいか否かに応じて予め照合されて設定され、前記加速度センサで検出された加速度と前記メンバシップ関数とに基づいて、前記端末を携帯した人の動作の激しさを判別する
ことを特徴とする前記行動認識用の処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011244951A JP5885292B2 (ja) | 2011-11-08 | 2011-11-08 | 行動認識プログラムおよび行動認識用の処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011244951A JP5885292B2 (ja) | 2011-11-08 | 2011-11-08 | 行動認識プログラムおよび行動認識用の処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013099433A JP2013099433A (ja) | 2013-05-23 |
JP5885292B2 true JP5885292B2 (ja) | 2016-03-15 |
Family
ID=48620726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011244951A Expired - Fee Related JP5885292B2 (ja) | 2011-11-08 | 2011-11-08 | 行動認識プログラムおよび行動認識用の処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5885292B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015154889A (ja) * | 2014-02-21 | 2015-08-27 | セイコーエプソン株式会社 | ウェアラブル機器及びウェアラブル機器の制御方法 |
KR102378018B1 (ko) * | 2014-07-29 | 2022-03-24 | 삼성전자주식회사 | 보행 동작 인식 장치 및 그 방법 |
EP3234731B1 (en) * | 2014-12-16 | 2020-07-01 | Somatix Inc. | Methods and systems for monitoring and influencing gesture-based behaviors |
JP2016135172A (ja) * | 2015-01-23 | 2016-07-28 | 株式会社エイビット | 生体情報の通信監視システム |
JP6478275B2 (ja) * | 2015-05-29 | 2019-03-06 | 美津濃株式会社 | 動作を判別するための装置、およびコンピュータを当該装置として機能させるためのプログラム |
JP2017051499A (ja) * | 2015-09-10 | 2017-03-16 | 富士通株式会社 | 情報処理方法、情報処理装置及びプログラム |
JP6700065B2 (ja) * | 2016-02-26 | 2020-05-27 | フクダ電子株式会社 | 生体情報モニタリングシステム及び生体情報モニター |
JP6530350B2 (ja) * | 2016-06-27 | 2019-06-12 | 日本電信電話株式会社 | 逐次姿勢識別装置、逐次姿勢識別方法および逐次姿勢識別プログラム |
JP6635995B2 (ja) * | 2017-10-02 | 2020-01-29 | Nttテクノクロス株式会社 | 行動特定装置、行動特定方法、及びプログラム |
JP6635968B2 (ja) * | 2017-03-31 | 2020-01-29 | Nttテクノクロス株式会社 | 行動特定装置、行動特定方法、及びプログラム |
JP6984309B2 (ja) * | 2017-10-24 | 2021-12-17 | 富士通株式会社 | 行動判定システム、行動判定方法、及び行動判定プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4214259B2 (ja) * | 2002-08-27 | 2009-01-28 | 学校法人日本大学 | 人の動作状態監視方法および装置 |
JP4352018B2 (ja) * | 2005-03-30 | 2009-10-28 | 株式会社東芝 | 運動計測装置、運動計測方法および運動計測プログラム |
CN101711401B (zh) * | 2007-04-19 | 2014-03-12 | 皇家飞利浦电子股份有限公司 | 跌倒检测系统 |
JP2008293301A (ja) * | 2007-05-25 | 2008-12-04 | Sysmex Corp | 患者異常通知システムおよび集中監視装置 |
JP5515647B2 (ja) * | 2009-11-05 | 2014-06-11 | 独立行政法人産業技術総合研究所 | 測位装置 |
-
2011
- 2011-11-08 JP JP2011244951A patent/JP5885292B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013099433A (ja) | 2013-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5885292B2 (ja) | 行動認識プログラムおよび行動認識用の処理装置 | |
US9940822B2 (en) | Systems and methods for analysis of subject activity | |
TWM537280U (zh) | 分析跌倒嚴重程度的跌倒偵測系統及其穿戴式裝置 | |
JP6115692B1 (ja) | 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置 | |
US11116424B2 (en) | Device, system and method for fall detection | |
Zhang et al. | Situation awareness inferred from posture transition and location: derived from smartphone and smart home sensors | |
US20220084657A1 (en) | Care recording device, care recording system, care recording program, and care recording method | |
AU2022203004A1 (en) | System for recording, analyzing risk(s) of accident(s) or need of assistance and providing real-time warning(s) based on continuous sensor signals | |
US8395512B2 (en) | Signature analysis systems and methods | |
KR101921683B1 (ko) | 피관찰자 모니터링 시스템, 및 피관찰자 모니터링 방법 | |
Torres et al. | How feasible is WiFi fingerprint-based indoor positioning for in-home monitoring? | |
JP6989932B2 (ja) | 緊急連絡装置、及びこれを用いた緊急連絡システム | |
JP2014086038A (ja) | 動作認識システム | |
JP2002149824A (ja) | 行動検知システム | |
Toda et al. | Fall detection system for the elderly using RFID tags with sensing capability | |
US11410538B2 (en) | System and method for monitoring an individual | |
CN110495874B (zh) | 一种信息处理方法及电子设备 | |
JP2005050290A (ja) | 緊急救済システム | |
WO2021033597A1 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
Bhattacharjee et al. | Smart fall detection systems for elderly care | |
JP7435609B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
Numao et al. | Non-restrictive continuous health monitoring by integration of RFID and microwave sensor | |
JP2024024210A (ja) | 情報処理システム、情報処理方法、および情報処理プログラム | |
Yen et al. | Human-centric situational awareness in the bedroom | |
KR20200113910A (ko) | 폐쇄 공간에서의 상황 인지 기반의 안전 관리 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150317 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150320 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5885292 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |