JP7150292B2 - 行動認識システム、及び行動認識方法 - Google Patents

Description

特許法第３０条第２項適用 （１）平成２８年１２月２３日慶應義塾大学大学院理工学研究科において開催された修士論文発表会にて発表。（２）平成２９年１月１２日発行の信学技報，ｖｏｌ．１１６，ｎｏ．４０７，ｐｐ１９－２４において公開。（３）平成２９年１月１９日開催の社団法人電子情報通信学会 知的環境とセンサネットワーク研究会にて発表。

本発明は、行動認識の技術に関し、特にアレイアンテナを用いた行動認識の構成と手法に関する。

世界的な高齢化の進行により高齢者の数が増大し、一人暮らしの高齢者も少なくない。一人暮らしの高齢者を見守るシステムとして、アレイアンテナを用いて転倒、着席、歩行、静止の４つの状態を識別する方法が提案されている（たとえば、非特許文献１参照）。アレイアンテナを用いた転倒検知は、送受信機間の電波伝搬の変化を観察して転倒を検知するものである。アレイアンテナを利用した行動検知は画像データを用いないため、被観察者のプライバシー保護に適している。また、ウエアラブルセンサと異なり、被観察者の身体への負担がない。

Y. Hino, J. Hong, and T. Ohtsuki, "Activity recognition using array antenna", Communications (ICC), 2015 IEEE International Conference, pp. 507～511, June 2015

アレイアンテナを用いた公知の手法は、受信データに対してウィンドウをずらしながら特徴量を抽出して行動遷移を推定する。行動の一部のみがウィンドウに含まれる場合は、行動の違いを明確に区別することが難しく、誤識別が起きやすい。上述の文献では、誤識別を低減するために行動ごとに閾値を設定し、識別された行動の連続する回数が閾値以下の場合に、識別結果を修正している。

しかし、被観察者の行動ごとにあらかじめ実験的な閾値を設定しておく必要があり、処理が煩雑になる。また、実験的に設定された閾値に基づいて識別結果を修正した後であっても、歩行からの転倒を精度良く検知することが難しい。これは、歩行からの転倒は直立からの転倒と比較して電波伝搬の時間変動が顕著でないためと考えられる。歩行からの転倒も含め、行動の遷移を精度よく認識する技術が望まれる。

本発明は、行動の遷移を精度良く認識することのできる行動認識の技術を提供することを目的とする。

上記課題を解決するために、行動識別の段階と、識別結果の修正段階のそれぞれで有効な解決手段を提供する。これらの解決手段は単独で用いても十分な識別精度を実現できるし、両方を組み合わせることでさらに識別精度を上げることができる。

第１の態様において、動体の行動を識別する行動認識システムは、電波を送信する送信機と、前記電波をアレイアンテナで受信する受信機と、前記アレイアンテナで受信された信号から特徴量を抽出する特徴量抽出部と、前記特徴量に基づいて行動を識別する識別部と、を有し、
前記特徴量抽出部は、観測開始時点の信号を基準信号として信号の変化を表わす第１の特徴量と、直前の信号を基準信号として信号の変化を表わす第２の特徴量を算出し、
前記識別部は、前記第１の特徴量と前記第２の特徴量から前記行動を識別する。

この構成により、信号の変化の状態をより詳細に特定することができ、行動識別の精度を向上することができる。

第２の態様において、動体の行動を識別する行動認識システムは、電波を送信する送信機と、前記電波をアレイアンテナで受信する受信機と、前記受信機で受信された信号から特徴量を抽出する特徴量抽出部と、前記特徴量に基づいて行動を識別する識別部と、を有し、
前記特徴量抽出部は、前記アレイアンテナで受信された信号を周波数領域の信号に変換し、前記周波数領域の信号から、時間方向と周波数方向に信号の変化を表わす２次元的な特徴量を算出し、
前記識別部は、前記２次元的な特徴量から、前記行動を識別する。

この構成により、時間方向と周波数方向の双方での信号変化に基づいて、精度良く行動を識別することができる。

第３の態様において、動体の行動を識別する行動認識システムは、電波を送信する送信機と、前記電波をアレイアンテナで受信する受信機と、前記受信機で受信された信号から特徴量を抽出する特徴量抽出部と、前記特徴量に基づいて分類器で行動を識別する識別部と、前記識別部による識別結果を修正する修正部と、を有し、
前記識別部は所定の時間枠ごとに前記識別結果と各行動のクラス所属確率を出力し、
前記修正部は、前記識別結果の中に誤認識と推定される行動遷移が含まれている場合に
（ａ）前記行動遷移に含まれる行動の最大のクラス所属確率が０．５より小さいときは、前記行動遷移に含まれる行動を、前記時間枠の中で直前の時刻に識別された行動に置き換える規則ａ、
（ｂ）前記行動遷移において特定の行動が検出される直前に前記特定の行動を除く検出結果が含まれているときは、前記特定の行動を除く検出結果を前記特定の行動に置き換える規則ｂ、
（ｃ）あり得ない行動遷移が推定された場合に前記行動遷移を前記行動遷移の中の最大のクラス識別確率を有する行動に置き換える規則ｃ、
の少なくとも一つを適用して前記所定の行動遷移を修正する。

この構成により、識別結果に誤判断が含まれている場合も実際の行動遷移に近い状態に修正され、行動識別の精度が向上する。

歩行からの転倒も含めて行動の遷移を精度良く認識することができる。

本発明が適用される行動認識システムの概略図である。 実施形態の行動認識方法のフローチャートである。 実施形態の行動遷移の推定例を示す図である。 特徴量抽出工程のフローチャートである。 転倒時のドップラー信号の周波数スペクトログラムである。 中心周波数、高周波成分、及び低周波成分を含む実施形態の評価関数の模式図である。 高周波成分と低周波成分の畳み込みを説明する図である。 畳み込み後の評価関数の領域分割を説明する図である。 識別結果の修正を説明する図である。 本発明の実験環境を示す図である。 実験諸元を示す図である。 実験での行動の種類を示す図である。 行動ごとのデータと行動遷移データを示す図である。 行動ごとのデータにつき、実施形態の行動認識の効果を従来法と比較して示す図である。 行動遷移データにつき、実施形態の修正法の効果を従来の修正法と比較して示す図である。 実施形態の特徴量を用いることによる効果を示す図である。 ドップラー領域の分割の効果を示す図である。 実施形態の修正後の行動遷移推定の例を示す図である。 実施形態の情報処理装置の概略図である。

以下で、図面を参照して実施形態を説明する。実施形態では、
（１）行動識別の段階と、
（２）識別結果の修正段階、
のそれぞれで、新規で効果的な手法を提供する。

行動識別段階での第１のポイントとして、基準時（観測開始時刻）からの電波伝搬の変化だけではなく、直前に観測した信号からの伝搬変化を表わす特徴量を用いる。直前に観察した信号を基準値として用いることで、行動中の電波伝搬の変化をより詳細に抽出することができる。

行動識別段階での第２のポイントとして、ドップラー信号の解析により、周波数方向の変化を表わす特徴量を利用する。受信電波の周波数領域での変化を特徴量として抽出することで、受信信号の特徴を二次元的に捉えて、より正確な行動分析を可能にする。

識別結果の修正段階では、あり得ない行動遷移が推定されたときに、クラス所属確率が最も高い行動に修正する。クラス所属確率とは、分類器による識別時に得られる識別結果の確信度をいう。誤判断と認められる行動遷移をクラス所属確率が最も高い行動に修正することで、行動別に実験的な閾値を設定しなくても、行動識別の精度を向上することができる。

特徴量を用いた行動識別と、識別結果の修正は、それぞれ独立して効果を奏し、実施形態の行動識別後に、公知または一般的な修正方法と組み合わせてもよいし、公知または一般的な行動識別の後に、実施形態の修正方法を行ってもよい。もちろん、実施形態の行動識別の後に、実施形態の修正を行ってもよい。

行動識別段階では、直前の信号を基準値とする評価関数による特徴量の抽出と、ドップラー解析を用いた特徴量の抽出はそれぞれ独立して効果を奏し、少なくとも一方を実施することで行動識別の精度を上げることができる。
＜行動識別の段階＞
図１は、本発明が適用される行動認識システム１の概略図である。行動認識システム１は、送信機１０と、アレイアンテナ２１を有する受信機２０と、受信機２０に接続される情報処理装置３０と含む。送信機１０は、無線ＬＡＮ、Bluetooth（登録商標）など任意の通信規格で電波を送信する。送信された電波は、室内の構成、人物等の存在によって複数の伝経路（マルチパス）で伝搬する。アレイアンテナ２１はＬ個（図１の例では４個）のアンテナ素子を有し、各アンテナ素子は、位相の異なる電波を受信する。情報処理装置３０は、受信信号の強度、到来方向等を推定して電波の伝搬状態を分析する。

図１（Ａ）のように室内で人が歩行している場合と、図１（Ｂ）のように転倒した状態では、マルチパス環境で電波の伝搬状態が変化する。電波伝搬の変化と受信信号強度を観察することで、行動を識別することができる。歩行はしばしば方向転換を伴うため、瞬時的な時間枠でみると、転倒との区別がつきにくい場合がある。実施形態では、直前の信号を基準値として用いる新たな評価関数を導入することで、直前に観測した信号からの変化を表わす特徴量を利用して、歩行と転倒の識別精度を向上する。また、ドップラー解析で周波数方向の変化を表わす特徴量を利用することで、時間領域と周波数領域で二次元的に行動を識別する。推定された識別結果に通常は起こり得ない行動遷移が含まれている場合は、分類器のクラス所属確率を用いて推定結果を修正する。

このような特徴量の抽出に基づく行動識別と、識別結果の修正は、情報処理装置３０で実行される。情報処理装置３０は、必ずしも受信機２０と別々である必要はなく、一体であってもよいし、受信機２０が情報処理装置３０の処理能力を有していてもよい。情報処理装置は、アレイアンテナで受信された受信信号を上述のように処理及び分析して行動を識別し、必要に応じて識別結果を修正する。

図２は、実施形態の行動識別方法のフローチャートである。図２の処理フローは時間ウィンドウごとに行われる。時間ウィンドウは適宜設定することができ、たとえばウィンドウ幅（ｔw）は３秒、ウィンドウのシフト（またはスライド）幅は０．１秒である。まず、ウィンドウ番号を初期値に設定し、現在のウィンドウの受信データから特徴量を抽出する（Ｓ１１）。特徴量として、以下の４つの評価関数を用いる。

最初の２つの評価関数は、式（１）と式（２）で表される。

ここでＰ（ｔ）は、観測開始時刻からの電波伝搬の変化を表わす評価関数であり、ベクトルｖ₀は観測開始時刻の信号の第１固有ベクトル、ベクトルｖ(t)は時刻ｔにおける信号の第１固有ベクトルである。評価関数Ｐ（ｔ）が１に近いほど電波伝搬環境に変化が少ないことを示し、値が小さくなるほど電波伝搬環境に変化があることを示す。Ｑ（ｔ）は、観測開始時刻からの受信信号強度（ＲＳＳ：Received Signal Strength）の変化を表わす評価関数であり、λ₀は観測開始時刻の信号の第１固有値、λ(t)は時刻ｔにおける信号の第１固有値である。評価関数Ｑ（ｔ）が１に近いほど受信強度に変化が少ないことを示し、値が小さくなるほど受信強度の変化が大きいことを示す。

式（１）と式（２）の評価関数で表される特徴量は従来技術で用いられている特徴量であり、ウィンドウの開始時点からの信号変化だけに着目している。観測開始時刻を基準とする評価関数Ｐ（ｔ）及びＱ（ｔ）で算出される特徴量を第１の特徴量とする。

残りの２つの評価関数は、式（３）と式（４）で表される。

ここで、τは現在の時刻からさかのぼる時間であり、τの値はウィンドウサイズ、行動識別の精度、効率等を勘案して、０．１秒、０．５秒、１．０秒などに設定することができる。Ｐ'（ｔ）は、直前の信号からの電波伝搬の変化を表わす評価関数であり、Ｑ'（ｔ）は、直線の信号からのＲＳＳの変化を表わす評価関数である。直前の信号を基準とする評価関数Ｐ'（ｔ）とＱ'（ｔ）で算出される特徴量を第２の特徴量とする。現在の時刻の０．１秒前、０．５秒前、１．０秒前、等の信号を基準信号として用いることで、ウィンドウ全体にわたって行動中の電波伝搬の変化を詳細に抽出することができる。

次に、４つの特徴量から、分類器を用いて行動を識別する（Ｓ１２）。分類器として、ＳＶＭ（support vector machine）、ｋ近傍法など任意の手法を用いることができる。最もシンプルな分類は、入力された特徴量と学習データの類似性からクラス１とクラス２のどちらに属するかを決定するものである。実施形態では少なくとも「歩行」、「静止」、「転倒」、「着座」の４つの行動を分類するので、複数の学習モデルを用いる。これら４つの学習パターンに加えて、ある行動から別の行動への遷移、たとえば「歩行から着座」、「歩行から転倒」、「直立から転倒」などの学習モデルを用いてもよい。特徴量をデータベースに保存して学習させることで、学習モデルが構築される。分類器における各行動パターンのクラス所属確率は、更新の都度メモリに記憶される。

次に、ウィンドウをスライドさせて（Ｓ１３）、データの終了に達したか否かを判断する（Ｓ１４）。他に処理すべきデータがある限り（Ｓ１４でＮｏ）、ウィンドウをスライドさせながらステップＳ１１～Ｓ１３を繰り返し、データが終了したならば処理を終了する。

図３は、図２の処理フローによる行動遷移の推定例を示す。入力される受信データに対し、所定の幅のウィンドウを時間シフトさせながら、ウィンドウごとに行動を識別する。図３の上段は実際の行動、下段は従来法と実施形態の方法でのウィンドウごとの識別結果を示す。実際の行動は、歩行から着座し、その後静止している。ウィンドウをずらしながら行動を推定する方法では、ウィンドウ区間に行動の一部しか含まれない場合に誤判断が生じる。たとえば、ウィンドウｗkとｗk+1には、「着座（ｓ）」の過程の一部だけが含まれている。この場合、これらウィンドウでは「着座」が認識されず、「転倒（Ｆ）」の識別結果が出力される。

これに対し、実施形態の方法では、Ｐ（ｔ）とＱ（ｔ）に加えてＰ'（ｔ）とＱ'（ｔ）を特徴量として利用する。現在の時点の直前（たとえば０．１秒前）の信号を基準として現在の行動を推定するので、信号の変化過程を詳細に観察して、実際の行動に近い推定結果を得ることができる。

ウィンドウ位置と行動遷移のタイミングの関係などから、従来法と同じ識別結果が出力された場合であっても、後述する修正方法で識別結果を修正することで、実際の行動に近い識別結果を得ることができる。
＜特徴量抽出の変形例＞
上述の特徴量Ｐ'（ｔ）とＱ'（ｔ）は、ウィンドウ開始時刻の他に１つ以上の基準時間を用いた時間領域の評価関数であった。評価関数をドップラー信号から抽出することで、時間－周波数平面で行動を推定し、識別精度を向上することができる。

図４は、図２の特徴量抽出のステップＳ１１の一例を示すフローチャートである。図４では、受信信号に含まれる周波数成分を用いて特徴量を抽出する。まず、アレイアンテナ２１で受信された信号を直交検波して、位相が直交するＩ信号とＱ信号を取得する（Ｓ１１１）。ウィンドウごとに、実数部と虚数部を含むＩＱ信号に高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を適用して、ドップラー信号を取得する（Ｓ１１２）。

図５（Ａ）は、時刻ｔ＝１０秒の時点で直立から転倒した被験者の周波数スペクトラムである。図５（Ｂ）に示すように、中心周波数ｆ0と中心として、高周波側（ドップラー周波数のプラス側）と低周波側（ドップラー周波数のマイナス側）の領域があり、スペクトラムの位置と形から転倒の方向が識別される。低周波側のドップラー周波数は－ｆB、高周波側のドップラー周波数はｆBである。図５（Ｂ）の例では、被験者はドップラー周波数の高周波成分の側、すなわちアレイアンテナ２１に近づく方向に転倒している。

図４に戻って、ドップラー周波数の中心周波数ｆ0と、ｆ0～ｆ0＋ｆBまでの領域（高周波成分）と、ｆ0～ｆ0－ｆBまでの領域（低周波成分）で、それぞれＰ（ｔ）、Ｑ（ｔ）、Ｐ'（ｔ）、Ｑ'（ｔ）を算出する（Ｓ１１３）。上述したように、Ｐ（ｔ）とＱ（ｔ）は各ウィンドウの観測開始時点からの変化を表わす評価関数であり、Ｐ'（ｔ）とＱ'（ｔ）は、観測開始時点を除く直前の信号からの変化を表わす評価関数である。

図６は、ひとつのウィンドウにおけるＦＦＴ後のドップラー信号の評価関数の模式図である。簡単化のために、ドップラー信号の評価関数Ｐ（ｔ）、Ｑ（ｔ）、Ｐ'（ｔ）、Ｑ'（ｔ）をまとめてＣＦ（ｔ，ｆ,ｔref）と表記する。ここで、ｆはドップラー周波数、ｔrefは基準時間である。この基準時間ｔrefは、観測開始時刻ｔ₀と直前の基準時間（ｔ-τ）の両方を含み、一例として、ｔref＝（ｔ₀，ｔ-0.1秒、ｔ-0.5秒、ｔ-1.0秒、ｔ-1.5秒）である。ウィンドウ幅はｔwである。

中心周波数ｆ0の評価関数をＣＦ（ｔ，ｆ0,ｔref）、高周波成分の評価関数をＣＦ＋（ｔ，ｆ,ｔref）、低周波成分の評価関数をＣＦ－（ｔ，ｆ,ｔref）とする。従来は、中心周波数成分のみを使用していたが、ドップラー解析することで高周波成分と低周波成分を利用することができ、時間方向と周波数方向で二次元的な分析が可能になる。

図４に戻って、高周波成分のＰ（ｔ）、Ｑ（ｔ）、Ｐ'（ｔ）、及びＱ'（ｔ）と、低周波成分のＰ（ｔ）、Ｑ（ｔ）、Ｐ'（ｔ）、及びＱ'（ｔ）を合算（畳み込み演算）する（Ｓ１１４）。

図７は、畳み込み処理の模式図である。ｆ0－ｆB～＋ｆBまでのドップラー周波数（ｆ＝２×ｆB）を複数のサブ周波数に分割する。高周波成分の最も周波数の高い評価関数ＣＦ（ｔ，ｆ0+ｆB，ｔref）と、低周波成分の最も周波数の低い評価関数ＣＦ（ｔ，ｆ0-ｆB，ｔref）を合算する。同様に、高周波成分の２番目に周波数の高い評価関数ＣＦ（ｔ，ｆ0+ｆB-1，ｔref）と、低周波成分の２番目に周波数の低い評価関数ＣＦ（ｔ，ｆ0-ｆB-1，ｔref）を合算する。このように、中心周波数の外側（または内側）から対応するサブ周波数成分同士の評価関数を合算する。中心周波数ｆ0を中心として低周波成分と高周波成分の一方を他方の側に折り返す処理と表現してもよい。畳み込み処理の結果、評価関数ＣＦ'（ｔ，ｆ，ｔref）が得られる。畳み込み処理により、被験者の動作の方向（アレイアンテナ２１に近づく方向、または遠ざかる方向）による影響を低減することができる。

図８は、特徴量抽出の別の変形例である。評価関数ＣＦ'（ｔ，ｆ，ｔref）を、時間方向と周波数方向の双方で分割する。時間方向への分割数をＮｔ、周波数方向への分割数をＮｆとすると、図８の例では、Ｎｔ＝６、Ｎｆ＝４である。評価関数ＣＦ'（ｔ，ｆ，ｔref）は時間方向に６つ、周波数方向に４つに分割され、各分割領域で評価関数ＳCF'（ｉ，ｊ，ｔref）が求められる。ｉは１～Ｎｔの整数、ｊは１～Ｎｆの整数である。

ひとつの分割領域の特徴量のベクトルは、
ＳCF'(ｉ，ｊ，ｔref）／Ｓ（tref）
である。ここで、Ｓ（tref）は、次式

で表される。

用いる基準信号の数をＮtrefとすると、ひとつのウィンドウの特徴量の数は、Ｎｔ×Ｎｆ×Ｎtref×２である。この方法によると、時間方向と周波数方向のそれぞれで電波伝搬の詳細な変化を推定することができる。
＜識別結果の修正＞
図９は、識別結果の修正を説明する図である。行動ごとに実験的な閾値を設定せずに識別結果を修正するために、分類器のクラス所属確率を用いる。ＳＶＭなどの分類器では、入力データと学習データの類似性に基づいて、入力データをクラスに分類する。クラス所属確率は、入力データがそれぞれのクラスに分類され得るであろう可能性を指す。入力データと学習データの類似性が高いほど、入力データはその学習データのクラスに所属する確率が高い。識別結果の中に、「転倒の後の着座」のように通常は起こり難い行動遷移が含まれているときは、クラス所属確率を用いて識別結果を修正する。

ウィンドウｗk、及びｗk+1のように、ウィンドウの中にある行動の一部だけが含まれる場合、その行動のクラス所属確率は低くなる。そこで、すべてのウィンドウについて処理が終了し、全行動が分類された後に、以下の規則を適用して修正を行う。
（１）最大クラス所属確率が０．５より小さい場合は、時刻ｔの行動識別結果を直前の時刻（ｔ－１）に識別された行動に修正する。クラス所属確率が低いということは、分類（または識別された行動の信頼性が低いことを意味する。
（２）歩行と静止を除く検出結果の後に歩行が検出されている場合は、歩行の検出に先立つ時間区間に含まれる歩行と静止以外の行動を「歩行」に修正する。歩行は方向転換を伴う場合に他の動作と誤識別されやすいので、通常はあり得ない行動に分類された結果を歩行に修正する。
（３）通常は起こり得ない行動が推定されたときは、その推定結果の時間区間に含まれるすべての行動を最大のクラス識別確率を有する行動に修正する。通常起こり得ない行動パターンの類型をあらかじめメモリに格納しておくことで、推定された識別データの中に起こり得ない行動パターンが含まれているか否かを容易に判断することができる。
（４）上記（１）～（３）以外は、分類器による分類（識別）結果に従う。

図９の例では、ウィンドウｗkとｗk+1の出力のように、転倒の直後に着座に遷移する行動は通常は起こり得ない（規則（３））。一般的には、転倒の後はしばらくの間静止状態が続くからである。この場合、時間区間ｗkとｗk+1の識別結果である「転倒」を、これらの時間区間以降の識別結果の中で最大クラス所属確率０．８を有する「着座」に修正する。この結果、出力される識別結果は、歩行→着座→静止となり、実際の行動と一致した推定結果となる。
＜実証実験＞
図１０は、実証実験のための実験環境を示す図である。図１０（Ａ）と図１０（Ｂ）の平面形状の室内の中央に、０．９５ｍ×１．９ｍの行動領域４１を設定し、送信機（Ｔｘ）１０からの電波を受信機（Ｒｘ）２０で受信する。受信機２０は、図１に示すようにアレイアンテナ２１を有し、パーソナルコンピュータ（ＰＣ）などの情報処理装置３０に接続されているものとする。送信機１０の正面に金属板４０を設置して、ＮＬＯＳ（Non-Line of Sight：見通し外）環境を作る。実施形態の手法の耐方向性を確認するために、各行動遷移を２以上の方向で実施する。

図１０（Ａ）の部屋で、以下の４つの行動遷移をとる。
（１）転倒試験１：Ａ、Ｂ、及びＣの位置に立って行動領域４１内に転倒し、その後床に横たわる（直立→転倒→床に横たわる）。
（２）転倒試験２：行動領域４１の周囲を歩行しＡ、Ｂ、及びＣの位置から行動領域４１内に転倒し、その後床に横たわる（歩行→転倒→床に横たわる）。
（３）非転倒試験１：Ｃの位置に立って、行動領域４１内の椅子に座る（直立→着座）。
（４）非転倒試験２：行動領域４１の周囲を歩行し、Ｃの位置で行動領域４１内の椅子に座る（歩行→着座）。

図１０（Ｂ）の部屋で、以下の４つの行動遷移をとる。
（１）転倒試験２：行動領域４１の周囲を歩行しＡ、Ｂ、及びＣの位置から行動領域４１内に転倒し、その後床に横たわる（歩行→転倒→床に横たわる）。
（２）非転倒試験２：行動領域４１の周囲を歩行し、Ｃの位置で行動領域４１内の椅子に座る（歩行→着座）。
（３）非転倒試験３：Ｃの位置まで歩き、行動領域４１内に横たわる（歩行→床に横たわる）。
（４）非転倒試験４：Ｃの位置まで歩き、行動領域４１の床に座る（歩行→床に座る）。
試験実施の回数は、転倒試験が１０８回、非転倒試験が６０回、合計１６８回である。各試験で、ドップラー信号に基づく評価関数Ｐ（ｔ）、Ｑ（ｔ）、Ｐ'（ｔ）、及びＱ'（ｔ）を用いて行動を識別する。

図１１は実験諸元を示す図である。受信機２０のアレイアンテナ２１のアンテナ素子数は４個、サンプリング周波数は４ｋＨｚ、送信機１０の送信周波数ｆ0は２．４７ＧＨｚ、被験者数は４人、ウィンドウ幅ｔwは３秒、ドップラー周波数ｆBはｆ0±８０Ｈｚである。評価関数Ｐ'（ｔ）とＱ'（ｔ）の計算に用いる直前の信号は、０．１秒前の信号、０．５秒前の信号、１．０秒前の信号、及び１．５秒前の信号である。

図１０の実験環境と図１１の実験諸元で行った１６８回の実験データから、複数の行動の種類を抽出する。

図１２は、１６８回の試験の行動遷移データから抽出された９種類の行動のパターンを示す。ひとつの転倒試験、またはひとつの非転倒試験から複数の行動が抽出され得るため抽出された行動の総数は２８８となる。たとえば、ひとつの非転倒試験で、異なる２つの方向への歩行１と歩行２が抽出される。また、一つの非転倒試験で、「歩行から床に寝る」という行動と、「静止」という行動が抽出される。

非転倒の歩行１と歩行２は、図１２（Ｂ）のように配置される送信機１０と受信機２０の位置関係に対して、異なる方向への歩行である。歩行１は送信機１０と受信機２０を結ぶ直線に対して直交する方向、歩行２は送信機１０と受信機２０を結ぶ直線と平行な方向である。

１６８個の行動遷移データから、２８８個の行動ごとのデータを抽出し、
（ｉ）行動ごとのデータに関する転倒検知精度ＦＤＡ（Fall Detection Accuracy）と、
（ii）行動ごとのデータを学習データとして用いた場合の、行動遷移データに関する転倒検知精度ＦＤＡ'を、評価する。

図１３は、評価項目（ｉ）の行動ごとのデータと、評価項目（ii）の行動遷移データを説明する図である。たとえば、実際の行動が「歩行」から「転倒」し、その後「静止」している場合、「歩行」、「歩行からの転倒」、「静止」という行動ごとの識別データが抽出される。他方、行動遷移データは、「歩行から転倒して、その後静止している」というデータになる。

評価項目（ｉ）の行動ごとのデータの転倒検知精度は、すべての行動データについてその行動が転倒か非転倒かをＳＶＭにより識別する。転倒検知精度は式（６）で表される。

ＦＤＡ＝（Ｎ_TP＋Ｎ_FN）／全データ数 （６）
ここでＮ_TPは転倒を正しく転倒と検知したデータ数、Ｎ_FNは非転倒を正しく非転倒と検知したデータ数である。転倒検知精度の評価には交差検証法を用い、ある被験者のテストデータを他の被験者の学習データを用いて識別する。

評価項目（ｉｉ）の行動遷移データの転倒検知精度ＦＤＡ'は、行動ごとのデータを学習データとして利用し、ウィンドウをずらしながら行動を分類し、式（７）から求める。

ＦＤＡ'＝（Ｎ'_TP＋Ｎ'_FN）／全データ数 （７）
ここで、Ｎ'_TPは転倒を含むデータが少なくとも１回転倒と識別されたデータ数、Ｎ'_FNは転倒を含まないデータが一度も転倒と識別されなかったデータ数である。

図１４は、評価項目（ｉ）の行動ごとのデータについて、実施形態の転倒検知精度を、従来法の転倒検知精度と比較して示す。従来法では、特徴量の計算に評価関数Ｐ（ｔ）とＱ（ｔ）のみを用いている。実施形態の方法は、Ｐ（ｔ）、Ｑ（ｔ）、Ｐ'（ｔ）、及びＱ'（ｔ）の評価関数を用いて計算した特徴量から行動を識別している。太枠のパーセンテージの後ろのカッコ内は、各行動の試験回数に対して正しく検知された回数を示す。

実際の行動が直立からの転倒である場合、従来法の転倒検知精度は８６．１％であるのに対して、実施形態の方法の転倒検知精度は９７．２％に向上している。また、実際の行動が歩行からの転倒の場合、従来法の転倒検知精度は７６．３％であるのに対し、実施例の方法は９８．６％という高い精度を達成している。

非転倒で顕著なのは、正確な検知が難しい歩行からの行動も、実施形態では高い検知精度を達成していることである。歩行からの行動は静止からの行動と比べて伝搬環境の変化が顕著でないため、従来法のようにウィンドウの観測開始時刻のみを基準として特徴量を抽出すると十分な精度を達成できない。非転倒を非転倒と正しく検知する精度は、「直立から着座」と「歩行から着座」について従来法は５８．３％と２９．２％であるのに対し、実施形態の方法は１００％と９５．８％という格段に高い精度を実現している。また、「歩行から床に座る」行動と、「歩行から床に寝る」行動の検知精度は、従来法で７５．３％と３３．３％であるのに対し、実施形態の方法では、１００％と６６．６％である。「歩行からの着座」で３倍の検知精度、「歩行から床に寝る」行動で２倍の検出精度が達成されている。

実施形態の方法で「歩行から床に寝る」行動の検知精度がやや劣るのは、行動の大きさと速さが転倒と類似しているためであるが、それ以外の行動では、高い検知精度が達成されている。

図１５は、評価項目（ｉｉ）の行動遷移データについて、実施形態の修正法による効果を、従来の修正法と比較して示す図である。図１５（Ａ）は、４つの評価関数を用いて判断した識別結果をクラス所属確率を用いて修正した実施形態の転倒検知精度を示す。図１５（Ｂ）は、２つの評価関数Ｐ（ｔ）及びＱ（ｔ）による判断した識別結果を、行動ごとに設定された閾値に基づいて修正する従来法の転倒検知精度を示す。図１５（Ｃ）は、２つの評価関数Ｐ（ｔ）及びＱ（ｔ）を用いて判断された行動遷移を修正しないときの検出精度である。

実施形態の修正法では、転倒を含む行動遷移について、正しく転倒を識別した回数は１０８回中の１０７回であり、転倒検知精度は９９．１％である。転倒を含まない行動遷移について、正しく非転倒を識別した回数は６０回中の５５回であり、検知精度は９１．７％である。実施形態の行動識別結果に修正を施すことで、転倒、非転倒ともに安定して高精度で検知される。

図１５（Ｂ）の従来法では、各行動設定された実験的な閾値を用いて識別結果が修正されている。転倒を含む行為は１００％の割合で正しく転倒が検知されているが、転倒を含まない場合は、正しく非転倒を検知できる程度は６５％である。

図１５（Ｃ）で修正を行わない場合は、転倒の検知率は１００％であるが、転倒を含まないのに転倒と誤判断される割合も１００％である。これは、ウィンドウが行動の一部だけを含む場合に、転倒と誤識別されることが原因と思われる。

このように、実施形態の修正法を適用することで、行動ごとに実験的な閾値を用いなくても、高精度の転倒検知を実現することができる。

図１６は、実施形態の特徴量を用いることによる効果を示す図である。実施形態の特徴量は、時間－周波数平面（便宜上、「ドップラー領域」と呼ぶ）で評価関数を算出することの効果と、直前の信号を基準信号として用いることの効果を有する。

図１６（Ａ）に示すように、特徴量抽出の評価関数としてＰ（ｔ）とＱ（ｔ）のみを用いる従来法では、転倒検出精度（直立からの転倒と歩行からの転倒の双方を含む）は７９．１７％である。この数値は、図１０及び図１１の条件で行った１６８回の試験で、Ｐ（ｔ）とＱ（ｔ）だけを用いて転倒を識別したときの検知精度である。これに対し、ドップラー領域でＰ（ｔ）とＱ（ｔ）を算出することで、転倒検知精度を９２．０１％に向上することができる。

図１６（Ｂ）は、図１６（Ａ）のドップラー信号の導入に加えて、直前の信号からの変化を表わす評価関数Ｐ'（ｔ）とＱ'（ｔ）を用いることによる効果を示す。現在の時刻から０．１秒前、０．５秒前、１．０秒前、及び１．５秒前のドップラー信号のいずれかを単独で用いることで、一定の転倒検知精度を得ることができる。０．１秒前の信号を基準信号とする場合は現在の伝搬状態との差異が顕著ではないが、０．５秒前、１．０秒前、１．５秒前の信号を用いると、９３％以上の転倒検知精度が得られる。これら４つの基準信号をすべて用いるときは、電波伝搬状態の変化を詳細に推定して、９７．５７％の検知精度を実現できる。直前の信号からの変化を表わす特徴量を用いる効果と、ドップラー領域で算出した評価関数を用いることの効果を合わせると、従来法の検知精度（７９．１７％）と比較して、１８．４％の精度改善がみとめられる。ドップラー信号の導入と、直前の信号を基準信号とすることは、それぞれ単独でも検知精度の改善に寄与する。

図１７は、ドップラー領域で評価関数算出の領域を分割することによる効果を示す。周波数方向の分割数Ｎｆを１、２、４、５と変更し、時間方向の分割数Ｎｔを１，３，６，１０と変更しし、それぞれの組み合わせでの転倒検知精度を求める。この表から、ドップラー領域を適切な数に分割することで、高精度の行動識別が可能になることがわかる。特に、周波数方向に４以上、時間方向に３以上の領域に分割することで９７％を超える転倒検知精度が達成される。これは、電波伝搬の変化を周波数方向と時間方向の両方で詳細に推定することによる効果である。

図１８は、図１０（Ｂ）の室内で、送信機１０の近傍から反時計回りに行動領域４１の周囲を歩き、位置Ｃから行動領域４１内の椅子に着座したときの行動遷移の推定結果と修正結果を示す。識別された行動を太い破線で、修正された行動は太い実線で示す。図９を参照して説明した修正の規則（１）～規則（４）の少なくとも１つを用いることで、実際の行動に近い識別結果に修正することができる。

図９の３～５秒の間で、歩行１の後に「転倒」と「床に寝る」という行動が識別され、その直後に「歩行」が検出されている。そこで、規則（２）を適用して、「歩行からの転倒」と「歩行から床に寝る」という識別結果を「歩行」に修正する。

１０～１５秒の間では、歩行からの転倒の後に、非転倒（歩行から床に寝る）→非転倒（歩行から着座）→非転倒（歩行から床に座る）→転倒（歩行から転倒）という行動遷移が検知されているが、このような行動遷移は通常起こり得ない。そこで規則（３）を適用して、クラス所属確率が最も高い「歩行から着座」に修正する。

図９の例で、規則（２）と規則（３）を適用することで、実際は転倒を含まない行動が「転倒」と誤識別されることを防止できる。

図１９は、実施形態の行動認識システム１で用いられる情報処理装置３０の概略図である。情報処理装置３０は少なくともプロセッサとメモリを含む任意の電子装置で実現することができ、受信機２０の内部の信号プロセッサであってもよい。情報処理装置３０は取得部１１、受信信号データベース（ＤＢ）２３、数値化部１３、特徴量抽出部１４、学習データベース（ＤＢ）２２、学習部１５、識別部１６、及び修正部１８を有する。

取得部１１は、受信機２０のアレイアンテナ２１の各アンテナ素子で受信された受信信号を取得する。取得された受信信号は、受信信号データベース２３に順次保存される。数値化部１３は、受信信号から受信強度とチャネル状態を表わす時系列の数値データを生成する。

特徴量抽出部１４は、図１９の例ではＦＦＴ１４１を含み、数値化された時系列の受信データをウィンドウごとにフーリエ変換し、ドップラー領域てで４つの特徴量Ｐ（ｔ）、Ｑ（ｔ）、Ｐ'（ｔ）、及びＱ'（ｔ）を算出する。ＦＦＴ１４１は必須ではないが、上述したようにドップラー信号を用いることで転倒検知精度を向上することができる。また、特徴量抽出部１４は、ドップラー領域を適切なサイズに分割する分割部を有してもよい。この場合は、分割された各領域で時間方向と周波数方向の特徴量Ｐ（t, f）、Ｑ（t, f）、Ｐ'（t, f）、及びＱ'（t, f）を算出する。複数の分割領域で得られた値を平滑化して各特徴量を算出してもよい。

特徴量抽出部１４で得られたデータは、識別部１６に入力されるとともに、学習データベース２２に記憶される。学習部１５は、学習データベース２２に記憶されている教師データを用いて、入力された特徴量のパターンと行動の関係を学習して学習データベース２２の学習データを更新するとともに、学習データ（識別パターン）を識別部１６に供給する。

識別部１６は分類器１７を含み、分類器１７は、入力された４つの特徴量のパターンを学習データと比較してウィンドウごとに行動を識別する。分類器１７がＳＶＭ法で行動を分類する場合は、１以上の学習モデルを用いてもよい。一例として、学習モデル１を用いて、静止しているか動いているかを識別し、静止の場合に学習モデル２を用いて４つの特徴量で表される行動を転倒、着座、床に寝る、静止のいずれかに識別する。動作中と識別された場合は、学習モデル３を用いて４つの特徴量で表される行動を歩行、転倒、着席のいずれかに識別する。識別部１６で識別された結果（推定行動または推定クラス）は、各クラス（行動）の所属確率とともに修正部１８に出力される。

修正部１８は、上述した修正の規則（１）～規則（４）の少なくとも１つを適用して、必要に応じて識別結果を修正する。修正部１８を設けることにより、転倒を含まない急な行動の変化が転倒と誤判断されることを防止できる。また、通常は起こり得ない行動の遷移を最も可能性の高い行動遷移に修正することができる。修正部１８の出力は、行動認識データとして情報処理装置３０から他の装置に接続されてもよいし、情報処理装置３０にアラーム機能を持たせて転倒が検出された場合にアラームを出力する構成としてもよい。

以上述べたように、実施形態の行動認識の構成と手法によると、行動ごとに実験的な閾値を設定しなくても高精度に行動を識別することができる。上述した実施形態は本発明を実現する一例であり、多様な変形例、適用例が可能である。送信機１０と受信機２０の少なくとも一方は移動可能であってもよく、送信機１０と受信機２０はマルチパス伝搬環境で送受信ができる位置であれば、室内の任意の場所に配置することができる。また、送信機１０と受信機２０の組を複数の場所に配置して、各受信機２０のアレイアンテナ２１で受信された信号情報をひとつの情報処理装置３０で処理してもよい。

１ 行動認識システム
１０ 送信機
１１ 取得部
１２ 受信信号データベース
１３ 数値化部
１４ 特徴量抽出部
１５ 学習部
１６ 識別部
１７ 分類器
１８ 修正部
２０ 受信機
２１ アレイアンテナ
２２ 学習データベース
３０ 情報処理装置

Claims (7)

1. 動体の行動を識別する行動認識システムであって、
   電波を送信する送信機と、
   前記電波をアレイアンテナで受信する受信機と、
   前記アレイアンテナで受信された信号から特徴量を抽出する特徴量抽出部と、
   前記特徴量に基づいて行動を識別する識別部と、
   を有し、
   前記特徴量抽出部は、基準時における信号を第１基準信号として前記基準時から時刻ｔまでの信号の変化を表わす第１の特徴量と、前記基準時よりも後で、かつ前記時刻ｔから所定時間だけさかのぼった直前の信号を第２基準信号として前記時刻ｔまでの信号の変化を表わす第２の特徴量を算出し、
   前記識別部は、前記第１の特徴量と前記第２の特徴量から、歩行、静止、転倒、及び着座を識別する学習モデルを用いて、前記歩行、静止、転倒、及び着座の行動間での前記動体の行動遷移を検出し、
   前記特徴量抽出部は、前記第１の特徴量として前記基準時からの前記動体の前記行動遷移による電波の到来方向の変化と受信信号強度の変化を算出し、前記第２の特徴量として、前記基準時よりも後で、かつ前記時刻ｔからさかのぼった複数の時点を第２基準時とする電波の到来方向の変化と受信強度の変化を算出することを特徴とする行動認識システム。
2. 前記アレイアンテナで受信された信号を周波数領域の信号に変換する変換器、
   をさらに有し、
   前記特徴量抽出部は、前記周波数領域の信号から前記第１の特徴量と前記第２の特徴量を抽出することを特徴とする請求項１に記載の行動認識システム。
3. 前記特徴量抽出部は、前記アレイアンテナで受信された信号を周波数領域の信号に変換し、前記周波数領域の信号から、前記第１の特徴量と前記第２の特徴量を時間方向と周波数方向に信号の変化を表わす２次元的な特徴量として算出し、
   前記識別部は、前記２次元的な特徴量から、前記歩行、静止、転倒、及び着座の行動間での前記動体の行動遷移を検出することを特徴とする請求項１に記載の行動認識システム。
4. 前記特徴量抽出部は、時間－周波数平面を複数のサブ領域に分割し、分割された各サブ領域で前記２次元的な特徴量を算出することを特徴とする請求項３に記載の行動認識システム。
5. 前記特徴量抽出部は、前記周波数領域の信号の中心周波数、高周波成分、及び低周波成分のそれぞれで特徴量を算出し、前記低周波成分の特徴量と前記高周波成分の特徴量を合算して前記２次元的な特徴量を算出することを特徴とする請求項３に記載の行動認識システム。
6. 電波を送信する送信機と、アレイアンテナを有する受信機を所定の位置に配置し、
   前記電波を前記アレイアンテナで受信し、
   前記アレイアンテナで受信された信号から特徴量を抽出し、
   前記特徴量に基づいて分類器により行動を識別する、
   工程を含み、
   前記特徴量の抽出は、基準時における信号を第１基準信号として前記基準時から時刻ｔまでの信号の変化を表わす第１の特徴量と、前記基準時よりも後で、かつ前記時刻ｔから所定時間だけさかのぼった直前の信号を第２基準信号として前記時刻ｔまでの信号の変化を表わす第２の特徴量を算出し、
   歩行、静止、転倒、及び着座を識別する前記分類器にて、前記第１の特徴量と前記第２の特徴量から、歩行、静止、転倒、及び着座の行動間での動体の行動遷移を検出し、
   前記第１の特徴量として前記基準時からの前記動体の前記行動遷移による電波の到来方向の変化と受信信号強度の変化を算出し、前記第２の特徴量として、前記基準時よりも後で、かつ前記時刻ｔからさかのぼった複数の時点を第２基準時とする電波の到来方向の変化と受信強度の変化を算出することを特徴とする行動認識方法。
7. 前記特徴量の抽出は、前記アレイアンテナで受信された信号を周波数領域の信号に変換し、前記周波数領域の信号から、前記第１の特徴量と前記第２の特徴量を時間方向と周波数方向に電波伝搬の変化を表わす２次元的な特徴量として算出し、
   前記分類器にて、前記２次元的な特徴量から、前記歩行、静止、転倒、及び着座の行動間での検出動体の行動遷移を検出することを特徴とする請求項６に記載の行動認識方法。
   

Images