JP6890813B2 - 行動検知システム、情報処理装置、プログラム - Google Patents

Description

本発明は、行動検知システム、情報処理装置及びプログラムに関する。

一人暮らしの人（以下、独居者という）が自宅で倒れ外部に連絡できない状態になると、周囲が気づくまで時間がかかり状況が悪化するおそれがある。例えば、日本では急速な高齢化により一人暮らしの高齢者が増加しており、高齢者が誰にも気づかれずに転倒したままとなってしまう状況が起こることが懸念される。

そこで、独居者の異常事態を迅速に発見する仕組みとして、例えばカメラを利用するシステムが知られているが、プライバシー性を確保しにくいこと及びコストが高いなどの課題がある。また、独居者に加速度センサを装着してもらい、サーバなどで加速度センサの信号を解析することが検討されるが、加速度センサを装着することは利用者に負担をかけるという課題がある。

そこで、低解像度の温度分布センサを利用して独居者の行動を検知する技術が提案されている（例えば、特許文献１参照。）。特許文献１には、赤外線アレーセンサの出力からフレームごとの各画素の時間軸方向の温度分散を算出し、所定値を超える温度分散値のフレームに基づいて独居者の行動を特定する方法が開示されている。低解像度の温度分布センサであればサーモグラフィーなどのように人間の姿勢を検出することが困難なのでプライバシーを保てる。また、カメラよりも低コストである。

また、空間の電波の変動から独居者の行動を検知する技術が提案されている（例えば、非特許文献１参照。）。非特許文献１には、送信機が発した電波を受信機が受信した際の到来方向と電波強度を解析して、転倒等の行動を識別する方法が開示されている。電波であれば独居者の映像は写らないのでプライバシーを保てる。また、カメラよりも低コストである。

特開２０１５−２２２１９１号公報

Y. Hino, J. Hong, and T. Ohtsuki、「Activity recognition using array antenna」、Communications (ICC)、2015 IEEE International Conference on、pp.507〜511, June 2015

しかしながら、特許文献１の方法では、転倒と非転倒の２つの状態しか識別できず、歩行中に転倒するような状態（つまづき転倒）を識別できなかった。また、非特許文献１の方法では、転倒、着席、歩行、静止の４つの状態を識別できるが、これらの状態を識別するには行動の開始時と終了時に被検知者が静止している必要があった。すなわち、特許文献１と非特許文献１に開示された技術はいずれも、連続した行動における各状態を識別することができないという問題があった。日常生活では様々な行動が連続し、例えば歩行中に転倒することがあるため、行動が連続した場合に各状態を識別できることが好ましい。

本発明は、上記課題に鑑み、行動が連続した場合に状態を識別できる行動検知システムを提供することを目的とする。

上記課題に鑑み、本発明は、動体の行動に関する情報を検出する動体情報検知装置と、前記動体の行動を識別する情報処理装置と、を有する行動検知システムであって、前記動体を含む空間の温度分布を検知できる場所に配置された温度分布センサが取得する空間の温度分布に基づいて検出された前記動体の範囲から、前記動体の行動に関する情報を周期的に取得する取得部と、前記取得部が取得した時系列の前記動体の行動に関する情報に基づいて前記動体が静止したと見なせる前記動体の行動に関する情報を特定し、該情報の手前の時間窓の前記動体の行動に関する情報から特徴量を抽出する特徴量抽出部と、前記特徴量抽出部が抽出した前記特徴量と前記動体の行動の対応を学習することで識別部を生成する学習部と、前記特徴量に基づき前記動体の行動を連続行動の各状態のいずれかに識別する前記識別部と、を有する。

行動が連続した場合に状態を識別できる行動検知システムを提供することができる。

温度分布センサの配置と被検知者の行動を模式的に説明する図の一例である。 フレームの処理手順を説明する図の一例である。 情報処理装置の概略的なハードウェア構成を示したブロック図の一例である。 情報処理装置が有する機能をブロック状に説明する機能ブロック図の一例である。 行動検知システムの情報処理装置が行う手順を示すフローチャート図の一例である。 温度分布センサの素子配置を説明する図の一例である。 人物範囲の検出手順を説明する図の一例である。 評価関数Ｓ(t)、Ｒ(t)、Ｂ(t)を説明する図の一例である。 時系列のＳ(t)、Ｒ(t)、Ｂ(t)の一例を示す図である。 特徴量の抽出箇所を説明する図の一例である。 評価関数Ｓ(t)、Ｒ(t)、Ｂ(t)から抽出される特徴量を説明する図の一例である。 評価関数Ｓ(t)、Ｒ(t)、Ｂ(t)からそれぞれ抽出された６つの特徴量を示す図の一例である。 特徴量に基づく歩行・転倒・着席の識別を模式的に説明する図の一例である。 行動検知システムによる連続行動の識別結果を示す図である。 行動検知システムの概略構成図の一例である。 行動検知システムの概略を説明する図の一例である。 情報処理装置が有する機能をブロック状に説明する機能ブロック図の一例である（実施例２）。 行動検知システムの情報処理装置が行う手順を示すフローチャート図の一例である（実施例２）。 行動時の評価関数Ｐ(t)の一例を示す図である。 時間窓τ、t_trainを説明する図の一例である。 ３つの学習モデル１〜３の切り替え方法を説明するフローチャート図の一例である。 行動検知システムによる連続行動の識別結果を示す図である。 行動検知システムにおける送信機と受信機の配置例を説明する図の一例である。

以下、本発明を実施するための形態について図面を参照しながら実施例を挙げて説明する。本実施形態では、実施例１で低解像度の温度分布センサを用いる方法を説明し、実施例２で空間を伝搬する電波の変動を用いる方法を説明する。

＜概略＞
図１は、温度分布センサ１０の配置と被検知者８の行動を模式的に説明する図の一例である。図１では、天井に温度分布センサ１０が配置されており、温度分布センサ１０は検知範囲９の温度分布を一定時間ごとに検知している。ある時刻の温度分布データをフレーム又はフレームデータという。また、温度分布センサ１０は情報処理装置３０と通信可能に接続されており、取得したフレームを情報処理装置３０に送信する。図１（ａ）では被検知者８が歩行しているが、図１（ｂ）に示すように転倒した（つまずいた）ものとする。温度分布センサ１０は図１（ａ）の歩行中の被検知者８がいる検知範囲９と、図１（ｂ）の転倒する際の検知範囲９のフレームを取得する。転倒する際とは転倒し始める時から静止するまでをいう。これらの時系列のフレームには歩行から転倒に至る際の特徴的な温度分布が含まれていると考えられる。情報処理装置３０は、以下のようにしてこれらのフレームを解析して連続した行動の各状態（歩行からの転倒）を識別する。

図２は、フレームの処理手順を説明する図の一例である。図２（ａ）はフレームを示す。フレームは二次元の温度分布を有している。被検知者８が存在する範囲は周囲よりも温度が高くまたその範囲は動きを伴う行動により変化するので、情報処理装置３０は被検知者８が存在する範囲（存在範囲）を人物範囲として検出する。

図２（ｂ）はフレームの解析により得られる人物範囲６１を示す。なお、図２（ｂ）の人物範囲６１は被検知者８が転倒する際の１フレームから得られたものである。

図２（ｃ）は人物範囲６１の数値化と特徴量の抽出を説明している。人物範囲６１には連続行動の情報が含まれていると考えられるが、これを処理しやすくするため情報処理装置３０は人物範囲６１を数値化し、更に特徴量を抽出する。また、転倒後には大きな動作がないと仮定してよいので、静止前の特徴量に着目することで歩行中の転倒を識別しやすくなる。このため情報処理装置３０は固定長のフレーム窓幅ｗ_fwのフレームの人物範囲６１から抽出した特徴量を学習ＤＢに記憶させる。

図２（ｄ）は連続した行動と識別される各状態の一例を示す。図２（ｄ）ではＳＶＭ（サポートベクターマシン）で特徴量のパターンと各状態の対応を機械学習するものとする。学習により識別部が生成される。そして、連続行動の各状態が分からない特徴量が識別部に入力されると、学習結果に応じて着席、転倒、及び、歩行のいずれかの行動に分類する。無人、静止の識別については後述する。

このように、歩行と転倒という状態を含めて連続的な行動を識別するので、転倒か非転倒かという二状態だけでなく、歩行中につまずいて転倒するつまずき転倒を検知することができる。また、フレーム窓幅ｗ_fwで特徴量を絞り込むことでつまずき転倒を検知しやすくなる。また、温度分布センサ１０は低解像度なのでプライバシー性が高い。また、被検知者８の赤外線を検出するので暗闇でも被検知者８を検知可能である。また、温度分布センサ１０は低コストで入手でき、小型で設置も容易である。更に、加速度センサのように装着しなくてよいため利用者の負担になりにくい。

＜用語について＞
動体とは何らかの行動を取るものをいう。主に人間であるが、犬などの動物にも適用できる。また、ロボットでもよい。更に、静止したまま一部が稼動する機械などでもよい。

動体の行動に関する情報とは、動体がどのような行動を行っているかを解析可能な情報をいう。あるいは、動体の行動を含む情報と言ってよい。具体的には、温度分布センサによる温度分布データ、又は、受信機が受信する電波などである。

周期的とは、行動していることが分かる程度の時間間隔をいう。定期的である必要はない。また、周期的には連続的であることを含む。

特徴量とは、元のデータのうち識別に有利な情報を言う。元のデータからの選択、元のデータの加工、変形などにより得られる。

識別とは、見分けることをいう。検知、分類、仕分け、区別、認識、判別、判断などの用語が使用されてもよく、連続行動の各状態を見分けられればよい。

＜システム構成例＞
図１を用いて行動検知システム１００の構成について説明する。行動検知システム１００は、１つ以上の温度分布センサ１０と、情報処理装置３０を有している。

温度分布センサ１０は、赤外線検出素子が二次元に配列された赤外線アレーセンサである。赤外線検出素子には主に焦電型センサとサーモパイルがある。本実施例では絶対温度を検出できるサーモパイルが好ましいが、焦電型でもよい。焦電型の赤外線検出素子は、強誘電体が赤外線を受けると熱エネルギーを吸収して自発分極に変化を起こし、その変化量に比例して表面に電荷を誘起する現象を利用する。サーモパイルセンサは、物体から放射される赤外線を受けると入射エネルギー量に応じた熱起電力を発生することを利用する。焦電型が温度変化を検出するのに対し、サーモパイルセンサは絶対温度を検出することが可能である。

温度分布センサ１０の縦横の素子数は低解像度と称される程度の素子数でよい。実験的には６４画素及び９９２画素で本実施例の行動検知システム１００が目的とする連続行動の検知が可能であった。９９２画素より高解像度であれば、同様に連続行動の検知が可能であるが、高解像度であるほどプライバシー性の低下に繋がるおそれがあるし、フレームの処理負荷が高くなる。このため、プライバシー性が低下するおそれがある被検知者の姿勢が判別されてしまわない程度の低解像度となるように温度分布センサ１０の解像度が決定される。一方、被検知者の姿勢が判別されてしまうような高解像度の温度分布センサ１０であっても、信号処理により低解像度化すること（例えば、隣接した複数の温度の値を集約する）が可能なので、低解像度でなければならないものではない。

温度分布センサ１０は、一定時間ごとに温度分布を検出し、各フレームを情報処理装置３０に送信する。一定時間ごとにフレームを送信してもよし、いくつかのフレームをまとめて送信してもよい。

図１では、温度分布センサ１０が天井に配置されているが、被検知者８を含む空間の温度分布を検知できる場所に配置されていればよい。例えば、壁や床などでもよい。温度分布センサ１０としては複数台が配置されていてもよい。

情報処理装置３０はいわゆるコンピュータである。例えば、ＰＣ（Personal Computerやワークステーションと呼ばれる。この他、コンピュータとしての機能を有していれば情報処理装置３０はどのように呼ばれていてもよい。また、情報処理装置３０がサーバとして利用される場合はサーバと呼ばれる。この場合、情報処理装置３０はクラウドコンピューティングに対応していてもよい。クラウドとは、特定のハードウェア資源を意図しない場合に用いられる用語である。情報処理装置３０は、１つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、負荷に応じてハード的なリソースが動的に接続・切断されることで構成される。また、一台の情報処理装置３０の中の仮想化環境に構築されていたり、複数台の情報処理装置３０に跨って構築されたりしてもよい。

情報処理装置３０は温度分布センサ１０が配置された被検知者８の自宅内にある必要はなく、インターネット上などにあってもよい。インターネット上にある場合、複数の被検知者８の自宅の温度分布センサ１０と１つの情報処理装置３０とが接続されるため、情報処理装置３０の数を集約できる。また、情報処理装置３０が被検知者の自宅内にあってもよい。また、情報処理装置３０と温度分布センサ１０が一体でもよく、この場合、情報処理装置３０と温度分布センサ１０は自宅内に配置される。

温度分布センサ１０と情報処理装置３０は、ネットワークを介して通信可能に接続される。このネットワークは、被検知者の自宅内のＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークが複数のＬＡＮを有する場合、ネットワークはＷＡＮやインターネットと呼ばれる。また、ネットワークは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、温度分布センサ１０が３Ｇ、４Ｇ、ＬＴＥ又はＷｉＭＡＸなどの携帯電話網に接続する機能を有する場合、ネットワークは携帯電話網とプロバイダネットワークである。

なお、ネットワークは温度分布センサ１０と情報処理装置３０を有線又は無線で１対１に接続するものでもよい。無線には、無線ＬＡＮのアドホックモード、ダイレクトＷｉ−Ｆｉ、Bluetooth（登録商標）又はZigBee（登録商標）などの規格がある。また、有線では、例えば、ＵＳＢケーブル又はイーサネットケーブル（登録商標）などがある。また、ARIB STD-T108（テレメータ、テレコントロールなどの用途で用いられる920MHz帯無線）などで通信してもよい。この場合、適宜、通信プロトコルを変換するゲートウェイがネットワークに設けられる。

図１では省略されているが、一人暮らしの老人などの被検知者８に所定の事態が生じた場合にスタッフが自宅に駆けつけるサービスセンタと情報処理装置３０が接続されていてもよい。あるいは、情報処理装置３０は、被検知者８に所定の事態が生じた場合、被検知者８の親類に電子メールを送信してもよい。こうすることで、スタッフや親戚が被検知者８と連絡を取ったり、自宅に駆けつけたりできる。また、救急車を呼んでもよい。なお、被検知者８は老人の他、例えば、幼児や子供、病人、身体障害者などでもよい。

＜情報処理装置３０のハードウェア構成＞
図３は、情報処理装置３０の概略的なハードウェア構成を示したブロック図の一例である。本発明の情報処理装置３０は、概ねパーソナル・コンピュータ、ワークステーション又はアプライアンス・サーバとして実装することができる。情報処理装置３０は、ＣＰＵ２０１と、ＣＰＵ２０１が使用するデータの高速アクセスを可能とするメモリ２０２とを備える。ＣＰＵ２０１及びメモリ２０２は、システム・バス２０３を介して、情報処理装置３０の他のデバイス又はドライバ、例えば、グラフィックス・ドライバ２０４及びネットワーク・デバイス（ＮＩＣ）２０５へと接続されている。
グラフィックス・ドライバ２０４は、バスを介してＬＣＤ（ディスプレイ装置）２０６に接続されて、ＣＰＵ２０１による処理結果をモニタする。また、ネットワーク・ドライバ２０５は、トランスポート層レベル及び物理層レベルで情報処理装置３０をネットワークＮへと接続させる。
システム・バス２０３には、更にＩ／Ｏバス・ブリッジ２０７が接続されている。Ｉ／Ｏバス・ブリッジ２０７の下流側には、ＰＣＩなどのＩ／Ｏバス２０８を介して、ＩＤＥ、ＡＴＡ、ＡＴＡＰＩ、シリアルＡＴＡ、ＳＣＳＩ、ＵＳＢなどにより、ＨＤＤ（ハードディスクドライブ）２０９などの記憶装置が接続されている。ＨＤＤ２０９は情報処理装置３０の全体を制御するプログラム２０９ｐを記憶している。ＨＤＤ２０９はＳＳＤ（Solid State Drive）でもよい。

また、Ｉ／Ｏバス２０８には、ＵＳＢなどのバスを介して、キーボード及びマウス（ポインティング・デバイスと呼ばれる）などの入力装置２１０が接続され、管理者などのオペレータによる入力及び指令を受け付けている。

＜情報処理装置３０の機能について＞
図４は、情報処理装置３０が有する機能をブロック状に説明する機能ブロック図の一例である。情報処理装置３０は、取得部１１、解析部１２、数値化部１３、特徴量抽出部１４、学習部１５、及び、識別部１６の各機能を有している。これら各機能は、図３に示したＨＤＤ２０９からメモリ２０２に展開されたプログラム２０９ｐをＣＰＵ２０１が実行することにより実現されている。なお、このプログラム２０９ｐは、プログラム配信用のサーバから配信されてもよいし、ＵＳＢメモリや光記憶媒体などの可搬性の記憶媒体に記憶された状態で配布されてもよい。

なお、連続した行動の識別は学習により生成される識別部１６が行うので、学習が終了した後であれば学習部１５はなくてもよい。図４の情報処理装置３０の構成は本実施例を説明するための構成である。

また、情報処理装置３０は、ＨＤＤ２０９及びメモリ２０２などにより実現されたフレームＤＢ２１（Data Base）及び学習ＤＢ２２を有する。フレームＤＢ２１は温度分布センサ１０から送信されたフレームを時系列に記憶する記憶装置である。学習ＤＢ２２は、教師データを学習するための記憶装置である。すなわち、連続行動の各状態に正しいラベル（無人、静止、着席、転倒、及び、歩行）が与えられた特徴量が記憶されている。ラベルが与えられた特徴量を教師データといい、被検知者８が行った行動を識別するための特徴量（どの行動を行ったか不明）をテストデータという。

取得部１１は、図３に示したＣＰＵ２０１がプログラム２０９ｐを実行しネットワーク・ドライバ２０５を制御すること等により実現され、温度分布センサ１０からフレームを取得する。フレームはフレームＤＢ２１に記憶される。あるいは、ＵＳＢメモリなどの可搬性の記憶媒体に記憶されたフレームを読み取ってもよい。

解析部１２は、図３に示したＣＰＵ２０１がプログラム２０９ｐを実行すること等により実現され、フレームを解析する。具体的には後述されるが、各フレームから人物範囲６１を検出する。

数値化部１３は、図３に示したＣＰＵ２０１がプログラム２０９ｐを実行すること等により実現され、人物範囲６１を数値化する。数値化部１３が数値化した数値データは特徴量抽出部１４に出力されると共に、識別部１６にも出力される。これは、特徴量を抽出しなくても識別可能な連続行動の状態があるためである。各フレームから数値データが得られるので、数値データは時系列のデータとなる。

特徴量抽出部１４は、図３に示したＣＰＵ２０１がプログラム２０９ｐを実行すること等により実現され、数値データから特徴量を抽出する。後述するように、特徴量が抽出される数値データは被検知者８が静止したと見なせる箇所の手前でよい。特徴量のパターンと行動の関係が学習される際には、特徴量はラベルと共に学習ＤＢ２２に記憶される。また、被検知者８の連続行動の状態を識別するために抽出されたテストデータとしての特徴量は識別部１６に出力される。

学習部１５は、学習ＤＢ２２に記憶されている教師データを用いて、特徴量のパターンと行動の関係を学習し、学習結果を用いて識別部１６を生成する。具体的には、ＳＶＭで識別関数の係数を決定する。識別部１６は係数が決定された識別関数にテストデータを適用し、連続行動の各状態を識別する。

＜動作手順＞
図５は、行動検知システム１００の情報処理装置３０が行う手順を示すフローチャート図の一例である。情報処理装置３０が行う手順は、大きく学習フェーズと識別フェーズに分けることができる。図５（ａ）は学習フェーズの手順を示し、図５（ｂ）は識別フェーズの手順を示す。以下、各ステップを順番に説明する。なお、図５（ａ）の処理は、行動検知システム１００の管理者が学習フェーズの処理を行うための操作を行うことでスタートする。また、図５（ｂ）の処理は、例えば、被検知者８が自宅の行動検知システム１００の電源をＯＮにすることなどによりスタートする。

<<Ｓ１０ フレームの取得>>
取得部１１は温度分布センサ１０からフレームを取得する。フレームは一定時間ごとに繰り返し送信される。フレームレートは１０〔フレーム／秒〕程度である。フレームレートは多い方が好ましいが、多いと情報処理装置３０の処理負荷が増大するため、行動の識別に必要なフレームレートがあればよい。

図６は、温度分布センサ１０の素子配置を説明する図の一例である。この例では、８行×８列に配置した６４個の赤外線検出素子が８×８のピクセルマトリクスを構成する。６４個の各素子の位置は、被検出領域の二次元位置座標として用いられる。各素子での赤外線エネルギー検出強度から、フレームごとの温度分布を収集することができる。各赤外線検出素子の測定温度範囲は例えば０〜８０℃である（温度分解能は例えば０．１℃）である。温度分布は被検知者８の形状（像）を表すので、フレームを画像に見立てて１つの赤外線検出素子の検出結果を画素という。

<<Ｓ２０ 人物範囲の検出>>
図７に示すように、解析部１２は各フレームを解析することで人物範囲６１を検出する。まず、図７（ａ）は１つのフレーム６２を示している。斜線部が被検知者８の体温を検知した赤外線検出素子である。また、斜線種の違いが体温の分布を表している。

解析部１２は、図７（ｂ）に示すように、温度分布センサ１０から取得したフレーム６２から無人状態の温度分布データ６３を減じた差分フレーム６４を算出する。無人状態の温度分布データとは検知範囲９に被検知者８がいない状態の温度分布データである。１つのフレームでは環境温度などの影響を受けるため、無人状態のフレームの平均の温度分布データが好ましい。このような無人状態の温度分布データは予め用意されていてもよいし、無人であると識別された際に取得されてもよい。差分フレーム６４を算出することで、人が存在しない領域の温度はゼロかゼロに近い値となり、人が存在する領域の温度はゼロよりも大きくなる。したがって、人物範囲６１を検出しやすくなる。

次に、解析部１２はノイズフィルターで差分フレームのノイズ除去し、例えばソーベルフィルターを用いてエッジを検出する。図７（ｃ）はエッジ検出されたフレームを示す。ノイズフィルターとは画像処理などでよく使われるフィルターで画像を平滑化するフィルターである。ノイズ除去により孤立点などを除去できる。また、ソーベルフィルターはエッジ検出のためのフィルターである。エッジを検出できればソーベルフィルターでなくてもよい。エッジ検出によりフレームが二値化される。

次に、解析部１２はエッジが検出されたフレームにモルフォロジーを行う。モルフォロジーとは、二値化した白黒画像内の図形を１画素分膨らませる膨張と、１画素分縮める収縮とを組み合わせて行う処理である。孤立点を除去したり穴埋めしたりすることができる。例えば、膨張をＮ回行い、その後、収縮をＮ回行うモルフォロジーでは図形を穴埋めしたり、切断部分を結合したりすることができる。図７（ｄ）はモルフォロジーが行われたフレームを示す。モルフォロジーにより人物範囲６１が算出される。人物範囲６１はすでに二値化されているので、白画素を１、黒画素を０とすると、画素値が１の範囲が人物範囲６１である。

<<Ｓ３０ 数値化>>
次に、数値化部１３は人物範囲６１を数値化する。本実施例では以下の３つの数値を取り出す。
・Ｓ(t)：現在のフレームとNf フレーム前との差分後の画素数
・Ｒ(t)：現在のフレームで反応している画素数
・Ｂ(t)：現在のフレームで反応している画素群の境界線の長さ
図８は、評価関数Ｓ(t)、Ｒ(t)、Ｂ(t)を説明する図の一例である。まず、図８（ａ）はＳ(t)の算出方法を示す。現在のフレーム７１と検知時刻が異なるNf フレーム前のフレーム７２の同じ画素同士を比較する。Nf は動作の有無を比較する上で適切なフレーム数であり、フレームレートなどに応じて適宜、設定される値である。本実施例では５とするがこれに限られない。

比較結果のフレーム７３では、現在のフレームだけの画素を縦線で、Nf フレーム前のフレームだけの画素を横線で示す。また、両方に属する画素を白で示す。したがって、現在のフレームとNf フレーム前との差分（差分情報）は、縦線と横線の部分となる。数値化部１３は、画素同士の比較結果がゼロでない画素数を合計してＳ(t)を算出する。

図８（ｂ）はＲ(t)を示す。Ｒ(t)は人物範囲６１の広さの指標である。Ｒ(t)はモルフォロジーで得られた白画素の画素数である。数値化部１３は、白画素の画素数をカウントする。

図８（ｃ）はＢ(t)を示す。Ｂ(t)はモルフォロジーで得られた白画素と黒画素の境界の長さである。Ｂ(t)は人物範囲６１の長さの指標である。数値化部１３は境界を検出し境界の画素の数を合計し、１画素の長さを乗じることでＢ(t)を算出する。あるいは、境界の画素の数をＢ(t)としてもよい。境界の検出は例えば以下のように行われる。ラスター走査により境界上の１点を始点として、始点の周囲を反時計回りに境界上の１画素を検出し、新１画素とする。この新１画素が始点と一致するまで境界上の１画素を検出することを繰り返す。

図９は、時系列のＳ(t)、Ｒ(t)、Ｂ(t)の一例を示す図である。図９では、横軸がフレーム番号、縦軸がＳ(t)、Ｒ(t)、Ｂ(t)の値を示す。このように、Ｓ(t)、Ｒ(t)、Ｂ(t)がそれぞれ特徴的な挙動を示すので、連続行動の各状態を識別可能となる。

<<Ｓ３５ 無人・静止の識別>>
一般に、現在のフレームで反応している画素数（Ｒ(t)）がゼロの場合、検知範囲９は「無人」であると考えてよい。しかし、環境の温度分布（日射や飲食物の熱源など）の影響によりＲ(t)＝０だけでは無人なのに無人でないと誤判定するおそれがある。そこで、現在のフレームとNf フレーム前との差分後の画素数（Ｓ(t)）に全く変化がなく、かつ、現在のフレームで反応している画素数（Ｒ(t)）がゼロの場合、検知範囲９は「無人」であると判断する。これにより、無人であることを精度よく検知できる。Ｒ(t)の代わりに、現在のフレームで反応している画素群の境界線の長さ（Ｂ(t)）を用いてもよい。

また、現在のフレームとNf フレーム前との差分後の画素数（Ｓ(t)）に全く変化がないが、現在のフレームで反応している画素数（Ｒ(t)）がゼロでない場合、検知範囲９で被検知者８が「静止」していると考えてよい。

したがって、識別部１６は、以下のように連続行動のうち無人と静止を識別できる。
Ｓ(t)=0 ∩ Ｒ(t)=0 → 無人
Ｓ(t)=0 ∩ Ｒ(t)>0 → 静止
これら以外の場合、識別部１６は、歩行、転倒又は着席のいずれかであると識別する。このように、特徴量による識別を行うことなく、無人と静止の行動を識別できるので、機械学習で識別するクラスの数が少なくて済む。

<<Ｓ４０ 特徴量の抽出>>
まず、特徴量抽出部１４は特徴量を抽出する数値データを、被検知者８の動作量が閾値以下の手前の箇所に絞り込む。一般に、人が着席した後、又は、転倒した後、大きな動作はないと仮定してよい。すると、被検知者８の動作量が閾値以下となる手前の行動に着目すれば、転倒したのか着席したのかを識別できると考えられる。したがって、特徴量抽出部１４は特徴量を抽出する数値データを静止していると見なせる前の数値データに絞り込むことができる。

静止したと見なせる数値データはＳ(t)が立ち下がるフレーム（つまり、動きが急に少なくなったフレーム）として検出される。したがって、静止したと見なせる前のフレームは、Ｓ(t)が立ち下がるフレームの手前である。特徴量抽出部１４は、Ｓ(t)が立ち下がった箇所から固定長のフレーム窓幅ｗ_fw を設定し特徴量を抽出する。ｗ_fwは静止前の動作が検出されるフレーム数である。本実施例では４０とするがこれには限られない。

図１０は、特徴量の抽出箇所を説明する図の一例である。すでに、無人と静止の状態は識別されている。特徴量抽出部１４は、Ｓ(t)が立ち下がる箇所を検出して、固定長のフレーム窓幅ｗ_fw を設定する。Ｓ(t)が立ち下がる箇所は、例えばＳ(t)＝０（又はほぼゼロ）となる箇所である。あるいは、Ｓ(t)＝０（又はほぼゼロ）であり、更に、所定数のフレームのＳ(t)の時間変化（絶対値とする）＞閾値１となる箇所でもよい。Ｓ(t)＝０（又はほぼゼロ）により状態が静止であることを検出できる。また、所定数のフレームのＳ(t)の時間変化＞閾値１により急に静止したことを検出できる。

図１０ではＳ(t)＝０の手前の２箇所に固定長のフレーム窓幅ｗ_fw が設定されている。特徴量抽出部１４は、フレーム窓幅ｗ_fw のフレームから特徴量を抽出する。このように、被検知者８が着席した後、又は、転倒後は静止すると仮定することで、特徴量の抽出箇所を絞ることができ、つまずき転倒等の検知が容易になる。

図１１は、評価関数Ｓ(t)、Ｒ(t)、Ｂ(t)から抽出される特徴量を説明する図の一例である。本実施例では、一例として、尖度、歪度、平均、分散、四分位範囲、及び、最大・最小値の差を特徴量とする。特徴量はこのうちの一部でもよいし、エントロピーなどこの他の特徴量を含んでもよい。これらの求め方は以下のとおりである。なお、Ｎをデータ数、μを平均、σ²を分散とする。また、ｘはＳ(t)、Ｒ(t)、Ｂ(t)のいずれかである。

このように、設定されたフレーム窓幅ｗ_fwのフレームからＳ(t)、Ｒ(t)、Ｂ(t)それぞれに対して６つの特徴量が算出される。したがって、特徴量は１８個（３×６=１８）となる。

図１２は、評価関数Ｓ(t)、Ｒ(t)、Ｂ(t)からそれぞれ抽出された６つの特徴量を示す図の一例である。図１２の横軸は行動回数である。この行動は、無人と静止を除く、転倒、着席及び歩行の三種類である。つまり、フレーム窓幅ｗ_fw の行動が転倒、着席、歩行のいずれかの行動であることが予め分かっており、それぞれの行動を実験的に被検知者８が行った回数である。

転倒、着席、歩行の３つに区分して６つの特徴量をそれぞれ示すと図１２のようになる。６つの特徴量は転倒、着席、歩行で異なる挙動を示しており、フレーム窓幅 ｗfwの特徴量を解析することで連続行動を識別できると考えられる。

<<Ｓ５０ 学習>>
学習部１５は、特徴量と正しいラベルが与えられた教師データを用いて機械学習を行う。機械学習とは、データから反復的に学習し、そこに潜むパターンを見つけ出すことである。学習結果を新たなデータにあてはめることで情報処理装置がパターンにしたがって人間と同様に判断することが可能になる。

ＳＶＭと呼ばれる機械学習について簡単に説明する。識別関数をsign｛g(x)｝、教師データの数をｎ個とし、教師データを２つのクラス１，２に分類する場合、ｇ(x)が次の条件を満たすようにパラメータｗとｂを決定することが学習に相当する。本実施例のｘiは１８個の要素の特徴ベクトルである。
g(xi)＝ｗ^txi＋ｂ
ｗはラグランジュの未定乗数λ、ｂを使って以下のように求めることができる。ｙiはクラス１，２のどちらに属するかによって決まる教師信号であり＋１又は-１の値を取る。また、

ｗとｂが求められると、識別関数は入力される特徴量ｘに対し、＋１又は−１の値を出力する。＋１はクラス１、-１はクラス２のように対応するので特徴量がどのクラスに属するか識別できる。また、特徴量を３クラス以上の多クラスに分類する場合は、１対他分類法と１対１分類法とがある。１対他分類法はあるクラスとその他のクラス全部で学習モデルを構築する方法で、ｎクラスある場合はｎ個の学習モデルが必要となる。１対１分類法は、ｎクラスから２クラスずつペアを作っていきそれらを識別する学習モデルを構築する方法であり、_nＣ₂個の学習モデルが必要となる。本実施例では、転倒、着席、歩行の３クラスなので、学習モデルの数は同じでありどちらを採用してもよい。以上のようにして識別部１６が生成される。

なお、特徴量がどの状態の行動に分類されるかをｋ近傍法により判断してもよい。ｋ近傍法は、教師データをベクトル空間上にプロットしておき、未知のテストデータが得られたら、そこから距離が近い順に任意のｋ個を取得し、多数決でデータが属するクラスを推定する方法である。この他、ニューラルネットワークなど他の学習方法が採用されてよい。

<<Ｓ６０ 歩行・転倒・着席の識別>>
識別部１６は、特徴量抽出部１４が抽出した特徴量に学習したパラメータを適用して特徴量が所属する行動を識別する。

図１３は、特徴量に基づく歩行・転倒・着席の識別を模式的に説明する図の一例である。これまで説明したように、温度分布センサ１０が検出するフレームからテストデータとしての特徴量が抽出され、識別部１６が特徴量を転倒、着席又は歩行のいずれかに識別する（分類する）。なお、Ｓ(t)とＲ(t)により無人と静止を識別するのでなく、機械学習により無人と静止を含めて合計５つの行動に識別することも可能である。

＜識別結果について＞
図１４は、本実施例の行動検知システム１００による連続行動の識別結果を示す図である。図１４（ａ）は無人と静止の識別結果を示し、図１４（ｂ）は転倒、着席又は歩行の識別結果を示す。図１４では「行」が実際の行動を示し、「列」が識別結果を示す。図１４（ａ）によれば実際の行動が無人の場合に無人と識別される率は９７．７％であり、実際の行動が静止の場合に静止と識別される率は１００％である。したがって、非常に高い率で正しく識別できることがわかる。

図１４（ｂ）によれば、実際の行動が歩行の場合に歩行と識別される率は９１．０％であり、実際の行動が着席の場合に着席と識別される率は９４.７％であり、実際の行動が転倒の場合に転倒と識別される率は１００％である。このように、本実施例の行動検知システムは、歩行中などの連続行動における転倒を１００％の精度で識別できた。つまり、転倒を非転倒として誤ることを限りなくゼロに近づけることができる。また、転倒だけでなく、日常の基本行動として「静止」、「歩行」、「着席」などの行動を識別できるため、被検知者８の連続行動をより細かく分類して識別できる。

本実施例では空間を伝搬する電波の変動を検出することで連続行動の状態を識別する行動検知システム１００について説明する。

図１５（ａ）は、行動検知システム１００の概略構成図の一例を示す。図１５（ａ）は居室３０１の上面図である。居室３０１は被検知者８が行動する空間であり、例えば、自宅内である。行動範囲３０２は実験時に被検知者８が行動する範囲であるが、行動範囲３０２以外でも行動の検知は可能である。

図１５（ａ）では、送信機４１と受信機４２が対向するようにそれぞれ壁際に配置されている。送信機４１は、高さ７０ｃｍの机の上に配置され、受信機４２は床に設置されている。また、居室３０１の広さは縦が７３５〔ｃｍ〕、横が７０６〔ｃｍ〕である。なお、送信機４１と受信機４２の配置や居室３０１の広さは説明のために示したもので一例に過ぎない。電波が伝搬する空間で被検知者が行動し、電波を受信機４２が受信できればよい。電波は球面上に広がるため送信機４１と受信機４２の配置の自由度は非常に高い。電波が壁を通過する場合は、壁の外に送信機４１があってもよい。最小構成では、送信機４１と受信機４２の一組だけがあればよい。電波により人のプライバシーに関する情報が漏洩することはないため高いプライバシー性を確保できる。また、低コストに広く利用でき、利用者が加速度センサ等を装着する必要もない。

電波は人や壁に当たると反射や回折する特徴があるため、環境内の人の動きによって電波伝搬が変化する。このため、被検知者８が歩行、着席、転倒などの行動を起こすと、送信機４１が送信する電波が変動する。受信機４２はこの電波を受信する。受信機４２は情報処理装置３０と接続されており、情報処理装置３０は受信機４２から、電波がデジタルデータに変換された受信信号を取得する。

図１５（ｂ）は受信機４２の概略構成図を示す。受信機４２は、Ｌ個のアンテナが一列に配置されたＬ-素子アレーの構造を有する。θは電波の到来方向、ｄ1〜ｄLはアンテナの間隔である。Ｌ個のアンテナは、送信機４１が送信する電波をそれぞれ受信する。アレー状にアンテナが並んでいるので、受信機４２をアレーセンサと呼ぶ場合がある。電波の到来方向が受信機４２から見て真正面でなければ、各アンテナが入射する信号には位相差が生じる。情報処理装置３０はこの位相差を用いて受信信号の到来方向を推定できる。また、後述する受信信号の固有値展開により信号部分空間と雑音部分空間を分離でき、雑音の影響を低減できる。なお、一列方向のＬ個のアンテナは垂直方向に配置されていても水平平行に配置されていてもよい。また、Ｌ個のアンテナは一列方向である必要はなく円形や矩形の二次元配列であってもよい。二次元配列の場合、電波の位相差を垂直方向と水平方向で解析できる。

図１６は、本実施例の行動検知システム１００の概略を説明する図の一例である。

（１）送信機４１は常に電波を送信しており、受信機４２は常に電波を受信している。ただし、電波の送受信は被検知者の行動を検知できる程度に連続的であればよい。上記のように、受信機４２はアレーセンサであり受信信号の相関行列の信号部分空間は受信信号強度(RSS) にはよらないため、雑音の影響を最小限に抑えられる。なお、相関行列とは、Ｌi番目のアンテナの受信信号とＬｊ番目のアンテナの受信信号の相関係数をij要素とするＬ×Ｌの行列である。また、信号部分空間とは受信信号から誤差部分を除いた部分をいう。

（２）情報処理装置３０はこの受信信号を評価関数に数値化する。評価関数は被検知者８の行動を反映するように設計されている。例えば、静止時には安定し、歩行時には大きく変動するような評価関数に数値化される。

（３）次に、情報処理装置３０は連続行動を識別するために、評価関数から特徴量を抽出する。この時、情報処理装置３０は評価関数に時間窓τを設定し特徴量を抽出する。また、時間窓τを重複させながら少しずつずらしＮ_win回、特徴量を取得し、Ｎ_win回の特徴量を１回分のデータとする。こうすることである行動の特徴量を取得しやすくなる。

（４）次に、情報処理装置３０は特徴量から行動を識別する。実施例１と同様にＳＶＭを用い、特徴量のパターンと各行動の対応を機械学習するものとする。そして、本実施例では、３つの学習モデル１〜３が切り替えて使用される。学習モデル１は静止しているか行動しているかを識別し、静止の場合、学習モデル２は特徴量を転倒、着席、歩行又は静止のいずれかに識別する。行動の場合、学習モデル３は特徴量を転倒、着席又は歩行のいずれかに識別する。

複数の学習モデルが用意されることで、状況に応じて異なる学習モデルを利用できる。また、識別したい行動クラスの増加による精度劣化を防ぎ、識別精度を改善することができる。また、連続した行動のうちある行動による電波の変動を時間窓τで抽出できるので、連続する行動を識別できる。

＜機能について＞
図１７は、本実施例において、情報処理装置３０が有する機能をブロック状に説明する機能ブロック図の一例である。なお、図１７の説明では主に図４との相違を説明する。情報処理装置３０は、取得部１１、数値化部１３、特徴量抽出部１４、学習部１５、識別部１６及び修正部１７の各機能を有している。実施例１と比較すると、本実施例では解析部１２を有しておらず、修正部１７を有している。

修正部１７は、転倒や着席ではない急な行動の変化を転倒や着席と誤って識別しないように、識別部１６の識別結果を修正する。また、遷移としてあり得ない行動の遷移があった場合に識別結果を修正する。

また、識別部１６は上記の学習モデル１〜３に対応しているため、学習モデル１〜３を有している。その他の各機能部の機能は情報処理の対象がフレームから電波の受信信号に適したものとなることによる違いがあるが、実質的な機能は実施例１と同様でよい。

また、本実施例の情報処理装置３０は受信信号ＤＢ２３と学習ＤＢ２２を有する。すなわち、図４のフレームＤＢ２１の代わりに受信信号ＤＢ２３が使用される。フレームＤＢ２１には受信信号が時系列に記憶される。

＜動作手順＞
図１８は、本実施例において行動検知システム１００の情報処理装置３０が行う手順を示すフローチャート図の一例である。情報処理装置３０が行う手順は、大きく学習フェーズと識別フェーズに分けることができる。ステップＳ１０〜Ｓ５０は学習フェーズの手順を示し、ステップＳ１１０〜Ｓ１８０は識別フェーズの手順を示す。以下、各ステップを順番に説明する。なお、図１８の学習フェーズは、行動検知システム１００の管理者が学習フェーズの処理を行うための操作を行うことでスタートする。また、識別フェーズは、例えば、被検知者８が自宅の行動検知システム１００の電源をＯＮにすることなどによりスタートする。

<<Ｓ１０，Ｓ２０，Ｓ１１０、Ｓ１２０>>
取得部１１は受信機４２から電波の受信により得られた信号を取得する。そして、数値化部１３が評価関数Ｐ(t)、Ｑ(t)、ＲＳＳ（Received Signal Strength）を作成する。

まず、Ｐ(t)について説明する。本実施例では、受信信号の正確な到来方向を求める代わりに固有ベクトルの相関を算出することで電波伝搬の変化を求める。正確な到来方向情報を必要としないためキャリブレーション（予め電波の到来方向が分かっている状況で正しい到来方向を算出する処理）が必要なく、アンテナ間隔の自由度が増す（到来方向θはｄsinθで求められるのでアンテナ間隔が必要になる）といった利点がある。

取得部１１は、各アンテナ素子ごとにＮｓ個のデータを取得し、Ｌ×Ｌの相関行列のＮｓ個の平均から固有値と固有ベクトルを算出する。これにより、信号部分空間と雑音部分空間を分離でき、雑音の影響を低減できる。そして、電波伝搬やＲＳＳの変動を観測するために、無人状態と有人状態の固有値及び固有ベクトルの相関で表される評価関数Ｐ(t)を用いる。評価関数Ｐ(t) は環境内の電波伝搬の変動を表し、以下の式で表される。

Ｐ(t)のＨはエルミート転置である。エルミート転置とは複素数を成分とする行列に対して、この行列の転置及びその成分の複素共役（実部はそのままで虚部の符号を反転する）をとって得られる行列である。v_ref は参照ベクトルと呼ばれ、無人状態で得られた固有ベクトルである。v_ob(t) は時刻t において，対象とする環境の観測時に得られる固有ベクトルを表す。評価関数Ｐ(t)が１に近いほど電波伝搬環境に変化が少ないことを示し、値が小さくなるほど電波伝搬環境に変化があることを示す。すなわち、環境内に存在する人が何かしらの行動を起こしていることを示す。

図１９は、行動時の評価関数Ｐ(t)の一例を示す。図１９（ａ）では、被検知者が４ 秒間直立した後、正面に転倒し、転倒後、倒れた状態（臥位）で静止している。図１９（ｂ）では４秒間、直立して静止後、歩行をしている。図１９から分かるように、人が静止しているときはＰ(t)が安定し、転倒や歩行のように人が行動しているときはＰ(t)の変動が大きくなることがわかる。

次にＱ(t)について説明する。評価関数Ｑ(t) は受信機４２のＲＳＳの変動を表し，以下の式で表される。

Ｑ(t)のλ_ref とλ_ob はそれぞれ、v_refとv_ob(t)に対応する固有値を表す。評価関数Ｑ(t) が１ に近いほどＲＳＳに変化が少ないことを示し、値が小さくなるほどＲＳＳに大きな変化が生じ、環境内に存在する人が何かしらの行動を起こしていることを示す。

次に、ＲＳＳについて説明する。ＲＳＳは電波強度であるが、ＲＳＳは人の行動によるシャドウイングによって変化する。狭帯域信号を用いた場合のアンテナiでのＲＳＳ は以下の式で表される。

ここで、ν、Vi、Φi、Ns はそれぞれ、加法性白色ガウス雑音(AWGN)、アンテナi で受信したマルチパスの振幅、アンテナi で受信したマルチパスの位相、スナップショット数を示す。

<<Ｓ３０ ラベル付け>>
評価関数Ｐ(t)、Ｑ(t)、ＲＳＳがそれぞれどの行動を表しているか行動検知システム１００の管理者等がラベル付けする。すなわち、静止、転倒、着席、歩行のいずれに相当するかを評価関数Ｐ(t)、Ｑ(t)、ＲＳＳにそれぞれ設定する。

<<Ｓ４０ 特徴量の抽出>>
特徴量抽出部１４は、評価関数Ｐ(t) 、Ｑ(t)及びＲＳＳから以下の７つの統計量を抽出し、特徴ベクトルを作成する。本実施例では、一例として、尖度、平均、分散、四分位範囲、最大・最小値の差、標準偏差、及びエントロピーを特徴量とする。これらは一例に過ぎず、一部がなくてもよいし他の特徴量が抽出されてもよい。したがって、実施例１とは標準偏差及びエントロピーがある点で異なっている。標準偏差は分散の平方根である。エントロピーは平均情報量と呼ばれ、以下のように表すことができる。

ここで、piは評価関数Ｐ(t) 、Ｑ(t)及びＲＳＳが各値を取る生起確率である。時間窓τで評価関数Ｐ(t) 、Ｑ(t)及びＲＳＳのヒストグラムをそれぞれ作り、確率Ｐｉを算出する。

そして、上記のように特徴量抽出部１４は時間窓τを設けて特徴量を抽出する。また、この時間窓τの一部を重複させながらt_trainずつずらして複数の特徴量を抽出する。行動はある時間幅に及ぶので、その行動に固有の特徴量もある時間幅で見る必要がある。したがって、時間窓τを設けることで、ある単一の行動が及ぶ時間幅をカバーして、行動を識別するために必要な情報を含む特徴量を抽出できる。

図２０は、時間窓τ、t_trainを説明する図の一例である。特徴量抽出部１４は、評価関数Ｐ(t)、Ｑ(t)，及び、各アレーアンテナから得られたＲＳＳに対し時間窓τを設定し、それぞれの７つの特徴量を求める。更に、時間窓をt_train 秒分ずつずらし、同様に特徴量を算出する。これをＮ_win 回繰り返す。そしてＮ_win 回の特徴量を全てまとめて特徴ベクトルを作成する。図２０では、τが７秒、Ｎ_winが１０回となっている。行動にはラベルが設定されているので、特徴量抽出部１４はこれを利用して、N_win回分の特徴量に同じラベルを設定する。

なお、時間窓τが経過するとその後はt_train×Ｎ_win ごとに特徴量が得られる。しかし、時間窓τの始点は任意なので特徴量の抽出周期t_decはt_train×Ｎ_winよりも短くできる。

<<Ｓ５０ 学習>>
学習部１５は、特徴量と正しいラベルが与えられた教師データを用いて機械学習を行う。機械学習にはＳＶＭが用いられ、学習方法は実施例１と同様である。しかし、本実施例では、連続する複数の行動を正しく識別するため、複数の学習モデルを切り替えて利用する。これは、識別行動クラスの増加によるＳＶＭの識別精度の低下を防ぎ、更に、状況に応じて異なる学習モデルを利用して識別精度を改善するためである。

利用する３つの学習モデルは以下の通りである。
学習モデル１：行動・静止モデル
学習モデル２（独立した行動モデル）：転倒、着席、歩行、静止(それぞれの行動の開始時と終了時は静止)
学習モデル３（連続行動モデル）：転倒、着席、歩行(それぞれの行動は歩行から始まる)
学習モデル１では、静止した状態とそれ以外（転倒、着席、歩行）の行動に異なる教師信号が与えられた教師データを学習し、静止とそれ以外の行動を分類する学習を行う。学習モデル２では、静止した状態から転倒、静止した状態から着席、静止した状態から歩行及び静止した状態から静止の行動にそれぞれ異なる教師信号が与えられた教師データを学習し、静止した状態からの４つの行動を異なる４つのクラスに分類する学習を行う。学習モデル３では、歩行してから転倒、歩行してから着席、及び、歩行してから歩行の行動にそれぞれ異なる教師信号が与えられた教師データを学習し、歩行してからの行動を異なる３つのクラスに分類する学習を行う。このように、最大でも４つのクラスに識別すればよいのでＳＶＭの識別精度の低下を防ぐことができる。

<<Ｓ１３０ 仮識別>>
識別フェーズでも特徴量の抽出までの手順は学習フェーズと同様である。すなわち、時間窓τの評価関数Ｐ(t) 、Ｑ(t)及びＲＳＳからt_trainずつずらしＮ_win回の特徴量を算出する。そして、識別部１６は、特徴量を３つの学習モデル１〜３のいずれかに適用して被検知者８の行動を仮識別する。仮識別とは、識別部１６による識別結果が修正されうることを意味する。修正の詳細は後述する。

図２１は、３つの学習モデル１〜３の切り替え方法を説明するフローチャート図の一例である。上記のように、情報処理装置３０はｔ_decごとに仮の識別結果を出力する。図２１の処理は、例えば、情報処理装置３０が行動の識別を開始するとスタートする。

識別部１６は、まず初めに学習モデル１（行動・静止モデル）を使う（Ｓ１３０−１）。そして、現在の状態が行動か静止であるかを識別する（Ｓ１３０−２）。この識別結果が行動であった場合、処理はステップＳ１３０−３に進む。

学習モデル１による識別の結果、行動と識別されると、識別部１６は学習モデル３に切り替える（Ｓ１３０−３）。これにより、連続行動(歩行と別の行動が組み合わさった行動) を識別することができる。

識別部１６は学習モデル３により仮識別した行動の状態を出力し、時間窓τをスライドさせる（Ｓ１３０−４）。したがって、歩行後の転倒、着席、歩行のいずれかに被検知者８の行動を識別できる。

この後、処理はステップＳ１３０−１に戻る。したがって、識別部１６は学習モデル１に切り替えて、現在の状態が行動か静止であるかを識別する（Ｓ１３０−２）。

学習モデル１による識別の結果、静止と識別されると、処理はステップＳ１３０−５に進む。まず、識別部１６は、静止という仮の識別結果を出力し、時間窓τをスライドさせる（Ｓ１３０−５）。

次に、被検知者８が静止しているので識別部１６は学習モデル２に切り替える（Ｓ１３０−６）。これにより、独立した行動(行動の開始時と終了時が静止の単一行動) を識別することができる。

識別部１６は、学習モデル２による識別結果が歩行であるか否かを判断する（Ｓ１３０−７）。歩行であった場合、識別部１６は、静止という仮の識別結果を出力し時間窓τをスライドさせる（Ｓ１３０−８）。

また、歩行により連続行動に遷移したので、処理はステップＳ１３０−１に戻り、識別部１６は学習モデル１に切り替える。この場合、ステップＳ１３０−２で行動と識別されるので、学習モデル３に切り替えられる。

ステップＳ１３０−７で歩行以外の行動であると識別されると、独立した行動を識別すればよいので処理はステップＳ１３０−５に戻る。したがって、継続して学習モデル２が使用される。

このように、被検知者の現在の行動に応じて複数の学習モデルを切り替えることによって、連続行動を高い識別率で識別可能になる。

<<Ｓ１４０ Ｓ１５０ 仮識別の修正>>
修正部１７は、仮識別結果が連続して同じ行動となった連続回数が閾値T_actを下回った場合、識別結果を修正する。換言すると、行動ごとに設定された閾値T_act 回以上連続で行動が仮識別された場合に識別結果を正しい行動とみなす。これは人の行動開始時に、転倒や着席でないのに、転倒や着席のような急峻な行動であると誤って識別するおそれがあるためである。閾値T_act 回未満の行動を修正することで誤った識別結果を減らし、識別精度を改善することができる。

修正後の行動は、仮識別の後、閾値T_act 回以上連続で仮識別された行動である。例えば、転倒という行動の連続識別回数が閾値T_actを下回った場合、その後、連続して識別回数が閾値T_act以上となった行動で、転倒という行動を修正する。

<<Ｓ１６０ Ｓ１７０ 仮識別の修正>>
また、修正部１７は、行動の仮識別結果がありえない行動遷移である場合、識別結果を修正する。すなわち、状態遷移を利用して、日常生活では起こりえない行動の遷移を修正することで識別精度を改善する。例えば、人間は歩行後に転倒する可能性はあるが、転倒後に起き上がらずに歩行することはありえない。この場合、転倒が誤った仮識別結果であるため、修正部１７は、転倒の仮識別結果を歩行に修正する。すなわち、誤った仮識別結果の後の行動に修正する。

修正部１７は、予め日常生活で起こり得る状態遷移情報を有しており、仮識別の結果が状態遷移情報に載っていない場合、仮識別結果を修正する。なお、修正部１７は誤った仮識別結果の後の行動に修正するのでなく、状態遷移情報に登録されている修正後の行動に修正してもよい。

<<Ｓ１８０ 行動の検知>>
以上により、情報処理装置３０は最終的な行動を検知できる。

＜識別結果について＞
被検知者が以下に示す３種類の行動シナリオで行動範囲３０２の中で行動した。
Ａ．歩行→転倒：１０秒間歩行し、その後、正面に倒れ、臥位状態で静止
Ｂ．歩行→着席：１０秒間歩行し、その後椅子に座り、静止
Ｃ．歩行：円を描くように２０秒間歩行する
学習モデル３については被検知者１人分を教師データとし、残りをテストデータとして利用する。学習モデル１については学習モデル３を転用して教師データに利用する。また、学習モデル２については別環境、別の被検知者で得られた教師データによりすでに学習されているものとする。３つのシナリオにはそれぞれ複数の行動が含まれているため学習とテストには、以下に示す６種類の行動を用いる。
・転倒：直立や臥位状態を含めない人が倒れている最中の動作
・着席：直立や静止状態を含めない人が座る最中の動作
・歩行：人が歩いている動作
・直立：直立して静止している状態
・着席（静止）：着席後に椅子に座って静止している状態
・臥位：床に倒れて静止している状態
直立、着席（静止）、臥位状態のように静止している状態を識別するのは困難なため、それらをまとめて静止として学習し識別する。

図２２は、本実施例の行動検知システム１００による連続行動の識別結果を示す図である。図２２（ａ）は実験の諸元を示し、図２２（ｂ）は転倒、着席、歩行、静止の識別結果を示す。

図２２（ａ）の送信周波数は送信機４１が送信する電波の周波数である。サンプリング周波数（Msps：毎秒メガサンプル）はアナログ信号をデジタル信号に変換する際の受信信号のサンプリング速度である。スナップショット数は、受信信号の取得回数である。ｔ_train、t_dec、Ｎ_win、τ、Ｔ_act、については上記のとおりである。また、被検知者は７人で、行動回数は行動の回数がそれぞれ４５回である。なお、図２２（ａ）の実験諸元は一例に過ぎない。例えば、送信する電波の周波数は極端に直進性が強い周波数帯でなければよい。キロＨｚ〜ギガＨｚなどの幅広い周波数の電波で適用可能である。

図２２（ｂ）では行が実際の行動を示し、列が識別結果を示す。図２２（ｂ）によれば、実際の行動が無人の場合に無人と識別される率は９７．７％であり、実際の行動が転倒の場合に転倒と識別される率は８１．４％、実際の行動が着席の場合に着席と識別される率は８０．０％、実際の行動が歩行の場合に歩行と識別される率は１００％、実際の行動が静止の場合に静止と識別される率は９８．７％である。従来は、開始時と終了時に静止状態でないと識別精度が低下したが、本実施例では、日常生活で多い連続する複数の行動であっても全ての行動で８０％以上の識別精度が得られる。また、連続行動モデル（学習モデル３）だけでは識別が困難な静止も、行動・静止モデル（学習モデル１）を併用することで９８．７％の精度で識別が可能になった。

＜変形例＞
図２３を用いて本実施例の行動検知システム１００の変形例を説明する。図２３は行動検知システムにおける送信機と受信機の配置例を説明する図の一例である。

図２３（ａ）は送信機４１が複数ある場合の行動検知システム１００の概略構成を示し、図２３（ｂ）は受信機４２が複数ある場合の行動検知システム１００の概略構成を示す。また、図２３（ｃ）は、送信機４１と受信機４２が複数ある場合の行動検知システム１００の概略構成を示す。受信機４２が複数になれば空間を伝搬する電波を複数の場所で検知できるため、更に識別精度が向上することが期待できる。送信機４１が複数になれば電波の到来方向が複数になるので、行動により変化する電波の受信信号を検知しやすくなり、更に識別精度が向上することが期待できる。受信機４２と送信機４１が複数になればこの両方の効果が期待できる。図２３（ｃ）では、送信機と受信機がそれぞれ２台であるが、少なくとも一方を３台以上用いることも可能である。

また、受信機４２と送信機４１の少なくとも一方が移動可能であってもよい。例えば、受信機４２又は送信機４１を往復移動型の搬送ベルトや天井のシーリングファンなどに搭載することが考えられる。

また、送信機４１と受信機４２は壁の近くに配置されている必要はなく、天井と床に配置されてもよい。また、送信機４１と受信機４２は対向している必要はない。また、送信機４１は壁や天井に対し垂直に電波を送信する必要はなく、斜め方向に電波を送信してもよい。受信機４２についても同様である。

また、本実施例を実施例１の温度分布センサ１０を用いた行動検知と組み合わせてもよい。例えば、実施例１と本実施例の識別結果を比較し、同じであれば情報処理装置３０がそのまま出力し、異なる場合はその旨と確度のより高い方の識別結果を出力する。これにより更に識別結果が向上することが期待できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、情報処理装置３０は複数台、存在してもよいし、複数の情報処理装置３０に機能が分散されていてもよい。

また、フレームＤＢ２１、学習ＤＢ２２及び受信信号ＤＢ２３は情報処理装置３０がアクセスできる場所にあればよく、情報処理装置３０が有していなくてもよい。

また、図４，１７などの構成例は、情報処理装置３０の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、情報処理装置３０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

なお、温度分布センサ１０と受信機４２は動体情報検知装置の一例であり、学習モデル１は第一の学習モデルの一例であり、学習モデル２は第二の学習モデルの一例であり、学習モデル３は第三の学習モデルの一例である。

１０ 温度分布センサ
１１ 取得部
１２ 解析部
１３ 数値化部
１４ 特徴量抽出部
１５ 学習部
１６ 識別部
１７ 修正部
３０ 情報処理装置
１００ 行動検知システム

Claims (6)

1. 動体の行動に関する情報を検出する動体情報検知装置と、前記動体の行動を識別する情報処理装置と、を有する行動検知システムであって、
   前記動体を含む空間の温度分布を検知できる場所に配置された温度分布センサが取得する空間の温度分布に基づいて検出された前記動体の範囲から、前記動体の行動に関する情報を周期的に取得する取得部と、
   前記取得部が取得した時系列の前記動体の行動に関する情報に基づいて前記動体が静止したと見なせる前記動体の行動に関する情報を特定し、該情報の手前の時間窓の前記動体の行動に関する情報から特徴量を抽出する特徴量抽出部と、
   前記特徴量抽出部が抽出した前記特徴量と前記動体の行動の対応を学習することで識別部を生成する学習部と、
   前記特徴量に基づき前記動体の行動を連続行動の各状態のいずれかに識別する前記識別部と、を有する行動検知システム。
2. 前記識別部は、前記動体が移動している状態から別の行動へ遷移する際の前記特徴量のパターンと行動の関係の学習結果を用いて、
   前記動体が移動している状態からどの行動に遷移したかを識別する請求項１に記載の行動検知システム。
3. 前記動体情報検知装置は、前記動体の行動に関する情報として、前記動体の姿勢を判別できない程度の低解像度で前記動体の検知範囲の温度分布を検知する装置であり、
   前記検知範囲の温度分布データから前記動体の存在範囲を検知する数値化部を有し、
   前記数値化部は、検知時刻が異なる前記存在範囲の差分情報、前記存在範囲の広さ、及び、前記存在範囲の境界線の長さを算出し、
   前記特徴量抽出部は、前記差分情報、前記存在範囲の広さ、及び、前記存在範囲の前記境界線の長さからそれぞれ前記特徴量を抽出する請求項１又は２に記載の行動検知システム。
4. 前記識別部は、前記存在範囲の広さと前記差分情報に基づき、前記動体の行動を前記検知範囲に前記動体が存在しない無人の状態、又は、静止している状態に識別する請求項３に記載の行動検知システム。
5. 動体情報検知装置から取得した動体の行動に関する情報に基づいて前記動体の行動を識別する情報処理装置であって、
   前記動体を含む空間の温度分布を検知できる場所に配置された温度分布センサが取得する空間の温度分布に基づいて検出された前記動体の範囲から、前記動体の行動に関する情報を周期的に取得する取得部と、
   前記取得部が取得した時系列の前記動体の行動に関する情報に基づいて前記動体が静止したと見なせる前記動体の行動に関する情報を特定し、該情報の手前の時間窓の前記動体の行動に関する情報から特徴量を抽出する特徴量抽出部と、
   前記特徴量抽出部が抽出した前記特徴量と前記動体の行動の対応を学習することで識別部を生成する学習部と、
   前記特徴量に基づき前記動体の行動を連続行動の各状態のいずれかに識別する前記識別部と、
   を有する情報処理装置。
6. 動体情報検知装置から取得した動体の行動に関する情報に基づいて前記動体の行動を識別する情報処理装置を、
   前記動体を含む空間の温度分布を検知できる場所に配置された温度分布センサが取得する空間の温度分布に基づいて検出された前記動体の範囲から、前記動体の行動に関する情報を周期的に取得する取得部と、
   前記取得部が取得した時系列の前記動体の行動に関する情報に基づいて前記動体が静止したと見なせる前記動体の行動に関する情報を特定し、該情報の手前の時間窓の前記動体の行動に関する情報から特徴量を抽出する特徴量抽出部と、
   前記特徴量抽出部が抽出した前記特徴量と前記動体の行動の対応を学習することで識別部を生成する学習部と、
   前記特徴量に基づき前記動体の行動を連続行動の各状態のいずれかに識別する前記識別部、
   として機能させるためのプログラム。

Images