JP5047326B2 - 行動判定装置、方法及びプログラム - Google Patents

Description

本発明は、センサを用いてユーザの行動を判定する行動判定装置に関する。

従来から、センサを用いてユーザの行動状況を判定する技術は存在した。例えば、従来の就寝時体動識別装置では、就寝時に発生する身体各部の動作を識別している（例えば特許文献１参照）。

特開２００９−１６０３４１号公報

しかし、従来の技術では、「歩行」「静止」などの基本的な動作を検出することは可能であっても、行動の詳細な意味としては異なるがセンサ信号列が似ているため、基本的な動作としては同じであると検出されてしまい、具体的なユーザの行動を正しく識別できなかった。例えば、掃除中のモップかけも、工場での資材運搬も、どちらも「歩行」という基本的な動作としてしか識別できなかった。

本発明の目的は、短時間のセンサ情報からでは基本動作「歩行」としか判別できない行動についても、より長時間のセンサ情報を観測することより、まず当該行動のシーンを判定し、次に当該行動について具体的な詳細ラベルを判定する行動判定装置を提供することである。

本願発明は、ユーザの動きを検出するセンサ信号から、前記ユーザの基本動作を判定する基本動作判定部と、前記基本動作を時系列に記録する基本動作記録部と、各行動シーンについて、基本動作とこの基本動作が発生する条件とを記憶する行動シーン判定テーブルと、前記行動シーン判定テーブルを用いて、時系列に記録された前記基本動作がどの行動シーンに該当するかを判定する行動シーン判定部と、前記行動シーン毎に、当該行動シーン内の詳細な行動を示す詳細ラベルを記憶する詳細ラベル判定テーブルと、前記詳細ラベル判定テーブルを用いて、前記行動シーン判定部によって判定された行動シーンに含まれる基本動作がどの詳細ラベルに該当するかを判定する詳細ラベル判定部とを備え、
前記詳細ラベル判定テーブルは、ある行動シーン内の１つの基本動作に対し複数の詳細ラベルを付与するためのラベル付与条件をさらに有し、前記詳細ラベル判定部は、前記ラベル付与条件をさらに用いて、前記行動シーン判定部によって判定された行動シーン内の基本動作に対する詳細ラベルを判定することを特徴とする行動判定装置である。

本発明によれば、短時間のセンサ情報からでは基本動作「歩行」としか判別できない行動についても、より長時間のセンサ情報を観測することより、まず当該行動のシーンを判定し、次に当該行動について具体的な詳細ラベルを判定する行動判定装置を提供することができる。

本発明の実施形態に係る行動判定装置のブロック図。 本実施形態にかかる行動判定処理のフローチャート。 基本動作バッファ部１３０に記録された基本動作の時系列情報を示す図。 行動シーン判定テーブルを示す図。 Ｓ２１０〜Ｓ２４０の処理の過程を模式化した図。 行動シーン別詳細ラベル判定テーブルを示す図。 各時刻について判定された詳細ラベルを示す図。 行動シーン別詳細ラベル判定テーブルを示す図。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は、本発明の実施形態に係る行動判定装置１００のブロック図である。図２は、本実施形態にかかる行動判定処理のフローチャートである。

本実施形態の概略を説明する。まず、センサ情報からユーザの基本的な又は単純な動作（以下、基本動作という）を判定する。次に、連続する基本動作の組み合わせからどの行動シーンに該当するか判定する。さらに、該当する行動シーンに含まれるどの具体的な又は詳細な動作であるのかを示す詳細ラベルを判定し、最終的にユーザの詳細な行動を判定する。

（行動シーン判定処理）
図２のフローチャートに沿って、行動シーン判定処理を説明する。

センサ入力部１１０は、ユーザの複数の動作を検出する（Ｓ２１０）。本実施形態では、ユーザが携行している携帯端末に付与されている３軸加速度センサが該当する。なお、携帯端末に付与されているセンサの他の実施例としては、ジャイロや地磁気センサ、カメラなども可能であり、また複数センサを組み合わせることも同様に可能である。

基本動作判定部１２０は、ユーザの動作を検出したセンサ入力部１１０の入力信号からユーザの複数の基本動作の種別を識別する（Ｓ２２０）。ここでは、基本動作として、「静止」、「歩行」、「走行」という３つの継続する状態と、「かがむ」という一時的に発生する動作を判定することができる。この実現方法としては、例えば、加速度信号の一定時間幅（５〜１０秒程度）の分散値が第一閾値より小さい極小の値であれば「静止」、第二閾値以上第三閾値以下であれば「歩行」、第三閾値以上であれば「走行」と判定が可能である。また、「かがむ」動作については、ある時点での加速度ベクトルＡtと１秒前の加速度ベクトルＡt-1とのなす角θについては、
ｃｏｓθ＝（Ａt・Ａt-1）／（｜Ａt｜｜Ａt-1｜）
が成り立つことから、このｃｏｓθが予め定められた閾値以上であれば、「かがむ」動作であると判定することが可能である。こうして、基本動作判定部１２０では、センサ入力部１１０の入力信号から各時間にどの基本動作が行われているのか、または、いずれにも該当しないかを判定することができる。

基本動作バッファ部１３０は、基本動作判定部１２０により判定された基本動作及びその動作を継続していた時間を時系列に記録する（Ｓ２３０）。本実施形態では、ユーザの携帯端末のメモリが該当し、ここに一時的に記録される時系列情報の例を図３に示す。図３は、一連の基本動作について開始時刻及び終了時刻を記録した時系列情報の一例である。

行動シーン判定部１４０は、基本動作バッファ部１３０に記録された基本動作の時系列情報と、予め用意された行動シーン特徴記録部１５０とから、行動シーンを判定する（Ｓ２４０）。行動シーン特徴記録部１５０には、判定対象とする各行動シーンに対して、それがどういった基本動作により構成されるかの特徴が記録されている。ここで、行動シーンとは複数の基本動作を含んだ場面（シーン）をいい、１つの基本動作の継続時間より長い継続時間の場面（シーン）を定義することができる。すなわち、予め定義された行動シーンに基本動作を分類することができる。

本実施形態では、図４に示す行動シーン判定テーブルが行動シーン特徴記録部１５０に保持されている。この図では、ある工場での作業員の行動シーンについて、「材料調達」、「組立て」、「掃除」の３つの行動シーンを定義している。これら３つの行動シーンそれぞれについて、時間幅と、基本動作発生条件の組として異なる特徴が記載されている。行動シーン判定部１４０は、基本動作バッファ部１３０に記録された時系列情報が上記特徴に記載された条件に一致するか否かにより、各時間帯の行動シーンを判定する。

ここでは、行動シーン判定部１４０は図３の記録されているデータを行単位で扱い、先頭から連続する複数行がいずれかの基本動作発生条件に一致するか否かを判定するものとする。すると、１〜４行目のデータ、すなわち時刻「１５：００：００〜１５：０４：１０」の２５０秒中のデータには、基本動作「歩行」が１８０秒と基本動作「かがむ」が１回含まれているため、行動シーン「材料調達」の基本動作発生条件及び時間幅に一致する。また他の条件には一致しないため、この時間帯の行動シーンは「材料調達」であると判定する。

続いて同様の判定を行い、時刻「１５：０４：１０〜１５：１２：００」の行動シーンは「組立て」であり、時刻「１５：１２：００〜１５：１６：４０」の行動シーンは「掃除」であると判定する。なお、図４の行動シーン「組立て」の基本動作発生条件「順序」の二行目の表記「ＡＮＹ」は、行動シーン判定処理におけるワイルドカードであり、「時間幅（７分〜１１分）の１０〜３０％は、どの基本動作が判定されてもよい」という意味である。

また、実際には複数の行動シーンを判定する可能性がある。その場合に備えて、どちらとも判定可能な部分を優先的に割り当てるための行動シーンの優先順位をあらかじめ行動シーン特徴記録部１５０に記録しておく方法や、行動シーン特徴記録部１５０に記録されたルールに沿って行動シーン判定処理のもっともらしさを示す尤度を数値として算出し、それを最大化するような判定を行ってもよい。

図５は、上記処理の過程（Ｓ２１０〜Ｓ２４０）を模式化した図である。このようにして、判定可能な基本動作として「静止」、「歩行」、「かがむ」であっても、「材料調達」、「組立て」、「掃除」といった行動シーンを判定することが可能となる。

（詳細ラベル判定処理）
次に、判定された各行動シーンの時間帯における詳細な動作を判定する処理について説明する。

詳細ラベル判定部１６０は、判定基本動作バッファ部１３０からのデータと、予め用意された行動シーン別詳細ラベル記録部１７０に記録された詳細ラベル判定テーブルとに基づいて、行動シーンの詳細ラベルを判定する（Ｓ２５０）。判定基本動作バッファ部１３０からのデータとしては図３の例を用い、行動シーン別詳細ラベル記録部１７０に記録された行動シーン別詳細ラベル判定ルールとしては図６に示す例を用いて説明する。詳細ラベルは、行動シーン内の、詳細な又は具体的な行動を示す。

内の基本動作に付与する、具体的な動作の名称をいう。

詳細ラベル判定処理は、既に判定された行動シーンに対して、該当時間帯に含まれる各基本動作に対して判定を行う。図５の場合、時間順に最初に判定された「材料調達」シーンにおいて最初の基本動作は「歩行」である。しかし、行動シーン別詳細ラベル記録部１７０には、該当する行動シーン「材料調達」の基本動作「歩行」について２つの詳細ラベルが存在する。そこで条件の一致判定処理を実行する。条件「かがむ＝０、又は、かがむ≧１」とは、行動シーン「材料調達」の該当時刻より前に基本動作「かがむ」の有無を意味する。

図５の場合、行動シーン「材料調達」の該当時刻「１５：００：００〜１５：０４：１０」より前には「かがむ」動作は発生していない。よって、時刻「１５：００：００〜１５：０１：３０」の詳細ラベルは「資材置き場へ」と判定される。なお、図６の行動シーン「材料調達」における基本動作の欄に「静止」が記載されていないため、時刻「１５：０１：３０〜１５：０２：３０」の詳細ラベルは、基本動作「静止」をそのまま出力する。このように、ある行動シーン内の１つの基本動作に対し複数の詳細ラベルを付与するための条件を行動シーン別詳細ラベル判定ルールに追加することによって、より細分化した詳細ラベルを付与することができる。

図５に示す他の行動シーンについても同様の処理を行う。図６の行動シーン「組立て」の基本動作の欄には基本動作「ＡＮＹ」が記載されている。この「ＡＮＹ」は何でもマッチするワイルドカードを意味するが、本実施形態においては上の方に記載されたルールの優先度が高いものとする。従って、行動シーン「組立て」の該当時刻「１５：０４：１０〜１５：０８：５０」の基本動作「静止」については、図６の基本動作「ＡＮＹ」ではなく、基本動作「静止」であり、かつ、それより前には基本動作「静止」が０（ゼロ）回であるため、詳細ラベル「筐体組立て」であると判定する。

同様に処理を行い、結果として図７の詳細ラベルを判定することができる。このようにして、単純なセンサから短時間で判定しているだけでは「歩行」としか判定できない部分について、「資材運搬」や「モップかけ」と判定することが可能となる。

また、図３に示す通り、時刻「１５：０８：５０〜１５：０９：３０」の時間帯については基本動作を判定できず、「不明」になっている。しかしながら、本実施形態を適用すれば、図５に示す通り、行動シーン判定部１４０が、他の時間帯の基本動作に基づいて、行動シーン「組立て」を判定し、行動シーン「組立て」内の基本動作「不明」に分類される。よって、詳細ラベル判定部１６０が、図６の行動シーン「組立て」内の基本動作「ＡＮＹ」と判定でき、詳細ラベル「ねじ止め」を付与できる。

（変形例）
上記実施形態では説明をわかりやすくするために詳細ラベル判定の条件を図６のように簡単化した。しかしながら、図８のような条件にすることも可能である。図８の例では行動シーン「組立て」の詳細ラベルをより細分化しており、基本動作は同じでも「経過時間」という条件を導入したことにより詳細ラベルの細分化を可能にしている。すなわち、図８によれば、図６の「筐体組立て」としていた部分の最初の１分未満は「内部組立て」とし、１分経過以降は「蓋部組立て」としている。この二つの時間的な境界は厳密には１分で行われるとは限らない。しかしながら、工場での作業として概ね１分であると決めることにより詳細な詳細ラベルを付与することが可能となる。

その他として、例えばセンサ入力部１１０が取得可能な「歩行」動作のパラメタである「歩数」による条件分岐や、直前の「静止」時間のｎ倍の時間の「歩行」が存在したならば、特定の詳細ラベルを割り当てるなどの条件指定も可能である。

本実施形態によれば、部分的にはセンサ信号列が類似している複数の動作を対象とした場合にも、時間的に前後の動作を含めて行動シーンを判定することにより、具体的な動作を正確に識別することができる。

上述した実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の趣旨を逸脱しない範囲であれば、適宜組合わせ及び変更することができることはいうまでもない。

１１０ センサ入力部
１２０ 基本動作判定部
１３０ 基本動作バッファ部
１４０ 行動シーン判定部
１５０ 行動シーン特徴記録部
１６０ 詳細ラベル判定部
１７０ 行動シーン別詳細ラベル記録部

Claims (4)

1. ユーザの動きを検出するセンサ信号から、前記ユーザの基本動作を判定する基本動作判定部と、
   前記基本動作を時系列に記録する基本動作記録部と、
   各行動シーンについて、基本動作とこの基本動作が発生する条件とを記憶する行動シーン判定テーブルと、
   前記行動シーン判定テーブルを用いて、時系列に記録された前記基本動作がどの行動シーンに該当するかを判定する行動シーン判定部と、
   前記行動シーン毎に、当該行動シーン内の詳細な行動を示す詳細ラベルを記憶する詳細ラベル判定テーブルと、
   前記詳細ラベル判定テーブルを用いて、前記行動シーン判定部によって判定された行動シーンに含まれる基本動作がどの詳細ラベルに該当するかを判定する詳細ラベル判定部とを備え、
   前記詳細ラベル判定テーブルは、ある行動シーン内の１つの基本動作に対し複数の詳細ラベルを付与するためのラベル付与条件をさらに有し、
   前記詳細ラベル判定部は、前記ラベル付与条件をさらに用いて、前記行動シーン判定部によって判定された行動シーン内の基本動作に対する詳細ラベルを判定すること
   を特徴とする行動判定装置。
2. 前記基本動作判定部が判定できない時間帯がある場合、前記基本動作記録部は当該時間帯を基本動作識別不明と記録し、
   前記行動シーン判定部が、前記基本動作識別不明の時間帯を含む行動シーンを、他の時間帯の基本動作に基づいて判定した場合、前記詳細ラベル判定部は、前記詳細ラベル判定テーブルを用いて、前記基本動作識別不明の時間帯の詳細ラベルを判定することを特徴とする請求項１記載の行動判定装置。
3. ユーザの動きを検出するセンサ信号から、前記ユーザの基本動作を判定するステップと、
   前記基本動作を時系列に基本動作記録部に記録するステップと、
   各行動シーンについて、基本動作とこの基本動作が発生する条件とを記憶する行動シーン判定テーブルを用いて、時系列に記録された前記基本動作がどの行動シーンに該当するかを判定するステップと、
   前記行動シーン毎に、当該行動シーン内の詳細な行動を示す詳細ラベルを記憶する詳細ラベル判定テーブルを用いて、判定された前記行動シーンに含まれる基本動作がどの詳細ラベルに該当するかを判定するステップとを備え、
   前記詳細ラベル判定テーブルは、ある行動シーン内の１つの基本動作に対し複数の詳細ラベルを付与するためのラベル付与条件をさらに有し、
   前記判定するステップは、前記ラベル付与条件をさらに用いて、前記行動シーン判定部によって判定された行動シーン内の基本動作に対する詳細ラベルを判定すること
   を特徴とする行動判定方法。
4. コンピュータを、
   ユーザの動きを検出するセンサ信号から、前記ユーザの基本動作を判定する手段と、
   前記基本動作を時系列に基本動作記録部に記録する手段と、
   各行動シーンについて、基本動作とこの基本動作が発生する条件とを記憶する行動シーン判定テーブルを用いて、時系列に記録された前記基本動作がどの行動シーンに該当するかを判定する手段と、
   前記行動シーン毎に、当該行動シーン内の詳細な行動を示す詳細ラベルを記憶する詳細ラベル判定テーブルを用いて、判定された前記行動シーンに含まれる基本動作がどの詳細ラベルに該当するかを判定する手段と、
   前記詳細ラベル判定テーブルは、ある行動シーン内の１つの基本動作に対し複数の詳細ラベルを付与するためのラベル付与条件をさらに有し、
   前記判定する手段は、前記ラベル付与条件をさらに用いて、前記行動シーンを判定する手段によって判定された行動シーン内の基本動作に対する詳細ラベルを判定する手段として実行させるための行動判定プログラム。

Images