JP6709281B2 - 行動推定方法、行動推定システム、サービス提供方法、信号検出方法、信号検出部および信号処理システム - Google Patents

行動推定方法、行動推定システム、サービス提供方法、信号検出方法、信号検出部および信号処理システム Download PDF

Info

Publication number
JP6709281B2
JP6709281B2 JP2018518137A JP2018518137A JP6709281B2 JP 6709281 B2 JP6709281 B2 JP 6709281B2 JP 2018518137 A JP2018518137 A JP 2018518137A JP 2018518137 A JP2018518137 A JP 2018518137A JP 6709281 B2 JP6709281 B2 JP 6709281B2
Authority
JP
Japan
Prior art keywords
signal
acceleration
unit
axis
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018518137A
Other languages
English (en)
Other versions
JPWO2017199589A1 (ja
Inventor
一嘉 西
一嘉 西
靖得 兵頭
靖得 兵頭
泰介 山中
泰介 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Publication of JPWO2017199589A1 publication Critical patent/JPWO2017199589A1/ja
Priority to JP2020089067A priority Critical patent/JP6982657B2/ja
Application granted granted Critical
Publication of JP6709281B2 publication Critical patent/JP6709281B2/ja
Priority to JP2021187880A priority patent/JP2022044585A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006Monitoring devices or performance analysers
    • B66B5/0018Devices monitoring the operating condition of the elevator system
    • B66B5/0025Devices monitoring the operating condition of the elevator system for maintenance or repair
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107Measuring contraction of parts of the body, e.g. organ, muscle
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/22Ergometry; Measuring muscular strength or the force of a muscular blow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/7257Details of waveform analysis characterised by using transforms using Fourier transforms

Description

本発明の実施形態は、測定対象者に装着された活動量計からの検出信号を利用した行動推定技術に関する。
しかしそれに限らず、センサから得られる信号の検出技術あるいはそれを用いた推定技術またはサービス提供技術に関しても包まれるものとする。
活動量計を使用した行動推定において、活動量計の測定対象者である作業者が、装置や設備などの外の系の物品(例.台車)を用いる動作を行う場合、複数の作業者の間での身長等の身体的特徴の違いから動作の推定精度にバラツキが出てしまう。
そのため、作業者毎の推定精度のバラツキを低減する技術が求められる。
また、活動量計に限らず、多くのセンサからの検出信号に混入される外乱のノイズ成分も、検出環境や検出状態に大きく影響を与える。その結果として検出環境や検出状態により、センサを用いた検出精度にバラツキが生じる。
一方で、検出精度のバラツキを低減させるために検出環境毎または検出状態毎に信号検出方法の個別最適化を図ると、大きな煩雑さが伴うという弊害がある。
従って、簡易な手法で検出誤差の少ない信号検出を可能にする技術が求められる。
特許第5417779号公報
従来、作業者が台車を移動させる際、作業者毎に行動推定に用いる検出信号の正解波形データを準備して、行動推定に際して個別の作業者毎に対応していた。それにより、作業者毎の推定精度のバラツキを低減することは可能ではあった。しかし、全ての作業者毎の正解波形データを取得することは労力やコストを要するとともに、利便性が大きく損なわれる。
また、上記のような台車移動時における作業者の行動推定に限らず、一般的なセンサからの検出信号に混入される外乱ノイズ成分を除去する技術として、特許文献1では、加速度センサからの検出信号の低周波成分について、ハイパスフィルタを用いて除去している。しかし、ゆっくりした変化を検出したい場合には、検出信号の成分が低周波帯に含まれてしまう。従って、この方法では逆に検出信号まで除去する危険性が生じる。
また、加速度センサを作業者の身体に装着した場合、作業者に対して“歩行状態”か“走行状態”か行動を推定する方法として特許文献1では、加速度センサからの検出信号の“振幅の大きさ”と“周期”との比を算出して、容易に判別できるようにしている。しかし、前記のように算出したとしても、外乱ノイズ成分の混入が大きな検出環境では、依然として推定精度が低下してしまう。
従って、仮に外乱ノイズ成分が混入する環境下でも、信号検出の信頼性確保が望ましい。
本実施形態では、重力の分解加速度値から抽出した、作業者(測定対象者)の腕と台車との角度を利用して、測定加速度の座標系を作業者の行動の推定が可能な座標系に変換する。そして、その変換後の検出信号を利用して、作業者の行動を推定する。更に、行動推定の条件を自動的に補正しながら行動推定の精度を向上させる。
また、本実施形態によれば、重力方向などの基準方向と測定対象者の作用方向との間の角度を利用して、複数の検出信号波形の座標変換を行い、その結果に基づいて前記測定対象者の行動推定またはサービス提供を行う。
ここで、前記作用方向は、例えば前記測定対象者が台車を押す方向または台車を握る腕の角度に対応させてもよい。
本実施形態の実施の結果として、推定を測定の対象となる各々の作業者に対応した個別の正解波形データを準備および使用することなく、行動推定の精度を高めることができる。
本実施形態の一例の説明図である。 検出生信号から所定の基準を抽出する方法の説明図(1)である。 検出生信号から所定の基準を抽出する方法の説明図(2)である。 複数の検出信号間の座標変換方法の説明図である。 標準より身長の低い測定対象者が台車を押した時の状況の説明図である。 標準より身長の高い測定対象者が台車を押した時の状況の説明図である。 作用方向に依存する台車の動摩擦力と静止摩擦力変化の説明図である。 測定対象者の行動推定方法の説明図である。 3次元方向での複数の検出信号間の座標変換方法の説明図である。 3次元方向での測定加速度波形(検出生信号)と変換後の標準測定加速度間との関係の説明図である。 本実施形態のWMS(倉庫管理システム)への応用例の説明図である。 本実施形態における信号処理システムの一例の説明図である。 信号処理システムに関する他の実施形態の説明図である。 基準A(地磁気方向)と活動量計に沿った座標軸との関係の説明図である。 基準B(重力方向)と活動量計に沿った座標軸との関係の説明図(1)である。 基準B(重力方向)と活動量計に沿った座標軸との関係の説明図(2)である。 測定対象者の腕の角度θyzと検出生信号波形との関係の説明図である。 サンプルデータとパターンマッチング対象データとの関係の説明図である。 行動速度のばらつきを考慮したパターンマッチング方法の説明図である。 最適経路選択方法の説明図である。 行動推定システムにおけるハード構成例の説明図である。 本実施形態システムにおける処理フローの説明図(1)である。 本実施形態システムにおける処理フローの説明図(2)である。 本実施形態システムにおける処理フローの説明図(3)である。 図15とは異なる角度の取り方の説明図である。 図2とは異なる角度の取り方の説明図である。 運搬物を手に持って運搬する場合の信号処理方法の説明図である。 異なる複数センサからの検出信号を利用する応用例の説明図である。 上下動するエレベータからの検出生信号の信号処理方法例の説明図である。 加速度センサと角速度センサを組み合わせた応用例の説明図である。 基準抽出方法に関する他の実施形態の説明図(1)である。 基準抽出方法に関する他の実施形態の説明図(2)である。 基準抽出方法に関する他の実施形態の説明図(3)である。 光電信号に関する所定の基準を用いた応用例の説明図である。 光電信号を利用した応用例に関する処理フロー例の説明図である。 音声信号に関する所定の基準を用いた応用例の説明図である。 一般的な音声信号の周波数スペクトル特性の説明図である。 音声信号から基準を抽出する方法例の説明図である。 本実施例での処理内容の傾向性の説明図である。 基準の抽出に対して外乱信号を混入させる方法の説明図(1)である。 基準の抽出に対して外乱信号を混入させる方法の説明図(2)である。 基準の抽出に対して外乱信号を混入させる方法の説明図(3)である。 本実施例での伸縮マッチング処理の傾向性の説明図である。 メガネ型ウェアラブル端末(駆動デバイス)の構成の説明図である。 本実施形態システム応用例の動作例のフローチャート図である。 本実施形態システム応用例の他の動作例のフローチャート図である。 本実施形態応用例の一例の説明図である。 作業終了状態を検出して通知するセンサデバイスの詳細な構造の説明図である。 環境振動発電デバイス内の基本的な構造の説明図である。 環境振動発電デバイス内の蓄電原理の説明図(1)である。 環境振動発電デバイス内の蓄電原理の説明図(2)である。 環境振動発電デバイス内の蓄電原理の説明図(3)である。 環境振動発電デバイス内の蓄電原理の説明図(4)である。 環境振動発電デバイス内の蓄電原理の説明図(5)である。 センサデバイス内一部構造の他の実施形態の説明図である。 センサデバイス内の複数の瞬時電圧発生部配置の説明図(1)である。 センサデバイス内の複数の瞬時電圧発生部配置の説明図(2)である。 制御部での加速度/角速度変化後の値を検出する方法の説明図である。 ネジ締め作業前後での振動特性の説明図である。 扉を閉めた時の角速度変化状態の説明図である。
以下、図面を参照しながら実施形態を説明する。まず、人体への装着が可能であるとともに、そこから得られた検出信号を利用して装着者の何らかの活動量を検出可能なセンサデバイスを、本明細書では活動量計と記す。この活動量計を人体(測定対象者2)に装着する方法の例として、図1(a)では、活動量計(センサデバイス)4は装着者(測定対象者2)の腕や足に付けるリストバンドを利用したリストバンド形となっているこの図1(a)に示す方法例では、活動量計4を装着した測定対象者2が台車122を押しており、活動量計4から収集する検出生信号から“測定対象者2が台車122の移動中22か否か”の行動推定を行う例を示す。しかしそれに限らず、人体が身に着ける帽子やメガネ、靴などの装着品や服(着衣)の一部に活動量計を埋め込んでもよい。本実施形態の基本的内容は、
(1)人体(もしくは動物)に装着された活動量計から得られた検出生信号を取得し、
(2)その取得した検出生信号を利用して基準を抽出し、
(3)抽出した基準に基付いて検出生信号から信号処理し、
(4)信号処理した結果に基づいて人体(もしくは動物)の行動(または状態や要求)を推定し、
(5)測定対象者(作業員)毎の(例えば業務/作業中の)行動履歴を分析し、
(6)分析結果を業務改善(作業工程の改善)につなげる
という(1)〜(6)の流れに沿った処理を行う(場合により、一部割愛されてもよい)。また、この処理に限らず(1)〜(4)で得られた推定結果を利用して
(7)適正なサービスを提供する
という処理を行ってもよい。更に、本実施形態のシステムではそれに限らず、上記の推定結果を利用した任意の活用を行ってもよい。
また本実施形態は更に、(人や動物以外の)所定の物体にセンサデバイスを固定し、そのセンサデバイスから得られた検出信号に基づき、その所定物体に関係した状態を推定し、その結果に基づいてサービス提供を行ってもよい。
図1(b)は経過時間毎の測定対象者2の行動変化と、各行動時の活動量計4から取得される検出生信号(加速度波形)の変化を示している。具体的には測定対象者2が、
○時刻9時から9時1分の間に手作業20を行い、
○時刻9時1分から9時3分の間に台車移動22を行った後、
○9時4分までの間は一時的に静止24し
○9時4分から9時6分の間に歩行26している。
その際、図1(b)が示すように、活動量計4からは行動毎に各々固有(独自)な検出生信号(加速度波形)が得られる。
従って行動推定エンジン14を利用し、これらの固有(独自)な検出生信号(加速度波形)の特徴を抽出する事で、測定対象者2の行動を推定できる。本実施形態では活動量計4から取得される検出生信号(加速度波形)をメモリ部(センサからの出力波形データ記憶部)に一旦保存し(上記の(1)の処理に該当)、メモリ部(出力波形データ記憶部)から読み取った検出生信号(加速度波形)を利用して(2)基準の抽出および(3)信号処理、(4)行動推定、(5)履歴分析、(6)業務改善10へ向けた立案までの一連の処理を行う。
しかしそれに限らず、(1)活動量計4から取得する(1)の処理に対して、検出生信号(加速度波形)に対してリアルタイムで(2)〜(6)の処理を行ってもよい。更にその行動推定結果16に基づき、(7)の処理(適正なサービスの提供)を行なってもよい。
なお、追って図3を用いて説明するように活動量計4の信号検出部60の内部およびセンサデバイス6の信号検出部60の内部では、互いに直交する3軸(X軸およびY軸、Z軸)方向が予め設定されている。それらの軸と所定の基準(例えばz軸に沿った重力方向やy軸に沿った地磁気方向など)との関係は、例えば追って図5に示すように、活動量計4を装着した測定対象者2の腕120から中指に向かう方向をY軸と設定する。ここでは、測定対象者2が台車を押すときの作用方向100(測定対象者2が力を及ぼす方向)をY軸方向と一致させている。
また、測定対象者の手の甲に垂直な軸方向をZ軸方向と設定するとともに、Y軸およびZ軸と直行する方向(測定対象者2の小指から親指へ向かう方向)をX軸と設定している。そして、その座標軸に応じて、3軸加速度センサ72からはX軸方向、Y軸方向およびZ軸方向の加速度波形(検出生信号WX(t)、WY(t)、WZ(t))を得ている。
それと同時に3軸地磁気センサ74からは、X軸およびY軸、Z軸方向の磁界強度信号が得られる。
一方、基準A(地磁気方向)102に沿った方向をy軸(南極方向114から北極方向112に向かう方向)と定義する。また、西方向から東方向に向かう方向をx軸と定義する。
なお、Y軸方向とy軸方向とは一致しないことが多く、互いに傾きを持つため、Wx(t)とWy(t)の波形は検出生信号として直接は検出されない。これらの前提のもとで、以下の説明ができる。
ここで、活動量計4に内蔵された3軸加速度センサ72(図17)からは、それぞれ検出生信号WX(t)、WY(t)、WZ(t)が得られる。ここで図1に示す活動量計データ(加速度波形)12は、WZ(t)(あるいはWY(t))が対応する。
そして時間経過と共に逐次収集される検出生信号WX(t)、WY(t)、WZ(t)は、図17のメモリ部(出力波形データ記憶部)82に逐次保存される。このメモリ部(出力波形データ記憶部)82に一度に保存される検出生信号WX(t)、WY(t)、WZ(t)は、測定対象者2の2〜3時間分の連続した行動に対応したデータでもよい。またそれに限らず、1日分の測定対象者2の行動データを一度に保存してもよい。
ここで、加速度を示す、ローパスフィルタ処理を施した信号成分Q41L、Q42Lを利用して、基準B(重力方向)104を抽出する方法を図2に示す。Y軸方向で取得した検出生信号WY(t)の低周波数成分Q42LとZ軸方向で取得した検出生信号WZ(t)の低周波数成分Q41Lとz軸方向を向く重力加速度成分Gとの間には
Figure 0006709281
Figure 0006709281
Figure 0006709281
の関係が成立する。従って上記の(1)式と(2)式、(3)式のいずれかを利用することで、角度θyzが算出できる。
ここで、図12と図13に記載した基準方向抽出92と角度抽出94の機能が、図3と図2を用いて検出生信号から基準B(重力)104を抽出して角度θを算出する機能、および図2と図3を用いて検出生信号から基準A(地磁気方向)102を抽出して角度θを算出する機能にそれぞれ対応する。
更に、図12と図13に記載したノイズ成分低減後の検出信号生成(信号処理)96の機能が、検出生信号WX(t)、WY(t)、WZ(t)から(4)式〜(7)式を用いて信号処理して所定方向の検出信号“WY(t)|θyz=θs”やWy(t)に変換する機能に対応する。
また、活動量計4を装着した測定対象者2の腕120が震動すると、その震動が外乱ノイズ成分として検出生信号WX(t)、WY(t)、WZ(t)内に混入する。この測定対象者2の腕120の震動に起因する周波数は0.5Hz以上の場合が多い。
従って図3に示すように、検出生信号WZ(t)、WY(t)、WX(t)に対してローパスフィルタ処理138を施した後の信号成分Q41L、Q42L、Q43Lを抽出することで上述した外乱ノイズ成分を低減できる。このローパスフィルタの周波数fに対する利得gの特性が図3に示す特性の場合、遮断周波数fc以下の信号成分のみの抽出が可能となる。このローパスフィルタ処理138を施すときの遮断周波数fcの値は、上記の説明から60Hzもしくは50Hzに設定できるし、0.5Hzに設定してもよい。
また、図3の周波数特性に限らず、本実施形態ではあらゆるフィルタ処理を採用してもよい。例えば特定の周波数成分のみを抽出するバンドパスフィルタ処理などを行ってもよい。
このように検出生信号WZ(t)、WY(t)、WX(t)に対して何らかの信号処理を行って外乱ノイズ成分を低減することで、精度良く所定の基準(方向)を抽出できる効果が生まれる。
ここで、複数の作業者の間での身長等の身体的特徴の違いから生じる動作の推定精度のバラツキを低減するため、重力の分解加速度値から抽出した、測定対象者2の腕と台車122との角度を利用して、測定加速度の座標系を測定対象者2の行動推定が可能な座標系に変換する手法について説明する。
X軸とx軸が一致したときの、y軸/z軸とY軸/Z軸との間の座標変換状況を図4に示す。図4に示すように、変換処理後の検出波形Wy(t)/Wz(t)と検出生信号WY(t)/WZ(t)間の変換式は
Figure 0006709281
で表される。従って(4)式を利用して、3軸加速度センサ72(もしくは3軸地磁気センサ74)から得られた検出生信号WX(t)、WY(t)、WZ(t)から基準A(地磁気方向)102に平行なy軸と基準B(重力)104に平行なz軸(およびそれらと直交するx軸)の方向で得られると推定される変換後の検出信号Wx(t)、Wy(t)、Wz(t)を算出できる。
そして、X軸とXs軸が一致したときの、Y軸とYs軸間の角度およびZ軸とZs軸間の角度を両者間の差分値“dθyz≡θs−θyz”で定義する。すると、Y軸およびZ軸とYs軸およびZs軸との間の回転座標変換の関係を用いると、測定加速度波形(検出生信号)WY(t)、WZ(t)から変換後の標準測定加速度WYs(t)、WZs(t)への変換式は、
Figure 0006709281
で表せる。
センサとして3軸加速度センサ72(もしくは3軸地磁気センサ74)を用いた場合、1個または複数のセンサからはWx(t)、Wy(t)、Wz(t)などの時間経過と共に変化する複数の検出生信号が収集される。そして、得られた複数の検出生信号の特徴(それに含まれるθyzなどの所定の独自情報の抽出)を利用した複数の検出生信号間に跨った信号処理により(例えばノイズ成分を偏在させた結果としてWz(t)側にノイズ成分を集めた代わりにWy(t)側のノイズ成分を低減させるなどの処理結果として)、信号処理後の所定の検出信号(例えばWy(t))のノイズ成分を低減できる効果がある。またノイズ低減に限らず、この複数の検出生信号間を跨った信号処理により検出生信号内に含まれる特定の信号成分を抽出(例えば(1)式を用いた重力加速度値Gの抽出など)してもよい。
ところで、この複数の検出生信号内に含まれる所定の独自情報抽出の一例として、図3のローパスフィルタ処理138を利用して所定周波数成分のみを抜き出し、(1)式〜(3)式を用いた所定基準(の方向)の抽出例を既に説明した。しかしそれに限らず本実施形態の一例では複数の検出生信号内に含まれる“あらゆる種類の情報”を抽出してもよい。例えばこの“検出生信号内に含まれる所定の情報”として図26を用いて後述するように、複数の検出生信号WY(t)とWZ(t)内に共通に含まれるノイズ成分(横揺れ成分208)を対応させてもよい。
また、3軸加速度センサ72と3軸角速度センサ212などの異なる複数種類のセンサから同時に収集した複数の検出生信号を跨って信号処理を行ってもよい。例えば、図28の実施形態(詳細な内容は後述)における“検出生信号内に含まれる所定の独自情報”とは、『ハンドル214の回転方向218』あるいは『バスまたはトラック、乗用車210の加速/減速方向』、『バスまたはトラック、乗用車210の進行方向変更の向き』などが該当する。
そして、これらの独自情報の抽出方法として特定センサ取り付け方向(特定センサ内に設置された所定座標軸方向)の識別や特定の信号成分(例えば『加速/減速』時には、加速/減速開始時に検出加速度の絶対値が急増し、定速に近づくに従って検出加速度の絶対値が“0”へ収束するなどの信号の特徴検出)などを用いてもよい。
ここで、標準身長の測定対象者140とそれより低い身長の測定対象者142または高い身長の測定対象者144に対する取り扱いを説明する。図5に示すように、標準より身長の低い測定対象者142が台車122を押したときの角度θyzは、標準身長の測定対象者140が台車122を押したときの角度θsと比べてθyz<θsの関係がある。一方で、図6に示すように、標準より身長の高い測定対象者144が台車122を押したときの角度θyzはθyz>θsとなる。
図5および図6で説明した本実施形態の応用例として、標準身長より低い身長の測定対象者142または高い身長の測定対象者144に対する行動推定の処理で利用する閾値に関するフィードバック方法(一種の学習機能)について説明する。標準よりも身長の高い測定対象者144が台車122を押す場合には(図7(a))、作用方向100と台車122の移動する方向(y軸)とのなす角度θyzの値は大きくなる。その場合には、測定対象者144が台車122を床面に押し付ける力が強くなる。その結果として、台車122の動摩擦力と静止摩擦力が大きくなり、台車122が動き難くなる。
その際、標準身長よりも低い測定対象者142が台車122を押す場合(図7(b))には、作用方向100と台車122の移動方向(y軸方向)のなす角度θyzの値が小さくなる。そのため測定対象者142による台車122を床面に押し付ける力が相対的に弱くなる。その結果として、台車の動摩擦力と静止摩擦力が弱くなり、台車122が動き易くなる。従って台車122の動摩擦力と静止摩擦力の変化が、測定対象者2の行動推定に影響を及ぼす。
ここで、標準身長の測定対象者140が台車122を押すときの作用方向100と台車122の移動方向(y軸方向)のなす角度θsを基準として考える。図8は角度θsを基準とし、測定対象者2が台車122を押すときの角度θyzに対する変換後の標準測定加速度と測定加速度波形(検出生信号)間の誤差量または標準測定加速度波形(サンプルデータ)と比較したユークリッド距離の関係を示す。
θyz≒θsでは、図8に示される特性は、測定対象者の行動推定時の判定閾値150より充分小さな値をしめす。しかし、角度θyzがθsから大きく外れるに従って、測定対象者の行動推定時の判定閾値150より大きくなり、行動推定の精度が低下することが分かる。本実施形態ではその対策として、角度θyzがθsから大きくずれたときには行動推定時の判定閾値150を自動的に補正する(判定値150を大きく設定し直す)。それにより、角度θyzがθsから大きく外れたときでも測定対象者2に対して精度の良い行動推定を実現できる効果がある。
ところで、上述した(4)式は、X軸とx軸とが一致する場合の変換式を示している。即ち、上記(4)式を導く基礎となった図4は、X軸とx軸を一致させたままy軸とz軸をθyzだけ回転させてY軸とZ軸に変換した図(垂直回転の座標変換‥立体変換)を示している。
それに対してY軸とy軸を一致させたままz軸とx軸をθzxだけ回転させてZ軸とX軸に変換した図(水平回転の座標変換‥回転変換)を図9(a)に示す。同様にZ軸とz軸を一致させたままx軸とy軸をθxyだけ回転させてX軸とY軸に変換した図を図9(b)に示す。
図4を用いて(4)式を導いたのと同様に、図4および図9(a)(b)を利用することで一般的な場合の変換式は
Figure 0006709281
で表される。
床面128の凹凸形状の影響を軽減する信号処理方法として、例えば後述する図17(b)に示すように、信号成分Wz(t)に重畳される床面128の凹凸形状に対応した加速度変化成分をノイズ成分と見なした場合で説明する。図17(c)に示す検出生信号“WY(t)|θyz<θs”や図17(e)に示す検出生信号“WY(t)|θyz>θs”内には、上記のノイズ成分が混入されている。この検出生信号“WY(t)|θyz<θs”や“WY(t)|θyz>θs”を利用して信号処理を行い、上記ノイズ成分の混入が少ないWy(t)の検出信号に変換できた場合を考える。すると上記の信号処理はノイズ成分の混入が大きい検出生信号“WY(t)|θyz<θs”や“WY(t)|θyz>θs”からノイズ成分が低減されたWy(t)の検出信号を抽出した事を意味する。これが図13のノイズ成分低減後の検出信号抽出(信号処理)96の機能に相当する。
次に、測定対象者2の身長の影響を軽減する信号処理方法として、図17(c)あるいは図17(e)に示す検出生信号(後述する“測定加速度波形”即ち検出生信号)WX(t)、WY(t)、WZ(t)から、標準身長の測定対象者140に対応するθyz=θs時の検出信号(後述する変換後の標準測定加速度)“WY(t)|θyz=θs”(あるいはWYs(t))へと変換する方法を説明する。
ここで、図10(a)に示すように、Y軸とYs軸を一致させた場合のZ軸とZs軸間の角度およびX軸とXs軸間の角度をdθzxで表す。同様に図10(b)が示すように、Z軸とZs軸を一致させたときのX軸とXs軸間の角度およびY軸とYs軸間の角度をdθxyで表す。

そして、X軸とXs軸が一致しない場合の測定加速度波形(検出生信号)WX(t)、WY(t)、WZ(t)から変換後の標準測定加速度WXs(t)、WYs(t)、WZs(t)への一般的な変換式は、図4および図10(a)(b)から上記の(5)式を拡張した
Figure 0006709281
で与えられる。それにより図17(c)あるいは図17(e)に示す測定加速度波形(検出生信号)から、θyz=θsに対応した変換後の標準測定加速度“WY(t)|θyz=θs”(またはWs)に変換できる。
このように標準身長より低い測定対象者142や標準身長より高い測定対象者144が装着している活動量計4から得られる測定加速度波形(検出生信号)WX(t)、WY(t)、WZ(t)をWXs(t)、WYs(t)、WZs(t)(対応する標準身長に変換後の標準測定加速度)へ変換し、この変換後の検出信号(標準測定加速度)に基づいて測定対象者142、144の行動推定を行ってもよい。その結果として、測定対象者140〜144の身長の違いによらずに共通の尺度で測定対象者140〜144に対する行動推定を高い精度で行える効果がある。
ここでは、信号処理により測定対象者2の身長の影響を軽減する検出信号に変換する方法として図4に示す座標軸間の回転座標変換を利用する方法について説明した。しかし、それに限らず本実施形態では各種センサ72、74から得られた検出生信号Wx(t)、Wy(t)、Wz(t)を利用した信号処理で有れば、他のあらゆる信号処理方法を利用してもよい。例えば、その一例として検出生信号Wx(t)、Wy(t)、Wz(t)を3次元ベクトルと見なし、各ベクトル成分間のベクトル演算処理(例えばベクトル合成処理)を行ってもよい。
また、それに限らず複数の異なるセンサ72、74から得られた検出生信号間で跨った信号処理を行い、ノイズ成分低減後の検出信号生成(信号処理)96(図12または図13)を行ってもよい。すなわち、図4を用いて算出された(4)式を用いた検出信号間の変換では、例えば3軸加速度センサ72のみから得られた検出信号間の変換を行っている。しかしそれに限らず、例えばそれに3軸地磁気センサ74から得られた検出信号も同時に組み合わせた信号処理を行い、検出生信号のノイズ成分低減を行ってもよい。
次に、この回転変換(信号処理)後の検出信号を用いて測定対象者2の行動推定例について説明する。
台車122を押すときの測定対象者2の腕120の角度θyzは時間経過と共に刻々と変化する。従って、回転変換(信号処理)後の検出信号を算出する処理は何回も繰り返す必要がある。
図21(または図12、図13)に示す行動推定システム52による行動推定例を以下に説明する前に、使用する用語の定義をする。3軸加速度センサ72から収集される検出生信号WX(t)、WY(t)、WZ(t)の1個またはそれ以上を“測定加速度波形(検出生信号)”と記す。また、θyz=θsの際での検出信号(のうちの1個またはそれ以上)を“標準加速度”と記す。標準身長の測定対象者140(図5または図6)が台車122を押したときに直接得られる3軸加速度センサ72から収集される検出生信号WX(t)|θyz=θs、WY(t)|θyz=θs、WZ(t)|θyz=θs(これらのうちの1個またはそれ以上)は、上記の“標準加速度”に該当する。
ところで、上記の標準加速度(検出生信号)をメモリ部82(図12)内に保存して行動推定時の参照データ(サンプルデータ)として利用する場合、メモリ部82内に保存された上記の標準加速度(検出生信号)を“標準測定加速度波形(サンプルデータ)”と記す。ここで、上記の標準測定加速度波形(サンプルデータ)は、唯一の標準身長の測定対象者140から1回だけ収集したサンプルデータでもよいし、複数回収集したデータの平均値あるいは複数の標準身長の測定対象者140から得られたデータの平均値を利用してもよい。
一方で、図5や図6を用いて説明したように、標準身長より低い測定対象者142や標準身長より高い測定対象者144から収集された検出生信号に基づいて、(5)式または(7)式を用いて上記の標準加速度に変換された後の検出信号を“変換後の標準測定加速度”と記す。
また、上述した処理で『検出生信号収集⇒信号処理(検出信号の回転変換)』までの処理を“サイクル”と記す。そして、1秒間に繰り返すサイクルの回数を“サイクル周波数”、1回のサイクルに要する時間を“サイクル期間”と記す。ここで前記サイクル期間が短い程、細かくかつ精度良く測定対象者2の行動に関する情報収集が行える。従って前記サイクル期間は、上記サイクル処理の“分解能”(情報収集速度)に相当する。
次に、本実施形態では1サイクル毎に得られた変換後の標準測定加速度のデータを所定期間にわたり蓄積した後、統計処理を実施する。そのため、統計処理に必要な変換後の標準測定加速度のデータの蓄積期間を“統計処理用蓄積期間”と記す。
更に、統計処理用蓄積期間毎に算出された統計処理の結果を所定期間について集めて、測定対象者2の行動推定を行う。この行動推定の単位期間(統計処理結果を集める期間)を“行動推定の判定期間”と記す。
本実施形態システム(行動推定システム52)でのサイクル周波数は高い程、サイクル処理の分解能が上がり、測定対象者2の高速な行動変化の検出が容易となる。図1(b)の例では、測定対象者2の行動(作業)が手作業20から台車移動22、静止、歩行26と1分毎または2分毎に変化している。しかし忙しいときには、測定対象者2の行動(作業)がより頻繁に変化する場合もある。このような測定対象者2が忙しいときに検出生信号の収集/信号処理のサイクルが1分に1回では、頻繁に変化する測定対象者2の行動(作業)を細かに追跡できない。従って、本実施形態での上記サイクル期間は、長くても10秒以下に設定する。
ところで、非常に忙しいときには、1秒単位で測定対象者2の行動(作業)が変わる場合がある。このような早い変化にも対応できるように、本実施形態でのサイクル期間は0.5秒以下が望ましい。以下ではサイクル周波数の例として暫定的に20Hzと設定して説明を続ける。
ところで、図3を用いて所定の基準を抽出する場合の遮断周波数fcの値を50Hzまたは60Hzに設定した場合の例を説明した。上記の遮断周波数fcの値は前述したサイクル周波数20Hzとはある程度の整合性はある。しかし、遮断周波数fcを0.5Hzなど低い値に設定した場合には、1サイクル毎に検出生信号に対してローパスフィルタ処理138を施すには技術的無理が生じる。この場合には、複数サイクル間の検出生信号を用いてローパスフィルタ処理138を行ってもよい。
既に説明したように本実施形態システム(信号処理システム)では、3軸加速度センサ72や3軸地磁気センサ74からの(信号増幅器群76を経てA/Dコンバータ78でデジタル信号に変換された)検出生信号は、一旦メモリ部82に保存された後、制御部80の指示に対応して読み出されて、信号処理される。従って、複数サイクル間の検出生信号を用いたローパスフィルタ処理138は容易となる。しかし、それに限らずメモリ部82の処理を適正に使いこなすことで、リアルタイムでの信号処理を行ってもよい。
次に、前述した統計処理用蓄積期間に関する説明を行う。例えば1サイクルのみのデータでは統計処理する意味が無い。有効な統計処理を行うには、少なくとも4サイクル以上、望ましくは10サイクル以上のデータ蓄積が望ましい。例えばサイクル周波数を20Hz(サイクル期間50mS)の場合、10サイクル分のデータを蓄積するには、統計処理用蓄積期間は0.5秒が必要となる。
ところで、最低条件として、上記の行動推定の判定期間は統計処理用蓄積期間以上あれば、測定対象者2に対する行動推定は可能となる。しかし、より精度の高い行動推定を目指す場合には、行動推定の判定期間は統計処理用蓄積期間の4倍以上(望ましくは8倍以上)が必要となる。上記の理由から、行動推定の判定期間として4秒を設定してもよい。
上記の説明から各期間の関係は、“行動推定の判定期間”≧“統計処理用蓄積期間”≧“サイクル期間”となる。ところで、行動推定の判定期間毎(例えば4秒毎)に測定対象者2に対する行動推定を行うと、測定対象者2に対するサービス提供に大きな遅延が起きる。従って、本実施形態システム(行動推定システム52)ではサイクル期間毎にずらしながら連続的に行動推定処理を継続させる。同様にサイクル期間毎にずらしながら逐次的に統計処理用蓄積期間を設定する。
信号処理後の検出信号(変換後の標準測定加速度)を用いた測定対象者2の行動推定方法として、本実施形態では
(A)回転変換(信号処理)前後での検出信号間の分散と不規則性判定
(B)変換後の標準測定加速度とサンプルデータ間の類似度判定
(C)変換後の標準測定加速度とサンプルデータ間の伸縮マッチング判定
のいずれかまたはその組み合わせを行う。上記の各種行動推定方法の説明をする。
(A)回転変換(信号処理)前後での検出信号間の分散と不規則性判定
(A1)前述した統計処理用蓄積期間毎にZ軸方向(重力成分)またはY軸方向(台車の移動方向)の測定加速度波形(検出生信号)と変換後の標準測定加速度との間の分散(すなわち1サイクル毎の測定加速度波形(検出生信号)と変換後の標準測定加速度との間の差分値を1データと見なし、統計処理用蓄積期間内の各データ間の分散特性)の違い(動きの大きさ)を統計処理する。そしてこの統計処理された分散値が所定の閾値以内に入っているか否かを判定する。
(A2)統計処理用蓄積期間毎にZ軸方向(重力成分)またはY軸方向(台車の移動方向)の測定加速度波形(検出生信号)と変換後の標準測定加速度との間のランダム値の違い(不規則性)を行動推定に利用する。そしてこの算出されたランダム値が所定の閾値以内に入っているか否かを判定する。
ここでランダム値とは、統計処理用蓄積期間内での上記差分値の符号が変化する回数を意味する。例えばk番目のサイクルにおける測定加速度波形(検出生信号)と変換後の標準測定加速度との間の差分値をΔ(k)とする。ここで“Δ(k)<Δ(k+1)”のときにD(k)=+1を割り当てる。また“Δ(k)>Δ(k+1)”のときにはD(k)=−1、“Δ(k)=Δ(k+1)”のときにはD(k)=0と設定する。そして統計処理用蓄積期間内でのD(k)の合計値を、ランダム値と定義する。例えば{D(1)、D(2)、D(3)、D(4)、D(5)、D(6)、D(7)、D(8)、D(9)}の系列が、{+1、+1、+1、−1、−1、+1、+1、+1、+1}の場合を考える。前記系列内では、“ +1 ⇒ −1 ”の符号変化が1回、“ −1 ⇒ +1 ”の符号変化が1回の合計2回変化するので、ランダム値は“2”となる。
行動推定の判定期間内において、上記(A1)と(A2)を同時に満たす頻度(類似度)が80%以上有れば一致と判定する。例えばサイクル期間が50mSで統計処理用蓄積期間が0.5秒、行動推定の判定期間が4秒とする。前述したように本実施形態では、サイクル期間毎にずらしながら逐次的に統計処理用蓄積期間を設定する。従って上記行動推定の判定期間(4秒間)の間に80回(4000÷50)だけ統計処理用蓄積期間が設定できる。従って80回の統計処理結果のうちで80%以上の頻度で(64回以上)(A1)と(A2)を同時に満たす場合には、測定対象者2が台車移動中20であると判定する。
(B)変換後の標準測定加速度とサンプルデータ間の類似度判定
(B1)統計処理用蓄積期間毎にZ軸方向(重力成分)またはY軸方向(台車の移動方向)の変換後の標準測定加速度と標準測定加速度波形(サンプルデータ)との間の分散(すなわち1サイクル毎の変換後の標準測定加速度と標準測定加速度波形(サンプルデータ)との間の差分値を1データと見なし、統計処理用蓄積期間内の各データ間の分散特性)の違い(動きの大きさ)を統計処理する。そしてこの統計処理された分散値が所定の閾値以内に入っているか否かを判定。
(B2)統計処理用蓄積期間毎にZ軸方向(重力成分)またはY軸方向(台車の移動方向)の変換後の標準測定加速度と標準測定加速度波形(サンプルデータ)との間の上記ランダム値の違い(不規則性)を行動推定に利用する。そしてこの算出されたランダム値が所定の閾値以内に入っているか否かを判定。
行動推定の判定期間内において、上記(B1)と(B2)を同時に満たす頻度(類似度)が80%以上有れば一致と判定する。
(C)変換後の標準測定加速度とサンプルデータ間の伸縮マッチング判定
統計処理用蓄積期間毎にZ軸方向(重力成分)またはY軸方向(台車の移動方向)の変換後の標準測定加速度と標準測定加速度波形(サンプルデータ)との間で、伸縮マッチング手法を適用する。そして統計処理用蓄積期間毎に得られたユークリッド距離(詳細は後述)が所定の閾値以内に入っているか否かを判定する。そして行動推定の判定期間内において、上記のユークリッド距離が閾値以内に入っている頻度(類似度)がが80%以上有れば一致と判定する。
上記の伸縮マッチング手法とは、サンプルデータ(標準測定加速度波形)のパターンと検出信号(変換後の標準測定加速度)のパターン間の部分的な時間軸上の伸び縮みを考慮しながら両者の類似度を計算するパターンマッチング手法に関する総称した呼び方を示す。
本実施形態システム(行動推定システム52)では、検出生信号WX(t)、WY(t)、WZ(t)(これらのうちの少なくともいずれかあるいは所定の周波数成分や所定の信号内要素成分)の値(検出値)がが時間経過と共に変化する。また測定対象者2の行動速度(作業速度)に個人差があるため、時間経過に伴う変化速度が測定対象者2によりばらつく。このように人間や動物の行動推定や所定物体の状態を推定する状態推定に利用される検出生信号の変化速度は、測定対象ごとにばらつく。そのため本実施形態システム(行動推定システム52)での推定処理に上記の伸縮マッチング手法を用いることで、検出生信号の変化速度のばらつきが吸収されて(検出生信号の時間経過方向での伸縮に適応し)推定精度が向上する効果がある。
これからは、実施例の位置づけで具体的な一例を挙げて本実施形態を説明する。まず、図1に示す測定対象者2が台車移動22中に得られる検出生信号を利用して推定処理や業務改善10の立案、あるいはサービス提供を行うまでの方法を説明する。しかし、それに限らず以下の説明内容は、図1(b)に示す手作業20や静止24、歩行26等いずれの作業に対して適用してもよい。
図1に示した本実施形態の利用場面として、WMS(Warehouse Management System)と呼ばれる倉庫管理システムへの応用例を図11に示す。このWMSは大きく分けて、“在庫把握”と“作業支援”に該当する2種類の問題を解決する仕組みを指す。上記の在庫把握の一例として、在庫の賞味期限の把握や倉庫内の物品毎の保管位置把握などが挙げられる。
この作業支援の適用場面例として、図11に示すものがある。倉庫内に並んだラック(棚)RK毎に格納された各物品毎に、その物品内容を示す画像マーカMKが設置されている。この画像マーカMKの例として1次元もしくは2次元方向のコード、あるいは一目で物品内容の判別が容易なマーク(アイコンなど)が記載されている。しかしそれに限らず、画像マーカMK毎に無線通信機能が内蔵された通信ノードで有ってもよいし、ビーコンを用いた配置情報(位置情報)検出機能を前記画像マーカMKに持たせてもよい。
このラック(棚)RK毎に格納された指定物品を作業員(Personal Worker)PW(もしくは測定対象者2)が選択・抽出(ピッキング)して、カート(籠)CRT内に入れる(または大きな被運搬物8の場合には台車122に乗せる)。
そして、この作業員PW(もしくは測定対象者2)は活動量計4を装着しており、この活動量計4から検出生信号を収集する(1)。この収集された検出生信号を一旦メモリ部(センサからの出力波形データ記憶部)に保存する。その後に検出生信号を読み取り、前述した(2)〜(6)の処理を行う。その結果を利用して、個々の作業員PW(もしくは測定対象者2)の業務改善(作業行動プロセスや手順の改善)につなげる。またそれに限らず、作業員PW(もしくは測定対象者2)にメガネ型ウェアラブル端末(駆動デバイス)1100(図38以降を用いた詳細説明を参照)を用いて例えば次の行動指示などのサービス提供(7)を行ってもよい。
先に本実施形態の一応用例として、図1を用いてWNSでの使用例を説明した。しかし、それには限られず本実施形態を、例えば社会インフラ市場やパーソナル市場、ヘルスケア市場、生産/管理市場(設計/製造/検査現場)などで適応させてもよい。
例えば社会インフラ市場として、交通機関あるいは橋やビルなどの建設物環境、電気・水道・ガスなど公共消費財の供給市場、銀行や証券・損保関連などの金融業界市場などに利用してもよい。またパーソナル市場として、ビジネスユースでの利用や各家庭向け応用に利用してもよい。更にヘルスケア市場では医療現場や介護現場で利用してもよい。
ここで、行動推定システム52の各構成に関して説明する。図12に示す本実施形態における信号処理システムのハード構成は、活動量計4とセンサデバイス6、エッジ装置42、サーバ40から構成される。ここで、センサデバイス6は図16を用いて後述するように、人以外の所定の物体(例えば台車122等)に固定されている。また、活動量計4とエッジ装置42との間およびセンサデバイス6とエッジ装置42との間、エッジ装置42とサーバ40との間は、有線または無線の通信回線が構成されており、互いに情報通信が可能となっている。
このエッジ装置42とサーバ40が協調して、後述する推定結果の処理とサービス提供制御を行う。またエッジ装置42では、活動量計4とセンサデバイス6内部の信号処理部60で行う処理結果(送信情報30の内容)のとりまとめも行う。
また、図12に示す信号処理システムの機能構成は、行動推定システム52とサービス制御部58および位置検出用信号発生部46とその制御部48から構成される。そしてこの行動推定システム52は、活動量計4およびセンサデバイス6とエッジ装置42の一部から構成される。
図12では活動量計4の構造を中心に説明してあるが、センサデバイス6のハード構成62と機能構成64は基本的には活動量計4の構造と一致する。
活動量計4(およびセンサデバイス6)は、固定部材50と信号検出部60から構成される。この固定部材50は、測定対象者2の装着時に前記の信号検出部60を測定対象者2の体の一部に固定する機能を持つ。この固定部材50の具体的な構造は図1(a)に示すようにリストバンドの構造を有し、測定対象者2の腕もしくは足に直接装着できる。またそれに限らず、例えば粘着層を用いて人体に貼り付ける構造や、帽子やメガネ、靴など人体への装着部の一部あるいは服(着衣)の一部を利用してもよい。更に、被運搬物8にセンサデバイス6を固定する場合の固定部材50の構造としては、接着層や被運搬物8の包装に利用される紐の一部をしてもよい。
特に、図12に示す実施形態では、信号検出部60全体が活動量計4内(あるいはセンサデバイス6内)に内蔵されている。この信号検出部60のハード構成62には、発電部(環境振動形または光電変換形)68および蓄電部(バッテリ)66、3軸加速度センサ72、3軸地磁気センサ74、信号増幅器群76、A/Dコンバータ(Analog to Digital Converter)78、制御部80、メモリ部82、通信制御部84が含まれる。
発電部68の形態として後述する環境電動形を利用してもよいし、太陽電池のような光電変換形を使用してもよい。またこの発電部68で発生した電力が、蓄電部66で蓄えられる。そしてこの蓄電部66に蓄えられた電力を利用して、信号検出部60の各回路が動作する。
3軸加速度センサ72からは互いに直交する3軸方向(X軸およびY軸、Z軸の各方向)の加速度信号波形(WX(t)、WY(t)、WZ(t))が得られると共に、3軸地磁気センサ74を用いて地磁気の方向が検出できる。本実施形態の一例では、この地磁気センサ74内で規定される3軸方向も上記の3軸加速度センサ72の3軸方向(X軸およびY軸、Z軸の各方向)と完全に一致している。すなわち活動量計4の信号検出部60の内部およびセンサデバイス6の信号検出部60の内部では、互いに直交する3軸(X軸およびY軸、Z軸)方向が予め設定されている。
ここでは説明の便宜上、3軸センサの例を用いて説明する。しかしそれに限らず、例えば1軸センサあるいは2軸センサを用いてもよいし、更なる多軸センサ(例えば同一センサ内に3軸加速度センサ機能と多軸角速度センサ機能が内蔵)を使用してもよい。
3軸加速度センサ72と3軸地軸センサ74から得られた3軸方向の検出生信号(WX(t)、WY(t)、WZ(t))は、信号増幅器群76により個々に信号増幅された後、A/Dコンバータ(Analog to Digital Converter)78によりデジタル信号に変換され、一度はメモリ部82に蓄えられる。また信号検出部60には制御部80が内蔵されており、メモリ部82に保存された検出生信号(WX(t)、WY(t)、WZ(t))を利用した信号処理が行われる。更に、信号処理の結果は通信制御部84を経由して、送信情報30としてエッジ装置42へ送信される。
次に信号検出部60の機能構成64の説明を行う。検出生信号生成90では3軸加速度センサ72と3軸地磁気センサ74から検出生信号を抽出し、信号増幅器群76を経てA/Dコンバータ78でデジタル信号に変換させる処理を担う。
検出生信号生成90で得られた結果に基づく基準方向抽出92と角度抽出94およびノイズ成分低減後の検出信号生成(信号処理)96は、メモリ部82を利用しながら制御部80が担う。
基準方向抽出92とは、検出生信号生成90の結果を利用して所定の基準(の方向)を抽出する機能を意味する。その一例として、3軸加速度センサ72から取得する検出生信号波形を利用して重力方向(例えばz軸方向)を抽出してもよい。また3軸地磁気センサ74からの検出生信号を利用して、地磁気の方向(例えばy軸方向)を検出してもよい。
上記の基準方向抽出92の結果を利用し、所定の基準(の方向に対応するz軸やy軸の方向)と活動量計4やセンサデバイス6内で予め設定された座標軸(X軸およびY軸、Z軸)との間の角度θの算出処理が、前記の角度抽出94に対応する。
またノイズ成分低減後の検出信号生成(信号処理)96とは、前記の角度抽出94の結果を利用して検出生信号(WX(t)、WY(t)、WZ(t))を信号処理して、ノイズ成分低減後の検出信号(Wx(t)、Wy(t)、Wz(t))を生成する機能を意味する。その結果得られた検出信号(Wx(t)、Wy(t)、Wz(t))のうちの少なくともいずれかは、検出生信号(WX(t)、WY(t)、WZ(t))よりノイズ成分が低減されている。
そしてその結果は、通信制御部84を経由して活動量計4からエッジ装置42に送信される。このときに送信される送信情報30には、抽出角度情報32とノイズ成分低減後の検出信号情報34が含まれる。
図12に示す本実施形態システムは、活動量計4とセンサデバイス6共に通信制御部84を内蔵し、それぞれ無線通信機能を持っている。この無線通信機能を利用し、GPS(Global Positioning System)と同様な方法で自分の位置を検出させてもよい。
エッジ装置42の位置検出用信号発生の制御部48が制御する位置検出用信号発信部46は、(A)〜(D)とそれぞれ異なる場所に分散配置されている。そしてそれぞれの(A)〜(D)の地点からは、無線で発信時刻情報を継続的に発信される。また各(A)〜(D)の地点から発信される時刻情報の通信制御部84が受信する時刻差を検出し、三角法を用いて活動量計4(またはセンサデバイス6)のリアルタイムの配置場所が検出できる。
上記に得られた位置情報と3軸加速度センサ72および3軸地磁気センサ74から得られたノイズ成分低減後の検出信号(Wx(t)、Wy(t)、Wz(t))を組み合わせることで、より精度の高い位置検出を行える効果が有る。
エッジ装置42が所有する行動推定部54の行動推定エンジン56は、センサデバイス4,6から送信される送信情報30に基づいて行動推定(あるいは状態推定や測定対象者2の要求推定)を行う。そしてその推定結果に基づき、サービス制御部58でサービス提供や業務改善10の提案を行う。
具体的には行動推定エンジン56で得られた結果(行動推定結果16)がサーバ40へ送信されると、サーバ40からサービス指示11の内容が返送される。このサービス指示11内容に基づき、無線通信を利用してエッジ装置42から駆動デバイス44を操作し、測定対象者2あるいはそれ以外のユーザに対してサービス提供が実行される。
この駆動デバイス44は電動モータや発光素子、表示素子、スピーカなどが内蔵され、エッジ装置42からの操作に応じて電動モータの駆動や発光、表示、音声出力などが行われる。
図12で示した信号処理システムに関する他の実施形態システムを図13に示す。図13の実施形態システム(信号処理システム)では、位置検出部60が担う機能構成64の中で、検出生信号生成90と位置検出98のみを活動量計4内(あるいはセンサデバイス6内)で実行される。
そして信号検出部60の機能構成64に含まれる前述した基準方向抽出92と角度抽出94、ノイズ成分低減後の検出信号抽出(信号処理)96は、エッジ装置42側が担う。
また、その機能分担(活動量計4/センサデバイス6とエッジ装置42間の機能分散)に対応し、検出位置情報38と検出生信号情報36のみが送信情報31として活動量計4またはセンサデバイス6からエッジ装置42に送信される。
上記の機能分担に対応した説明として、信号検出部60のハード構成62の一部に含まれる通信制御部86と制御部81、メモリ部83をエッジ装置42に特に明記した。ところで、図12での明示を省略したが、図12で示した信号処理システム形態でも、エッジ装置42に通信制御部86と制御部81、メモリ部83は存在する。
即ち、図13に示す他の実施形態システム(信号処理システム)では、活動量計4(またはセンサデバイス6)から送信される検出位置情報38と検出生信号情報36を通信制御部86を介してメモリ部83に一旦保存する。その後でエッジ装置42の制御部81が、メモリ部83に保存された検出生信号(WX(t)、WY(t)、WZ(t))を利用した信号処理を行う。そしてこの信号処理結果得られたノイズ成分低減後の検出信号(Wx(t)、Wy(t)、Wz(t))もメモリ部83に保存される。
このようにエッジ装置42で3軸加速度センサ72や3軸地磁気センサ74から収集された検出生信号(WX(t)、WY(t)、WZ(t))に対する信号処理を行うことで、活動量計4やセンサデバイス6の機能の簡素化が図れる。その結果として、活動量計4やセンサデバイス6単体のみならず、信号処理システム全体を安価にできる効果がある。
その後にエッジ装置42の行動推定部54に内蔵された行動推定エンジン56が、メモリ部83に保存されたノイズ成分低減後の検出信号(Wx(t)、Wy(t)、Wz(t))を利用して測定対象者2の行動推定処理あるいは状態推定処理、(測定対象者2あるいはそれ以外のユーザの)要求推定処理を行う。
また、このときの行動推定部54の処理を実行するハード構成63は、エッジ装置42に設置された信号検出部60に属するハード構成62内容(通信制御部86および制御部81、メモリ部83)が兼用する。
そして、エッジ装置が所有する行動推定部54の行動推定エンジン56が行う行動推定結果16がサーバ40に送信される。するとサーバ40ではその結果を利用してサービス提供内容が検討される。その後はサーバ40からエッジ装置42に対してサービス指示11が行われる。
ここで、上記で説明した内容以外は、図12を用いて既に説明した内容と一致する。
図12で説明したように活動量計4の信号検出部60の内部およびセンサデバイス6の信号検出部60の内部では、互いに直交する3軸(X軸およびY軸、Z軸)方向が予め設定されている。それと所定の基準(例えばz軸に沿った重力方向やy軸に沿った地磁気の方向など)との関係を、図14と図15と図16を用いて詳細に説明する。
例えば図14に示すように、活動量計4を装着した測定対象者2の腕120から中指に向かう方向をY軸と設定する。また説明の便宜上、測定対象者2が台車を押すときの作用方向100(測定対象者2が力を及ぼす方向)をY軸方向と一致させる。
また測定対象者の手の甲に垂直な軸方向をZ軸方向と設定し、Y軸およびZ軸と直行する方向(測定対象者2の小指から親指へ向かう方向)をX軸と設定する。またその座標軸に応じて、3軸加速度センサ72からはX軸方向、Y軸方向およびZ軸方向の加速度波形(検出生信号WX(t)、WY(t)、WZ(t))が得られる。
それと同時に3軸地磁気センサ74からは、X軸およびY軸、Z軸方向の磁界強度信号(検出生信号を意味するWX(t)、WY(t)、WZ(t)と記述してもよいし、加速度波形との違いを出すためにWX*(t)、WY*(t)、WZ*(t)と記述してもよい)が得られる。
一方、基準A(地磁気方向)102に沿った方向をy軸(南極方向114から北極方向112に向かう方向)と定義する。また西方向から東方向に向かう方向をx軸と定義する。多くの場合Y軸方向とy軸方向とは一致せずに互いに傾きを持つため、Wx(t)とWy(t)の波形は検出生信号として直接は検出されない。
図15では説明の便宜上、X軸とx軸が一致した場合の説明を行う。ここで、床面128上を北に向かって台車122を移動させた場合には、この台車122の移動方向はy軸方向と一致する。ここで重力方向を基準B_104としてz軸を定義すると、y軸とz軸は互いに直交する。
図15が示すように、測定対象者2が台車122を押す方向(Y軸の作用方向100)は、重力に垂直な面118に対してθyzの傾きを持つ。また前述したようにY軸方向とZ軸方向は互いに直交するため、z軸とZ軸間の傾き角もθyzとなる。
y軸方向で得られるべき仮想的な加速度波形Wy(t)の時間変化を、図15の右側に示す。最初台車122が静止していた状態(Wy(t)=0の状態)で測定対象者2が台車122を押し始めると、台車122の動き始めに応じてWy(t)波形が時間経過とともに上昇する。
このときの重力方向(z軸方向)で得られるべき仮想的な加速度波形の時間変化をWz(t)で表す。活動量計4には常に一定な重力加速度が働くため、Wz(t)には常に重力加速度Gに相当する直流成分が加算されている。
その際、台車122が移動する床面128に凹凸がある場合、台車122の移動に応じてWz(t)にこの凹凸に対応した加速度成分(ノイズ成分)が混入する。
図15の右側に記載されたWy(t)波形もWy(t)波形も3軸加速度センサ72(または3軸地磁気センサ74)からは検出生信号として直接の収集は出来ない。しかし上記の角度θyzを利用すれば、3軸加速度センサ72(または3軸地磁気センサ74)直接収集可能な検出生信号WZ(t)とWY(t)からWz(t)とWy(t)を算出できる。
本実施形態(信号処理システム)では、センサデバイス(活動量計)4とセンサデバイス6の各種センサから得られる検出生信号WX(t)、WY(t)、WZ(t)を利用して基準A(地磁気方向)102や基準B(重力方向)104を抽出する。それには精度良く(検出生信号に混入するノイズ成分を低減して)所定の基準(方向)を抽出する必要が有る。
図15に対する応用例を図16に示す。図15では測定対象者2の腕120に装着した活動量計4からの検出生信号を利用した信号処理/測定対象者2の行動推定を行い、測定対象者2の行動履歴分析を経て業務改善(作業工程の改善)につなげたり、必要なサービス提供を行う。また測定対象者2の行動推定はそれに限らず、例えば台車122など所定の物体の一部にセンサデバイス6を(貼り付けなどで)固定し、このセンサデバイス6から収集した検出生信号単体から信号処理/行動推定⇒行動履歴/業務改善やサービス提供を行ってもよい。また更に、活動量計4からの検出生信号とセンサデバイス6からの検出生信号を組み合わせてもよい。両者を組み合わせることで測定対象者2の行動推定が高まり、より適切な業務改善立案やサービス提供が可能となる効果が生まれる。
また本実施形態システム(信号処理システム)ではエッジ装置42が駆動デバイス44を操作して(測定対象者2またはその他のユーザに対して)サービスを提供できることを、図12と図13の説明で記述した。それに対応して駆動デバイス44の一種に相当する電動モータ(駆動デバイス)124と発光素子またはスピーカ(駆動デバイス)126が装備されている。
そして行動推定エンジン56(図12および図13)での行動推定結果16として、『測定対象者2が台車移動中20』と判定した、サーバ40からのサービス指示11に基づき電動モータ124が動くと共に発光素子の発光またはスピーカからの音声出力が行われる。測定対象者2の台車移動中20に電動モータ124が自動的に動き出すことで、測定対象者2に対して台車移動への負担を軽減できる効果が生まれる。また発光素子の発光またはスピーカからの音声出力により、台車移動に伴う第三者への『注意喚起』が自動的に行える。その結果として、安全に(第三者との間の不用意な接触防止)台車移動を可能にする効果も生まれる。
まず始めに、検出生信号内に混入するノイズ成分の混入経路の説明から行う。図12もしくは図13が示すように、信号検出部60の内部では各種センサ72、74から得られた微弱信号が信号増幅群76で信号増幅され、A/Dコンバータ78を経てデジタル信号に変換される。
上記方法で抽出した角度θを利用し、各種センサ72、74からの検出生信号WZ(t)、WY(t)、WX(t)から所定方向の信号成分を生成する方法を以下に説明する。
静止中の台車122を測定対象者2が押し、台車122が動き始めたときに直接的あるいは間接的に得られる検出信号の時間変化を図17に示す。ここでは便宜上、図16と同じ座標軸の取り方(X軸とx軸が一致する場合)を想定する。
台車122が動き始めると図17(a)が示すように、台車の移動方向(y軸方向)での加速度波形Wy(t)は時間経過とともに増加する。一方、重力方向(z軸方向)での加速度波形Wz(t)は、常に存在する重力加速度成分G(直流成分)に加算される形で、床面128の凹凸形状に対応した加速度変化が現れる(図17(b))。
なお、先に図15を用いて説明したように、活動量計4内で予め設定されたY軸方向は重力に垂直な面118に対して角度θyzだけ傾く。そのため角度θyzに応じてWz(t)のノイズ成分(床面128の凹凸形状に対応)が検出生信号WY(t)に混入される。
標準的な身長を持った測定対象者2が台車122を押した場合のθyzをθsで表す。そして、θyz=θsのときに活動量計4の加速度センサ72のY軸方向から収集される検出生信号“WY(t)|θyz=θs”は、図17(d)の波形となる。
また、標準よりも身長の低い測定対象者142が台車122を押したときには、θyz<θsとなる。この場合には、検出生信号“WY(t)|θyz<θs”へのWz(t)ノイズ成分(床面128の凹凸形状に対応)の混入量は相対的に少なくなる。その結果、図17(c)に示す波形が得られる。
一方で、標準より身長の高い測定対象者144が台車122を押したときには、θyz>θsとなる。この場合には、検出生信号“WY(t)|θyz>θs”へのWz(t)ノイズ成分(床面128の凹凸形状に対応)の混入量は相対的に大きくなる。その結果、図17(e)に示す波形が得られる。
本実施形態では図17(c)あるいは図17(e)に示す検出生信号に対して何らかの信号処理を施して、測定対象者2の身長の影響を軽減する。このように測定対象者2の身長の影響を軽減する信号処理結果を用いて測定対象者2の行動推定(あるいは状況推定)を行うことで、行動推定(あるいは状況推定)の判定精度が高まる効果が生じる。
測定対象者2の身長の影響を軽減する方法として、図17(c)あるいは図17(e)に示す検出生信号からθyz=θs時の検出信号“WY(t)|θyz=θs”に変換して行動推定(あるいは状況推定)を行ってもよい。
またそれに限らず例えば、図17(c)あるいは図17(e)に示す検出生信号からθyz=0となるときの検出生信号Wy(t)に変換して、行動推定(あるいは状況推定)を行ってもよい。
ところで、本実施形態システム(行動推定システム52)では、行動推定の基礎となる波形(正解波形)と実際の波形をマッチングさせ行動推定を行っているが、具体的にいずれの伸縮マッチング手法を採ってもよい。その伸縮マッチング手法の一例としてDPマッチング(動的計画法(Dynamic Programing)によるマッチング手法)を例に挙げ、図18〜図20を用いて説明をする。なお、本実施形態システム(信号処理システム)ではそれに限らず、いかなるマッチング手法を推定処理に用いてもよい。
事前に測定した標準測定加速度波形(サンプルデータ)の例を図18(a)に示す。初期には静止状態だった台車122を測定対象者2が押して台車122が動き始めると、台車122の移動方向(y軸方向)での加速度は“0”から時間経過に伴って増加し、速度が一定に近付くと検出される加速度は低下する(図18(a))。
図18の横軸メモリは、サイクル期間(例えば50mS)を表す。このサイクル期間毎に収集された標準測定加速度波形(サンプルデータ)の便宜上の値を、図18の各グラフに明示した。
標準身長とは異なる身長の測定対象者2がゆっくりと台車122を押した場合を考える。標準測定加速度波形(サンプルデータ)を事前に収集するときの標準身長の測定対象者140が台車122を押し始めたときの行動速度(作業速度)を“標準速度”とする。そして今回の測定対象者2が台車122を押し始めたときの行動速度(作業速度)が“標準速度”より遅い場合のY軸方向の検出生信号WY(t)を図18(b)に示す。
図2を用いて説明したようにY軸方向の検出生信号WY(t)には、重力に起因するQ42Lの低周波数成分(直流成分)が常に重畳されている。また標準測定加速度波形(サンプルデータ)(図18(a))と比べ、今回は測定対象者2がゆっくりと台車122を押した。そのため図18(b)の加速度変化量は、図18(b)が標準測定加速度波形(サンプルデータ)よりも小さい。
図18(b)の検出生信号WY(t)から重力成分Q42Lを引き差った後、(5)式または(7)式を用いて変換後の標準測定加速度に変換する。そしてその結果の振幅値が図18(a)と一致するように振幅値の規格化後の特性を図18(c)に示す。
振幅値規格化後の図18(c)では最大信号振幅が、図18(a)の標準測定加速度波形(サンプルデータ)と一致する。しかし測定対象者2がゆっくり台車122を押したため、時間軸方向での信号変化の度合いが小さく(遅く)なっている。
本実施形態システム(行動推定システム52)で採用する伸縮マッチング手法は、図18(a)と図18(c)との間の時間軸方向の伸び縮の違いを自動的に補正しながら両者の一致度を計算できる。従って測定対象者2の行動速度の違いもしくはセンサデバイス6で得られる固定物体に対応した処理速度の違いを補正しながらパターンマッチングができるため、行動速度(処理速度)のばらつきに拠らず正確なパターンマッチング判定が行える効果がある。
図19の横軸方向に図18(c)の波形を、また図19の縦軸方向に図18(a)の波形を転記する。図19では横軸方向のパターン振幅と縦軸方向のパターン振幅が一致している。そして系列になっているデータ同士の類似度を比較する方法であるDPマッチング手法(上述)では、互いの振幅値が類似する交点間の繋がり(矢印)を最適経路と見なし、最適経路を順次探索する。この最適経路探索が、行動速度(処理速度)のばらつきを吸収する処理となっている。
次に上記最適経路探索方法を説明する。図19に示した“拡大領域”を拡大して、図20に示す。図20の記載例では経過時間がサイクル期間だけ進んだときに横軸方向での振幅変化は“7”から“11”に変化するに対し、縦軸方向での振幅は“8”から“13”に変化する。このときの経路候補は3通り存在する。すなわち経路(1)では横方向への移動、経路(2)では斜め上方向への移動、経路(3)では縦方向への移動となる。
始めに経路(1)を通過後のサンプルデータとのずれ量の二乗の値を計算する。経路(1)を通過後の縦軸方向の振幅値は“8”のまま変化しない。一方で横軸方向の振幅値は“7”から“11”に変化する。その結果として経路(1)通過後の振幅値のずれ量の二乗は、(8−11)=9となる。
次に経路(2)で斜め上方向に進んだ場合には、経路(2)通過後の横軸方向の振幅値が“11”になり、縦軸方向の振幅値が“13”となる。その結果として両者間のずれ量の二乗は、(13−11)=4が得られる。
同様に経路(3)を通過した場合には、横軸方向の振幅値は“7”のまま変化しないが、縦軸方向の振幅値が“8”から“13”に変化する。その結果として経路(3)通過後のデータ間のずれ量の二乗は(13−7)=36となる。
このDPマッチング手法では、経路通過後のずれ量の二乗値が最も小さい経路を自動的に選択する。従って図20に示した例では、ずれ量の二乗値が最も小さい“4”をもつ経路(2)が自動的に選択される。このように最適経路が自動選択される結果として、図18(a)と図18(c)の関係のように時間軸方向での伸び縮みが変化するパターン同士のマッチングを取れる。
次に統計処理用蓄積期間内での変換後の標準測定加速度と標準測定加速度波形(サンプルデータ)との間での誤差量を算出する方法を説明する。図20に示した升目(サイクル期間)毎に算出される最適経路通過時のずれ量の二乗値を統計処理用蓄積期間内で合計し、その合計値のルートの値に関して、パターンマッチング度を示す“ユークリッド距離”と呼ぶ。図19の記載例では、上記のユークリッド距離は2.83となる。
測定対象者2の行動推定候補が複数存在する(複数種類の標準測定加速度波形(サンプルデータ)が準備されている)場合には、異なる標準測定加速度波形(サンプルデータ)毎に変換後の標準測定加速度との間のユークリッド距離を計算し、このユークリッド距離が最も小さい行動推定候補に測定対象者2の行動が類似していると判定する。
一方で、図1(b)のように測定対象者2の行動が台車移動22に合致するか否かを行動推定したい場合には、唯一の標準測定加速度波形(サンプルデータ)しか事前に準備されて無い。従ってこの場合には、上記標準測定加速度波形(サンプルデータ)と変換後の標準測定加速度との間のユークリッド距離を計算し、算出されたユークリッド距離の値が所定の閾値以下にあるか否かで行動推定(あるいは状態推定などの推定処理を)する。
先に図12および図13を用いて説明した行動推定システム52を別のハード構成で実現した他の実施形態を図21に示す。行動推定システム52は信号検出部60と行動推定部54から構成される。ここで、信号検出部60内にはメモリ部(出力波形データ記憶部)82と出力波形データ/加速度抽出部160、角度抽出部164、座標変換部166、フィルタ部162および制御部(制御管理部)80の一部が含まれる。
また、行動推定部54には標準測定対象者データ(マッチング比較の対象者となるサンプルデータ)の記憶部170とフィードバックデータ用データ記憶部176、フィードバック用データ処理部178、閾値変更判定部182、閾値変更部184、動作判定部172、動作判定用閾値記憶部174および制御部(制御管理部)80の一部が含まれる。
ここで、メモリ部(出力波形データ記憶部)82には、活動量形4から測定されたデータ(検出生信号)が格納される。ここでこのメモリ部(出力波形データ記憶部)82は、図12または図13のメモリ部82に相当する。
また、出力波形データ/加速度抽出部160は、図12もしくは図13の検出生信号生成90の機能を果たす。そしてこの出力波形データ/加速度抽出部160に関する具体的なハード構造は、図12もしくは図13の3軸加速度センサ72および信号増幅器群76、A/Dコンバータ78に対応する。
一方で、フィルタ部162の機能は、図12を用いて説明したローパスフィルタ処理138の機能と一致する。すなわちこのフィルタ部162で、出力波形データ/加速度抽出部160から出力された加速度値から重力加速度成分Q41L、Q42L、Q43Lを抽出する。このローパスフィルタリングの処理内容として従来技術のローパスフィルタ特性を利用してもよいし、それに限らず例えば平均値を取得するフィルタリング方法などを利用してもよい。 図21の角度抽出部164とフィルタ部162を組み合わせた機能が、図12もしくは図13の基準方向抽出92と角度抽出94に対応する。すなわちこの角度抽出部164では測定対象者2の台車122を押す腕120の角度θyz(図16参照)を算出する。この角度抽出には前述したように、測定対象者の腕120に装着したリストバンド形活動量計(センサデバイス)4で測定された加速度値に含まれる重力成分と三角関数を用て角度θyzの算出を行う。
座標変換部166で、図12または図13のノイズ成分低減後の検出信号生成(信号処理)96の機能を担う。すなわち3軸加速度センサ72から取得した測定加速度波形(検出生信号)WX(t)、WY(t)、WZ(t)から(5)式もしくは(7)式を用いて、変換後の標準測定加速度への回転変換(信号処理)をここで行う。このときには、重力値を利用した角度抽出部164から算出された角度dθyzを利用する。
また標準測定対象者データ(マッチング比較の対象となるサンプルデータ)の記憶部170では、標準測定加速度波形(サンプルデータ)の記憶を行う。
次のフィードバック用データ記憶部176は、後述するフィードバックデータ処理部で出力したデータを記憶する。
ところで、図8を用いて測定対象者2の腕120の角度θ(θyz)に対する変換後の標準測定加速度と測定加速度波形(検出生信号)間の誤差特性(あるいは標準測定加速度波形(サンプルデータ)に対するユークリッド距離特性)を説明した。この特性を、前記のフィードバック用データ記憶部176に記憶する。
動作判定部172で、測定対象者2の測定対象時刻における行動が台車移動20を行ったかどうかを判定する。この判定には図8の特性が利用され、判定の判断基準には測定対象者の行動推定時の判断閾値150の情報が利用される。
ここで上記の測定対象者の行動推定時の判断閾値150の情報が、この動作判定用閾値記憶部174に格納される。
図8を用いて説明したように、測定対象者2の腕120の角度θyzに対する変換後の標準測定加速度と測定加速度波形(検出生信号)間の誤差量または標準測定加速度波形(サンプルデータ)と比較したユークリッド距離をサイクル毎にリアルタイムで適宜計算している。そして閾値変更判定部182では、上記の誤差量またはユークリッド距離が測定対象者の行動推定時の判断閾値150を超えたか否かをリアルタイムに(サイクル毎に)モニターしている。もし上記の誤差量またはユークリッド距離が上記判定閾値150を超えた場合には、閾値変更判定部182に情報伝達して上記判定閾値150を変更させる。
そしてこの閾値変更部184では、閾値変更判定部182からの伝達情報に基づき、測定対象者の行動推定時の判断閾値150の変更制御を行う。
ここまでで、本実施形態システム(信号処理システム)で行われる信号処理の一例として、リストバンド形活動量計(センサデバイス)4に内蔵された3軸加速度センサ72から収集される検出生信号WX(t)、WY(t)、WZ(t)を用いて台車122を押すときの測定対象者2の腕120の角度θyzをで抽出し、θyz=θsになったときに得られるべき検出信号に回転変換する方法を説明した。
ところで、本実施形態の説明文の冒頭で、本実施形態の基本的内容を(1)〜(7)の箇条書きでまとめた。この内容を図21で示した行動推定システム52で具体的に実施する方法例を以下に説明する。
測定対象者2の行動推定結果の利用方法として前述したように、(7)サービス提供や(6)業務(作業工程)改善の提案などが行える。ここで(7)のサービス提供を目的とした場合には、上記行動推定にはリアルタイム性が要求される。
一方で(6)の業務(作業工程)改善の提案の場合にはリアルタイム性が要求されず、下記のバッチ処理の対応が可能となる。まず始めに、行動推定をバッチ処理で行う方法に付いて説明する。また測定対象者2の行動の一例として、活動量計4を腕120に装着して台車122を押したときの説明を行う。
次に測定対象者2の行動データ収集日から日を改めて(後日に)メモリ部(出力波形データ記憶部)82に保存されたデータを読み出して、測定対象者2の行動推定までの処理あるいは(6)の業務改善(作業工程の改善)に至る一連の処理をまとめて行って(バッチ処理して)もよい。
上記のバッチ処理時には、制御部(制御管理部)80がメモリ部(出力波形データ記憶部)82から検出生信号WX(t)、WY(t)、WZ(t)を読み出し、角度抽出部164へ転送する。
この角度抽出部164では図3で説明したローパスフィルタ処理138の機能が内蔵されており、Q41LおよびQ42L、Q43Lの値を算出する。次に図2から求めた(1)式〜(3)式を利用してθyzなどを計算した後、dθyzなどを算出する。
そして座標変換部166では、図4から得た(5)式あるいは図4、図9、図10から得た(7)式を利用して検出生信号WX(t)、WY(t)、WZ(t)を回転変換(信号処理)し、変換後の標準測定加速度WXs(t)、WYs(t)、WZs(t)を算出する。
測定対象者2の行動推定方法として、既に(A)〜(C)の方法(あるいはそれらの組み合わせ方法)を説明した。ここでは、その中の(A)回転変換(信号処理)前後での検出信号間の分散と不規則性判定を行動推定に利用した例に付いて説明する。
すなわち図21の動作判定部172で測定加速度波形(検出生信号)WX(t)、WY(t)、WZ(t)と回転座標変換後の標準測定加速度WXs(t)、WYs(t)、WZs(t)との間の誤差と予め設定した所定閾値との比較を行う。そして前記の誤差量が所定閾値以内にある場合には、測定対象者2が台車122を移動させていると判定する。一方で所定閾値を超えている場合には、測定対象者2が台車122を移動させて無いと判定する。
またこれと並行して、重力に垂直な面118と作用方向(Y軸方向)100とのなす角度θ(θyz)毎の測定加速度波形(検出生信号)WX(t)、WY(t)、WZ(t)と回転座標変換後の標準測定加速度WXs(t)、WYs(t)、WZs(t)との間の誤差量の関係をフィードバックデータ処理部178が抽出する。そしてその抽出結果をフィードバック用データ記憶部176に記録する。
ところで、上記処理をバッチ処理しているため、フィードバック用データ記憶部176に記録するデータは、前日測定した測定対象者2の2、3時間分の連続したデータあるいは1日分のデータを一度にまとめて記録できる。
その後(抽出結果をフィードバック用データ記憶部176に記録した日の後日でもよい)、フィードバックデータ処理部178がフィードバック用データ記憶部176に記録されたデータを統計解析して、図8に示した特性グラフを作成する。
図8では測定対象者行動推定時の判定閾値150は角度θに拠らず一定値となっている。しかしそれに限らず、判定閾値150を角度θに合わせて適宜再設定してもよい。
もしも、判定閾値150を角度θに合わせて再設定する場合には、閾値変更部184で変更後の閾値を設定する。そして、再設定された角度θに対応した変更後の閾値は、適宜に動作判定用閾値記憶部174に記憶される。ここで閾値変更部184での閾値再設定の必要があるか否かを閾値変更判定部182で判断する。そして閾値再設定の必要が生じた場合には、その情報を閾値変更判定部182から閾値変更部184へ伝達される。
図21で示した行動推定システム52で行う処理フローに関する他の実施例を、図22A〜図22Cを用いて説明する。
StepSで行動推定システム52の処理が開始されると、StepA1では標準身長の測定対象者140が台車122を移動させた加速度波形データを測定し、標準測定対象者データ(マッチング比較の対象となるサンプルデータ)の記憶部170に標準測定加速度波形(サンプルデータ)として記憶される。
その後にStepA2として、出力波形データ/加速度抽出部160が測定対象者2からの検出生信号(測定加速度波形(検出生信号))を取得する。
するとStepB1ではフィルタ部162で重力加速度の分解成分(G41LおよびG42L)を抽出する。(図3参照)。そしてStepB2において角度抽出部164で、上記取得したQ41L、Q42Lから測定対象者2の腕120の傾き角度θ(θyz)を算出する。このときには図2を用いて求めた(1)式もしくは(2)式、(3)式を利用する。ここで角度θ(θyz)を算出する方法として、『設定1:(1)式を利用してθ(θyz)を算出する方法』もしくは『設定2:(2)式を用いてθ(θyz)を算出する方法』あるいは『設定3:(3)式を用いてθ(θyz)を算出する方法』のいずれかを用いてもよい。またそれのみに限らず、『設定4:(1)式と(2)式で得られたθ(θyz)値の間の平均値を利用する方法』でもよい。更に、『設定5:(1)式、(2)式および(3)式で得られたθ(θyz)のすべての値の平均を利用する方法』でもよい。
次にStepB3では座標変換部166で、測定加速度波形(検出生信号)WX(t)、WY(t)、WZ(t)から変換後の標準測定加速度への回転変換(信号処理)を行う。ここでこの回転変換(信号処理)には、前述した(5)式もしくは(7)式を利用する。
既に説明したように、本実施形態システム(行動推定システム52)では“行動推定の判定期間”≧“統計処理用蓄積期間”≧“サイクル期間”の関係がある。また図22AにおけるStepA2からStepB3に至る1回の処理フローは、1サイクルの処理を意味している。従って、本行動推定システム52で測定対象者2の行動推定を行うには、最初は最低でも“行動推定の判定期間”に相当する回数だけサイクルを繰り返す必要がある(例えば“行動推定の判定期間”を4秒、“サイクル期間”を50mSの場合には、最初は最低でも80回だけStepA2からStepB3に至る処理フローを繰り返す必要がある)。
StepB5ではそれに対応して、所定回数分だけ上記サイクルを繰り返したか否かを判定する。もし所定回数に未達の場合には、出力波形データ/加速度抽出部160で1サイクル分進めて(インクリメントして)StepA2からStepB3に至る次の処理フロー(サイクル)を開始させる(StepB10)。一方で既に所定回数分だけサイクルを繰り返した後で行動推定処理が実行できる場合には、StepB4へ進む。
StepB4で行う測定対象者2の行動推定処理の例として(下記の(A)の場合には)、測定加速度波形(検出生信号)と変換後の標準測定加速度との間の誤差が閾値条件を満足するかの判定を動作判定部172で行う。しかし本実施形態システム(行動推定システム52)で行う具体的な行動推定処理方法としては、前述した
(A)回転変換(信号処理)前後での検出信号間の分散と不規則性判定
(B)変換後の標準測定加速度とサンプルデータ間の類似度判定
(C)変換後の標準測定加速度とサンプルデータ間の伸縮マッチング判定
のいずれかまたはその組み合わせを行ってもよい。
上記の行動推定の判定結果として閾値条件を満たさない場合には、動作判定部172から対象時刻には測定対象者2が台車122を移動させてないと判定出力する(StepB7)。
一方、StepB6の判定結果で誤差の値が閾値条件を満たす場合には、動作判定部172は対象時刻に台車移動していると判定出力する(StepB8)。また図示して無いが測定対象者2が台車移動中20と行動推定した場合には必要に応じ、エッジ装置42とサーバ40が協調してサービス提供や測定対象者2の行動履歴に基づく業務改善10の提案を行う(図1、図11〜図13)。
このStepA2からStepB7/B8に至る処理は行動推定処理またはサービス提供処理が完了するまで繰り返される。すなわちStepB9において測定データの該当区間を全て処理済みか否かを判定し、行動推定処理またはサービス提供処理が完了した場合には一連の処理を終了させる(StepE)。片や行動推定処理またはサービス提供処理が完了して無い状態の場合には、StepB10を経由してStepA2に戻る。
またこれら一連の処理と連動して、図8を用いて説明したような測定対象者の行動推定時の判定閾値150の変更を適宜実施する(図22C)。
すなわち図22Bの一連の処理を進めながらフィードバック用データ処理部178において、図8に示す測定対象者2の腕120の角度θ(θyz)に対する測定加速度波形(検出生信号)と変換後の標準測定加速度との間の誤差量(または標準測定加速度波形(サンプルデータ)と比較して算出されたユークリッド距離)の特性を割り出す。そしてその結果をフィードバックデータ記憶部176に記録する(StepC1)。
次にフィードバック用データ処理部178がフィードバック用データ記憶部176から上記の特性データを読み出し、角度θ(θyz)毎の統計処理を行い、その結果から測定対象者に対する行動推定部時の判定値150(マッチング閾値)の補正値を算出する。そこで算出された補正値は、フィードバック用データ記憶部176に格納される(StepC2)。
その結果をフィードバック用データ記憶部176から読み出し、閾値変更判定部182が角度θ(θyz)毎の角度誤差が設定値(例えば15%)を超えるか否かを判定する(StepC3)。ここでもし超えない場合には特定の処理をせずに、StepB4以降の処理を続ける。
もし前記の設定値を超える場合には(StepC3判定結果)、抽出した角度θ(θyz)に応じたマッチング判定に使用する閾値(測定対象者行動推定時の判定閾値150)の補正変更を閾値変更部184が行う(StepC4)。
図22A〜図22Cを用いた上記の説明は、測定対象者2が台車移動20を行ったときの行動推定を例とした。しかし、本実施形態システム(行動推定システム52)は測定対象者2の台車20に限らず、他のあらゆる行動に対する行動推定に適用することができる。更に特定の測定対象者2に限らず、例えば図16で示したように台車122の一部あるいは被運搬物8等の所定の物体(図25(a))に固定したセンサデバイス6から得られる検出信号を利用した状態推定(所定物体の状態に対する推定)を行ってもよい。
ところで、図2と図15での角度θyzの採り方は、リストバンド形活動量計(センサデバイス)4内部に予め設定された座標軸(Y軸とZ軸)を基準線にしている。そして、その基準線(Y軸とZ軸)からの回転角を反時計回り方向に角度θyzを設定している。しかしそれに限らず、図23と図24に示すように時計回り方向に角度θyz’を設定してもよい。また同様に、重力方向や床面方向に沿ったz軸やy軸を基準線に採って反時計回り方向に角度θyz’を設定してもよい。
ここまで説明した台車移動20に的を絞った実施形態以外の他の応用例について、以下に説明する。測定対象者2が台車122を用いず、直接手に持って被運搬物8を運搬するときの状態推定方法例を図25(a)に示す。
図25でも、図14および図15、図16と同様な座標軸方向を定義する。すなわち測定対象者2が装着するリストバンド形活動量計(センサデバイス)4内では、測定対象者の腕120から指へ向かう方向をY軸、それと直交し左手の小指から親指方向に方向をX軸、手の甲に垂直な軸方向をZ軸と定める。
また、基準B(重力)104の方向をz軸、基準A(地磁気方向)102の方向をy軸と定義する。そして前述した同様の方法で、リストバンド形活動量計(センサデバイス)4に内蔵された3軸加速度センサ72と3軸地磁気センサ74から収集された検出生信号から基準B(重力)104と基準A(地磁気方向)102が抽出される。ここで説明の簡素化のため、暫定的にx軸の方向とX軸の方向を一致させる。
測定対象者2が特定の運搬物を持たず手ぶら状態で歩行するときには、Y軸方向がz軸方向に近付く。それと比べると測定対象者2が特定の被運搬物8を持って歩行する場合には、z軸の垂直方向にY軸が向く。従ってY軸のx軸とy軸、z軸との関係を調べるだけで、測定対象者2が手ぶら状態か特定の被運搬物8を持つかの推測が付く。従ってこの応用例では始めに、Y軸方向を調べる。
ここでY軸がz軸方向とは異なる方向を向いている場合には、3軸加速度センサ72から得られるY軸方向の検出生信号WY(t)のみから測定対象者2のおよその移動状態が推定できる。
しかし図25(a)のように測定対象者2が被運搬物8を持ちながら移動(歩行)する場合、被運搬物8は若干上下動する。従ってこの被運搬物8の上下動の移動成分が、3軸加速度センサ72から収集される検出生信号WX(t)とWY(t)に外乱ノイズとして混入する。
ところで、被運搬物8の上下動に伴う外乱ノイズ成分Wz(t)は、3軸加速度センサ72から収集される検出生信号WX(t)に最も大きく表れる。従ってWX(t)に現れる外乱ノイズ成分Wz(t)を利用して、WX(t)とWY(t)に混入される外乱ノイズ成分を低減できる。
本実施形態システム(信号処理システム)では、1個または複数のセンサから時間経過と共に変化する複数の検出生信号を収集し、複数(一部でも可)の検出生信号間に跨った信号処理を行い、ノイズ低減や特定信号成分の抽出を行う。この特定信号成分の抽出の一例として図3のローパスフィルタ処理138後に得た所定周波数成分Q41LやQ42L、Q43Lから(1)式〜(3)式を用いて所定の基準の抽出方法例を説明した。しかしそれに限らず本実施形態では、他のあらゆる処理方法を用いて特定信号成分の抽出を行ってもよい。またこのときに行う信号処理例として、図25(c)に示す(4)式または(6)式を利用した処理を行ってもよい。しかしそれに限らず、例えば図25(d)に示すベクトル演算など他の任意の信号処理方法を採用してもよい。
そして、被運搬物8の上下動に起因する外乱ノイズ成分Wz(t)を低減後の検出信号生成(信号処理)96(図12または図13)された結果を用いて精度の高い行動推定が可能となる効果がある。また、その行動推定結果16に基づき駆動デバイス44を駆動させてユーザに対するサービスを提供する場合には、より的確なサービスを提供できる。
また更なる応用例として、複数のセンサから得られる検出生信号を組み合わせて精度の高い検出/行動推定/サービス提供を行える。複数のセンサから得られる検出生信号を組み合わせる方法として、図12または図13の3軸加速度センサ72から収集される検出生信号と位置検出機能98を組み合わせてもよい。すなわち3軸加速度センサ72から収集される検出生信号を信号処理(信号演算)してリストバンド形活動量計(センサデバイス)4の相対位置が推定できる。この推定結果に前述した位置検出機能98の結果をフィードバックすることで、リストバンド形活動量計(センサデバイス)4の位置検出精度が向上する。
次に他の応用例として、図1(a)に示すリストバンド形活動量計(センサデバイス)4から収集される検出生信号と台車122などの所定の物体に固定したセンサデバイス6から収集される検出生信号とを組み合わせて検出精度を向上させる方法を図26に示す。既に説明したようにセンサデバイス6の中にも3軸加速度センサ72と3軸地磁気センサ74が内蔵されていると共に、通信制御部84を利用した位置検出機能98も備わっている。
従ってリストバンド形活動量計(センサデバイス)4内(Step1)とセンサデバイス6内(Step2)で並行して重力方向(基準B)104を抽出する。ここで前記センサデバイス6は、図16のように台車122の一部に固定してもよいし、図25に沿って被運搬物8自体に直接固定してもよい。
次にそれぞれ抽出した重力方向(基準B)104の角度θyzを基準とし、リストバンド形活動量計(センサデバイス)4内(Step3)とセンサデバイス6内(Step4)で並行して検出生信号に対する信号処理を行い、ノイズ成分の低減化を行う。
その後は上記のノイズ成分低減した結果を基にしてエッジ装置42の行動推定エンジン56が、リストバンド形活動量計(センサデバイス)4に対して(Step5)とセンサデバイス6に対して(Step6)それぞれ行動推定判定を実施する。
ここでStep7に示すように精度の高い行動推定が必要かを判定する。もし精度が高い行動推定が必要でない場合には、リストバンド形活動量計(センサデバイス)4のみから得られたデータを基にした行動推定結果のみを利用して(Step8)、測定対象者2毎の行動履歴に基づく業務改善提案やサービス提供(Step11)または終了処理(Step14)を実施する。
一方でStep7の判定結果として精度の高い行動推定が必要な場合には、リストバンド形活動量計(センサデバイス)4からの行動推定判定結果とセンサデバイス6からの行動推定判定結果を組み合わせる(Step9)。
このStep9の判定結果に基づき、測定対象者2毎の行動履歴に基づく業務改善提案やサービス提供(Step11)または終了処理(Step14)の選択を行う。
図22BのStepB9と同様、一回のサイクル期間を一巡としてStep1/Step2からStep11に至る処理は行動推定処理またはサービス提供処理が完了するまで繰り返される。そして処理を繰り返すか否かの判定をStep12で行う。またStep12で行動推定処理または業務改善提案/サービス提供処理が完了すると、一連の処理が終了する(Step13)。
このようにリストバンド活動量計(センサデバイス)4から得られた検出生信号のみからの推定行動結果とセンサデバイス6から得られる検出生信号のみから得られた行動推定結果を組み合わせることで、より精度の高い行動推定と質の高いサービス提供が行える効果が生まれる。
ここまでは測定対象者2の行動時の検出生信号を収集し、測定対象者2の行動推定を行う方法について説明した。しかしそれに限らず本実施形態システム(行動推定システム)では、(人や動物以外の)所定の物体から収集した検出生信号から対象物体の状態推定とそれに応じたサービス提供を行ってもよい。
例えばエレベータ室202に固定したセンサ(3軸加速度センサ72など)から得られる検出生信号WY(t)とWZ(t)を利用して、エレベータ室202自体の状態推定(および必要に応じたサービス提供)を行う応用例(図27)を説明する。
仮にエレベータ室202の固定台206に3軸加速度センサ72が傾いて固定された場合、3軸加速度センサ72内で設定されるZ軸の方向は基準B(重力)104に沿ったz軸に対して傾く。そしてエレベータ室202がz軸方向に上下動するときに発生するy軸方向の横揺れ成分208が、検出生信号WZ(t)とWY(t)に対してノイズ成分として混入する。
この場合にもローパスフィルタ処理138(図3)を利用してQ41LとQ42Lの成分を抽出し、(1)式を用いて3軸加速度センサ72の取り付け傾き角θyzが算出できる。
更にその結果を用いて、横揺れ成分208に相当するWy(t)とエレベータ室202の上下動のみを表す(横揺れ成分208の混入量が低減された)Wz(t)の各検出信号に分離する。
この算出結果Wz(t)を利用して、エッジ装置42の推定エンジン56でエレベータ室202が予定通り上下動しているか否かを判定する。仮に上下動時に予定とは異なる検出信号Wz(t)が得られた場合には、エレベータが故障していると見なして、エレベータ修理のサービスを提供する。
それと並行して検出信号Wy(t)から、エッジ装置42の推定エンジン56でエレベータ室202の上下動時に発生する横揺れ208の状態を監視する。仮にエレベータ室202の上下動時に異常な横揺れを発見した場合には、エレベータの修理のサービスを提供する。
このように本実施形態システム(行動推定システム52)を利用することで、同時に精度良く複数の異なる検出信号Wz(t)とWy(t)をモニターできる効果がある。
ここまでの説明では、センサとして加速度センサを中心に説明を行ってきた。しかしそれに限らず本実施形態では、角速度センサを利用してもよい。本実施形態をバスまたはトラック、乗用車210に適用した応用例を図28に示す。バスまたはトラック、乗用車210内に固定した3軸加速度センサ72から収集される検出生信号WX(t)とWY(t)、WZ(t)から基準B(重力方向)104を抽出し、それに基づいて回転座標変換もしくはベクトル合成によりz軸およびy軸、x軸方向の加速度成分Wx(t)とWy(t)、Wz(t)を抽出することでバスまたはトラック、乗用車210の上下動振動や加速、減速および左右方向の進路変更の状態を検出することが可能となる。図28に示した応用例では、バスまたはトラック、乗用車210の加速/減速方向がy軸方向を示し、z軸方向は基準Bに相当する重力方向104と一致する。また図示して無いが、バスまたはトラック、乗用車210が横に曲がる方向(進路変更方向)はx軸方向を向く。
またそれに限らず、バスまたはトラック、乗用車210のハンドル214に3軸角速度センサ212を固定部材50(接着剤など)を介して固定することで、運転時のハンドル操作の履歴を抽出してもよい。しかしこの場合の3軸角速度センサ212が検出するハンドル回転方向218には、バスまたはトラック、乗用車210の上下動振動や加速、減速および左右方向の進路変更が外乱ノイズとして混入される。
この外乱ノイズ対策として、3軸加速度センサ72から得られる検出生信号を利用して上記の3軸角速度センサ212からの検出生信号に対して信号処理し、外乱ノイズ成分を低減してもよい。3軸加速度センサ72から得られる検出生信号を利用して、3軸角速度センサ212に混入する外乱ノイズ成分を除去すると、ハンドル214の操作履歴を精度よく検出でき、運転手の行動推定や運転手もしくは乗客への適正なサービスを提供できるという効果が生まれる。
ここまでの説明では、基準102、104の例として地磁気方向や重力方向など固定された物理量が対応した。しかしそれに限らず本実施形態システム(信号処理システム)では、例えば所定の規定経路方向(例えば坂道の坂方向)を基準C(規定経路)106に設定してもよい。この応用例に関し図29Bを用いて説明する。
ここまで説明した実施例において基準B(重力)104を利用できる前提条件として、床面128が重力方向に対して垂直な方向を向く必要がある。しかし図29Aが示すように重力方向104に垂直な面に対し所定の傾き角μをもった坂道220に沿って測定対象者2が移動する場合、この坂道に沿った方向を新たな基準C(規定経路)106と設定すると測定対象者2の行動推定に効率がよい。
この重力方向104に垂直な面を有する床面128に対しμの傾き角を持つ坂道に沿った方向(測定対象者2が移動する方向)を新たな基準C(規定経路)106とし、その方向をu軸と、そしてそれに直交する方向(坂道220に沿った方向)をw軸と定義する。
この坂道220に沿った方向を基準C(規定経路)106に設定する方法として本実施形態では、複数の測定対象者2の移動経路を積算し、その統計処理結果に基づいて基準C(規定経路)106(の方向)規定/抽出する。
ところで、図12と図13で説明したように予め測定対象者2が移動する範囲内には、位置検出信号発生部46(A)〜(C)が配置されている。ここでこの位置検出信号発生部46(A)〜(C)からは無線通信を利用して発信時の時刻情報を逐次送信し続けている。そしてリストバンド型活動量計(センサーデバイス)4の通信制御部84で上記発信時の時刻情報を受け取り、受信時の時刻との時間のずれを検出し、三角法を用いて上記通信制御部84の位置情報を検出している。
測定対象者2が坂道220を登るときに、このリストバンド型活動量計(センサーデバイス)4の位置変化に関する履歴情報を(図12や図13のメモリ部82に)蓄積し、この蓄積された履歴情報から基準C(規定経路)106を抽出できる。
図29Aでは測定対象者2が坂道220登って台車122を押すときの、移動経路に関する履歴情報を利用している。しかしそれに限らず図29Bで示すように、リストバンド形活動量計(センサデバイス)4を装着した測定対象者2−1〜2−3が手ぶら状態で坂道220上を移動したときの移動経路履歴も使用してもよい。
次に図29Cを用い基準C(規定経路)106の方向抽出方法について説明する。図29Cでは、N人の測定対象者2の移動時の位置変化の履歴を利用して基準C(規定経路)106の抽出を行う。
まずはじめに初期数値としてn=0を設定(Step21)し、n番目の測定対象者2が装着している活動量計4の位置変化の履歴情報からn番目の測定対象者の移動経路を抽出する(Step23)。このプロセスを一巡する毎にStep22では、nの値を1ずつ増加させる。そしてnの値がNの値よりも越えるまで(Step24)移動経路履歴の抽出を繰り返すことで、N人の測定対象者の移動経路(位置変化の履歴情報)を逐次蓄積する。
一連のデータ収集を完了させた後、N人の測定対象者の移動経路を統計解析する(Step25)。その結果を利用してStep26では、測定対象者の進入禁止領域を抽出する。図29Aと図29Bが示すように坂道220を登る測定対象者2は坂道の下(床面128よりも下側の位置)を通過出来ない。従って図29Aや図29Bに示す坂道220の下側(坂道の地面の中)が前記の進入禁止領域となる。このように算出した測定対象者の進入禁止領域情報を利用して坂道220の傾斜角μを算出する(Step27)。
このように測定対象者2が通過した過去の履歴情報から基準となる規定経路(基準C(規定経路)106)の算出を行う(Step28)。
今まで説明した本実施形態およびその応用例は、加速度および角速度、磁界に関するセンサから収集される検出生信号を活用する方法を説明した。しかし本実施形態ではそれに限らず、あらゆる種類のセンサから検出されるあらゆる検出生信号を利用してもよい。他の応用例として図30では、光センサから得られる光電変換信号の利用例を示す。
この光センサの光電信号に基づく基準例として、日照方向を基準D_108に設定してもよい。例えば屋外での晴天日では、太陽230からの日光を利用して基準D(日照方向)108が抽出できる。
この基準D(日照方向)108を利用したユーザに対するサービス提供例として逆光状態の自動検出方法を図30に示す。すなわち撮影用カメラ252を用いた被写体232の撮影時に逆光状態か否かを自動検出し、被写体232の撮影状態の最適化が図れる。
屋外の晴天時に日照方向(基準D)108を抽出する場合には、上空を飛行中の飛行機(ノイズ源)234やヘリコプタ(ノイズ源)236が太陽230からの日光を遮るノイズ源になる。片や地上のノイズ源として、自動車238に装着されたカーライト(ノイズ源)246などの発光物体が至る所に存在する。これらのノイズ源が基準D(日照方向)108の抽出に悪影響を及ぼす場合がある。
ところで、上空を飛行する飛行機(ノイズ源)234やヘリコプタ(ノイズ源)236の影響で一時的に日光が遮光されても、この遮光状態は長期間連続しない。従って太陽230から照射される日光の検出光に含まれる低周波数成分を抽出(例えば図3のローパスフィルタ機能138の活用)こより、飛行機(ノイズ源)234やヘリコプタ(ノイズ源)236からの悪影響を除去できる。
また図30が示すように、撮影用カメラ252に設置された光センサ(太陽電池パネル262、264、266)の受光面が互いに非平行状態になっている。従って各光センサ(太陽電池パネル)262、264、266で検出される光電信号量の違いを利用して日照方向(基準D)108の方向を算出できる。この光センサ(太陽電池パネル262、264、266)は、撮影用カメラ252とは離れた位置に独自に設置されてもよい。
被写体232の撮影時刻が正午前後の場合には、太陽230は上空に存在するため、基準D(日照方向)108は地面に対してほぼ垂直方向(上空方向)を向く。それに比べて自動車238に装着されたカーライト(ノイズ源)246等の地上の発光源からの放出光は、地面の延長方向に近い角度から照射される。
この地上の発光源からの放出光と日照方向(基準D)108と角度の違いを利用して、ノイズ成分を除去できる。具体的には図3のローパスフィルタ処理138(遮断周波数fc以下の周波数成分の抽出)などを利用して精度良く基準D(日照方向)108を算出し、それを利用して光センサ(太陽電池パネル)262、264、266から個別に収集される検出生信号WX(t)およびWY(t)、WZ(t)を信号処理してノイズ成分が低減された日光の強度を算出する。
また逆光を検知したときのカメラマン250へのサービス提供手段として、撮影用カメラ252の絞り256(露光量調整用の駆動デバイスの一種)やライト258(駆動デバイス)を制御して逆光対策を行ってもよい。
この一連の処理方法例について、図31を用いて詳細に説明する。Step31で開始処理が、撮影用カメラ252を用いたカメラマン250の被写体232撮影直前の事前処理開始に相当する。
実際の撮影に先立ちStep32では、互いに直行するX軸およびY軸、Z軸方向に垂直な受光面を有する光センサ(太陽電池パネル)262、264、266から収集した検出生信号をローパスフィルタ処理(遮断周波数fc以下の信号成分を抽出することでノイズ源となる飛行機234やヘリコプタ236による遮光の影響の低減)を行う。
次にその結果に基づいて日照方向(基準D)108の抽出(Step33)を行う。この日照方向(基準D)108の抽出では、図2から算出された(1)式を利用する。
次にStep34では、抽出された日照方向(基準D)108方向と撮影用カメラ252が向く方向とを比較して、被写体232が逆光状態にあるか否かを判定する。もし被写体232が逆光状態でない場合にはStep34に示すようにそのままの状態で撮影を開始する。
一方で被写体232が逆光の状態であった場合には、カメラマン250に対するサービス提供例として、日光の強度に応じた下記の逆行対策を行う。
図30に示すように、地上に多数の発光源(ノイズ源)が存在する。そのため日光の強度算出には、Step35〜Step37の検出光量に対するノイズ低減策が必要となる。
各光センサ(太陽電池パネル)262、264、266から得られた検出光量(検出生信号WX(t)およびWY(t)、WZ(t)に対してローパスフィルタ処理138を施して所定の周波数成分Q41LおよびQ42L、Q43Lを抽出する。その結果に基づき基準D(日照方向)108の角度θyzを算出し、(4)式もしくは(6)式を用いた演算処理により、照射光量の算出ができる(Step35)。
また撮影時刻情報から太陽230の位置が予測できるので、地面と基準D(日照方向)108との角度も予想できる。その予想結果から、地上の発光源(ノイズ源)方向が推定でき、(4)式もしくは(6)式を用いた演算処理と同様な地上の発光源(ノイズ源)から混入するノイズ成分の算出(Step36)も可能となる。
ところで、地面に対して基準D(日照方向)108が常に垂直を向いて無いため、Step35で算出した日照方向(基準D)成分の照射光には地上の発光源(ノイズ源)からのノイズ成分が混入している。それに対してStep36で算出したノイズ成分を利用して信号処理(信号間の演算処理)を行い、更なるノイズ低減(Step37)が可能となる。
図30の例におけるカメラマン250へのサービス提供方法である逆行補正方法には、絞り256調整とライト258発光の2通りが可能であり、日光強度(日照光量)に応じて適正にサービス提供方法の選択を行う。この日照光量に応じたサービス提供方法の選択をStep38で行う。
すなわち日照光量が小さい場合(逆光状態がそれ程強くない場合)には、露光量調節機能を持つ絞り256(駆動デバイス)のサイズを変化させる(Step39)。これにより撮影用カメラ252の受光量が自動的に制御され、露光光が補正される。またこの場合の露光量補正に関する他の方法としては、撮影用カメラ252に内蔵された撮像素子(図示してない)から得られる検出信号のゲインを自動的に変化させてもよい。
一方で日照光量が非常に大きい場合には逆光状態が強いため、絞り256(駆動デバイスを用いた露光量調整)での調整範囲では補正が不充分となる。この場合にはStep40に示すように、撮影カメラ252に付属されているライト(駆動デバイス)258を点灯させ被写体232に光を照射して逆光対策を行いながら撮影開始(Step41)する。そして撮影が完了すると終了(Step42)処理を行う。
図30と図31を用いて光センサ(太陽電池パネル)262、264、266から得られる光電信号のみを用いて検出信号のノイズ低減やサービス提供をする方法について説明した。しかしそれに限らず他のセンサから得られる他の種類の検出生信号と組み合わせるあるいは他の基準と組み合わせてもよい。それにより検出信号の精度および提供するサービスの精度を向上できる効果がある。
その具体例を以下に説明する。すなわち日照方向(基準D)108は撮影時刻と撮影場所に依存して変化する。既に図12もしくは図13で説明したように行動推定システム52に3軸地磁気センサ74を持ち地軸の方向が検出できる。また位置検出用信号発生部46から発信される時刻情報を利用して撮影時刻を精度良く確認できる。従って地軸方向と撮影時刻情報から、日照方向(基準D)108を正確に割り出せる。この情報で、光センサ(太陽電池パネル)262、264、266から割り出した日照方向(基準D)108に補正を掛けるとより精度の高い日照方向(基準D)108が算出でき、より精度の高い日照光量の値が求まる。その結果として、より的確なサービスをカメラマン250に対して提供できる。
本実施形態の応用例として、指向性マイク282、284、286を組み合わせて検出される音声信号の精度向上(ノイズ低減方法)方法を図32を用いて説明する。指向性マイク282を用いて、固定位置に設定された特定スピーカ270から出る音声信号のみを高精度に検出する場合を考える。
この固定位置に設定された特定スピーカ270周辺には多数の外乱音声ノイズ発信源272、274が存在し、それらから発生する外乱ノイズ成分が前記指向性マイク282に混入する。この場合に固定スピーカ方向110を基準E(Y軸方向)に設定し、信号検出させたい指向性マイク282をこのY軸方向に向ける。そして前記基準E(固定スピーカ方向)以外の方向から混入される外乱音声ノイズ成分を、それぞれX軸とZ軸方向を向く指向性マイク284、286で検出する。
そして指向性マイク284、286から収集する検出生信号を利用した信号処理を施し、指向性マイク282に混入するノイズ成分の低減を図る。
ところで、図3のローパスフィルタ処理138での遮断周波数fcの値を50Hzもしくは60Hzあるいは0.5Hzに設定して音声信号(検出生信号)にフィルタリングを掛けると、下記の不都合が生じる。
すなわち音声信号の周波数特性における人間の可聴範囲は図33に示すように、60Hzよりも高い周波数成分を多く含む。従ってこの音声信号(指向性マイク282が収集する検出生信号)を直接ローパスフィルタ処理138(図3)して60Hz以下の低周波数成分のみ抽出すると、重要な音声信号成分が消される危険性がある。
上記の問題を解決する手段として図34に示すように、音声信号(検出生信号290)をフーリエ変換292し、フーリエ変換後の各周波数成分の振幅に対してローパスフィルタ処理294を行ってもよい。図12または図13で説明したように、指向性マイク282で収集した検出生信号(A/Dコンバータ78でデジタル信号に変換後の信号)は、一旦メモリ部82に保存後に信号処理されるため、上記のフーリエ変換後の周波数成分(フーリエ係数)毎の振幅に対するローパスフィルタ処理は容易に行える。
しかしそれに限らず“所定期間毎に検出生信号をフーリエ変換”⇒“フーリエ変換係数を順次メモリ部82に保存”⇒“メモリ部82に保存されたフーリエ係数毎のローパスフィルタ処理結果を再度メモリ部82に保存”⇒“メモリ部82の保存情報を用いた信号処理”のようにメモリ部82を適正に活用してもよい。
従って図34で記載したフーリエ変換292の処理方法一例として、適宜メモリ部82に保存された音声信号(検出生信号290)を順次読み出し、メモリ部82を活用しながら新規な音声信号(検出生信号290)のメモリ部82への追加保存と既保存の音声信号(検出生信号290)の信号処理を同時並行させてもよい。
図34では音声信号を例に取り、フーリエ変換292を挿入する方法について説明した。しかし音声信号に限らず本実施形態ではあらゆる検出生信号290に対してフーリエ変換292を行い、その周波数成分の振幅変化に対してローパスフィルタ処理を行ってもよい。
ここまで説明した本実施形態およびその応用例を用いて処理した場合の、処理対応の傾向性について図35〜図37を用いて説明する。本実施形態およびその応用例では各種センサから得られた検出生信号を利用して所定の情報を抽出している。またここで抽出される所定の情報の一種として、所定の基準を対応させてもよい。そしてこの所定の基準抽出に先立つ図35のStep51において、基準抽出に対して外乱信号(低周波成分を含む)を付加した場合を考える。この状態で所定の基準抽出処理を行うと(Step52)、抽出された基準への誤差混入(Step62)が発生し易い。
更にStep54の推定処理の結果を利用してサービス提供(Step55)を行うと、基準への誤差混入が原因となる提供サービス内容の違い(Step65)が起きやすくなる。
本実施形態およびその応用例ではStep56に示すように、推定処理またはサービス提供が終了するまで繰り返し同様の上記のサイクルを繰り返し行う。
このように低周波数成分を含む外乱信号を付加した状態(Step51)で上記のサイクルを繰り返すときに発生する基準の誤差に起因する推定結果の乱れ(Step64)や提供サービス内容の違い(Step65)の状況を判定することで、本実施例およびその応用例に示す技術を採用したか否かの判定が可能となる。
各種センサから得られる検出生信号に対して低周波成分を含む外乱信号を付加させる(Step51)方法の例を以下に説明する。
例えば3軸加速度センサ72から得られる検出生信号(加速度波形)に対して低周波成分を含む外乱信号を付加する方法として、見かけ上の重力加速度を与えてもよい。
例えば図36Aに示すように、ロープ204を用いてエレベータ室202を上下動させながら3軸加速度センサ72から検出生信号(加速度波形)を収集すると、見かけの重力加速度Gの値が変化する。その結果として前述した(2)式もしくは(3)式を用いて角度θYZyzを算出すると、算出された角度θyzの値に誤差が生じる。
更にエレベータ室202の扉を開け、台車122が乗っている大きな台車302を動かすと、床面128に平行な方向に見かけ上の重力加速度成分が重畳される。この場合には仮に重力加速度Gの値を使わない(1)式を用いても、測定対象者2が装着するリストバンド型活動量計(センサデバイス4)の3軸加速度センサ72から得られる検出生信号(加速度波形)から算出される角度θyzの値には誤差が混入する。
またそれに限らず図36B(a)に示すように、坂道を利用して低周波成分を含む外乱信号を付加(図35のStep51)してもよい。例えば固定ストッパ312で予め静止させた台車122に対し、測定対象者2が力を加えて動かし始めたときにリストバンド型活動量計(センサデバイス4)を用いて行動推定した場合にも、行動推定内容の乱れ(図35のStep64)やサービス提供内容の違い(図35のStep65)が生じる。
同様に図36B(b)のように、下り坂で台車122を静止させた上下動式ストッパ314解除後に測定対象者2が台車122の移動を開始させた場合も同様な症状が現れる。この推定結果の乱れ(図35のStep64)や提供サービスの違い(図35のStep65)から本実施形態もしくはその応用例に示す技術を採用していることが分かる。
一方で3軸地磁気センサ74に対する低周波成分を含む外乱信号を付加する方法(図35のStep51)として図37C(a)が示すように、リストバンド形活動量計4の表面に永久磁石304を貼り付けて地磁気方向に外乱を加えてもよい。
また光センサ(太陽電池パネル)262,264,266から得られる光電信号に低周波成分を含む外乱信号を付加する方法(図35のStep51)として図36C(b)のように、発光源のライト306を固定のライトスタンド308内に装着し、日照方向を乱してもよい。
本実施形態もしくはその応用例では行動推定もしは状態推定に、伸縮マッチング手法を使う方法の説明を行った。その伸縮マッチング手法の一例として図18〜図20を用いて、DPマッチング(Dynamic Programming Matching)の説明を行った。そして図37の方法で、推定処理(行動推定もしくは状態推定)時に伸縮マッチング手法を使用したか否かを発見できる。
この伸縮マッチング手法では、パターン内の部分的な伸び縮みを考慮しながらそれらの類似度を計算できる所に特徴がある。本実施例形態システム(信号処理システム)またはその応用例で使用する各種センサからは、時間経過と共に検出生信号の値が変化する場合が多い。特にこの場合には、測定対象者2の動き速度や台車122などの所定物体の状態変化速度(例えば移動速度)が変化すると、時間経過に関する検出生信号値の変化に部分的な伸び縮み(時間軸方向での伸び縮み)が発生する。
従って本実施例形態システム(信号処理システム)またはその応用例で測定対象者2の動き速度や所定物体の状態変化速度に対応して各種センサから収集される検出生信号に(時間軸方向での)部分的な伸び縮みが発生する場合、上記の伸縮マッチング手法を用いて推定処理(行動推定もしくは状態推定)を行うと、推定精度が向上する効果が生まれる。すなわち測定対象者2の動きや所定物体の状態変化の速度が一時的に変わっても、この一時的な処理速度の変化が推定処理(行動推定もしくは状態推定)の段階で吸収される。
たとえば測定対象者2の行動の速さを変化させる方法として図37のStep71が示すように、測定対象者2に標準よりも大幅にゆっくりもしくは大幅に早く行動してもらう。
一方で特定の物体の処理速度を変化させる方法としてStep72に示すように、センサデバイス6が固定された物体(台車122等)を動かす速度(処理速度)を標準に対して大幅に変更させてもよい。この具体的方法として台車122を早く動かす(高速処理)もしくは遅く動かし(低速処理)てもよい。
このときに各種センサから得られる検出生信号を収集し(Step73)、得られた検出生信号の少なくとも一部(所定の信号成分や所定の周波数成分あるいはセンサ選択)を信号処理する(Step75)。
このときの信号処理に先立ち、検出生信号の少なくとも一部(所定の信号成分や所定の周波数成分あるいはセンサ選択)から所定の情報を抽出し、その抽出した結果に基づく信号処理(Step75)を行ってもよい。またこの所定情報には、所定の基準102〜110を対応(Step74)させてもよい。
その後で推定処理(行動推定もしくは状態推定)時に伸縮マッチング手法を用いた場合(Step76)には、測定対象者の動き速度や処理速度が大きく変わっても推定処理結果が同じ(Step86)という傾向がある。
更に、Step76で行った処理結果に基づきサービス提供処理(Step77)を行った場合も、測定対象者の動き速度や処理速度が大きく変わってもサービス提供結果が同じ(Step87)になる傾向がある。
従って速度を替えたときの推定処理結果もしくはサービス提供結果が変化しない傾向性(Step86、Step87)を見いだせれば、推定処理に伸縮マッチング手法を利用していることがわかる(Step88)。
またStep78に示すように、推定処理またはサービス提供が終了するまで上記のサイクルが繰り返される。このように上記サイクルを繰り返すことで、上記サイクル毎の推定処理結果およびサービス提供結果を調べる標本数が増え、伸縮マッチング手法を利用していると判定できる確率が一層高くなる。
図12もしくは図13に示す本実施形態システム(信号処理システム)では駆動デバイス44が設置され、各種推定処理結果に基づいてユーザに対するサービス提供が可能となっている。この駆動デバイス44の一形態例として、図38にメガネ型ウェアラブル端末1100を示す。また前記メガネ型ウェアラブル端末1100の一部にセンサデバイスの機能を持たせてもよい。すなわち前記メガネ型ウェアラブル端末1100はカメラやマイクあるいは振動検出機能等を有し、装着者(測定対象者2)からの所定の指示入力(制御情報)を検出してもよい。この装着者の指示入力として例えば、カメラのレンズ部を手で遮る、マイクに対して手をたたく、もしくは音声により次の表示を求める、振動検出機能に対して所定の振動を与える等を行ってもよい。このように本来は駆動デバイス44の機能を有する前記メガネ型ウェアラブル端末1100にセンサデバイスの機能も持たせることで、装着者(作業者あるいは測定対象者2)がハンズフリー状態でデータ入力が可能となる効果が生まれる。更にこのようにして、装着者(作業者あるいは測定対象者2)が入力したデータに基づいて行動推定エンジン56(図12または図13)で装着者(作業者あるいは測定対象者2)の行動推定または状態推定を行ってもよい。
前記のメガネ型ウェアラブル端末1100は、投光部(表示情報生成部)1102、スクリーン(光路合成部)1106、駆動部(画像表示回路および光源駆動回路、信号処理部と称することもある)1134、無線通信部1136等を含み、例えばボタン電池である電源部1132が供給する電力で動作する。
前記のメガネ型ウェアラブル端末1100に内蔵された無線通信部1136は、外部ネットワークに接続されたサーバ40やエッジ装置42との間での情報通信が可能となっている。またエッジ装置42から通信された情報は、投光部1102で装着者(作業者あるいは測定対象者2)に表示される。
この投光部1102は光源部1104、画像表示部1110、ハーフミラー面1112、全反射面1114、出射面1116、レンズ群1120等から構成される。ここでエッジ装置42から通信された前記情報は、映像情報または画像情報として投光部1102の画像表示部1110に表示される。そして投光部1102の光源部1104が出射する非平行光(発散性の光、以下発散光と称する)1108はハーフミラー面1112を経由して前記画像表示部1110を照射し、そこでの反射光がレンズ群1120を経由してスクリーン1106上に投影される。
スクリーン1106は手前側透明屈折体1124、フレネルレンズ形ハーフミラー面1122および奥側透明屈折体1126から構成される。前記の発散光1108の一部はフレネルレンズ形ハーフミラー面1122で反射し、手前側透明屈折体1124を経て装着者(作業者あるいは測定対象者2)の目に到着する。またこのフレネルレンズ形ハーフミラー面1122で反射した発散光1108の一部は、画像表示部1110上の表示画像に対応する虚像を形成する。
この光源部1104として調光型白色LED光源を用いてもよい。そして前記調光型白色LED光源は、出力光量を各々独立して調整可能で互いに発光色が異なる複数のLED(Light Emitting Diode)から構成されている。それにより使用環境に応じた最適な発光色を装着者(作業者あるいは測定対象者2)に表示できる効果がある。例えばオレンジ色が主体の照明環境のクリーンルーム内でメガネ型ウェアラブル端末1100を使用する場合、オレンジ色を避けた配色で表示してもよい。更に、装着者(作業者あるいは測定対象者2)が見易い表示色で表示することで、装着者の目の疲れやそれに伴う偏頭痛を回避できる効果もある。
画像表示部1110に反射型のLCD(Liquid Crystal Display)モジュールなどを使用し、ここで表示される画像を駆動部1134が表示制御する。またこの駆動部1134は、光源部1104の発光状態も制御する。
上記のメガネ型ウェアラブル端末1100を装着した作業者が、エッジ装置42から作業指示を受けながら作業を行う手順を図39Aに示す。この作業の具体的例として例えば、製造装置の点検作業、或いは故障している機械の修理などを行ってもよい。
例えばメガネ型ウェアラブル端末1100を装着した作業者が作業現場に到着し、例えば現場にある作業開始ボタンを押したり特殊なジェスチャーを行う。この作業開始ボタン内に挿入された所定のセンサデバイスからの検出信号がエッジ装置42に送信される。あるいはこの作業員の行動をモニターしている撮像装置で自動的に特殊なジェスチャーを判定して、判定結果をエッジ装置42に送信してもよい。
作業内容はあらかじめ複数の作業単位(複数の細分化作業)に分割され、一単位の作業完了を検出(StepSA5)した後に、初めて次の作業指示(StepSA6)を上記のメガネ型ウェアラブル端末1100に表示する。
本実施形態のメガネ型ウェアラブル端末1100を用いたシステムで実施される他の動作例を図39Bに示す。ここでは作業者が作業現場への移動を開始した後からの制御動作を示している。
また前記メガネ型ウェアラブル端末1100には、図12または図13の位置検出機能98が備わっている。エッジ装置42は上記の位置検出機能98を用いて、対応するメガネ型ウェアラブル端末1100を装着した作業者の位置を検出する(StepSC1)。次にエッジ装置42からメガネ型ウェアラブル端末1100を通じて作業者に対して移動指示が与えられると(StepSC2)、作業者は移動を開始する。
次に作業者の停止が検出されると(StepSC3)、作業者が正常位置(指示された目的の位置)で停止しているかどうかの判定がなされる(StepSC6)。ここで作業者がしばらくしても停止しないときは、所定時間以上が経過しているかどうかの判定がなされる(StepSC4)。もし作業者が所定時間以上経過したときに停止していない場合は何らかのトラブルが生じていると判定され、メガネ型ウェアラブル端末1100を介して警告表示され、停止指示がなされる(StepSC5)。
StepSC6において作業者が正常位置に停止していない場合は、作業位置が異常位置であると判定され(StepSC7)、メガネ型ウェアラブル端末1100を介して警告表示がなされ(StepSC8)、所定位置への移動指令が表示される。
一方で作業者が正常位置に停止している場合は、図39Aで説明した作業指示が開始される。
上記の作業指示に従って作業者が実行する作業工程の一例を図40が示す。ここではメガネ型ウェアラブル端末1100を装着している作業者が作業現場に到着し、例えば現場にある作業開始ボタンを押す(或いは特殊なジェスチャーを行った)場合を考える。するとそれに従ってメガネ型ウェアラブル端末1100とエッジ装置42間の通信が開始される。ここで作業現場での作業者の作業は、例えば製造装置の筐体2005の中にあるねじ2001を締る作業とする。この作業開始前の黄体として、すでに筐体2005の蓋2006は開き、開口が見えているとする。
エッジ装置42から送信された指示内容に従い、例えばメガネ型ウェアラブル端末1100に「ねじを締めてください」という表示が出る(StepSB1)。その指示内容に従い、作業者が筐体の開口からドライバ2002を挿入し、ねじ2001の締め付け動作を開始する。
ねじ2001或いはドライバ2002に取り付けられたセンサ(例えば角速度センサ)2021で角速度の検出(StepSB2)が可能となっている。従ってねじの締め付け作業が開始されると、角速度センサ2021がねじの回転を検出する。
この回転検出信号がエッジ装置42に送信されると、作業開始が認識される。この作業開始を認識されると、エッジ装置42から現在の指示「ねじを締めつけてください」を消去する指令が出力される。
ネジ2001の締めつけが終了すると、角速度センサ2021の検出出力がゼロとなる。このセンサ検出信号を受信すると、エッジ装置42は“ねじ締め完了”を判定する(StepSB3)。
その直後には、エッジ装置42から次の指示が送信される。ここで例えば「扉を閉めてください」とう内容が指示された(StepSB4)場合を考える。この指示に従って作業者が扉2006を閉める(StepSB5)と、扉2006に装着された角速度センサ2022が対応信号を検出する。
つまり扉2006が閉まる方向へ回動したときに、角速度センサ2022が扉2006の回動開始を検出する。この検出信号が送信されると、エッジ装置42は“扉2006の回動開始”を検出する。
次に扉2006が閉じられて回動が停止すると、角速度センサ2022が扉2006の停止を検出する(扉が閉まったことを検出する)。このときのセンサ検出信号が送信されると、エッジ装置42は“扉の閉じが完了”と判定する(StepSB5)。そして、次の指示をメガネ型ウェアラブル端末1100に送信する。例えばエッジ装置42は、「扉閉め完了です、しばらくお待ちください」とうような指示を送信する(StepSB6)。
ところで、角速度センサ2021、2022で回転検出を行う基準となる回転軸方向は、常に重力方向と一致しているとは限らない。例えばこれらの角速度センサ2021、2022が重力方向に対して斜め方向に設置された場合、作業者の移動に伴って発生する上下方向の床振動が前記角速度センサ2021、2022に伝わり、回転角検出信号へ外乱ノイズになる危険性が高い。
この回転角検出信号への外乱ノイズ低減を目的として本実施形態システム(信号処理システム)では、同時に3軸加速度センサ72も内蔵させる。それにより角速度センサ2021、2022に及ぼす基準B(重力方向)104の方向θyzが抽出される。その角度θyzを用いて角速度間の信号処理(回転変換)を行うことで、外部振動に基づく外乱ノイズ成分が低減された角速度検出信号を生成できる。この信号処理により、エッジ装置42は正確に作業員の作業(行動)および扉2006やネジ2001の状態を把握できる効果がある。
上記センサデバイス内の詳細構造を図41に示す。生産現場等での作業者の所定作業の完了状態を検出するセンサ2021、2022は、既存環境または生産設備などの既存装置(図40のネジ2001または扉2006に対応)に付加的に設置可能な構造を有する。
作業者の作業を完了したことを自動的に検出する方法として、所定作業の完了状態を検出する複数のセンサ2021、2022が予め組み込まれた新規生産装置に既存装置を買い替える方法がある。しかしその方法では、装置の買い替えに膨大な設備投資費用が掛かる。それに比べると、単体では非常に安価なセンサ2021、2022を既存環境または既存装置に付加的に設置する方法を採用すれば、非常に安価に作業者の作業完了状態を自動的に検出できる効果がある。
センサ2021、2022を付加的に設置する方法として図41に示した実施形態では、センサ2021、2022と既存環境や既存装置との間で接触する箇所に接着部3008を形成している。具体的には上記既存環境や既存装置への接触箇所に対する接着部3008が例えば強度の大きな粘着シートで構成されてもよい。この場合、センサ2021、2022の出荷時には接着部3008の既存環境や既存装置への接触部分に予めカバーシートを付けて置き、このカバーシートをセンサ2021、2022の設置場所で外して、接着部3008を既存環境や既存装置へ直接接着させる。またそれに限らず、既存環境や既存装置への接触箇所に対する接着部3008には事前には粘着特性(または接着特性)を持たせず、センサ2021、2022の設置時にこの接着部3008が既存環境や既存装置に直接接触する箇所に接着剤を浸透させて固着させてもよい。更にセンサ2021、2022を付加的に設置する他の方法として、既存環境や既存装置への接触箇所に対する接着部3008を利用して既存環境や既存装置に対するネジ締めなどで固定してもよい。
図41の構造では、加速度センサ部または角速度センサ部3006を既存環境や既存装置の接触箇所に対する接着部3008に隣接配置させる。この加速度センサ部または角速度センサ部3006の配置場所は、付加設置対象の既存環境や既存装置表面に近い方が、既存環境や既存装置自体の加速度や角速度を正確に検出できる。
従って図41に示すように制御部3002、近距離無線通信部3004あるいは環境振動発電デバイス3000よりも付加設置対象の装置(あるいは環境物)に近い位置に上記加速度センサ部または角速度センサ部3006を配置することで、より正確に対象物(図40のネジ2001または扉2006に対応)の加速度や角速度を検出できる効果がある。
本実施形態では加速度センサとして、20G(1Gは地球の重力加速度を表す)以下の測定範囲を持つ低G加速度センサを使用する。加速度センサとして使用する場合には、加速度センサ部または角速度センサ部3006の外壁部が固定部を構成し、その中(加速度センサ部または角速度センサ部3006の内部)にセンサ素子可動部が設置されている(図41では内部の詳細構造を省いている)。そして上記固定部に対するセンサ素子可動部の位置変化を利用して加速度を検出する。本実施形態では静電容量検出方式(固定部とセンサ素子可動部間の静電容量変化を検出)またはピエゾ抵抗方式(固定部とセンサ素子可動部間をつなぐバネ部分に配置したピエゾ抵抗素子を用いてバネ部分に発生した歪を検出)のいずれを利用してもよい。
また本実施形態では角速度センサ(ジャイロセンサ)として、MEMS(Micro Electro Mechanical System)技術を使った振動式を利用してもよい。この角速度センサ(ジャイロセンサ)の基本的構造は上述した加速度センサと同様に、加速度センサ部または角速度センサ部3006の外壁部から構成される固定部とその中(加速度センサ部または角速度センサ部3006の内部)に設置されたセンサ素子可動部から構成される。また、この固定部には互いに直交方向に配置された第1の櫛歯状電極と第2の櫛歯状電極が複数配置されている。ここで前記第1の櫛歯状電極に交互に電圧を印加して前記センサ素子可動部を一定周期で振動させる。そして加速度センサ部または角速度センサ部3006が回転するとコリオリの力が発生し、前記固定部に対して前記センサ素子可動部が相対的に回転運動を起こす。次に前記第2の櫛歯状電極を利用して、この回転変位を静電容量の変化として捉えることで角速度を検出する。ところで、上述した機械式に限らず、本実施形態では角速度センサ(ジャイロセンサ)に地磁気式や光学式あるいは機械式を利用してもよい。
上記方法で検出した加速度または角速度に基づいたデータが、エッジ装置42近距離無線通信部3004を経由してエッジ装置42に送られる。またこのデータが近距離無線通信部3004の動作制御や加速度センサ部又は角速度センサ部3006から得られた信号に対する信号処理は制御部3002で行われる。ここで図41に示すように近距離無線通信部3004と制御部3002を同列に配置することで、センサ2021、2022自体の高さを低くできる効果がある。
図41に示すように本実施形態では、加速度センサ部又は角速度センサ部3006および近距離無線通信部3004と制御部3002の動作に必要な電力供給(電源)を環境振動発電デバイス(圧電式または静電式採用)3000が行っている。センサ2021、2022への電源(電力供給)として有線を用いると、センサ2021、2022の設置位置を変える毎に配線を変更する煩雑さが伴う。また電源(電力供給)として交換式の電池を使用して、多数のセンサ2021、2022を設置した場合、電池交換作業が非常に煩雑となる問題が発生する。本実施形態ではセンサ2021、2022が加速度や角速度を検出する特徴を生かし、その検出対象となる加速度や角速度のエネルギーを電源(電力供給)として利用する。その結果として有線に拠る電力供給が不要になるためにセンサ2021、2022の設置位置変更に伴う配線変更の煩雑さから解放されるだけで無く、電池交換の煩雑さからも解放される効果がある。
一般的に、地震発生時には1階の建物の中よりも高層ビルの上の方の揺れが激しい。このように振動面から突出した構造体では、直接の振動面より離れた位置の方が大きな振動が発生する(振動振幅が大きい)。この現象を利用して本実施形態では図41に示すように、既存環境や既存装置への接触箇所に対する接着部3008から最も離れた位置に環境振動発電デバイス3000を配置した構造になっている。すなわち加速度センサ部又は角速度センサ部3006または近距離無線通信部3004、制御部3002よりも環境振動発電デバイス3000を既存環境や既存装置への接触箇所に対する接着部3008から離れた位置に配置される構造を有する。それにより発電効率の最大化が図れる効果がある。
図41の環境振動発電デバイス3000の基本構造を図42に示す。この構造の一部は、前述した加速度センサまたは角速度センサの基本構造と類似している。すなわち環境振動発電デバイス3000内は固定部3100とセンサ素子可動部3102から構成され、このセンサ素子可動部3102が外部の環境振動に対応して固定部3100に対して移動可能となっている。
またセンサ素子可動部3102の移動と同期して移動可能な瞬時電圧発生部3104が形成されており、センサ素子可動部3102の移動に応じて瞬時電圧が発生する。ここでこの瞬時電圧発生部3104としてピエゾ(圧電)素子を使用する場合を“圧電式”と呼び、エレクトレット(半永久的な電荷を持つ絶縁体)を使用する場合を“静電式”と呼んでいる。
この瞬時電圧発生部3104で発生する瞬時電圧は、昇電圧部3106で直流化と平滑化と共に昇電圧される。そしてこの昇電圧部3106の出力電力は蓄電部3108に蓄えられる。
図42に示した環境振動発電デバイス3000の具体的な動作原理に付いて図43〜図47を用いて説明する。瞬時電圧発生部3104として“圧電式”を採用する場合も、“静電式”を採用する場合も、図43〜図47に示すように昇電圧部3106以降を共通に使用できる。従って蓄電原理の説明として図43〜図47では、“圧電式”と“静電式”の両方に関して同時に説明する。ここで“圧電式”を採用する場合には、入力端子3116側に圧電素子3130からの出力が繋がる。一方“静電式”を採用する場合には、入力端子3116側にメタル電極基板3138からの出力が繋がる。
すなわち図43〜図47に示すように“圧電式”では、固定部3100とセンサ素子可動部3102との間を繋ぐ接続部が瞬時電圧発生部3104に相当し、この接続部内に圧電(ピエゾ)素子3130が設置されている。ここで固定部3100に対するセンサ素子可動部3102が中立位置から大きくずれると、圧電素子3130の両端間に起電圧が発生する。逆にセンサ素子可動部3102が中立位置に戻ると、圧電素子3130の両端間に起電圧が減少する。
また図43〜図47に示すように“静電式”では固定部3100にエレクトレット材料3134が設置されている。このエレクトレットとは、半永久的な電荷を持つ絶縁体を示し、具体的材料としてサイトップなどが使用できる。図43〜図47の実施例では、エレクトレット材料3134表面は常に負電荷に帯電している場合を説明している。また上記エレクトレット材料3134にはエレクトレット電極基板3132が接続され、上記エレクトレット材料3134の相対的電位を常に“0V”(ゼロボルト)に保持されている。そして負に帯電しているエレクトレット材料3134の近傍には可動状態の対向電極3136が設置されている。そしてエレクトレット材料3134に対して対向電極3136が移動することで瞬時電圧が発生する。従って、図42で説明した瞬時電圧発生部3104内に前記対向電極3136が設置されている。また、対向電極3136にはメタル電極基板3138が接続されており、このメタル電極基板3138を介して対向電極3136への電荷補給がなされる。従って、図42で説明したセンサ素子可動部3102にはこのメタル電極基板3138が含まれる。このメタル電極基板3138と対向電極3136の組み合わせによりセンサ素子可動部3102或いは瞬時電圧発生部3104が構成されると言ってもよい。電磁気学的コンデンサ理論から、上記エレクトレット材料3134表面上の負電荷量の絶対値と、近接する対向電極3136の対向表面上正電荷量は一致する必要がある。従って対向電極3136の位置がエレクトレット材料3134位置と一致している場合には、対向電極3136の対向表面上には最も多くの正電荷量が集まる。逆に対向電極3136の位置がエレクトレット材料3134位置と大きくずれると、対向電極3136の対向表面上に集まる正電荷量は小さくなる。この対向表面上に集まる正電荷量は、メタル電極基板3138を経由して他の場所へ移動する。
図42には記載して無いが、図43〜図47では瞬時電圧発生部3104の出口に信号検出部3110が配置されている。この信号検出部3110からの出力を利用して、加速度や角速度を検出できる。具体的には信号検出部3110内に抵抗器3120が設置され、瞬時電圧発生部3104から発生する瞬時的電流がこの抵抗器3120内を流れる。この抵抗器3120に電流が流れると、抵抗器3120の両端に瞬時的に電圧が発生する。この瞬時電圧を差動バッファアンプ3112でバッファリングして、外部からの瞬時電流変化がモニター可能となる。
図43〜図47では昇電圧部3106の一例としてコッククロフト・ウォルトン回路を使用しているが、それに限らず少なくとも電流の整流か平滑化あるいは電圧増幅が可能な回路なら他の回路を使用してもよい。また蓄電部3108の一例としてコンデンサ素子3128を記載したが、それに限らず他の繰り返し充放電可能な蓄電池を使用してもよい。
図43〜図47の中塗り矢印3114はセンサ素子可動部の移動方向を示し、中抜け矢印3142は電流方向を示す。図43のようにセンサ素子可動部3102が左側に移動すると圧電素子3130の歪量が小さくなるため、圧電素子3130内両端子(両面)間の起電圧が小さくなる。そこで減少した正電荷が入力端子3116から圧電素子3130側に流れる。なおここでは左側、右側は、図面上の方向を意味する。
静電方式において、対向電極3136の位置を左側に移動させると対向電極3136の表面に析出される正電荷量が増加するため、その析出正電荷がメタル電極基板3138を経由して入力端子3116に流れ込む。その結果として“圧電式”と“静電式”のいずれの場合でも、抵抗器3120では右側から左側に向けて電流3148が流れる。そしてこの正電荷はコンデンサ素子3122−1の左側電極から供給されるので、供給後の左側電極は負電荷に帯電する。すると電磁気学的コンデンサ理論から対応するコンデンサ素子3122−1の右側電極に正電荷を供給すべくダイオード素子3126−1を経由して電流3148が流れる。また別の説明として、センサ素子可動部3102が左側に移動したときにコンデンサ素子3122−1の両電極に電荷が溜まってない場合には両電極が同時に負電位となるため、ダイオード素子3126−1を経由して電流3148がコンデンサ素子3122−1の右側電極に向けて流れるとしても説明できる。
その直後に図44のようにセンサ素子可動部3102が右側に移動すると、“圧電式”では圧電素子3130両端の起電力が増加して抵抗器3120内を左側から右側へ向かって電流が流れる。また“静電式”ではエレクトレット材料3134位置に対する対向電極3136の位置がより大きくずれるため、対向電極3136表面に析出する正電荷量を減らすため、抵抗器3120内を左側から右側へ向かって電流が流れる。このときにコンデンサ素子3122−1の右側電極に蓄えられた正電荷がダイオード素子3126−2を経由してコンデンサ素子3122−2の右側電極に移動する。そしてこの正電荷を打ち消そうとしてコンデンサ素子3122−2の左側電極に負電荷が蓄積される。この現象に対する別の説明として、下記の説明もできる。すなわちセンサ素子可動部3102が右側に移動したときに抵抗器3120の右端が正電位となるため、図43に示したコンデンサ素子3122−1内の電荷分布ではコンデンサ素子3122−1の右側電極の電位が非常に高くなるので、ダイオード素子3126−2内を通って電流3148が流れる。その結果として、コンデンサ素子3122−2の右側電極に正電荷、左側電極に負電荷が蓄積される。
その後に図45のようにセンサ素子可動部3102が左側に戻ると、抵抗器3120の右側から左側に向けて電流3148が流れる。このときにコンデンサ素子3122−1の両端電極内の電荷分布が図44のままだと、コンデンサ素子3122−1の右側電極電位が非常に低くなる。その結果、ダイオード素子3126−1を経由してコンデンサ素子3122−1の右側電極に向けて電流3148が流れ、コンデンサ素子3122−1の右側電極に正電荷が蓄積される。また同時にコンデンサ素子3122−1の左側電極から抵抗器3120を経由して電流が瞬時電圧発生部3104へ流れる。そしてその結果として、コンデンサ素子3122−1の左側電極に負電荷が蓄積される。
そして図46はセンサ素子可動部が右側へ向けて移動を開始したときの様子を示している。移動開始時から抵抗器3120の左側から右側に向けて電流3148の流れが始まるが、このときのコンデンサ素子3122−1の両端電極内の電荷分布が図45の状態が保持された瞬間を示す。この場合にはコンデンサ素子3122−1の右側電極の電位が非常に高くなるため、コンデンサ素子3122−1の右側電極からダイオード素子3126−2と3126−3を経由してコンデンサ素子3122−3の右側電極へ向けて電流が流れ始める。そしてその結果として図47に示すように、コンデンサ素子3122−3の両端電極内に電荷分布が発生する(コンデンサ素子3122−3の両端に電圧が発生/保持される)。このようにして、逐次コンデンサ素子3122−2〜−8の両端に電圧が蓄えられる。
図41に示したセンサ内構造の本実施形態では、加速度センサ部又は角速度センサ部3006と環境振動発電デバイス3000が互いに分離配置された構造となっている。それに対して本実施形態の応用例として、両者を一体化してもよい。この場合の基本構造を図48に示す。このように加速度信号または角速度信号を得る部分と環境振動発電部分を一体化することで、センサ2021、2022全体の小型化が図れる効果がある。
図48では、1個の固定部3100内に複数の瞬時電圧発生部(1)3104−1〜(n)3104−nが配置されている。またそれぞれの瞬時電圧発生部(1)3104−1〜(n)3104−nに対して個別に信号検出部(1)3110−1〜(n)3110−nが設置されている。ここで各瞬時電圧発生部(1)3104−1〜(n)3104−nと各信号検出部(1)3110−1〜(n)3110−nの詳細構造は図43〜図47に記載した瞬時電圧発生部3104や信号検出部3110と同じ構造をしてもよい。またそれに限らず同様の機能を実現する手段で有れば、他の構造でもよい。このように複数の瞬時電圧発生部(1)3104−1〜(n)3104−nが同一の固定部3100に共通して配置される(同一の固定部3100を共通に利用する)ことで、センサ2021、2022全体の小型化が図れる効果がある。
また個々の信号検出部(1)3110−1〜(n)3110−nから得られる検出信号に対して信号演算部3200で演算処理を施して加速度信号や角速度信号を抽出する。
上記の信号処理回路と並行して、個々の瞬時電圧発生部(1)3104−1〜(n)3104−nに対して個別に昇電圧部(1)3106−1〜(n)3106−nも設置されている。この各昇電圧部(1)3106−1〜(n)3106−nの詳細構造は、図43〜図47に記載した昇電圧部3106と同じ構造をしてもよい。またそれに限らず同様の機能を実現する手段で有れば、他の構造でもよい。そして各昇電圧部(1)3106−1〜(n)3106−nの出力は合成部3210で合成された後、蓄電部3108に接続される。図48ではこの合成部3210の構造として電気的に接続された構造をしている。図43〜図47で示したように、各昇電圧部(1)3106−1〜(n)3106−nの出口直前には逆流防止のダイオード素子3128が設置されているため、図48のように単純に電気的に接続しても問題は発生しない。しかしそれに限らず、より高度な方法で電力の合成を行ってもよい。
次に図48の瞬時電圧発生部(1)3104−1〜(n)3104−nの具体的な配置例として、例えば“静電式”を用いた実施形態に付いて説明する。図49は1方向の断面配置を示している。共通の固定部3100にはエレクトレット電極基板(1)3132−1〜(3)3132−3とエレクトレット材料(1)3132−1〜(3)3132−3とが順次積層されて配置されている。
一方可動部の中心には三角柱形状をした可動支持部3210が前記固定部3100に対して移動可能な形で設置されている。ところで、図49の図面上では前記可動支持部3210は紙面に対して直交する方向(手前側方向と奥側方向)に移動可能となっている。またこの可動支持部3210の三角柱側面(四角形面)には順次メタル電極基板(1)3138−1〜(3)3138−3と対向電極(1)3136−1〜(3)3136−3が設置され、これら全てが同期して移動可能となっている。
可動支持部3210の移動方向に沿った各対向電極(1)3136−1〜(3)3136−3の配置関係を図50に示す。エレクトレット材料(1)3134−1〜(3)3134−3に対する各対向電極(1)3136−1〜(3)3136−3が互いにずれた配置となっている。このように互いにずれた配置にすることで加速度量や角速度の絶対値だけでなく、同時にその方向も検出可能となる効果がある。
例えば図50の位置関係からメタル電極基板(1)3138−1〜(3)3138−3を同時に左右にずらした場合を考える。この場合にはずらす方向に拠らず、対向電極(2)3136−2の表面に析出される負電荷の絶対値は減少する。一方メタル電極基板(1)3138−1〜(3)3138−3を同時に右側にずらすと対向電極(1)3136−1の表面に析出される負電荷の絶対値は変化しないが、対向電極(3)3136−3の表面に析出される負電荷の絶対値は増加する。反対にメタル電極基板(1)3138−1〜(3)3138−3を同時に左側にずらすと対向電極(3)3136−3の表面に析出される負電荷の絶対値は変化しないが、対向電極(1)3136−1の表面に析出される負電荷の絶対値は増加する。このように各対向電極(1)3136−1〜(3)3136−3へ向かって流れる電流の強度と方向から(信号演算部3200での信号演算結果から)、メタル電極基板(1)3138−1〜(3)3138−3の移動方向とその移動速度変化が分かる。
また図50に示した配置に限らず、他の配置でもよい。例えば各対向電極(1)3136−1〜(3)3136−3間の配置は互いに一致させる代わりに、エレクトレット材料(1)3134−1〜(3)3134−3を互いにずらした配置にしてもよい。
上記説明では可動支持部3210の1軸方向での移動に付いて説明したが、同一の原理を拡張することで、3軸方向での加速度や3軸方向での角速度も検出できる。
図41の環境振動発電デバイス3000は図43〜図47の説明から分かるように、加速度又は角速度が継続的に発生することで徐々にコンデンサ素子3122−1〜−8に電圧が蓄積される。逆に長時間加速度又は角速度が発生しない場合には、充電部3108(の内部のコンデンサ素子3124(図43〜図47))に蓄えられた電力が徐々に放電される。従って環境振動発電デバイス3000が長時間静止状態に置かれると、図41の加速度センサ部又はかくどくどセンサ部3008や近距離無線通信部3004、制御部3002への駆動電力供給が難しくなる。この特徴を生かし本実施形態では、加速度又は角速度が小さくなったタイミングで小さくなった直後の加速度又は角速度を出力する。これにより環境振動発電デバイス3000からの電源(電力)の安定供給を確保しつつ、精度の高い変化後の加速度又は角速度を検出できる効果が生まれる。
すなわち作業員が作業しているときはセンサ2021、2022が振動または回転運動をしているため、センサ2021、2022内部での環境振動発電デバイス3000の電力蓄積がなされる。そして作業員の作業が終了するとセンサ2021、2022の振動または回転運動が停止するので、環境振動発電デバイス3000の蓄電量が確保されている期間内にセンサ2021、2022の振動停止または回転停止をエッジ装置42に通知する。
このような加速度又は角速度の変化タイミング抽出とその直後の加速度値または角速度値の抽出処理は図41の制御部3002で行ってもよい。この加速度又は角速度の変化タイミング抽出とその直後の加速度値または角速度値の抽出方法に付いて、図51を用いて説明する。図48の信号演算部3200から得られた加速度または角速度の値が制御部3002に入力される。制御部3002では基準タイミング発生部3302を持ち、ここで発生される基準タイミング毎に信号演算部3200から送られる加速度信号または角速度信号を処理する。
加速度又は角速度の変化を検出する指標として、角速度では“一定回転方向での角速度”の積算値または上記タイミング毎の平均値を利用してもよい。また加速度の場合には、加速度方向の反転を繰り替えす場合が多いので、“加速度の絶対値”あるいは“正負方向に変化する変化信号の振幅値”などを算出し、その上記タイミング毎の積算値または平均値を計算してもよい。またそれに限らず、角速度に対して絶対値演算や振幅値算出を実行したり、加速度に対して方向も考慮に入れた積算計算や平均値計算をしてもよい。これらの演算処理が所定期間内蓄積量又は平均値算出部3304で行われる。
本実施形態における変化タイミング抽出には、所定タイミング毎の一つ前の算出値とその直後の算出値との比較を利用している。すなわち所定期間内蓄積量又は平均値算出部3304で得られた指標を算出結果の一時保管部3306に一時保管し、その直後に所定期間内蓄積量又は平均値算出部3304で得られた指標との間の比較を比較部3308で行う。そして比較結果が予め定めた所定値より超えた場合(指標の値が所定値より増加した場合も減少した場合も両方含む)に、“大きく変化した”と見なして変化タイミング通知端子3314に電圧出力(フラグ表示)する。従って変化タイミング通知端子3314の出力値の切り変わり目が変化タイミングを表す。またそれと同時にその変化した直後の指標値を変化後の値出力端子3312に出力する。
図51では回路内のブロック図の形で表現しているがそれに限らず、プロセッサで実行するプログラム/ソフトで上記処理方法を実行してもよい。
この変化タイミング通知端子3314の出力値の切り変わり目タイミングをトリガーとして、変化後の値出力端子3312の出力値を近距離無線通信部3004(図41)からエッジ装置42に向けて通信が行われる。
なお上記に説明した加速度もしくは角速度の検出可能なセンサ2021、2022は、図40で説明した作業現場に限らず、他のあらゆる応用分野で使用してもよい。例えば社会インフラ環境下でのインフラ設備の劣化状況自動診断などのインフラヘルス市場でも使用できる。具体的に鉄橋やトンネル内での部分劣化検査に打音検査(インフラ設備の一部を叩いて発生する音の高さや音質から劣化箇所を予想する検査)に、本実施形態システムで使用されるセンサ2021、2022を使用してもよい。この場合には、既存環境や既存装置への接触箇所に対する接着部3008を利用して鉄橋やトンネル内の柱や壁あるいは天井に接着する。そして作業者が特定箇所を叩いたときに発生する振動をセンサ2021、2022が広い、その結果をエッジ装置42が集計して劣化箇所を予測できる。
図52(a)はねじ締め作業前後の各工程を示す。すなわち作業員が近付く前の振動状況は、通常期間3402の状態になっている。次に作業員がねじ締めを開始すると、ねじ締め期間3404に移る。そしてねじ締めが終了するとねじ締め終了後3406の期間となる。
図52(b)は各工程でのネジ2001の位置での加速度測定値もしくは角速度測定値を示す。ねじ締め作業前の通常期間3402では通常の振動状態となり、ねじ締め作業が完了した後のねじ締め終了と3406でも同様な通常の振動状態に戻る。その結果として、通常期間3402からネジ締め期間3404に移る瞬間とねじ締め期間3404からねじ締め終了後3406に変化する瞬間に加速度もしくは角速度が大きく変化する。
この加速度もしくは角速度が大きく変化した瞬間を自動的に抽出し、その直後に直後の加速度値もしくは角速度値(またはその所定期間内の蓄積量か平均値)が図52(c)に示す情報としてエッジ装置42に送信される。
図40で説明した実施例における扉2006を閉めたときの、扉に付けたセンサ2022が検出する角速度変化を図53に示す。これらのタイミングは図53(a)に示すように扉静止時3502と扉回転時3504、扉が閉まった後3506に分けることが出来る。また図53(b)は、各時期における扉に付けたセンサ2022が検出する角速度変化を表している。扉回転時3504に角速度の値が大きくなり、扉が閉まる直前が角速度値が最も大きくなる。このときの環境振動発電デバイス3000(図41)内での蓄電量(発電量)の一例を図53(c)に示す。扉の回転が開始して初めて環境振動発電デバイス3000の発電(蓄電)が開始される。そしてこの蓄電量が所定値を超えた期間のみ、近距離無線通信部3004や制御部3002の動作期間3508となる。
ここで、動作期間3508内にのみ近距離無線通信が可能となる。従って、エッジ装置42に向けて送信される通信情報は図53(e)が示すように、扉の回転開始より遅れて送信される。一方、扉回転時3504から扉が閉まった後3506への切り変わり目は動作期間3508内に入っているため、その切り変わり目直後に“扉の角速度が零”の情報が通信される。
図39Aまたは図39Bに示した実施形態システムにおいて、センサ2500、1152の電力供給が常に安定に行われる場合には、いつでもセンサ2500、1152とエッジ装置42間の近距離無線通信が可能となる。従って安定に電源供給が可能なセンサ2500、1152あるいはグラス1100とエッジ装置42間の近距離無線通信のタイミングは、基本的にエッジ装置42が制御している。
それに比べて環境振動発電デバイス3000から電力供給を受けるセンサ2021、2022では、図53(d)のように動作期間3508のみに近距離無線通信が可能となる。そしてこのタイミングは事前にエッジ装置42は予測できない。従って本実施形態システムでは、環境振動発電デバイス3000から電力供給を受けるセンサ2021、2022に関してのみ近距離無線通信のタイミングの主導権を前記センサ2021、2022に与えている。それにより安定した近距離無線通信が可能になる効果がある。
ところで、この場合には、エッジ装置42が管理する近距離無線通信のタイミングと前記センサ2021、2022から自発的に行う近距離無通信のタイミングが重なり、近距離無線通信の不安定要因が生まれる。この問題を解決するため本実施形態システムでは、エッジ装置42が管理する近距離無線通信の無線帯域(無線の基準周波数)と前記センサ2021、2022から自発的に行う近距離無通信の無線帯域(無線の基準周波数)を別にして両者間の混線を防止する。それにより、エッジ装置42が管理する近距離無線通信の安定化が図られる。
いくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
2 測定対象者
4 リストバンド形活動量計(センサデバイス)
6 センサデバイス
8 被運搬物
10 業務改善
11 サービス指示
12 活動量計データ(加速度波形)
14 行動推定エンジン
16 行動推定結果
18 時刻
20 台車移動
22 確認
24 外装開梱
26 商品取出し
28 結果記録
30、31 送信情報
32 抽出角度情報
34 ノイズ成分低減後の検出信号情報
36 検出生信号情報
38 検出位置情報
40 サーバ
42 エッジ装置
44 駆動デバイス(電動モータや発光素子、表示素子、スピーカなど)
46 位置検出用信号発信部
48 位置検出用信号発生の制御部
50 固定部材(バンドや接着層など)
52 行動推定システム
54 行動推定部
56 行動推定エンジン
58 サービス制御部
60 信号検出部
62 ハード構成
63 ハード構成(エッジ装置内信号検出部と兼用)
64、65 機能構成
66 蓄電部(バッテリ)
68 発電部(環境振動形または光電変換形)
72 3軸加速度センサ
74 3軸地磁気センサ
76 信号増幅器群
78 A/Dコンバータ(Analog to Digital Converter)
80、81 制御部(制御管理部)
82、83 メモリ部(出力波形データ記憶部)
84、86 通信制御部
90 検出生信号生成
92 基準方向抽出
94 角度抽出
96 ノイズ成分低減後の検出信号生成(信号処理)
98 位置検出
100 作用方向
102 基準A(地磁気方向)
104 基準B(重力方向)
106 基準C(規定経路)
108 基準D(日照方向)
110 基準E(固定スピーカ方向)
112 北極方向
114 南極方向
118 重力に垂直な面
120 測定対象者の腕
122 台車
124 電動モータ(駆動デバイス)
126 発光素子またはスピーカ(駆動デバイス)
128 床面
138 ローパスフィルタ処理
140 標準身長の測定対象者
142 標準より身長の低い測定対象者
144 標準より身長の高い測定対象者
150 測定対象者行動推定時の判定閾値
160 出力波形データ/加速度抽出部
162 フィルタ部
164 角度抽出部
166 座標変換部
170 標準測定対象者データ(マッチング比較の対象となるサンプルデータ)の記憶部
172 動作判定部
174 動作判定用閾値記憶部
176 フィードバック用データ記憶部
178 フィードバック用データ処理部
182 閾値変更判定部
184 閾値変更部
202 エレベータ室
204 ロープ
206 固定台
208 横揺れ(ノイズ成分)
210 バスまたはトラック、乗用車
212 3軸角速度センサ
214 ハンドル
216 路面
218 検出対象となるハンドル回転方向
220 坂道(位置抽出対象)
230 太陽
232 被写体
234 飛行機
236 ヘリコプタ
238 自動車
246 カーライト
250 カメラマン
252 撮影用カメラ
254 レンズ
256 絞り(露光量調整/駆動デバイス)
258 ライト(駆動デバイス)
262 X軸方向に垂直な受光面を有する光センサ(太陽電池パネル)
264 Y軸方向に垂直な受光面を有する光センサ(太陽電池パネル)
266 Z軸方向に垂直な受光面を有する光センサ(太陽電池パネル/カーライトなどからのノイズ成分検出)
270 固定位置に設置された特定スピーカ
272、274 外乱音声ノイズ発生源
282、284、286 指向性マイク
290 検出生信号
292 フーリエ変換
294 各周波数成分の振幅変化に対してローパスフィルタ処理
296 基準Eの抽出
302 大きな台車
304 永久磁石
306 ライト
308 固定のライトスタンド
312 固定ストッパ
314 上下動式ストッパ
1100 メガネ型ウェアラブル端末(駆動デバイス)
1110 表示部
1134 駆動部
1136 通信部
3000 環境振動発電デバイス(圧電式または静電式採用)
3002 制御部
3004 近距離無線通信部
3006 加速度センサ部または角速度センサ部
3008 既存環境や既存装置への接触箇所に対する接着部
3100 固定部
3102 センサ素子可動部
3104 瞬時電圧発生部
3106 昇電圧部
3108 蓄電部
3110 信号検出部
3112 差動バッファアンプ
A 周波数成分毎の振幅値
CRT カート(籠)
f 周波数
fc 遮断周波数(Cut-off Frequency)
G 重力加速度成分
g 利得
MK 画像マーカ(または通信ノード若しくはビーコン)
PW 作業員
RK ラック(棚)
t 経過時間。

Claims (7)

  1. 加速度センサを含む活動量計を装着した測定対象者の行動推定方法で有り、
    重力方向と標準の測定者の作用方向との間の第1の角度が予め定められ、
    前記活動量計からは異なる複数の加速度波形が得られ、
    前記加速度波形から前記重力方向と前記測定対象者の作用方向との間の第2の角度が抽出され、
    前記抽出された第2の角度と予め定められた前記第1の角度との差を基に前記複数の加速度波形間の座標変換処理がなされ、
    前記座標変換の結果を利用して前記測定対象者の行動推定が行われる行動推定方法。
  2. 前記の行動推定時に使用される閾値が前記第2の角度に依存して変更可能な請求項1記載の行動推定方法。
  3. 前記の行動推定処理内の少なくとも一部で伸縮マッチング手法を利用する請求項1記載の行動推定方法。
  4. 測定対象者が携帯する活動量計を含む信号検出部と、前記信号検出部からの検出信号情報を処理する行動推定部を含む行動推定システムで有り、
    重力方向と標準の測定者の作用方向との間の第1の角度が予め定められ、
    前記信号検出部は加速度センサを含み、
    前記信号検出部内で異なる複数の加速度波形が得られ、
    前記複数の加速度波形から前記重力方向と前記測定対象者の作用方向との間の第2の角度が抽出され、
    前記信号検出部内では前記抽出された第2の角度と予め定められた前記第1の角度との差を基に前記複数加速度波形間の座標変換処理がなされ、
    前記座標変換処理の結果に基付いて前記行動推定部で前記測定対象者の行動推定が行われる行動推定システム。
  5. 前記検出信号情報は、ノイズ低減処理されて前記行動推定部に入力される、請求項4記載の行動推定システム。
  6. 前記行動推定部は、エッジ装置に配置されており、前記検出信号情報は、通信制御部を介して前記エッジ装置に入力される、請求項4記載の行動推定システム。
  7. 前記信号検出部は、一部が前記エッジ装置内に構成されており、前記一部は、前記第2の角度の抽出及び前記座標変換処理を実施している、請求項6記載の行動推定システム
JP2018518137A 2016-05-18 2017-03-28 行動推定方法、行動推定システム、サービス提供方法、信号検出方法、信号検出部および信号処理システム Active JP6709281B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020089067A JP6982657B2 (ja) 2016-05-18 2020-05-21 行動推定信号処理システム
JP2021187880A JP2022044585A (ja) 2016-05-18 2021-11-18 行動推定信号処理システム、行動推定信号処理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016100007 2016-05-18
JP2016100007 2016-05-18
PCT/JP2017/012758 WO2017199589A1 (ja) 2016-05-18 2017-03-28 行動推定方法、行動推定システム、サービス提供方法、信号検出方法、信号検出部および信号処理システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020089067A Division JP6982657B2 (ja) 2016-05-18 2020-05-21 行動推定信号処理システム

Publications (2)

Publication Number Publication Date
JPWO2017199589A1 JPWO2017199589A1 (ja) 2019-02-14
JP6709281B2 true JP6709281B2 (ja) 2020-06-10

Family

ID=60324998

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018518137A Active JP6709281B2 (ja) 2016-05-18 2017-03-28 行動推定方法、行動推定システム、サービス提供方法、信号検出方法、信号検出部および信号処理システム
JP2020089067A Active JP6982657B2 (ja) 2016-05-18 2020-05-21 行動推定信号処理システム
JP2021187880A Pending JP2022044585A (ja) 2016-05-18 2021-11-18 行動推定信号処理システム、行動推定信号処理方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020089067A Active JP6982657B2 (ja) 2016-05-18 2020-05-21 行動推定信号処理システム
JP2021187880A Pending JP2022044585A (ja) 2016-05-18 2021-11-18 行動推定信号処理システム、行動推定信号処理方法

Country Status (3)

Country Link
US (1) US11744484B2 (ja)
JP (3) JP6709281B2 (ja)
WO (1) WO2017199589A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180343964A1 (en) * 2017-05-30 2018-12-06 Under Armour, Inc. Techniques for Step Tracking
JP7132025B2 (ja) * 2018-08-10 2022-09-06 株式会社日立製作所 判定システム及び方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5417779B1 (ja) 1971-04-02 1979-07-03
JP2001166230A (ja) * 1999-12-10 2001-06-22 Fuji Photo Film Co Ltd 光学デバイス、画像撮像装置及び画像処理装置
JP4130739B2 (ja) * 2002-01-28 2008-08-06 本田技研工業株式会社 二足歩行移動体の床反力推定方法
US7025728B2 (en) 2003-06-30 2006-04-11 Nihon Kohden Corporation Method for reducing noise, and pulse photometer using the method
JP5028751B2 (ja) * 2005-06-09 2012-09-19 ソニー株式会社 行動認識装置
FI118532B (fi) * 2005-08-19 2007-12-14 Kone Corp Paikannusmenetelmä hissijärjestelmässä
JP4991269B2 (ja) * 2006-12-13 2012-08-01 株式会社日立製作所 エレベータ監視装置
JP5205754B2 (ja) * 2006-12-19 2013-06-05 株式会社東芝 ビルの監視システム
JP2008307207A (ja) * 2007-06-14 2008-12-25 Advanced Telecommunication Research Institute International 動作計測装置
JP4379505B2 (ja) 2007-08-23 2009-12-09 株式会社カシオ日立モバイルコミュニケーションズ 携帯端末装置
JP5017062B2 (ja) * 2007-11-01 2012-09-05 シチズン・システムズ株式会社 体動検出装置
JP5417779B2 (ja) 2008-09-18 2014-02-19 オムロンヘルスケア株式会社 活動量計
JP2010207488A (ja) * 2009-03-12 2010-09-24 Gifu Univ 行動解析装置及びプログラム
JP5417970B2 (ja) * 2009-04-28 2014-02-19 富士通株式会社 歩数計及び歩数計数方法
US20120259499A1 (en) * 2010-03-10 2012-10-11 Yuji Hiraoka Vehicle state detecting device and vehicle state detecting system
EP2598028B1 (en) * 2010-07-27 2017-01-18 Koninklijke Philips N.V. Automatic orientation calibration for a body-mounted device
US8966962B2 (en) * 2010-10-26 2015-03-03 Kamacho Scale Co., Ltd. Measurement device of position of center of gravity of vehicle to be measured on truck scale and truck scale
JP5768583B2 (ja) 2011-08-12 2015-08-26 富士通株式会社 電子機器及び運動状態判定方法
JP5915112B2 (ja) * 2011-11-21 2016-05-11 セイコーエプソン株式会社 状態検出装置、電子機器及びプログラム
JP5927031B2 (ja) * 2011-11-26 2016-05-25 本田技研工業株式会社 倒立振子型車両
US9068843B1 (en) * 2014-09-26 2015-06-30 Amazon Technologies, Inc. Inertial sensor fusion orientation correction
KR102335738B1 (ko) * 2014-12-10 2021-12-06 삼성전자주식회사 디바이스의 회전각 결정 방법 및 이를 위한 장치
WO2017088046A1 (en) * 2015-11-26 2017-06-01 Yodel Technologies Inc. Portable electronic device

Also Published As

Publication number Publication date
JPWO2017199589A1 (ja) 2019-02-14
JP2022044585A (ja) 2022-03-17
US20190099115A1 (en) 2019-04-04
WO2017199589A1 (ja) 2017-11-23
JP6982657B2 (ja) 2021-12-17
US11744484B2 (en) 2023-09-05
JP2020146478A (ja) 2020-09-17

Similar Documents

Publication Publication Date Title
US20220413307A1 (en) System and method
JP2022044585A (ja) 行動推定信号処理システム、行動推定信号処理方法
CN109658435A (zh) 用于视频捕获和创建的无人机云
CN106163627A (zh) 用于信息物理系统的控制设备
JP2012095300A (ja) ユーザ装置及びそのユーザの状況認知方法
JP2017049869A (ja) メガネ型ウェアラブル端末とそのデータ処理方法
JP2017513724A (ja) 人と人型ロボットの交流を処理するためのシステム、方法及びコンピュータプログラムプロダクト
CN109906425B (zh) 信息处理设备
CN111792468B (zh) 将机械定位与检测到的故障相匹配的电梯维护app
Hung et al. Activity recognition with sensors on mobile devices
US20200000414A1 (en) Monitors for movements of workers
CN109484934A (zh) 升降机系统的维护轨迹的跟踪
Windau et al. Situation awareness via sensor-equipped eyeglasses
US20200376343A1 (en) Safety device for assisting a user to traverse a structure
JP7119164B2 (ja) ウェアラブル端末、システム及び表示方法
Gondo et al. Accelerometer-based activity recognition of workers at construction sites
Botezatu et al. Development of a versatile assistive system for the visually impaired based on sensor fusion
JPWO2013183738A1 (ja) 情報処理装置、情報処理方法、プログラムおよび監視カメラシステム
US20160131484A1 (en) System and method for device position classification
Mikov et al. Data processing algorithms for MEMS based multi-component inertial measurement unit for indoor navigation
CN106055083A (zh) 用于监测人的视觉行为的方法
KR101836857B1 (ko) 퍼포먼스 인지 서비스를 위한 웨어러블 기기, 단말기 및 이를 이용한 서비스 제공 시스템
Francik et al. Real-time sensor data integration in vertical transport systems: Are conventional mobile devices capable of coping with industrial measurement?
WO2015189893A1 (ja) 個体識別装置、および個体識別方法
Chu et al. A study of motion recognition system using a smart phone

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200522

R150 Certificate of patent or registration of utility model

Ref document number: 6709281

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150