JP4474529B2

JP4474529B2 - 作業状況記録装置、その記録方法及び記録プログラム

Info

Publication number: JP4474529B2
Application number: JP2004344998A
Authority: JP
Inventors: 克典松岡
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2004-11-29
Filing date: 2004-11-29
Publication date: 2010-06-09
Anticipated expiration: 2024-11-29
Also published as: JP2006157463A

Description

本発明は、作業者に装着した小型カメラ及び加速度センサからの情報を用い、作業状況を自動的に記録することができる作業状況記録装置、その記録方法及び記録プログラムに関する。

石油精製プラント等の正常な運転には、フィールドオペレータの巡視点検作業が重要な役割を果たしている。熟練オペレータは、石油精製プラント機器の運転状況だけでなく、気象条件、臭い、音などの装置以外の要素も総合的に関連付けて異常の予兆の発見を行っており、このような作業マニュアルには表われないノウハウが重要である。

しかし、こうしたノウハウは長年の経験によるものであり、経験の浅い作業者は持ち得ないものであり、そのノウハウを習得するには長い年月がかかる。従って、保守・点検作業のノウハウの蓄積及び伝承が要望されている。

多くの場合、保守・点検作業ノウハウの蓄積のために、作業者の作業内容を記録するために、実際の熟練者の保守・点検作業に観察者が同行し、作業内容を記述によって記録することや、作業をビデオカメラで撮像して映像として記録し、同時に随伴する人がポイントを記録することなどが行われている。

また、下記特許文献１には、保守作業において作業者が使用するカメラや位置姿勢センサなどを用いて作業や設備の記録を行うフィールド情報取得呈示装置が開示されている。
特開２０００−３５３１７９号公報

しかし、上記したように保守・点検作業を記録したビデオ映像からノウハウを抽出するには、記録したビデオ映像を再び目視で確認することが必要であり、また、記録されたポイントと対応させて検証したり、適宜熟練者から聞き取り調査を行うことなどが必要であり、長時間を要する問題がある。

また、作業記録のためには第三者が必要であり、余分な人員を必要とすることから常時記録は困難であった。

また、従来方法で記録された作業記録から、作業時姿勢や注視時間あるいは作業内容で記録情報を検索するためには、人手による作業記録を改めて解析し、検索項目に対応する情報を記録情報に付加する必要があった．
本発明の目的は、上記の課題を解決すべく、カメラからの映像情報を用いて作業者が見ている方向の変化を自動検知し、身体加速度情報から作業中の姿勢を自動検知することを可能にし、それらの情報を統合して、作業概要を作業行為の時系列情報として自動記録することができる作業状況記録装置、その記録方法及び記録プログラムを提供することにある。

本発明の目的は、以下の手段によって達成される。

即ち、本発明に係る作業状況記録装置は、身体に装着される撮像手段と、該撮像手段か
ら出力される映像信号を画像フレームデータとして採取する第１データ採取手段と、処理手段とを備え、前記処理手段が、第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算し、前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定し、前記注視状態が維持されている視方向停留時間を求め、前記注視状態に対応する注視度及び前記視方向停留時間を記録することを特徴としている。

また、上記作業状況記録装置において、前記処理部が、前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求め、該最大値に対応する画像フレームデータを決定し、注視状態が維持されている期間の作業内容を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録することができる。

また、上記作業状況記録装置において、前記身体に装着される３軸加速度センサと、該３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第２データ採取手段とをさらに備え、前記処理手段が、連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算し、前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、前記身体の姿勢を表す姿勢指標を記録することがきる。

また、上記作業状況記録装置において、前記処理手段が、前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算し、重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、該角度を身体の傾斜角度として、前記姿勢指標を決定することができる。

また、上記作業状況記録装置において、前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、該作業行為を表す情報を、時刻情報と対応させて記録することができる。

また、本発明に係る作業状況記録方法は、身体に装着される撮像手段から出力される映像信号を画像フレームデータとして採取する第１ステップと、第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算する第２ステップと、前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定する第３ステップと、前記注視状態が維持されている視方向停留時間を求める第４ステップと、前記注視状態に対応する注視度及び前記視方向停留時間を記録する第５ステップとを含むことを特徴としている。

また、上記の作業状況記録方法において、前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求める第６ステップと、該最大値に対応する画像フレームデータを決定し、注視状態が維持されている期間を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録する第７ステップとをさらに含むことができる。

また、上記の作業状況記録方法において、前記身体に装着される３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第８ステップと、連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算する第９ステップと、前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、該姿勢を表す姿勢指標を記録する第１０ス
テップとをさらに含むことができる。

また、上記の作業状況記録方法において、前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算する第１１ステップと、重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、該角度を身体の傾斜角度として、前記姿勢指標を決定する第１２ステップとを含むことができる。

また、上記の作業状況記録方法において、前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、該作業行為を表す情報を、時刻情報と対応させて記録する第１３ステップをさらに含むことができる。

また、本発明に係る作業状況記録プログラムは、身体に装着される撮像手段と、第１データ採取手段と、処理手段とを備える作業状況記録装置に、前記第１データ採取手段を用いて、前記撮像手段から出力される映像信号を画像フレームデータとして採取する第１機能と、第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算する第２機能と、前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定する第３機能と、前記注視状態が維持されている視方向停留時間を求める第４機能と、前記注視状態に対応する注視度及び前記視方向停留時間を記録する第５機能と実現させることを特徴としている。

また、上記の作業状況記録プログラムにおいて、前記作業状況記録装置に、前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求める第６機能と、該最大値に対応する画像フレームデータを決定し、注視状態が維持されている期間を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録する第７機能とをさらに実現させることができる。

また、上記の作業状況記録プログラムにおいて、前記身体に装着される３軸加速度センサと、第２データ採取手段とをさらに備える前記作業状況記録装置に、前記第２データ採取手段を用いて、前記３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第８機能と、連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算する第９機能と、前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、該姿勢を表す姿勢指標を記録する第１０機能とをさらに実現させることができる。

また、上記の作業状況記録プログラムにおいて、前記作業状況記録装置に、前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算する第１１機能と、重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、該角度を身体の傾斜角度として、前記姿勢指標を決定する第１２機能とをさらに実現させることができる。

また、上記の作業状況記録プログラムにおいて、前記作業状況記録装置に、前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、該作業行為を表す情報を、時刻情報と対応させて記録する第１３機能さらに実現させるこができる。

本発明によれば、カメラから採取される映像データから、作業者が見ている方向の変化（視線方向停留情報）を自動的に検出することができ、注視している期間の代表画像を自動的に決定することができる。

また、加速度センサから採取される身体加速度データから、作業者の姿勢情報を自動的
に検出することができる。

さらに、それらの情報（視線方向停留情報及び姿勢情報）を組み合わせることによって、作業概要を表す作業行為を時系列に自動蓄積することが可能となる。

また、従来は人手によらなければならなかった作業記録解析を自動化することができ、自動蓄積された作業情報を、作業行為、作業者の身体姿勢、作業者の注視時間などの情報として、検索することが可能になる。

以下、本発明に係る実施の形態を、添付した図面に基づいて説明する。

第１図は、本発明の実施の形態に係る作業状況記録装置の概略構成を示すブロック図である。本実施の形態に係る作業状況記録装置は、人体に装着される撮像部１と、撮像部１のアナログ出力信号を所定の時間間隔でサンプリングし、ディジタル映像信号として出力する第１データ採取部２と、人体に装着される３軸加速度センサ(以下、加速度センサと
記す)６と、加速度センサ６のアナログ出力信号を所定の時間間隔でサンプリングし、Ａ
／Ｄ変換してディジタル信号として出力する第２データ採取部７と、第１データ採取部２及び第２データ採取部７からのディジタル信号を記録する記録部３と、メモリ部４と、これら各部を制御する処理部５とを備えている。

撮像部１は、例えば小型のＣＣＤカメラなどであり、ヘルメットに取り付けられており、そのヘルメットをかぶった人の視線方向の映像を撮像する。第１データ採取部２は、処理部５の制御を受けて、撮像部１から出力される映像信号を所定のサンプリング間隔で採取し、ディジタルデータ（フレーム単位の画像データ）として採取した順に出力する。このディジタルデータは、時系列に記録部３に記録される。

一方、加速度センサ６は、例えば人体の腰部に取り付けられ、外力を受けた場合、予め加速度センサ６に設定された直交する３軸(Ｘ軸、Ｙ軸、Ｚ軸)の各方向の加速度に応じた３つのアナログ信号を出力する。第２データ採取部７は、処理部５の制御を受けて、加速度センサ６から出力される３つのアナログ信号を所定のサンプリング間隔Δｔで採取し、ディジタル加速度データとして採取した順に出力する。これらのディジタル加速度データは、時系列のベクトルデータとして記録部３に記録される。

処理部５は、各部の制御に加えて、記録部３に記録された画像データ及び加速度データを対象とし、メモリ部４をワーク領域として使用して後述する作業状況に関する情報の検出処理などを実行する。

身体への取り付けに関しては、例えば、撮像部１及び第１データ採取部２が第１ユニットに組み込まれ、加速度センサ６及び第２データ採取部７が第２ユニットに組み込まれ、記録部３、メモリ部４、及び処理部５が第３ユニットに組み込まれ、少なくとも第１及び第２ユニットを身体に装着すればよい。この場合、第１及び第２データ採取部によって採取されたデータは、通信手段（有線又は無線）を更に備えて第３ユニットの記録部３に伝送されるようにすればよい。
以下、本実施の形態に係る作業状況記録装置の機能を具体的に説明する。

(視方向の停留検出機能)
ヘルメットなどに装着した撮像部１からの映像情報は、作業者が見ている方向の映像を強く反映していると考えられることから、ヘルメットに装着した撮像部１によって撮像される映像のブレ(映像の動きの量)を解析することにより、作業者の視方向の停留状況を自
動的に検出することができる。この機能に関して以下に説明する。

図２は、本実施の形態に係る作業状況記録装置による視方向の停留検出機能を示すフローチャートである。ここで、ヘルメットに取り付けられた撮像部１によって撮像された映像データ（輝度映像）が、時系列のフレームデータとして予め記録部３に記録されていることとし、その映像データを処理対象とする。以下において、特に断らない限り処理部５が行う処理として説明する。また、各ステップでの処理において、処理部５は、適宜記録部３からメモリ部４に映像データを読み出し、メモリ部４の所定領域をワーク領域として使用して計算を行い、その結果を適宜記録部３に記録することとする。

ステップＳ１において、初期設定を行う。処理対象とするフレーム数を指定するための評価時間幅Ｔ₁、シフト時間幅ΔＴ_１(ΔＴ_１≦Ｔ₁)、判定ステップで使用する第１相関しきい値Ｈ₁、第２相関しきい値Ｈ₂、第１移動許容値Ｄ₁、第２移動許容値Ｄ₂を設定する。一例として、Ｔ₁＝２(秒)、ΔＴ₁＝１(秒)、Ｈ₁＝０．２、Ｈ₂＝０．６、Ｄ₁＝１０、Ｄ₂＝１８と設定するとして、以下説明する。

また、繰り返しカウタｋに“０”を、全ての注視度Ｕ(ｉ)(ｉは０以上の整数値)に“０”を設定する。後述するように、時系列の画像フレームデータＦ(ｋ)に対して、時間軸に沿ってシフト時間幅ΔＴ₁だけシフトしながら１回の注視度評価を行う処理対象画像フレ
ームデータの先頭を決定するので、シフトする回数だけ注視度Ｕ(ｉ)を設ける。

ステップＳ２において、隣接する２つの画像フレームデータＦ(ｋ)及びＦ(ｋ＋１)を記録部３から読み出し、２つのフレームデータの正規化相関値を計算し、相関ピーク値Ｐ(
ｋ)及びピーク位置Ｒ(ｋ)＝(Ｒ_ｘ(ｋ)、Ｒ_ｙ(ｋ))を求め、記録部３に記録する。ここで
、ｋは時系列のフレーム番号に対応し、Ｒ_ｘ(ｋ)及びＲ_ｙ(ｋ)はそれぞれ、画像の中心を原点とした水平座標及び垂直座標を、画素数で表した値である。

図３の上段には、時刻ｔ及びｔ＋Δｔにおける２つのフレームデータから、２次元の相関値(相関パターン)が得られることを示している。フレーム相関値は、２枚のフレーム画像の類似度を示しており、類似度が高い時に大きな値を示す。ここでは、映像の明るさによる相関値の変化の影響を抑えるために、フレーム相関値の計算には、各フレーム画像の明るさを正規化した後に相関計算（正規化相関）を行う。正規化相関値の計算方法は、画像処理分野で周知であるので詳細説明を省略する。

フレーム相関のピーク位置の中心からのズレ量(Ｒ_ｘ(ｋ)、Ｒ_ｙ(ｋ))は、２つのフレーム間の画像移動量を表す。従って、フレーム間の相関値を計算することにより、２つのフレーム画像の類似度と移動量とを評価することができる。従って、フレーム相関値及び相関ピークの移動量から、視方向が停留している時間、即ち注視している時間を求めることができる。

ステップＳ３において、処理対象のフレームデータが残っているか否を判断し、残っていないと判断するまで、ステップＳ４でカウンタｋを１増加した後ステップＳ２の戻る。

以上によって、フレームデータに対応する相関ピーク値Ｐ(ｋ)及びピーク位置Ｒ(ｋ)＝(Ｒ_ｘ(ｋ)、Ｒ_ｙ(ｋ))を求めることができる。一例を、図３の下段に、相関値（Ｐ(ｋ)）、水平移動量（Ｒ_ｘ(ｋ)）、垂直移動量（Ｒ_ｙ(ｋ)）として示す。図３の横方向が時間軸である。相関値（Ｐ(ｋ)）は０以上の値であるが、水平移動量（Ｒ_ｘ(ｋ)）、垂直移動量（Ｒ_ｙ(ｋ)）は、負の値を取り得る。

ステップＳ５において、カウンタｋとｊを“０”にリセットした後、ステップＳ６にお
いて、記録部３に記録されているステップＳ２で求めた相関ピーク値Ｐ(ｋ)及びピーク位置Ｒ(ｋ)を、所定数Ｎ₁だけ(Ｐ(ｋ)〜Ｐ(ｋ＋Ｎ₁−１)、Ｒ(ｋ)〜Ｒ(ｋ＋Ｎ₁−１))読み
出す。読み出すデータ数Ｎ₁は、１秒間のフレーム数をＮ_fとして評価時間幅Ｔ₁から、Ｎ₁＝Ｔ₁・Ｎ_fで計算される。例えば、Ｔ₁＝２(秒)、Ｎ_f＝８(秒^−１)であれば、Ｎ₁＝１６
となる。

ステップＳ７において、ステップＳ６で読み出した全ての相関ピーク値Ｐ(ｋ)〜Ｐ(ｋ
＋Ｎ₁−１)の平均値Ｐ_ａｖ(ｋ)が、第１相関しきい値Ｈ₁＝０．２以上であるか否かを判
断する。第１相関しきい値Ｈ₁＝０．２以上でないと判断した場合、ステップＳ８に移行
して、カウンタｋにΔＮ₁を加算し、ステップＳ６に戻り、次の処理対象とする相関ピー
ク値Ｐ(ｋ)及びピーク位置Ｒ(ｋ)を所定数Ｎ₁だけ読み出す。ここで、ΔＮ₁＝Ｎ_ｆ・ΔＴ₁である。第１相関しきい値Ｈ₁＝０．２以上であると判断した場合、ステップＳ９に移行する。

ステップＳ９において、次の条件で注視度Ｕ(ｊ)を決定し、記録部３に記録する。即ち、ｋ〜ｋ＋Ｎ₁−１の範囲に対して、相関ピーク値の平均値Ｐ_av(ｋ)、ピーク位置の平均
値Ｒ_ａｖ(ｋ)_ｘとＲ_ａｖ(ｋ)_ｙが、
Ｐ_ａｖ(ｋ)≧Ｈ₂、Ｒ_ａｖ(ｋ)_x≦Ｄ₂、及びＲ_ａｖ(ｋ)_y≦Ｄ₂の場合、Ｕ(ｊ)＝３とし、
Ｈ₁≦Ｐ_ａｖ(ｋ)＜Ｈ₂、Ｒ_ａｖ(ｋ)_x≦Ｄ₁、及びＲ_ａｖ(ｋ)_y≦Ｄ₁の場合、Ｕ(ｊ)＝２とし、
Ｈ₁≦Ｐ_ａｖ(ｋ)＜Ｈ₂、Ｒ_ａｖ(ｋ)_x≦Ｄ₂、及びＲ_ａｖ(ｋ)_y≦Ｄ₂の場合、Ｕ(ｊ)＝１とする。カウンタｊの値は、ｊ＝ｋ/ΔＮ_１である。ここで、例えばＨ₁＝０．２、Ｈ₂＝０
．６、Ｄ₁＝１０、Ｄ₂＝１８であり、Ｕ(ｊ)＝３、２、１はそれぞれ、「注視強」、「注視中」、「注視弱」を表す。決定されたＵ(ｊ)は、フレーム番号がｋ＋Ｎ₁−１に対応す
る時刻の注視度であり、ｋ＋Ｎ₁−１からｋ＋Ｎ₁＋ΔＮ₁−２までの区間の注視度とする
。ここでＵ(ｊ)が設定されなかった場合、初期設定された“０”が設定されたままであり、この状態を、例えば「その他」とする。

注視度Ｕ(ｊ)は、視方向が止まっている時間（注視している時間）の程度を表す値である。上記の判定条件は、視方向の停留時間が、評価時間幅内Ｔ₁における全てのフレーム
に関するフレーム間相関値が相関しきい値よりも大きく、相関ピークの移動量が移動許容範囲内に収まっている時と考え、停留時間をランク付けするものである。

ステップＳ１０において、処理すべき相関ピーク値Ｐ(ｋ)及びピーク位置Ｒ(ｋ)のデータが残っているか否を判断し、残っていないと判断するまで、ステップＳ６〜Ｓ９を繰り返す。以上で、注視度Ｕ(ｊ)が決定される。

ステップＳ１１において、カウンタｊを“０”にリセットする。

ステップＳ１２において、記録部３に記録された注視度Ｕ(ｊ)を読み出し、それが“０”（「その他」の状態）であるか否かを判断する。“０”であると判断した場合、ステップＳ１４に移行する。“０”でない（注視している状態）と判断した場合、ステップＳ１３に移行する。

ステップＳ１３において、“０”でないＵ(ｊ)が連続する区間の相関ピーク値を記録部３から読み出し、それらの中の最大値Ｐ(ｋ_max)を求め、それに対応するフレーム番号ｋ_maxを決定し、記録部３に記録する。記録されたフレーム番号ｋ_maxを用いて、後述するよ
うに、その区間の代表画像とする画像フレームデータを読み出すことができる。ここで、フレーム番号ｋ_maxを記録する代わりに、代表画像とする画像フレームデータを記録して
もよい。

ステップＳ１４において、処理すべき注視度Ｕ(ｋ)が残っているか否かを判断し、残っていると判断した場合、ステップＳ１５に移行してカウンタｊを１増加させた後、ステップＳ１２〜Ｓ１３の処理を繰り返す。

以上によって、一連のフレームデータの中から特定のフレームを指定するためのフレーム番号ｋ_maxが決定される。

一例として、実際の測定データに、Ｔ₁＝２(秒)、ΔＴ_１＝１(秒)、Ｈ₁＝０．２、Ｈ₂
＝０．６、Ｄ₁＝１０（画素）、Ｄ₂＝１８（画素）の条件で、図２に示した一連の処理を適用した結果を図４及び図５に示す。撮像されたフレーム画像は、３２０×２４０画素である。また、相関ピークの先鋭化を図るために、前処理として各々のフレーム画像に対して高周波強調処理を行った。

図４には、横軸を時間として、相関値、水平移動量、垂直移動量、及びこれらから判定した視方向の注視度をランク付けした結果を示している。注視度のランクは棒グラフの高さで表し、連続する棒グラフ全体の幅が停留時間になる。

図５は、図４の判定結果に関して、決定された相関ピーク値の最大値Ｐ(ｋ_max)に対応
するフレーム番号ｋ_maxを決定し、それらの画像（代表画像）を時間順に並べたものであ
る。図５の番号（１）〜（１２）は、図４の（１）〜（１２）に対応する。各フレーム画像の下には、フレーム番号に対応する時刻情報（時：分：秒）と視方向の停留時間（秒）を示している。図５に示した多くの代表画像は、作業の経過を良く説明している。

以上のように、撮像部１の映像から注視度を求め、これを用いて代表画像と注視作業時間（停留時間）を自動抽出し、記録することにより、作業の変遷を自動蓄積できる。

(作業姿勢検出機能)
図６は、本実施の形態に係る作業状況記録装置による作業姿勢検出機能を示すフローチャートである。ここでは、人体の腰部に取り付けられた３軸加速度センサ６からの加速度データが、第２データ採取部７によって所定のサンプリング間隔Δｔで所定の期間採取され、時系列にベクトルデータとして予め記録部３に記録されていることとし、その加速度データを処理対象とする。図７に、記録された加速度データの一例を示す。図７において、縦軸は加速度データの１軸方向成分、横軸は時間である。

ステップＳ２１において、初期設定を行う。評価時間幅Ｔ₂、シフト時間幅ΔＴ₂(ΔＴ₂≦Ｔ₂)、サンプリング間隔Δｔ、後述する判定ステップで使用する標準偏差σの上限値σ_max及び下限値σ_min、回数パラメータの上限値ｎ_max及び下限値ｎ_min、時間パラメータの上限値ｔ_max及び下限値ｔ_minに所定の値を設定する。また、繰り返し用カウンタｊに“０”を、全ての姿勢指標Ｖ(ｉ)(ｉは０以上の整数値)に“０”を設定する。後述するように、時系列の全加速度データの中から、時間軸に沿ってシフト時間幅ΔＴ₂だけシフトしな
がら１回の処理対処とする加速度データを決定するので、シフトする回数だけ姿勢指標Ｖ(ｊ)を設ける。

ステップＳ２２において、時系列に記録された加速度ベクトルデータの先頭から、評価時間幅Ｔ₂の間の加速度ベクトル(ｇ_x(ｉ)、ｇ_y(ｉ)、ｇ_z(ｉ))(ｉ＝ｋ〜ｋ＋Ｎ₂−１)を
読み出し、各々の加速度ベクトルの大きさ｜ｇ(ｉ)｜＝(ｇ_x(ｉ)^２＋ｇ_y(ｉ)^２＋ｇ_z(ｉ)^２)^１／２を計算し、それらの平均値ｇ_av及び標準偏差σを計算する。評価時間幅Ｔ₂毎の加速度データ数Ｎ₂は、Ｎ₂＝Ｔ₂／Δｔで計算される。

ステップＳ２３において、ステップＳ２２で計算した標準偏差σが、σ＜σ_min を満
たすか否かを判断する。満足すると判断した場合、ステップＳ２４に移行して姿勢指標Ｖ(ｊ)に“１”をセットし、ステップＳ２５に移行してカウンタｋをΔＮ₂だけ増加させた
後、ステップＳ２２に戻る。満足しないと判断した場合、ステップＳ２６に移行する。ここで、カウンタｋをΔＮ₂だけ増大させることは、時間軸に沿ってシフト時間幅ΔＴ₂だけシフトして次に処理対処とする加速度データの先頭を決定することであり、ΔＮ₂＝ΔＴ₂／Δｔである。従って、ΔＮ₂≦Ｎ₂である。

ステップＳ２６において、ステップＳ２２で計算した標準偏差σが、σ＞σ_max を満
たすか否かを判断する。満足すると判断した場合、ステップＳ２７に移行して姿勢指標Ｖ(ｊ)に“６”をセットした後、ステップＳ２５に移行する。満足しないと判断した場合、ステップＳ２８に移行する。カウンタｊは、ｊ＝ｋ／ΔＮ₂の関係にある。

ステップ２８において、ステップＳ２２で求めた加速度ベクトルの大きさ｜ｇ(ｉ)｜が平均値ｇ_avを超える回数ｎ、及び｜ｇ(ｉ)｜＞ｇ_avである時間の合計時間ｔ₁を計算する
。

ステップＳ２９において、ステップＳ２８で求めた回数ｎ及び合計時間ｔ₁が、
ｎ_min＜ｎ＜ｎ_max （式１）
ｔ_min＜ｔ₁＜ｔ_max （式２）
を満たすか否かを判断する。式１及び式２の関係を満たすと判断した場合、ステップＳ３０に移行し、姿勢指標Ｖ(ｊ)に“２”をセットした後、ステップＳ２５に以降する。少なくとも式１及び式２の何れか一方が満たされないと判断した場合、ステップＳ３１に移行する。

ステップＳ３１において、その区間内の加速度ベクトル(ｇ_x(ｉ)、ｇ_y(ｉ)、ｇ_z(ｉ))(ｉ＝ｋ〜ｋ＋Ｎ₂−１)の平均ベクトルを計算し、重力加速度方向を基準として、この計算した平均ベクトルとの成す角度θを計算し、角度θに応じて姿勢指標Ｖ(ｊ)を設定する。具体的には、例えば、２０（度）≦θ＜３６（度）の場合、Ｖ(ｊ)＝３、３６（度）≦θ＜５５（度）の場合、Ｖ(ｊ)＝４、θ≧５５（度）の場合、Ｖ(ｊ)＝４と設定する。ここで設定された姿勢指標Ｖ(ｊ)は、区間（ｋ＋Ｎ₂−１〜ｋ＋Ｎ₂＋ΔＮ₂−２）に対して適
用される。

ステップＳ３２において、処理対象の加速度データがＮ₂以上残っているか否を判断し
、残っていないと判断するまで、ステップＳ２５に戻った後、ステップＳ２２〜Ｓ３１の処理を繰り返す。

以上の処理によって、区間（ｋ＋Ｎ₂−１〜ｋ＋Ｎ₂＋ΔＮ₂−２）毎に、即ちΔＴ₂毎に、姿勢指標Ｖ(ｊ)、即ち身体状態を示す情報が決定される。

一例として、評価時間幅Ｔ₂＝３(秒)、シフト時間幅ΔＴ₂＝１(秒)とし、評価時間幅Ｔ₂内の加速度ベクトルの平均振幅をｇ_avとしてσ_min＝０．２ｇ_av、σ_max＝０．９ｇ_av、
ｎ_min＝０．２Ｔ₂／Δｔ、ｎ_max＝０．８Ｔ₂／Δｔ、ｔ_min＝０．２Ｔ₂、ｔ_max＝０．８
Ｔ₂の条件で、実測した加速度ベクトルに図６に示した一連の処理を適用した結果を、図
８に示す。図８の中段に示したＸ、Ｙ、Ｚの身体加速度は、サンプリング間隔Δｔ＝０．０５(秒)(２０Ｈｚ)で採取したデータ(３軸の各成分)を示しており、その下方に姿勢判定の結果を示している。

黒い棒グラフで示した姿勢判定結果は、姿勢指標Ｖ(ｊ)が０、１、２、３、４、５、６の場合をそれぞれ、「その他」、「静止」、「歩行」、「傾斜小」、「傾斜中」、「傾斜
大」、「衝撃」と記している。図８の身体加速度の上方には、作業者に同行した観察者による、作業状況を説明するコメントを示している。コメントと姿勢判定結果とを比較すると、作業内容に対応した姿勢検出が良好に行われていることが分かる。

（作業状況記録機能）
次に、作業者の注視度及び姿勢の検出結果を用いて、各時刻における作業行為を推定し、それを作業状況を表す情報として記録する機能に関して説明する。作業行為の推定は、上記した注視度Ｕ(ｊ)によって表される作業者の４段階の視方向の停留状態（注視強、注視中、注視弱、停留なし（その他））と、同じ時刻における上記した姿勢指標Ｖ(ｊ)によって表される作業者の７種類の姿勢情報（静止、歩行、傾斜小、傾斜中、傾斜大、衝撃的姿勢変化、その他）とを組み合わせて、決定する。

図９は、本実施の形態に係る作業状況記録装置による作業状況記録機能を示すフローチャートである。ここで、映像データおよび加速度データは同じ期間採取され、図２、図６に示した処理が実行され、同じ数の注視度Ｕ(ｊ)および姿勢指標Ｖ(ｊ)が記録部３に記録されていることとする。

ステップＳ４１において、カウンタｊに“０”を設定する。ｊ＝０は、例えば、処理対象のデータ（映像データ及び加速度データ）の採取の開始時刻に対応する。

ステップＳ４２において、記録部３から注視度Ｕ(ｊ)および姿勢指標Ｖ(ｊ)を読み出す。

ステップＳ４３において、ステップＳ４２で読み出した注視度Ｕ(ｊ)および姿勢指標Ｖ(ｊ)の組み合わせに応じて、作業行為を表すパラメータＷ(ｊ)を決定し、カウンタｊの値と対応させて記録部３に記録する。例えば、６種類の作業行為（「移動」、「目視点検」、「注視点検・触診」、「屈み込み」、「覗き込み」、「その他」）を判別する場合、次の判定条件に応じて作業行為を判定すればよい。
（１）姿勢情報が「歩行（Ｖ(ｊ)＝２）」状態であり且つ視方向停留状態が「停留なし（Ｕ(ｊ)＝０）」の場合、「移動（Ｗ（ｊ）＝１）」と判定
（２）姿勢情報が「静止（Ｖ(ｊ)＝１）」状態の場合、または、姿勢情報が「歩行（Ｖ(
ｊ)＝２）」であり且つ視方向停留状態が「注視弱（Ｕ(ｊ)＝１）」の場合、「目視点検
（Ｗ(ｊ)＝２）」と判定
（３）姿勢情報が「静止（Ｖ(ｊ)＝１）」状態であり且つ視方向停留状態が「注視弱（Ｕ(ｊ)＝１）」、「注視中（Ｕ(ｊ)＝２）」及び「注視強（Ｕ(ｊ)＝３）」の何れかである場合、または姿勢情報が「歩行（Ｖ(ｊ)＝１）」状態であり且つ視方向停留状態が「注視中（Ｕ(ｊ)＝２）」及び「注視強（Ｕ(ｊ)＝３）」の何れかである場合、「注視点検・触診（Ｗ(ｊ)＝３）」と判定
（４）姿勢情報が「傾斜小（Ｖ(ｊ)＝３）」、「傾斜中（Ｖ(ｊ)＝４）」及び「傾斜大（Ｖ(ｊ)＝５）」の何れかの状態であり且つ視方向停留状態が「停留なし（Ｕ(ｊ)＝０）」及び「注視弱（Ｕ(ｊ)＝１）」の何れかの場合、「屈み込み（Ｗ(ｊ)＝４）」と判定
（５）姿勢情報が「傾斜小（Ｖ(ｊ)＝３）」、「傾斜中（Ｖ(ｊ)＝４）」及び「傾斜大（Ｖ(ｊ)＝５）」の何れかであり且つ視方向停留状態が「注視弱（Ｕ(ｊ)＝１）」、「注視中（Ｕ(ｊ)＝２）」及び「注視強（Ｕ(ｊ)＝３）」の何れかである場合、「覗き込み（Ｗ(ｊ)＝５）」と判定
（６）その他の状態を「その他（Ｗ(ｊ)＝０）」と判定
ステップＳ４４において、処理対象のデータが残っているか否かを判断し、処理対象のデータがあると判断した場合、ステップＳ４５に移行してカウンタｊを１増加させて、処理対象のデータがなくなるまで、ステップＳ４２〜４３の処理を繰り返す。

以上の結果、作業行為を表すパラメータＷ(ｊ)を決定することができる。従って、パラメータＷ(ｊ)の値（例えば、０〜５）と、それらに対応する作業行為を表す文字情報などを対応させてテーブルとして記録しておけば、パラメータＷ(ｊ)が決まれば、そのテーブルを参照することで、作業行為を文字情報などで表示することが可能となる。

一例として、図４に示した視方向の停留検出結果及び図８に示した作業姿勢検出結果に対して、上記した（１）〜（６）の判定条件を適用した結果を図１０に示す。図１０は、図４及び図８のうち、時刻が１５：３７：２０〜１５：３９：３１の間に関する結果である。このように、作業者が身に付けた撮像部１と３軸加速度センサ６のみを用いて、作業内容を作業行為の時系列情報として自動的に記録することができる。

上記の視方向の停留検出機能において、ある時刻ｔの注視度Ｕ(ｊ)を判定するために、評価時間幅Ｔ₁だけ過去（ｔ−Ｔ₁〜ｔ）のデータを使用する場合を説明したが、これに限定されず、時刻ｔを挟んだ評価時間幅Ｔ₁（ｔ−Ｔ₁＋τ〜ｔ＋τ）のデータを使用してもよい。ここで、τ＜Ｔ₁である。評価時点で前後同じ評価時間で判定するには、τ＝Ｔ₁／２とすればよい。

また、上記の作業姿勢検出機能における姿勢指標Ｖ(ｊ)の判定に関しても同様に、時刻ｔを挟んだ評価時間幅Ｔ₂（ｔ−Ｔ₂＋τ〜ｔ＋τ）のデータを使用してもよい。ここで、τ＜Ｔ₂である。評価時点で前後同じ評価時間で判定するには、τ＝Ｔ₂／２とすればよい。

また、上記した視方向の停留検出機能、作業姿勢検出機能、及び作業状況記録機能では、予め記録部に記録されている映像データ及び加速度データを処理する場合を説明したが、データの採取と並行してリアルタイムに処理を行ってもよい。その場合、例えば、視方向の停留検出機能を示す図２のステップＳ２の処理を、所定数の映像フレームデータを採取する処理とし、作業姿勢検出機能を示す図６のステップＳ２２の処理を、所定数の加速度データを採取する処理とすればよい。尚、上記したように、ある時刻ｔにおける注視度Ｕ(ｊ)又は姿勢指標Ｖ(ｊ)の判定に、ｔ−Ｔ₁＋τ〜ｔ＋τの範囲のデータを使用する場
合、ｔ〜ｔ＋τの範囲のデータは時刻ｔにとって未来のデータであるので、処理の遅れを考慮して、あまり大きくないτ（τ＜Ｔ₁）を決定することが望ましい。

また、上記の停留検出機能に関して、ステップＳ９において、相関ピーク値の平均値Ｐ_av(ｋ)、及びピーク位置の平均値Ｒ_ａｖ(ｋ)_ｘ、Ｒ_ａｖ(ｋ)_ｙを用いて、注視度Ｕ(ｊ)を決定したが、これに限定されない。例えば、ｋ〜ｋ＋Ｎ₁−１の区間内の各々の相関ピー
ク値Ｐ(ｋ)及びピーク位置Ｒ(ｋ)_ｘ、Ｒ(ｋ)_ｙが上記した条件を満たすか否かに応じて、注視度Ｕ(ｊ)を決定してもよい。

また、上記で一例として示した、第１及び第２相関しきい値Ｈ₁、Ｈ₂、第１及び第２移動許容値Ｄ₁、Ｄ₂、標準偏差の下限値及び上限値σ_min、σ_max、回数の下限値及び上限値ｎ_min、ｎ_max、時間パラメータの下限値及び上限値ｔ_min、ｔ_maxなどの値は、上記の値に限定されず、適宜設定することができる。

また、上記では注視度を３ランクに、姿勢状態を７種類に、傾斜状態を３ランクに、さらに作業行為を６種類に分類する場合を説明したが、これらに限定されず、これらより多く分類することも、少なく分類することもできる。

例えば、注視度を１ランクとし、相関ピーク値が０．２以上であり且つ移動許容量が１８画素以内である場合に、注視状態（視方向の停留状態）であると判定してもよい。

また、移動許容量は、水平方向、垂直方向で同じ値としたが、異なる値であってもよく、フレーム画像の中心からの距離((Ｒ_ｘ)²＋(Ｒ_ｙ)²)^1/2で移動許容量を指定してもよい
。

本発明の実施の形態に係る作業状況記録装置の概略構成を示すブロック図である。本発明の実施の形態に係る作業状況記録装置による視方向の停留情報検出機能を示すフローチャートである。フレーム相関値の計算を説明する図である。本発明の実施の形態に係る作業状況記録装置による視方向の停留情報検出機能を適用した結果の一例を示す図である。図４に示した停留時間中の代表画像の抽出結果を示す図である。本身体状態検出装置による歩行状態の検出処理機能を実行した結果の一例を示す図である。加速度データの一例を示す図である。本発明の実施の形態に係る作業状況記録装置による作業姿勢検出機能を実行した結果の一例を示す図である。本発明の実施の形態に係る作業状況記録装置による作業状況記録機能を示すフローチャートである。本発明の実施の形態に係る作業状況記録装置による作業状況記録機能を実行した結果の一例を示す図である。

符号の説明

１撮像部
２第１データ採取部
３記録部
４メモリ部
５処理部
６加速度センサ
７第２データ採取部

Claims

身体に装着される撮像手段と、
該撮像手段から出力される映像信号を画像フレームデータとして採取する第１データ採取手段と、
処理手段とを備え、
前記処理手段が、
第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算し、
前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定し、
前記注視状態が維持されている視方向停留時間を求め、
前記注視状態に対応する注視度及び前記視方向停留時間を記録することを特徴とする作業状況記録装置。
前記処理部が、
前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求め、
該最大値に対応する画像フレームデータを決定し、
注視状態が維持されている期間の作業内容を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録することを特徴とする請求項１に記載の作業状況記録装置。
前記身体に装着される３軸加速度センサと、
該３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第２データ採取手段とをさらに備え、
前記処理手段が、
連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算し、
前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、
前記身体の姿勢を表す姿勢指標を記録することを特徴とする請求項１又は２に記載の作業状況記録装置。
前記処理手段が、
前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算し、
重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、
該角度を身体の傾斜角度として、前記姿勢指標を決定することを特徴とする請求項３に記載の作業状況記録装置。
前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、
該作業行為を表す情報を、時刻情報と対応させて記録することを特徴とする請求項４に記載の作業状況記録装置。
身体に装着される撮像手段から出力される映像信号を画像フレームデータとして採取する第１ステップと、
第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算する第２ステップと、
前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定する第３ステップと、
前記注視状態が維持されている視方向停留時間を求める第４ステップと、
前記注視状態に対応する注視度及び前記視方向停留時間を記録する第５ステップとを含むことを特徴とする作業状況記録方法。
前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求める第６ステップと、
該最大値に対応する画像フレームデータを決定し、注視状態が維持されている期間を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録する第７ステップとをさらに含むことを特徴とする請求項６に記載の作業状況記録方法。
前記身体に装着される３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第８ステップと、
連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算する第９ステップと、
前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、該姿勢を表す姿勢指標を記録する第１０ステップとをさらに含むことを特徴とする請求項６又は７に記載の作業状況記録方法。
前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算する第１１ステップと、
重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、該角度を身体の傾斜角度として、前記姿勢指標を決定する第１２ステップとを含むことを特徴とする請求項８に記載の作業状況記録方法。
前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、該作業行為を表す情報を、時刻情報と対応させて記録する第１３ステップをさらに含むことを特徴とする請求項９に記載の作業状況記録方法。
身体に装着される撮像手段と、第１データ採取手段と、処理手段とを備える作業状況記録装置に、
前記第１データ採取手段を用いて、前記撮像手段から出力される映像信号を画像フレームデータとして採取する第１機能と、
第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算する第２機能と、
前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定する第３機能と、
前記注視状態が維持されている視方向停留時間を求める第４機能と、
前記注視状態に対応する注視度及び前記視方向停留時間を記録する第５機能と実現させることを特徴とする作業状況記録プログラム。
前記作業状況記録装置に、
前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求める第６機能と、
該最大値に対応する画像フレームデータを決定し、注視状態が維持されている期間を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録する第７機能とをさらに実現させることを特徴とする請求項１１に記載の作業状況記録プログラム。
前記身体に装着される３軸加速度センサと、第２データ採取手段とをさらに備える前記
作業状況記録装置に、
前記第２データ採取手段を用いて、前記３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第８機能と、
連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算する第９機能と、
前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、該姿勢を表す姿勢指標を記録する第１０機能とをさらに実現させることを特徴とする請求項１１又は１２に記載の作業状況記録プログラム。
前記作業状況記録装置に、
前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算する第１１機能と、
重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、該角度を身体の傾斜角度として、前記姿勢指標を決定する第１２機能とをさらに実現させることを特徴とする請求項１３に記載の作業状況記録プログラム。
前記作業状況記録装置に、
前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、該作業行為を表す情報を、時刻情報と対応させて記録する第１３機能さらに実現させることを特徴とする請求項１４に記載の作業状況記録プログラム。