JP6098799B2 - 指差し呼称監視システム - Google Patents

Description

この発明は、作業の安全や作業品質の確保のための指差し呼称確認の実施状況を監視するための指差し呼称監視システムに関する。

例えば、鉄道、建設、医療等の現場では、作業者のヒューマンエラーが大事故につながるおそれがあるので、作業ミスや作業漏れを防止するため、指差し呼称確認が行われている。指差し呼称確認の有効性は広く認められているものの、慣れてくると、指差し動作が緩慢になったり呼称が曖昧になったり、形式的なものになりやすい。そこで、作業者が指差し動作と呼称を適正に行ったことを客観的に評価し、記録できる監視システムが求められている。

従来、特許文献１に開示されているように、プラントの監視制御に使用される指差呼称確認システムがあった。この指差呼称確認システムは、音声入力手段、ポインティング入力手段、図形の表示手段等を有し、作業者が特定の図形をポインティングして呼称すると、その呼称を音声データに変換し、ポインティングされた図形に対応する適正な呼称であるか否かを判定するものである。判定を行う際は、作業者がポインティング動作と呼称のタイミングが一定時間内であるか否かも考慮される。

また、特許文献２に開示されているように、列車等の運転者が安全に運転することを支援するための運転支援装置があった。この運転支援装置は、音声取得部、指差動作検出部等を有し、作業者の呼称の適否、及び作業者の指差し動作の適否を個別に判定することができる。

特開平９−１１４５７９号公報 特開２００５−１１５６２９号公報

しかし、特許文献１の指差呼称確認システムは、指差し動作が監視用のディスプレイの表示をポインティングする動作であり、現場作業者が腕を振り上げて対象物を指差す動作の適否を判定するものではない。

特許文献２の運転支援装置は、現場作業者が腕を振り上げて対象物を指差す動作を検出する指差動作検出部が設けられているが、具体的な構成や動作については開示されていない。

本発明は、上記背景技術に鑑みて成されたものであり、作業者が行った指差し動作、呼称、及び相互のタイミングの適否を精度よく判定することができる指差し呼称監視システムを提供することを目的とする。

本発明は、指差し動作と呼称とを組み合わせた指差し呼称確認の実施状況を監視する指差し呼称監視システムであって、作業者の腕に装着可能に設けられ、作業者の腕の動きを検出して信号出力する動作検出装置と、前記動作検出装置の出力信号を分析し、腕を振り上げてから振り下ろすまでの一連の指差し動作が適正に行われたか否かを判断するための動作分析情報を出力する動作分析装置と、作業者の発した声を検出して信号出力する音声検出装置と、前記音声検出装置の出力信号を分析し、作業者が呼称を適正に行ったか否かを判断するための音声分析情報を出力する音声分析装置と、前記動作分析情報及び前記音声分析情報を受け、指差し動作の適否の判断と、呼称の適否の判断と、指差し動作と呼称の時間差が所定の時間内であるか否かの判断とを行う判定部と、前記判定部の動作履歴が格納される記録部とを備える指差し呼称監視システムである。

前記動作検出装置は、加速度センサと角速度センサの少なくとも一方を備え、前記作業者の上腕部に装着されるものである。

前記動作分析装置は、前記動作分析装置の出力信号を分析して作業者の腕の動きの特徴情報を抽出する特徴情報抽出部と、前記特徴情報に基づいて、作業者の腕の動作が振り上げの状態か、振り下しの状態か、その他の状態かを識別し、識別結果を識別信号として出力する動作識別部と、前記識別信号を所定の周期でサンプリングし、前記識別信号の内容に応じて所定のカウント動作を行う振り上げカウンタ部及び振り下しカウンタ部とを備え、
前記振り上げカウンタ部は、前記識別信号が振り上げの状態になるとカウントを開始し、前記振り下しカウンタ部がカウントを開始すると累積したカウント数がリセットされ、前記振り下しカウンタ部がカウントを開始する前であっても、前記識別信号が振り上げの状態以外の状態に変化した場合は、カウントを停止して直前の累積カウント数を保持し、その後、振り上げの状態にならずに第一の基準時間が経過すると、前記保持した累積カウント数がリセットされ、
前記振り下しカウンタ部は、前記識別信号が振り下しの状態になると、直前の前記振り上げカウンタ部の累積カウント数を初期値としてカウントを開始し、前記識別信号が振り下し状態以外の状態に変化するとカウントを停止して直前の累積カウント数を保持し、その後、振り下しの状態にならずに第二の基準時間が経過すると、前記保持した累積カウント数がリセットされ、前記識別信号が振り下し状態以外の状態に変化しなくても、サンプリングの各タイミングにおいて累積カウント数が第一の基準カウント数未満のときは、都度、累積カウント数がリセットされ、
前記判定部は、前記振り下しカウンタ部の累積カウント数を前記動作分析装置の動作分析情報として受信し、この累積カウント数が第二の基準カウント数以上に達すると、指差し動作が適正に行われたと判断する構成でもよい。

あるいは、前記動作分析装置は、前記動作検出装置の出力信号を分析して作業者の腕の動きの特徴情報を抽出する特徴情報抽出部と、前記特徴情報に基づいて、作業者の腕の動作が振り上げの状態か、振り下しの状態か、その他の状態かを識別して識別信号を出力すると共に、その識別結果の確からしさを表わす確度信号を出力する動作識別部と、前記識別信号及び前記確度信号を所定の周期でサンプリングし、前記各信号の内容に応じて所定のカウント動作を行う振り上げカウンタ部及び振り下しカウンタ部とを備え、
前記振り上げカウンタ部は、前記識別信号が振り上げの状態でかつ前記確度信号が第一の基準確度以上になるとカウントを開始し、１回当たりのカウント数は前記確度が低いほど少なく設定されており、前記振り下しカウンタ部がカウントを開始すると前記累積カウント数がリセットされ、前記振り下しカウンタ部がカウントを開始する前であっても、前記識別信号が振り上げの状態でかつ前記確度信号が前記第一の基準確度未満になった場合、又は前記識別信号が振り上げの状態以外の状態に変化した場合は、カウントを停止して直前の累積カウント数を保持し、その後、振り上げの状態でかつ前記確度信号が前記第一の基準確度以上にならずに第一の基準時間が経過すると、前記直前の累積カウント数がリセットされ、
前記振り下しカウンタ部は、前記識別信号が振り下しの状態でかつ前記確度信号が第二の基準確度以上になると、直前の前記振り上げカウンタ部の累積カウント数を初期値としてカウントを開始し、カウントした各タイミングにおいて累積カウント数が第一の基準カウント数未満の場合には、都度、累積カウント数がリセットされ、カウントした各タイミングにおいて累積カウント数が前記第一の基準カウント数以上であっても、前記識別信号が振り下しの状態でかつ前記確度信号が前記第二の基準確度以下になった場合、又は前記識別信号が振り下しの状態以外の状態に変化した場合は、カウントを停止して直前の累積カウント数を保持し、その後、振り下しの状態にならずに第二の基準時間が経過すると、前記累積カウント数がリセットされ、
前記判定部は、前記振り下しカウンタ部の累積カウント数が第二の基準カウント数以上に達すると、指差し動作が適正に行われたと判断する構成でもよい。

また、前記音声分析装置は、前記音声検出装置の出力信号をテキストデータに変換して音声分析情報として出力し、前記判定部は、前記音声分析情報が所定の呼称に該当するか否かを判断する構成でもよい。

また、前記記録部には、前記判定部の動作履歴に加え、動作分析装置、音声分析装置の動作履歴も合わせて格納されるようにしてもよい。

本発明の指差し呼称監視システムは、現場作業者の指差し動作の適否、呼称の適否、及び指差し動作と呼称のタイミングの適否を個別に判断することによって、指差し呼称確認が適正に行われたか否かを精度よく判定し、記録することができる。

また、振り上げカウンタ部や振り下しカウンタ部等を組み合わせて独特の処理を行う動作分析装置を設けることで、腕を振り上げてから振り下すまでの一連の動作を効率よく分析し、指差し動作の適否の判断するための的確な動作分析情報を得ることができる。

本発明の指差し呼称監視システムの第一実施形態のシステム構成図である。 第一実施形態の動作を示すタイムチャートである。 本発明の指差し呼称監視システムの第二実施形態のシステム構成図である。 第二実施形態の動作を示すタイムチャートである。

以下、本発明の指差し呼称監視システムの第一実施形態について、図１、図２に基づいて説明する。この実施形態の指差し呼称監視システム１０は、例えば病院等の医療や介護の現場で用いられ、看護師や介護士等の作業者が行った指差し動作、呼称、及び相互のタイミングを個別に評価することによって、指差し呼称確認の実施状況を監視するシステムである。このシステムは、図１に示すように、作業者Ｍの腕の動きを検出する動作検出装置１２、動作検出装置１２の検出結果を分析する動作分析装置１４、作業者が発した声を検出する音声検出装置１６、音声検出装置１６の検出結果を分析する音声分析装置１８、動作分析装置１４及び音声分析装置１８の分析結果に基づいて判定を行う判定部２０、及び各部の動作履歴が格納される記録部２２を備えている。

動作検出装置１２は、作業者Ｍの腕に装着可能に設けられ、腕の動きに対応した信号を無線出力する装置である。例えば、３軸加速度センサや３軸角速度センサ等を上腕にベルト等の装着部材を巻いて装着する構造である。上腕は、指差し動作以外の動作を行ったとき、前腕よりも移動動作が単純であり、指差し動作の検出に適している。さらに、前腕よりも患者や被介護者に等に接触し難く、安全性が高い。

動作分析装置１４は、動作検出装置１２の出力信号を分析し、腕を振り上げてから振り下ろすまでの一連の指差し動作が適正に行われたか否かを判断するための動作分析情報を出力する装置であり、特徴情報抽出部２４、動作識別部２６、振り上げカウンタ部２８、振り下しカウンタ部３０を備えている。

特徴情報抽出部２４は、動作検出装置１２の出力信号に基づいて、作業者Ｍの腕の動きの特徴情報を抽出する。特徴情報は、例えば、各軸の加速度、角速度、これらの平均、分散、FFT（Fast Fourier Transform）パワースペクトラムなどである。

動作識別部２６は、特徴抽出部２４が抽出した特徴情報に基づいて、作業者Ｍの腕の動作が振り上げの状態か、振り下しの状態か、その他の状態かを識別し、識別結果を識別信号として出力するブロックであり、例えば、公知のSVM（Support Vector Machine）モジュールを使用するとよい。SVMモジュールは、あらかじめ与えられた動作教師モデル２６ａ（振り上げの状態を表わす複数のモデルデータ、振り下げの状態を表わす複数のモデルデータ）に基づいて多次元のパラメータ空間をクラス分けする統計処理を行い、動作分析部１４が抽出した特徴情報がどのクラスに該当するかを特定することによって、動作の状態を識別する。この実施形態では例えば、振り上げの状態は、腕が上向きに移動している状態のことで、識別信号「１」が出力される。振り下しの状態は、腕が下向きに動いている状態のことで、識別信号「２」が出力される。その他の状態は、振り上げ及び振り下しの状態以外の状態のことで、識別信号「３」が出力される。腕を振り上げて静止している状態は、その他の状態に該当する。

振り上げカウンタ部２８及び振り下しカウンタ部３０は、クロックパルスを数えることにより数値の処理を行うカウンタの機能を備え、それぞれ動作識別部２６の識別信号を所定の周期でサンプリングし、識別信号の内容に応じて所定のカウント動作を行う。

振り上げカウンタ部２８は、図２に示すように、識別信号が振り上げの状態「１」になるとカウントを開始する。ここでは１回当たりのカウント数が１であり、識別信号「１」の間カウントを継続し、カウント数が累積される。そして、後述する振り下しカウンタ部３０がカウントを開始すると、累積したカウント数A28がリセットされる。振り下しカウンタ部３０がカウントを開始する前であっても、識別信号が振り上げの状態以外の「２」「３」に変化した場合は、カウントを停止して直前の累積カウント数A28を保持し、その後、振り上げの状態「１」にならずに第一の基準時間Tr1が経過すると、保持した累積カウント数A28がリセットされる。

振り下しカウンタ部３０は、識別信号が振り下しの状態「２」になると、直前の振り上げカウンタ部２８の累積カウント数A28を初期値としてカウントを開始する。ここでは１回当たりのカウント数が１であり、状態「２」の間カウントを継続し、カウント数が累積される。ただし、カウントした各タイミングにおいて、累積カウント数A30が第一の基準カウント数K1未満のときは、都度、累積カウント数A30がリセットされる。また、カウントした各タイミングにおいて、累積カウント数A30が第一の基準カウント数K1以上であっても、識別信号が振り下し状態以外の状態「１」「３」に変化すると、カウントを停止して直前の累積カウント数A30を保持し、その後、振り下しの状態「２」にならずに第二の基準時間Tr2が経過すると、保持した累積カウント数A30がリセットされる。累積カウント数A30は、作業者Ｍが適正な指差し動作を行ったか否かを判断するための動作分析情報として、判定部２０に向けて出力される。

音声検出装置１６は、例えばヘッドセット型のマイクロホン等であり、作業者Ｍが発した声を電気信号に変換して無線出力する。

音声分析装置１８は、音声検出装置１６の出力信号を分析することによって作業者の声をテキストデータ化し、作業者Ｍが適正な呼称を行ったか否かを判断するための音声分析情報として出力する。

判定部２０は、動作分析情報及び音声分析情報を受け、指差し動作が適正に行われたか否かの判断と、呼称が適正に行われたか否かの判断と、指差し動作と呼称の時間差が所定の時間内であるか否かの判断とを行う機能を備えている。ここでは、動作分析情報（振り下しカウンタ部３０の累積カウント数A30）が、第二の基準カウント数K2（＞k1）以上になると、適正な指差し動作が行われたと判断する。また、音声分析情報が、あらかじめ指定されたテキストデータと一定レベル以上の一致が得られると、適正な呼称が行われたと判断する。また、指差し動作が検出されたタイミングと呼称のタイミングの時間差が所定時間内のとき、検出された指差し動作と呼称とが一対のものであると判断する。そして、３つの判断要素が全て肯定されると、作業者による指差し呼称確認が適正に行われたと判定する。

記録部２２には、判定部２０、動作分析装置１４、及び音声分析装置１８の動作履歴が格納され、後で確認できるようになっている。

指差し呼称監視システム１０の各装置又は各ブロックはそれぞれ独立して設けてもよいし、作業者Ｍが身に付ける動作検出装置１２と音声検出装置１６以外の部分を、パーソナルコンピュータ内に一体に構成してもよい。

次に、指差し呼称監視システム１０の動作のうち、指差し動作を監視する動作について、図２のタイムチャートに基づいて説明する。作業者Ｍは、初期の状態で、腕を下向きに伸ばし身体の側方に静止させているとする。このとき、動作分析装置１４の動作識別部２６は、動作検出装置１２及び特徴抽出部２４を通じて取得した特徴情報を分析し、「その他の状態である」として識別情報「３」を出力する。振り上げカウンタ部２８と振り上げカウンタ部３０は、それぞれ一定周期で識別信号をサンプリングしており、識別信号が「３」なので、いずれもカウントを停止している。

作業者Ｍが対象物を指差すために腕を振り上げると、動作識別部２６は、「振り上げの状態である」として識別信号を「１」に変化させる。すると、振り上げカウンタ部２８が識別信号「１」をサンプリングし、カウントを開始する。図２では、識別信号「１」のサンプリングが５回連続しており、１回当たりのカウント数は１なので、５回目にカウントした時点で累積カウント数A28が５になる。

その後、腕が対象物を指差す位置まで移動して静止すると、動作識別部２６は、「その他の状態である」として識別信号を「３」に変化させる。すると、振り上げカウンタ部２８は、識別信号「３」をサンプリングしカウントを停止する。図２では、識別信号「３」のサンプリングが２〜３回連続しており、この期間、累積カウント数A28が５に保持される。

次に、作業者Ｍが指差しを止めて腕を振り下すと、動作識別部２６は、「振り下しの状態である」として識別信号を「２」に変化させる。すると、振り下しカウンタ部３０が識別信号「２」をサンプリングし、振り上げカウンタ部２８の直前の累積カウント数A28＝５を初期値としてカウントを開始する。図２では、識別信号「２」のサンプリングが５回連続しており、１回当たりのカウント数は１なので、５回目にカウントした時点で累積カウント数A30が１０になる。一方、振り上げカウンタ部２８は、振り下しカウンタ部２８がカウントを開始した時点で、累積カウント数A28がリセットされる。

その後、腕が身体の側方の位置まで移動して静止すると、動作識別部２６は、「その他の状態である」として識別信号を「３」に変化させる。すると、振り下しカウンタ部３０が識別信号「３」をサンプリングしてカウントを停止し、累積カウント数A30が１０に保持される。作業者Ｍの指差し動作はもう終了したので、識別信号「３」がしばらく継続する。その後、振り下しカウンタ部３０は、識別信号が「２」をサンプリングすることなく第二の基準時間Tr2が経過した時点で、累積カウント数A30がリセットされる。第二の基準時間Tr2は、例えば１〜２秒程度に設定するとよい。

判定部２０は、第一の基準カウント数K1が例えば８に設定されており、振り下しカウンタ部３０の累積カウント数A30が８以上に達しているので、指差し動作（すなわち、腕を振り上げて振り下すまでの一連の動作）が適正に行われたと判断する。

ここまで、作業者Ｍが適正な指差し動作を行った場合について説明したが、反対に、作業者Ｍが指差し動作とは言えない動作を行った場合の例を説明する。例えば、作業者Ｍが、腕を振り上げて静止した状態を長く続けたとすると、指差し動作ではないと判断されなければならない。この場合、振り上げカウンタ部２８の累積カウント数A28が５になった後、動作識別器２６の識別信号「３」が長く続き、振り下しカウンタ部３０のカウントが開始せず、新たに振り上げの状態にもならない。したがって、図２に２点鎖線で表したように、第一の基準時間Tr1が経過した時点で、保持した累積カウント数A28がリセットされ、腕を振り上げる動作もなかったものとされる。

また、例えば、作業者Ｍが、指差し動作を適正に終了した後に、膝を曲げてしゃがんだとする。膝を曲げてしゃがむと腕が下向き移動するので振り下げの動作と類似するが、これは指差し動作における腕の振り下げではないと判断されなければならない。この場合、図２に示すように、振り下しカウンタ部３０の累積カウント数A30が１０からゼロにリセットされた後、動作識別器２６が「振り下げの状態」として識別信号を「３」から「２」に変化させ、それをサンプリングした振り下しカウンタ部３０がカウントを開始する。しかし、振り下しカウンタ部３０は、サンプリングの各タイミングにおいて累積カウント数A30が第一の基準カウント数K1未満のとき、都度、累積カウント数A30をリセットする。第一の基準カウント数K1は、ここでは３に設定されている。したがって、作業者がしゃがんだことによる腕の移動は、腕を振り上げて振り下ろす一連の動作ではないとして、無視されることになる。

次に、指差し呼称監視システム１０の動作のうち、呼称を監視する動作について説明する。作業者Ｍが声を発すると、音声検出装置１６がその声を電気信号に変換して出力し、音声分析装置１８がその出力信号を分析してテキストデータに変換し、音声分析情報として出力する。判定部２０は、音声分析装置１８から出力された音声分析情報が、あらかじめ規定されたテキストデータ「カクニンヨシ（確認よし）」と一致すると、適正な呼称が行われたと判断する。

さらに、判定部２０は、指差し動作が検出されたタイミングと呼称のタイミングの時間差をチェックする。指差し呼称確認は、指差し動作と呼称とを組み合わせて成立するので、検出されたタイミングの時間差が短ければ（例えば、１．５秒以下）、検出された指差し動作と呼称が一対になっていると判断する。そして、判定部２０は、上記の３つの判断要素（指差し動作の適否、呼称の適否、指差し動作と呼称のタイミングの適否）が全て肯定されると、作業者による指差し呼称確認が適正に行われたと判定する。

以上説明したように、指差し呼称監視システム１０は、作業者Ｍの指差し動作の適否、呼称の適否、及び指差し動作と呼称のタイミングの適否を個別に判断することによって、指差し呼称確認が適正に行われたか否かを精度よく判定し、記録することができる。

特に、振り上げカウンタ部２８や振り下しカウンタ部３０等を組み合わせて独特の処理を行う動作分析装置１４が設けられ、腕を振り上げてから振り下すまでの一連の動作を効率よく分析し、指差し動作の適否の判断するための的確な動作分析情報を得ることができる。

また、判定部２０の動作履歴が記録部２２に格納されるので、後で確認することによって、指差し呼称確認が行われたか否かを客観的に評価することができる。さらに、記録部２２に動作分析装置１４及び音声分析装置１８の動作履歴も格納されるので、後で確認することによって、指差し呼称確認に慣れていない作業者のための教育や訓練にも役立てることができる。特に、医療現場における新人看護士や介護士等の教育に利用することにより、日々の作業の記録や確認、安全性の向上に大きく寄与することができる。

次に、本発明の指差し呼称監視システムの第二実施形態について、図３、図４に基づいて説明する。ここで、第一実施形態と同様の構成は、同一の符号を付して説明を省略する。この実施形態の指差し呼称監視システム３２は、動作分析装置１４の分析能力を向上させるため、図３に示すように、上記の動作識別部２６、振り上げカウンタ部２８、及び振り下しカウンタ部３０に代えて、新たな動作識別部３４、振り上げカウンタ部３６、及び振り下しカウンタ部３８が設けられている。以下、構成が異なる部分を中心に説明する。

動作識別部３４は、動作分析部１４が抽出した特徴情報に基づいて、作業者Ｍの腕の動作が振り上げの状態か、振り下しの状態か、その他の状態かを識別して識別信号「１」「２」「３」を出力する。この動作は上記の動作識別部２６と同様であるが、さらに、その識別結果の確からしさを表わす確度信号も合わせて出力する。識別結果の確からしさは、SVM（Support Vector Machine）等を使用することによって容易に算出することができる。確度信号は０から１の範囲の数値である。例えば、腕が速い速度で上昇している場合と遅い速度で上昇している場合を比較すると、どちらも「振り上げの状態である」と識別されるが、前者の確度信号は相対的に大きくなり、後者の確度信号は小さくなる。また、例えば、腕が真っ直ぐ下向きに移動している場合と、腕が斜め下向きに移動している場合を比較すると、どちらも「振り下しの状態である」と識別されるが、前者の確度信号は相対的に大きくなり、後者の確度信号は小さくなる。

振り上げカウンタ部３６及び振り下しカウンタ３８は、クロックパルスを数えることにより数値の処理を行うカウンタの機能を備え、それぞれ動作識別部３４の識別信号及び確度信号を所定の周期でサンプリングし、各信号の内容に応じてカウント動作を行う。

振り上げカウンタ部３６は、第一の基準確度P1aと第一の補助基準確度P1b（＞P1a）を有し、識別信号が振り上げの状態「１」でかつ確度信号がP1a以上になるとカウントを開始する。また、ここでは確度信号がP1a〜P1bのときは１回当たりのカウント数が０．５であり、確度信号がP1b〜１のときは１回当たりのカウント数が１であり、識別信号「１」でかつ確度信号がP1a以上の間カウントを継続し、カウント数が累積される。そして、後述する振り下しカウンタ部３８がカウントを開始すると、累積カウント数A36がリセットされる。振り下しカウンタ部３８がカウントを開始する前であっても、識別信号が振り上げの状態「１」でかつ確度信号がP1a未満になった場合、又は識別信号が振り上げの状態以外の状態「２」「３」に変化した場合は、カウントを停止して直前の累積カウント数A36を保持し、その後、識別信号が振り上げの状態「１」でかつ確度信号がP(1a)以上にならずに第一の基準時間Tr1が経過すると、保持した累積カウント数A36がリセットされる。

振り下しカウンタ部３８は、第二の基準確度P2aと第二の補助基準確度P2b（＞P2a）を有し、識別信号が振り下しの状態「２」でかつ確度信号がP2a以上になると、直前の振り上げカウンタ部３６の累積カウント数A36を初期値としてカウントを開始する。また、ここでは確度信号がP2a〜P2bのときは１回当たりのカウント数が０．５であり、確度信号がP2b〜１のときは１回当たりのカウント数が１であり、識別信号「２」でかつ確度信号がP2a以上の間カウントを継続し、カウント数が累積される。ただし、カウントした各タイミングにおいて、累積カウント数A38が第一の基準カウント数K1未満のときは、都度、累積カウント数A38がリセットされる。また、カウントした各タイミングにおいて、累積カウント数A38が第一の基準カウント数K1以上であっても、識別信号が振り下しの状態「２」でかつ確度信号がP2a以下になった場合、又は識別信号が振り下し状態以外の状態「１」「３」に変化した場合は、カウントを停止して直前の累積カウント数A38を保持し、その後、識別信号が振り下しの状態「２」でかつ確度信号がP2a以上にならずに第二の基準時間Tr2が経過すると、保持した累積カウント数A38がリセットされる。累積カウント数A38は、作業者が適正な指差し動作を行ったか否かを判断するための動作分析情報として、判定部２０に向けて出力される。

指差し呼称監視システム３２の動作は、指差し動作を監視する動作以外は、上記の指差し呼称監視システム１０と同様である。以下、指差し動作を監視する動作について、上記と異なる部分を中心に、図４のタイムチャートに基づいて説明する。作業者Ｍは、初期の状態で、腕を下向きに伸ばし身体の側方に静止させており、動作識別部２６は、「その他の状態である」として識別信号「３」を出力する。このとき、振り上げカウンタ部２８と振り上げカウンタ部３０は、識別信号が「３」なので、いずれもカウントを停止している。識別信号が「３」のとき、確度信号は無視される。

作業者Ｍが対象物を指差すために腕を振り上げると、動作識別部２６は、「振り上げの状態である」として識別信号を「１」に変化させ、腕の移動が終了するまで「１」が継続する。通常、指差し呼称確認のために腕の振り上げると、移動の直後は低速で、途中から高速になり、終着点に近くなるとまた低速になる。したがって、確度信号は、図４に示すように、識別信号が「１」に変化した直後は小さく、途中から徐々に大きくなり、終着点に近くなると小さくなる。

振り上げカウンタ部３６は、図４に示すように、識別信号が「１」に変化した後の１回目のサンプリングでは、確度信号が第一の基準確度P1a未満なのでカウントを開始しない。識別信号が「１」の２回目のサンプリングでは、確度信号がP1a〜P1bの範囲なので、０．５をカウントする。識別信号が「１」の３〜６回目のサンプリングでは、確度信号がP1b以上なので、１をカウントする。したがって、５回のカウントを行った時点の累積カウント数A36は、４．５になる。

その後、腕が対象物を指差す位置まで移動して静止すると、動作識別部２６は、「その他の状態である」として識別信号を「３」に変化させる。すると、振り上げカウンタ部２８が識別信号「３」をサンプリングし、カウントを停止する。図４では、識別信号「３」のサンプリングが２〜３回連続しており、この期間、累積カウント数A36が４．５に保持される。

次に、作業者Ｍが指差しを止めて腕を振り下ろすと、動作識別部２６は、「振り下ろしの状態である」として識別信号を「２」に変化させ、腕の移動が終了するまで「２」が継続する。指差し呼称確認のために腕の振り下すときも、通常は、移動の直後は低速で、途中から高速になり、終着点に近くなるとまた低速になる。したがって、確度信号は、図４に示すように、識別信号が「２」に変化した直後は小さく、途中から徐々に大きくなり、終着点に近くなると小さくなる。

振り下ろしカウンタ部３８は、識別信号が「２」に変化した後の１回目のサンプリングでは、確度信号が第二の基準確度P2a未満なので、カウントを開始しない。識別信号が「２」の２回目のサンプリングでは、確度信号がP2a〜P2bの範囲なので、振り上げカウンタ部３６の直前の累積カウント数A36＝４．５を初期値として、０．５をカウントする。識別信号が「２」の２〜５回目のサンプリングでは、確度信号がP2b以上なので、１をカウントする。識別信号が「２」の６回目のサンプリングでは、確度信号がP2a〜P2bの範囲なので、０．５をカウントする。したがって、５回のカウントを行った時点の累積カウント数A36は、８．５になる。一方、振り上げカウンタ部３６は、振り下しカウンタ部３８がカウントを開始した時点で、累積カウント数A36がリセットされる。

その後、腕が身体の側方の位置まで移動して静止すると、動作識別部３４は、「その他の状態である」として識別信号を「３」に変化させる。すると、振り下しカウンタ部３８が識別信号「３」をサンプリングしてカウントを停止し、累積カウント数A38が８．５に保持される。作業者Ｍの指差し動作はもう終了したので、識別信号「３」がしばらく継続する。その後、振り下しカウンタ部３８は、識別信号「２」とP2a以上の識別信号を同時にサンプリングすることなく第二の基準時間Tr2が経過した時点で、累積カウント数A38がリセットされる。

判定部２０は、第一の基準カウント数K1が８に設定されており、振り下しカウンタ部３８の累積カウント数A38が８以上に達しているので、指差し動作（すなわち、腕を振り上げて振り下すまでの一連の動作）が適正に行われたと判断する。

ここまで、作業者Ｍがきびきびした動作で素早く腕を移動させた場合（適正な指差し動作）を行った場合について説明したが、反対に、作業者Ｍの指差し動作が形式的で不適正な場合の例を説明する。例えば、作業者Ｍが、緩慢な動作でゆっくりと腕を振り上げた場合、動作識別部３４は「振り上げの状態である」として識別信号「１」を出力する。しかし、識別信号が「１」の期間、識別信号は小さい値で推移し、第一の基準確度P1a未満の値であれば１回当たりのカウント数が０であり、第一の基準確度P1a以上になったとしても第一の補助基準確度P1b未満であれば１回のカウント数が０．５なので、振り上げカウンタ部３６の累積カウント数A36が増えにくい。腕をゆっくりと振り下げた場合も同様に、振り下しカウンタ３８の累積カウント数A38が増えにくい。したがって、判定部２０は、累積カウント数A38が第二の基準カウント数K2に達しないので、腕をゆっくりと上げ下げした動作は指差し動作として不適であると判断する。

以上説明したように、第二実施形態の指差し呼称監視システム３２によれば、上記の指差し呼称監視システム１０と同様の作用効果を得ることができ、さらに、識別信号に確度信号を組み合わせた特徴的な処理を行うことによって、指差し動作の適否判断の精度を一層向上させることができる。また、確度信号が第一及び第二基準確度P1a，P2a未満のときはカウントしないので、指差し動作に関係ない動作によって識別信号が不規則に変化（例えば、ハンチング）した場合でも、各カウンタ部３６，３８の動作エラーが発生しにくい。

なお、本発明は、上記実施形態に限定されるものではない。例えば、図２、図４のタイムチャートを説明する際に、第一及び第二の基準カウント数、第一及び第二の基準時間、第一及び第二の基準確度、第一及び第二の補助基準確度、１回当たりのカウント数などについて具体的な数値を挙げたが、これらの数値は一例に過ぎず、本発明の狙いとする動作が行われる範囲で自由に変更することができる。

また、第二の実施形態では、振り上げカウンタ部３６に第一の基準確度P1aと第一の補助基準確度P1bを設定することで確度信号（０〜１）の範囲を３つに区分し、それぞれ１回当たりのカウント数を０，０．５，１とした。これらの設定は変更可能であり、例えば、第一の補助基準確度P1bを省略して確度信号（０〜１）の範囲を２つに区分し、それぞれ１回当たりのカウント数を０，１のようにしてもよい。また、第一の補助基準確度P1bより大きい補助基準確度を追加して確度信号（０〜１）の範囲を４つに区分し、それぞれ１回当たりのカウント数を０，０．５，１，１．５のようにしてもよい。振り下しカウンタ部３８についても同様である。

以上のように、各基準の値は、作業者が行った指差し動作を的確に評価できるようにすること、指差し動作以外の動作に対して各カウンタ部が反応しないようにすること等を考慮し、作業者が行う本来の作業の内容に合わせて、適宜調整することができる。

１０，３２ 指差し呼称監視システム
１２ 動作検出装置
１４ 動作分析装置
１６ 音声検出装置
１８ 音声分析装置
２０ 判定部
２２ 記録部
２４ 特徴情報抽出部
２６，３４ 動作識別部
２８，３６ 振り上げカウンタ部
３０，３８ 振り下しカウンタ部
A28，A36 振り上げカウンタ部の累積カウント数
A30，A38 振り下しカウンタ部の累積カウント数
K1 第一の基準カウント数
K2 第二の基準カウント数
P1a 第一の基準確度
P1b 第一の補助基準確度
P2a 第二の基準確度
P2b 第二の補助基準確度
Tr1 第一の基準時間
Tr2 第二の基準時間
Ｍ 作業者

Claims (6)

1. 指差し動作と呼称とを組み合わせた指差し呼称確認の実施状況を監視する指差し呼称監視システムであって、
   作業者の腕に装着可能に設けられ、作業者の腕の動きを検出して信号出力する動作検出装置と、前記動作検出装置の出力信号を分析し、腕を振り上げてから振り下ろすまでの一連の指差し動作が適正に行われたか否かを判断するための動作分析情報を出力する動作分析装置と、作業者の発した声を検出して信号出力する音声検出装置と、前記音声検出装置の出力信号を分析し、作業者が呼称を適正に行ったか否かを判断するための音声分析情報を出力する音声分析装置と、前記動作分析情報及び前記音声分析情報を受け、指差し動作の適否の判断と、呼称の適否の判断と、指差し動作と呼称の時間差が所定の時間内であるか否かの判断とを行う判定部と、前記判定部の動作履歴が格納される記録部とを備えることを特徴とする指差し呼称監視システム。
2. 前記動作検出装置は、加速度センサと角速度センサの少なくとも一方を備え、前記作業者の上腕部に装着される請求項１記載の指差し呼称監視システム。
3. 前記動作分析装置は、前記動作分析装置の出力信号を分析して作業者の腕の動きの特徴情報を抽出する特徴情報抽出部と、前記特徴情報に基づいて、作業者の腕の動作が振り上げの状態か、振り下しの状態か、その他の状態かを識別し、識別結果を識別信号として出力する動作識別部と、前記識別信号を所定の周期でサンプリングし、前記識別信号の内容に応じて所定のカウント動作を行う振り上げカウンタ部及び振り下しカウンタ部とを備え、
   前記振り上げカウンタ部は、前記識別信号が振り上げの状態になるとカウントを開始し、前記振り下しカウンタ部がカウントを開始すると累積したカウント数がリセットされ、前記振り下しカウンタ部がカウントを開始する前であっても、前記識別信号が振り上げの状態以外の状態に変化した場合は、カウントを停止して直前の累積カウント数を保持し、その後、振り上げの状態にならずに第一の基準時間が経過すると、前記保持した累積カウント数がリセットされ、
   前記振り下しカウンタ部は、前記識別信号が振り下しの状態になると、直前の前記振り上げカウンタ部の累積カウント数を初期値としてカウントを開始し、前記識別信号が振り下し状態以外の状態に変化するとカウントを停止して直前の累積カウント数を保持し、その後、振り下しの状態にならずに第二の基準時間が経過すると、前記保持した累積カウント数がリセットされ、前記識別信号が振り下し状態以外の状態に変化しなくても、サンプリングの各タイミングにおいて累積カウント数が第一の基準カウント数未満のときは、都度、累積カウント数がリセットされ、
   前記判定部は、前記振り下しカウンタ部の累積カウント数を前記動作分析装置の動作分析情報として受信し、この累積カウント数が第二の基準カウント数以上に達すると、指差し動作が適正に行われたと判断する請求項１記載の指差し呼称監視システム。
4. 前記動作分析装置は、前記動作検出装置の出力信号を分析して作業者の腕の動きの特徴情報を抽出する特徴情報抽出部と、前記特徴情報に基づいて、作業者の腕の動作が振り上げの状態か、振り下しの状態か、その他の状態かを識別して識別信号を出力すると共に、その識別結果の確からしさを表わす確度信号を出力する動作識別部と、前記識別信号及び前記確度信号を所定の周期でサンプリングし、前記各信号の内容に応じて所定のカウント動作を行う振り上げカウンタ部及び振り下しカウンタ部とを備え、
   前記振り上げカウンタ部は、前記識別信号が振り上げの状態でかつ前記確度信号が第一の基準確度以上になるとカウントを開始し、１回当たりのカウント数は前記確度が低いほど少なく設定されており、前記振り下しカウンタ部がカウントを開始すると前記累積カウント数がリセットされ、前記振り下しカウンタ部がカウントを開始する前であっても、前記識別信号が振り上げの状態でかつ前記確度信号が前記第一の基準確度未満になった場合、又は前記識別信号が振り上げの状態以外の状態に変化した場合は、カウントを停止して直前の累積カウント数を保持し、その後、振り上げの状態でかつ前記確度信号が前記第一の基準確度以上にならずに第一の基準時間が経過すると、前記直前の累積カウント数がリセットされ、
   前記振り下しカウンタ部は、前記識別信号が振り下しの状態でかつ前記確度信号が第二の基準確度以上になると、直前の前記振り上げカウンタ部の累積カウント数を初期値としてカウントを開始し、カウントした各タイミングにおいて累積カウント数が第一の基準カウント数未満の場合には、都度、累積カウント数がリセットされ、カウントした各タイミングにおいて累積カウント数が前記第一の基準カウント数以上であっても、前記識別信号が振り下しの状態でかつ前記確度信号が前記第二の基準確度以下になった場合、又は前記識別信号が振り下しの状態以外の状態に変化した場合は、カウントを停止して直前の累積カウント数を保持し、その後、振り下しの状態にならずに第二の基準時間が経過すると、前記累積カウント数がリセットされ、
   前記判定部は、前記振り下しカウンタ部の累積カウント数が第二の基準カウント数以上に達すると、指差し動作が適正に行われたと判断する請求項１記載の指差し呼称監視システム。
5. 前記音声分析装置は、前記音声検出装置の出力信号をテキストデータに変換して音声分析情報として出力し、前記判定部は、前記音声分析情報が所定の呼称に該当するか否かを判断する請求項１記載の指差し呼称監視システム。
6. 前記記録部には、前記判定部の動作履歴に加え、動作分析装置、音声分析装置の動作履歴も合わせて格納される請求項１乃至５のいずれか記載の指差し呼称監視システム。
   

Images