JP7139289B2 - 作業内容検出判定装置、作業内容検出判定システム、及びウェアラブルセンサ内蔵手袋 - Google Patents

Description

本発明は、作業内容を検出し判定する技術に関する。

IoT（Internet of Things）やデジタル技術の進展により、製造業の現場での作業者のセンシングが盛んに行われるようになってきた。作業者をセンシングすることで、作業の正しさを確保し、作業の効率を向上し、作業の不良を減らすことができる。

長年問題になっている製造業の現場での作業の例として、たとえばコネクタの嵌合がある。電気配線の接続に使用されるコネクタは、オスのコネクタをメスのコネクタに挿入し、ロック機構でロックされて嵌合状態となる。電気的に接続されていても、機械的に嵌合が不完全な半嵌合状態にあれば、振動等によりコネクタが外れて不良となることがある。不良をなくすためには、電気的な接続だけを確認するだけでなく、機械的な嵌合状態を調べる必要がある。

特許文献１には、嵌合の作業者の手にマイクと加速度センサを装着し、マイクから得られた音情報と加速度センサから得られた加速度情報を使ってコネクタの嵌合状態を判定する装置が開示されている。音情報と加速度情報の両方を用いることで、類似の音が多数存在する作業現場において、嵌合の判定がしやすくなる。

特開２０１０－１８６６５１号公報

しかしながら、作業現場では、作業者は様々な作業を行い、作業と作業の間にも手を動かす。このとき、手に付けた加速度センサからは、実に様々な加速度情報が得られ続ける。手が予期せず物に衝突した場合には、予期せぬ加速度情報が含まれる。嵌合を検出する場合、こうした様々な加速度情報の中には嵌合時と類似の加速度が多く存在することになる。音情報にも嵌合時と類似の音が多く存在することと合わせて、音情報と加速度情報の両方を用いても嵌合を検出するのは容易ではない。嵌合以外の動作を検出する場合においても同様である。

本発明は、前記した問題に鑑みて創案されたものであり、作業者の作業内容を高精度に検出することを課題とする。

本発明の好ましい一側面は、作業者の手に着用され、手の作業対象への接触を通じて手が作業対象に働きかけた手動作の作業音を検出するマイクと、手動作の作業の圧力を検出する圧力センサと、手動作の動きを検出する動きセンサと、マイクの音信号、圧力センサの圧力信号、および動きセンサの動き信号を送信するための送信部とを有する手袋と、送信部から送信された音信号、圧力信号、および動き信号を受信する受信部と、音信号、圧力信号、および動き信号を用いて、作業者の作業内容の検出判定を行う作業判定部と、作業判定部の判定結果を報知する報知部と、を有する作業検出判定システムである。

本発明の好ましい他の一側面は、作業者の手に着用され、手の作業対象への接触を通じて手が作業対象に働きかけた手動作を観測するウェアラブルセンサ内蔵手袋であって、作業対象の作業音を検出するマイクと、手の動作の作業の圧力を検出する圧力センサと、手の動きを検出する動きセンサと、マイク、圧力センサおよび動きセンサからの信号を無線で送信するための無線送信機と、を有するウェアラブルセンサ内蔵手袋である。

なお、マイク、圧力センサ、および動きセンサは、物理的に単一の構成が複数種のマイクあるいはセンサを兼ねることを妨げるものではない。その場合には、音信号、圧力信号、および動き信号は、一つの信号が複数の信号を兼ねることになる。

本発明の好ましい他の一側面は、無線送信機から無線送信された、作業音を検出したマイクからの音信号、手の動作の作業の圧力を検出した圧力センサからの圧力信号、および、圧力センサから検出された滑り信号及び手の動作の加速度を検出した加速センサからの加速度信号の少なくとも一つの信号、を受信する受信部と、音信号、圧力信号、および、滑り信号と加速度信号の少なくとも一つの信号、から作業者の作業内容を判定する作業判定部と、を有することを特徴とする作業内容検出判定装置である。

本発明によれば、作業者の作業内容を高精度に検出することができる。

第１の実施形態の作業内容検出判定システムの構成を示すブロック図である。 ウェアラブルセンサの外観を示す模式図である。 第１の実施形態の作業判定部の詳細を表すブロック図である。 第１の実施形態の作業検出判定フローを示す流れ図である。 嵌合作業検出がなされたときにウェアラブルセンサの圧力センサで得られた圧力波形と音検知時刻を示す図である。 嵌合作業検出がなされたときにウェアラブルセンサの圧力センサで得られた圧力波形と音検知時刻を示す図である。 嵌合作業検出がなされたときにウェアラブルセンサの圧力センサで得られた圧力波形と音検知時刻を示す図である。 嵌合作業検出がなされたときにウェアラブルセンサのマイクで得られた音波形を示す波形図である。 嵌合作業検出がなされたときにウェアラブルセンサのマイクで得られた音波形を示す波形図である。 第１の実施形態のチューニング機能を付加した作業情報管理システムの構成を示すブロック図である。 第２の実施形態の作業内容検出判定システムの構成を示すブロック図である。 第２の実施形態の作業判定部の詳細を表すブロック図である。 第２の実施形態の作業検出判定フローを示す流れ図である。 嵌合作業検出がなされたときにウェアラブルセンサの加速度センサで得られた加速度波形を示す波形図である。 嵌合作業検出がなされたときにウェアラブルセンサの圧力センサで得られた圧力波形と音検知時刻と加速度検知時刻を示す波形図である。 異なるセンサを単一無線で送信するためのプリント基板上のＩＣ配置の例を示すブロック図である。

実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。

同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

以下の実施例で説明される作業検出判定システムは、作業者の手に着用され、手の作業対象への接触を通じて手が作業対象に働きかけた手動作の作業音を音信号として検出するマイクと、手の動きを動き信号として検出する動きセンサと、手動作の作業の圧力を圧力信号として検出する圧力センサと、これらのセンサのセンシング情報を送信するための送信機とを有する手袋を使用する。

ここで手の動きとは、手の変位あるいは変形、あるいはそれらに基づく情報をいうものとする。手の動きは、間接的には手袋に設置された動きセンサにより検出される。動きセンサとしては、例えば加速度センサを使用する。加速度センサは公知のＭＥＭＳ（Micro Electro Mechanical Systems）を用いたものが使用できる。あるいは、動きセンサとして圧力センサを兼用し、圧力センサの圧力信号をもとに滑り信号を検知する。ここで滑り信号とは、手の表面と作業対象の表面との間の相対的変位を検知する信号である。あるいは、動きセンサは、手袋の表面に設置した反射マーカと光源を用い、光学的に手の動きを検知するものであってもよい。

システムでは、音信号、圧力信号、および動き信号を用いて、作業者の作業内容の検出判定を行う。検出判定においては、例えば音信号に基づく所定の作業音の検出タイミングと、圧力信号に基づく所定の圧力の検出タイミングと、動き信号に基づく所定の動きの検出タイミングを用い、これらのタイミングの前後関係に基づいて判定を行う。音信号に基づく所定の作業音は、例えば音信号の最大振幅のタイミングで検出する。動き信号に基づく所定の動きは、動き信号が加速度信号である場合は、例えば所定閾値以上あるいは加速度の最大値を得たタイミングで検出する。動き信号が滑り信号である場合は、例えば所定以上の滑りとみなされる信号を得たタイミングで検出する。圧力信号に基づく所定の圧力の検出は、所定閾値を超えたタイミングで検出する。あるいは、圧力値が所定のパターンで推移した期間があるかどうかで検出する。なお、信号の周波数の関係から圧力信号の処理が最も負荷が小さいので、例えば最初に圧力値が所定のパターンで推移したか期間があるかどうかを判定し、その期間内において音信号と動き信号のタイミングの関係をチェックして作業を判定するように構成するとよい。

以下、本発明の作業内容検出判定システム及びウェアラブルセンサの実施の形態について、図面を参照して詳細を説明する。作業内容として、嵌合作業を例に説明する。

図１～図８を参照して、第１の実施形態の作業内容検出判定システムについて説明する。

＜基本構成＞
図１に、第１の実施形態の作業内容検出判定システム１００の構成図を示す。作業内容検出判定システム１００は、作業者が身につけるウェアラブルセンサ１０１と、ウェアラブルセンサで収集したデータを処理する作業内容検出判定計算機１０２から構成される。

ウェアラブルセンサ１０１は、マイク１０３と圧力センサ１０４（滑りセンサを兼ねる）と無線送信部１０５を備えている。作業者が作業をしている最中にウェアラブルセンサ１０１を手に装着し、マイク１０３で作業中の音データを、圧力センサ１０４で作業中の圧力データを取集し、それらのデータを無線送信部１０５で無線送信する。なお、無線送信でなく有線による送信でもよい。

作業内容検出判定計算機１０２は、無線受信部１０６と作業判定部１０７と報知部１０８を備える。ウェアラブルセンサ１０１から無線で送られてきた音データと圧力データを無線受信部１０６で受信し、受信したデータを作業判定部１０７で検出判定の処理を行って嵌合状態を判定し、判定した結果を報知部１０８で作業者に伝える。

報知部１０８は、作業判定部１０７の判定結果を報知する機能を有すれば、例えば、視覚情報のみの表示であってもよく、音や振動などの聴覚、触覚情報が組み合わさったものであってもよい。例えば、この報知部１０８を作業判定部１０７からの情報を作業者または作業管理者に視覚、聴覚、触覚情報で伝えるフィードバック部として構成してもよい。判定した結果をリアルタイムで作業者に伝えることで、作業者はその場ですぐに作業のやりなおしや修正を行うことができる。

作業内容検出判定計算機１０２は、例えば周知の入力装置、出力装置、処理装置、記憶装置を備えるパーソナルコンピュータや携帯用情報端末で構成することもできる。その場合は、計算や制御等の機能は、記憶装置に格納されたプログラムが処理装置によって実行されることで、定められた処理を他のハードウェアと協働して実現される。計算機などが実行するプログラム、その機能、あるいはその機能を実現する手段を、「機能」、「手段」、「部」、「ユニット」、「モジュール」等と呼ぶ場合がある。また、ソフトウエアで構成した機能と同等の機能は、FPGA（Field Programmable Gate Array）、ASIC（Application Specific Integrated Circuit）などのハードウェアでも実現できる。

図２に、ウェアラブルセンサ１０１の外観図を示す。左に、内側すなわち手の平側から見たウェアラブルセンサ１０１を、右に、外側すなわち手の甲側から見たウェアラブルセンサ１０１を示してある。ウェアラブルセンサ１０１は手袋型である。図２のウェアラブルセンサ１０１は５本の指を備えているが、例えば親指と人差し指の２本といったように、少なくとも、マイクもしくは圧力センサを備えた指が備わっていればよい。

ウェアラブルセンサ１０１は、手に直接装着しても、作業手袋の上に装着してもよい。ウェアラブルセンサ１０１は、手の甲側の親指に親指マイク１０３Ａを、手の甲側の手首に手首マイク１０３Ｂを、手の平側の親指に親指圧力センサ１０４Ａを、手の平側の人差し指に人差し指圧力センサ１０４Ｂを、手の甲に無線送信部１０５Ａを備えている。マイク１０３Ａ、１０３Ｂ、圧力センサ１０４Ａ、１０４Ｂは、導電糸もしくは導線で無線送信部１０５Ａと接続されている。無線送信部１０５Ａは無線通信によりデータを送信するが、場合により有線で送信してもよい。

図２のウェアラブルセンサ１０１は２個のマイクを備えている。マイクの数は１個以上であればよく、２個以上であれば音源の方向が分かるようになり、指先の音か否かが区別できるようになるのでより望ましい。マイクの数は多いほど、検出精度をあげやすくなるが、無線送信のチャネル数やデータ処理の量が多くなり、その分コストが上昇してしまう。マイクの数を２個以上にする場合、１個は検知対象の音が発生する位置の近くに、別の１個は検知対象の音が発生する位置から遠くに配置する。こうすることで、２つのマイクが捉える検知対象の音の大きさの比や時間差がより大きくなり、検知対象の音であることをより区別しやすくなる。２個のマイクは、親指と人差し指など、指の動きで互いに位置関係が変わる位置には配置しない方がよい。また、マイクは、作業中に検出対象の音が遮られない位置に配置するとよい。嵌合音を検出する場合、２つのマイクを親指と手首に配置するのが望ましい。

図２のウェアラブルセンサ１０１は２個の圧力センサを備えている。圧力センサは、検出対象の作業で圧力が掛かる位置に付ける。必ずしも指でなくても、手のひらでもよい。数は１個以上であればよいが、多いほど検出に使えるデータが増えて検出の精度が上がる。多数の圧力センサを用いる場合、圧力センサの１個を、対象の作業では圧力が掛からないが、誤検知しやすい作業では圧力が掛かる位置に付けてもよい。嵌合の場合は、親指と人差し指でコネクタを持って嵌合するので、親指と人差し指に圧力センサを付けるのが望ましい。圧力センサには、導電性粒子を含むゴムや布などで出来たシート状のものを用いる。その面積は対象の作業で圧力が掛かるエリアを十分カバーするようにする。そして、圧力センサと対象物との間の滑りを検知できる圧力センサを用いる。後述するように、滑りを検知することで、検出の精度を向上することができる。

図３と図４を用いて、図１に示した作業判定部１０７の詳細を説明する。
図３に第１の実施形態の作業判定部１０７の詳細を表した、作業内容検出判定計算機１０２の構成図を示す。作業判定部１０７は、音データの保存を行う音データ保存処理部１１１と音データ蓄積部１１２、圧力検知を行う圧力検知部１１３と圧力検知結果蓄積部１１４、音検知を行う音検知部１１５と音検知結果蓄積部１１６、作業検知を行う作業検知部１１７と作業検知結果蓄積部１１８、作業良否判定を行う作業良否判定部１１９と作業ログ蓄積部１２０と作業情報データベース１２１、各検知・判定の特徴量抽出条件・判定条件を蓄積する特徴量条件蓄積部１２２を備える。

図４に、図３に示した作業判定部１０７が行う作業検出判定フローを示す。この作業検出判定フローでは、音保存プログラム１３１と作業判定プログラム１３２の２つが別々に実行される。嵌合音をはじめとする作業音は高周波領域までの成分を有することが多く、高精度な処理のため、音データは例えば40kHz以上の高周波数でサンプリングすることが望ましい。もう一方の圧力は人の手の動きなのでサンプリングの周波数は低くても十分であり、圧力データは例えば100Hz程度の周波数でサンプリングする。よって、音データは、圧力データと比べて、データ量が数桁も多くなる。データ量が多い音データの処理は、時間が掛かるため、計算機の負荷を重くするとともに、リアルタイムでの検出処理を難しくする。リアルタイムで検知処理ができないと、結果がすぐに作業者に伝わらず、その場で作業のやりなおしや修正を行えなくなってしまう。このため、音データは、作業判定プログラム１３２とは別に、音保存プログラム１３１の中で事前に処理する。後述するように、本実施例ではサンプリング周波数が低い順に、圧力データ、音データの順に判定処理を行う。

音保存プログラム１３１では、音データ保存処理部１１１にて、無線受信部１０６で受信した音データを音データ蓄積部１１２に取り込む（Ｓ１）。音検知部１１５は、音データの振幅の最大値が、特徴量条件蓄積部１２２で事前に設定した値よりも大きければ（Ｓ２）、音データを音検知結果蓄積部１１６に保存する（Ｓ３）。保存する音データの時間は、音検知に必要な時間、例えば0.2秒分とする。Ｓ２において、振幅の最大値ではなく、音検知の別の特徴量たとえば所定の周波数を用いても良い。

作業判定プログラム１３２では、無線受信部１０６で受信した圧力データを圧力検知部１１３で取り込み（Ｓ４）、特徴量条件蓄積部１２２にある圧力の特徴量抽出条件・判定条件を使って圧力検知処理を行う（Ｓ５）。圧力の特徴量抽出条件・判定条件は、例えば圧力信号の時間的な変化のパターン、あるいは所定閾値を超えた圧力値等である。対象作業の圧力が検知された場合（Ｓ６）、検知結果を圧力検知結果蓄積部１１４に保存する。また、圧力が検知された場合、音検知部１１５が、検知された圧力と近い時刻の音データが音検知結果蓄積部１１６にあるかを確認する（Ｓ７）。音データがあれば、音検知結果蓄積部１１６からその音データを取り込んで（Ｓ８）、音検知処理を行う（Ｓ９）。音検知処理では、例えば、音信号の最大振幅のタイミングを検知する。

対象作業の音が検知された場合（Ｓ１０）、検知結果を音検知結果蓄積部１１６に保存する。また、音が検知された場合（Ｓ１０）、作業検知部１１７にて、圧力検知結果蓄積部１１４に保存した圧力検知結果と音検知結果蓄積部１１６に保存した音検知結果を使って、作業判定を行う（Ｓ１１）。作業判定は、例えば圧力信号のパターンと音信号のタイミングの関係に基づいて行う。

検知結果が対象作業と判定された場合（Ｓ１２）、検知結果を作業検知結果蓄積部１１８に保存する。また、対象作業と判定された場合（Ｓ１２）、作業良否判定部１１９にて、圧力検知結果蓄積部１１４に保存した圧力検知結果と音検知結果蓄積部１１６に保存した音検知結果を使って、対象作業が正しく行われたか否かの良否判定を行う（Ｓ１３）。その結果は、事前に作業情報を登録した作業情報データベース１２１の作業データと紐づけて作業ログ蓄積部１２０に保存するとともに、報知部１０８に出力する（Ｓ１４）。作業情報データベース１２１は必ずしも必要ではなく、ない場合には、結果をそのまま作業ログ蓄積部１２０に保存し、報知部１０８に出力する（Ｓ１４）。

上記作業判定部１０７及びデータ判定フローにおいては、音保存プログラム１３１を使うことで、音データを保存する処理を減らすことができ、音データ蓄積部１１２へのアクセスも減らすことができる。作業判定プログラム１３２で対象作業の圧力を検知したときのみ、音データ蓄積部１１２から音データを取り出し、音データ処理をする。このため、偶発的に生じた音の処理を行わずにすむ。また、音データ蓄積部１１２へのアクセスも減らすことができ、常に音検知処理を行う必要がない。

これらにより、データ量の多い音の処理を減らし、時間が掛かるデータ蓄積部へのアクセスを減らすことができ、その結果、データ処理に要する時間が短くなってリアルタイムの検知が容易になり、計算機の負荷を軽くできる。計算機の負荷を軽くできれば、安価な計算機でシステムを安くすることができ、複数の作業者の検知を１つの計算機で行うことができるようにもなる。また、リアルタイムの検出判定ができることにより、作業者が、作業効率を落とすことなく、すぐに作業のやり直しや修正をすることができる。加えて、音データの保存データ量も減らすことができ、蓄積部の容量を小さくでき、システムを安くすることができる。

図４に示した作業検出判定フローは、一例であり、必ずしもこのフローに従う必要はない。計算機の処理能力が十分に高かったり、リアルタイムの検知が不要であったりする場合には、音保存プログラム１３１と作業判定プログラム１３２の２つを別々が実行せずに、１つのプログラムとして実行しても構わない。また、圧力検知の先に音検知を行っても構わない。

続いて、図５と図６に示す嵌合作業でのセンサデータの波形を使って、図３と図４を用いて説明した作業検出判定について説明する。
図５Ａ，図５Ｂ，図５Ｃは、嵌合作業として検出されたウェアラブルセンサ１０１の圧力センサ１０４から得られた圧力波形である。図５Ａ，図５Ｂ，図５Ｃは別々の作業者が作業したときの圧力波形で、親指圧力センサ１０４Ａで得られた圧力波形が実線Ａで、人差し指圧力センサ１０４Ｂで得られた圧力波形が破線Ｂで示されている。親指と人差し指の圧力波形は、重ならないように縦軸をずらして表示してある。後述のように、嵌合音の振幅が最大になる時間をtsで示している。

一連の嵌合動作とそのときの圧力変化を図５Ａの作業者Aの圧力波形を用いて説明する。まず、時刻t0までの時間は、圧力が小さい状態が続く。ここは、嵌合動作の前であり、手袋型ウェアラブルセンサでは何も掴んでいない。時刻t0から、圧力が大きくなる。ここから、作業者が、手袋型ウェアラブルセンサの親指と人差し指でコネクタを掴んで、嵌合動作を開始する。時刻t1から時刻t3までの時間には、圧力の山があり、その間の時刻t2で圧力が急に減少している。時刻t1から時刻t3までの圧力が山の期間で、作業者がコネクタを親指と人差し指で強く掴んでコネクタを挿入している。そして、時刻t2では、コネクタを挿入し終わっている（嵌合終了点）。

導電性粒子を含む感圧シートのタイプの圧力センサでは、圧力が掛かると導電性粒子が互いに接触して電流が流れやすい経路が生じて抵抗が下がり、圧力が高いと感知する。このタイプの圧力センサは、圧力と垂直の方向、すなわち、滑りの方向に力が掛かると、導電性粒子が作る電流経路が急に壊れて抵抗が上がり、圧力が下がってみえる（特許文献「特開２０１０－２７１２４２号公報」参照）。時刻t2で、圧力が急に低下しているのは、圧力センサが滑りを感知しているためであり、コネクタの挿入が終わって挿入の勢いでコネクタと圧力センサとの間で滑りが発生していることを示している。時刻t3以降は、圧力が小さい状態が続く。ここで、作業者がコネクタから指を離して、嵌合動作が終了している。したがって、感圧導電シートから送出される検出信号を受けて、感圧導電シートの抵抗値から圧力を検知し、感圧導電シートの抵抗値の変化に基づいて滑り検出信号を生成することができる。

図５Ｂの作業者Bの圧力波形も、図５Ｃの作業者Cの圧力波形も、基本的には作業者Aと同様である。作業者Bの違う点として、時刻t1から時刻t3までの圧力の波形の山が小さい。これは、作業者Bが指にあまり力を入れずにコネクタの挿入を行っていることを示している。作業者Cの違う点として、時刻t3の後、時刻t3から時刻t5までの時間で再度圧力の山があり、時刻t4で再度圧力が急減少している点がある。これは、作業者Cが、嵌合状態を確認するため、コネクタを再度押し込む動作をしていることを示している。

図４の圧力検知処理（Ｓ５）では、以上の嵌合動作の圧力波形にみられるような、(1)嵌合終了点の前に圧力が大きい、(2)嵌合終了点の後ろは圧力が小さい点が続く、(3)嵌合終了点の一定時間前までに滑りがある、(4)親指と人差し指で同様の変化が同じ時間に生じる、等の特徴の少なくとも一つを有する圧力波形があった場合に、嵌合動作の圧力として検知する。

その後の処理を行うかどうかを決める圧力検知処理（Ｓ５）では、嵌合終了点はまだ特定していないが、例えば、圧力が上記のタイミング(1)(2)(4)を持つパターンで推移することを検知する。また、これに加えて(3)の動き（滑り）の信号のタイミングを含めてもよい。嵌合終了点の一定時間前までに滑りがあるという特徴は、滑りを検知できる圧力センサを用いることで得られる特徴であり、多くの滑りを生じない別の作業を嵌合作業から区別することが容易になり、誤検知を減らすことができる。逆に最も簡単な例としては、作業者の指が対象物をつかんだことを検知するだけでもよい。この場合は、圧力が所定閾値を超えたことをもって圧力検知と判定すればよい。

図６Ａおよび図６Ｂは、嵌合作業検知がなされたときにウェアラブルセンサ１０１のマイク１０３で得られた音波形である。図６Ａは親指マイク１０３Ａの音波形、図６Ｂは手首マイク１０３Ｂの音波形である。図５に示した圧力波形とは違い、音波形は作業者による違いは小さい。

図６Ａの親指マイクの音波形では、振幅が最大になる時間をtsとすると、その前に音の振幅が急に増加し、その後で増加よりは緩やかに減衰してなくなる。図６Ｂの手首マイクの音波形は、親指マイクの振幅が最大となる時刻tsより遅れて振幅が最大となる。また、手首マイクの振幅の最大値は、親指マイクの振幅の最大値よりも小さい。嵌合音が発生する位置は親指の先であり、親指マイクの方が手首マイクよりも嵌合音の発生位置に近いために、親指マイクに大きな音が早く到達する。

図４の音検知処理（Ｓ９）では、以上の嵌合時の音波形にみられるような、(1)所定閾値より振幅が大きい、(2)振幅の増加・減衰の速度が嵌合音の波形に近い、(3)親指マイクの振幅が手首マイクの振幅より大きい、(4)手首マイクよりも親指マイクに早く音が到達する、等の特徴を有する音波形があった場合に、嵌合動作の音として検知する。

図４の作業判定（Ｓ１１）では、圧力検知処理（Ｓ５）と音検知処理（Ｓ９）で嵌合の圧力と音の両方が検知されたことに加えて、圧力検知の時間と音検知の時間の一致をみる。図５の圧力波形において、tsで示されている時刻が、嵌合音の振幅が最大のときの時刻である。親指と人差し指で掴んでコネクタを挿入している最中、コネクタのロック機構が働いて嵌合音が発生し、その直後にコネクタが奥に達する。すなわち、勘合音の時刻tsの直後（具体的には所定時間内）に勘合圧力の滑り時刻ｔ2が存在することになる。これを条件に嵌合作業を検知する（Ｓ１１）。すなわち、作業判定（Ｓ１１）では、基本的に音の信号のタイミングと、動き（滑り）の信号のタイミングの時間的関係を判定していることになる。また、これに加えて処理Ｓ４で説明した圧力値あるいは圧力値の変化パターンに基づいて判定してもよい。具体的には、音または動き（滑り）の信号のタイミングと、図５Ａ～Ｃで説明した圧力の時間的な変化パターンあるいは、所定圧力の検出タイミングとの関係に基づいて判定することができる。もちろん、処理Ｓ４で圧力信号について同じ判定を行っている場合には再度行うことは不要である。

圧力センサが滑り信号を検知できない場合、嵌合圧力の時刻として、コネクタを挿入する圧力の山のピークの時刻を使うことが考えられるが、この場合、最も指に力を入れる時間が挿入中のどの時点かが必ずしも明確ではなく、時刻が厳密に定まらない。また、作業者によってもコネクタ挿入中に最も指に力を入れる時間が変わりうる。更に、滑りの時刻と違い、圧力の山のピークの時刻は、山がなだらかな場合や山の頂上に平な領域がある場合、例えば図５Ｂの作業者Bのように親指と人差し指にあまり力を入れずにコネクタを掴んで挿入する場合、あいまいになってしまう。嵌合圧力の時刻があいまいになると、嵌合圧力の時刻と嵌合音の時刻の時間的な関係が常に同じとならず、検知の精度が落ちてしまう。これに対して、滑りの時刻を用いる場合、グラフ中での時刻が明確に定まり、かつ、挿入中のコネクタが奥に達した時刻で決まるので、嵌合圧力の時刻と嵌合音の時刻の時間的な関係が常に明確に決まり、作業検知（Ｓ１１）の精度を上げることができる。

図４の作業良否判定（Ｓ１３）では、予め定めた作業基準を満たしているか否かを判定する。例えば、嵌合作業の場合、コネクタの挿入後に、嵌合状態にあるかを確認のために一旦コネクタを引いて再度押し込む確認の動作を実施することを作業基準とする。図５Ｃの作業者Cの場合、上で説明したように、時刻t3から時刻t5までの時間で再度圧力の山があり、時刻t4で再度圧力が急減少している点があって、ここで、嵌合状態を確認するために一旦コネクタを引いて再度押し込む確認の動作をしている。嵌合音の時刻tsの直後の時刻t2の滑り信号の後、もう１回滑り信号があることで確認の動作がなされていることが分かる。図５Ａと図５Ｂの作業者Aと作業者Bの作業には、嵌合音の時刻tsの直後の時刻t2の滑り信号の後に滑り信号はない。よって、確認の動作はなされていないことがわかる。このようにして、作業良否判定（Ｓ１３）において、図５Ｃの作業は作業基準を満たし、図５Ａと図５Ｂの作業は作業基準を満たしていないと判定される。ここでも、滑り信号を使うことで確認の動作をより明確に判定することが可能となる。

作業の良否を判定する必要がなく、作業があったことを検知できればよい場合には、作業良否判定（Ｓ１３）は不要である。また、作業検知（Ｓ１１）によって、作業が正しく行われたと判断できる場合、例えば、嵌合の場合で、嵌合音がすれば嵌合が正しくなされたと判断できる場合にも、作業良否判定（Ｓ１３）は不要である。このときには、図３の作業判定部１０７の構成において、作業良否判定部１１９と作業ログ蓄積部１２０は不要であり、作業検知部１１７の結果を直接報知部１０８に出力すればよい。また、図４のデータ判定フローにおいても、作業良否判定（Ｓ１４）は行わず、作業検知（Ｓ１１）の結果を報知部１０８に出力すればよい（Ｓ１４）。

＜チューニング機能を追加した例＞
次に、図７を使ってチューニング機能を付加した作業情報管理システムについて説明する。ウェアラブルセンサ１０１で得られる指先の圧力データは、図５で示したように、作業者によって力の大きさ、力の入れ方、作業の仕方で異なってくる。そのため、チューニング機能を付加した作業情報管理システムを用い、作業者毎に検知条件をチューニングすることで、検知精度を向上することができる。新たな工場や作業ラインに適用するときにも、有効である。

図７にチューニング機能を付加した作業内容検出判定計算機１０２’の構成図を示す。図３の作業内容検出判定計算機１０２に加えて、チューニング部１４１を備える。チューニング部１４１は、作業情報入力部１４２、正検知特徴量蓄積部１４３、特徴量条件チューニング部１４４から成る。作業情報入力部１４２として、例えば、手袋型ウェアラブルセンサ１０１のマイク１０３、圧力センサ１０４、作業内容検出判定計算機１０２のキーボード等を用いる。

各作業者が、作業情報管理システムを初めて使用する前に、ウェアラブルセンサ１０１を装着しチューニング機能を用いて、チューニングのための作業を行う。チューニングのための作業にて、作業者が検知対象の作業を行ったときに、作業情報入力部１４２に入力信号を与える。作業情報入力部１４２としてマイクを用いる場合、検知対象の作業を行った直後に、事前に決めた音声をマイクに入力する。作業情報入力部１４２として圧力センサを用いる場合、検知対象の作業を行った直後に、事前に決めた圧力信号を圧力センサに入力する。作業情報入力部１４２としてキーボードを用いる場合、検知対象の作業を行った直後に、キーボードを押して信号を入力する。作業情報入力部１４２に信号が入力されたことにより、システムは検知対象の作業が行われたことを検知することができる。

まず、検知対象の作業が行われると、作業判定部１０７の各検知部が検知と判定の処理を行い、検知の条件を満たせば、検知結果が各検知結果の蓄積部（圧力検知結果蓄積部１１４、音検知結果蓄積部１１６、作業検知結果蓄積部１１８、作業ログ蓄積部１２０）に保存される。検知結果には、検知の時刻とともに、検知に用いた特徴量が含まれる。

続いて、検知対象の作業を行った直後に、作業情報入力部１４２に入力信号を与えると、入力信号が与えられた時刻の直前の検知結果を圧力検知結果蓄積部１１４の中から探し、正検知特徴量蓄積部１４３に移動する。ここで、検知漏れで圧力検知結果蓄積部１１４の中に検知結果がないと、検知条件をチューニングする際に、その検知がなされるようにチューニングされなくなってしまうので、検知漏れがないように最初は検知条件を緩くする。もし検知漏れがあった場合には、検知条件が緩くなるように変更する。

検知対象の作業の検知結果が正検知特徴量蓄積部１４３にたまってくると、特徴量条件チューニング部１４４にて、たまった特徴量の分布を使って特徴量の検知条件が厳しくなるように変更する。特徴量の分布は、作業者によって異なるので、作業者毎に異なる検知条件となる。検知条件を変更したら、また、検知対象の作業の検知結果が正検知特徴量蓄積部１４３にためて、たまった特徴量の分布を使って特徴量の検知条件が厳しくなるように変更する。圧力検知結果蓄積部１１４と正検知特徴量蓄積部１４３の蓄積情報から誤検知率、検知漏れ率が事前の設定を下回るまで繰り返す。

圧力検知は、図５で説明したよう作業者毎に圧力波形が異なり、抽出される特徴量が異なってくるので、作業者毎に検知条件をチューニングし、特徴量条件蓄積部１２２に記録することで、検知精度を上げることができる。すなわち、誤検知率、検知漏れ率を下げることができる。また、本チューニング機能は、圧力検知だけでなく、同様に音検知、作業検知、作業良否判定にも適用できる。そうすることで、検知精度をより上げることが可能となる。

図７に示したチューニング機能を付加した作業内容検出判定計算機１０２’を使うことで、チューニングの作業を行うだけで、チューニングがなされる。作業者毎のチューニングを容易に行うことができる。新規の工場やラインへの適用も容易に行うことができる。

図８～図１１を参照して、第２の実施形態の作業情報管理システムについて説明する。
図８に、第２の実施形態の作業内容検出判定システム１００Ｂの構成図を示す。第１の実施形態の作業内容検出判定システム１００とは異なる点として、加速度センサ１５１を備えている。加速度センサ１５１は、３軸の加速度センサを用いる。無線送信部１０５Ｂと無線受信部１０６Ｂは、マイク１０３と圧力センサ１０４のデータに加えて、加速度センサ１５１のデータも送受信する。

また、作業判定部１０７Ｂでは、マイク１０３と圧力センサ１０４のデータに加えて、加速度センサ１５１のデータも用いて、検知・判定を行う。ウェアラブルセンサ１０１は、図２に示すウェアラブルセンサ１０１に加速度センサ１５１を取り付けたものを用いる。加速度センサ１５１は、ウェアラブルセンサ１０１の手の甲の無線送信部１０５Ａと同じ位置に付けるとよい。その位置に付けることで、無線送信部１０５Ａまでの配線を短くすることができる。

図９と図１０を用いて、図８に示した作業判定部１０７Ｂの詳細を説明する。
図９に第２の実施形態の作業判定部１０７Ｂの詳細な構成を表した作業内容検出判定計算機１０２Ｂの構成図を示す。作業判定部１０７Ｂは、図３に示した第１の実施形態の作業判定部１０７と比べて、新たに、加速度検知を行う加速度検知部１５２と加速度検知結果蓄積部１５３を備える。

図１０に、図９に示した作業判定部１０７Ｂで行われるデータ判定フローを示す。図４に示した第１の実施形態のデータ判定フローに対して、音保存プログラム１３１は同じである。作業判定プログラム１３２Ｂで、新たに、加速度の取り込み、検知処理、判定が行われる（Ｓ１５～１７）。加速度データのサンプリング周波数は、1kHz程度にするとよい。音データほどは高周波である必要はないが、圧力データと比べるとより短時間のデータが必要でより高周波となる。すなわち、サンプリング周波数が低い順に、圧力データ、加速度データ、音データとなる。データ取得を簡便にするために、圧力データのサンプリング周波数を高くして加速度データのサンプリング周波数と同じにしてもよい。

作業判定プログラム１３２Ｂでは、サンプリング周波数が低い順に検知処理を行う。第１の実施形態の作業判定プログラム１３２と同様に圧力検知処理を行って（Ｓ５）、圧力が検知された場合（Ｓ６）、加速度検知部１５２が、検知された圧力と近い時間の加速度データを無線受信部１０６Ｂから取り込んで（Ｓ１５）、加速度検知処理を行う（Ｓ１６）。対象作業の加速度が検知された場合（Ｓ１７）、検知結果を加速度検知結果蓄積部１５３に保存する。また、加速度が検知された場合、第１の実施形態の作業判定プログラム１３２と同様に、音検知、作業判定、作業良否判定を行い、対象作業の作業判定がなされれば、報知部１０８に出力する。作業判定の際には、（Ｓ５）、圧力で検知結果と音検知結果に加えて、加速度検知結果を用いて、判定を行う。

作業判定プログラム１３２Ｂにおいて、複数のセンサデータの検知処理をサンプリング周波数が低い順に行うことは、計算機の処理能力がより必要ない検知処理から行うことを意味する。計算機の処理能力がより必要ない検知処理を先に行うことで、先の処理で検知されなかったときの後の計算機の処理能力がより必要な検知処理を行わずにすみ、計算機の負荷を軽くできる。その結果、リアルタイムの検知が容易になり、安価な計算機でシステムを安くすることができ、複数の作業者の検知を１つの計算機で行うことが可能となる。

図１０に示した作業検出判定フローは、一例であり、必ずしもこのフローに従う必要はない。圧力検知処理の前に加速度検知処理を行ってもよいし、圧力検知処理と加速度検知処理を同時に行ってもよい。計算機の処理能力が十分に高かったり、リアルタイムの検知が不要であったりする場合には、音保存プログラム１３１と作業判定プログラム１３２の２つを別々が実行せずに、１つのプログラムとして実行しても構わない。

図１１と図１２に示す嵌合作業検知がなされたときのセンサデータの波形を使って、図１０に示した検知フローで行われる検知について説明する。

図１１は、嵌合作業検知がなされたときにウェアラブルセンサ１０１の加速度センサ０４から得られた加速度波形である。３軸の加速度の絶対値を波形で表している。加速度は、手の動きがないときには重力加速度の1gの値を取り、作業中に手を動かすと通常は1g付近で上下する。図１１では、時刻taで加速度が急に大きくなっている。この時刻で作業者がコネクタを挿入している。コネクタを挿入するときには、手を速く動かすので、加速度が瞬間的に大きな値となる。大きな加速度を捉えることで、嵌合動作の加速度波形を検出することができる。ただし、同様の波形は、作業中に多数現れるので、加速度波形のみから嵌合動作の判定を行うのは困難である。

図１０の作業検知（Ｓ１１）では、圧力検知処理（Ｓ５）と加速度検知処理（Ｓ１６）と音検知処理（Ｓ９）で嵌合の圧力と加速度と音がすべて検知されたことに加えて、圧力検知の時刻と加速度検知の時刻と音検知の時刻の関係をみる。図１２に嵌合動作の圧力波形を示す。時刻taと時刻tsは、それぞれ加速度と音の振幅が最大のときの時刻、すなわち、加速度検知の時刻と音検知の時刻である。ここでは、加速度検知の時刻ta、音検知の時刻ts、勘合圧力の滑り時刻ｔ2の順になっている。コネクタを挿入する際、親指と人差し指でコネクタを掴んで手を勢いよく挿入方向に動かし、時刻taで加速度が最大値となる。続いて、コネクタが挿入されていくとロック機構が働いて嵌合音が発生し、時刻tsで音の振幅が最大値となる。さらにその後でコネクタが奥に達して時刻t2で圧力の滑りが生じる。時刻ta、時刻ts、時刻t2が一定時間内に順番で並ぶことを条件に嵌合作業を検知する（Ｓ１１）。一定時間内は、例えば、0.1秒以内とする。

作業者や作業によって加速度が最大になるタイミングは異なることがある場合には、時刻taが時刻tsの後にくることがある。このようなことが起こりうる場合には、時刻taと時刻tsの両方が時刻t2の一定時間前にあることを条件に嵌合作業を検知する。

上記の説明では滑り信号時刻ｔ2を用いているが、滑り信号時刻ｔ2を省略し、加速度検知の時刻と音検知の時刻と圧力信号の検知タイミングの関係を用いても、作業の検知精度をある程度上げることが期待できる。図５Ａ～Ｃで説明したように、作業時の圧力信号は特有のパターンを示し、加速度検知の時刻と音検知の時刻との関係にも特徴がみられるからである。

以上説明した加速度の時刻を用いることで、誤検知を減らすことができ、検知精度を上げることができる。十分に高い検知精度が必要な場合に有効である。第１の実施形態で説明したチューニング機能は、第２の実施形態にも同様に適用できる。

図１３を用いて、無線送信部１０５から無線受信部１０６への無線によるデータ送信について説明する。
図４を用いて説明したように、作業判定には、勘合音の時刻tsと勘合圧力の滑り時刻ｔ2の時間関係を用いる。音データと圧力データがウェアラブルセンサ１０１から作業内容検出判定計算機１０２に無線で送信されるが、音データと圧力データの時刻の同期がずれると、正しく判定できなくなってしまう。

このような複数のセンサ信号間の時刻同期のずれを防ぐために、複数のセンサ信号を束ねて複合信号化し、束ねられた信号を単一の無線信号として送信ならびに受信を行う。

この方法の一例として、図７に示すようにプリント基板上に配置された複数のセンサ４０１、４０２からの信号をいったん信号複合化部４０３に送り、信号を複合化した後に無線送信機４０４から送信する。このとき、信号複合化部４０３は、図７に示すように単一のＩＣチップとして配置してもよい。

また、例えば、無線送信部１０５のＩＣに複数の信号が配線上の電気信号を通じて送られた後に内部の回路で単一の無線信号となるように束ねられてもよい。なお、時刻情報は、このあと無線送信部１０５または無線受信部１０６または作業判定部１０７においてデータに時刻を付与してから、各センシング信号に分解後に動作照合を行う。

複数のセンサの間の時刻同期ずれをなくすことで精度高く作業者の作業情報特定をして作業の判定を下すことが可能になる。

以上説明した実施例の作業内容検出判定システム１００は、嵌合作業以外でも、音と手に掛かる圧力の情報、もしくは、音と手に掛かる圧力と手の加速度の情報で検出できる作業内容であれば、同様に適用できる。また、１つの作業だけでなく、複数の作業も、それぞれの検出条件・判定条件を設けることで、切り分けて検出することも可能である。複数の作業を検出して、作業内容を時系列に記録することも可能である。そうすることで、作業を効率化することが容易になる。

また、以上説明した作業内容検出判定システム１００で、音と手に掛かる圧力の情報、もしくは、音と手に掛かる圧力と手の加速度のセンサ情報で作業を検出するが、それ以外のセンサ情報を用いてもよい。より多くのセンサ情報を用いることで、検知精度をより高めることができる。

また、上記実施形態では、作業者による作業に例をとって説明したが、本発明の用途は必ずしも作業者による作業に限定されるものではない。

また、上記実施形態では、手の作業を例にとって説明したが、本発明に含まれるウェアラブルセンサはこれに限定されるものではなく、足の裏やひざなど足の一部、肩やひじなど腕の一部に装着するものであってもよい。

また、上記実施形態では、ウェアラブルセンサとしての説明を行ったが、必ずしも人が装着するセンサに限定するものではなく、複数のセンサを取りつけたロボットあるいは組み立て機械であってもよい。

以上説明したように、実施例記載の技術により、作業者の作業内容を高精度に検出することができる、特にコネクタ嵌合を高精度に検出することができる作業内容検出判定システム及びウェアラブルセンサを提供することができる。

１００、１００Ｂ 作業内容検出判定システム
１０１ ウェアラブルセンサ
１０２、１０２’、１０２Ｂ 作業内容検出判定計算機
１０３、１０３Ａ、１０３Ｂ マイク
１０４、１０４Ａ、１０４Ｂ 圧力センサ
１０５、１０５Ａ、１０５Ｂ 無線送信部１０６、１０６Ｂ 無線受信部
１０７、１０７Ｂ 作業判定部
１０８ 報知部
１１１ 音データ保存処理部
１１２ 音データ蓄積部
１１３ 圧力検知部
１１４ 圧力検知結果蓄積部
１１５ 音検知部
１１６ 音検知結果蓄積部
１１７ 作業検知部
１１８ 作業検知結果蓄積部
１１９ 作業良否判定部
１２０ 作業ログ蓄積部
１２１ 作業情報データベース
１２２ 特徴量条件蓄積部
１３１ 音保存プログラム
１３２、１３２Ｂ 作業判定プログラム
１４１ チューニング部
１４２ 作業情報入力部
１４３ 正検知特徴量蓄積部
１４４ 特徴量条件チューニング部
１５１ 加速度センサ
１５２ 加速度検知部
１５３ 加速度検知結果蓄積部
４０１、４０２ センサ
４０３ 信号複合化部
４０４ 無線送信機

Claims (17)

1. 作業者の手に着用され、前記手の作業対象への接触を通じて前記手が前記作業対象に働きかけた手動作の作業音を検出するマイクと、前記手動作の作業の圧力を検出する圧力センサと、前記手動作の動きを検出する動きセンサと、前記マイクの音信号、前記圧力センサの圧力信号、および前記動きセンサの動き信号を送信するための送信部とを有する手袋と、
   前記送信部から送信された前記音信号、前記圧力信号、および前記動き信号を受信する受信部と、
   前記音信号、前記圧力信号、および前記動き信号を用いて、前記作業者の作業内容の検出判定を行う作業判定部と、
   前記作業判定部の判定結果を報知する報知部と、
   を有する作業内容検出判定システム。
2. 前記作業判定部は、
   前記音信号に基づく所定の作業音の検出タイミングと、前記圧力信号に基づく所定の圧力の検出タイミングと、前記動き信号に基づく所定の動きの検出タイミングを用いて、前記作業内容の検出判定を行う、
   請求項１記載の作業内容検出判定システム。
3. 前記作業判定部は、
   前記圧力信号を用いて、前記音信号に基づく所定の作業音の検出を行うかどうかを決定する、
   請求項２記載の作業内容検出判定システム。
4. 前記手袋が有する前記マイクは少なくとも２個あり、第１のマイクは前記作業音の発生する箇所に近い第１の場所に、第２のマイクは前記第１の場所より前記作業音の発生する箇所から遠い第２の場所に取り付けられている、
   請求項１記載の作業内容検出判定システム。
5. 前記作業判定部は、
   前記第１のマイクの音と前記第２のマイクの音の音量もしくは伝播特性の違いに基づいて、前記音信号に基づく所定の作業音の検出を行う、
   請求項４記載の作業内容検出判定システム。
6. 前記圧力センサおよび前記動きセンサは、導電性粒子を含む感圧シートが兼ねており、
   前記感圧シートは、そのセンシング信号から圧力を検知することで圧力センサとして機能するとともに、センシング信号の変化に基づいて滑り信号を検知することにより動きセンサとして機能する、
   請求項１記載の作業内容検出判定システム。
7. 前記作業判定部は、
   前記音信号に基づく所定の作業音の検出タイミングと前記滑り信号を検知したタイミングの時刻差が一定時間内であること条件にして、前記作業内容の検出判定を行う、
   請求項６記載の作業内容検出判定システム。
8. 前記作業判定部は、
   前記音信号に基づく所定の作業音の検出タイミングの後に前記滑り信号を検知したタイミングがあること条件にして、前記作業内容の検出判定を行う、
   請求項６記載の作業内容検出判定システム。
9. 前記動きセンサとして、さらに加速度信号を検出する加速度センサを備え、
   前記作業判定部は、
   前記音信号に基づく所定の作業音の検出タイミングと、前記滑り信号に基づく所定の滑りの検出タイミングと、前記加速度信号に基づく所定の加速度の検出タイミングを用いて、前記作業内容の検出判定を行う、
   請求項６記載の作業内容検出判定システム。
10. 前記動きセンサは、動き信号として加速度信号を検出する加速度センサであり、
    前記作業判定部は、
    前記音信号に基づく所定の作業音の検出タイミングと、前記圧力信号に基づく所定の圧力の検出タイミングと、前記加速度信号に基づく所定の加速度の検出タイミングを用いて、前記作業内容の検出判定を行う、
    請求項１記載の作業内容検出判定システム。
11. 前記作業内容の検出判定を行った結果を、事前に登録された作業情報と紐づけた作業ログとして蓄積部に保存する、
    請求項１記載の作業内容検出判定システム。
12. 前記マイクからの音信号と前記圧力センサからの圧力信号を束ねて複合信号化する信号複合化部を更に有し、
    前記送信部は無線送信を行う無線送信部であり、
    前記無線送信部は、前記信号複合化部で束ねられた前記音信号および前記圧力信号を単一の無線信号として無線送信し
    前記作業判定部は、受信した単一の前記無線信号を、時刻を付与したセンサ情報信号に分解後に前記作業内容の検出判定を行う、
    請求項１記載の作業内容検出判定システム。
13. 入力部を備えるチューニング部を有し、
    前記入力部に信号が入力された時刻と作業内容の検出判定の結果の時刻とが一定の時間内にあるときに、当該前記作業内容の検出判定の結果を使って検出判定条件のチューニングを行う、
    請求項１記載の作業内容検出判定システム。
14. 作業者の手に着用され、前記手の作業対象への接触を通じて前記手が前記作業対象に働きかけた手動作を観測するウェアラブルセンサ内蔵手袋であって、
    前記作業対象の作業音を検出するマイクと、
    前記手の動作の作業の圧力を検出する圧力センサと、
    前記手の動きを検出する動きセンサと、
    前記マイク、前記圧力センサおよび前記動きセンサからの信号を無線で送信するための無線送信機と、
    を有するウェアラブルセンサ内蔵手袋。
15. 前記圧力センサは、前記手の動作の作業の圧力を検出し滑りも検出可能であって、前記動きセンサを兼ねる、
    請求項１４記載のウェアラブルセンサ内蔵手袋。
16. 前記ウェアラブルセンサ内蔵手袋が有する前記マイクは少なくとも２個あり、第１のマイクは前記作業音の発生する箇所に近い第１の場所に、第２のマイクは前記第１の場所より前記作業音の発生する箇所から遠い第の場所に取り付けられている、
    請求項１４記載のウェアラブルセンサ内蔵手袋。
17. 無線送信機から無線送信された、作業音を検出したマイクからの音信号、手の動作の作業の圧力を検出した圧力センサからの圧力信号、および、前記圧力センサから検出された滑り信号及び手の動作の加速度を検出した加速センサからの加速度信号の少なくとも一つの信号、を受信する受信部と、
    前記音信号、前記圧力信号、および、前記滑り信号と前記加速度信号の少なくとも一つの信号、から作業者の作業内容を判定する作業判定部と、
    を有する作業内容検出判定装置。

Images