JP7171359B2 - 作業情報管理システム及びウェアラブルセンサ - Google Patents

Description

本発明は、作業情報管理システム及びウェアラブルセンサに関する。

組み立て工場などの作業現場においては不良低減や品質向上のために、作業が正しくなされたか検査を行う検査工程が重要な役割を果たす。特に、機械ではなく人による作業の場合には、ヒューマンエラーの可能性は常に伴う。このために、多くの場合作業の直後あるいは複数作業の後に、別の検査員あるいは検査装置により確認作業を行う。このような確認作業には、例えば、ネジ締め作業やコネクタによる電気配線、塗装、あるいは部品の取り付け作業などがある。

特許文献１には、確認作業を検査員のように人手によらず自動で行う自動検知システムが記載されている。具体的には、特許文献１には、位置センサと圧力センサを備えた篏合部品組付作業における作業判定システムが記載されている。

特開２０１１－１５９２０４号公報

しかし、作業現場や生産現場では、自動検知システムを用いても作業検知の困難な場合が多数存在しうる。

例えば、作業現場での人の作業は、たとえ組み立てライン作業のような繰り返し作業であっても、機械作業のように毎回同一の作業が繰り返されることはない。毎回足の運び方や、手での物の接触のさせ方などはわずかに変わってくる。また、例外的な動作も数多く発生する。

このような複雑な作業動作を、単一のセンサ信号を用いて高精度で判定することは難しい。特許文献１には、位置センサと圧力センサが記載されているが、複数のセンサ信号を組み合わせて動作判定を行うことについては言及されていない。この結果、特許文献１の作業判定システムでは、高精度で作業動作を判定することは困難である。

本発明の目的は、作業情報管理システムにおいて、高精度で作業動作を判定することにある。

本発明の一態様の作業情報管理システムは、作業者の身体に装着され、前記身体の作業対象への接触を通じて前記身体が前記作業対象に働きかけた身体動作に関する複数のセンサ情報を出力する複数のセンサと、複数の前記センサ情報を組み合わせて照合して特定の前記身体動作を認識する動作照合部と、前記動作照合部が認識した前記身体動作に基づいて前記作業者の作業内容が正常に行われたかを判定する信号判定部と、前記信号判定部の判定結果を報知する報知部とを有することを特徴とする。

本発明の一態様のウェアラブルセンサは、作業者が着用する手袋型のウェアラブルセンサであって、前記作業者の手に装着され、前記手の作業対象への接触を通じて前記手が前記作業対象に働きかけた手動作に関する複数のセンサ情報信号を出力する複数のセンサを有し、複数の前記センサは、複数の前記センサ情報信号を単一の無線信号として時刻同期をとり外部に無線送信することを特徴とする。

本発明の一態様によれば、作業情報管理システムにおいて、高精度で作業動作を判定することができる。

作業情報管理システムの構成を示す図である。 無線送受信機能を持つ作業情報管理システムの構成を示す図である。 サーバ、ログ蓄積データベース及び判定ライブラリを持つ作業情報管理システムのシステム構成を示す図である。 マイクと圧力センサを有する手袋状ウェアラブルセンサの一例を示す図である。 親指と人差し指を使った作業時の作業者の指先圧力信号例を示す図である。 音を発する作業対象物をもった作業時の作業者の指先圧力と作業音の信号例を示す図である。 異なるセンサを単一無線で送信するためのプリント基板上のＩＣ配置の例を示す図である。 タイミングで発生した異なるセンサでの特徴的な信号を示す信号の例を示す図である。 異なるセンサでの特徴的な信号が同じタイミングで検出されることで作業者の動作を特定するための手順の例を示すフローチャートを示す図である。 ハーネスコネクタの例を示す模式図である。 親指指先にマイクを内蔵したウェアラブルセンサの例を示す図である。 親指指先と手の甲位置にマイクを内蔵したウェアラブルセンサの例を示す図である。 ウェアラブルセンサ上の２ヶ所に内蔵したマイクから取得した作業特徴音の分布を示す図である。 ウェアラブルセンサ上の２ヶ所に内蔵したマイクから取得した作業特徴音の検出時刻差を示す図である。

以下、実施の形態について、図面を参照して詳細に説明する。

第１の実施形態

図１～図４を参照して、第１の実施形態の作業情報管理システムについて説明する。

第１の実施形態の作業情報管理システムは、作業者１００がセンシング対象である作業対象１０１に対して作業を行うことで、作業者１００が身につけるウェアラブルセンサ群１０２が作業対象１０１の情報をセンシングする。ここで、ウェアラブルセンサ群１０２は、複数のセンサから構成される。

電流値や電気抵抗といったアナログのセンシング値は、信号処理部１０３でデジタル化し動作照合部１０４に送られる。動作照合部１０４では作業者が行っている作業内容を信号処理部１０３から送られてきたセンサ信号から特定する。動作照合部１０４で作業者のある作業が特定されたら、信号判定部１０５でその作業は標準的な作業かまたは標準から逸脱した作業だったかなどの判定を行う。

信号判定部１０５で判定した結果は報知部１０６に報知される。ここで、作業者１００が身につけるウァラブルセンサ群１０２は、例えば、手袋状の形状をしており内部にセンシング器機を内蔵している。あるいは、ウェアラブルセンサ群１０２は、指先につけるキャップ状や手のひらや手の甲を覆う形状をしていてもよい。

手の先でセンシング対象である作業対象１０１を、掴むあるいは表面を触るまたは手の一部を作業対象１０１に押し付けることで、作業対象１０１に接した際の圧力や音あるいは加速度などの情報を得る。作業対象１０１は、例えば作業者が作業に使う工具や電動機械であってもよい。または、組み付け部品であってもよい。手押し車のような搬送物や果物のような食品などであっても良い。また、信号処理部１０３、動作照合部１０４、信号判定部１０５、報知部１０６はウァラブルセンサ群１０２内に一体で構成されていても良い。また、電源または電気信号を受け渡しする配線を通してウェアラブルセンサ群１０２とつながっていてもよい。

このように、第１の実施形態の作業情報管理システムは、作業者１００の身体に装着され、身体の作業対象への接触を通じて身体が作業対象１０１に働きかけた身体動作に関する複数のセンサ情報を出力する複数のセンサから成るウァラブルセンサ群１０２と、複数のセンサ情報を組み合わせて照合して特定の身体動作を認識する動作照合部１０４と、動作照合部１０４が認識した身体動作に基づいて作業者１０１の作業内容が正常に行われたかを判定する信号判定部１０５と、信号判定部１０５の判定結果を報知する報知部１０６とを有する。

さらに、第１の実施形態の作業情報管理システムは、複数のセンサ情報を処理してデジタル化された複数のセンサ情報信号を生成する信号処理部１０３を更に有する。動作照合部１０４は、信号処理部１０４で生成された複数のセンサ情報信号を組み合わせて特定の身体動作を認識する。信号判定部１０５は、動作照合部１０４が照合した動作時刻の周辺の身体動作を予め定義された身体動作と比較することにより作業者１０１の作業が正常に行われたかを判定する。報知部は、信号判定部１０５の判定結果を表示する。

また、図２に示すように、信号処理部１０３と動作照合部１０４の間には送信機１０７と受信機１０８が介在し、送信機１０７からは無線で信号処理部１０３から送られてきた信号を送信し、離れた位置にある受信機１０８で信号を受信する。例えば、ＰＣ上の処理システムである動作照合部１０４、信号判定部１０５に信号を送ってもよい。

また、図３に示すように、受信機１０８で受信した信号は有線または無線で例えばインターネット回線などを通して、サーバ１０９に送られてその後にログ蓄積データベース１１１と動作照合部１０４に信号が送られる形態をとってもよい。また、動作照合部１０４では判別パターンライブラリ１１０のようなあらかじめライブラリとして存在する照合パターンのデータと取得したデータを比較して動作の照合を行ってもよい。

なお、ログデータ蓄積データベース１１１は、電子的な媒体で保存されるものであってもよく、印刷媒体で印刷されて残るものであってもよい。報知部１０６で報知される内容は、信号判定部１０５で判定した例えばＯＫ、ＮＧといった結果のみでもよい。

また、動作照合部１０４で特定した動作のデータを報知部１０６で報知して表示するための加工をするだけの機能であってもよい。この場合は、信号に対する判断は、作業者または作業の監督者など他の人がグラフなどで加工されたデータを見ながら行う。また、作業者１００がリアルタイムで行った作業の信号そのものもグラフにして同時に表示してもよい。

また、動作照合部１０４は信号判定部１０５が動作を特定したこと自体を判定事項としてもよい。この場合は、動作照合部１０４及び信号判定部１０５は一体で不可分なものとなる。

ここで、報知部１０６は、信号判定部１０５の判定結果を報知する機能を有すれば、例えば、視覚情報のみの表示であってもよく、音や振動などの聴覚、触覚情報が組み合わさったものであってもよい。例えば、この報知部１０６を信号判定部１０５からの情報を作業者または作業管理者に視覚、聴覚、触覚情報で伝えるフィードバック部として構成してもよい。

ここで、図４～図６を参照して、動作照合部１０４及び信号判定部１０５における動作の特定と判定の方法について説明する。

まず、手袋型ウェアラブルセンサ２００の一例を図４に示す。手袋型ウェアラブルセンサ２００の親指、人差し指、中指位置にはそれぞれ圧力センサ２００、２０１、２０２が内蔵されている。また、手首位置にマイク２０４が内蔵されている。

手袋型ウェアラブルセンサ２００を装着した作業を行った際の圧力信号の一例を図５に示す。

図５の３００ａ、３０１ａ、３０２ａはそれぞれ図４の手袋型ウェアラブルセンサ２００の親指、人差し指、中指位置から取得した信号の値とする。ここでは、対象とする作業者１００は繰り返し作業を行い、例えば同一形状の組み付け部品を親指と人差し指で持って３回組み付けるものとする。

このとき、まず部品を指でつかんだ時刻３０３ａ、３０３ｂ、３０３ｃでは指先に高い圧力値がかかることにより、親指と人差し指に高い圧力値が検出される。一方で、中指では部品を掴まないために特徴的な圧力は検出されない。その後部品を組み付けた後で指を離すことにより時刻３０４ａ、３０４ｂ、３０４ｃでは圧力は急速に小さな値になる。動作照合部１０４では例えば、３種類の圧力信号のうち、ある時刻で親指と人差し指の二つだけが同期して高い圧力値に変わり、その後一定時間高い圧力を保った後に、同期して下がったことを検知して、組み付け作業を１回行った動作を特定する。

信号判定部１０５では、例えば、組み付け作業が３回なされているかどうか、あるいは１回の組み付け作業が一定時間内に終わっているかどうか、複数組み付け作業の間隔が一定時間内に終わっているかどうかなどを判定してもよい。

図４の手袋型ウェアラブルセンサ２００を用いた動作の特定と判定の方法の別の例を図６に示す。

図６の３００ｂ、３０１ｂ、３０２ｂは図５と同様に、それぞれ図５の手袋型ウェアラブルセンサ２００の親指、人差し指、中指位置から取得した信号の値とする。また、３０７は内蔵のマイクから取得した音の信号とする。ここでは対象とする作業者１００は、電動ドライバのような工具を一定時間もって作業を行っているとする。

このとき、作業者１００は、３０５の時刻で工具を握ることにより親指、人差し指、中指の圧力値がそろって上昇する。また、マイク２０４から作業の特徴音も同時に検知される。この後、時刻３０６には親指、人差し指、中指の圧力値がそろって下がり、同時にマイク２０４で取得していた特徴音もなくなる。

このとき、動作照合部１０４では例えば、ある時刻で３種類の圧力信号が同時に高くなりかつマイク２０４から特徴音を検知し、一定時間経過後に、高い圧力と特徴音がそろってなくなることを検知して工具の作業を特定する。なお、マイク音３０７では、例えば音の特定周波数における強度などを用いて特徴音の検出を行ってもよい。また、信号判定部１０５では作業の継続時間、指での握る強さ、あるいは作業中の音に混ざる異常音などを判定対象としてもよい。

第２の実施形態の作業情報管理システムにより、単一のセンサでは特定が困難であった作業者の作業情報を複数センサの信号と組み合わせることで特定することが可能になる。この結果、精度高く作業者の作業情報を特定して作業の判定を下すことが可能になる。

第２の実施形態

次に、第２の実施形態の作業情報管理システムについて説明する。第２の実施形態は、第１の実施形態の１例であり、送信機１０７で送信する無線の方式に関する。

ウェアラブルセンサ群１０２では複数のセンサデータがあり、一般には複数種類の周波数あるいは通信方式の異なる無線で送られたデータを受信機１０８で受信後に信号判定部１０５に送信する。

このとき、異なる無線のデータは送信や受信のタイミングのずれにより、それぞれのセンサデータに時刻のずれが生じうる。この結果、例えば、図６に示すように、音と圧力といった複数のセンサデータの時刻の同期がずれることにより、動作照合部１０４で正しい動作特定ができなくなる懸念も生じうる。

第２の実施形態では、このような複数のセンサ信号間の時刻同期のずれを防ぐために、複数のセンサ信号を束ねて複合信号化し、束ねられた信号を単一の無線信号として送信ならびに受信を行う。

この方法の一例としては、図７に示すようにプリント基板上に配置された複数のセンサ４０１、４０２からの信号を一旦信号複合化部４０３に送り、信号を複合化した後に無線送信機４０４から送信する。このとき、信号複合化部４０３は、図７に示すように単一のＩＣチップとして配置してもよい。

また、例えば、送信機１０７のＩＣに複数の信号が配線上の電気信号を通じて送られた後に内部の回路で単一の無線信号となるように束ねられてもよい。なお、時刻情報は、このあと送信機１０７または動作照合部１０４においてデータに時刻を付与してから、各センシング信号に分解後に動作照合を行う。

第２の実施形態の作業情報管理システムによれば、複数のセンサの間の時刻同期ずれをなくすことで精度高く作業者の作業情報特定をして作業の判定を下すことが可能になる。

第３の実施形態

次に、図８、図９を用いて第３の実施形態の作業情報管理システムについて説明する。ここで、第３の実施形態は、第１、第２の実施形態のうちの動作照合部１０４における作業者１００の動作の特定方法に関する。

ここで、図８はセンサＡとセンサＢの信号の時間変化であり、横軸を時間、縦軸をセンシング値とする。センサＡとセンサＢの信号は、例えばマイク２０４から取得した音と指先作業から取得した圧力信号などが挙げられる。センサＡでは作業を特定するうえで特徴的な信号が５００ａ、５００ｂ、５００ｃ、５００ｄ、５００ｅならびに５０１で検出されたとする。また、このとき５０１の信号以外は実際に検知したい信号と非常によく似た特徴をもつノイズであるとする。

このセンサＡの信号のみでは５０１の信号抽出を抽出して正しい動作特定はできない。一方、同様にセンサＢでも作業を特定するうえで特徴的な信号が５０２ａ、５０２ｂ、５０２ｃならびに５０３で検出されたとする。なお、この特徴信号は、図８では１例として時系列の信号値の極大値とする。センサＡと同様、センサＢの信号のみでは５０２の信号抽出を抽出して正しい動作特定はできない。

このときセンサ、センサＢの特徴的な信号と組み合わせることで特定を行う。図８の５０１に例示するように作業者１００の特定の動作は、センサＡの特徴的な信号とセンサＢの特徴的な信号が原因となっている。よって、２つの信号が同じタイミングで起こる時刻を見つけることで、作業者１００の動作が起きた時刻を特定することができる。

図９のフローチャート６００を参照して、作業者の特徴的な動作の検知手順について説明する。

まず、センサＡ、Ｂから決まった範囲内のデータを取得する。つまり、センサＡ、Ｂから一定時間範囲の信号を取得する（Ｓ６０１）。これは、例えばウェアラブルセンサ２００を身に着けて作業している作業者１００の現在時刻から、例えば２秒など一定時刻遡ったデータであってもよい。あるいは、すでに作業者１００はすでに作業を終えており、記録の終わったデータであれば作業データ全てであってもよい。

次に、センサＡの信号から判定条件を満たす時刻を抽出する（Ｓ６０２）。このときの抽出の精度はセンサＡの信号の周波数程度であり、例えば１０ｋＨｚの周波数でデータ点を取得していたとすると時刻の精度は０．１ｍｓ程度である。

次に、センサＡで決定した特徴信号取得時刻の一定範囲内、例えば前後１００ｍｓ内にセンサＢの特徴信号があるか探索する。つまり、センサＡで抽出した時刻から一定時間範囲内にセンサＢの特徴信号があるかを判定する（Ｓ６０３）。

この際、センサＢに特徴信号があれば特定の動作があったと判断する（Ｓ６０４）。一方、センサＢに特徴信号がなければ特定の動作がなかったと判断する（Ｓ６０５）。

第３の実施形態について、動作照合部１０４は２種類のセンサの信号時刻で説明を行った。しかし、センサの種類は２種類に限定されることはなく、もっと多くのセンサから作業者の特定動作によって起こりうる信号を抽出して、複数のセンサが同じタイミングで特徴信号を検出することで動作の特定を行ってもよい。

また、複数のセンサのうちの全てが特徴信号を検出する場合に限定されることもなく、例えば３種類のセンサＡ、Ｂ、Ｃあれば、センサＡかつセンサＢ、センサＣのいずれか、あるいは３種類のセンサＡ、Ｂ、Ｃのうちのどれか２種類のセンサから検出するといった検出方法でも良い。

また、センサの種類については複数のセンサは、それぞれ音、圧力、加速度といったように異なる種類のセンサであってもよく、同一種類のセンサをウェアラブルセンサ２００上の異なる位置に装着してセンシングしているものでもよく、さらには両者の組み合わせであってもよい。

第３の実施形態の作業情報管理システムによれば、センサデータにはノイズが多数混入して動作特定が困難な場合にも高い精度でセンサデータから作業者１００の動作を特定することが可能となる。

第４の実施形態

次に、第４の実施形態の作業情報管理システムについて説明する。第４の実施形態は、動作照合部１０４および信号判定部１０５に関する。

信号の判定基準が特定のセンサから特徴的な信号が検出されることだとする。このとき、図８のセンサＡの信号のように検出したい特徴的な信号に混ざってノイズが多数混入していると、正しい信号の検出が不可能になる。このとき、第３の実施形態で説明した複数センサの組み合わせによりノイズ信号を除去する。

第４の実施形態の作業情報管理システムによれば、信号判定部１０５での判定に必要な特徴的な信号を検出することが可能になる。

第５の実施形態

次に、第５の実施形態の作業情報管理システムについて説明する。第５の実施形態は、作業者１００が装着する手袋状のウェアラブルセンサ２００間の時刻同期の取り方に関する。

第１の実施形態においては、異なるセンサ間で保持している時刻にわずかなずれが生じることが起こりうる。第５の実施形態では、作業者１００の作業の特徴から同時に起こることがあらかじめ分かっている動作を用いて、同期時刻に補正をかける。この方法を、図８を用いて説明する。

図８のセンサＡの信号５０１とセンサＢの信号５０３は、ほぼ同じタイミングで起きており、かつ作業者１００の動作の特徴から必ず同時に起こることが分かっているとする。このとき、わずかな時刻のずれから、システム内部での時刻同期のずれを算出する。

第５の実施形態の作業情報管理システムによれば、動作照合部１０４、信号判定部１０５においてより高い精度で作業者の動作を特定ならびに判定することが可能となる。

第６の実施形態

次に、第６の実施形態の作業情報管理システムについて説明する。第６の実施形態は、第１の実施形態乃至第４の実施形態の適用先に関する。

作業者１００が、ある部品をまた別の部品に組み付け、その際に組み付け音が発生するような作業を行った時に、正しく組み付けが行われたか確認するために、手袋型のウェアラブルセンサならびに作業情報管理システムを使う。

第６の実施形態の作業情報管理システムによれば、作業音ならびに作業動作を検知して、作業者１００が正しい組み付け作業を行ったか確認することが可能となる。

第７の実施形態

次に、第７の実施形態の作業情報管理システムについて説明する。第７の実施形態は、第６の実施形態での特定の適用先ならびに適用方法に関する。

工作機械、自動車、航空機、その他多くの電気機器においてワイヤーハーネスと呼ばれる複数の電線を結束帯などでまとめ、端部に一つないし複数の電線を一度に接続するコネクタを取りつけた電気配線部品を用いる。

このワイヤーハーネスの先のコネクタは、図１０の７００、７０１の模式図に一例として示すように、ラチェット状の形状をしており、多くの場合手作業で容易に接続することがでる。一度接続すると、振動や外部からの物体の接触によっても容易にははずれない。

また、このハーネスコネクタは、取り付けの際には多くの場合、コネクタ部から特徴的な音を発する。第７の実施形態では、このハーネスコネクタが適切に取りつけられているかどうかを第６の実施形態の方法を用いて検知する。

一例としては、コネクタを組み付ける際に発する特徴音と、コネクタを組み付けてちょうど嵌合音が発生する際に、最も強い力が指先にかかるために圧力が極大値をとる指先圧力をセンサから検知して、嵌合作業を図８、図９の方法で特定する。

第７の実施形態の作業情報管理システムでは、センシング情報は音と圧力に限らず、例えば加速度センサあるいは振動センサを組み合わせて用いてもよい。この場合は、例えば、嵌合の瞬間に発生する強い加速度変化あるいは特徴的な振動が発生し、この特徴と音あるいは圧力値を組み合わせて検知を行う。

第７の実施形態の作業情報管理システムによれば、周囲に紛らわしいノイズ音が多数発生し、かつ作業者が嵌合動作と紛らわしい動作を多数するような環境においても、作業者が正しくコネクタの嵌合を行っているか検知することが可能となる。

第８の実施形態

次に、第８の実施形態のウェアラブルセンサについて説明する。第８の実施形態は、作業者１００が装着する手袋状のウェアラブルセンサ２００の構成に関する。

第８実施形態においては、手袋形状のウェアラブルセンサ２００中に小型のマイクを指先に内蔵する。このマイクは例えば図１１の親指先のマイク８００のように親指先に内蔵してもよい。

さらには、人差し指の先や、手のひらといった作業音が発生する場所に近くなる別の個所であってもよい。またマイク８００は１か所に限ることなく、手先の複数の個所に内蔵してもよい。

第８の実施形態のウェアラブルセンサによれば、マイク８００により、周囲に大きなノイズ音が発生する環境下においても、作業者１００の親指による組み付け時作業時に発生する小さな音を検知することが可能となる。

第９の実施形態

次に、第９の実施形態のウェアラブルセンサについて説明する。第９の実施形態は、作業者１００が装着する手袋状のウェアラブルセンサに内蔵するマイクならびに内蔵マイクを用いた作業音検知の方法に関する。

第９の実施形態においては、手袋形状のウェアラブルセンサ２００中の少なくとも２か所に小型のマイク８００、８０１を内蔵する。例えば一つ目のマイク８００は、図１１及び図１２に図示するように、指先位置に配置してもよい。もう一つのマイク８０１は、指先から離れた位置の例えば手の甲位置に配置してもよい。これにより、作業者１００の指先作業により発する音の二つのマイク８００、８０１での音量ならびに音源から発する音の伝播の違いを抽出することができる。

例えば、指先作業の作業取得音を，指先位置のマイク８００で取得した作業特徴音の強度と手の甲位置のマイク８０１で取得した作業特徴音の強度を比較すると、図１３に示すように指先マイクから取得した音の方が音源に近くなる分大きな音量となる。

また、作業特徴音と作業特徴音に似たノイズ音について２か所のマイク８００、８０１から取得した取得時刻差を比較すると、図１４に示すように指先作業由来の作業音は音源が２つのマイクのどちらに対しても近い位置なる。このために，作業音に似た外部ノイズよりも取得時刻の差は小さくなる。

第９の実施形態のウェアラブルセンサによれば、複数のマイク８００、８０１を手袋状のウェアラブルセンサ２００に内蔵して取得音を比較することにより、正しい作業音とノイズ音を区別して作業音の誤検知を少なくすることが可能となる。

このように、第８及び第９の実施形態のウェアラブルセンサ２００は、作業者１００が着用する手袋型であり作業者１００の手に装着され、手の作業対象１０１への接触を通じて手が作業対象１０１に働きかけた手動作に関する複数のセンサ情報信号を出力する複数のセンサから成るウァラブルセンサ群１０２を有する。複数のセンサは、複数のセンサ情報信号を単一の無線信号として時刻同期をとり外部に無線送信する。

また、複数のセンサは、圧力、音及び加速度のいずれかを検出し、複数のセンサ情報信号を束ねて複合信号化して、単一の無線信号として外部に無線送信する。

また、複数のセンサは、少なくとも、作業者１００の指先の作業音を検出するマイク８００と、作業者１００の指先作業の圧力を検出する圧力センサ２０１～２０３で構成される。マイク８００は、作業者１００の手の５本の指の少なくとも１つの指先に内蔵されており、作業内容に特徴的な音を検出する。

また、複数のセンサは、少なくとも作業者１００の親指と人差し指の手のひら側の面に内蔵された圧力センサで構成される。圧力センサは親指と人差し指で作業対象１０１をつかんだ時に作業対象１０１を検知する。

上述のように、上記実施形態では、身体に装着した複数の異種センサから、同一時刻での事象をセンシングして互いに比較することで高精度にセンシング事象を検知する。これにより、作業者が作業対象物に働きかける身体の動作ならびに作業対象物との接触を通じて、作業者１００の作業内容特定が可能になる。さらに、作業が適切に行われているかなどの作業者１００の作業動作判定が可能になる。

尚、上記実施形態では、使用例を製造業または保守現場での作業に例をとって説明したが、本発明の用途は必ずしも上記に限定されるものではない。

また、上記実施形態では、手の作業を例にとって説明したが、本発明に含まれるウェアラブルセンサはこれに限定されるものではなく、足の裏やひざなど足の一部、肩やひじなど腕の一部に装着するものであってもよい。

また、上記実施形態では、ウェアラブルセンサとしての説明を行ったが、必ずしも人が装着するセンサに限定するものではなく、複数のセンサを取りつけたロボットあるいは組み立て機械であってもよい。

（付記）
上記実施形態は、作業者の作業内容を検知して正常、異常など作業内容に判定を下す。それを解決するために、実施形態は、身体に装着した複数の異種センサから、同一時刻での事象をセンシングして互いに比較することで高精度にセンシング事象を検知する。その解決手段の一例を以下に付記として記載する。

（付記１）作業者が身体に装着するセンサ群と、身体の接触を通じて前記センサ群から得られる身体が物体に働きかけた身体動作に関する情報をデジタル化された電気信号として伝える信号処理部と、前記処理部に各センサ群から集まってきたセンサ情報を組み合わせて、特定の動作を認知する動作照合部と、前記照合部が照合した動作時刻の周辺の動作をあらかじめ定義された動作と照らし合わせることで、正常、異常などの判定を下す信号判定部と、前記信号判定からの情報を作業者または作業管理者に視覚、聴覚、または触覚情報で伝えるフィードバック部からなることを特徴とする作業情報管理システム。

（付記２）付記１において、信号処理部と動作照合部の間に各センサ群から集まってきたセンサ情報を無線送信する送信部とならびに信号を受信する受信部があることを特徴とする作業情報管理システム。

（付記３）付記２に記載のシステムにおいて、複数のセンサ信号を束ねて複合信号化する信号複合化部と、束ねられた信号を単一の無線信号として送信する送信部と信号を受信する受信部と受信後、データに時刻を付与してから、各センシング信号に分解後、請求項１の動作照合部にデータを送ることを特徴とする作業情報管理システム。

（付記４）付記１～３に記載のシステムにおいて、前記センサ群が手袋型の身体への装着物に内蔵されていることを特徴とする作業情報管理システム。

（付記５）付記４に記載のシステムにおいて作業者が装着する手袋型のウェアラブルセンサに、圧力、音、加速度を含むセンサが内蔵され、それぞれの信号を検出することを特徴とする作業情報管理システム。

（付記６）付記１～５において身体に装着した複数のセンサ群は、動作照合部において、複数のセンサ群がとらえた作業者の特定動作によって生じる特徴的な信号をとらえ、それぞれの特徴的な信号が特定の時間範囲内に、同時に検出することで作業者の作業内容を特定することを特徴とする作業情報管理システム。

（付記７）手袋状の形状で少なくともマイクと圧力センサを含む２つ以上のセンサを内蔵しており、指先の作業音と指先作業の圧力を含む複数の信号の時刻を同期させて処理することを特徴とするウェアラブルセンサ。

（付記８）付記１～８において、作業者が装着した手袋状のウェアラブルセンサの５本の指の少なくとも１つの指先に内蔵されたマイクから作業に特徴的な音を検知することを特徴とする作業情報管理システム。

（付記９）付記１～９において、内蔵マイク音の検知時刻の一定範囲内に指先の圧力センサ、または加速度センサからも同一の作業の特徴を示す信号を検出したときに作業内容を特定することを特徴とする作業情報管理システム。

（付記１０）付記９または１０において作業者が装着した手袋状のウェアラブルセンサの少なくとも２か所にマイクが内蔵されており、作業音の発生する箇所に近い場所のマイク音とそうでない個所のマイク音の音量ならびに音の伝播特製の違いを用いて作業音を特定することを特徴とする作業音検知システム。

（付記１１）付記６、８、９～１１において手袋状のウェアラブルセンサの少なくとも親指と人差し指の手のひら側の面に圧力センサが内蔵されており、親指と人差し指で作業対象をつかんだ時に作業対象物の検知を可能にすることを特徴とする作業情報管理システムまたは作業音検知システム。

（付記１２）付記１～６、８において複数のチャネルの圧力信号、音、または加速度が、作業者の特定の作業に対して、それぞれ特徴的な信号を受信したときに、特徴的な信号を特定の時間内に同時に検出することで作業内容を特定することを特徴とする作業情報管理システム。

（付記１３）付記１、２、４、５、８、１１、１２において同一作業に対して複数のセンサが、動作照合部で同一の作業とみなす特徴的な信号を検知した際に、それぞれのセンサがセンシングした時刻のずれを補正し、それぞれのセンサの時刻の同期を自動で再設定する機能を有することを特徴とする作業情報管理システム。

（付記１４）付記１～１４において、電気配線のコネクタ嵌合時の嵌合音と嵌合動作を検知することを特徴とする嵌合検知システム。

１００ 作業者
１０１ 作業対象
１０２ ウェアラブルセンサ群
１０３ 信号処理部
１０４ 動作照合部
１０５ 信号判定部
１０６ 報知部
１０７ 送信部
１０８ 受信部
１０９ サーバ
１１０ 判別パターンライブラリ
１１１ ログ蓄積データベース
２００ 手袋型ウェアラブルセンサ
２０１ 親指内蔵圧力センサ
２０２ 人差し指内蔵圧力センサ
２０３ 中指内蔵圧力センサ
２０４ 手首位置内蔵マイク
４００ プリント基板
４０１ 圧力信号のＤ／Ａ変換を行うＩＣ
４０２ センサＩＣ
４０３ 信号複合化部
４０４ 無線送信機
７００ 嵌合前のハーネスコネクタ
７０１ 嵌合後のハーネスコネクタ
８００ 指先マイク
８０１ 手の甲位置マイク

Claims (14)

1. 作業者の身体に装着され、前記身体の作業対象への接触を通じて前記身体が前記作業対象に働きかけた身体動作に関する複数のセンサ情報を出力する複数のセンサと、
   複数の前記センサ情報を組み合わせて照合して特定の前記身体動作を認識する動作照合部と、
   前記動作照合部が認識した前記身体動作に基づいて、前記作業者の作業内容が正常に行われたかを判定する信号判定部と、
   前記信号判定部の判定結果を報知する報知部と、
   を有し、
   前記動作照合部は、
   複数の前記センサ情報を組み合わせて照合して、前記作業者の特定動作によって生じる特徴的信号をとらえて、前記特徴的信号を特定の時間範囲内に同時に検出することで前記作業者の前記作業内容を特定して、特定の前記身体動作を認識し、
   前記動作照合部は、
   同一作業に対して複数の前記センサが、同一の作業とみなす特徴的信号を検知した際に、複数の前記センサがそれぞれ検出した時刻のずれを補正して、前記センサの時刻の同期を自動で再設定することを特徴とする作業情報管理システム。
2. 複数の前記センサ情報を処理してデジタル化された複数のセンサ情報信号を生成する信号処理部を更に有し、
   前記動作照合部は、
   前記信号処理部で生成された複数の前記センサ情報信号を組み合わせて特定の前記身体動作を認識し、
   前記信号判定部は、
   前記動作照合部が照合した動作時刻の周辺の前記身体動作を予め定義された身体動作と比較することにより、前記作業者の作業が正常に行われたかを判定し、
   前記報知部は、
   前記信号判定部の判定結果を表示することを特徴とする請求項１に記載の作業情報管理システム。
3. 前記信号処理部で生成された複数の前記センサ情報信号を無線送信する送信機と、
   前記送信機から無線送信された前記センサ情報信号を受信して前記動作照合部に送る受信機と、
   を更に有することを特徴とする請求項２に記載の作業情報管理システム。
4. 複数の前記センサ情報信号を束ねて複合信号化する信号複合化部を更に有し、と、
   前記送信機は、
   前記信号複合化部で束ねられた前記センサ情報信号を単一の無線信号として無線送信し、
   前記受信機は、
   受信した単一の前記無線信号を、時刻を付与した前記センサ情報信号に分解後に前記動作照合部に送ることを特徴とする請求項３に記載の作業情報管理システム。
5. 複数の前記センサは、
   手袋型の前記身体への装着物に内蔵されていることを特徴とする請求項１に記載の作業情報管理システム。
6. 前記装着物に内蔵されている前記センサは、
   圧力、音及び加速度のいずれかを検出することを特徴とする請求項５に記載の作業情報管理システム。
7. 作業者が着用する手袋型のウェアラブルセンサであって、
   前記作業者の手に装着され、前記手の作業対象への接触を通じて前記手が前記作業対象に働きかけた手動作に関する複数のセンサ情報信号を出力する複数のセンサを有し、
   複数の前記センサは、
   複数の前記センサ情報信号を単一の無線信号として時刻同期をとり外部に無線送信し、
   複数の前記センサは、
   圧力、音及び加速度のいずれかを検出し、
   複数の前記センサ情報信号を束ねて複合信号化して、前記単一の無線信号として外部に無線送信し、
   複数の前記センサは、
   少なくとも、
   前記作業者の指先の作業音を検出するマイクと、
   前記作業者の指先作業の圧力を検出する圧力センサで構成されることを特徴とするウェアラブルセンサ。
8. 前記マイクは、
   前記作業者の前記手の５本の指の少なくとも１つの指先に内蔵されており、作業内容に特徴的な音を検出することを特徴とする請求項７に記載のウェアラブルセンサ。
9. 複数の前記センサは、
   少なくとも前記作業者の親指と人差し指の手のひら側の面に内蔵された圧力センサで構成され、
   前記圧力センサは、
   前記親指と前記人差し指で前記作業対象をつかんだ時に前記作業対象を検知することを特徴とする請求項７に記載のウェアラブルセンサ。
10. 作業者の身体に装着され、前記身体の作業対象への接触を通じて前記身体が前記作業対象に働きかけた身体動作に関する複数のセンサ情報を出力する複数のセンサと、
    複数の前記センサ情報を組み合わせて照合して特定の前記身体動作を認識する動作照合部と、
    前記動作照合部が認識した前記身体動作に基づいて、前記作業者の作業内容が正常に行われたかを判定する信号判定部と、
    前記信号判定部の判定結果を報知する報知部と、
    を有し、
    複数の前記センサは、
    手袋型の前記身体への装着物に内蔵されており、
    前記装着物に内蔵されている前記センサは、
    少なくとも、
    前記作業者の指先の作業音を検出するマイクと、
    前記作業者の指先作業の圧力を検出する圧力センサで構成され、
    前記指先の作業音と前記指先作業の圧力を含む複数のセンサ情報信号の時刻を同期させて処理する信号処理部を更に有することを特徴とする作業情報管理システム。
11. 作業者の身体に装着され、前記身体の作業対象への接触を通じて前記身体が前記作業対象に働きかけた身体動作に関する複数のセンサ情報を出力する複数のセンサと、
    複数の前記センサ情報を組み合わせて照合して特定の前記身体動作を認識する動作照合部と、
    前記動作照合部が認識した前記身体動作に基づいて、前記作業者の作業内容が正常に行われたかを判定する信号判定部と、
    前記信号判定部の判定結果を報知する報知部と、
    を有し、
    複数の前記センサは、
    手袋型の前記身体への装着物に内蔵されており、
    前記手袋型の身体への前記装着物の５本の指の少なくとも１つの指先に内蔵されたマイクにより、前記作業内容に特徴的な音を検出すること作業情報管理システム。
12. 前記動作照合部は、
    前記指先に内蔵された前記マイクが検知した音の検知時刻の一定範囲内に、前記指先に内蔵された圧力センサ又は加速度センサからも同一の作業内容の特徴を示す信号を検出したときに、前記作業者の前記作業内容を特定して、特定の前記身体動作を認識することを特徴とする請求項１１に記載の作業情報管理システム。
13. 作業者の身体に装着され、前記身体の作業対象への接触を通じて前記身体が前記作業対象に働きかけた身体動作に関する複数のセンサ情報を出力する複数のセンサと、
    複数の前記センサ情報を組み合わせて照合して特定の前記身体動作を認識する動作照合部と、
    前記動作照合部が認識した前記身体動作に基づいて、前記作業者の作業内容が正常に行われたかを判定する信号判定部と、
    前記信号判定部の判定結果を報知する報知部と、
    を有し、
    複数の前記センサは、
    手袋型の前記身体への装着物に内蔵されており、
    前記手袋型の身体への前記装着物の少なくとも２か所に内蔵されたマイクを更に有し、
    前記動作照合部は、
    前記作業者の作業音の発生する箇所に近い第１の場所の第１のマイク音と、前記第１の場所とは異なる第２の場所の第２のマイク音の音量及び音の伝播特性の違いに基づいて前記作業音を特定して、前記作業者の前記作業内容を特定することを特徴とする作業情報管理システム。
14. 作業者の身体に装着され、前記身体の作業対象への接触を通じて前記身体が前記作業対象に働きかけた身体動作に関する複数のセンサ情報を出力する複数のセンサと、
    複数の前記センサ情報を組み合わせて照合して特定の前記身体動作を認識する動作照合部と、
    前記動作照合部が認識した前記身体動作に基づいて、前記作業者の作業内容が正常に行われたかを判定する信号判定部と、
    前記信号判定部の判定結果を報知する報知部と、
    を有し、
    複数の前記センサは、
    手袋型の前記身体への装着物に内蔵されており、
    前記装着物に内蔵されている前記センサは、
    少なくとも前記作業者の親指と人差し指の手のひら側の面に内蔵された圧力センサで構成され、
    前記圧力センサは、
    前記親指と前記人差し指で前記作業対象をつかんだ時に前記作業対象を検知することを特徴とする作業情報管理システム。

Images