JP6224873B1

JP6224873B1 - 情報処理システム、情報処理装置、情報処理方法及びプログラム

Info

Publication number: JP6224873B1
Application number: JP2017531414A
Authority: JP
Inventors: 和佳井上
Original assignee: NS Solutions Corp
Current assignee: NS Solutions Corp
Priority date: 2016-03-04
Filing date: 2017-02-22
Publication date: 2017-11-01
Anticipated expiration: 2037-02-22
Also published as: CN108604393B; US20190043385A1; CN108604393A; WO2017150293A1; US11011074B2; JPWO2017150293A1

Abstract

作業の登録された標準データを取得する標準データ取得手段と、作業を行う作業者の作業データを取得する作業データ取得手段と、標準データ取得手段により取得された標準データと作業データ取得手段により取得された作業データとの差異が閾値以上か否かを判定する判定手段と、判定手段により差異が閾値以上であると判定された場合、差異に応じて、作業の修正に関する指示画像を生成する生成手段と、生成手段により生成された指示画像を作業者が装着している表示装置の表示部に表示することで、現実空間に指示画像を重畳して表示する表示手段と、を有することによって課題を解決する。

Description

本発明は、作業場における作業に関して指示画像を重畳表示する情報処理システム、情報処理装置、情報処理方法及びプログラムに関する。

特許文献１には、標準作業情報及びワークの状態に基づいて作業者の行う作業を評価する技術が開示されている。

特開２００５−２４２４１８号公報

しかし、特許文献１記載の技術では、作業者が、標準データと異なる動作を行っていることを作業者に伝え、作業の修正を指示することはできない課題があった。
また、いわゆる団塊の世代の退職により熟練作業者の技能を多くの後輩の作業者に分かりやすく正しく伝承させていきたいという課題がある。また、グローバル化に伴い、日本国内で行っていた作業を、作業の品質を落とさず、海外の作業者に行わせたいという課題もある。

本発明は、作業者に作業の修正指示を速やかに伝えると共に熟練作業者の技能を後輩の作業者に適切に伝えることを目的とする。

そこで、本発明の情報処理システムは、作業の登録された標準データを取得する標準データ取得手段と、前記作業を行う作業者の作業データを取得する作業データ取得手段と、前記標準データ取得手段により取得された前記標準データと前記作業データ取得手段により取得された前記作業データとの差異が閾値以上か否かを判定する判定手段と、前記判定手段により前記差異が閾値以上であると判定された場合、前記差異に応じて、前記作業の修正に関する指示画像を生成する生成手段と、前記生成手段により生成された前記指示画像を前記作業者が装着している表示装置の表示部に表示することで、現実空間に前記指示画像を重畳して表示する表示手段と、を有する。

本発明によれば、作業者に作業の修正指示を速やかに伝えると共に熟練作業者の技能を後輩の作業者に適切に伝えることができる。

図１は、情報処理システムのシステム構成の一例を示す図である。図２は、表示装置のハードウェア構成の一例を示す図である。図３は、情報処理装置のハードウェア構成の一例を示す図である。図４は、標準データテーブルの一例を示す図である。図５は、情報処理システムの指示画像を表示する情報処理の一例を示すシーケンス図である。図６は、標準データのうち、歩行動線の一例を示す図である。図７は、標準データの再登録に係る情報処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

図１は、情報処理システムのシステム構成の一例を示す図である。図１に示されるように、情報処理システムは、システム構成として、表示装置６００と、情報処理装置６０１と、を含む。表示装置６００と、情報処理装置６０１とは、ネットワーク等を介して通信可能に接続されている。図１の例では表示装置６００のみが情報処理装置６０１と通信可能に接続されているが、複数の表示装置が情報処理装置６０１と通信可能に接続されていてもよい。情報処理装置６０１は、コンピュータの一例である。
表示装置６００は、作業者が装着する眼鏡型の表示デバイスである。本実施形態においては、自動車のエンジンの組み立て作業、車体の組み立て作業等を行っている作業者が表示装置６００を装着して作業を行うものとする。
表示装置６００は、光透過型の表示装置であり、眼鏡のレンズ部分に相当する位置には、光透過型の表示部６２５が設けられている。表示装置６００を装着した作業者は、表示装置６００の表示部６２５を介して、現実空間において、視線の先に存在する物体を見ることができる。更に、表示部６２５には、情報処理装置６０１で生成された画像が表示されるので、表示装置６００を装着した作業者は、表示部６２５を通して見ている現実空間に、情報処理装置６０１で生成された画像が重畳された状態、即ち拡張現実空間（ＡＲ空間）を認識することができる。
また、表示装置６００には、表示部６２５に隣接する位置に撮像部６２７が設けられている。撮像部６２７は、表示装置６００の装着者の視線方向と、撮像部６２７の撮像方向とが一致する関係になるように設置されているものとする。これにより、撮像部６２７は、表示装置６００を装着する作業者がみている現実空間の作業の画像を撮像することができる。他の例として、撮像部６２７は、撮像方向と表示装置６００の装着者の視線方向とが一定の関係になるように設定されていてもよい。但し、撮像部６２７は、表示装置６００の必須の構成要素ではない。

情報処理装置６０１は、例えば、複数のモーションセンサを装着したベテランの作業員の作業に関する計測データを、前記複数のモーションセンサより取得し、計測データから３Ｄモデルのデータを生成し、作業の標準データとして登録する。また、情報処理装置６０１は、例えば、複数のモーションセンサを装着した作業員の作業に関する計測データを、前記複数のモーションセンサより取得し、計測データから３Ｄモデルのデータを生成し、作業データとして取得するようにしてもよい。
但し、このことは本実施形態を制限するものではない。情報処理装置６０１は、モーションキャプチャによるベテラン作業員の作業に関する計測データから３Ｄモデルのデータを生成し、標準データとして登録するようにしてもよい。また、情報処理装置６０１は、モーションキャプチャによる作業員の作業に関する計測データから３Ｄモデルのデータを生成し、作業データとして取得するようにしてもよい。
例えば、光学式のモーションキャプチャの場合、情報処理システムは、複数のカメラ等を含む。複数のカメラは、体に複数の反射マーカを付したベテラン作業員の作業を撮影し、反射マーカによる反射光より反射マーカの位置の三次元座標を求める。情報処理装置６０１は、複数の反射マーカの位置の三次元座標よりベテラン作業者の３Ｄモデルを生成し、ベテラン作業者の動作データを３Ｄモデルに反映させ、標準データとして登録するようにしてもよい。同様に、複数のカメラは、体に複数の反射マーカを付した作業員の作業を撮影し、反射マーカによる反射光より反射マーカの位置の三次元座標を求める。情報処理装置６０１は、複数の反射マーカの位置の三次元座標より作業者の３Ｄモデルを生成し、作業者の動作データを３Ｄモデルに反映させ、作業データとして取得するようにしてもよい。

情報処理装置６０１は、標準データと、取得した作業データと、の差異が閾値以上か否かを判定し、前記差異が閾値以上であると判定した場合、前記差異に応じて、前記作業の修正に関する指示画像を生成し、表示装置６００に送信する。表示装置６００は、情報処理装置６０１より指示画像を受信すると、表示部６２５に表示する。図１の例では、自動車のエンジンの組み立て作業における工具の当て方に関する指示画像６１４が表示装置６００の表示部６２５に表示されている。
本実施形態の情報処理システムによれば、作業者にベテランの作業者との差異に基づく作業の修正指示を速やかに伝えると共に熟練作業者の作業に関する技能を後輩の作業者に適切に伝えることができる。

図２は、表示装置６００のハードウェア構成の一例を示す図である。表示装置６００は、ハードウェア構成として、ＣＰＵ６２１と、ＲＯＭ６２２と、ＲＡＭ６２３と、通信Ｉ／Ｆ６２４と、表示部６２５と、マイク６２６と、撮像部６２７と、を有している。ＣＰＵ６２１は、ＲＯＭ６２２に記憶されたプログラムを読み出して各種処理を実行する。ＲＡＭ６２３は、ＣＰＵ６２１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＣＰＵ６２１がＲＯＭ６２２に格納されているプログラムを読み出し、このプログラムを実行することにより表示装置６００の機能及びシーケンス図の表示装置６００の処理が実現される。
通信Ｉ／Ｆ６２４は、ネットワークを介して、情報処理装置６０１との通信処理を行う。表示部６２５は、各種情報を表示する。マイク６２６は、表示装置６００を装着した作業者の発話等の音声を入力する。なお、音声は、ＣＰＵ６２１に送られ、ＣＰＵ６２１において音声認識処理が行われる。ＣＰＵ６２１は、音声認識の結果から、ユーザによる各種指示を受け付けることができる。撮像部６２７は、現実空間の撮影を行う。ＲＯＭ６２２は、記憶媒体の一例である。

図３は、情報処理装置６０１のハードウェア構成の一例を示す図である。情報処理装置６０１は、ＣＰＵ６３１と、ＲＯＭ６３２と、ＲＡＭ６３３と、通信Ｉ／Ｆ６３４と、表示部６３５と、入力部６３６と、ＨＤＤ５３７と、を有している。ＣＰＵ６３１、ＲＯＭ６３２、ＲＡＭ６３３及び通信Ｉ／Ｆ６３４は、それぞれＣＰＵ６２１、ＲＯＭ６２２、ＲＡＭ６２３及び通信Ｉ／Ｆ６２４と同様である。表示部６３５は、各種情報を表示する。入力部６３６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。ＨＤＤ５３７は、データや各種プログラム等を記憶する。ＣＰＵ６３１がＲＯＭ６３２又はＨＤＤ５３７に格納されているプログラムを読み出し、このプログラムを実行することにより情報処理装置６０１の機能及びシーケンス図の情報処理装置６０１の処理が実現される。ＲＯＭ６３２、ＨＤＤ６３７は、記憶媒体の一例である。

情報処理装置６０１がＨＤＤ６３７等に記憶しているデータについて図４を用いて説明する。但し、データを記憶する記憶先はＨＤＤ６３７に限られず、情報処理装置６０１が通信可能なネットワーク上のデータサーバ等であってもよい。
図４で示される標準データテーブルには、作業ＩＤと、作業ＩＤに対応する標準データと、が含まれる。作業とは、例えば、自動車のエンジンの組み立て作業、車体の組み立て作業等である。
図４では、標準データテーブルには、１つの作業ＩＤに対して１つの標準データが登録されている。標準データの一例としては、例えば、上述したようなベテラン作業員の作業に関する計測データから生成された３Ｄモデルのデータである。

図５は、情報処理システムの指示画像を表示する情報処理の一例を示すシーケンス図である。
ＳＣ６５０において、表示装置６００は、情報処理装置６０１に対して指示画像の取得要求を送信する。表示装置６００は、表示装置６００を装着した作業者の音声入力を介して作業者がこれから行おうとしている作業を特定してもよいし、表示装置ごとに予め作業が設定ファイル等に設定されている場合は、設定ファイルに設定されている作業を特定してもよい。前記指示画像の取得要求には、表示装置６００が特定した作業を識別する作業ＩＤが含まれる。ＳＣ６５０の取得要求は、例えば、作業を開始する際に送信される。
ＳＣ６５１において、情報処理装置６０１は、指示画像の取得要求に含まれる作業ＩＤに基づいて、標準データテーブルより前記作業ＩＤに対応する標準データを取得する。ＳＣ６５１は、標準データ取得の処理の一例である。
ＳＣ６５２において、情報処理装置６０１は、前記作業を行っている作業者の作業データを取得する。情報処理装置６０１は、前記作業者が装着したモーションセンサから取得した作業者の作業に関する計測データから３Ｄモデルのデータを生成し、作業データとして取得するようにしてもよいし、モーションキャプチャによる作業者の作業に関する計測データから３Ｄモデルのデータを生成し、作業データとして取得するようにしてもよい。但し、作業データや標準データは、３Ｄモデルのデータに限られる訳ではないが、以下では、説明の簡略化のため、３Ｄモデルを例に説明を行う。また、以下では、説明の簡略化のため、作業者やベテラン作業者の計測データは、モーションキャプチャにより取得するものとして説明を行う。ＳＣ６５２は、作業データ取得の処理の一例である。

ＳＣ６５３において、情報処理装置６０１は、前記取得した標準データと、前記取得した作業データと、の差異が閾値以上か否かを判定する。閾値は、例えば、ＨＤＤ６３７等に記憶されている。情報処理装置６０１は、入力部６３６等を介した操作者の設定操作等に応じて、前記閾値を設定、又は変更することができる。
ＳＣ６５４において、情報処理装置６０１は、前記差異が閾値以上であると判定した場合、前記差異に応じて、前記作業の修正に関する指示画像を生成する。例えば、情報処理装置６０１は、前記取得した標準データと、前記取得した作業データと、の差異に基づき、図１に示したように、指示画像を生成する。また、情報処理装置６０１は、前記作業に応じて、前記取得した標準データと、前記取得した作業データと、の比較のポイントとなる部分の差異に基づき、修正すべき指示画像を生成するようにしてもよい。例えば、作業が自動車のエンジンの組み立て作業の場合、ＳＣ６５３において、情報処理装置６０１は、作業者の腰の折れ具合、肘の曲がり具合、手首のひねり具合等の作業に応じて設定されているポイント部分を比較する。情報処理装置６０１は、各ポイント部分の差異が、閾値以上か否かを判定し、閾値以上の場合は、ＳＣ６５４において、差異に応じた指示画像を生成する。このような構成とする場合、作業の比較ポイントごとに閾値が例えば、ＨＤＤ６３７等に記憶されている。情報処理装置６０１は、入力部６３６等を介した操作者の設定操作等に応じて、作業の比較ポイントごとの閾値を設定、又は変更することができる。

次に、自動車のエンジンの組み立て作業を例に説明を行う。自動車の組み立て作業の比較ポイントとして、作業者の立ち位置、姿勢、歩行動線が設定されているものとする。
ＳＣ６５３において、情報処理装置６０１は、前記作業が自動車の組み立て作業であるため、前記取得した標準データと、前記取得した作業データと、のうち、比較のポイントとして、作業者の立ち位置、姿勢、歩行動線の部分の差異がそれぞれの閾値以上か否かを判定する。情報処理装置６０１は、各ポイント部分の差異が、閾値以上か否かを判定し、閾値以上の場合は、ＳＣ６５４において、差異に応じた指示画像を生成する。ここで、図６は、標準データのうち、歩行動線の一例を示す図である。例えば、自動車の組み立て作業のうちの一の工程である「シート投入」において、シートを車内に投入するに際して使用する工具と車体との位置関係等に応じて、図６に示すような歩行動線に係る標準データが登録されていた場合、情報処理装置６０１は、実際の作業者の歩行動線と、標準データの歩行動線と、を比較し、差異が歩行動線に対して設定されている閾値より大きいか否かを判定する。前記差異が前記閾値より大きい場合、前記差異に応じて、情報処理装置６０１は、「左後ろにもう１歩下がった後に前に進んでシートを車内に投入して下さい！」等の指示画像を生成する。但し、指示画像はこれらに限定されるものではなく、情報処理装置６０１は、歩行動線に関する標準データの３Ｄモデルのデータに基づき、ベテラン作業員の作業が表示装置６００の表示部６２５を介してＡＲ（Ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ）画像として再現されるような指示画像を生成してもよい。本実施形態では、情報処理装置６０１は、作業者の歩行動線を、モーションキャプチャによる計測データから取得するものとしているが、これに限定されるものではない。情報処理装置６０１は、作業場に複数の無線アクセスポイントを設け、作業者が有する表示装置６００との無線アクセスポイントとの無線通信の履歴により、作業者の歩行動線を取得してもよい。

ＳＣ６５５において、情報処理装置６０１は、生成した指示画像を取得要求元の表示装置６００に送信する。表示装置６００は、前記指示画像を受信する。
ＳＣ６５６において、表示装置６００は、受信した指示画像を表示部６２５に表示する。

図７は、標準データの再登録に係る情報処理の一例を示すフローチャートである。
Ｓ６６０において、情報処理装置６０１は、モーションキャプチャによる熟練作業者の作業に関する計測データから３Ｄモデルのデータを生成し、標準データとしてＨＤＤ６３７等に登録する。
Ｓ６６１において、情報処理装置６０１は、Ｓ６６０で登録したデータが標準データとして適切か否かを評価する。例えば、情報処理装置６０１は、前記作業を行う複数の作業者のうち、図５のＳＣ６５３で作業データと標準データとの差異が閾値以上であると判定された作業者の割合が設定値以上である場合、標準データとして適切でないと評価し、前記割合が設定された値未満である場合、標準データとして適切であると評価する。設定値は、例えば、ＨＤＤ６３７等に記憶されている。情報処理装置６０１は、入力部６３６等を介した操作者の設定操作等に応じて、前記設定値を変更等することができる。

Ｓ６６２において、情報処理装置６０１は、Ｓ６６１での評価に基づき、標準データを再登録するか否かを判定する。情報処理装置６０１は、Ｓ６６１で標準データとして適切であると評価した場合、再登録は必要ないと判定し、図７に示すフローチャートの処理を終了する。一方、情報処理装置６０１は、Ｓ６６１で標準データとして適切でないと評価した場合、再登録が必要であると判定し、Ｓ６６３に進む。
Ｓ６６３において、情報処理装置６０１は、再度、モーションキャプチャ等による熟練作業者の作業に関する計測データから３Ｄモデルのデータを生成し、標準データとしてＨＤＤ６３７等に再登録する。この場合、Ｓ６６０で計測データを取得した熟練作業者とは異なる熟練作業者に作業をして貰い、情報処理装置６０１は、その計測データをから３Ｄモデルのデータを生成し、標準データとしてＨＤＤ６３７等に再登録するようにしてもよい。
図７に示すような情報処理を実行することによって、登録した標準データを評価し、適切でない場合は、標準データを再登録することができる。グローバル化に伴い、日本国内で行っていた作業を海外の従業者を使用して作業を行わせたい場合がある。しかし、習慣や体格等の違いから、例えば、国内の熟練作業者の作業に基づいて登録された標準データが必ずしも海外の従業者にとっても適切なデータであるとは限らない場合がある。このような場合にも、情報処理装置６０１が、図７に示すような情報処理を実行することによって、その国のその工場にあった標準データを登録、又は標準データを改善していき、製品等の品質や、熟練作業者の技能を適切に後輩の作業者に伝えていくことができる。

ところで、上述した例では比較的複雑な動作を要求される作業について３Ｄモデルを用いて動作を解析する構成について説明した。しかしながら、上述した例に限られず、より単純な作業についても適用できる。単純作業においては、一見、熟練の作業員と初心者の作業員とでそれほど動作に大差がないように見えるが、むしろ単純に見える作業においてこそ、作業中の動作のポイントを熟知した熟練の作業員と、経験の浅い初心者の作業員とでは、作業効率のみならず、怪我や疲労の蓄積の度合い等においても歴然とした差が現れる。
これは、熟練の作業員が長年の経験によって身に付けた作業のリズムや力の入れ具合・抜き具合等、勘やコツといったものが、経験の浅い作業員に備わっていないことに起因する。そして、上述した実施形態の処理によれば、熟練の作業員の勘やコツがウェアラブルセンサによる数値化されたデータに基づいて目に見える形で現れるため、経験の浅い作業員に対して、本来であれば長い年月を経てようやく身につけることができる勘やコツを客観的に伝達することができるようになるのである。したがって、上述した実施形態の処理によれば、経験の浅い作業員であっても短期間で熟練の作業員と同じように作業を行うことが可能となる。

ここでは、単純作業の例として、冷蔵庫の組立作業のうち、引出ドアの取り付け工程について説明する。本実施形態に係る引出ドアの取り付け工程は、引出ドアの取り付け前の冷蔵庫が間欠搬送型のベルトコンベアーで作業員の前に運ばれ、作業員の後方には引出ドアが山積みされており、（１）作業員は後ろを振り向いて引出ドアを手に取り、（２）それを冷蔵庫の所定のスペースに押し入れて取り付ける、という２段階の作業から構成されているものとする。
上記の（１）においては、振り向き角度がポイントとなる。振り向き角度が深過ぎると腰や背中への負担が大きく、長時間の作業を続けることができなかったり、怪我につながってしまったりすることもあり、一方、振り向き角度が浅過ぎると、引出をしっかり掴むことができず、振り向き直しが発生したり、中途半端に掴んでしまった引出を途中で落としてしまったりするため、適切な振り向き角度が要求される。
そこで、まず振り向き角度の標準データとして、例えば無線のモーションレコーダー（３軸加速度センサ及び３軸角速度センサ）を熟練の作業員の体の所定の位置に装着し、熟練の作業員が（１）の作業を行う場合における振り向き動作時の各部の回旋角度を測定しておく。なお、作業の動作をカメラで撮像し、画像解析により振り向き角度を計測することもできる。また、作業員の体型（身長や体重）は様々なので、体型の異なる複数の熟練作業員の振り向き角度を標準データとして用意しておいてもよい。

また、同様にして、経験の浅い初心者の作業員が（１）の作業を行う場合の振り向き角度を計測する。そして、情報処理装置６０１は、初心者の作業員の振り向き角度と、標準データの振り向き角度と比較する。このとき、比較対象の標準データとして、初心者の作業員の体型に最も近い体型の熟練作業員の振り向き角度を選択する構成であってもよい。
更に、情報処理装置６０１は、振り向き角度に応じて、初心者の作業員の作業の修正に関する指示画像を生成し、表示装置６００に表示する。例えば、振り向き角度が不足している場合には、振り向き角度の過不足量に応じて大きさ、太さ、色を変化させた矢印を、振り向く方向（又は逆の方向）に向けて示してもよい。又は、過不足量ごとに予め「もう少しだけ振り向きましょう！」「振り向き過ぎです！」というようなメッセージを用意しておき、メッセージ画像のデータを読み出して（指示画像を生成して）、それを表示させてもよい。
なお、情報処理装置６０１は、振り向き角度を常に監視しておき、所定以上の角度を超える作業員の動き及び元の角度に戻る動きを検出した場合に、（１）の作業中であると判定し、上述したような標準データとの比較及び作業の修正に関する指示画像を表示する構成であってもよいし、例えば作業のシミュレーションを行うような場合には、作業員がピンマイクを装着しておき、作業の開始と終了の都度、例えば「振り向きスタート！」「振り向きＯＫ！」というような音声を発し、その音声が情報処理装置６０１へ送られ、情報処理装置６０１は、その音声に基づいて（１）の作業中であると判定する構成であってもよい。

また、上記の（２）においては、立ち位置や姿勢が重要となる。引出ドアの取り付け作業を行う際は、庫内の取り付けスペースに対して真正面の位置から水平に引出を押しこむフォームが理想的である。立ち位置が左右にずれていたり、身の屈め具合が不足していたりすると、斜め方向から取り付けを行おうとすると、引出ドアを庫内のレールに上手く引っ掛けることができない。
そこで、立ち位置の標準データとして、熟練の作業員が（２）の動作を行う場合における立ち位置を計測しておく。例えば、例えばベルトコンベアーに等間隔にＲＦＩＤが設置されており、熟練の作業員に小型のリーダーを装着しておき、リーダーが読み取ったＲＦＩＤの信号の強度等に基づいて作業者の立ち位置を計測する構成であってもよい。又は、天井に固定されたカメラで撮像された画像に基づいて計測する構成であってもよい。
ここで、標準データとして、熟練の作業員の体の各関節の角度を併せて計測してもよい。作業員の体型（身長や体重）は様々なので、体型の異なる複数の熟練作業員の関節の角度を標準データとして用意しておいてもよい。
また、同様にして、経験の浅い初心者の作業員が（２）の作業を行う場合の立ち位置及び各関節の角度を計測する。そして、情報処理装置６０１は、初心者の作業員の立ち位置や各関節の角度と、標準データの立ち位置や各関節の角度とを比較する。このとき、比較対象の標準データとして、初心者の作業員の体型に最も近い体型の熟練作業員のものを選択する構成であってもよい。

更に、情報処理装置６０１は、立ち位置や各関節の角度に応じて、初心者の作業員の作業の修正に関する指示画像を生成し、表示装置６００に表示する。例えば、熟練作業員と比較して立ち位置が少し右にずれている場合には、立ち位置のずれ幅に応じて大きさ、太さ、色を変化させた矢印を立ち位置を修正する方向に向けて示してもよいし、又は、「もう少し左に立って下さい。」というようなメッセージを表示してもよい。また、各関節の角度についても同様に矢印やメッセージ等による指示画像を生成する構成であってもよい。
なお、情報処理装置６０１は、作業員の立ち位置を常に監視しておき、（１）の作業が終了したことを検知した後、（２）の作業に移ったと判定する構成であってもよいし、例えば作業のシミュレーションを行うような場合には、作業員がピンマイクを装着しておき、作業の開始と終了の都度、例えば「取り付けスタート！」「取り付けＯＫ！」というような音声を発し、その音声が情報処理装置６０１へ送られ、情報処理装置６０１は、その音声に基づいて（２）の作業中であると判定する構成であってもよい。

また、例えば（１）から（２）の作業に移る際に移動が発生するような作業の場合には、熟練の作業員と初心者の作業員の動線を比較する構成であってもよい。動線は、例えば、床にＲＦＩＤを格子状に配置しておき、作業者に装着されたリーダーで読み取った信号の強度を解析して特定してもよい。
そして、標準データとしての熟練の作業員の動線と、作業データとしての初心者の作業員の動線とを比較し、動線のずれ幅に応じて大きさ、太さ、色を変化させた矢印を、動きを修正する方向に向けて示してもよいし、又は、「もう少し右側を進んで下さい」というようなメッセージを表示してもよい。
なお、情報処理装置６０１は、作業員の動線を常に監視しておき、所定以上の距離の移動があった場合に動線について判定する構成であってもよいし、例えば作業のシミュレーションを行うような場合には、作業員がピンマイクを装着しておき、作業の開始と終了の都度、例えば「移動開始！」「移動完了！」というような音声を発し、その音声が情報処理装置６０１へ送られ、情報処理装置６０１は、その音声に基づいて作業員が移動中であり動線について指示する必要があると判定する構成であってもよい。
上述した例では、加速度センサやＲＦＩＤを用いる構成について説明したが、例えば、グローブや靴の裏等に圧力センサを装着して圧力データを計測し、その計測データに基づいて、ものを掴んだり離したりする動作や歩数等を解析し、作業の修正に関する指示を行う構成であってもよく、計測対象の作業データは特に限定されない。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。

以上、上述した実施形態によれば、作業者に作業の修正指示を速やかに伝えると共に熟練作業者の技能を後輩の作業者に適切に伝えることができる。
また、上述した実施形態の処理によれば、情報システム内において、簡易な情報処理により、作業の修正に関する指示画像を生成し、現実空間に重畳表示させることができるため、表示装置６００と情報処理装置６０１とのやり取りの量を減らすことができる。そのためネットワークの帯域の使用率を下げることができる。また、情報処理装置６０１において、より簡易な情報処理により、作業の修正に関する指示画像を生成することができるため、情報処理装置６０１のＣＰＵ６３１等の使用率を下げることができる。

Claims

作業の登録された標準データを取得する標準データ取得手段と、
前記作業を行う作業者の作業データを取得する作業データ取得手段と、
前記標準データ取得手段により取得された前記標準データと前記作業データ取得手段により取得された前記作業データとの差異が閾値以上か否かを判定する判定手段と、
前記判定手段により前記差異が閾値以上であると判定された場合、前記差異に応じて、前記作業の修正に関する指示画像を生成する生成手段と、
前記生成手段により生成された前記指示画像を前記作業者が装着している表示装置の表示部に表示することで、現実空間に前記指示画像を重畳して表示する表示手段と、
を有する情報処理システム。
前記判定手段は、作業に応じて設定されている前記標準データと前記作業データの比較ポイントごとに差異が閾値以上か否かを判定し、
前記生成手段は、前記判定手段により差異が閾値以上であると判定された比較ポイントに関する差異に応じて、前記作業の修正に関する指示画像を生成する請求項１記載の情報処理システム。
前記標準データを登録する登録手段を更に有する請求項１又は２記載の情報処理システム。
前記標準データが適切か否かを評価する評価手段を更に有する請求項１乃至３何れか１項記載の情報処理システム。
前記評価手段は、前記作業を行う複数の作業者のうち前記判定手段により前記差異が閾値以上であると判定された作業者の割合に応じて、前記標準データが適切か否か評価する請求項４記載の情報処理システム。
前記評価手段により前記標準データが適切でないと評価された場合、前記標準データを登録し直す再登録手段を更に有する請求項４又は５記載の情報処理システム。
作業の登録された標準データを取得する標準データ取得手段と、
前記作業を行う作業者の作業データを取得する作業データ取得手段と、
前記標準データ取得手段により取得された前記標準データと前記作業データ取得手段により取得された前記作業データとの差異が閾値以上か否かを判定する判定手段と、
前記判定手段により前記差異が閾値以上であると判定された場合、前記差異に応じて、前記作業の修正に関する指示画像を生成する生成手段と、
前記生成手段により生成された前記指示画像を前記作業者が装着している表示装置に送信する送信手段と、
を有する情報処理装置。
情報処理装置が実行する情報処理方法であって、
作業の登録された標準データを取得する標準データ取得ステップと、
前記作業を行う作業者の作業データを取得する作業データ取得ステップと、
前記標準データ取得ステップにより取得された前記標準データと、前記作業データ取得ステップにより取得された前記作業データと、の差異が閾値以上か否かを判定する判定ステップと、
前記判定ステップにより前記差異が閾値以上であると判定された場合、前記差異に応じて、前記作業の修正に関する指示画像を生成する生成ステップと、
前記生成ステップにより生成された前記指示画像を前記作業者が装着している表示装置
の表示部に表示することで、現実空間に前記指示画像を重畳して表示する表示ステップと、
を含む情報処理方法。
情報処理システムが実行する情報処理方法であって、
作業の登録された標準データを取得する標準データ取得ステップと、
前記作業を行う作業者の作業データを取得する作業データ取得ステップと、
前記標準データ取得ステップにより取得された前記標準データと、前記作業データ取得ステップにより取得された前記作業データと、の差異が閾値以上か否かを判定する判定ステップと、
前記判定ステップにより前記差異が閾値以上であると判定された場合、前記差異に応じて、前記作業の修正に関する指示画像を生成する生成ステップと、
前記生成ステップにより生成された前記指示画像を前記作業者が装着している表示装置に送信する送信ステップと、
を含む情報処理方法。
コンピュータに、
作業の登録された標準データを取得する標準データ取得ステップと、
前記作業を行う作業者の作業データを取得する作業データ取得ステップと、
前記標準データ取得ステップにより取得された前記標準データと、前記作業データ取得ステップにより取得された前記作業データと、の差異が閾値以上か否かを判定する判定ステップと、
前記判定ステップにより前記差異が閾値以上であると判定された場合、前記差異に応じて、前記作業の修正に関する指示画像を生成する生成ステップと、
前記生成ステップにより生成された前記指示画像を前記作業者が装着している表示装置に送信する送信ステップと、
を実行させるためのプログラム。