JP6366862B2 - 作業支援装置、作業学習装置及び作業支援システム - Google Patents

Description

本発明は、作業者の点検作業を支援するための情報処理技術に関し、特に、作業者の技量に応じた点検作業支援を行うための情報処理技術に関する。

水処理設備、プラント設備及び発電設備などの機械設備では、その機械設備の運用時に、保守または品質維持などのための点検作業が欠かせない。その種の点検作業では、作業者は、たとえば、作業手順書、または情報処理端末に表示された作業手順画面に基づいて、機械設備の保守状態または稼働状態を定期的に点検し、その点検結果を正確に記録する必要がある。また、作業者は、その点検結果に不備があれば、必要に応じて機械設備の修理またはその動作状態の調整といった対策をとらなければならない。

しかしながら、前述の作業手順書または作業手順画面における指示内容は、作業者の熟練度に関係なく共通した内容であることが多い。このため、その指示内容が熟練度の高い者に合わせた簡潔な内容である場合には、初心者は、その指示内容が情報不足または理解困難な内容と感じて、非効率で誤った点検作業を行うおそれがある。逆に、その指示内容が熟練度の低い者に合わせた内容である場合には、熟練者は、その指示内容が冗長と感じることがある。この場合には、熟練者の作業効率が低下するおそれがある。

したがって、作業手順書または作業手順画面における指示内容は、作業者の熟練度に応じた内容に切り替えられることが好ましい。たとえば、特許文献１（特開２０１２−２３４４０６号公報）には、作業者の熟練度を自動的に判定し、その判定結果に応じた指示内容を表示する作業支援装置が開示されている。この作業支援装置は、作業者の視線移動速度の分布を計測し、その分布のピークが特定の速度範囲に顕著に現れたときに当該作業者の熟練度が高いと判定するものである。

特開２０１２−２３４４０６号公報（たとえば、段落００３８〜００５２）

特許文献１の従来技術は、作業者が静止しているときには、作業者の視線移動速度分布の計測値に基づいて熟練度を正確に判定することができる。しかしながら、作業者が動きながら点検作業を行うと、作業者は、この点検作業に必要な視線移動だけでなく、自己の頭部または身体を動かすために必要な視線移動も行う。このような作業者の動きに必要な視線移動の速度がノイズ成分となって熟練度の判定精度を低下させるという問題がある。

上記に鑑みて本発明の目的は、作業者が動きながら点検作業を行う場合でも、その作業者の熟練度を高い精度で判定することを可能とする作業支援装置、作業学習装置及び作業支援システムを提供する点にある。

本発明の第１の態様による作業支援装置は、作業者に対して点検済みの作業項目から点検すべき次の作業項目への視線の切り替えを促す案内情報を情報出力部から表示出力させる出力制御部と、当該案内情報の表示出力に応じて前記作業者の視線情報の計測を開始する視線計測部と、前記視線計測部による計測結果を基に視線移動方向を測定して当該視線移動方向の測定量を出力する視線移動方向測定部と、前記測定量を予め用意された基準量と比較し、その比較結果に応じて前記作業者の技量レベルを示す熟練度を判定する熟練度判定部とを備え、前記出力制御部は、前記熟練度判定部で判定された熟練度に応じた内容の作業支援情報を前記情報出力部から出力させることを特徴とする。

本発明の第２の態様による作業学習装置は、作業者に対して点検済みの作業項目から点検すべき次の作業項目への視線の切り替えを促す案内情報を情報出力部から表示出力させる作業学習用出力制御部と、当該案内情報の表示出力に応じて前記作業者の視線情報を計測する作業学習用視線計測部と、前記作業学習用視線計測部による計測結果を基に視線移動方向を測定して前記視線移動方向の測定量を出力する作業学習用視線移動方向測定部と、前記測定量に基づいて前記案内情報に対応する基準量を算出する基準データ算出部とを備えることを特徴とする。

本発明の第３の態様による作業支援システムは、上記第１の態様による作業支援装置と、上記第２の態様による作業学習装置とを備えることを特徴とする。

本発明によれば、作業者の視線移動方向の測定量を用いて熟練度が判定されるため、作業者が動きながら点検作業を行う場合でも、高い精度で熟練度の判定を行うことができる。したがって、その判定結果を利用することで、作業者の熟練度に応じた効率的な作業支援を行うことが可能となる。

本発明に係る実施の形態１の作業支援システムの概略構成を示すブロック図である。 図２Ａ，図２Ｂ及び図２Ｃは、メガネ型ウェアラブルデバイスの例を示す図である。 実施の形態１における作業支援装置の概略構成を示すブロック図である。 作業手順データの内容の一例を説明するための図である。 出力データファイルを用いた表示内容の一例を示す図である。 出力データファイルを用いた表示内容の他の例を示す図である。 図７Ａは、作業者が視線を切り替える様子を示す図であり、図７Ｂは、その視線の切り替えを促す案内情報の一例を示す図である。 基準データファイルの内容の一例を示す図である。 視線の切り替えを促す案内情報で示される方向と視線移動方向とを例示する図である。 実施の形態１に係る作業支援処理の手順の一例を示すフローチャートである。 実施の形態１に係る作業支援処理における熟練度判定処理の手順の一例を示すフローチャートである。 実施の形態１におけるコンテンツ編集装置の概略構成を示すブロック図である。 コンテンツ編集装置により実行される出力データファイル生成処理の手順の一例を示すフローチャートである。 実施の形態１における作業学習装置の概略構成を示すブロック図である。 作業学習装置により実行される作業学習処理の手順の一例を示すフローチャートである。 実施の形態１に係る作業学習処理における基準データ算出処理の手順の一例を示すフローチャートである。 作業支援装置または作業学習装置のハードウェア構成例である情報処理装置の概略構成を示すブロック図である。 作業支援装置または作業学習装置の他のハードウェア構成例である情報処理装置の概略構成を示すブロック図である。

以下、図面を参照しつつ、本発明に係る実施の形態について詳細に説明する。なお、図面全体において同一符号を付された構成要素は、同一構成及び同一機能を有するものとする。

実施の形態１．
図１は、本発明に係る実施の形態１の作業支援システム１の概略構成を示すブロック図である。この作業支援システム１は、機械設備の保守または品質維持のための点検作業を支援する作業支援処理を行う作業支援装置１０と、その作業支援処理に使用される基準データファイルＦｃを作業支援装置１０に供給する作業学習装置２０と、作業支援情報を含む出力データファイル群Ｆｄを作業支援装置１０に供給するコンテンツ編集装置３０とを備えるとともに、更に、センサ群１１、音響入出力部１２及びディスプレイ装置１３を備えている。

音響入出力部１２は、音響波を電気信号に変換する音響入力部としてのマイクロフォンＭＫと、音響波を空間に出力する音響出力部としてのスピーカＳＰとで構成されている。本実施の形態では、これらのセンサ群１１、音響入出力部１２及びディスプレイ装置１３は、作業者の頭部または身体に装着可能なウェアラブルデバイス（Ｗｅａｒａｂｌｅ Ｄｅｖｉｃｅ）を構成している。

図２Ａ，図２Ｂ及び図２Ｃは、メガネ型ウェアラブルデバイス５の例を示す図である。図２Ａは、メガネ型ウェアラブルデバイス５及び音響入出力部（ヘッドセット）１２が作業者４の頭部に着脱自在に装着された状態を示す図である。作業者４は、メガネ型ウェアラブルデバイス５のメガネ部を透過した光を視覚で感じて作業対象６を認識することができる。

また、図２Ｂは、メガネ型ウェアラブルデバイス５及び作業支援装置１０の外観を例示する図であり、図２Ｃは、音響入出力部１２の外観を例示する図である。図２Ｂに示されるように、メガネ型ウェアラブルデバイス５は、光学透過型ＨＭＤ（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を構成するディスプレイ装置１３と、前方撮像部１１Ｄとを有し、更に、図示されていない視線検出用撮像部、位置検出用センサ及び方向センサを有する。メガネ型ウェアラブルデバイス５は、ケーブルを介して作業支援装置１０と接続されている。視線検出用撮像部、位置検出用センサ及び方向センサについては後述する。

図２Ｂに示される前方撮像部１１Ｄは、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどの固体撮像素子で構成されている。この前方撮像部１１Ｄは、作業者４の前方に位置する作業対象６を表す光学像を電気的に検出して前方画像信号を生成し、この前方画像信号を作業支援装置１０に出力する。メガネ型ディスプレイ装置１３は、作業支援装置１０で生成された拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ，ＡＲ）空間上のディジタル画像をメガネ部の内面に投影することで、その投影像を作業者４に視覚的に認識させることができる。

本実施の形態の熟練度は、作業者による点検作業の技量レベルを示す値である。図１を参照すると、出力データファイル群Ｆｄは、複数段階の熟練度にそれぞれ対応する複数の出力データファイル（たとえば、初心者用の表示内容または音響出力内容を示す出力データファイル、及び熟練者用の表示内容または音響出力内容を示す出力データファイル）で構成されている。コンテンツ編集装置３０は、編集者が事前に出力データファイル群Ｆｄを作成するために使用する装置である。一方、基準データファイルＦｃは、作業者の視線移動方向の基準量を示すデータと、作業者の視線移動が始まるタイミングの基準値を示すデータとを含むものである。作業学習装置２０は、初心者及び熟練者を含む複数の作業者による実際の点検作業を学習することにより基準データファイルＦｃを自動生成する機能を有している。

作業支援装置１０は、基準データファイルＦｃを用いて作業者の熟練度を判定する。また、作業支援装置１０は、出力データファイル群Ｆｄを用いて当該熟練度に応じた内容を有する作業支援情報をディスプレイ装置１３、スピーカＳＰ、またはこれらディスプレイ装置１３及びスピーカＳＰの双方に供給する。これにより、作業者は、視覚的、聴覚的または視聴覚的に作業支援情報を認識することができる。なお、スピーカＳＰ及びディスプレイ装置１３によって、作業支援情報を出力する情報出力部が構成される。

本実施の形態の作業支援システム１を用いて行われる作業は、点検の現場で行われるオンライン作業（すなわち点検作業）と、このオンライン作業に先立って事前に行われるオフライン作業とに分けられる。作業学習装置２０とコンテンツ編集装置３０とは、オフライン作業に使用され、作業支援装置１０は、オンライン作業に使用される。

先ず、作業支援装置１０について説明する。図３は、実施の形態１における作業支援装置１０の概略構成を示すブロック図である。

図３に示されるように作業支援装置１０は、主制御部１０１、出力制御部１０２、作業者情報取得部１０３、作業対象情報取得部１０４、記録媒体１０５、通信部１０６及びインタフェース部（Ｉ／Ｆ部）１０７を備えている。作業支援装置１０は、更に、熟練度判定用の構成要素として、タイミング取得部１１０、視線計測部１１１、視線移動方向測定部１１２、視線移動タイミング測定部１１３及び熟練度判定部１１４を備える。

記録媒体１０５には、上記した出力データファイル群Ｆｄ及び基準データファイルＦｃとともに、作業手順データＦａが格納されている。主制御部１０１は、作業手順データＦａで定められた手順に従って出力制御部１０２の出力内容を制御する。通信部１０６は、作業学習装置２０と通信して作業学習装置２０から基準データファイルＦｃを取得し、この基準データファイルＦｃを記録媒体１０５に記録することができる。また、通信部１０６は、コンテンツ編集装置３０と通信してコンテンツ編集装置３０から出力データファイル群Ｆｄを取得し、この出力データファイル群Ｆｄを記録媒体１０５に記録することもできる。

たとえば、通信ネットワーク環境が存在する場所では、作業学習装置２０及びコンテンツ編集装置３０は、出力データファイル群Ｆｄ及び基準データファイルＦｃを情報配信サーバに格納してもよい。作業支援装置１０の通信部１０６は、この情報配信サーバに配信要求を送信して出力データファイル群Ｆｄ及び基準データファイルＦｃを取得することができる。あるいは、記録媒体１０５が着脱自在の記録媒体として構成される場合には、この記録媒体１０５を介して、作業学習装置２０から作業支援装置１０に基準データファイルＦｃを移動させ、コンテンツ編集装置３０から作業支援装置１０に出力データファイル群Ｆｄを移動させてもよい。

一方、Ｉ／Ｆ部１０７は、センサ群１１、音響入出力部１２及びディスプレイ装置１３の各々との間でデータの送受信を行うように構成されている。本実施の形態のＩ／Ｆ部１０７は、図２Ｂに示したようにケーブルを介してセンサ群１１、音響入出力部１２及びディスプレイ装置１３と有線で接続されているが、これに限定されずに、無線通信技術を利用してセンサ群１１、音響入出力部１２及びディスプレイ装置１３と接続されてもよい。

センサ群１１は、視線検出用撮像部１１Ａ、位置検出用センサ１１Ｂ、方向センサ１１Ｃ及び前方撮像部１１Ｄを含む。視線検出用撮像部１１Ａは、作業者の眼球を撮像して当該眼球を表す撮像画像データを生成し、その撮像画像データＣＤをＩ／Ｆ部１０７を介して視線計測部１１１に供給する。視線計測部１１１は、その眼球を表す撮像画像を解析して作業者の視線をリアルタイムに計測することができる。

位置検出用センサ１１Ｂは、たとえば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサなどのＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）センサ、無線ＬＡＮ基地局の発信電波を検出する電波センサ、または、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）センサが挙げられる。ただし、位置検出用センサ１１Ｂは、作業者及び作業対象の位置検出のために使用されるセンサであれば、特に限定されるものではない。また、方向センサ１１Ｃは、作業者の顔の向き検出のために使用されるセンサであり、たとえば、ジャイロセンサ及び加速度センサで構成することができる。前方撮像部１１Ｄは、作業者の前方に位置する物体を撮像してディジタル画像を生成する。前方撮像部１１Ｄは、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどの固体撮像素子で構成されている。位置検出用センサ１１Ｂ、方向センサ１１Ｃ及び前方撮像部１１Ｄのそれぞれの出力からなるセンサデータＳＤは、Ｉ／Ｆ部１０７を介して、作業者情報取得部１０３と作業対象情報取得部１０４とにそれぞれ供給される。

マイクロフォンＭＫは、音声などの入力音響波を検出し、その検出結果である入力音響データＶＤをＩ／Ｆ部１０７を介して作業者情報取得部１０３に供給する。スピーカＳＰは、出力制御部１０２からＩ／Ｆ部１０７を介して入力された出力音響データＡＤを音響波に変換して出力する。一方、ディスプレイ装置１３は、出力制御部１０２からＩ／Ｆ部１０７を介して入力された表示データＤＤを表示画像に変換して出力する機能を有する。

作業者情報取得部１０３は、作業者の現在位置を検出する位置検出部１０３Ｐと、作業者の動作パターンを検出する動き検出部１０３Ｍと、特定の音声パターンを認識する音声認識部１０３Ａと、作業者の顔の向いている方向（以下、単に「作業者の顔の向き」ともいう。）を検出する方向検出部１０３Ｄとを有している。作業者情報は、作業者の現在位置、顔の向き、動作パターン及び音声パターンのうちの少なくとも１つを含む情報である。この作業者情報は、主制御部１０１に供給される。また、作業者の顔の向き及び現在位置の検出結果は、作業対象情報取得部１０４にも供給される。

位置検出部１０３Ｐは、位置検出用センサ１１Ｂの検出出力に基づいて作業者の現在位置をリアルタイムに検出する。たとえば、作業者が屋外にいる場合は、上記ＧＮＳＳセンサを使用して作業者の現在位置を検出することができる。一方、作業者が屋内にいる場合には、上記電波センサの検出出力またはＲＦＩＤセンサの検出出力を用いて作業者の現在位置（たとえば、建物単位、階単位または部屋単位での現在位置）を検出することが可能である。なお、位置検出部１０３Ｐは、別途設けられている入退室管理システムなどの管理システムから作業者の現在位置の情報を取得してもよい。方向検出部１０３Ｄは、方向センサ１１Ｃの検出出力に基づいて作業者の顔の向きをリアルタイムに検出することができる。

動き検出部１０３Ｍは、前方撮像部１１Ｄから出力される動画像データを解析して作業者の身体の一部（たとえば、手）の特定の動作パターンを検出する。作業者が自己の身体の一部を特定の動作パターン（たとえば、人差し指が上下に移動する動作パターン）で動かすと、動き検出部１０３Ｍは、動画像解析によりその動作パターンを検出することができる。ここで、動き検出部１０３Ｍは、動画像データだけでなく、距離センサ（図示せず）により得られる距離情報（ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ）を用いて動作パターンを検出してもよい。距離センサは、公知のパターン照射方式または公知のＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式により作業者の身体表面各部までの距離を検出する機能を有するセンサである。また、音声認識部１０３Ａは、入力音響データＶＤを解析して作業者の音声を認識し、この認識された音声が登録音声（たとえば、「点検終了」または「次の点検」）と合致するときにその認識結果を出力する。音声認識方法は、特に限定されるものではなく、公知の音声認識技術を使用すればよい。

一方、作業対象情報取得部１０４は、作業者の現在位置及び顔の向きの検出結果を作業者情報取得部１０３から取得し、また、センサデータＳＤから前方画像信号を取得する。作業対象情報取得部１０４は、その検出結果を用いて前方画像信号を解析することにより、作業者の視線の先に存在する作業対象候補を認識するとともに、この作業対象内の作業項目候補を認識し、それら認識結果を主制御部１０１に出力することができる。作業対象情報取得部１０４は、たとえば、公知のパターンマッチング法により、作業者の顔が向いている方向の特定の位置に存在する作業対象候補及び作業項目候補を前方画像信号から認識することができる。

主制御部１０１は、記録媒体１０５に格納されている作業手順データＦａで定められた手順に従って出力制御部１０２の出力内容を制御する。図４は、作業手順データＦａの内容の一例を説明するための図である。図４の例では、「作業場所」、「作業対象」、「作業項目」、「正常値」、「ＡＲ表示」、「現在作業終了条件」、「表示テキスト」及び「作業項目位置（四点座標）」の組み合わせが手順ＩＤ（手順識別子）ごとに定められている。「作業場所」は、作業者が点検作業を行うべき場所を、「作業対象」は、その場所に配置されている配電盤などの作業対象となる物体を、「作業項目」は、その作業対象において点検対象となる作業項目を、「正常値」は、当該作業項目の動作状態が正常状態であるときの数値または記号をそれぞれ定めている。また、図４の「表示テキスト」には、各手順ＩＤで指定される作業項目についてのデフォルトの表示情報が定められている。

また、図４の「作業項目位置（四点座標）」には、各作業対象において作業項目が占める配置範囲を特定するための位置情報が定められている。図４の例では、各作業項目における４点の位置をそれぞれ特定する４つの２次元座標の組み合わせが定められている。主制御部１０１は、この位置情報を用いて、作業対象情報取得部１０４で認識された作業項目候補の中から作業項目を認識することができる。なお、各作業項目の配置範囲の特定方法は、図４に示した２次元座標の組み合わせに限定されるものではない。たとえば、３次元座標の組み合わせで各作業項目の配置位置が特定されてもよい。

また、図４の「現在作業終了条件」は、現在の作業対象または作業項目に対する点検作業を終了させる条件を定めており、具体的には、作業者が音声入力すべき内容を定めている。たとえば、Ｐ１〜Ｐ３については、作業対象（配電盤Ａ）に対する作業を終了させる条件として、作業者は「次の点検」と発話すべきことが定められている。音声認識部１０３Ａは、その発話内容を認識することができる。

なお、点検作業を終了させる条件として、身体の一部の特定の動作パターンが定められていてもよい。動き検出部１０３Ｍは、このような動作パターンを認識することができる。あるいは、点検結果の応答入力終了が、点検作業を終了させる条件として定められてもよい。

そして、図４の「ＡＲ表示」には、点検作業終了後に表示されるべき拡張現実（ＡＲ）空間上の表示情報が定められている。たとえば、Ｐ１〜Ｐ３については、これら手順ＩＤで指定される作業項目（遮断器Ａ，遮断器Ｂ及び送電盤電源Ａ）に対する作業終了後に、次の点検位置（点検すべき次の作業項目の位置）の方向を矢印で表示することが定められている。ここでは「矢印」が表示情報である。

図３に示される出力制御部１０２は、主制御部１０１による制御に従い、出力データファイル群Ｆｄの中から、熟練度判定部１１４で判定された熟練度に対応する出力データファイルを取得する。そして、出力制御部１０２は、この出力データファイルで示される内容を有する作業支援情報を、Ｉ／Ｆ部１０７を介してスピーカＳＰ、ディスプレイ装置１３またはこれらの両方に供給する。

図５は、最も低い熟練度に対応する初心者用の出力データファイルを用いた作業支援情報の一例を示す図である。図５に示されるように、作業者は、ディスプレイ装置１３のメガネ部１３Ｖを介して実空間上の作業対象６を表す画像を視認すると同時に、メガネ部１３Ｖの内面に投影されたＡＲ空間上の画像メッセージＭ１，Ｍ２，Ｍ３を視認することができる。この作業対象６は、３つの作業項目７Ａ，７Ｂ，７Ｃを有している。画像メッセージＭ１，Ｍ２，Ｍ３は、それぞれ、これら３つの作業項目７Ａ，７Ｂ，７Ｃについて点検すべき内容を表示するものである。

一方、図６は、比較的高い熟練度に対応する熟練者用の出力データファイルを用いた作業支援情報の一例を示す図である。図６に示されるように、作業者は、メガネ部１３Ｖを介して実空間上の作業対象６を表す画像を視認すると同時に、メガネ部１３Ｖの内面に投影されたＡＲ空間上の画像メッセージＭ４，Ｍ５，Ｍ６を視認することができる。これら画像メッセージＭ４，Ｍ５，Ｍ６は、それぞれ、図５に示した画像メッセージＭ１，Ｍ２，Ｍ３の内容が簡略化された内容を示すものである。

上記の現在作業終了条件（図４）により点検作業が終了すると、出力制御部１０２は、主制御部１０１による制御に従い、点検済みの作業項目から点検すべき次の作業項目への視線の切り替えを促す案内情報を表示データＤＤとして出力する。図４の例の場合、Ｐ１〜Ｐ３に対応する作業項目（遮断器Ａ、遮断器Ｂ及び送電盤電源Ａ）については、作業者が「次の点検」と発話することにより点検作業が終了する。その後、出力制御部１０２は、「ＡＲ表示」で定められた内容（次の点検位置の方向を表示する矢印）を有する表示データＤＤを案内情報としてディスプレイ装置１３に供給する。

図７Ａは、作業者４が作業対象６Ａ内の作業項目から作業対象６Ｂ内の作業項目へ視線を切り替える様子を概略的に示す図であり、図７Ｂは、その視線の切り替えを促す矢印記号を表す案内情報ＧＡの例を示す図である。図７Ｂに示されるように、出力制御部１０２は、点検作業中は、３つの作業項目について画像メッセージＭ７，Ｍ８，Ｍ９を表示させ、点検作業の終了に応じて案内情報ＧＡを表示させる。

主制御部１０１は、上記案内情報の表示出力に応じて切替タイミングをタイミング取得部１１０に通知する。たとえば、主制御部１０１は、出力制御部１０２から上記案内情報の表示出力がなされた直後に、切替タイミングをタイミング取得部１１０に通知することができる。タイミング取得部１１０は、その通知に応じて視線計測部１１１に視線情報の計測を開始させる。視線計測部１１１は、視線検出用撮像部１１Ａで取得された撮像画像データＣＤを解析して作業者の視線情報（視線座標及び時間情報を含む。）をリアルタイムに計測することができる。その計測結果を示すデータは、視線移動方向測定部１１２及び視線移動タイミング測定部１１３にそれぞれ供給される。視線移動方向測定部１１２は、視線情報に含まれる視線座標を利用し、視線移動タイミング測定部１１３は、視線情報に含まれる時間情報を利用する。

視線の計測方法には、角膜反射法などの公知の画像解析法を使用すればよい。角膜反射法を使用する場合には、たとえば、視線計測部１１１は、視線検出用撮像部１１Ａにより撮像された眼球画像に基づいて、当該眼球画像に現れる瞳孔の動きを解析して瞳孔中心座標と角膜反射像の位置座標（プルキニエ像と呼ばれる光学像の位置座標）とを推定する。視線計測部１１１は、当該瞳孔中心座標と当該角膜反射像の位置座標とに基づいて、３次元の仮想空間上の視線方向を示す視線ベクトルを算出することができる。視線計測部１１１は、この視線ベクトルを基に、作業者が注視する位置を示す、２次元画像座標系上の視線座標を算出することが可能である。このような角膜反射法を用いた視線計測アルゴリズムは、たとえば、国際公開第２０１２／１３７８０１号に開示されている。

なお、視線計測部１１１は、作業者の眼球画像を含む撮像画像データＣＤのみを用いて作業者の視線情報を計測することができる。あるいは、撮像画像データＣＤに加えて、方向検出部１０３Ｄで検出された顔の向きを用いて視線情報を計測してもよい。これにより、より信頼性の高い視線情報の計測を行うことが可能となる。

なお、方向検出部１０３Ｄで検出された顔の向きのみに基づいて視線情報を計測するように視線計測部１１１の構成を変更してもよい。この場合、当該顔の向きから視線方向が推定される。よって、撮像画像データＣＤに基づいて視線の位置を特定する高度なセンシング技術と視線検出用撮像部１１Ａとを用いる必要がないので、センサ群１１の構成と視線計測部１１１の構成とを低コストで実現することができる。

視線移動方向測定部１１２は、視線計測部１１１による計測結果（視線座標）に基づき、案内情報が表示された直後における作業者の視線移動方向を測定して当該視線移動方向の測定量Ｄｍを熟練度判定部１１４に出力する。この測定量Ｄｍは、たとえば、角度またはベクトル量として算出可能である。並行して、視線移動タイミング測定部１１３は、視線計測部１１１による計測結果を基に、案内情報が表示された直後における作業者の視線移動が始まるタイミングを測定して当該タイミングの測定値（時間情報）Ｔｍを熟練度判定部１１４に出力する。

熟練度判定部１１４は、記録媒体１０５にアクセスして基準データファイルＦｃを取得する。この基準データファイルＦｃには、視線移動方向の基準量（以下「方向基準量」ともいう。）を示すデータと、作業者の視線移動が始まるタイミングの基準値（以下「タイミング基準値」ともいう。）を示すデータとが含まれている。方向基準量及びタイミング基準値の組み合わせは、作業項目の切り替え箇所ごとに、判定可能な熟練度の数だけ用意されている。図８は、初心者用及び熟練者用の２種類の基準データセットを有する基準データファイルＦｃの内容の一例を示す図である。図８の例では、作業項目の切り替え箇所と、初心者用の視線移動タイミングの基準値（単位：秒）と、初心者用の視線移動方向の基準量（単位：角度（ｄｅｇ））と、熟練者用の視線移動タイミングの基準値（単位：秒）と、熟練者用の視線移動方向の基準量（単位：角度（ｄｅｇ））とが示されている。たとえば、作業手順がＰ３からＰ４に切り替わる場合には、タイミング基準値Ｔｂ１，Ｔｓ１と、方向基準量Ｄｂ１，Ｄｓ１とが熟練度判定に使用される。

図９は、案内情報が表示された直後における作業者４の視線移動の例を概略的に示す図である。図９の例では、作業対象６Ａ内の作業項目７Ｃに対する点検作業が終了した後は、点検すべき次の作業項目は、作業対象６Ｂ内の作業項目８Ａに設定されているので、案内情報で示された矢印方向ＧＤの先には作業項目８Ａが存在する。しかしながら、作業者４の視線は、作業対象６Ｃ内の作業項目９Ａへ移動している。作業者４の視線移動方向ＥＤの測定量Ｄｍは、矢印方向ＧＤを基準とした相対的な量として算出されればよい。このとき、熟練者であれば、作業手順を熟知しているため、点検すべき次の作業項目８Ａの位置を指し示す矢印方向ＧＤと視線移動方向ＥＤとの差分が小さくなる。また、熟練者であれば、案内情報が表示された瞬間から、次の作業項目８Ａへの視線移動が始まるタイミングも早い。言い換えれば、熟練者は、その瞬間からその視線移動が開始されるまでの時間差が短い。

熟練度判定部１１４は、測定量Ｄｍを方向基準量と比較して得られる比較結果と、測定値Ｔｍをタイミング基準値と比較して得られる比較結果との組み合わせに基づいて熟練度を判定することができる。具体的には、熟練度判定部１１４は、方向基準量及びタイミング基準値の組み合わせのうち、実際の測定量Ｄｍ及び測定値Ｔｍの組み合わせと最も類似する組み合わせを選択し、この選択された組み合わせに対応する類似度を判定結果として出力する。なお、測定量Ｄｍを方向基準量と比較して得られる比較結果のみ、または、測定値Ｔｍを基準値と比較して得られる比較結果のみに基づいて熟練度を判定することも可能である。熟練度の判定方法の具体例については後述する。

次に、図１０及び図１１を参照しつつ、上記作業支援装置１０の動作について説明する。図１０は、作業支援装置１０による作業支援処理の手順の一例を示すフローチャートであり、図１１は、図１０に示した作業支援処理における熟練度判定処理（ステップＳＴ２３）の手順の一例を示すフローチャートである。

図１０を参照すると、作業者情報取得部１０３は、上述したように作業者の現在位置と作業者の顔の向きとを検出し、その検出結果を主制御部１０１に出力する（ステップＳＴ１０）。主制御部１０１は、その検出結果に基づいて作業場所の認識を試みる（ステップＳＴ１１）。すなわち、主制御部１０１は、作業者の現在位置が、作業手順データＦａに登録されている作業場所内の位置に該当するか否かを判定する。その結果、作業場所が認識されないときは（ステップＳＴ１２のＮＯ）、処理はステップＳＴ１０に戻る。

一方、作業場所が認識されると（ステップＳＴ１２のＹＥＳ）、主制御部１０１は、作業対象情報取得部１０４による認識結果を用いて、作業手順データＦａに登録されている作業対象の点検すべき作業項目の認識を試みる（ステップＳＴ１３）。その結果、点検すべき作業項目が認識されないときは（ステップＳＴ１４のＮＯ）、処理はステップＳＴ１３に戻る。なお、点検すべき作業項目が認識されない状態が一定時間経過したときには、ステップＳＴ１０に処理が戻るように図１０のフローチャートが変更されてもよい。

点検すべき作業項目が認識されたきは（ステップＳＴ１４のＹＥＳ）、熟練度判定部１１４は、現在の熟練度を判定する（ステップＳＴ１５）。より具体的に説明すると、出力制御部１０２は、主制御部１０１による制御に従って熟練度判定部１１４に対して熟練度判定を要求し、熟練度判定部１１４は、この要求に応じて現在の熟練度を判定する。

具体的には、Ｑ段階（Ｑは２以上の整数）の熟練度１〜Ｑが判定可能である場合、熟練度判定部１１４は、たとえば、直近の連続したＮ回（Ｎは２以上の整数）の熟練度判定結果のうち、最大多数の判定結果を現在の熟練度であると判定することができる。このとき、熟練度ｊの判定回数と熟練度ｉの判定回数とが同数であったとき（ｉ≠ｊ）には、これら２つの熟練度ｊ，ｉのうち技量レベルの低い方の熟練度を現在の熟練度と判定すればよい。

あるいは、初心者用の熟練度１と熟練者用の熟練度２との２段階の熟練度だけが用意されている場合には、熟練度判定部１１４は、直近の連続したＮ回の熟練度判定結果のうち熟練度２の判定がＭ回以上（Ｍは正整数；Ｍ≦Ｎ）なされている場合には、熟練度２を現在の熟練度と判定することができる。一方、熟練度２の判定がＭ回未満の場合には、熟練度判定部１１４は、熟練度１を現在の熟練度と判定すればよい。

次に、出力制御部１０２は、記録媒体１０５にアクセスして出力データファイル群Ｆｄの中から当該熟練度に対応する出力データファイルを選択し、この出力データファイルで示される作業支援情報をＩ／Ｆ部１０７に出力する（ステップＳＴ１６）。この結果、作業者は、スピーカＳＰ、ディスプレイ装置１３またはこれらの両方を通じて、視覚的、聴覚的または視聴覚的に作業支援情報を認識することができる。

その後、作業支援装置１０は、作業者から、作業手順データＦａに定められている音声または動作パターンなどの所定の応答入力があるまで待機する（ステップＳＴ１７のＮＯ）。たとえば、作業者は、「遮断器Ａについて異常有り」，「異常無し」，「次の点検」と発話することができる。一定時間が経過しても所定の応答入力が無い場合は（ステップＳＴ１７のＮＯ、及びステップＳＴ１８のＹＥＳ）、次のステップＳＴ２０に処理が移行する。

一方、一定時間内に所定の応答入力があった場合は（ステップＳＴ１８のＮＯ，及びステップＳＴ１７のＹＥＳ）、主制御部１０１は、その応答入力の結果を点検結果として記録する（ステップＳＴ１９）。たとえば、主制御部１０１は、通信部１０６に点検結果を示すデータを格納してもよいし、あるいは、通信部１０６を介して外部機器に点検結果を示すデータを送信することでその外部機器に点検結果を記録してもよい。

その後、主制御部１０１は、点検すべき次の作業項目の有無を判定する（ステップＳＴ２０）。すなわち、主制御部１０１は、作業手順データＦａを参照して点検すべき次の作業項目が存在するかどうかを判定する。点検すべき次の作業項目が有ると判定された場合（ステップＳＴ２０のＹＥＳ）、出力制御部１０２は、次の作業項目へ案内するための案内情報をディスプレイ装置１３から表示出力させる（ステップＳＴ２１）。ここでは、出力制御部１０２は、たとえば、図７Ｂの矢印記号で示される案内情報ＧＡをディスプレイ装置１３に表示させればよい。そして、主制御部１０１は、案内情報の表示出力に応じて切替タイミングをタイミング取得部１１０に通知する（ステップＳＴ２２）。その後は、熟練度判定処理が実行される（ステップＳＴ２３）。

タイミング取得部１１０は、切替タイミングが通知されるまで待機している。主制御部１０１から切替タイミングの通知を受けると、タイミング取得部１１０は、この通知に応じて視線計測部１１１に視線計測を指示する（図１１のステップＳＴ３０）。視線計測部１１１は、その指示に応じて、案内情報が表示された直後における視線情報を計測する（ステップＳＴ３１）。視線移動方向測定部１１２は、視線計測部１１１による計測結果を基に視線移動方向の測定量（方向測定量）Ｄｍを算出する（ステップＳＴ３２）。ここで、視線移動方向測定部１１２は、視線計測部１１１で算出された視線座標の変化量に基づいて角度またはベクトル量の方向測定量Ｄｍを算出することができる。また、視線移動タイミング測定部１１３は、視線計測部１１１による計測結果を基に、作業者の視線移動が始まるタイミングの測定値（タイミング測定値）Ｔｍを算出する（ステップＳＴ３３）。これら方向測定量Ｄｍとタイミング測定値Ｔｍの組は、熟練度判定部１１４に供給される。なお、ステップＳＴ３２，ＳＴ３３は、この順番で実行される必要はなく、逆の順番で実行されてもよいし、あるいは、同時並行に実行されてもよい。

その後、熟練度判定部１１４は、記録媒体１０５にアクセスして基準データファイルＦｃを取得する（ステップＳＴ３４）。そして、熟練度判定部１１４は、基準データファイルＦｃに設定されている熟練度ｋについて、測定量Ｄｍ及び測定値Ｔｍの組（Ｄｍ，Ｔｍ）を、熟練度ｋに対応する方向基準量Ｄ_ｋ及びタイミング基準値Ｔ_ｋの組（Ｄ_ｋ，Ｔ_ｋ）と比較する（ステップＳＴ３５〜ＳＴ３７）。

具体的には、熟練度判定部１１４は、先ず、熟練度番号ｋ（ｋは１〜Ｑの範囲内の整数）を「１」に設定する（ステップＳＴ３５）。次いで、熟練度判定部１１４は、測定量Ｄｍを熟練度ｋに対応する方向基準量Ｄ_ｋと比較してその比較結果である相違度ΔＤ（ｋ）または類似度ＳＤ（ｋ）を算出する（ステップＳＴ３６）。たとえば、次式（１Ａ），（１Ｂ）により、相違度ΔＤ（ｋ）または類似度ＳＤ（ｋ）を算出することができる（ａは正の係数）。
ΔＤ（ｋ）＝｜Ｄｍ−Ｄ_ｋ｜， （１Ａ）
ＳＤ（ｋ）＝ａ／ΔＤ（ｋ） （１Ｂ）

ここで、上式（１Ａ）中の測定量Ｄｍは、案内情報で示された方向と作業者の視線移動方向との間の角度である。相違度ΔＤ（ｋ）は、測定量Ｄｍと方向基準量Ｄ_ｋとの間の差分絶対値を意味している。なお、測定量Ｄｍと方向基準量Ｄ_ｋとがベクトル量である場合には、上式（１Ａ）の差分絶対値に代えて、たとえば、測定量Ｄｍと方向基準量Ｄ_ｋとの間の差分ベクトルのノルムが相違度ΔＤ（ｋ）として算出されてもよい。一般に、ベクトルのノルムとは、当該ベクトルの長さをいう。

また、熟練度判定部１１４は、測定値Ｔｍを熟練度ｋに対応するタイミング基準値Ｔ_ｋと比較してその比較結果である相違度ΔＴ（ｋ）または類似度ＳＴ（ｋ）を算出する（ステップＳＴ３７）。たとえば、次式により、相違度ΔＴ（ｋ）または類似度ＳＴ（ｋ）を算出することができる（ｂは正の係数）。
ΔＴ（ｋ）＝｜Ｔｍ−Ｔ_ｋ｜， （２Ａ）
ＳＴ（ｋ）＝ｂ／ΔＴ（ｋ） （２Ｂ）

ここで、上式（２Ａ）中の相違度ΔＴ（ｋ）は、測定値Ｔｍとタイミング基準値Ｔ_ｋとの間の差分絶対値を意味している。

次に、熟練度番号ｋが最大番号Ｑに到達していない場合（ステップＳＴ３８のＹＥＳ）、熟練度判定部１１４は、熟練度番号ｋを１だけインクリメントし（ステップＳＴ３９）、ステップＳＴ３６，ＳＴ３７を実行する。

その後、熟練度番号ｋが最大番号Ｑに到達した場合（ステップＳＴ３８のＮＯ）、熟練度判定部１１４は、相違度ΔＤ（ｋ），ΔＴ（ｋ）または類似度ＳＤ（ｋ），ＳＴ（ｋ）に基づいて作業者の熟練度を判定する（ステップＳＴ４０）。

たとえば、熟練度判定部１１４は、熟練度１〜Ｑのうち、相違度ベクトル（ΔＤ（ｋ），ΔＴ（ｋ））のノルムが最小となる熟練度ｋを判定結果とすることができる。また、熟練度判定部１１４は、熟練度１〜Ｑのうち、類似度ベクトル（ＳＤ（ｋ），ＳＴ（ｋ））のノルムが最大となる熟練度ｋを判定結果とすることもできる。

あるいは、熟練度判定部１１４は、熟練度１〜Ｑのうち、合成相違度Δ（ｋ）（＝ΔＤ（ｋ）＋ΔＴ（ｋ））が最小となる熟練度ｋを判定結果とすることができる。また、熟練度判定部１１４は、熟練度１〜Ｑのうち、合成類似度Ｓ（ｋ）（＝ＳＤ（ｋ）＋ＳＴ（ｋ））が最大となる熟練度ｋを判定結果とすることもできる。

あるいは、初心者用の熟練度１と熟練者用の熟練度２との２つだけが用意されている場合には、熟練度判定部１１４は、以下の条件Ａが満たされる場合には、熟練度２を判定結果とすることができ、条件Ａが満たされない場合には、熟練度１を判定結果とすることができる。
条件Ａ：ΔＤ（１）＞ΔＤ（２）、且つ、ΔＴ（１）＞ΔＴ（２）

上記したステップＳＴ４０の実行後は、図１０のステップＳＴ１３に処理が戻る。最終的に、点検すべき次の作業項目が無いと判定した場合（ステップＳＴ２０のＮＯ）、主制御部１０１は、作業支援処理を終了させる。

次に、コンテンツ編集装置３０について説明する。図１２は、コンテンツ編集装置３０の概略構成を示すブロック図である。

図１２に示されるように、コンテンツ編集装置３０は、コンテンツ編集処理部３０１、インタフェース部（Ｉ／Ｆ部）３０２、記録媒体３０３及び通信部３０４を備えて構成されている。このコンテンツ編集装置３０は、たとえば、パーソナルコンピュータまたはワークステーションなどのコンピュータ機器を用いて実現することが可能である。

記録媒体３０３には、上記した作業手順データＦａが記録されている。コンテンツ編集処理部３０１は、作業手順データＦａの内容を編集して出力データファイル群Ｆｄを作成可能とする編集用画面をＩ／Ｆ部３０２を介してディスプレイ装置３１０に表示させることができる。編集者は、その編集用画面を視認しつつ操作入力部３１１を操作してコンテンツ編集処理部３０１に情報を入力することにより、作業手順データＦａの内容を編集して出力データファイル群Ｆｄを作成することができる。出力データファイル群Ｆｄは、複数段階の熟練度に応じた複数の出力データファイルＦ_１，…，Ｆ_Ｎで構成されている。通信部３０４は、作業支援装置１０と通信して出力データファイル群Ｆｄを作業支援装置１０に供給することが可能である。

次に、図１３を参照しつつ、このコンテンツ編集装置３０の動作について説明する。図１３は、コンテンツ編集処理部３０１により実行される出力データファイル生成処理の手順の一例を示すフローチャートである。

コンテンツ編集処理部３０１は、編集者の操作入力により編集開始指示を受け付けるまで待機している（ステップＳＴ５１のＮＯ）。編集開始指示を受け付けたとき（ステップＳＴ５１のＹＥＳ）、コンテンツ編集処理部３０１は、作業手順データＦａを読み込み（ステップＳＴ５１）、当該編集開始指示で指定された作業対象または１個以上の作業項目に関する編集用画面をディスプレイ装置３１０に表示させる（ステップＳＴ５３）。次いで、編集者の操作入力に応じたコンテンツ編集処理を実行する（ステップＳＴ５４）。このコンテンツ編集処理により、ユーザは、作業手順データＦａに登録されている情報（たとえば、図４の表示テキストの内容）を編集して熟練度に応じた情報を作成することができる。

コンテンツ編集処理の終了後は、コンテンツ編集処理部３０１は、当該熟練度に対応する出力データファイルを生成し（ステップＳＴ５５）、この出力データファイルを記録媒体３０３に記録する（ステップＳＴ５６）。

その後、編集終了指示を受けない状態で、別の編集用画面について編集指示を受け付けている場合は（ステップＳＴ５７のＮＯ、及び、ステップＳＴ５８のＹＥＳ）、コンテンツ編集処理部３０１は、ステップＳＴ５３以後を実行する。一方、編集終了指示を受けていない状態で、別の編集用画面について編集指示を受け付けていない場合（ステップＳＴ５７のＮＯ、及び、ステップＳＴ５８のＮＯ）、この状況が一定時間経過しない間は（ステップＳＴ５９のＮＯ）、コンテンツ編集処理部３０１は待機している。その状況が一定時間経過した場合（ステップＳＴ５９のＹＥＳ）、または、編集終了指示が受け付けられた場合は（ステップＳＴ５７のＹＥＳ）、以上の出力データファイル生成処理は終了する。

次に、作業学習装置２０について説明する。図１４は、作業学習装置２０の概略構成を示すブロック図である。この作業学習装置２０の構成は、主制御部１０１Ａ、出力制御部１０２Ａ及び基準データ算出部２０１を備える点を除いて、上記作業支援装置１０の構成と同じである。

主制御部１０１Ａは、設定された熟練度のみについて出力制御部１０２Ａの出力内容を制御する点を除いて、作業支援装置１０の主制御部１０１と同じ機能を有する。また、出力制御部１０２Ａも、設定された熟練度のみについて動作する点を除いて、作業支援装置１０の出力制御部１０２と同じ機能を有する。すなわち、出力制御部１０２Ａは、主制御部１０１Ａによる制御に従い、出力データファイル群Ｆｄの中から、その設定された熟練度に対応する出力データファイルを取得する。そして、出力制御部１０２Ａは、この出力データファイルで示される内容を有する作業支援情報を、Ｉ／Ｆ部１０７を介してスピーカＳＰ、ディスプレイ装置１３またはこれらの両方に供給する。

ここで、設定された熟練度は、作業学習装置２０を使用する作業者の既知の熟練度である。たとえば、主制御部１０１Ａは、音声認識部１０３Ａの音声認識機能を利用して、マイクロフォンＭＫに音声入力された熟練度設定情報を基に熟練度を設定することができる。あるいは、通信部１０６を介して入力された熟練度設定情報を基に熟練度が設定されてもよい。

基準データ算出部２０１は、視線移動方向測定部１１２で算出された測定量に基づいて方向基準量を算出することができる。たとえば、同じ熟練度を有する一人または複数人の作業者についての複数回分の測定量の平均を方向基準量として算出することができる。また、基準データ算出部２０１は、視線移動タイミング測定部１１３で算出された測定値に基づいてタイミング基準値を算出することができる。たとえば、同じ熟練度を有する一人または複数人の作業者についての複数回分の測定値の平均をタイミング基準値として算出することができる。これら方向基準量及びタイミング基準値を含む基準データファイルＦｃは、記録媒体１０５に格納される。通信部１０６は、作業支援装置１０と通信して基準データファイルＦｃを作業支援装置１０に供給することが可能である。

次に、図１５及び図１６を参照しつつ、この作業学習装置２０の動作について説明する。図１５は、作業学習装置２０により実行される作業学習処理の手順の一例を示すフローチャートであり、図１６は、図１５に示した作業学習処理における基準データ算出処理（ステップＳＴ６６）の手順の一例を示すフローチャートである。

図１５を参照すると、作業学習装置２０は、図１０に示したステップＳＴ１０〜ＳＴ１４と同じ処理を実行する。ステップＳＴ１４の実行後、出力制御部１０２Ａは、記録媒体１０５にアクセスして出力データファイル群Ｆｄの中から当該熟練度に対応する出力データファイルを選択し、この出力データファイルで示される作業支援情報をＩ／Ｆ部１０７に出力する（ステップＳＴ６０）。この結果、作業者は、スピーカＳＰ、ディスプレイ装置１３またはこれらの両方を通じて、視覚的、聴覚的または視聴覚的に作業支援情報を認識することができる。

次に、作業学習装置２０は、作業者から、作業手順データＦａに定められている音声または動作パターンなどの所定の応答入力があるまで待機する（ステップＳＴ６１のＮＯ）。たとえば、作業者は、「遮断器Ａについて異常有り」，「異常無し」，「次の点検」と発話することができる。一定時間が経過しても所定の応答入力が無い場合は（ステップＳＴ６１のＮＯ、及びステップＳＴ６２のＹＥＳ）、次のステップＳＴ６３に処理が移行する。

一方、一定時間内に所定の応答入力があった場合は（ステップＳＴ６２のＮＯ、及びステップＳＴ６１のＹＥＳ）、主制御部１０１Ａは、点検すべき次の作業項目の有無を判定する（ステップＳＴ６３）。点検すべき次の作業項目が有ると判定された場合（ステップＳＴ６３のＹＥＳ）、出力制御部１０２Ａは、上記ステップＳＴ２１の場合と同様に、次の作業項目へ案内するための案内情報をディスプレイ装置１３から表示出力させる（ステップＳＴ６４）。そして、主制御部１０１Ａは、案内情報の表示出力に応じて切替タイミングをタイミング取得部１１０に通知する（ステップＳＴ６５）。その後は、基準データ算出処理が実行される（ステップＳＴ６６）。

主制御部１０１Ａから切替タイミングの通知を受けると、タイミング取得部１１０は、この通知に応じて視線計測部１１１に視線計測を指示する（図１６のステップＳＴ７０）。視線計測部１１１は、その指示に応じて、案内情報が表示された直後における視線情報を計測する（ステップＳＴ７１）。視線移動方向測定部１１２は、視線計測部１１１による計測結果を基に視線移動方向の測定量Ｄｍを算出する（ステップＳＴ７２）。また、視線移動タイミング測定部１１３は、視線計測部１１１による計測結果を基に、作業者の視線移動が始まるタイミングの測定値Ｔｍを算出する（ステップＳＴ７３）。これら方向測定量Ｄｍとタイミング測定値Ｔｍの組は、基準データ算出部２０１に供給される。なお、ステップＳＴ７２，ＳＴ７３は、この順番で実行される必要はなく、逆の順番で実行されてもよいし、あるいは、同時並行に実行されてもよい。

次に、基準データ算出部２０１は、記録媒体１０５にアクセスして過去の基準データファイルＦｃを読み込む（ステップＳＴ７４）。そして、基準データ算出部２０１は、この基準データファイルＦｃ内の過去の方向基準量と測定量Ｄｍとに基づいて、過去の回を含む複数回分の測定量の平均を新たな方向基準量として算出する（ステップＳＴ７５）。また、基準データ算出部２０１は、この基準データファイルＦｃ内の過去のタイミング基準値と測定値Ｔｍとに基づいて、過去の回を含む複数回分の測定値の平均を新たなタイミング基準値として算出する（ステップＳＴ７６）。そして、基準データ算出部２０１は、新たに算出された方向基準量とタイミング基準値を用いて基準データファイルを新たに作成し（ステップＳＴ７７）、この新たに作成された基準データファイルを記録媒体１０５に記録する（ステップＳＴ７８）。

上記したステップＳＴ６６の実行後は、図１５のステップＳＴ１３に処理が戻る。最終的に、点検すべき次の作業項目が無いと判定した場合（ステップＳＴ６３のＮＯ）、主制御部１０１Ａは、作業学習処理を終了させる。

以上に説明した作業支援装置１０及び作業学習装置２０のハードウェア構成は、たとえば、ワークステーションまたはメインフレームなどの、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内蔵のコンピュータ構成を有する情報処理装置により実現可能である。あるいは、上記作業支援装置１０及び作業学習装置２０のハードウェア構成は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）を有する情報処理装置により実現されてもよい。

図１７は、上記作業支援装置１０または作業学習装置２０のハードウェア構成例である情報処理装置３Ａの概略構成を示すブロック図である。この情報処理装置３Ａは、ＤＳＰ、ＡＳＩＣまたはＦＰＧＡなどのＬＳＩからなる信号処理回路４０、インタフェース（Ｉ／Ｆ）回路４１、通信回路４２、固定式の記録媒体４３、メモリインタフェース部４４及び記録媒体４５を備えて構成されている。これら信号処理回路４０、Ｉ／Ｆ回路４１、通信回路４２、記録媒体４３及びメモリインタフェース部４４は、バス回路などの信号路４６を介して相互に接続されている。また、記録媒体４５は、メモリインタフェース部４４と着脱自在に装着された着脱式の記録媒体である。

図１７の情報処理装置３Ａを用いて図３の作業支援装置１０が構成される場合は、主制御部１０１、出力制御部１０２、作業者情報取得部１０３、作業対象情報取得部１０４、タイミング取得部１１０、視線計測部１１１、視線移動方向測定部１１２、視線移動タイミング測定部１１３及び熟練度判定部１１４は、図１７に示した信号処理回路４０により実現することができる。また、通信部１０６は、図１７の通信回路４２で構成することができ、Ｉ／Ｆ部１０７は、図１７のＩ／Ｆ回路４１で構成することができる。更に、記録媒体１０５は、図１７の記録媒体４３，４５で構成することが可能である。

一方、図１７の情報処理装置３Ａを用いて図１４の作業学習装置２０が構成される場合は、主制御部１０１Ａ、出力制御部１０２Ａ、作業者情報取得部１０３、作業対象情報取得部１０４、タイミング取得部１１０、視線計測部１１１、視線移動方向測定部１１２、視線移動タイミング測定部１１３及び基準データ算出部２０１は、図１７に示した信号処理回路４０により実現することができる。また、通信部１０６は、図１７の通信回路４２で構成することができ、Ｉ／Ｆ部１０７は、図１７のＩ／Ｆ回路４１で構成することができる。更に、記録媒体１０５は、図１７の記録媒体４３，４５で構成することが可能である。

図１８は、上記作業支援装置１０または作業学習装置２０の他のハードウェア構成例である情報処理装置３Ｂの概略構成を示すブロック図である。この情報処理装置３Ｂは、ＣＰＵ５０ｃを含むプロセッサ５０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５２、インタフェース（Ｉ／Ｆ）回路５３、通信回路５４、固定式の記録媒体５５、メモリインタフェース部５６及び記録媒体５７を備えて構成されている。これらプロセッサ５０、ＲＡＭ５１、ＲＯＭ５２、Ｉ／Ｆ回路５３、通信回路５４、記録媒体５５及びメモリインタフェース部５６は、バス回路などの信号路５８を介して相互に接続されている。記録媒体５７は、メモリインタフェース部５６と着脱自在に装着される着脱式の記録媒体である。プロセッサ５０は、ＲＯＭ５２から読み出されたコンピュータプログラムに従って動作することにより、作業支援装置１０または作業学習装置２０の機能を実現することができる。

図１８の情報処理装置３Ｂを用いて図３の作業支援装置１０が構成される場合は、主制御部１０１、出力制御部１０２、作業者情報取得部１０３、作業対象情報取得部１０４、タイミング取得部１１０、視線計測部１１１、視線移動方向測定部１１２、視線移動タイミング測定部１１３及び熟練度判定部１１４は、図１８に示したプロセッサ５０及びコンピュータプログラムにより実現することができる。また、通信部１０６は、図１８の通信回路５４で構成することができ、Ｉ／Ｆ部１０７は、図１８のＩ／Ｆ回路５３で構成することができる。更に、記録媒体１０５は、図１８の記録媒体５５，５７で構成することが可能である。

一方、図１８の情報処理装置３Ｂを用いて図１４の作業学習装置２０が構成される場合は、主制御部１０１Ａ、出力制御部１０２Ａ、作業者情報取得部１０３、作業対象情報取得部１０４、タイミング取得部１１０、視線計測部１１１、視線移動方向測定部１１２、視線移動タイミング測定部１１３及び基準データ算出部２０１は、図１８に示したプロセッサ５０及びコンピュータプログラムにより実現することができる。また、通信部１０６は、図１８の通信回路５４で構成することができ、Ｉ／Ｆ部１０７は、図１８のＩ／Ｆ回路５３で構成することができる。更に、記録媒体１０５は、図１８の記録媒体５５，５７で構成することが可能である。

図１７及び図１８に示した固定式の記録媒体４３，５５としては、たとえば、ＨＤＤ（ハードディスクドライブ）またはＳＳＤ（ソリッドステートドライブ）を使用することが可能である。また、着脱式の記録媒体４５，５７としては、たとえば、ＳＤカード（登録商標）などのフラッシュメモリを使用することが可能である。

また、図１７及び図１８に示した通信回路４２，５４は、他の通信装置と有線または無線で通信可能な機能を有していればよい。通信回路４２，５４は、たとえば、有線ケーブル、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、またはインターネットなどの広域通信網を介して他の通信装置と通信可能な構成を有することができる。また、通信回路４２は、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ；登録商標）などの近距離無線通信技術を用いた通信機能を有していてもよい。

以上に説明したように本実施の形態は、点検項目の切り替え時の視線移動タイミングの測定値、視線移動方向の測定量またはこれらの双方の測定結果を使用して作業者の熟練度を自動判定することができるため、動きを伴う作業があっても迅速に熟練度の判定を行うことができる。したがって、この判定結果を利用して、作業者の熟練度に応じた内容の作業支援情報を当該作業者に提示することで、効果的な作業支援を行うことができる。また、本実施の形態の場合のように作業者４がメガネ型ウェアラブルデバイス５を装着して作業を行うと、当該作業者４の動きに伴う視線移動が生じやすい状況が生ずる。このような状況であっても、本実施の形態は、点検項目の切り替え時の視線移動タイミングの測定値、視線移動方向の測定量またはこれらの双方の測定結果を使用して作業者の熟練度を自動判定するので、熟練度の判定精度が高いという効果を得る。なお、本実施の形態のメガネ型ウェアラブルデバイス５に代えて、他の種類のウェアラブルデバイスが使用されても、同様の効果を得ることが可能である。

また、上述したように、作業支援装置１０の出力制御部１０２は、複数段階の熟練度にそれぞれ対応する出力データファイルＦ_１〜Ｆ_Ｎの中から、熟練度判定部１１４で判定された熟練度に対応する出力データファイルを選択している。編集者は、コンテンツ編集装置３０を用いて出力データファイルＦ_１〜Ｆ_Ｎを個別に編集可能である。このような構成により、熟練度に応じて作業支援情報の内容を細かく且つ柔軟にカスタマイズすることができ、作業者４の作業効率を向上させることが可能となる。

以上、図面を参照して本発明に係る実施の形態１について述べたが、この実施の形態は本発明の例示であり、この実施の形態以外の様々な形態を採用することもできる。なお、本発明の範囲内において、上記実施の形態の構成要素の自由な組み合わせ、上記実施の形態の任意の構成要素の変形、または上記実施の形態の任意の構成要素の省略が可能である。

この発明に係る作業支援装置及び作業支援システムは、たとえば、機械設備の保守もしくは点検、または機械設備の修理もしくは組み立てといった、一定の手順に従って行われる作業の支援に適用することができるものである。

１ 作業支援システム、３Ａ，３Ｂ 情報処理装置、４ 作業者、５ メガネ型ウェアラブルデバイス、１０ 作業支援装置、１１ センサ群、１１Ａ 視線検出用撮像部、１１Ｂ 位置検出用センサ、１１Ｃ 方向センサ、１１Ｄ 前方撮像部、１２ 音響入出力部、１３ ディスプレイ装置、１３Ｖ メガネ部、２０ 作業学習装置、３０ コンテンツ編集装置、４０ 信号処理回路、４１ インタフェース（Ｉ／Ｆ）回路、４２ 通信回路、４３ 記録媒体、４４ メモリインタフェース部、４５ 記録媒体、４６ 信号路、５０ プロセッサ、５１ ＲＡＭ、５２ ＲＯＭ、５３ インタフェース（Ｉ／Ｆ）回路、５４ 通信回路、５５ 記録媒体、５６ メモリインタフェース、５７ 記録媒体、５８ 信号路、１０１，１０１Ａ 主制御部、１０２，１０２Ａ 出力制御部、１０３ 作業者情報取得部、１０３Ｐ 位置検出部、１０３Ｍ 動き検出部、１０３Ａ 音声認識部、１０３Ｄ 方向検出部、１０４ 作業対象情報取得部、１０５ 記録媒体、１０６ 通信部、１０７ インタフェース部（Ｉ／Ｆ部）、１１０ タイミング取得部、１１１ 視線計測部、１１２ 視線移動方向測定部、１１３ 視線移動タイミング測定部、１１４ 熟練度判定部、２０１ 基準データ算出部、３０１ コンテンツ編集処理部、３０２ インタフェース部（Ｉ／Ｆ部）、３０３ 記録媒体、３０４ 通信部、３１０ ディスプレイ装置、３１１ 操作入力部。

Claims (9)

1. 作業者に対して点検済みの作業項目から点検すべき次の作業項目への視線の切り替えを促す案内情報を情報出力部から表示出力させる出力制御部と、
   当該案内情報の表示出力に応じて前記作業者の視線情報の計測を開始する視線計測部と、
   前記視線計測部による計測結果を基に視線移動方向を測定して当該視線移動方向の測定量を出力する視線移動方向測定部と、
   前記測定量を予め用意された基準量と比較し、その比較結果に応じて前記作業者の技量レベルを示す熟練度を判定する熟練度判定部と
   を備え、
   前記出力制御部は、前記熟練度判定部で判定された熟練度に応じた内容の作業支援情報を前記情報出力部から出力させる
   ことを特徴とする作業支援装置。
2. 請求項１記載の作業支援装置であって、前記視線計測部による計測結果に基づいて視線移動が始まるタイミングを測定して当該タイミングの測定値を出力する視線移動タイミング測定部を更に備え、
   前記熟練度判定部は、前記測定量を前記基準量と比較して得られる当該比較結果と、前記測定値を予め用意された基準値と比較して得られる比較結果との組み合わせに応じて前記熟練度を判定することを特徴とする作業支援装置。
3. 請求項１記載の作業支援装置であって、前記出力制御部は、複数段階の熟練度にそれぞれ対応する複数の出力データファイルの中から、前記熟練度判定部で判定された熟練度に対応する出力データファイルを選択し、当該選択された出力データファイルで示される情報を前記作業支援情報として前記情報出力部から出力させることを特徴とする作業支援装置。
4. 請求項１記載の作業支援装置であって、前記情報出力部は、前記作業者の頭部または身体に装着されるウェアラブルデバイスを構成することを特徴とする作業支援装置。
5. 作業者に対して点検済みの作業項目から点検すべき次の作業項目への視線の切り替えを促す案内情報を情報出力部から表示出力させる出力制御部と、
   当該案内情報の表示出力に応じて前記作業者の視線情報を計測する視線計測部と、
   前記視線計測部による計測結果に基づいて視線移動が始まるタイミングを測定して当該タイミングの測定値を出力する視線移動タイミング測定部と、
   前記測定値を予め用意された基準値と比較し、その比較結果に応じて前記作業者の技量レベルを示す熟練度を判定する熟練度判定部と
   を備え、
   前記出力制御部は、前記熟練度判定部で判定された熟練度に応じた内容の作業支援情報を前記情報出力部から出力させることを特徴とする作業支援装置。
6. 請求項５記載の作業支援装置であって、前記出力制御部は、複数段階の熟練度にそれぞれ対応する複数の出力データファイルの中から、前記熟練度判定部で判定された熟練度に対応する出力データファイルを選択し、当該選択された出力データファイルで示される情報を前記作業支援情報として前記情報出力部から出力させることを特徴とする作業支援装置。
7. 請求項５記載の作業支援装置であって、前記情報出力部は、前記作業者の頭部または身体に装着されるウェアラブルデバイスを構成することを特徴とする作業支援装置。
8. 作業者に対して点検済みの作業項目から点検すべき次の作業項目への視線の切り替えを促す案内情報を情報出力部から表示出力させる作業学習用出力制御部と、
   当該案内情報の表示出力に応じて前記作業者の視線情報を計測する作業学習用視線計測部と、
   前記作業学習用視線計測部による計測結果を基に視線移動方向を測定して前記視線移動方向の測定量を出力する作業学習用視線移動方向測定部と、
   前記測定量に基づいて前記案内情報に対応する基準量を算出する基準データ算出部と
   を備えることを特徴とする作業学習装置。
9. 請求項１記載の作業支援装置と、
   請求項８記載の作業学習装置と
   を備えることを特徴とする作業支援システム。

Images