JP7418711B1 - 注意抽出システム、及び注意抽出方法 - Google Patents

Abstract

【課題】作業に対する注意情報を抽出する注意抽出システム、及び注意抽出方法を提供する。【解決手段】作業に対する注意情報を抽出する注意抽出システム１００において、注意抽出装置１は、映像情報と、座標情報と、を作業と紐づけて時系列に取得する取得手段と、視野範囲における教示者の視点変位を求め、教示者の注視モードを特定する特定手段と、注視モードに基づいて注視領域を設定し、注視領域において教示者が注視した作業対象の注視画像を抽出する抽出手段と、抽出された注視画像を、視野範囲、視点変位及び注視モードと紐づけ、作業における注意情報としてデータベースに記憶する記憶手段と、を備える。【選択図】図１

Description

本発明は、作業に対する注意情報を抽出する注意抽出システム、及び注意抽出方法に関する。

従来、注意抽出に関する技術として、例えば特許文献１の技能伝承システム、及び特許文献２に開示された結線作業支援システム等が提案されている。

特許文献１に開示された技能伝承システムでは、第１ユーザの視界の第１画像データと視線データを、教師データに基づき機械学習を行い、画像の特徴データを抽出し、教師データとして第１画像内での第１ユーザの注目箇所の情報を入力し、特徴データに関連付けて登録し、第２ユーザの視界の第２画像データをサーバへ送信し、第２画像に該当する特徴データに関連付けられている注目箇所データを読み出し、支援表示データを作成し、第２ユーザの眼鏡端末へ送信し、第２ユーザの眼鏡端末において、支援表示データに基づき注目箇所の情報を、第２ユーザの視界に重ね合わせるような表示を行う旨の技術が開示されている。

また、特許文献２に開示された結線作業支援システムでは、作業者の視線を追跡する視線追跡装置と、作業対象の配線等を撮影する撮影装置と、作業者の目視範囲の画像処理によって文字や色を判読する。データ保存管理部に記憶された対象物の情報を作業者に案内する画像処理部を有するとともに、作業工具に設けられたリミットスイッチからの作業終了信号及び作業対象物の画像を保存する携帯型の作業管理装置について開示されている。

特開２０１７－１９１４９０号公報 特開２０１５－０６１３３９号公報

ここで、特許文献１では、ユーザ間で視線を連携して、ユーザ間で技能等を伝承させることを前提としている。即ち、視点の注視時間と注視変移等に基づいて注視の状態を把握し、適した注意情報を抽出し、作業者に提供することが難しい。さらに、教示者が何を、どのような状況で注視したかを示す注意行動の特定については、記載も示唆もされていない。

また、特許文献２では、作業者の視線と作業対象を紐付け、対象物の情報を作業者に案内することを前提としている。即ち、視点の注視時間と注視変移等に基づいて注視の状態を把握し、適した注意情報を抽出し、作業者に提供することが難しい。さらに、教示者が何を、どのような状況で注視したかを示す注意行動の特定については、記載も示唆もされていない。

そこで本発明は、上述した問題に鑑みて案出されたものであり、その目的とするところは、教示者の注視の状態を把握し、適した注意情報の抽出と提供を図る注意抽出システム、及び注意抽出方法を提供することにある。

第１発明に係る注意抽出システムは、作業に対する注意情報を抽出する注意抽出システムであって、前記作業を行なう教示者の視野範囲における映像情報と、前記視野範囲において前記教示者が注視する視点を示す座標情報と、を前記作業と紐づけて時系列に取得する取得手段と、前記取得手段により取得された前記映像情報及び前記座標情報に基づいて、前記視野範囲における前記教示者の視点変位を求め、前記教示者の注視モードを特定する特定手段と、前記特定手段により特定された前記注視モードに基づいて注視領域を設定し、前記注視領域において前記教示者が注視した作業対象の注視画像を抽出する抽出手段と、前記抽出手段により抽出された前記注視画像を、前記視野範囲、前記視点変位、及び前記注視モードと紐づけ、前記作業における注意情報としてデータベースに記憶する記憶手段と、を備えることを特徴とする。

第２発明に係る注意抽出システムは、第１発明において、前記取得手段は、前記注視画像に含まれる前記作業対象の正誤を判定する判定手段をさらに備え、前記判定手段の判定結果を表示する表示手段と、をさらに備えること、を特徴とする。

第３発明に係る注意抽出システムは、第２発明において、予め取得された過去の注視画像情報と、前記注視画像に紐づく前記作業対象の正誤を示す参照情報との間における連関性が記憶されたデータベースをさらに備え、前記判定手段は、前記データベースを参照し、前記作業対象の正誤を判定するとともに、判定の結果に応じた情報を前記データベースより取得し、前記表示手段は、前記判定手段により取得された前記対応情報をさらに出力すること、を特徴とする。

第４発明に係る注意抽出システムは、第２発明において、前記判定手段により出力される前記対応情報を入力する入力手段をさらに備え、前記記憶手段は、前記入力手段により入力された前記対応情報を、前記注視画像と紐づけ、注視対象として認識するための設定条件を含む注意データセットとして記憶すること、を特徴とする。

第５発明に係る注意抽出システムは、第２発明において、前記取得手段により取得される前記映像情報は、前記教示者による作業の記録日時情報、記録位置情報、及び前記映像情報の取得操作に関する記録制御情報を含み、前記表示手段は、前記取得手段による前記映像情報の取得前は、前記記録日時情報、前記記録位置情報、及び前記記録制御情報を前記視野範囲内の中央に表示し、前記映像情報の取得中は前記記録制御情報のみに切り替えて前記視野範囲の隅に表示すること、を特徴とする。

第６発明に係る注意抽出システムは、第２発明において、前記表示手段は、前記作業を行なう作業者に対して、前記映像情報を取得する前記取得手段の種別、前記データベースに記憶される前記注意データセットの種別、及び前記作業の開始を各々に選択させる指示を表示する取得表示領域と、前記選択の後に前記注意データセットに基づき、前記作業者の注視画像に対応する対応情報、及び注意情報を表示する注意表示領域と、を切り替えて表示する注意情報表示領域と、をさらに備え、前記注意表示領域に表示される前記注意情報を、前記作業者の作業経過に応じて、作業開始、作業中間、又は作業終了の少なくとも何れかのタイミングで表示されるナッジ情報を含ませ、前記注意情報表示領域に表示される前記対応情報、前記注意情報、又は前記ナッジ情報の少なくとも何れかを含む情報を、前記注意データセット、及び前記判定手段による判定の結果に基づき、前記作業を行なう作業者の注視状況に応じて振り分けて表示すること、を特徴とする。

第７発明に係る注意抽出方法は、前記作業を行なう教示者の視野範囲における映像情報と、前記視野範囲において前記教示者が注視する視点を示す座標情報と、を前記作業と紐づけて時系列に取得する取得ステップと、前記取得ステップにより取得された前記映像情報及び前記座標情報に基づいて、前記視野範囲における前記教示者の視点変位を示す時系列の前記座標情報が、前記視野範囲の中心に集約する場合は広視野モードとし、前記視野範囲の中心より外側に分散する場合は警戒モードとして、前記教示者の注視モードを特定する特定ステップと、前記特定ステップにより特定された前記注視モードに基づいて注視領域を設定し、前記注視領域において前記教示者が注視した作業対象の注視画像を抽出する抽出ステップと、前記抽出ステップにより抽出された前記注視画像を、前記視野範囲、前記視点変位、及び前記注視モードと紐づけ、前記作業における注意情報としてデータベースに記憶する記憶ステップと、をコンピュータに実行させることを特徴とする。

第１発明～第７発明によれば、特定手段は、映像情報及び座標情報に基づいて、視野範囲における教示者の視点変位を求め、教示者の注視モードを特定する。このため、抽出手段において、特定された注視モードに基づいて注視領域を設定し、注視領域において教示者が注視した作業対象の注視画像を抽出することができる。これにより、視点の注視時間と注視変移に基づき、教示者が何を、どのような状況で注視したかを示す注視画像を抽出することができ、注視の状態を正確に把握し、適した注意情報を提供することができる。

特に、第２発明によれば、注視領域は、教示者の広視野モードと警戒モードを含む。このため、教示者の視点変位が視野範囲の中心に集約する広視野モード、及び視野範囲の中心より外側に分散する警戒モードを設定することができる。これにより、教示者が何をどのような状況で注視したかを示す注視画像を抽出することが可能となる。

特に、第３発明によれば、取得手段は判定手段をさらに備える。このため、注視画像に含まれる作業対象の正誤を判定することができる。これにより、教示者及び作業者の注視の状態を正確に把握することができ、適した注意情報を提供することが可能となる。

特に、第４発明によれば、データベースは、予め取得された過去の注視画像情報と、注視画像に紐づく作業対象の正誤を示す参照情報との間における連関性を記憶する。このため、判定手段においてデータベースを参照し、作業対象の正誤を判定し、表示手段により判定の結果に応じた対応情報を出力することができる。これにより、作業者の注視の状態を正確に把握し、適した注意情報を提供することができる。

特に、第５発明によれば、入力手段は、判定手段により出力される対応情報を入力する。このため、記憶手段は、対応情報を、注視画像と紐づけ、注視対象として認識するための設定条件を含む注意データセットとして記憶することができる。これにより、注視の状態を正確に把握し、適した注意情報を提供することができる。

特に、第６発明によれば、表示手段は、映像情報の取得前と取得中で視野範囲に表示する情報を切り替える。このため、映像情報の取得前は、教示者の作業の記録日時情報、記録位置情報、及び記録制御情報が視野範囲の中央に表示され、取得中は、記録制御情報のみが視野範囲の隅に表示される。これにより、作業を行なう教示者の映像情報の取得、注視画像の抽出を教示者に負担をかけることなく実行することが可能となる。

特に、第７発明によれば、表示手段は、取得表示領域と注意表示領域を切り替えて表示する。このため、注意データセット、及び判定結果に基づいて、対応情報、注意情報、又はナッジ情報を、作業を行なう作業者の注視状況に応じて振り分けて表示することができる。これにより、作業者の注視の状態を正確に把握し、適した注意情報を提供することができる。

第８発明によれば、特定ステップは、映像情報及び座標情報に基づいて、視野範囲における教示者の視点変位を求め、教示者の注視モードを特定する。このため、抽出ステップにおいて、特定された注視モードに基づいて注視領域を設定し、注視領域において教示者が注視した作業対象の注視画像を抽出することができる。これにより、視点の注視時間と注視変移に基づき、教示者が何を、どのような状況で注視したかを示す注視画像を抽出することができ、注視の状態を正確に把握し、適した注意情報を提供することができる。

図１は、本実施形態における注意抽出システムの構成の一例を示す模式図である。 図２は、本実施形態におけるにおける注意抽出システム１００の教示者による注意抽出と作業者による作業評価の一例を示す模式図である。 図３（ａ）～（ｃ）は、本実施形態における注意抽出方法の一例を示す模式図である。 図４（ａ）は、注意抽出装置の構成の一例を示す模式図であり、図４（ｂ）は、注意抽出装置の機能の一例を示す模式図である。 図５は、本実施形態におけるデータベースの一例を示す模式図である。 図６は、本実施形態におけるデータベースの第１変形例を示す模式図である。 図７は、本実施形態におけるデータベースに記憶されるデータテーブルの一例を示す模式図である。 図８は、本実施形態における注意抽出方法を示すフローチャートの一例を示す模式図である。 図９（ａ）～（ｅ）は、本実施形態における注意抽出方法の一例を示す模式図である。 図１０（ａ）、及び図１０（ｂ）は、本実施形態における作業者装置の表示の一例を示す模式図である。 図１１は、本実施形態における注意抽出装置の表示の一例を示す模式図である。 図１２（ａ）～（ｅ）は、本実施形態における作業者端末の表示の一例を示す模式図である。

以下、本発明の実施形態における注意抽出システム及び注意抽出方法の一例について、図面を参照しながら説明する。

（本実施形態：注意抽出システム１００、及び注意抽出方法）
図１、及び図２を参照して、本実施形態における注意抽出システム１００の構成の一例について説明する。図１は、本実施形態における注意抽出システム１００の構成の一例を示す模式図であり、図２は、本実施形態における注意抽出システム１００の教示者による注意抽出と作業者による作業評価の一例を示す模式図である。

注意抽出システム１００は、作業を行なう教示者の視野範囲における映像情報と、前記視野範囲において教示者が注視する視点を示す座標情報と、を用いて、教示者が注意する作業の対象を抽出するために用いられる。注意抽出システム１００では、映像情報、座標情報、及び作業に関する作業情報を含む各種の情報に対し、教示者の詩や範囲において、各種の条件により映像情報及び座標情報を取得することができる。

注意抽出システム１００は、例えば図１に示すように、注意抽出装置１と、教示者装置２と、作業者装置３と、サーバ４とを備え、例えば教示者装置２、及び作業者装置３は、例えば作業エリア５０において複数を備えてもよい。注意抽出システム１００は、例えば公知の通信網５を介して、注意抽出装置１、教示者装置２、作業者装置３、サーバ４、その他のユーザ装置（図示せず）等を対象に、各種情報の送受信を実施してもよい。

注意抽出システム１００は、例えば教示者が装着する教示者装置２を介して、教示者の視野範囲２ａに含まれる教示者の注視する視野先の視点変位２ｂを取得する。注意抽出システム１００が教示者から取得情報には、例えば映像情報（作業を行なう視野範囲内の映像）、座標情報（視点、位置情報、など）、作業情報（作業日時、作業指示、工程情報、など）、教示者情報（教示者ＩＤ、機器ＩＤ、など）が含まれるほか、教示者が作業を行う各種の情報（割り当て作業、グループ作業、など）を含むようにしてもよい。

注意抽出システム１００は、例えば図２に示すように、教示者が装着する教示者装置２から、作業を行なう教示者の視野範囲における映像情報と、視野範囲において教示者が注視する視点を示す座標情報と、を教示者が行う作業と紐づけて時系列に取得する。映像情報、及び座標情報の取得は、例えば公知のアイトラッキング技術、ヘッドマウントディスプレイ、またはスマートグラス等に備わる視点を取得する技術等を用いるようにしてもよい。

注意抽出システム１００は、例えば教示者装置２に備わる前述の技術により、映像情報と座標情報を取得し、注意抽出装置１において教示者の注視モードを特定し、特定した注視モードに基づいて注視画像を抽出する。注意抽出システム１００は、例えば抽出した教示者の注視画像と、注視画像に紐づく参照情報とを紐づけ、注意データセットとしてデータベースに記憶する。注意抽出システム１００は、例えばデータベースを参照し、参照情報に紐づく注意情報を取得し、注意データセットを利用する作業者の作業者装置１に表示するようにしてもよい。

注意抽出システム１００は、その後、例えば作業者によって選択された注意データセットに基づいて、作業者の視野範囲３ａに含まれる作業対象６の映像情報、視野先の視点変位の数値情報や座標情報などに基づいて、作業者の作業を評価し、評価結果に基づいて注視情報として、例えば作業対象６を特定し、さらに例えば「（１）確認」、「（２）調整」、などの対応情報を取得し、作業者装置３の視野範囲３ａに重畳して実際の表示と合わせて表示を行う。注意抽出装置１、教示者装置２、及び作業者装置３の各構成の詳細については、後述する。

ここで、図３を参照して、教示者の注視モードを特定について説明する。注意抽出システム１００は、例えば図３（ａ）～（ｃ）に示すような注意抽出方法により、教示者の注視モードを特定する。注意抽出システム１００は、例えば図３（ａ）に示すように、教示者装置２によって取得された視野範囲２ａにおける映像情報と、教示者の視点変位の座標情報（ｘ軸、ｙ軸）に基づいて、教示者の視野範囲における注視モードを特定する。

注意抽出システム１００は、教示者装置２を介して取得した映像情報及び座標情報に基づいて、視野範囲２ａにおける教示者の視点変位を座標から求め、教示者の注視モードを特定する。注意抽出システム１００は、例えば図３（ｂ）に示すように、教示者の視線変位の特徴が、「変位範囲が狭い（集中）」、「視点の注意点が少ない」場合は、「広視野モード」として特定するようにしてもよい。また、注意抽出システム１００は、例えば図３（ｃ）に示すように、教示者の視線変位の特徴が、「変位範囲が広い（分散）」、「視点の注意点が多い」場合は、「警戒モード」として特定するようにしてもよい。

注意抽出システム１００は、特定した注視モードに基づいて教示者が注視した注視領域を設定し、設定した注視領域において教示者が注視した作業対象の注視画像を抽出し、抽出した注視画像を、視野範囲、視点変位、及び注視モードと紐づけ、教示者の作業における注意情報としてサーバ４のデータベースなどに記憶する。なお、教示者、及び作業者は、それぞれ複数であってもよく、例えば同じ工程を複数の教示者、作業者が作業するようにしてもよく、注意抽出システム１００は、例えば教示者の１つ作業工程を、複数の作業者が分担して作業するように割り当ててもよい。

注意抽出システム１００による教示者、作業者の割り当ては、例えば作業工程の工程数や難易度、作業者のスキル、作業納期などに基づいて、決定するほか、例えば評価者により注意抽出装置１を介して割り当てられてもよく、どの作業に、何人の作業者を割り当て、どのように作業者を配置するかは任意であり、適宜に特定されるようにしてもよい。

＜注意抽出装置１＞
注意抽出装置１は、例えば教示者装置１が取得した教示者が行う作業の視野範囲における映像情報と、視野範囲において教示者が注視する視点を示す座標情報に基づいて、視野範囲における教示者の視点変位を求め、教示者の注視モードを特定する。

前記特定手段が特定する注視領域は、例えば教示者の視点変位が視野半径５度～２０度に含まれ、視野範囲の中心に集約する広視野モードと、視野半径４度以内に含まれ、視野範囲の中心より外側に分散する警戒モードとを含む。

注意抽出装置１は、例えば前述の図３（ｂ）に示すとおり、教示者の視線変位の特徴が、「変位範囲が狭い（集中）」、「視点の注意点が少ない」場合を「広視野モード」とし、他方、例えば前述の図３（ｃ）に示すとおり、教示者の視線変位の特徴が、「変位範囲が広い（分散）」、「視点の注意点が多い」場合を「警戒モード」として特定する。

注意抽出装置１は、例えば特定した注視モードに基づいて注視領域を設定し、注視領域において教示者が注視した作業対象の注視画像を抽出する。注意抽出装置１は、例えば抽出した注視画像を、視野範囲、視点変位、及び注視モードと紐づけ、作業における注意情報としてデータベースに記憶する記憶する。

ここで、図１１に、注意抽出システム１００における注意抽出装置１の注意抽出装置画面１ａの一例を示す。図１１は、例えば評価者によって操作される画面であり、教示者装置１により取得された各種の情報が表示される。

注意抽出装置１は、例えばデータベースを参照し、座標情報、注視領域、注視画像、及び注視変移を時系列に表示する注視表示領域１ｂ（視点移動距離グラフ、視点トラッキング、注視領域、注視対象、など）と、注視表示領域１ｂに表示される注視画像に対する設定を行なう設定情報を表示する対象設定領域１ｃ（注視対象評価、認識器生成、など）と、対象設定領域１ｃに表示される設定情報の判定条件を表示する判定設定領域１ｄ（対応情報設定、など）と、を少なくとも含む注視監視領域を注意抽出装置画面１ａに表示する。

注意抽出装置１は、例えば評価者からの各種の設定や調整に関する条件や数値などを、注意抽出装置画面１ａに表示する設定項目メニューを介して受け付ける。注意抽出装置１は、例えば受け付けた各種の条件や数値に基づいて、注視表示領域１ｂ、対象設定領域１ｃ、及び判定設定領域１ｄにおける表示や条件の設定や調整を行う。

注意抽出装置１は、例えば注意抽出装置画面１ａに表示する設定項目メニューを介して、評価者から受け付けた各種の条件に従って、教示者の注視画像に含まれる作業対象の正誤を確定する。注意抽出装置１は、確定結果を教示者装置２、または作業者装置３に表示するようにしてもよい。

注意抽出装置１は、例えば注意抽出装置画面１ａに表示する設定項目メニューを介して、評価者からの対応情報の入力を受け付ける。注意抽出装置１は、新たな対応情報の入力を受け付けるほか、既存の条件や設定、対応情報などの更新や削除も行い、サーバ４のデータベースに記憶するようにしてもよい。

注意抽出装置１は、例えば入力された対応情報を、注視画像と紐づけ、注視対象として認識するための設定条件を含む注意データセットを生成し、生成した注意データセットをサーバ４のデータベースに記憶するようにしてもよい。

図４（ａ）は、注意抽出装置１の構成の一例を示す模式図である。注意抽出装置１として、Ｒａｓｐｂｅｒｒｙ Ｐｉ（登録商標）等のシングルボードコンピュータが用いられるほか、例えばパーソナルコンピュータ（ＰＣ）等のような公知の電子機器が用いられてもよい。注意抽出装置１は、例えば筐体１０と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５～１０７とを備える。各構成１０１～１０７は、内部バス１１０により接続される。

ＣＰＵ１０１は、注意抽出装置１全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。保存部１０４は、学習モデルやデータベース等の各種情報が保存される。保存部１０４として、例えばＳＤメモリーカードのほか、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等のような公知のデータ保存媒体が用いられる。

Ｉ／Ｆ１０５は、用途に応じて接続される教示者装置２、作業者装置３、サーバ４、通信網５等との各種情報の送受信を行うための公知のインタフェースである。Ｉ／Ｆ１０５は、例えば複数設けられてもよい。

Ｉ／Ｆ１０６は、用途に応じて接続される入力部分１０８との各種情報の送受信を行うための公知のインタフェースである。入力部分１０８として、例えばキーボードが用いられ、注意抽出システム１００の管理等を行う管理者等は、入力部分１０８を介して、各種情報又は注意抽出装置１の制御コマンド等を入力又は選択する。

Ｉ／Ｆ１０７は、用途に応じて接続される表示部分１０９との各種情報の送受信を行うための公知のインタフェースである。表示部分１０９は、保存部１０４に保存された各種情報や、注意抽出装置１の処理状況等を出力する。表示部分１０９として、例えばディスプレイが用いられ、例えばタッチパネル式でもよい。この場合、表示部分１０９が入力部分１０８を含む構成としてもよい。

なお、Ｉ／Ｆ１０５～Ｉ／Ｆ１０７として、例えば同一のものが用いられてもよく、各Ｉ／Ｆ１０５～Ｉ／Ｆ１０７として、例えばそれぞれ複数のものが用いられてもよい。また、教示者装置２、作業者装置３、サーバ４、通信網５、入力部分１０８、及び表示部分１０９の少なくとも何れかは、状況に応じて取り外されてもよい。

＜記憶部１４（データベース）＞
記憶部１４は、例えば保存部１０４に各種のデータベースを記憶する。記憶部１４には、予め取得された過去の評価対象情報と、過去の評価対象情報に紐づく参照情報との間における連関性が記憶され、例えば連関性を有する学習モデルが記憶される。記憶部１４は、例えば教示者装置２、作業者装置３、及びサーバ４に備わってもよい。

記憶部１４には、例えば教示者の作業を取材する際の、教示者の注意行動（注意点、視点など）が記録される。注意抽出システム１００は、例えば教示者装置２を介して取得した注視画像、視野範囲、及び視点変位などの情報に基づいて、注視モードを判別するようにしてもよい。注意抽出システム１００は、例えば教示者の視線変位の特徴が、「変位範囲が狭い（集中）」、「視点の注意点が少ない」場合を「広視野モード」とし、他方、例えば前述の図３（ｃ）に示すとおり、教示者の視線変位の特徴が、「変位範囲が広い（分散）」、「視点の注意点が多い」場合を「警戒モード」として特定し、教示者の作業における注意情報としてサーバ４の記憶部１４などに記憶するようにしてもよい。

記憶部１４は、例えば教示者装置２に備わる入力系の各種のインタフェース（図示せず）により、教示者の作業に関する情報を、ジェスチャー、音声、視線、その他の入力デバイスにより取得された各種の情報を記憶する。注意抽出システム１００は、例えば入力デバイスを介して取得された各種の情報を、教示者に関する情報、教示者の作業に関する情報と各々紐づけて記憶部１４に記憶する。注意抽出システム１００は、例えば教示者による教示者装置２を介した記録開始、記録終了などの記録指示に応じて、各種の情報を適宜に記録するようにしてもよい。

記憶部１４には、例えば教示者装置２を介して、教示者が補足した視点に対して設けられた座標位置と、座標位置の変化、変化速度等が逐次に記録されるほか、例えば頭の位置と向きが作業空間座標上どうなっていたか等を、各作業を行なう場所の空間レイアウトごと記録されるようにしてもよい。注意抽出システム１００は、空間レイアウトごとに記録される各種の情報を、例えば公知の３６０°カメラ、監視カメラ、またはネットワークカメラなどの撮像装置により取得し、教示者の頭部の座標位置や座標位置の変化を示す情報などと紐づけて記憶部１４に記憶するようにしてもよい。

また、記憶部１４は、データベースへの記録終了後に、撮像データと撮影データと紐付けて記録した各種のデータを、教示者の作業における注意データセットとして記録されるようにしてもよい。注意データセットは、例えば注意抽出装置１を介して評価者により注意やノウハウが評価され、注意対象認識器と注意対象の監視における対応情報として記憶部４に登録（記録）される。

ここで、例えば注意対象認識器とは、注意抽出システム１００により評価済みの注意対象映像を用いて生成される装置であり、例えば公知のパターンマッチング等の画像処理プログラム、または画像認識モデルであってもよい。画像処理プログラム、または画像認識モデルは、例えば作業者が作業を行うときに装着する作業者装置３にインストールされてもよい。これにより作業者は、例えば作業を行うときに作業者装置３を介して取得した時系列の映像情報と座標情報とに基づいて、作業に対する注意情報を評価することが可能となる。

なお記憶部１４は、例えば予め取得された過去の注視画像情報と、前記注視画像に紐づく前記作業対象の正誤を示す参照情報との間における連関性が記憶されたデータベースをさらに備えてもよい。記憶部１４は、例えば判定部１５により参照され、教示者の作業における作業対象の正誤を判定する際に使用されてもよい。判定部１５は、例えば判定の結果に応じて対応する対応情報を取得するようにしてもよい。表示部１６は、例えば判定部１５により判定された内容に応じて、記憶部１４から対応する対応情報をさらに出力するようにしてもよい。

また記憶部１４には、例えば教示者装置２により取得され、評価部１５により注意ノウハウとして評価された注視対象認識器と注視対象の監視における対応情報が、作業者装置１３における作業の注意データセットとして登録されるようにしてもよい。

記憶部１４には、例えば教示者装置２により取得された過去の評価対象情報、及び参照情報を記憶されるようにしてもよい。連関性は、例えば過去の評価対象情報、及び参照情報を一組の学習データとして、複数の学習データを用いた機械学習により構築される。学習方法として、例えば畳み込みニューラルネットワーク等の深層学習が用いられる。

この場合、例えば連関性は、多対多の情報（過去の評価対象情報に含まれる複数のデータ、対、参照情報に含まれる複数のデータ）の間における繋がりの度合いを示す。

連関性は、機械学習の過程で適宜更新される。即ち、連関性は、例えば過去の画像データＡ、対応情報Ａ及び参照情報に基づいて最適化された関数を示す。このため、過去に評価対象情報を評価した結果を全て踏まえて構築された連関性を用いて、評価対象情報に対する評価結果が生成される。これにより、評価対象情報が他の画像データＡ、対応情報Ａなどと組み合わされる構成状態を有する場合においても、最適な評価結果を生成することができる。

また、記憶部１４に記憶される評価対象情報は、過去の評価対象情報と同一又は類似である場合のほか、非類似であってもよい。これにより注意抽出システム１００は、最適な評価結果を定量的に生成することができる。なお、注意抽出システム１００は、機械学習を行う際に汎化能力を高めることができ、未知の評価対象情報に対する評価精度の向上を図ることができる。

なお、連関性は、例えば過去の評価対象情報に含まれる複数のデータと、参照情報に含まれる複数のデータとの間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えば学習モデルがニューラルネットワークで構築される場合、重み変数に対応させることができる。

過去の評価対象情報は、上述した評価対象情報と同種の情報を示す。過去の評価対象情報は、例えば過去に画像データＡを評価した際に取得された評価対象情報を複数含む。

参照情報は、過去の評価対象情報に紐づき、画像データＡ、対応情報Ａに関する情報を示す。参照情報は、例えば画像データＡに対する作業範囲、作業指示、作業手順、後工程や関連作業の内容、同一エリアで作業を行なう他の作業者の分担作業や代替作業の内容、各種の作業関係や相互影響を踏まえた評価（例えば「確認」、「調整」、「注目（ＷＡＴＣＨ！）」、「判定」、「対応」、等）を示すほか、作業工程の進捗、チェックリスト、注目画像、表示情報の優先度、表示と非表示の組合せ、数値やデータ、分布などに関する各種の情報を含んでもよい。なお、参照情報に含まれる具体的な内容は、任意に設定することができる。

連関性は、例えば図５に示すように、過去の評価対象情報と参照情報との間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、過去の評価対象情報に含まれる複数のデータ（図５では「画像データＡ」～「画像データＣ」）のそれぞれに対し、参照情報に含まれる複数のデータ（図５では「参照Ａ」～「参照Ｃ」）の関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、過去の評価対象情報に含まれる１つのデータに対して、参照情報に含まれる複数のデータを紐づけることができ、多角的な評価結果の生成を実現することができる。

連関性は、例えば過去の評価対象情報に含まれる複数のデータと、参照情報に含まれる複数のデータとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。例えば、過去の評価対象情報に含まれる「画像データＡ」は、参照情報に含まれる「参照Ａ」との間の連関度ＡＡ「８０％」を示し、参照情報に含まれる「参照Ｂ」との間の連関度ＡＢ「５５％」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。なお、上述した機械学習により連関性を構築する際、連関性が３段階以上の連関度を有するように設定してもよい。

過去の評価対象情報は、例えば図６に示すように、過去の評価対象情報を分割し、過去の作業対象の注視画像と、過去の作業対象の対応情報とに分割して、データベースに記憶するようにしてもよい。この場合、過去の注視画像の画像データ及び過去の対応情報の組み合わせと、参照情報との間の関係に基づいて、連関度が算出される。なお、過去の評価対象情報は、例えば上記に加え、過去の対策情報を分割して、データベースに記憶されてもよい。

例えば、過去の注視画像に含まれる「画像データａ」、及び過去の対応情報に含まれる「対応情報ａ」の組み合わせは、「参照Ａ」との間の連関度ＡＡＡ「８５％」を示し、「参照Ｂ」との間の連関度ＡＢＡ「２５％」を示す。この場合、過去の対象データ及び過去の対応情報をそれぞれ独立してデータを記憶させることができる。このため、評価結果を生成する際、精度の向上及び選択肢の範囲を拡大させることが可能となる。

過去の評価対象情報は、例えば合成データと、類似度とを含んでもよい。合成データは、過去の対象データ又は過去の対応情報との間における３段階以上の類似度により示される。合成データは、数値、行列、又はヒストグラム等の形式でデータベースに記憶されるほか、例えば画像や文字列等の形式で記憶するようにしてもよい。

ここで、図７を参照して、本実施形態におけるデータベースの一例を説明する。データベースには、例えば注意抽出システム１００の利用者である教示者（教示作業者）、評価者、作業者などに関する各種の情報のほか、各種の作業の内容や工程に関する情報、作業者が使用する複数のデータセットが、注意データセットとして記憶される。

注意データセットは、例えば各々のデータテーブルの情報、教示者、作業者などの作業、評価者の評価などの各種の情報がそれぞれのデータと対応づけられる。評価者の評価は、例えば入力部１７によって入力される。注意データセットは、例えば『作業情報テーブル』、『作業手順テーブル』、『対応情報テーブル』、『教示作業記録テーブル』、『視点記録テーブル』、『視点記録データテーブル』、『注視対象テーブル』など、が少なくとも記憶される。

＜＜作業情報テーブル＞＞
『作業情報テーブル』には、例えば作業を行なう作業を識別するためのデータが記憶（格納）される。『作業情報テーブル』には、例えば教示者や作業者が行う作業を識別するための「作業ＩＤ」と「作業名」が記憶される。

＜＜作業手順テーブル＞＞
『作業手順テーブル』には、例えば教示者や作業者が行う作業の手順に関するデータが記憶（格納）される。『作業手順テーブル』には、例えば作業の手順を識別する「作業手順ＩＤ」と、「作業手順ＩＤ」に紐づけられて、「作業ＩＤ」、「作業手順名」、「作業順序」が各々に対応づけられて記憶される。『作業手順テーブル』は、例えば「作業ＩＤ」で『作業情報テーブル』と紐付けられる。

＜＜対応情報テーブル＞＞
『対応情報テーブル』には、例えば作業者が作業を行う際、取得手段によって取得された映像情報と視点の座標情報に基づいて判定手段によって作業対象の正誤を判定された後、表示手段によって表示される作業に対応する情報を識別するためのデータが記憶（格納）される。

『対応情報テーブル』には、例えば作業に対応するための情報を識別するための「対応情報ＩＤ」、「作業手順ＩＤ」、ナッジによる働きかけや事前確認情報の提示などを示す「事前」、見逃しをはじめとする作業状況に応じて表示する「割込みタイプ」などの表示タイプ等を示す「表示タイプ」が記憶される。

「表示タイプ」には、例えばアニメーション効果タイミング設定のように、開始タイミングのトリガー、表示時間または表示終了を示すトリガーが設定される。表示タイプが、例えば「割り込み」の場合、割り込みを行なうための判定タイミングを示す情報が『表示／判定開始条件』として記憶される。判定開始条件は、例えば割り込み判定のトリガーを指定するものであってもよい。

さらに『対応情報テーブル』には、「割り込み判定」に移行したときに、教示者がどのような基準や闘値でもって「見た」、「見ない」を判定するのかを示す『判定基準』、対応情報として表示される表示コンテンツが「対応情報コンテンツ」として記憶される。

「対応情報コンテンツ」には、例えばファイル名による指定の他、マークダウンなどで、作業の場で作成された対応情報が記憶されるようにしてもよい。『対応情報コンテンツ』には、例えば上司やベテランに連絡するなどといった単発指示が記憶され、編集画面を介して入力されることで生成されるようにしてもよい。

さらに『対応情報テーブル』には、例えば作業のレポートやチェックリストなど、作業手順ごとにその結果を記録するコンテンツを表示するタイミング等の条件を示す「作業結果記録表示条件」、作業のレボートやチェックリストなど作業結果を記録するためのコンテンツを示す「作業結果記録コンテンツ」が記憶される。

注意抽出システム１００は、「作業結果記録表示条件」を参照し、例えばジェスチャーや音声入力による合図に基づいて、注視対象が適切な状態になったことを画像比較で判定するようにしてもよい。注意抽出システム１００は、例えば判定結果を記憶する際の条件として、各種の情報やデータを「作業結果記録表示条件」に記憶するようにしてもよい。

なお注意抽出システム１００は、例えば「作業結果記録コンテンツ」におけるコンテンツの結果入力を必須とするようにしてもよい。注意抽出システム１００は、例えば本結果入力を判別し、判別の結果から１作業手順が完了したと判断するようにしてもよい。『対応情報テーブル』は、例えば「作業手順ＩＤ」で『作業手順テーブル』と紐付けられる。

＜＜教示作業記録テーブル＞＞
『教示作業記録テーブル』には、例えば教示者による作業に関する各種の情報が記憶（格納）される。『教示作業記録テーブル』には、例えば記録される教示作業を識別するための「教示作業記録ＩＤ」、教示作業を行った日時を示す「教示作業日時」、教示作業を行った教示者を示す「教示作業者」、教示作業を行った場所やエリアなどを示す「教示作業場所」、「作業ＩＤ」が各々の紐付けられて記憶される。『教示作業記憶テーブル』は、例えば「作業ＩＤ」で『作業情報テーブル』と紐付けられる。

＜＜視点記録テーブル＞＞
『視点記録テーブル』には、例えば取得部１１によって取得された教示者が作業を行なう視点に関する情報とデータが記憶（格納）される。『視点記録テーブル』には、教示者よって作業された視点記録を識別する「視点記録ＩＤ」、アイトラッキングによる視点の座標情報のデータが「視点記録データファイル」として記憶される。

なお、『視点記録テーブル』には、ミリ秒単位での取得となるストリームデータが記憶されるようにしてもよい。これにより注意抽出システム１００は、例えばデータを直接ＤＢに格納することはせず、ＪａｖａＳｃｒｉｐｔ（登録商標）オブジェクトノーテーション（ＪＳＯＮ：ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）などのデータの実ファイル名を記憶することができる。

また『視点記録テーブル』には、例えばアウトカメラによって記録される教示者の視野範囲における映像情報のデータを示す『視野範囲記録映像ファイル』が記憶される。さらに『視点記録テーブル』には、教示者による教示作業の履歴を識別する「教示作業記録ＩＤ」が記憶される。『視点記録テーブル』は、例えば「教示作業記録ＩＤ」で『教示作業記録テーブル』と紐付けられる。

＜＜視点記録データテーブル＞＞
『視点記録データテーブル』には、例えば教示者が作業を行った時に取得部１１によって取得された視点の座標情報の詳細な情報が複数記憶される。『視点記録データテーブル』には、視点記録データを格納するファイルを識別する「視点識別データファイル」、教示者によって記録された視点識別の時間を示す「視点記録経過時間」が記憶される。「視点記録経過情報」は、例えば教示者による作業開始の記録開始を００：００：００として、視点を記録した経過時間をレコードとして記憶（保持）される。「視点記録経過情報」は、例えば単位時間（例えば１秒間隔など）間隔で、各種位置情報と合わせて記録されるようにしてもよい。『視点記録データテーブル』は、例えば「視点識別データファイル」で『教示作業記録テーブル』と紐付けられる。

また『視点記録データテーブル』には、作業空間内にいる教示作業者の位置情報が「教示作業者位置情報（Ｘ,Ｙ,Ｚ）」として記憶される。「教示作業者位置情報（Ｘ,Ｙ,Ｚ）」には、例えば教示作業者が装着しているＨＭＤの位置、すなわち頭の位置情報の３次元座標が記録されるほか、さらに取得部１１により取得された「教示作業者向き情報（ｒａｄ）」、「教示作業者眼球位置情報（ｘ,ｙ,ｚ）」、「教示作業者眼球角度情報（ｒａｄ）」等の情報が合わせて記憶されるようにしてもよい。『視点記録データテーブル』は、例えば「視点記録データファイル」で『教示作業記録テーブル』と紐付けられる。

＜＜注視対象テーブル＞＞
『注視対象テーブル』には、例えば教示者が注視する対象物に関する各種の情報が記憶（格納）される。評価者が設定する各種の情報が複数記憶される。『注視対象テーブル』には、例えば教示者が注視する対象物を識別する「注視対象ＩＤ」、「視野範囲記録映像ファイル」、「視点記録データファイル」、「視点記録経過時間」、「作業手順ＩＤ」が記憶される。

また、『注視対象テーブル』には、「視野範囲記録映像ファイル」から視点記録経過時間における瞬間を切り出した静止画として「注視時視野範囲画像」が記憶されるほか、例えば『視点記録テーブル』にて関連付けられている映像情報と座標情報に基づいて特定部１２が特定した注視モードに基づき、抽出部１３によって抽出された注視対象物に関する位置を示す「注視対象位置（ｘ,ｙ）」、範囲を示す「注視対象範囲（ｘ,ｈ）」、注視対象の画像を示す「注視対象画像」を、作業における注意情報として記憶するようにしてもよい。

注意情報は、例えば取得部１１によって取得された情報に基づいて、特定部１２と抽出部１３によって生成された後、評価者によって評価、設定されて記録されるようにしてもよい。『注視対象テーブル』は、例えば「注視対象ＩＤ」で『視点記録テーブル』、「作業手順ＩＤ」で『作業手順テーブル』、「視点記録データファイル」で『視点記録データテーブル』と紐付けられる。

図４（ｂ）は、注意抽出装置１の機能の一例を示す模式図である。注意抽出装置１は、例えば取得部１１と、特定部１２と、抽出部１３と、記憶部１４と、判定部１５、表示部１６と、入力部１７と、及び監視表示部１８を備える。なお、図５（ｂ）に示した各機能は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、保存部１０４等に記憶されたプログラムを実行することにより実現される。

＜＜取得部１１（取得手段）＞＞
取得部１１は、作業を行なう教示者の視野範囲における映像情報と、視野範囲において教示者が注視する視点を示す座標情報と、を作業と紐づけて時系列に取得する。取得部１１は、例えば後述する取得ステップＳ１１０を実施する際に用いられる。取得部１１が教示者装置２から映像情報、及び座標情報を取得するタイミングは、任意に設定することができる。取得部１１は、例えば記憶部１４を介して、取得した映像情報と、座標情報と、を教示者が行う作業と紐づけて時系列に保存部１０４に保存する。

＜＜特定部１２（特定手段）＞＞
特定部１２は、取得部１１により取得された映像情報及び座標情報に基づいて、視野範囲における教示者の視点変位を求め、教示者の注視モードを特定する。特定部１２は、例えば後述する特定ステップＳ１２０を実施する際に用いられる。特定部１２は、例えば前述の図３に示すとおり、教示者装置２によって取得された視野範囲２ａにおける映像情報と、教示者の視点変位の座標情報（ｘ軸、ｙ軸）に基づいて、教示者の視野範囲における注視モードを特定する。

次に特定部１２は、取得部１１により取得された情報に、既に記憶済みの「広視野モード」、「警戒モード」とは異なる特徴や傾向があれば、新たなモードとして特定するようにしてもよい。特定部１２は、注意抽出装置１により、各種のモードを任意に設定することができる。特定部１２は、例えば記憶部１４を介して、取得した既存のモードに対する変更のほか、新たなモードを、教示者と、教示者が行う作業と紐づけて時系列に保存部１０４に保存する。なお、特定部１２による教示者の各種モードの特定は、例えば評価者が取得部１１により取得され、データベースに記憶された情報をもとに、各種のモードの設定を行なうようにしてもよい。

＜＜抽出部１３（抽出手段）＞＞
抽出部１３は、特定部１２により特定された注視モードに基づいて注視領域を設定し、注視領域において教示者が注視した作業対象６の注視画像を抽出する。抽出部１３は、例えば特定部１２により特定された注視モードが複数ある場合は、それぞれの注視モードに基づいて、設定された注視領域に含まれる作業対象６の注視画像を判別し、時系列に抽出するようにしてもよい。

抽出部１３は、例えば注視モードに基づいて、設定された注視領域に含まれる作業対象６の注視画像を抽出し、教示者の作業や確認に順序性がある場合は、順序性を重視した順番で時系列に抽出するほか、順序性がない場合は、１作業に複数の注視画像を紐づけて抽出するようにしてもよい。

抽出部１３は、例えば通信網５を介して、抽出結果を記憶部１４や注意抽出装置１等に出力してもよい。抽出部１３は、例えば記憶部１４を介して、抽出した注視画像を、教示者と、教示者が行う作業、注視モードなどと紐づけて保存部１０４に保存する。なお、抽出部１３による注視画像と注視モードなどと紐づけは、保存部１０４に保存された各種の情報をもとに、評価者が設定を行なうようにしてもよい。

＜＜記憶部１４（記憶手段、データベース）＞＞
記憶部１４は、抽出部１３により抽出された注視画像を、視野範囲、視点変位、及び注視モードと紐づけ、教示者の作業における注意情報としてデータベースに記憶する。記憶部１４は、各種情報を保存部１０４に記憶させ、又は各種情報を保存部１０４から取出す。

記憶部１４は、予め取得された過去の注視画像情報と、注視画像に紐づく作業対象の正誤を示す参照情報との間における連関性を複数記憶する。記憶部１４は、例えば取得部１１、特定部１２、抽出部１３、判定部１５、表示部１６、入力部１７、及び監視表示部１８の処理内容に応じて、各種情報の記憶又は取出しを行う。

＜＜判定部１５（判定手段）＞＞
判定部１５は、例えば作業者の作業者装置３を介して取得される作業の注視画像に含まれる作業対象の正誤を作業に関する注意データセットを用いて判定する。判定部１５は、記憶部１４に記憶されるデータベース、または保存部１０４を参照し、作業者の作業者装置１を介して取得された映像情報に基づき、データベースを参照し、作業者が行う注視情報（例えば作業対象６など）に対する作業の正誤を判定する。

判定部１５は、例えば判定の結果に応じて、各種の対応情報をデータベースより取得する。判定部１５は、例えば前述の図２の作業者装置３の視野範囲３ａに表示される対象情報（「（１）確認 ＯＫ；０１２３４」、「（２）調整 手順：ＸＸＸ」、など、作業者が対応すべき作業に関する情報を取得する。判定部１５は、例えば取得した対応情報を、作業者装置３の表示部１６に送信する。

判定部１５は、例えば同じ作業エリアにおいて、同一作業を複数作業者で作業する場合、複数作業者の作業対象の正誤判定をまとめて判定するようにしてもよい。この場合、例えば複数の作業者は、予め共通の作業用の注意データセットを各々の作業者装置３に設定しておく。判定部１５は、例えば取得部１１により取得された座標情報から、各々の作業者の頭部の位置と向きを示す座標情報と、作業の作業空間を示す座標情報と、の関係性に基づいて、作業の作業空間レイアウトごとに複数取得し、各作業者の作業、作業対象を統合的、またはグループ単位で判定するようにしてもよい。

さらに判定部１５は、例えば本来の作業者が本来作業すべき作業対象に対して正しい方向を向いているか、向いていない場合（気付いていない場合）は、サポートできる他の作業者は居るか、本来の作業者が作業すべき作業対象の方を向いている他の作業者は存在するか、等の状態の情報を取得する。判定部１５は、例えば取得したそれらの情報と各作業者の作業工程の情報に基づき、本来の作業者が注視しなかった場合でも、作業対象を適切に作業できる周囲で共同作業を行なう他の作業者の作業者装置３に対応情報を送信するようにしてもよい。

＜＜表示部１６（表示手段）＞＞
表示部１６は、例えば判定部１５により取得された各種の対応情報を、教示者の作業に基づき生成された注意データセットを用いて、対応する作業を行なう作業者の作業者装置３などに出力する。表示部１６（作業者装置３の表示部分１０９）は、例えば判定部１５から送信された各種の対応情報を、作業者が装着する作業者装置３の視野範囲３ａに、実際の映像に重畳して対応情報の表示を合わせて表示する。

表示部１６は、例えば同じ作業エリアにおいて、同一の作業を複数の作業者で分担して作業するような場合は、それぞれの作業者の作業状況や作業位置に応じて、判定部１５より取得した体操情報を適宜に表示する。

また表示部１６は、例えば図９に示すような作業に対する注意情報を抽出する表示を教示者装置２に表示する。図９は、例えば本実施形態における注意抽出方法の一例を示す模式図である。表示部１６は、例えば得手部１１による映像情報の取得前は、図９（ａ）に示すように記録日時情報、記録位置情報、及び記録制御情報を、視野範囲２ａ内の中央に表示する。また表示部１６は、例えば取得部１１による映像情報の取得中、記録制御情報（例えば「記録一時停止」、「記録終了」、など）のみに切り替えて視野範囲２ａの隅に表示するようにしてもよい。

また、表示部１６は、例えば図９（ｃ）～（ｅ）に示すように、各操作を指示する表示を教示者装置２の視野範囲２ａ内の中央に表示するようにしてもよい。表示部１６によるこれらの表示は、例えば教示者が予定していた作業工程と、教示者が行った作業結果と、教示者装置２に予め備わる位置検出センサーにより作業の区切りや終了のタイミングを検知し、表示するようにしてもよい。

表示部１６は、例えば図１０（ａ）及び（ｂ）、及び図１２（ａ）～（ｅ）に示すような表示を作業者装置３に表示する。図１０（ａ）及び（ｂ）は、例えば本実施形態における前述の注意データセットを用いて、作業者が作業者装置３を介して作業を行う際に表示される注意抽出の一例を示す模式図であり、図１２（ａ）～（ｅ）は、例えば本実施形態における作業者が保持する作業者装置３（作業者端末、スマートフォンや表示デバイスなど）の表示の一例を示す模式図である。

表示部１６は、判定部１５による判定の結果に応じて、例えば作業者が装着する作業者装置３の視野範囲３ａに含まれる注視対象６ａ、または作業者が保持する表示デバイスなどに対して、判定部１５による判定結果を表示する。さらに表示部１６は、判定部１５がデータベースを参照し、取得した判定の結果に応じた対応情報を表示する。

図１０（ａ）は、例えば作業者が作業中で、作業者に対する対応情報がない状態の視野範囲３ａの表示である。また図１０（ｂ）は、例えば作業者が作業中で、作業者に対する対応情報がある状態の視野範囲３ａの表示であり、視野範囲３ａには対応情報として、本来注視すべきポイント（視野範囲３ａの正しい注視対象：○印＋「ＷＡＴＣＨ！」）、作業者が確確認または参照すべき手順や関連情報（視野範囲３ａ中央：「Ｃｈｅｃｋ－３－Ａ」、「チェック」、「判定」、「対応」、「参照先」、など）、作業者自身、または共同作業者の作業状況・チェック結果（視野範囲３ａ左側：作業場所、作業内容、作業経過、など）の表示である。

さらに表示部１６は、例えば作業者による作業の始めに、映像情報を取得する取得部１１の種別、データベースに記憶される注意データセットの種別、及び作業の開始を各々に選択させる指示を表示する取得表示領域を表示し、作業者によって選択された注意データセットに基づき、作業者の注視画像に対応する対応情報、及び注意情報を表示する注意表示領域と、を切り替えて表示する注意情報表示領域と、をさらに備えるようにしてもよい。

さらに表示部１６は、作業者装置３の視野範囲３ａに表示する注意情報を、例えば作業者の作業経過に応じて、作業開始、作業中間、又は作業終了の少なくとも何れかのタイミングで表示する情報を、ナッジ情報として適宜に表示するようにしてもよい。表示部１６は、例えば注意データセット、及び判定部１５による判定の結果に基づいて、注意データベースを参照し、対応情報、注意情報、又はナッジ情報など取得し、取得した各種の情報を作業を行なう作業者の注視状況に応じて振り分けて表示する。

表示部１６が表示するナッジ情報は、例えば作業者に表示するアプローチとして、対象者に意識させないナッジデフォルト（無意識に促す）、仕掛け（自然に促す）、作業者に意識させるが選択は作業者に委ねるナッジ、ラベリング（意図的に促す）、及びインセンティブ（報酬で促す）のような表示であってもよい。ナッジ情報の表示は、例えば作業工程や作業の進捗と、作業者の性格、気質、評価、作業の難易度、想定終了時間などと紐付けられ、作業者の実際の作業の進捗に応じて、適宜にデータベースから抽出され、表示されるようにしてもよい。

また表示部１６は、ナッジ情報の表示を、例えば判定部１５の判定の結果表示候補として挙がった参照情報を直接表示する他に、例えば「大丈夫？」、「ちょっとまって？」などと疑問を投げかけるパターンをランダムで表示するようにしてもよい。また表示部１６は、作業者装置３の視野範囲３ａを中央、または視野範囲３ａ内において、注視対象６ａの該当箇所でランダムに表示するようにしてもよい。

また表示部１３は、例えば表示の出力方法を混在させる、またはランダムで変える（視覚、聴覚、ハプティクス（バイブレーション）、ナッジ情報のアプローチ（ラベリング）、ナッジ情報の手法（語りかける、端的に打ち出す、「？」と思わせる、ガラッと変える）は、作業者のスキルや作業の進捗などに応じて、適宜に設定、表示するようにしてもよい。

また表示部１６は、例えば表示するナッジ情報に対して、関連するバイアスとして、ヒューリスティック、正常性（現状維持）、変化をつけて慣れや飽き、現状維持への期待による参照情報の見逃しを防止のための表示をするようにしてもよい。表示部１６は、例えばナッジ情報を表示するための前提処理として、作業者が作業している作業全体の流れや手順を把握する手段（図示せず）を備えてもよく、さらに然るべき注意からの逸脱を検出する手段（図示せず）をさらに備えるようにしてもよい。

また表示部１６は、例えば作業者による作業が終了した場合は、データベースを参照し、作業者に対する労いの言葉などを表示するようにしてもよく、どのようなナッジ情報がどのようなタイミングで表示されるかは任意である。これにより、例えば作業者に対して表示される対応情報に変化をつけて表示することが可能となり、作業者の慣れや飽き、現状維持への期待による参照情報の見逃しを防止することが可能となる。

さらに表示部１６は、例えば図１１に示すような表示を注意抽出装置１に表示する。図１１は、例えば本実施形態における注意抽出装置１の注視監視領域を注意抽出装置画面１ａとして表示する。表示部１６は、前述の通り、例えば教示者による作業を評価者が注意抽出装置１を介して、データベースを参照し、座標情報、注視領域、注視画像、及び注視変移を時系列に注視表示領域１ｂに表示する。

表示部１６は、例えば図１１に示すとおり、注視表示領域１ｂに表示される注視画像に対する設定を行なう設定情報を対象設定領域１ｃに表示する。さらに表示部１６は、例えば対象設定領域１ｃに表示される設定情報の判定条件を判定設定領域１ｄに表示する。

表示部１６は、例えば注視表示領域１ｂに表示される注視画像に対する設定を行なう設定情報を対象設定領域１ｃに表示する。さらに表示部１６は、例えば対象設定領域１ｃに表示される設定情報の判定条件を判定設定領域１ｄに表示する。

＜＜入力部１７（入力手段）＞＞
入力部１７は、例えば判定部１６により出力される対応情報を入力する。入力部１７は
、例えば注意抽出装置１に表示される注意抽出装置画面１ａを介して、例えば評価者から
の各種の設定や調整に関する条件や数値のほか、例えば注意抽出装置画面１ａに表示する
設定項目メニューを介して受け付ける。これにより、例えば取得部１１、特定部１２、抽
出部１３、記憶部１４、判定部１５、表示部１６、及び監視表示部１８は、入力部１７が
受け付けた各種の条件や数値に基づいて、各種の処理を行なう。

入力部１７により入力された対応情報は、注視画像と紐づけられ、注視対象として認識するための設定条件を含む注意データセットとしてサーバ４のデータベースに記憶される。

＜＜監視表示部１８（監視表示手段）＞＞
監視表示部１８は、例えば教示者による作業を評価者が参照、設定する各種の情報を注意抽出装置画面１ａに注視監視領域として表示する。監視表示部１８は、例えばデータベースに記憶された座標情報、注視領域、注視画像、及び注視変移を時系列に表示する注視表示領域１ｂと、注視表示領域に表示される注視画像に対する設定を行なう設定情報を表示する対象設定領域１ｃと、対象設定領域に表示される設定情報の判定条件を表示する判定設定領域１ｄを表示する。

注意抽出装置１は、例えば教示者の教示者装置２を介して作業に関する映像情報を取得する。教示者が行う作業は、例えば作業者の作業に応じて設定される各種の注意データセットごとに予め選択されており、選択された作業に対応する注意データセットで教示者による作業の注視データセットが生成されるようにしてもよい。

注意抽出装置１により抽出された注意データセットは、例えば作業者Ａ～Ｃによって選択され、選択された注意データセットにより作業者～Ｃの作業が評価される。なお、評価者は注意抽出装置１を介して、例えば注意データセットを用いて作業を行なう作業者Ａ～Ｃの作業状況の監視を行なってもよい。注意抽出装置１は、例えば作業者Ａ～Ｃの作業状態を注視データセットを用いた作業と合わせて取得し、例えば各作業者が装着する作業者装置１により作業対象の画像や位置情報を取得し、注意抽出装置１の表示部１６に表示するようにしてもよい。

評価者は、例えば注意抽出装置１に表示される注意抽出装置画面１ａに表示される作業者Ａ～Ｃの作業状況を参照し、注意データセットとは別の作業や評価が発生した場合には、例えば作業者Ｃが本来の作業をできていない（作業順序を飛ばしており、別の作業対象の前に居る）場合で、作業者Ｂが本来の作業者Ｃの作業を確認できる位置にいる場合は、作業者Ｃが本来注視すべき注視情報に対する作業を「無視」とし、作業者Ｂに対しての注視すべき注視情報に対する作業を「代行」としてリアルタイムで指示するようにしてもよい。

＜教示者装置２＞
教示者装置２は、作業の教示者のほか、例えばエキスパート、有資格者などが装着し、教示者の作業を通じて教示者の目で見た映像情報を取得する。教示者装置２は、例えば公知のアイトラッキング技術、ヘッドマウントディスプレィ、またはスマートグラス等であってもよく、映像情報と合わせて、音声や周囲の音情報、気温や湿度、位置情報、空間情報等を取得するようにしてもよい。

教示者装置２は、例えば注意抽出装置１、他の教示者装置２、作業者装置３、サーバ４とデータ通信可能な状態で接続されるほか、例えば注意抽出装置１を内蔵してもよい。

＜作業者装置３＞
作業者装置３は、作業を行なう作業者のほか、例えば教示者以外の者が装着し、作業者の作業を通じて作業者の目で見た映像情報を取得する。作業者装置３は、例えば公知のアイトラッキング技術、ヘッドマウントディスプレィ、またはスマートグラス等であってもよく、映像情報と合わせて、音声や周囲の音情報、気温や湿度、位置情報、空間情報等を取得するようにしてもよい。

作業者装置３は、例えば注意抽出装置１、教示者装置２、他の作業者装置３、サーバ４とデータ通信可能な状態で接続されるほか、例えば注意抽出装置１を内蔵してもよい。

＜通信網５＞
通信網５は、例えば注意抽出装置１、教示者装置２、及び作業者装置３が、通信回路を介して接続されるインターネット網を示し、光ファイバ通信網で構成されてもよい。通信網５は、有線通信網のほか、無線通信網等の公知の通信網で実現できる。

＜学習モデル＞
学習モデルは、例えば機械学習によりデータベースを生成する。学習モデルは、例えば教示者装置２を用いて撮影された注視画像を含む学習用対象画像と、教示者用装置２を用いて撮像された注視画像の正誤を示す参照情報と、を一対の学習データとして、教示者用装置２における作業毎に複数取得する。学習モデルは、複数の学習データを用いた機械学習により、複数の学習用対象画像と、複数の参照情報との間における連関性が記憶されたデータベースにより生成される。

図８は、本実施形態における注意抽出方法の一例を示す模式図である。注意抽出方法は、取得ステップＳ１１０と、特定ステップＳ１２０と、抽出ステップＳ１３０と、記憶ステップＳ１４０と、判定ステップＳ１５０とを備える。なお、注意抽出方法は、注意抽出システム１００を用いて実施することができる。

＜取得ステップＳ１１０＞
取得ステップＳ１１０は、例えば映像情報と、座標情報と、を作業と紐づけて時系列に取得する。取得ステップＳ１１０は、例えば公知のカメラや撮像装置等を備えた教示者装置２を用いて取得する。また取得ステップＳ１１０は、例えば作業者装置３から映像情報と、座標情報と、を作業と紐づけて時系列に取得するようにしてもよい。取得ステップＳ１１０は、例えば教示者、及び作業者によって選択されたデバイスにより映像情報などを取得する。

＜特定ステップＳ１２０＞
特定ステップＳ１２０は、教示者の視点変位を求め、教示者の注視モードを特定するする。特定ステップＳ１２０は、例えば取得ステップＳ１１０において取得された映像情報及び前記座標情報に基づいて、教示者の視野範囲における視点変位を求め、教示者の注視モードを特定する。

特定ステップＳ１２０は、例えば教示者の視点変位が、教示者の視野半径５度～２０度に含まれ、視野範囲の中心に集約する特徴がある場合は「広視野モード」と特定する。また特定ステップＳ１２０は、例えば教示者の視点変位が、教示者の視野半径４度以内に含まれ、視野範囲の中心より外側に分散する特徴がある場合は「警戒モード」とする。

特定ステップＳ１２０は、例えば教示者装置２によって取得された視野範囲２ａにおける映像情報と、教示者の視点変位の座標情報（ｘ軸、ｙ軸）に基づいて、教示者の視野範囲における注視モードを、「広視野モード」と「警戒モード」として特定する。特定ステップＳ１２０は、例えば教示者の視点変位の座標情報に基づいて、注視モードを「広視野モード」と「警戒モード」として特定したが、他の特徴や傾向が確認できれば、確認できた注視モードを新たに設定するようにしもよい。

＜抽出ステップＳ１３０＞
抽出ステップＳ１３０は、例えば注視領域を設定し、教示者が注視した作業対象の注視画像を抽出する。抽出ステップＳ１３０は、例えば特定ステップＳ１２０により特定された注視モード（例えば「広視野モード」、「警戒モード」）に基づいて、教示者が注視する注視領域を設定する。抽出ステップＳ１３０は、例えば設定した注視領域において、教示者の映像情報の中から、教示者が注視した作業対象の注視画像を抽出する。

抽出ステップＳ１３０は、例えば教示者の注視領域の映像情報の中に、複数の注視画像があれば、注視した順番や注視した時間で抽出するようにしてもよい。抽出ステップＳ１３０は、例えば評価者によって設定された条件に応じて、教示者が注視する注視領域において、映像情報の中から作業対象の注視画像を抽出する。これにより、教示者の注視の状態を把握し、適した注意情報を抽出することができる。

＜記憶ステップＳ１４０＞
記憶ステップＳ１４０は、例えば注視画像を視野範囲、視点変位、注視モードと紐づけ、注意情報として記憶する。記憶ステップＳ１４０は、例えば抽出ステップＳ１３０により抽出された注視画像を、視野範囲、視点変位、及び注視モードと紐づけ、作業における注意情報として前述の通りデータベースに記憶する。

＜判定ステップＳ１５０＞
判定ステップＳ１５０は、例えば作業者装置３を介して取得された注視画像に含まれる作業対象の正誤を、注意データセットを用いて判定する。判定ステップＳ１５０は、例えば取得ステップＳ１１０により作業者装置３により取得された注視画像に基づき、作業対象の正誤を判定する。判定ステップＳ１５０は、例えば選択した作業毎の注意データセットを用いた評価のほか、例えば注意抽出装置１を介して、作業を監視している評価者の評価により判定するようにしてもよい。

判定ステップＳ１５０は、例えば取得ステップＳ１１０により作業者装置３により注視画像を取得する場合は、予め作業者装置３において選択された注意データセットに基づき、作業者が作業する作業対象の正誤を判定するようにしてもよい。判定ステップＳ１５０は、同一の作業エリアの複数の作業者の作業を判定するようにしてもよい。

判定ステップＳ１５０は、例えば同一、又は共通の注意データセットで、複数の作業者による作業を同時に判定するようにしてもよい。これにより、例えばある作業者が見落とした、あるいは工程を先飛ばした、または順不同の作業工程に対して、各作業者の作業位置や作業状況に応じた判定を行うことができる。

判定ステップＳ１５０は、例えばデータベースに記憶される『作業情報テーブル』、『作業手順テーブル』、『対応情報テーブル』、『教示作業記録テーブル』、『視点記録テーブル』、『視点記録データテーブル』、『注視対象テーブル』などの各種のデータテーブルなどを参照し、各種のデータテーブル、注視データセットに基づいて作業対象の正誤を判定し、判定の結果に応じて、対応作業や参照リンクに記憶される各種の対応情報を取得する。判定ステップＳ１５０により取得された対応情報は、例えば対応する教示作業者、その他の作業者の作業者装置３に表示されるようにしてもよい。

また、判定ステップＳ１５０は、例えば入力部１７を介して、データベースに記憶される各種のデータテーブルの対応情報の追加や更新などを入力する。入力部１７は、例えば各種のデータテーブルの各々に記憶される特定対象や判定対象の作業工程、判定条件、対応作業、参照リンクなどを適宜に入力することができる。

これにより、本実施形態における注意抽出装置１の動作が終了する。

また、本実施形態によれば、例えば注意抽出装置１は、教示者装置２の取得部１１を介して、映像情報を取得する。映像情報には、例えば教示者による作業の記録日時情報、記録位置情報、及び映像情報の取得操作に関する記録制御情報を含むようにしてもよい。

また、本実施形態によれば、例えば表示部１１は、図９に示すとおりに教示者装置２の表示を切り替える。表示部１１は、例えば取得部１１による映像情報の取得前は、記録日時情報、記録位置情報、及び記録制御情報を視野範囲内の中央に表示する。また取得部１１は、映像情報の取得中は記録制御情報のみに切り替えて視野範囲の隅に表示する。これにより、教示者の作業の妨げにならない表示を行なうことが可能となる。

また、本実施形態によれば、表示部１６は、注意情報を表示する。表示情報は、例えば作業者が作業する作業経過、作業状況などの情報に応じて、作業開始、作業中間、又は作業終了のタイミングで、ナッジの理論に基づきナッジ情報を表示する。これにより、従来のコンピューターシステムや情報との対話に影響するバイアスを排除することができ、ナッジ理論に基づくナッジ表示の表示により、注意抽出システム装置１からの報知の効果を高めることが可能となる。

本発明の実施形態を説明したが、上述した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上述した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ ：注意抽出装置
１ａ ：注意抽出装置画面
１ｂ ：注視表示領域
１ｃ ：対象設定領域
１ｄ ：判定設定領域
１ｅ ：作業空間マップ
１ｆ ：作業代行フラグ
２ ：教示者装置
２ａ ：視野範囲（教示者）
２ｂ ：注視モード
３ ：作業者装置
３ａ ：視野範囲（作業者）
４ ：サーバ
５ ：通信網
６ ：作業対象
６ａ ：注視対象
１０ ：筐体
１１ ：取得部
１２ ：特定部
１３ ：抽出部
１４ ：記憶部（データベース）
１５ ：判定部
１６ ：表示部
１７ ：入力部
１８ ：監視表示部
５０ ：作業エリア
１００ ：注意抽出システム
Ｓ１１０ ：取得ステップ
Ｓ１２０ ：特定ステップ
Ｓ１３０ ：抽出ステップ
Ｓ１４０ ：記憶ステップ
Ｓ１５０ ：判定ステップ

Claims (7)

1. 作業に対する注意情報を抽出する注意抽出システムであって、
   前記作業を行なう教示者の視野範囲における映像情報と、前記視野範囲において前記教示者が注視する視点を示す座標情報と、を前記作業と紐づけて時系列に取得する取得手段と、
   前記取得手段により取得された前記映像情報及び前記座標情報に基づいて、前記視野範囲における前記教示者の視点変位を示す時系列の前記座標情報が、前記視野範囲の中心に集約する場合は広視野モードとし、前記視野範囲の中心より外側に分散する場合は警戒モードとして、前記教示者の注視モードを特定する特定手段と、
   前記特定手段により特定された前記注視モードに基づいて注視領域を設定し、前記注視領域において前記教示者が注視した作業対象の注視画像を抽出する抽出手段と、
   前記抽出手段により抽出された前記注視画像を、前記視野範囲、前記視点変位、及び前記注視モードと紐づけ、前記作業における注意情報としてデータベースに記憶する記憶手段と、
   を備えることを特徴とする注意抽出システム。
2. 前記取得手段は、
   作業を行う作業者の注視画像を取得し、前記注視画像に含まれる映像情報と、予めデータベースに記憶された前記作業者が対応すべき作業に関する対象情報とに基づいて、前記作業者が行う作業対象に対する作業の正誤を判定する判定手段をさらに備え、
   前記判定手段の判定結果を表示する表示手段と、をさらに備えること、
   を特徴とする請求項１記載の注意抽出システム。
3. 予め取得された過去の注視画像情報と、前記注視画像に紐づく前記作業対象の正誤を示す参照情報との間における連関性が記憶されたデータベースをさらに備え、
   前記判定手段は、前記データベースを参照し、前記作業対象の正誤を判定するとともに、判定の結果に応じた対応情報を前記データベースより取得し、
   前記表示手段は、前記判定手段により取得された前記対応情報をさらに出力すること、
   を特徴とする請求項２記載の注意抽出システム。
4. 前記判定手段により出力される対応情報を入力する入力手段をさらに備え、
   前記記憶手段は、前記入力手段により入力された前記対応情報を、前記注視画像と紐づけ、注視対象として認識するための設定条件を含む注意データセットとして記憶すること、
   を特徴とする請求項２記載の注意抽出システム。
5. 前記取得手段により取得される前記映像情報は、前記教示者による作業の記録日時情報、記録位置情報、及び前記映像情報の取得操作に関する記録制御情報を含み、
   前記表示手段は、前記取得手段による前記映像情報の取得前は、前記記録日時情報、前記記録位置情報、及び前記記録制御情報を前記視野範囲内の中央に表示し、前記映像情報の取得中は前記記録制御情報のみに切り替えて前記視野範囲の隅に表示すること、
   を特徴とする請求項２記載の注意抽出システム。
6. 前記表示手段は、
   前記作業を行なう作業者に対して、前記映像情報を取得する前記取得手段の種別、前記データベースに記憶される注視対象として認識するための設定条件を含む注意データセットの種別、及び前記作業の開始を各々に選択させる指示を表示する取得表示領域と、前記選択の後に前記注意データセットに基づき、前記作業者の注視画像に対応する対応情報、及び注意情報を表示する注意表示領域と、を切り替えて表示する注意情報表示領域と、をさらに備え、
   前記注意表示領域に表示される前記注意情報を、前記作業者の作業経過に応じて、作業開始、作業中間、又は作業終了の少なくとも何れかのタイミングで表示されるナッジ情報を含ませ、
   前記注意情報表示領域に表示される前記対応情報、前記注意情報、又は前記ナッジ情報の少なくとも何れかを含む情報を、前記注意データセット、及び前記判定手段による判定の結果に基づき、前記作業を行なう作業者の注視状況に応じて振り分けて表示すること、
   を特徴とする請求項２記載の注意抽出システム。
7. 作業に対する注意情報を抽出する注意抽出方法であって、
   前記作業を行なう教示者の視野範囲における映像情報と、前記視野範囲において前記教示者が注視する視点を示す座標情報と、を前記作業と紐づけて時系列に取得する取得ステップと、
   前記取得ステップにより取得された前記映像情報及び前記座標情報に基づいて、前記視野範囲における前記教示者の視点変位を示す時系列の前記座標情報が、前記視野範囲の中心に集約する場合は広視野モードとし、前記視野範囲の中心より外側に分散する場合は警戒モードとして、前記教示者の注視モードを特定する特定ステップと、
   前記特定ステップにより特定された前記注視モードに基づいて注視領域を設定し、前記注視領域において前記教示者が注視した作業対象の注視画像を抽出する抽出ステップと、
   前記抽出ステップにより抽出された前記注視画像を、前記視野範囲、前記視点変位、及び前記注視モードと紐づけ、前記作業における注意情報としてデータベースに記憶する記憶ステップと、
   をコンピュータに実行させること
   を特徴とする注意抽出方法。

Images