JP7361985B2 - Ａｒコンテンツ表示装置、ａｒコンテンツ表示システム、ａｒコンテンツ表示方法およびプログラム - Google Patents

Description

本開示は、ＡＲコンテンツ表示装置、ＡＲコンテンツ表示システム、ＡＲコンテンツ表示方法およびプログラムに関する。

近年のヘッドマウントディスプレイの発展、ＡＲ（Augmented Reality）のコンテンツ作成アプリの登場などにより、作業指示および技能教育のためにＡＲの技術を製造現場に適用することが検討されている。一方で製品を製造する作業手順、模範作業者の作業動作などをＡＲで表示するためのコンテンツ作成には専門知識と設計工数が必要である。またコンテンツ作成後も作業手順の見直しにより手戻りが発生する。そこで、作業指示および技能教育のためのＡＲコンテンツを自動的に作成する技術が求められている。

特許文献１には、仮想現実または拡張現実用の作業手順、模範作業者の作業動作などに基づく訓練用コンテンツを作成し、この訓練用コンテンツをもとに作業者の一連の作業を評価し、コンテンツを更新するコンテンツ作成システムが開示されている。

特開２０２０－３７０７号公報

特許文献１に記載の技術では、作業者の習熟度に関係なくＡＲコンテンツが表示されるので、この技術を作業指示および技能教育に適用したとしても、作業者の習熟度によっては、作業の遂行および技能の習得に期間を要する可能性があり、非効率である。

本開示は、ＡＲコンテンツを表示して作業指示および技能教育を行う現場において、作業の遂行および技能の習得を効率化することを目的としている。

上記目的を達成するため、本開示に係るＡＲコンテンツ表示装置は、作業情報生成部と、記憶部と、習熟度算出部と、ＡＲマーカー決定部と、ＡＲマーカー出力部とを備える。作業情報生成部は、作業者が装着し、ＡＲマーカーに対応するＡＲコンテンツを表示するウェアラブル端末から画像データを取得し、画像データに基づいて作業者の作業動作を示す作業情報を生成する。記憶部は、作業情報、模範作業者の作業動作を示す模範作業情報およびＡＲマーカーを示すＡＲマーカー情報を記憶する。習熟度算出部は、作業情報が示す作業動作を含む工程と同じ工程の、前回の作業情報および模範作業情報に基づいて、作業者と模範作業者との工程内の各作業手順における作業動作の差分を作業者の習熟度として算出し、作業者の習熟度を示す習熟度情報を生成する。ＡＲマーカー決定部は、習熟度情報に基づいて、工程内の各作業手順に割り当てるＡＲマーカーを決定する。ＡＲマーカー出力部は、ＡＲマーカー決定部が決定したＡＲマーカーを示すＡＲマーカー情報をウェアラブル端末に出力する。

本開示によれば、ＡＲコンテンツを表示して作業指示および技能教育を行う現場において、作業者の習熟度に基づいて、ＡＲコンテンツを表示することで、作業の遂行および技能の習得を効率化することができる。

実施の形態に係るＡＲコンテンツ表示システムの構成例を示す図 実施の形態に係る位置座標データの例を示す図 実施の形態に係る作業分類の発生回数の集計結果の例を示す図 実施の形態に係る問題動作の発生回数の集計結果の例を示す図 実施の形態に係るＡＲコンテンツ表示処理を示すフローチャート 実施の形態に係る作業分類習熟度算出処理を示すフローチャート 実施の形態に係る問題動作習熟度算出処理を示すフローチャート 実施の形態に係るＡＲコンテンツ表示装置のハードウェア構成の一例を示す図

以下に、本実施の形態に係るＡＲコンテンツ表示装置、ＡＲコンテンツ表示システム、ＡＲコンテンツ表示方法およびプログラムについて図面を参照して詳細に説明する。なお、図中同一または相当する部分には同じ符号を付す。本実施の形態では、製造現場において作業指示および技能教育ために作業者が装着するウェアラブル端末にＡＲコンテンツを表示する例について説明する。

実施の形態に係るＡＲコンテンツ表示システム１００の構成について、図１を用いて説明する。図１に示すように、ＡＲコンテンツ表示システム１００は、ウェアラブル端末３にＡＲコンテンツを表示させるＡＲコンテンツ表示装置１と、作業者が装着するウェアラブル端末３とを備える。ＡＲコンテンツ表示装置１とウェアラブル端末３とは、例えば無線で接続されている。

ウェアラブル端末３は、例えばヘッドマウントディスプレイ、スマートフォン、タブレット端末、Ｗｅｂカメラなどであって、撮影機能を備える。ウェアラブル端末３は、撮影した画像を示す画像データをＡＲコンテンツ表示装置１に送信する。ＡＲコンテンツ表示装置１は、受信した画像データに基づいて作業者の作業動作を示す作業情報を生成する。ＡＲコンテンツ表示装置１は、作業者の前回の作業情報と模範作業者の作業動作を示す模範作業情報と比較し、その差分に基づいてＡＲコンテンツのＡＲマーカーを決定してウェアラブル端末３に送信する装置である。ウェアラブル端末３は、受信したＡＲマーカーに対応するＡＲコンテンツを表示する。

ＡＲコンテンツ表示装置１は、ウェアラブル端末３から画像データを取得し、画像データに基づいて作業情報を生成する作業情報生成部１１と、作業情報生成部１１が生成した作業情報、模範作業情報およびＡＲマーカーを示すＡＲマーカー情報とを記憶する記憶部１２とを備える。模範作業情報およびＡＲマーカー情報は、例えば、製品の製造を管理する生産管理システムから取得してもよい。また、ＡＲコンテンツ表示装置１は、前回の作業情報と模範作業情報とに基づいて、作業者と模範作業者と作業動作の差分を作業者の習熟度として算出する習熟度算出部１３と、作業者の習熟度に基づいてＡＲマーカーを決定するＡＲマーカー決定部１４と、決定したＡＲマーカーをウェアラブル端末３に出力するＡＲマーカー出力部１５とを備える。

作業情報生成部１１は、ウェアラブル端末３から取得した画像データを解析し、作業者の作業動作を示す作業情報を生成する。具体的には、作業情報生成部１１は、画像データの画像に写っている対象物の位置座標を検出する。対象物は、例えば、作業者の頭、目、手、製品および部品である。ウェアラブル端末３から取得した画像データには、ウェアラブル端末３が備える加速度センサ、アイトラッキング機能、モーションカメラなどによって得られたデータを含んでもよい。作業情報生成部１１は、作業者が開始した工程および作業手順を特定する。作業者が開始した工程および作業手順を特定方法は、例えば、予め作業手順ごとの作業動作を示す対象物の位置座標の変化を記憶しておき、記憶部１２に逐次記憶される新たな作業情報が示す対象物の位置座標の変化が一致する工程および作業手順を開始したと特定する。工程は、例えば、「ネジを締める」、「部品ａを部品ｂに取り付ける」といった製品の製造する各段階の作業の開始から終了までを表す。作業手順は、工程に含まれる各作業の手順を表す。作業情報生成部１１は、作業者、作業者が行っている工程および作業手順、ならびに、単位時間ごとの対象物の位置座標を含む作業情報を生成する。

ここで、作業情報生成部１１が生成する作業情報について、図２を用いて説明する。図２の例では、作業情報は、作業者を示す「作業者」、作業者が行っている工程を示す「工程ＳＥＱ」、作業者が行っている作業手順を示す「手順ＳＥＱ」、画像データを取得した日付を示す「日付」、画像データを取得した時刻を示す「時刻」、対象物を示す「対象物」、対象物のＸ軸座標を示す「Ｘ軸」、対象物のＹ軸座標を示す「Ｙ軸」、および、対象物のＺ軸座標を示す「Ｚ軸」の項目を有する。Ｈｅａｄは作業者の頭、Ｅｙｅ（Ｒ）は作業者の右目、Ｅｙｅ（Ｌ）は作業者の左目、Ｈａｎｄ（Ｒ）は作業者の右手、Ｈａｎｄ（Ｌ）は作業者の左手、Ｐｒｏｄｕｃｔは製品、Ｐａｒｔｓは部品を表している。

図１に戻り、作業情報生成部１１は、作業者が開始した工程および作業手順を特定すると、単位時間ごとに生成した作業情報を逐次、記憶部１２に記憶させる。記憶部１２が予め記憶する模範作業情報は、作業情報と同じ形式のデータであって、模範作業者が過去に行った各工程の各作業手順における単位時間ごとの対象物の位置座標を示す。

習熟度算出部１３は、新たな作業情報が記憶部１２に記憶されると、新たな作業情報が示す工程および作業手順の前回の作業情報と、同じ工程および作業手順の模範作業情報とに基づいて、作業者と模範作業者と作業動作の差分を作業者の習熟度として算出する。習熟度には、作業分類に基づく習熟度と、問題動作に基づく習熟度とがある。

まず、作業分類による習熟度について説明する。習熟度算出部１３は、前回の作業情報に含まれる単位時間ごとの作業者の頭、手および目の位置座標（Ｘ軸、Ｙ軸、Ｚ軸）、ならびに、製品の位置座標（Ｘ軸、Ｙ軸、Ｚ軸）に基づいて、単位時間中の作業者の動作を「主作業」、「付随作業」、「運搬」、「停滞」の４つに分類する。習熟度算出部１３は、作業者の手の位置座標に変化がなかった場合、作業者の動作を「停滞」に分類する。作業者の手の位置座標に変化があった場合、以下の数１を用いて、作業者の頭の位置座標の水平方向の変化量を算出し、作業者が移動したか否かを判定する。時点ｉ－１から時点ｉまでが単位時間である。

習熟度算出部１３は、時点ｉにおける頭のＸ軸、Ｚ軸の位置座標をそれぞれＨＸｉ、ＨＺｉとし、水平方向（Ｘ－Ｚ座標）の変化量が、閾値０．３ｍ以上である場合、作業者が移動したと判定し、閾値０．３ｍ未満である場合、作業者が移動していないと判定する。判定数１の例では、閾値を０．３ｍとしているが、この値は例示であって、その他の値でもよい。

習熟度算出部１３は、作業者が移動していないと判定した場合、作業者の動作を「主作業」に分類する。習熟度算出部１３は、作業者が移動したと判定した場合、以下の数２を用いて、製品の位置座標の変化量を算出し、製品が移動したか否か判定する。

習熟度算出部１３は、時点ｉにおける製品のＸ軸、Ｙ軸、Ｚ軸の位置座標をそれぞれＰＸｉ、ＰＹｉ、ＰＺｉとし、製品の位置座標の３軸方向の変化量が、閾値０．５ｍ以上である場合、製品が移動したと判定し、閾値０．５ｍ未満である場合に、製品が移動していないと判定する。数２の例では、閾値を０．５ｍとしているが、この値は例示であって、その他の値でもよい。

習熟度算出部１３は、製品が移動していないと判定した場合、作業者の動作を「付随作業」に分類する。習熟度算出部１３は、製品が移動したと判定した場合、作業者の動作を「運搬」に分類する。以下、単位時間中の作業者の動作を「主作業」、「付随作業」、「運搬」、「停滞」の４つに分類する上記の処理を作業分類判定処理という。習熟度算出部１３は、単位時間ごとに作業分類判定処理を実行する。例えば作業時間１００秒の作業手順に対して単位時間５秒で判定する場合、習熟度算出部１３は、２０回（ｉ≦２０）作業分類判定処理を行う。習熟度算出部１３は、当該作業手順における各作業分類の発生回数を集計し、数３を用いて割合を算出する。

ここで、作業分類の発生回数の集計結果について、図３を用いて説明する。図３は、作業者Ａの工程ＳＥＱ００１の工程に含まれる手順ＳＥＱ１００１の作業手順における作業者の作業動作中の各作業分類の発生回数の集計結果の例を示す。作業者Ａは、工程ＳＥＱ００１の工程に含まれる手順ＳＥＱ１００１の作業手順において、「主作業」を１０回、「付随作業」を４回、「運搬」を１回、「停滞」を５回行っている。

習熟度算出部１３は、模範作業者の模範作業情報についても同様に、同じ工程の同じ作業手順における各作業分類の発生回数を集計し、数３を用いて割合を算出する。習熟度算出部１３は、作業情報に基づいて算出した各作業分類の割合と、模範作業情報に基づいて算出した各作業分類の割合との差分を作業者の習熟度として算出する。作業情報に基づいて算出した各作業分類の割合と、模範作業情報に基づいて算出した各作業分類の割合との差分が大きいほど、作業者の習熟度が低いと言える。以下、作業情報に基づいて算出した各作業分類の割合と、模範作業情報に基づいて算出した各作業分類の割合との差分を作業分類習熟度という。習熟度算出部１３は、工程内の各作業手順の作業分類習熟度を示す作業分類習熟度情報をＡＲマーカー決定部１４に送る。作業分類習熟度情報は、習熟度情報の例である。

続いて、問題動作による習熟度について説明する。一般的に製造現場の問題動作として「歩く」、「運ぶ」、「背伸びする」、「しゃがむ」、「叩く」および「探す」が知られている。習熟度算出部１３は、当該作業手順における、これらの問題動作の発生回数を集計し、割合を算出する。

まず、習熟度算出部１３は、上記の数１を用いて、作業者の頭の位置座標の水平方向の変化量を算出し、作業者の頭が水平方向に移動したか否かを判定する。作業者の頭が水平方向に移動したと判定した場合であって、手の位置座標に変化があった場合、習熟度算出部１３は、以下の数４および数５を用いて、作業者の手の位置座標の水平方向の変化量を算出し、作業者の手が水平方向に移動したか否かを判定する。

習熟度算出部１３は、時点ｉにおける左手のＸ軸、Ｚ軸の位置座標をそれぞれＬＨＸｉ、ＬＨＺｉとし、右手のＸ軸、Ｚ軸の位置座標をそれぞれＲＨＸｉ、ＲＨＺｉとし、水平方向（Ｘ－Ｚ座標）の変化量が、閾値０．３ｍ以上である場合、手が水平方向に移動したと判定し、閾値０．３ｍ未満である場合、手が水平方向に移動していないと判定する。数４および数５の例では、閾値を０．３ｍとしているが、この値は例示であって、その他の値でもよい。数４または数５のどちらか一方でも満たす場合、習熟度算出部１３は、作業者の手が水平方向に移動したと判定する。

また、習熟度算出部１３は、以下の数６および数７を用いて、作業者の手の位置座標の垂直方向の変化量を算出し、作業者の手が垂直方向に移動したか否かを判定する。

習熟度算出部１３は、時点ｉにおける左手のＹ軸の位置座標をＬＨＹｉ、右手のＹ軸の位置座標をＲＨＹｉとし、垂直方向（Ｙ座標）の変化量が、閾値０．３ｍ以上である場合、手が垂直方向に移動したと判定し、閾値０．３ｍ未満である場合、手が垂直方向に移動していないと判定する。数６および数７の例では、閾値を０．３ｍとしているが、この値は例示であって、その他の値でもよい。数６または数７のどちらか一方でも満たす場合、習熟度算出部１３は、作業者の手が垂直方向に移動したと判定する。

習熟度算出部１３は、作業者の手が水平方向と垂直方向とのどちらにも移動したと判定した場合、変化量の大きいほうに作業者が手を動かしたと判定する。変化量が同じ場合は、垂直方向に作業者が手を動かしたと判定する。習熟度算出部１３は、垂直方向に作業者が手を動かしたと判定し、ＬＨＹｉ－ＬＨＹｉ－１＜０、または、ＲＨＹｉ－ＲＨＹｉ－１＜０である場合は、「叩く」動作が発生したと判定する。

習熟度算出部１３は、水平方向に作業者が手を動かしたと判定した場合、上記の数２を用いて、製品が移動したか否か判定する。習熟度算出部１３は、製品が移動したと判定した場合は「運ぶ」動作が発生したと判定し、製品が移動していないと判定した場合は、「歩く」動作が発生したと判定する。

作業者の頭が水平方向に移動したと判定した場合であって、手の位置座標に変化がなかった場合、習熟度算出部１３は、習熟度算出部１３は、以下の数８および数９を用いて、作業者の目の位置座標の変化量を算出し、作業者の目線が移動したか否かを判定する。

習熟度算出部１３は、時点ｉにおける左目のＸ軸、Ｙ軸、Ｚ軸の位置座標をそれぞれＬＥＸｉ、ＬＥＹｉ、ＬＥＺｉ、右目のＸ軸、Ｙ軸、Ｚ軸の位置座標をそれぞれＲＥＸｉ、ＲＥＹｉ、ＲＥＺｉ、とし、３軸方向の変化量が、０．０１ｍ以上である場合、目線が移動したと判定し、０．０１ｍ未満である場合、目線が移動していないと判定する。数８および数９の例では、閾値を０．０１ｍとしているが、この値は例示であって、その他の値でもよい。数８および数９のどちらか一方でも満たす場合、習熟度算出部１３は、作業者の目線が移動したと判定する。習熟度算出部１３は、作業者の目線が移動したと判定した場合は「探す」動作が発生したと判定し、作業者の目線が移動していないと判定した場合は、問題動作がなかったと判定する。

一方、作業者の頭が水平方向に移動していないと判定した場合、習熟度算出部１３は、以下の数１０を用いて、作業者の頭の位置座標の垂直方向の変化量を算出し、作業者の頭が垂直方向に移動したか否かを判定する。

習熟度算出部１３は、時点ｉにおける頭のＹ軸の位置座標をそれぞれＨＹｉとし、垂直方向（Ｙ座標）の変化量が、閾値０．３ｍ以上である場合に、頭が垂直方向に移動したと判定し、閾値０．３ｍ未満である場合に、頭が垂直方向に移動していないと判定する。数１０の例では、閾値を０．３ｍとしているが、この値は例示であって、その他の値でもよい。

作業者の頭が垂直方向に移動していないと判定した場合、習熟度算出部１３は、問題動作は発生しなかったと判定する。作業者の頭が垂直方向に移動したと判定した場合、習熟度算出部１３は、ＨＹｉ－ＨＹｉ－１＞０の場合、「背伸びする」動作が発生したと判定し、ＨＹｉ－ＨＹｉ－１＜０の場合、「しゃがむ」動作が発生したと判定する。以下、「歩く」、「運ぶ」、「背伸びする」、「しゃがむ」、「叩く」および「探す」の問題動作が発生したか否かを判定する上記の処理を問題動作判定処理という。習熟度算出部１３は、単位時間ごとに問題動作判定処理を実行する。例えば作業時間１００秒の作業手順に対して単位時間５秒で判定する場合、習熟度算出部１３は、２０回（ｉ≦２０）問題動作判定処理を行う。習熟度算出部１３は、当該作業手順における、各問題動作の発生回数を集計し、数１１を用いて割合を算出する。

ここで、問題動作の発生回数の集計結果について、図４を用いて説明する。図４は、工程ＳＥＱ００１の工程に含まれる手順ＳＥＱ１００１の作業手順における各問題動作の発生回数の集計結果の例を示す。作業者Ａは、工程ＳＥＱ００１の工程に含まれる手順ＳＥＱ１００１の作業手順において、「歩く」を１回、「運ぶ」を１回、「しゃがむ」を３回行っている。

習熟度算出部１３は、模範作業者の模範作業情報についても同様に、同じ工程の同じ作業手順における各問題動作の発生回数を集計し、数１１を用いて割合を算出する。習熟度算出部１３は、作業情報に基づいて算出した各問題動作の割合と、模範作業情報に基づいて算出した各問題動作の割合との差分を作業者の習熟度として算出する。作業情報に基づいて算出した各問題動作の割合と、模範作業情報に基づいて算出した各問題動作の割合との差分が大きいほど、作業者の習熟度は低いと言える。以下、作業情報に基づいて算出した各問題動作の割合と、模範作業情報に基づいて算出した各問題動作の割合との差分を問題動作習熟度という。習熟度算出部１３は、工程内の各作業手順の問題動作習熟度を示す問題動作習熟度情報をＡＲマーカー決定部１４に送る。問題動作習熟度情報は、習熟度情報の例である。

ＡＲマーカー決定部１４は、作業分類習熟度情報および問題動作習熟度情報を受け取ると、当該工程の各作業手順に対応するＡＲマーカーを記憶部１２から抽出する。各工程の各作業手順に対応するＡＲマーカーは、例えば模範作業情報に基づいて、予め対応するＡＲコンテンツおよび表示位置が決定されているものとする。ＡＲマーカー決定部１４は、以下の数１２を目的関数とし、作業分類習熟度情報または問題動作習熟度情報に基づいて、目的関数が最大となるように作業手順に割り当てるＡＲマーカーを決定する。

Ｐは、工程内の作業手順ｐの集合である。Ｔは、模範作業者の工程内の作業手順ｐの時点ｔからｔ’までの作業時間の集合である。Ｗは、問題動作の集合である。ＡＲｐは、作業手順ｐに対応するＡＲマーカーの集合である。ａｐｗは、作業手順ｐにおける作業分類習熟度または問題動作習熟度である。

ｂｐｔｔ’は、作業手順ｐの作業時間の差異の割合であって、作業時間の差異の割合ｂｐｔｔ’＝(作業手順ｐの模範作業者の作業時間－作業者の作業時間)／作業工程ｐの模範作業者の作業時間の計算式を用いて算出する。ｘｐｔｊは、作業手順ｐにＡＲマーカーｊを割り当てるなら１、割り当てないなら０とする意思決定変数である。

また、ＡＲマーカー決定部１４は、数１３に示すメモリ容量の制約条件、または、数１４に示すＡＲコンテンツの表示の制約条件を満たして、目的関数が最大となるように作業手順に割り当てるＡＲマーカーを決定する。

数１３は、ＡＲコンテンツをウェアラブル端末３のメモリ容量の上限を超えずに表示するための制約条件である。ＡＲマーカーｊのＡＲコンテンツの表示に使用するメモリ量をＭｊ、ウェアラブル端末３で一度に使用できるメモリ容量の上限をｕｐとする。数１３において左辺は、作業手順ｐに割り当てるＡＲマーカーに対応するＡＲコンテンツの使用メモリ総量を表し、右辺はメモリ容量の上限値となっているため、一度に使用できるメモリ容量の上限を超えずにＡＲコンテンツを表示することができる。つまり、数１３の制約条件を満たすように、割り当てるＡＲマーカーを決定すれば、ウェアラブル端末３のパフォーマンスを落とさずにＡＲコンテンツを表示することができる。

また、メモリ容量が十分な場合であっても作業者の視認性を低下させないために、表示するＡＲコンテンツ数の上限を設定してもよい。

数１４は、同じ位置座標に重畳してＡＲコンテンツを表示しないための制約条件である。位置座標の集合をＦ、作業手順ｐの時間ｔの位置座標ｆに表示されるＡＲマーカーの集合をＡＲｐｔｆとする。数１４において左辺は作業手順ｐの時間ｔの位置座標ｆに表示されるＡＲマーカーの総数であり、１以下に設定することでＡＲコンテンツを重畳表示しない設定にできる。数１４からｆを除けば、同時に表示されるＡＲコンテンツの数を制限することができる。

ＡＲマーカー決定部１４は、目的関数である数１２と、制約条件である数１３または数１４を用いて、目的関数を最大化する組み合わせ最適化問題を解決し、作業手順に割り当てるＡＲマーカーを決定する。この組み合わせ最適化問題を解決するために、例えば、ヒューリスティックアルゴリズムを使用してもよいし、最適解を導出する数理最適化ソルバーを使用してもよい。ＡＲマーカー決定部１４は、記憶部１２に記憶された新たな作業情報に基づいて、ＡＲマーカーを割り当てた作業手順が開始されたか否かを判定する。ＡＲマーカー決定部１４は、ＡＲマーカーを割り当てた作業手順が開始されたと判定したタイミングで、当該ＡＲマーカーを示すＡＲマーカー情報をＡＲマーカー出力部１５に送る。

ＡＲマーカー出力部１５は、受け取ったＡＲマーカー情報をウェアラブル端末３に送信する。ウェアラブル端末３は、受信したＡＲマーカー情報が示すＡＲマーカーに対応するＡＲコンテンツを表示する。数１３または数１４の制約条件を満たし、数１２に示す目的関数が最大となるように作業手順に割り当てるＡＲマーカーを決定することにより、作業分類習熟度または問題動作習熟度が大きい作業手順、つまり、作業者の習熟度が低い作業手順について優先的にＡＲコンテンツが表示される。

ここで、ＡＲコンテンツ表示装置１が実行する処理の流れについて、図５～図７を用いて説明する。図５に示すＡＲコンテンツ表示処理は、ＡＲコンテンツ表示装置１に電源が投入された時に開始する。ＡＲコンテンツ表示装置１の作業情報生成部１１は、ウェアラブル端末３から画像データを取得しない場合（ステップＳ１１；ＮＯ）、処理はステップＳ１９に移行する。作業情報生成部１１は、ウェアラブル端末３から画像データを取得すると（ステップＳ１１；ＹＥＳ）、画像データに基づいて、作業者が開始した工程および作業手順を特定し、作業情報を生成する（ステップＳ１２）。ステップＳ１２は、作業情報生成ステップの例である。作業情報生成部１１は、作業者が開始した工程および作業手順を特定すると、単位時間ごとに生成した作業情報を逐次記憶部１２に記憶させる。

図２の例では、作業情報は、作業者を示す「作業者」、作業者が行っている工程を示す「工程ＳＥＱ」、作業者が行っている作業手順を示す「手順ＳＥＱ」、画像データを取得した日付を示す「日付」、画像データを取得した時刻を示す「時刻」、対象物を示す「対象物」、対象物のＸ軸座標を示す「Ｘ軸」、対象物のＹ軸座標を示す「Ｙ軸」、および、対象物のＺ軸座標を示す「Ｚ軸」の項目を有する。Ｈｅａｄは作業者の頭、Ｅｙｅ（Ｒ）は作業者の右目、Ｅｙｅ（Ｌ）は作業者の左目、Ｈａｎｄ（Ｒ）は作業者の右手、Ｈａｎｄ（Ｌ）は作業者の左手、Ｐｒｏｄｕｃｔは製品、Ｐａｒｔｓは部品を表している。

図５に戻り、習熟度算出部１３は、新たな作業情報が記憶部１２に記憶されると、作業分類習熟度算出処理を実行し（ステップＳ１３）、作業分類習熟度情報を生成する。習熟度算出部１３は、生成した作業分類習熟度情報をＡＲマーカー決定部１４に送る。また、習熟度算出部１３は、問題動作習熟度算出処理を実行し（ステップＳ１４）、問題動作習熟度情報を生成する。ステップＳ１３およびステップＳ１４は、習熟度算出ステップの例である。習熟度算出部１３は、生成した問題動作習熟度情報をＡＲマーカー決定部１４に送る。ステップＳ１３とステップＳ１４はどちらが先でもよい。

ＡＲマーカー決定部１４は、作業分類習熟度情報および問題動作習熟度情報を受け取ると、当該工程の各作業手順に対応するＡＲマーカーを記憶部１２から抽出する。ＡＲマーカー決定部１４は、上記の数１２を目的関数とし、作業分類習熟度情報または問題動作習熟度情報に基づいて、目的関数が最大となるように各作業手順に割り当てるＡＲマーカーを決定する（ステップＳ１５）。ステップＳ１５は、ＡＲマーカー決定ステップの例である。このとき、ＡＲマーカー決定部１４は、上記の数１３に示すメモリ容量の制約条件、または、数１４に示すＡＲコンテンツの表示数の制約条件を満たして、目的関数を最大化するＡＲマーカーを決定するものとする。ＡＲマーカー決定部１４は、記憶部１２に記憶された新たな作業情報に基づいて、ＡＲマーカーを割り当てた作業手順が開始された否かを判定する（ステップＳ１６）。ＡＲマーカーを割り当てた作業手順が開始されていない場合（ステップＳ１６；ＮＯ）、ＡＲマーカー決定部１４は、ステップＳ１６を繰り返して、ＡＲマーカーを割り当てた作業手順の開始を待機する。ＡＲマーカーを割り当てた作業手順が開始された場合（ステップＳ１６；ＹＥＳ）、ＡＲマーカー決定部１４は、当該ＡＲマーカーを示すＡＲマーカー情報をＡＲマーカー出力部１５に送る。

ＡＲマーカー出力部１５は、受け取ったＡＲマーカー情報をウェアラブル端末３に送信する（ステップＳ１７）。ステップＳ１７は、ＡＲマーカー出力ステップの例である。ウェアラブル端末３は、受信したＡＲマーカー情報が示すＡＲマーカーに対応するＡＲコンテンツを表示する。

ＡＲマーカー決定部１４は、記憶部１２に記憶された新たな作業情報に基づいて、工程が終了したか否かを判定する（ステップＳ１８）。工程が終了していなければ（ステップＳ１８；ＮＯ）、処理はステップＳ１６に戻り、ステップＳ１６～ステップＳ１８を繰り返す。工程が終了すると（ステップＳ１８；ＹＥＳ）、ＡＲコンテンツ表示装置１の電源がＯＦＦになっていなければ（ステップＳ１９；ＮＯ）、処理はステップＳ１１に戻り、ステップＳ１１～ステップＳ１９を繰り返す。電源がＯＦＦになると（ステップＳ１９；ＹＥＳ）、処理は終了する。

続いて、ステップＳ１３で定義した作業分類習熟度算出処理の流れについて、図６を用いて説明する。ＡＲコンテンツ表示装置１の習熟度算出部１３は、前回の作業情報に含まれる単位時間ごとの作業者の頭、手および目の位置座標（Ｘ軸、Ｙ軸、Ｚ軸）、ならびに、製品の位置座標（Ｘ軸、Ｙ軸、Ｚ軸）に基づいて、作業者の手の位置座標に変化があったか否かを判定する（ステップＳ２１）。作業者の手の位置座標に変化がなかった場合（ステップＳ２１；ＮＯ）、作業者の動作を「停滞」に分類する（ステップＳ２２）。作業者の手の位置座標に変化があった場合（ステップＳ２１；ＹＥＳ）、上記の数１を用いて、作業者の頭の位置座標の水平方向の変化量を算出し、作業者が移動したか否かを判定する（ステップＳ２３）。

習熟度算出部１３は、作業者が移動していないと判定した場合（ステップＳ２３；ＮＯ）、作業者の動作を「主作業」に分類する（ステップＳ２４）。習熟度算出部１３は、作業者が移動したと判定した場合（ステップＳ２３；ＹＥＳ）、上記の数２を用いて、製品の位置座標の変化量を算出し、製品が移動したか否か判定する（ステップＳ２５）。

習熟度算出部１３は、製品が移動していないと判定した場合（ステップＳ２５；ＮＯ）、作業者の動作を「付随作業」に分類する（ステップＳ２６）。習熟度算出部１３は、製品が移動したと判定した場合（ステップＳ２５；ＹＥＳ）、作業者の動作を「運搬」に分類する（ステップＳ２７）。作業手順の最後まで分類していない場合（ステップＳ２８；ＮＯ）、処理はステップＳ２１に戻り、ステップＳ２１～ステップＳ２８を繰り返す。作業手順の最後まで分類した場合（ステップＳ２８；ＹＥＳ）、習熟度算出部１３は、当該作業手順における各作業分類の発生回数を集計し、上記の数３を用いて各作業分類の割合を算出する（ステップＳ２９）。

ここで、作業分類の発生回数の集計結果について、図３を用いて説明する。図３は、作業者Ａの工程ＳＥＱ００１の工程に含まれる手順ＳＥＱ１００１の作業手順における作業者の作業動作中の各作業分類の発生回数の集計結果の例を示す。作業者Ａは、工程ＳＥＱ００１の工程に含まれる手順ＳＥＱ１００１の作業手順において、「主作業」を１０回、「付随作業」を４回、「運搬」を１回、「停滞」を５回行っている。

図６に戻り、習熟度算出部１３は、模範作業者の模範作業情報についても同様に、ステップＳ２１～ステップＳ２８を実行する。各ステップにおいて作業者は模範作業者と読み替える。習熟度算出部１３は、作業情報に基づいて算出した各作業分類の割合と、模範作業情報に基づいて算出した各作業分類の割合との差分を作業者の習熟度として算出し、工程内の各作業手順の作業分類習熟度を示す作業分類習熟度情報を生成する（ステップＳ３０）。作業分類習熟度が大きいほど、作業者の習熟度が低いと言える。習熟度算出部１３は、作業分類習熟度情報をＡＲマーカー決定部１４に送り、処理を終了する。

続いて、ステップＳ１４で定義した問題動作習熟度算出処理の流れについて、図７を用いて説明する。ＡＲコンテンツ表示装置１の上記の数１を用いて、作業者の頭の位置座標の水平方向の変化量を算出し、作業者の頭が水平方向に移動したか否かを判定する（ステップＳ３１）。作業者の頭が水平方向に移動したと判定した場合（ステップＳ３１；ＹＥＳ）、習熟度算出部１３は、手の位置座標に変化があったか否かを判定する（ステップＳ３２）。手の位置座標に変化があった場合（ステップＳ３２；ＹＥＳ）、習熟度算出部１３は、上記の数４、数５、数６および数７を用いて、作業者の手の位置座標の水平方向および垂直方向の変化量を算出し、作業者が垂直方向に手を動かしたか否かを判定する（ステップＳ３３）。

習熟度算出部１３は、垂直方向に作業者が手を動かしたと判定した場合（ステップＳ３３；ＹＥＳ）、ＬＨＹｉ－ＬＨＹｉ－１＜０、または、ＲＨＹｉ－ＲＨＹｉ－１＜０であるか否かを判定する（ステップＳ３４）。ＬＨＹｉ－ＬＨＹｉ－１＜０、または、ＲＨＹｉ－ＲＨＹｉ－１＜０である場合（ステップＳ３４；ＹＥＳ）、「叩く」動作が発生したと判定する(ステップＳ３５）。ＬＨＹｉ－ＬＨＹｉ－１＜０、または、ＲＨＹｉ－ＲＨＹｉ－１＜０でなかった場合（ステップＳ３４；ＮＯ）、問題動作はなかったと判定する（ステップＳ３６）。

習熟度算出部１３は、垂直方向に作業者が手を動かしたと判定しなかった場合（ステップＳ３３；ＮＯ）、つまり、水平方向に作業者が手を動かしたと判定した場合、上記の数２を用いて、製品が移動したか否か判定する（ステップＳ３７）。習熟度算出部１３は、製品が移動したと判定した場合は（ステップＳ３７；ＹＥＳ）、「運ぶ」動作が発生したと判定し（ステップＳ３８）、製品が移動していないと判定した場合は（ステップＳ３７；ＮＯ）、「歩く」動作が発生したと判定する（ステップＳ３９）。

手の位置座標に変化がなかった場合（ステップＳ３２；ＮＯ）、習熟度算出部１３は、上記の数８および数９を用いて、作業者の目の位置座標の変化量を算出し、作業者の目線が移動したか否かを判定する（ステップＳ４０）。習熟度算出部１３は、作業者の目線が移動したと判定した場合は（ステップＳ４０；ＹＥＳ）、「探す」動作が発生したと判定し（ステップＳ４１）、作業者の目線が移動していないと判定した場合は（ステップＳ４０；ＮＯ）、問題動作がなかったと判定する（ステップＳ４２）。

一方、作業者の頭が水平方向に移動していないと判定した場合（ステップＳ３１；ＮＯ）、習熟度算出部１３は、上記の数１０を用いて、作業者の頭の位置座標の垂直方向の変化量を算出し、作業者の頭が垂直方向に移動したか否かを判定する（ステップＳ４３）。

作業者の頭が垂直方向に移動していないと判定した場合（ステップＳ４３；ＮＯ）、習熟度算出部１３は、問題動作は発生しなかったと判定する（ステップＳ４４）。作業者の頭が垂直方向に移動したと判定した場合（ステップＳ４４；ＹＥＳ）、習熟度算出部１３は、ＨＹｉ－ＨＹｉ－１＞０であるか否かを判定する（ステップＳ４５）。ＨＹｉ－ＨＹｉ－１＞０である場合（ステップＳ４５；ＹＥＳ）、習熟度算出部１３は、「背伸びする」動作が発生したと判定する（ステップＳ４６）。ＨＹｉ－ＨＹｉ－１＞０でない場合（ステップＳ４５；ＮＯ）、つまり、ＨＹｉ－ＨＹｉ－１＜０である場合、習熟度算出部１３は、「しゃがむ」動作が発生したと判定する（ステップＳ４７）。

作業手順の最後まで問題動作を判定していない場合（ステップＳ４８；ＮＯ）、処理はステップＳ３１に戻り、ステップＳ３１～ステップＳ４８を繰り返す。作業手順の最後まで問題動作を判定した場合（ステップＳ４８；ＹＥＳ）、習熟度算出部１３は、当該作業手順における各作業分類の発生回数を集計し、上記の数３を用いて各作業分類の割合を算出する（ステップＳ４９）。

ここで、作業分類の発生回数の集計結果について、図４を用いて説明する。図４は、作業者Ａの工程ＳＥＱ００１の工程に含まれる手順ＳＥＱ１００１の作業手順における作業者の作業動作中の各問題動作の発生回数の集計結果の例を示す。作業者Ａは、工程ＳＥＱ００１の工程に含まれる手順ＳＥＱ１００１の作業手順において、「歩く」を１回、「運ぶ」を１回、「しゃがむ」を３回行っている。

図７に戻り、習熟度算出部１３は、模範作業者の模範作業情報についても同様に、ステップＳ３１～ステップＳ４９を実行する。各ステップにおいて作業者は模範作業者と読み替える。習熟度算出部１３は、作業情報に基づいて算出した各問題動作の割合と、模範作業情報に基づいて算出した各問題動作の割合との差分を作業者の習熟度として算出し、工程内の各作業手順の問題動作習熟度を示す問題動作習熟度情報を生成する（ステップＳ５０）。問題動作習熟度が大きいほど、作業者の習熟度が低いと言える。習熟度算出部１３は、問題動作習熟度情報をＡＲマーカー決定部１４に送り、処理を終了する。

実施の形態に係るＡＲコンテンツ表示装置１によれば、ＡＲコンテンツを表示して作業指示および技能教育を行う現場において、作業者の習熟度に基づいて、ＡＲコンテンツを表示することで、作業の遂行および技能の習得を効率化することができる。

また、数１３に示すメモリ容量の制約条件を設けることで、ＡＲアプリのパフォーマンスの低下を防止することができる。さらにあ、数１４に示すＡＲコンテンツの表示の制約条件を設けることで、作業者の視認性を確保することができる。

ＡＲコンテンツ表示装置１のハードウェア構成について図８を用いて説明する。図８に示すように、ＡＲコンテンツ表示装置１は、一時記憶部１０１、記憶部１０２、計算部１０３、入力部１０４、送受信部１０５および表示部１０６を備える。一時記憶部１０１、記憶部１０２、入力部１０４、送受信部１０５および表示部１０６はいずれもＢＵＳを介して計算部１０３に接続されている。

計算部１０３は、例えばＣＰＵ（Central Processing Unit）である。計算部１０３は、記憶部１０２に記憶されている制御プログラムに従って、作業情報生成部１１、習熟度算出部１３およびＡＲマーカー決定部１４の処理を実行する。

一時記憶部１０１は、例えばＲＡＭ（Random-Access Memory）である。一時記憶部１０１は、記憶部１０２に記憶されている制御プログラムをロードし、計算部１０３の作業領域として用いられる。

記憶部１０２は、フラッシュメモリ、ハードディスク、ＤＶＤ－ＲＡＭ（Digital Versatile Disc - Random Access Memory）、ＤＶＤ－ＲＷ（Digital Versatile Disc - ReWritable）などの不揮発性メモリである。記憶部１０２は、ＡＲコンテンツ表示装置１の処理を計算部１０３に行わせるためのプログラムを予め記憶し、また、計算部１０３の指示に従って、このプログラムが記憶するデータを計算部１０３に供給し、計算部１０３から供給されたデータを記憶する。記憶部１２は、記憶部１０２に構成される。

入力部１０４は、キーボード、ポインティングデバイス、音声入力機器などの入力装置と、入力装置をＢＵＳに接続するインターフェース装置である。入力部１０４を介して、ユーザが入力した情報が計算部１０３に供給される。

送受信部１０５は、ネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインターフェースまたはＬＡＮ（Local Area Network）インターフェースである。送受信部１０５は、作業情報生成部１１およびＡＲマーカー出力部１５として機能する。

表示部１０６は、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（electroluminescence）ディスプレイなどの表示装置である。ＡＲコンテンツ表示装置１にデータを直接入力する構成では、表示部１０６は、入力画面を表示する。

図１に示すＡＲコンテンツ表示装置１の作業情報生成部１１、記憶部１２、習熟度算出部１３、ＡＲマーカー決定部１４およびＡＲマーカー出力部１５の処理は、制御プログラムが、一時記憶部１０１、計算部１０３、記憶部１０２、入力部１０４、送受信部１０５および表示部１０６などを資源として用いて処理することによって実行する。

その他、前記のハードウェア構成およびフローチャートは一例であり、任意に変更および修正が可能である。

計算部１０３、一時記憶部１０１、記憶部１０２、入力部１０４、送受信部１０５、表示部１０６などのＡＲコンテンツ表示装置１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc - Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc - Read Only Memory）などのコンピュータが読み取り可能な記録媒体に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するＡＲコンテンツ表示装置１を構成してもよい。また、インターネットに代表される通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードすることでＡＲコンテンツ表示装置１を構成してもよい。

また、ＡＲコンテンツ表示装置１の機能を、ＯＳ（Operating System）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体、記憶装置に格納してもよい。

また、輸送波にコンピュータプログラムを重畳し、通信ネットワークを介して提供することも可能である。例えば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）に前記コンピュータプログラムを掲示し、通信ネットワークを介して前記コンピュータプログラムを提供してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できる構成にしてもよい。

上記の実施の形態では、ＡＲマーカー決定部１４は、数１３に示すメモリ容量の制約条件、または、数１４に示すＡＲコンテンツの表示の制約条件を満たして、目的関数が最大となるように作業手順に割り当てるＡＲマーカーを決定するが、これに限らず、どちらの制約条件も満たして、目的関数が最大となるように作業手順に割り当てるＡＲマーカーを決定してもよい。

上記の実施の形態では、製造現場において作業指示および技能教育ために作業者が装着するウェアラブル端末にＡＲコンテンツを表示する例について説明したが、これに限らず、作業者が装着するウェアラブル端末にＡＲコンテンツを表示する現場に適用可能である。この場合、それぞれの現場における作業分類および問題動作を設定する。

上記の実施の形態では、ＡＲコンテンツ表示処理の中で、作業分類習熟度算出処理および問題動作習熟度算出処理を毎回実行するフローチャートになっているが、作業分類習熟度算出処理および問題動作習熟度算出処理を予め実行して起き、作業分類習熟度情報および問題動作習熟度情報を記憶部１２に記憶しておいてもよい。

なお、本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この開示を説明するためのものであり、本開示の範囲を限定するものではない。即ち、本開示の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、この開示の範囲内とみなされる。

本出願は、２０２１年３月９日に出願された、日本国特許出願特願２０２１－３７３４４号に基づく。本明細書中に日本国特許出願特願２０２１－３７３４４号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。

１ ＡＲコンテンツ表示装置、３ ウェアラブル端末、１１ 作業情報生成部、１２ 記憶部、１３ 習熟度算出部、１４ ＡＲマーカー決定部、１５ ＡＲマーカー出力部、１００ ＡＲコンテンツ表示システム、１０１ 一時記憶部、１０２ 記憶部、１０３ 計算部、１０４ 入力部、１０５ 送受信部、１０６ 表示部。

Claims (8)

1. 作業者が装着し、ＡＲマーカーに対応するＡＲコンテンツを表示するウェアラブル端末から画像データを取得し、前記画像データに基づいて作業者の作業動作を示す作業情報を生成する作業情報生成部と、
   前記作業情報、模範作業者の作業動作を示す模範作業情報およびＡＲマーカーを示すＡＲマーカー情報を記憶する記憶部と、
   前記作業情報が示す作業動作を含む工程と同じ工程の、前回の前記作業情報および前記模範作業情報に基づいて、前記作業者と前記模範作業者との工程内の各作業手順における作業動作の差分を前記作業者の習熟度として算出し、前記作業者の習熟度を示す習熟度情報を生成する習熟度算出部と、
   前記習熟度情報に基づいて、工程内の各作業手順に割り当てるＡＲマーカーを決定するＡＲマーカー決定部と、
   前記ＡＲマーカー決定部が決定したＡＲマーカーを示す前記ＡＲマーカー情報を前記ウェアラブル端末に出力するＡＲマーカー出力部と、
   を備えるＡＲコンテンツ表示装置。
2. 前記ＡＲマーカー決定部は、同時に表示されるＡＲコンテンツの数の制約条件を満たして、工程内の各作業手順に割り当てるＡＲマーカーを決定する、
   請求項１に記載のＡＲコンテンツ表示装置。
3. 前記作業情報生成部は、前記画像データの画像に写っている前記作業者の頭、目および手、ならびに、物品を含む対象物の位置座標を検出し、単位時間ごとの前記対象物の位置座標を含む前記作業情報を生成する、
   請求項１または２に記載のＡＲコンテンツ表示装置。
4. 前記習熟度算出部は、
   前記作業情報が示す作業動作を含む工程と同じ工程の、前回の前記作業情報および前記模範作業情報に基づいて、前記作業者および前記模範作業者の作業動作の作業分類を判定し、前記作業者と前記模範作業者との工程内の各作業手順における、主作業、付随作業、運搬、または停滞の作業分類に応じた割合の差分を前記作業者の習熟度として算出する、
   請求項１から３のいずれか１項に記載のＡＲコンテンツ表示装置。
5. 前記習熟度算出部は、
   前記作業情報が示す作業動作を含む工程と同じ工程の、前回の前記作業情報および前記模範作業情報に基づいて、前記作業者および前記模範作業者の作業動作から問題動作を判定し、前記作業者と前記模範作業者との工程内の各作業手順における問題動作に応じた割合の差分を前記作業者の習熟度として算出する、
   請求項１から４のいずれか１項に記載のＡＲコンテンツ表示装置。
6. 作業者が装着し、ＡＲマーカーに対応するＡＲコンテンツを表示するウェアラブル端末と、
   前記ウェアラブル端末から画像データを取得し、前記画像データに基づいて作業者の作業動作を示す作業情報を生成する作業情報生成部、
   前記作業情報、模範作業者の作業動作を示す模範作業情報およびＡＲマーカーを示すＡＲマーカー情報を記憶する記憶部、
   前記作業情報が示す作業動作を含む工程と同じ工程の、前回の前記作業情報および前記模範作業情報に基づいて、前記作業者と前記模範作業者との工程内の各作業手順における作業動作の差分を前記作業者の習熟度として算出し、前記作業者の習熟度を示す習熟度情報を生成する習熟度算出部、
   前記習熟度情報に基づいて、工程内の各作業手順に割り当てるＡＲマーカーを決定するＡＲマーカー決定部、ならびに、
   前記ＡＲマーカー決定部が決定したＡＲマーカーを示す前記ＡＲマーカー情報を前記ウェアラブル端末に出力するＡＲマーカー出力部、
   を有するＡＲコンテンツ表示装置と、
   を備えるＡＲコンテンツ表示システム。
7. ＡＲコンテンツ表示装置が実行する、
   作業者が装着し、ＡＲマーカーに対応するＡＲコンテンツを表示するウェアラブル端末から画像データを取得し、前記画像データに基づいて作業者の作業動作を示す作業情報を生成する作業情報生成ステップと、
   前記作業情報が示す作業動作を含む工程と同じ工程の、前回の前記作業情報および模範作業者の作業動作を示す模範作業情報に基づいて、前記作業者と前記模範作業者との工程内の各作業手順における作業動作の差分を前記作業者の習熟度として算出し、前記作業者の習熟度を示す習熟度情報を生成する習熟度算出ステップ、
   前記習熟度情報に基づいて、工程内の各作業手順に割り当てるＡＲマーカーを決定するＡＲマーカー決定ステップと、
   前記ＡＲマーカー決定ステップで決定したＡＲマーカーを示すＡＲマーカー情報を前記ウェアラブル端末に出力するＡＲマーカー出力ステップと、
   を備えるＡＲコンテンツ表示方法。
8. コンピュータを、
   作業者が装着し、ＡＲマーカーに対応するＡＲコンテンツを表示するウェアラブル端末から画像データを取得し、前記画像データに基づいて作業者の作業動作を示す作業情報を生成する作業情報生成部、
   前記作業情報が示す作業動作を含む工程と同じ工程の、前回の前記作業情報および模範作業者の作業動作を示す模範作業情報に基づいて、前記作業者と前記模範作業者との工程内の各作業手順における作業動作の差分を前記作業者の習熟度として算出し、前記作業者の習熟度を示す習熟度情報を生成する習熟度算出部、
   前記習熟度情報に基づいて、工程内の各作業手順に割り当てるＡＲマーカーを決定するＡＲマーカー決定部、ならびに、
   前記ＡＲマーカー決定部が決定したＡＲマーカーを示すＡＲマーカー情報を前記ウェアラブル端末に出力するＡＲマーカー出力部、
   として機能させるプログラム。

Images