JP7249444B1 - 情報処理装置、情報処理方法、プログラム、及び情報処理システム - Google Patents

Abstract

【課題】技能伝承をより好適な態様で支援可能とする。【解決手段】異なるグループに分類された複数の作業者それぞれによる一連の作業の実施状況の動画像の第１の画像データから分割された、当該一連の作業を構成する作業単位に対応する動画像の第２の画像データを利用した機械学習に基づき、共通のグループに属する作業者間において特徴量の差がより小さくなり、異なるグループに属する作業者間において特徴量の差がより大きくなるように、複数の画像データ間の関係性に関する特徴量空間を学習することで第１の学習済モデルを構築し、評価対象となる第１の作業者による一連の作業の実施状況の撮像結果に応じた一連の動画像の前記第１の画像データと、前記第１の学習済モデルと、に基づき当該作業者の当該一連の作業に関する熟練度が評価される、情報処理装置。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、プログラム、及び情報処理システムに関する。

近年では、技術者の高齢化に伴い、製造業等における熟練者の育成や後継者不足が課題となっている。熟練の技術は、一般的には、熟練者が未熟者に対して直接指導を行うことで当該未熟者に経験を積ませることにより熟練度（換言すると、習熟度）を向上させることで伝承されていくが、このような手法は必ずしも効率が良いとは限らず、技能伝承として十分な効果が認められるとは限らない。また、近年では、対象となる技術者（例えば、未熟者）に技術を効率よく習得させるための仕組みも各種検討されている。例えば、特許文献１には、技術者が効率よく技術を習得できるように支援する学習支援システムの一例が開示されている。

特開２０２０－１４４２３３号公報

上記のように、近年では技能伝承を効率よくより効果的に実現する仕組みの実現が求められており、特に情報処理技術の応用により技能伝承をより効果的に支援可能とする技術の導入が期待されている。

本発明は上記の問題を鑑み、技能伝承をより好適な態様で支援可能とする技術を提案する。

本実施形態に係る情報処理装置は、互いに異なる複数のグループそれぞれに分類された複数の作業者それぞれによる一連の作業の実施状況の撮像結果に応じた一連の動画像の第１の画像データから分割された、当該一連の作業を構成する作業単位それぞれに対応する部分的な動画像の第２の画像データを学習データとした機械学習に基づき、共通のグループに属する作業者間において、共通の作業単位に対応する複数の前記第２の画像データ間の特徴量の差がより小さくなり、それぞれが異なるグループに属する作業者間において、共通の作業単位に対応する複数の前記第２の画像データ間の特徴量の差がより大きくなるように、複数の画像データ間の関係性に関する特徴量空間を学習することで第１の学習済モデルを構築する第１のモデル構築手段と、前記複数のグループそれぞれに分類された前記複数の作業者それぞれに対応する前記第１の画像データから分割された、当該一連の作業を構成する作業単位それぞれに対応する前記第２の画像データに対して、当該作業単位を示す付帯情報を関連付ける関連付け手段と、前記付帯情報が関連付けられた前記第２の画像データを学習データとした機械学習に基づき、入力された画像データが示す動画像に撮像された一連の作業を構成する作業単位を推論する第２の学習済モデルを構築する第２のモデル構築手段と、評価対象となる第１の作業者による一連の作業の実施状況の撮像結果に応じた一連の動画像の前記第１の画像データを前記第２の学習済モデルに入力することで、当該第１の画像データを当該一連の作業を構成する作業単位ごとの前記第２の画像データに分割し、当該第１の画像データから分割された作業単位ごとの当該第２の画像データを前記第１の学習済モデルに入力することで得られる第１の特徴量と、前記複数のグループのうちの所定のグループに属する第２の作業者による当該作業単位に対応する前記第２の画像データを前記第１の学習済モデルに入力することで得られる第２の特徴量と、に基づき、前記第１の作業者が実施した前記一連の作業に関する当該第１の作業者の熟練度を評価する評価手段と、を備える。
これにより、例えば、熟練者が未熟者に対して直接指導を行わずとも、当該未熟者自身または作業の管理に係る管理者に対して各種作業の熟練度の評価結果をフィードバックすることで、当該未熟者の当該作業に関する熟練度を向上させる効果を期待することが可能となる。

本発明によれば、技能伝承をより好適な態様で支援することが可能となる。

情報処理システムのシステム構成の一例を示した図である。 情報処理装置のハードウェア構成の一例を示した図である。 情報処理システムの機能構成の一例を示した機能ブロック図である。 モデル構築装置の処理の一例を示した図である。 作業動画を入力単位動画に分割した結果の一例を示した図である。 作業動画に対するラベル付けの結果の一例を示した図である。 モデル構築装置の処理の一例を示した図である。 熟練度評価モデルの構築に係る処理の一例について説明するための図である。 評価装置の処理の一例を示した図である。 作業動画を作業単位動画に分割した結果の一例を示した図である。 評価装置の処理の一例を示した図である。 熟練度に関する評価値の算出方法の一例を示した図である。 熟練度に関する評価値の算出方法の他の一例を示した図である。 一連の作業を対象とした熟練度の評価方法の一例を示した図である。 差異領域の抽出結果に応じた情報の出力方法の一例を示した図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜システム構成＞
図１を参照して、本開示の一実施形態に係る情報処理システムのシステム構成の一例について説明する。本実施形態に係る情報処理システム１は、モデル構築装置１１０と、評価装置１５０と、１以上の端末装置２００と、１以上の撮像装置３１０とを含む。なお、図１に示す端末装置２００ａ及び２００ｂは、それぞれが端末装置２００の一例を示している。以降の説明では、端末装置２００ａ及び２００ｂのそれぞれを特に区別しない場合には、単に端末装置２００と称するものとする。また、図１に示す撮像装置３１０ａ及び３１０ｂは、それぞれが撮像装置３１０の一例を示している。撮像装置３１０ａは、ユーザＵ１に装着された状態で使用されるウェアラブルデバイス３００（例えば、メガネ型のデバイス等）に支持された撮像装置を模式的に示している。また、撮像装置３１０ｂは、ユーザＵ１を第三者的な視点で撮像するように設置された撮像装置（例えば、所定の位置に設置された撮像装置）を模式的に示している。なお、以降の説明では、撮像装置３１０ａ及び３１０ｂのそれぞれを特に区別しない場合には、単に撮像装置３１０と称するものとする。

撮像装置３１０は、対象となるユーザＵ１の周囲の状況を撮像し、撮像結果に応じた画像（例えば、静止画像や動画像）のデータを所定の出力先に出力する。
なお、撮像装置３１０は、対象となるユーザＵ１の周囲の状況を撮像することが可能であれば、設置される位置や設置方法等は特に限定はされず、当該ユーザＵ１の行動範囲や、当該ユーザＵ１が行う作業の特性等に応じて適宜変更されてもよい。
例えば、図１に示す撮像装置３１０ａは、ウェアラブルデバイス３００に支持されており、当該ウェアラブルデバイス３００がユーザＵ１に装着された状態で使用される。このような構成とすることで、例えば、ユーザＵ１が視線を向けている方向を撮像した、所謂一人称視点の画像を得ることが可能となる。
また、他の一例として、図１に示す撮像装置３１０ｂは、例えば、所定の位置に設置された状態で使用される。このような構成とすることで、例えば、ユーザＵ１や当該ユーザＵ１の周囲の状況を第三者的な視点から撮像することが可能となる。
また、撮像装置３１０の数は１台に限らず複数台が使用されてもよい。なお、本実施形態では、情報処理システム１の特徴をよりわかりやすくするために、撮像装置３１０の数は１台であるものとする。

モデル構築装置１１０と、評価装置１５０と、端末装置２００と、撮像装置３１０とは、ネットワークＮ１を介して互いに情報を送受信可能に接続されている。
なお、ネットワークＮ１の種別は特に限定はされない。具体的な一例として、ネットワークＮ１は、インターネット、専用線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されていてもよい。また、ネットワークＮ１は、有線のネットワークにより構成されていてもよいし、５Ｇ、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、及びＷｉ－Ｆｉ（登録商標）等の通信規格に基づくネットワークのような無線のネットワークにより構成されていてもよい。また、ネットワークＮ１は、複数のネットワークを含んでもよく、一部のネットワークとして、他のネットワークと異なる種別のネットワークが適用されてもよい。また、上述した各種情報処理装置間の通信が論理的に確立されていればよく、物理的には各種情報処理装置間の通信が他の通信装置等により中継されてもよい。

端末装置２００は、ユーザからの入力（例えば、各種指示）の受け付けや、ユーザへの各種情報（例えば、フィードバック等）の提示に係るインタフェースとしての役割を担う。具体的な一例として、端末装置２００は、ネットワークを介して後述するモデル構築装置１１０や評価装置１５０からデータを受信し、当該データに基づく情報を、所定の出力装置（例えば、ディスプレイ等）を介してユーザに提示してもよい。また、端末装置２００は、所定の入力装置（例えば、タッチパネル等）を介してユーザから受け付けた操作に基づき、当該ユーザからの指示を認識し、ネットワークを介して当該指示に応じた情報をモデル構築装置１１０や評価装置１５０に送信してもよい。これにより、モデル構築装置１１０や評価装置１５０は、ユーザからの指示を認識し、当該指示に応じた処理を実行することが可能となる。
端末装置２００は、例えば、所謂スマートフォン、タブレット端末、及びＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のような通信機能を有する情報処理装置により実現され得る。

モデル構築装置１１０及び評価装置１５０のそれぞれは、所謂サーバ装置により実現され、評価対象となる作業者の所定の作業に関する熟練度の評価に係る各種機能を提供する。なお、熟練度評価の対象については、作業の特性、分析の対象、及び評価の基準等に応じて適宜設定され得る。具体的な一例として、作業の安全性（自己安全確保、他者安全確保等）、作業スピード、作業品質（製品加工精度、選別精度等）が熟練度評価の対象として設定され得る。

モデル構築装置１１０は、所謂機械学習に基づき認識器や識別器等のような所謂学習済モデルの構築に係る各種処理を実行する。
具体的には、本実施形態に係るモデル構築装置１１０は、一連の作業の実施状況の撮像結果に応じた動画像を、当該一連の作業を構成する個々の作業（以下、作業単位とも称する）それぞれに対応する部分的な動画像に分割するために使用される学習済モデルの構築に係る処理を実行する。以降では、当該学習済モデルを、便宜上「作業動画分割モデル」とも称する。作業動画分割モデルは、所望の作業の実施状況の撮像結果に応じた動画像の画像データを入力することで、当該動画像に撮像されたシーンがいずれの作業単位の実施状況を示しているかを推論し、当該推論の結果に応じた情報を出力する学習済モデルである。当該作業動画分割モデルが、「第２の学習済モデル」の一例に相当する。
また、モデル構築装置１１０は、評価対象となる作業者による作業の熟練度の評価に使用される学習済モデルの構築に係る処理を実行する。以降では、当該学習済モデルを、便宜上「熟練度評価モデル」とも称する。熟練度評価モデルは、各作業者による作業の実施状況の撮像結果に応じた動画像の画像データ間の関係性に関する特徴量空間の学習結果に基づき構築される。このような熟練度評価モデルを利用することで、例えば、評価対象となる作業者がどのようなグループの作業者（例えば、熟練者や未熟者等）に属するかの評価や、異なる複数の作業者間における作業の実施状況の差の評価（例えば、定量的な評価）が可能となる。当該熟練度評価モデルが、「第１の学習済モデル」の一例に相当する。また、評価対象となる作業者が「第１の作業者」の一例に相当する。
なお、作業動画分割モデル及び熟練度評価モデルの特性や、モデル構築装置１１０によるこれらのモデルの構築に係る処理については、詳細を別途後述する。

評価装置１５０は、モデル構築装置１１０により構築された学習済モデルを利用して各種の判定や評価を行う。
具体的には、本実施形態に係る評価装置１５０は、評価対象となる作業者による一連の作業の実施状況の撮像結果に応じた動画像の画像データを取得し、当該画像データと熟練度評価モデルとを利用して、当該作業者の当該作業の熟練度を評価する。また、この際に、評価装置１５０は、取得した画像データに対応する動画像を、当該動画像に撮像された一連の作業を構成する作業単位ごとの部分的な動画像に分割したうえで、分割された当該動画像の画像データに基づき作業単位ごとの熟練度を評価してもよい。また、評価装置１５０は、取得した画像データが示す動画像を作業単位ごとの部分的な動画像に分割する際に、作業動画分割モデルを利用してもよい。
なお、評価装置１５０の処理については、詳細を別途後述する。

なお、図１に示す構成はあくまで一例であり、必ずしも本実施形態に係る情報処理システム１のシステム構成を限定するものではない。具体的な一例として、モデル構築装置１１０と評価装置１５０とが一体的に構成されていてもよい。また、モデル構築装置１１０や評価装置１５０が端末装置２００の役割を担ってもよい。すなわち、モデル構築装置１１０や評価装置１５０に相当するサーバ装置が、ユーザから各種情報の入力を受け付けてもよく、ユーザに対して各種情報の提示を行ってもよい。また、モデル構築装置１１０と評価装置１５０に相当する構成要素が、複数の装置が協働することで実現されてもよい。具体的な一例として、モデル構築装置１１０と評価装置１５０に相当する構成要素が、所謂クラウドサービスとして実現されてもよい。この場合には、当該クラウドサービスが、複数のサーバ装置が協働することにより実現されてもよい。

＜ハードウェア構成＞
図２を参照して、図１に示した本実施形態に係る情報処理システム１を構成する各種装置（例えば、モデル構築装置１１０、評価装置１５０、端末装置２００、及びウェアラブルデバイス３００等）として適用可能な情報処理装置９００のハードウェア構成の一例について説明する。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９２０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９３０と、補助記憶装置９４０と、ネットワークＩ／Ｆ９７０とを含む。また、情報処理装置９００は、出力装置９５０と、入力装置９６０とのうち少なくともいずれかを含んでもよい。ＣＰＵ９１０と、ＲＯＭ９２０と、ＲＡＭ９３０と、補助記憶装置９４０と、出力装置９５０と、入力装置９６０と、ネットワークＩ／Ｆ９７０とは、バス９８０を介して相互に接続されている。

ＣＰＵ９１０は、情報処理装置９００の各種動作を制御する中央演算装置である。例えば、ＣＰＵ９１０は、情報処理装置９００全体の動作を制御してもよい。ＲＯＭ９２０は、ＣＰＵ９１０で実行可能な制御プログラムやブートプログラムなどを記憶する。ＲＡＭ９３０は、ＣＰＵ９１０の主記憶メモリであり、ワークエリア又は各種プログラムを展開するための一時記憶領域として用いられる。

補助記憶装置９４０は、各種データや各種プログラムを記憶する。補助記憶装置９４０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）に代表される不揮発性メモリ等のような、各種データを一時的または持続的に記憶可能な記憶デバイスにより実現される。

出力装置９５０は、各種情報を出力する装置であり、ユーザに対する各種情報の提示に利用される。例えば、出力装置９５０は、ディスプレイ等の表示デバイスにより実現され、各種表示情報を表示させることで、ユーザに対して情報を提示してもよい。また、他の一例として、出力装置９５０は、音声や電子音等の音を出力する音響出力デバイスにより実現され、音声や電信等の音を出力することで、ユーザに対して情報を提示してもよい。このように、出力装置９５０として適用されるデバイスは、ユーザに対して情報を提示するために利用する媒体に応じて適宜変更されてもよい。なお、出力装置９５０が、各種情報の提示に利用される「出力部」の一例に相当する。

入力装置９６０は、ユーザからの各種指示の受け付けに利用される。例えば、入力装置９６０は、マウス、キーボード、タッチパネル等の入力デバイスを含んでもよい。また、他の一例として、入力装置９６０は、マイクロフォン等の集音デバイスを含み、ユーザが発話した音声を集音してもよい。この場合には、集音された音声に対して音響解析や自然言語処理等の各種解析処理が施されることで、この音声が示す内容がユーザからの指示として認識されてもよい。このように、入力装置９６０として適用されるデバイスは、ユーザからの指示を認識する方法に応じて適宜変更されてもよい。また、入力装置９６０として複数種類のデバイスが適用されてもよい。

ネットワークＩ／Ｆ９７０は、外部の装置とのネットワークを介した通信に利用される。なお、ネットワークＩ／Ｆ９７０として適用されるデバイスは、通信経路の種別や適用される通信方式に応じて適宜変更されてもよい。

情報処理装置９００のプログラムは、例えば、ＣＤ－ＲＯＭ等の記録媒体によって情報処理装置９００に提供されるか、またはネットワーク等を介してダウンロードされてもよい。記録媒体によって情報処理装置９００のプログラムが提供される場合には、記録媒体が所定のドライブ装置にセットされることで、当該記録媒体に記録されたプログラムが補助記憶装置９４０にインストールされる。

また、図２に示す構成はあくまで一例であり、必ずしも本実施形態に係る情報処理システム１を構成する情報処理装置のハードウェア構成を限定するものではない。具体的な一例として、入力装置９６０や出力装置９５０等のような一部の構成が含まれていなくてもよい。また、他の一例として、情報処理装置９００が実現する機能に応じた構成が適宜追加されてもよい。

以上、図２を参照して、図１に示した本実施形態に係る情報処理システム１を構成する各種装置として適用可能な情報処理装置９００のハードウェア構成の一例について説明した。

＜機能構成＞
図３を参照して、本実施形態に係る情報処理システム１の機能構成の一例について、特にモデル構築装置１１０及び評価装置１５０の構成に着目して説明する。

まず、モデル構築装置１１０の構成について説明する。モデル構築装置１１０は、通信部１１１と、入出力制御部１１２と、モデル構築部１１３と、記憶部１１７とを含む。

通信部１１１は、モデル構築装置１１０の各構成要素が、他の装置（例えば、端末装置２００、撮像装置３１０、及び評価装置１５０等）とネットワークＮ１を介して情報を送受信するための通信インタフェースである。通信部１１１は、例えば、ネットワークＩ／Ｆ９７０により実現され得る。なお、以降の説明では、モデル構築装置１１０の各構成要素が他の装置との間で情報の送受信を行う場合には、特に説明がない限りは、通信部１１１を介して当該情報の送受信が行われるものとする。

記憶部１１７は、各種データや各種プログラム等を記憶するための記憶領域を模式的に示している。例えば、記憶部１１７は、モデル構築装置１１０の各構成要素が処理を実行するためのデータやプログラムを記憶してもよい。
また、記憶部１１７は、各種学習済モデル（例えば、作業動画分割モデルや熟練度評価モデル等）の構築に使用されるデータ（例えば、教師データ）を記憶してもよい。また、記憶部１１７は、各種学習済モデルの構築の過程において生成されるデータ等を記憶してもよいし、構築された各種学習済モデルのデータを記憶してもよい。

入出力制御部１１２は、ユーザ（例えば、管理者）に対する各種情報の提示や、ユーザからの情報の入力（例えば、指示等）の受け付けに係る各種処理を実行する。例えば、入出力制御部１１２は、端末装置２００を介した所定のＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の提示に係る処理や、当該ＵＩを介した入力の受け付けに係る処理を実行してもよい。これにより、モデル構築装置１１０は、ユーザからの指示を認識し、当該指示に応じた処理の結果を当該ユーザに提示することが可能となる。

モデル構築部１１３は、前述した作業動画分割モデルや熟練度評価モデル等のような学習済モデルの構築に係る処理を実行する。モデル構築部１１３は、ラベル付処理部１１４と、作業動画分割モデル構築部１１５と、熟練度評価モデル構築部１１６とを含む。

ラベル付処理部１１４は、対象となるデータ（たとえば、動画像の画像データ）に対して、当該データが示す情報を付帯情報として関連付ける。換言すると、ラベル付処理部１１４は、対象となるデータに対して当該データを示す情報のラベル付けを行う。
具体的な一例として、ラベル付処理部１１４は、作業の実施状況の撮像結果に応じた動画像の画像データに対して、当該作業を示す情報（例えば、作業単位を示す情報）を付帯情報として関連付けてもよい。この際に、ラベル付処理部１１４は、管理者からの指示に応じて、対象となる画像データに対して、指定されたラベル（例えば、作業単位を示す情報）を関連付けてもよい。
ラベル付処理部１１４により付帯情報が関連付けられたデータ（すなわち、ラベル付けが行われたデータ）は、例えば、学習済モデルの構築に係る教師データとして使用される。

作業動画分割モデル構築部１１５は、被写体として撮像された作業者が実施している作業を示す情報のラベル付けが行われた動画像の画像データを教師データとした教師ありの機械学習に基づく、作業動画分割モデルの構築に係る処理を実行する。
具体的には、作業動画分割モデル構築部１１５は、作業動画分割モデルに対して動画像の画像データを入力することで当該作業動画分割モデルから推論の結果として出力される情報と、ラベル付処理部１１４による当該画像データに対するラベル付けの結果とを比較する。そのうえで、作業動画分割モデル構築部１１５は、作業動画分割モデルから推論の結果として出力される上記情報が、ラベル付処理部１１４による上記ラベル付の結果により近づくように、当該作業動画分割モデルのパラメータ（例えば、作業単位の推論に係るパラメータ）を更新する。

作業動画分割モデル構築部１１５により構築された作業動画分割モデルは、後述する評価装置１５０による動画像の画像データの分割に使用される。
なお、作業動画分割モデル構築部１１５により構築された作業動画分割モデルを評価装置１５０が参照可能であれば、当該作業動画分割モデルのデータが配置される位置や、当該作業動画分割モデルの組み込み方法等は特に限定はされない。
具体的な一例として、作業動画分割モデル構築部１１５により構築された作業動画分割モデルのデータが、ネットワークＮ１を介して評価装置１５０に送信され、当該評価装置１５０の記憶部１５７に記憶されてもよい。また、他の一例として、モデル構築装置１１０に外付け可能な記録媒体に作業動画分割モデルのデータを記憶させることで、当該記録媒体を利用して評価装置１５０の記憶部１５７に当該作業動画分割モデルのデータが記憶されてもよい。これにより、評価装置１５０は、記憶部１５７にデータとして記憶された作業動画分割モデルを参照することが可能となる。
また、他の一例として、評価装置１５０が、他の装置の記憶領域にデータとして記憶された作業動画分割モデルを、ネットワークＮ１を介して当該他の装置にアクセスすることで参照してもよい。この場合には、作業動画分割モデルのデータは、モデル構築装置１１０（評価装置１５０とは異なる他の装置の一例に相当）の記憶部１１７に記憶されてもよいし、ネットワークストレージやデータベースシステム等として構成された他の装置の記憶領域に記憶されてもよい。
また、上記作業動画分割モデルは、後述する熟練度評価モデル構築部１１６による熟練度評価モデルの構築時に、対象となる動画像の画像データの分割に使用されてもよい。

熟練度評価モデル構築部１１６は、メトリックラーニング（Ｍｅｔｒｉｃ Ｌｅａｒｎｉｎｇ）とも称される機械学習に基づく、熟練度評価モデルの構築に係る処理を実行する。具体的には、熟練度評価モデルは、各作業者による作業（作業単位）の実施状況の撮像結果に応じた動画像の画像データを学習データとした、複数の当該画像データ間の関係性に関する特徴量空間の学習結果に基づき構築される。
この際に、熟練度評価モデル構築部１１６は、共通のグループに属する作業者間においては、共通の作業単位に対応する複数の画像データ間の特徴量の差がより小さくなるように、熟練度評価モデルの構築を行う。また、熟練度評価モデル構築部１１６は、それぞれが異なるグループに属する作業者間においては、共通の作業単位に対応する複数の画像データ間の特徴量の差がより大きくなるように、上記熟練度評価モデルの構築を行う。
これにより、例えば、熟練者に相当する複数の作業者それぞれによる共通の作業の実施状況の撮像結果に応じた複数の画像データ間においては、各画像データを入力として熟練度評価モデルから出力される特徴量（換言すると、特徴量ベクトル）の差がより小さくなる。また、共通の作業者による共通の作業の実施状況の撮像結果に応じた複数の画像データ間においても、各画像データを入力として熟練度評価モデルから出力される特徴量の差がより小さくなる。
これに対して、熟練者と未熟者とのように互いに異なるグループに属する複数の作業者それぞれによる共通の作業の実施状況の撮像結果に応じた複数の画像データ間においては、各画像データを入力として熟練度評価モデルから出力される特徴量の差がより大きくなる。

熟練度評価モデル構築部１１６により構築された熟練度評価モデルは、後述する評価装置１５０による評価対象となる作業者の各種作業に関する熟練度の評価に利用される。
なお、熟練度評価モデル構築部１１６により構築された熟練度評価モデルを評価装置１５０が参照可能であれば、当該作熟練度評価モデルのデータが配置される位置や、当該作業動画分割モデルの組み込み方法等は特に限定はされない。これは、前述した作業動画分割モデルの場合と同様のため詳細な説明は省略する。

次いで、評価装置１５０の構成について説明する。評価装置１５０は、通信部１５１と、入出力制御部１５２と、分割処理部１５３と、評価処理部１５４と、寄与率算出部１５５と、画像処理部１５６と、記憶部１５７とを含む。

通信部１５１は、評価装置１５０の各構成要素が、他の装置（例えば、端末装置２００、撮像装置３１０、及びモデル構築装置１１０等）とネットワークＮ１を介して情報を送受信するための通信インタフェースである。通信部１１１は、例えば、ネットワークＩ／Ｆ９７０により実現され得る。なお、以降の説明では、評価装置１５０の各構成要素が他の装置との間で情報の送受信を行う場合には、特に説明がない限りは、通信部１５１を介して当該情報の送受信が行われるものとする。

記憶部１５７は、各種データや各種プログラム等を記憶するための記憶領域を模式的に示している。例えば、記憶部１５７は、評価装置１５０の各構成要素が処理を実行するためのデータやプログラムを記憶してもよい。
また、記憶部１５７は、撮像装置３１０による撮像結果に応じた動画像の画像データを記憶してもよい。また、記憶部１５７は、モデル構築装置１１０により機械学習に基づき構築された学習済モデル（例えば、作業動画分割モデルや熟練度評価モデル等）のデータを記憶してもよい。また、記憶部１１７は、評価対象となる作業者の作業の熟練度の評価の過程で生成されるデータ等を記憶してもよいし、当該評価の結果に応じた情報等を記憶してもよい。

入出力制御部１５２は、ユーザ（例えば、管理者）に対する各種情報の提示や、ユーザからの情報の入力（例えば、指示等）の受け付けに係る各種処理を実行する。例えば、入出力制御部１５２は、端末装置２００を介した所定のＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の提示に係る処理や、当該ＵＩを介した入力の受け付けに係る処理を実行してもよい。これにより、評価装置１５０は、ユーザからの指示を認識し、当該指示に応じた処理の結果を当該ユーザに提示することが可能となる。

分割処理部１５３は、一連の作業の実施状況の撮像結果に応じた動画像の画像データを、当該一連の作業を構成する作業単位ごとの画像データに分割する。この際に、分割処理部１５３は、前述した作業動画分割モデル構築部１１５により構築された作業動画分割モデルを、一連の作業の実施状況の撮像結果に応じた動画像の画像データの分割に利用してもよい。以上のようにして動画像の画像データの分割が行われることで、例えば、一連の作業の実施状況の撮像結果に応じた動画像の画像データのうち、所望の作業単位の実施状況に対応する動画像の画像データを抽出することも可能となる。なお、一連の作業（例えば、１以上の作業単位を含む一連の作業）の実施状況の撮像結果に応じた動画像の画像データが「第１の画像データ」の一例に相当し、当該第１の画像データから分割された作業単位ごとの画像データが「第２の画像データ」の一例に相当する。

評価処理部１５４は、評価対象となる作業者による一連の作業の実施状況の撮像結果に応じた動画像の画像データと、前述した熟練度評価モデル構築部１１６により構築された熟練度評価モデルとに基づき、当該作業者の当該一連の作業に関する熟練度の評価を行う。
具体的な一例として、評価処理部１５４は、評価対象となる作業者と、評価の基準となる作業者（例えば、熟練者）との間で、それぞれに対応する画像データの特徴量の特徴量空間における位置関係に基づき、評価対象となる作業者の一連の作業に関する熟練度の評価を行ってもよい。
また、他の一例として、評価処理部１５４は、評価対象となる作業者に対応する画像データの特徴量が、特徴量空間中においてどのグループに属する作業者に対応する特徴量により近いかに応じて、評価対象となる作業者の一連の作業に関する熟練度の評価を行ってもよい。
また、評価処理部１５４は、作業単位ごとに評価対象となる作業者の熟練度を評価してもよいし、一連の作業単位それぞれの評価結果に基づき当該一連の作業単位を含む一連の作業全体について評価対象となる作業者の熟練度を評価してもよい。
なお、評価処理部１５４による評価対象となる作業者の一連の作業に関する熟練度の評価に係る処理の一例については、詳細を別途後述する。

寄与率算出部１５５は、評価処理部１５４による上記熟練度の評価に際して、当該評価に使用された画像データが示す画像（例えば、動画像中の少なくとも一部のフレームに対応する静止画像）中の各領域における当該評価への寄与率（特に、同評価の要因となった熟練度評価モデルの出力への寄与率）を算出する。
具体的な一例として、未熟者を評価対象となる作業者とし、熟練者を評価基準とする作業者としたうえで、未熟者が未熟であると評価された場合における、当該評価への寄与率が算出されるものとする。この場合には、例えば、寄与率算出部１５５は、未熟者と熟練者との間で動きの異なる部分（例えば、静止画像中において異なるビット値を示す部分）が上記評価により寄与しているとの判定に基づき、対象となる画像の各部における寄与率を算出してもよい。
また、他の一例として、未熟者を評価対象となる作業者とし、熟練者を評価基準とする作業者としたうえで、未熟者が熟練していると評価された場合における、当該評価への寄与率が算出されるものとする。この場合には、例えば、寄与率算出部１５５は、未熟者と熟練者との間で動きがより類似する部分（例えば、静止画像中においてより近似するビット値を示す部分）が上記評価により寄与しているとの判定に基づき、対象となる画像の各部における寄与率を算出してもよい。
なお、上述のような寄与率の評価については、例えば、ＧｒａｄＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）と称される技術のように、公知の技術を利用することが可能である。

画像処理部１５６は、対象となる画像に対して各種の画像処理を施す。例えば、画像処理部１５６は、寄与率算出部１５５が処理の対象とした画像に対して、当該寄与率算出部１５５による寄与率の算出結果に応じた情報を重畳させてもよい。より具体的な一例として、画像処理部１５６は、寄与率算出部１５５による寄与率の算出元となった画像中の領域に対して、当該寄与率の算出結果が識別可能に重畳表示されるように、当該画像に対して画像処理を施してもよい。
そして、画像処理部１５６は、画像処理の結果に応じた情報を所定の出力先に出力する。例えば、画像処理部１５６は、画像処理後の画像を入出力制御部１５２に出力してもよい。これにより、入出力制御部１５２は、画像処理後の画像をＵＩ上の所定の領域に表示させることで、当該画像をユーザ（例えば、管理者）に提示することも可能となる。

なお、上述した構成はあくまで一例であり、情報処理システム１の機能構成（特に、モデル構築装置１１０や評価装置１５０の機能構成）を必ずしも図３に示す例には限定されない。
例えば、モデル構築装置１１０の一連の構成要素が、複数の装置が協働することで実現されてもよい。具体的な一例として、モデル構築装置１１０の一連の構成要素のうち、一部の構成要素が当該モデル構築装置１１０に対して外付けされていてもよい。また、他の一例として、モデル構築装置１１０の一連の構成要素のうち、少なくとも一部の構成要素の処理に係る負荷が、複数の装置に分散されてもよい。これらは、評価装置１５０についても同様である。
また、他の一例として、モデル構築装置１１０と評価装置１５０とが一体的に構成されていてもよい。すなわち、モデル構築装置１１０及び評価装置１５０それぞれの一連の構成要素が、共通のサーバ装置の構成要素として実現されてもよい。

以上、図３を参照して、本実施形態に係る情報処理システム１の機能構成の一例について、特にモデル構築装置１１０及び評価装置１５０の構成に着目して説明した。

＜処理＞
本実施形態に係る情報処理システムの処理の一例について、モデル構築装置１１０により実行される学習済モデルの構築に係る前処理段階と、評価装置１５０により実行される構築された学習済モデルを利用した評価に係る本処理段階とに分けてそれぞれ説明する。

（前処理段階）
前処理段階における処理の一例として、作業動画分割モデルの構築に係る処理と、熟練度評価モデルの構築に係る処理とのそれぞれについて個別に説明する。
まず、図４を参照して、モデル構築装置１１０による作業動画分割モデルの構築に係る処理の一例について説明する。図４は、モデル構築装置１１０による作業動画分割モデルの構築に係る処理の一例を示した図である。

Ｓ１０１において、モデル構築装置１１０は、作業動画分割モデルの構築に利用される画像データ（所謂サンプルデータ）が示す動画像を、時系列に沿って所定の期間ごと（例えば、固定フレーム数ごと）の部分的な動画像に分割し、当該部分的な動画像ごとの画像データを生成する。なお、以降の説明では、便宜上、分割前の動画像を「作業動画」とも称し、作業動画から分割された所定の期間ごとの部分的な動画像を「入力単位動画」とも称する。例えば、図５は、作業動画を入力単位動画に分割した場合の一例を示している。また、図４に示すＤ１０２は、Ｓ１０１において作業動画から分割された一連の入力単位動画それぞれの画像データを示している。

Ｓ１０３において、モデル構築装置１１０は、Ｓ１０１において作業動画から分割された一連の入力単位動画それぞれの画像データＤ１０２を作業動画分割モデルに入力する。これにより、作業動画分割モデルにより、作業動画から分割された一連の入力単位動画それぞれの画像データＤ１０２について、当該入力単位動画に撮像されたシーンがいずれの作業単位の実施状況を示しているかの推論結果を示す情報が出力される。この際に、作業動画分割モデルは、入力単位動画を構成するフレームごとに、当該フレームに撮像されたシーンがいずれの作業単位の実施状況を示しているかの推論結果を示す情報を出力してもよい。このように、フレームごとに推論結果が出力されることで、熟練度の評価に係る精度をより向上させる効果が期待できる。具体的な一例として、１つの入力単位動画において、複数の作業のシーンが撮像されている場合において、フレームごとに推論結果が出力されることで、当該複数の作業それぞれに対して推論結果を得ることが可能となる。このような場合には、入力単位動画ごとに推論結果が出力される場合に比べて、より詳細に熟練度の評価を行うことが可能となる。Ｄ１０４は、作業動画分割モデルによる推論結果に応じた情報、すなわち、入力単位動画に対する当該入力単位動画に撮像されたシーンが示す作業単位の推論結果に応じた情報がラベル付けされた、当該入力単位動画の画像データを模式的に示している。

また、Ｓ１０３の処理とは別に、モデル構築装置１１０は、作業動画分割モデルに入力された画像データに対して、当該画像データが示す入力単位動画に撮像されたシーンがいずれの作業単位の実施状況を示しているかの正解を示す情報（以下、正解情報とも称する）をラベル付けする。当該ラベル付けの処理、換言すると、入力単位動画の画像データに対するアノテーションの付与に係る処理については、例えば、管理者からの指示に基づき行われる。Ｄ１０５は、正解情報のラベル付けが行われた上記入力単位動画の画像データを模式的に示している。また、正解情報がラベル付けされた上記入力単位動画の画像データＤ１０５が、作業動画分割モデルの構築に係る教師あり学習の教師データの一例に相当する。

ここで、図６を参照して、作業動画（すなわち、一連の入力単位動画）に対するラベル付けの結果の一例について、具体的な例を挙げて説明する。図６は、入力単位動画の分割元となる作業動画に対するラベル付けの結果（アノテーションの付与結果）の一例を示している。図６に示す例では、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）の組み立てに係る一連の作業の作業動画に対するラベル付けの処理の結果の一例を示している。具体的には、ＰＣの組み立てに係る一連の作業には、作業単位として「ボード取付」、「ＣＰＵ取付」、「メモリ取付」、及び「ＳＡＴＡケーブル接続」の作業が含まれている。なお、図６に示す例のように、同様の作業が行われている状況下においても、作業動画の長さや作業単位動画の長さは、動画像ごとに異なる場合がある。

ここで、改めて図４を参照する。Ｓ１０６において、モデル構築装置１１０は、作業動画分割モデルによる推論結果がラベル付けされた入力単位動画の画像データＤ１０４と、正解情報がラベル付けされた画像データＤ１０５とに基づき、当該正解情報に対する当該作業動画分割モデルによる推論のずれを算出する。具体的な一例として、モデル構築装置１１０は、画像データＤ１０４及びＤ１０５に対して所謂損失関数を適用することで、正解情報に対する作業動画分割モデルによる推論結果のずれの大きさ（すなわち、Ｌｏｓｓ：損失）を算出してもよい。

Ｓ１０７において、モデル構築装置１１０は、Ｓ１０６において算出した正解情報に対する作業動画分割モデルによる推論結果のずれに基づき、当該作業動画分割モデルを更新する。具体的には、モデル構築装置１１０は、作業動画分割モデルによる推論結果が正解情報により近づくように、当該作業動画分割モデルのパラメータ（すなわち、作業単位の推論に係るパラメータ）を更新する。

Ｓ１０８において、モデル構築装置１１０は、終了条件を満たしたか否かを判定する。具体的な一例として、モデル構築装置１１０は、一連の入力単位動画の画像データ（例えば、Ｓ１０１にて作業動画から分割された一連の入力単位動画それぞれの画像データ）を、Ｓ１０３～Ｓ１０７の処理の対象とした場合に、終了条件を満たしたと判定してもよい。
モデル構築装置１１０は、Ｓ１０８において終了条件を満たしていないと判定した場合には、処理をＳ１０３に進める。この場合には、モデル構築装置１１０は、まだ処理対象となっていない入力単位動画の画像データＤ１０２について、Ｓ１０３～Ｓ１０７の処理を実行する。
そして、モデル構築装置１１０は、Ｓ１０８において終了条件を満たしたと判定した場合には、図４に示す一連の処理を終了する。

次いで、図７を参照して、モデル構築装置１１０による熟練度評価モデルの構築に係る処理の一例について説明する。図７は、モデル構築装置１１０による熟練度評価モデルの構築に係る処理の一例を示した図である。

Ｓ２０１において、モデル構築装置１１０は、熟練度評価モデルの構築に利用される一連の画像データ（所謂サンプルデータ）それぞれが示す作業動画から、作業単位動画を抽出することで、当該作業単位動画に対応する画像データを生成する。なお、図７に示す例では、Ｍ個の画像データを対象として、当該Ｍ個の画像データそれぞれが示す作業動画から作業単位動画が個別に抽出されたものとする。Ｄ２０２は、Ｍ個の画像データそれぞれが示す作業動画から抽出された作業単位動画の画像データを模式的に示している。すなわち、図７に示す例の場合には、所望の作業単位に着目した場合に、Ｍ個の画像データそれぞれが示す作業動画から当該作業単位に対応する作業単位動画が抽出されることとなる。そこで、以降では、Ｍ個の画像データ１～Ｍそれぞれが示す作業動画から抽出された作業単位動画を、便宜上、作業単位動画１～Ｍとも称する。すなわち、作業単位動画Ｍは、画像データＭが示す作業動画から抽出された作業単位動画を示すものとする。
なお、作業動画の画像データからの作業単位動画の画像データの抽出が可能であればその方法は特に限定はされない。具体的な一例として、ユーザからの指示に応じて所望の画像データが示す作業動画からの作業単位動画の抽出が行われることで、当該作業単位動画の画像データが生成されてもよい。また、他の一例として、図４に示す処理により構築された作業動画分割モデルを利用して作業動画の画像データを作業単位動画の画像データに分割した結果を利用することで、所望の作業単位に対応する作業単位動画の画像データの抽出が行われてもよい。

Ｓ２０３において、モデル構築装置１１０は、共通の作業単位に対応する作業単位動画１～Ｍを対象として、各作業単位動画から熟練度評価モデルに入力するフレームを抽出する。この際に、モデル構築装置１１０は、作業単位動画１～Ｍ間において熟練度評価モデルへの入力次元（換言すると、フレーム数）が固定されるように、作業単位動画１～Ｍのそれぞれから所定数のフレームを抽出してもよい。この場合には、モデル構築装置１１０は、作業単位動画１～Ｍのそれぞれから所定数のフレームを抽出するために、抽出対象とするフレームの間隔を制御してもよい。
具体的には、作業単位動画１～Ｍのそれぞれは、必ずしもフレーム数（換言すると、動画像の長さ）が同じとは限らない。そのため、モデル構築装置１１０は、例えば、フレーム数が多い作業単位動画ほど、抽出対象とするフレーム間の間隔がより広くなるように制御することで、作業単位動画１～Ｍのそれぞれから同数のフレームを抽出してもよい。より具体的な一例として、各作業単位動画から１０フレームが抽出されるものとする。この場合には、抽出対象となる作業単位動画の総フレーム数が３０の場合には、モデル構築装置１１０は、３フレームごとにフレームを抽出することで、計１０フレームを抽出してもよい。また、他の一例として、抽出対象となる作業単位動画の総フレーム数が２０の場合には、モデル構築装置１１０は、２フレームごとにフレームを抽出することで、計１０フレームを抽出してもよい。

Ｓ２０４において、モデル構築装置１１０は、作業単位動画１～Ｍそれぞれから抽出した一連のフレームに対応する画像データを熟練度評価モデルに入力する。これにより、当該熟練度評価モデルからは、作業単位動画１～Ｍそれぞれについて、当該作業単位動画の特徴量に応じた特徴量空間における位置を示す情報（以下、特徴量ベクトルＤ２０５とも称する）が出力される。

Ｓ２０６において、モデル構築装置１１０は、作業単位動画１～Ｍそれぞれについて熟練度評価モデルから出力された特徴量ベクトルＤ２０５それぞれの間の差分を算出する。具体的な一例として、モデル構築装置１１０は、所謂損失関数を利用することで、作業単位動画１～Ｍそれぞれに対応する特徴量ベクトルＤ２０５間のずれの大きさ（損失）を上記差分として算出してもよい。

Ｓ２０７において、モデル構築装置１１０は、Ｓ２０６において算出した作業単位動画１～Ｍそれぞれに対応する特徴量ベクトルＤ２０５間の差分に基づき、Ｓ２０４において特徴量ベクトルＤ２０５の導出に利用した熟練度評価モデルを更新する。具体的には、前述したように、モデル構築装置１１０は、メトリックラーニングとも称される機械学習に基づき、共通のグループに属する作業者間において特徴量ベクトルＤ２０５間の差がより小さくなり、異なるグループに属する作業者間において特徴量ベクトルＤ２０５間の差がより大きくなるように熟練度評価モデルを更新する。

例えば、図８は、熟練度評価モデルの構築に係る処理の一例について説明するための説明図である。図８において、同様の形状のマーカは、同じグループに属するサンプルから抽出された特徴量に応じた特徴量空間中の位置（例えば、同じグループに属する作業者に対応する特徴量ベクトルＤ２０５）を模式的に示している。また、左側の図は、メトリックラーニングによる学習が行われる前の入力データの特徴量空間の状態を模式的に示している。また、右側の図は、メトリックラーニングによる学習が行われた後の特徴量空間の状態を模式的に示している。
図８の左側の図に示すように、学習前においては、特徴量空間中における各サンプルの位置が、当該サンプルが属するグループに関わらず無作為に散らばっている。これに対して、図８の右側の図に示すように、学習後においては、同じグループに属するサンプルが、特徴量空間中においてより近傍に位置し、互いに異なるグループに属するサンプルがより離間するように位置している。
このように、モデル構築装置１１０は、共通のグループに属するサンプル間において特徴量ベクトル間の差がより小さくなり、異なるグループに属するサンプル間において特徴量ベクトルの差がより大きくなるように特徴量空間を学習することで、熟練度評価モデルを更新する。なお、上記に例示したような、熟練度評価モデルの更新については、例えば、確率的勾配降下法と称される手法を適用することが可能である。

ここで、改めて図７を参照する。Ｓ２０８において、モデル構築装置１１０は、終了条件を満たしたか否かを判定する。具体的な一例として、モデル構築装置１１０は、対象となる画像データ（サンプルデータ）が示す作業動画から抽出された一連の作業単位動画を、Ｓ２０３～Ｓ２０７の処理の対象とした場合に、終了条件を満たしたと判定してもよい。
モデル構築装置１１０は、Ｓ２０８において終了条件を満たしていないと判定した場合には、処理をＳ２０３に進める。この場合には、モデル構築装置１１０は、まだ処理対象となっていない入力単位動画の画像データＤ１０２について、Ｓ２０３～Ｓ２０７の処理を実行する。
そして、モデル構築装置１１０は、Ｓ２０８において終了条件を満たしたと判定した場合には、図７に示す一連の処理を終了する。

以上、図４～図８を参照して、前処理段階における処理の一例として、作業動画分割モデルの構築に係る処理と、熟練度評価モデルの構築に係る処理とのそれぞれについて個別に説明した。

（後処理段階）
後処理段階における処理の一例として、作業動画分割モデルを利用した作業動画からの作業単位動画の分割に係る処理と、熟練度評価モデルを利用した作業者の熟練度の評価に係る処理とのそれぞれについて個別に説明する。
まず、図９を参照して、評価装置１５０による作業動画分割モデルを利用した作業動画からの作業単位動画の分割に係る処理の一例について説明する。図９は、評価装置１５０による作業動画分割モデルを利用した作業動画からの作業単位動画の分割に係る処理の一例を示した図である。

評価装置１５０は、処理対象となる画像データＤ３０１を取得し、Ｓ３０２において、当該画像データＤ３０１が示す作業動画を所定の期間（例えば、所定のフレーム数）ごとの入力単位動画に分割する。Ｄ３０３は、Ｓ３０２において作業動画から分割された一連の入力単位動画それぞれの画像データを示している。

Ｓ３０４において、評価装置１５０は、Ｓ３０２において作業動画から分割された一連の入力単位動画それぞれの画像データＤ３０３を順次抽出して作業動画分割モデルに入力する。これにより、作業動画分割モデルにより、画像データＤ３０１が示す作業動画から分割された一連の入力単位動画それぞれの画像データＤ３０３について、当該入力単位動画に撮像されたシーンがいずれの作業単位の実施状況を示しているかの推論結果を示す情報が出力される。Ｄ３０５は、作業動画分割モデルによる推論結果に応じた情報、すなわち、入力単位動画に対する当該入力単位動画に撮像されたシーンが示す作業単位の推論結果に応じた情報がラベル付けされた、当該入力単位動画の画像データを模式的に示している。
これにより、共通の作業単位を示す情報がラベル付けされた一連の入力単位動画を時系列に沿ってまとめることで、当該作業単位に対応する作業単位動画を生成することが可能となる。

例えば、図１０は、作業動画分割モデルを利用した作業動画からの作業単位動画の分割に係る処理の結果の一例を示した図であり、ＰＣの組み立てに係る一連の作業の実施状況の撮像結果に応じた作業動画の画像データを対象とした場合における処理結果の一例について示している。
作業動画を入力単位動画に分割したうえで、分割後の一連の入力単位動画それぞれの画像データを作業動画分割モデルに入力することで、作業単位に対応する入力単位動画の画像データについて当該作業単位の推論結果を示す情報が出力される。
図１０に示す例では、分割後の一連の入力単位動画のうち、ＰＣの組み立て作業の作業単位である「ボード取付」、「ＣＰＵ取付」、及び「メモリ取付」の作業状況が撮像された入力単位動画を対象として、対応する作業単位を示す情報が推論結果として出力されている。また、図１０に示す例では、時系列に沿って連続する２つの入力単位動画に対して、当該入力単位動画に撮像されたシーンが、「ボード取付」の作業状況を示しているとの推論結果が出力されている。そのため、この場合には、当該２つの入力単位動画を時系列に沿ってまとめた動画像が、「ボード取付」に対応する作業単位動画となる。これは、「メモリ取付」として示された作業単位についても同様である。
以上のようにして、ＰＣの組み立てに係る一連の作業の実施状況の撮像結果に応じた作業動画の画像データから、「ボード取付」、「ＣＰＵ取付」、及び「メモリ取付」それぞれに対応する作業単位動画を分割して抽出することが可能となる。

ここで、改めて図９を参照する。Ｓ３０６において、評価装置１５０は、Ｓ３０２において作業動画から分割された一連の入力単位動画のうちの最後の入力単位動画までＳ３０４の処理の対象としたか否かを判定する。
評価装置１５０は、Ｓ３０６において最後の入力単位動画までＳ３０４の処理の対象としていないと判定した場合には、処理をＳ３０４に進める。この場合には、評価装置１５０は、まだ処理対象となっていない入力単位動画の画像データＤ３０３について、Ｓ３０４の処理を実行する。
そして、評価装置１５０は、Ｓ３０６において最後の入力単位動画までＳ３０４の処理の対象としたと判定した場合には、図９に示す一連の処理を終了する。

次いで、図１１を参照して、評価装置１５０による熟練度評価モデルを利用した作業者の所定の作業に関する熟練度の評価に係る処理の一例について説明する。図１１は、評価装置１５０による熟練度評価モデルを利用した作業者の所定の作業に関する熟練度の評価に係る処理の一例を示した図である。また、図１１は、評価基準とする作業者をあらかじめ設定したうえで、評価対象となる作業者と評価基準とする作業者とのそれぞれの作業の実施状況を比較することで、評価対象となる作業者の当該作業に関する熟練度の評価を行う場合の一例について示している。なお、評価基準とする作業者については、例えば、熟練者に相当する作業者を設定するとよい。なお、評価基準とする作業者が「第２の作業者」の一例に相当する。

評価装置１５０は、評価対象となる作業者による一連の作業の実施状況の撮像結果に応じた作業動画の画像データを取得し、当該画像データを対象としてＳ４０２～Ｓ４０５の処理と、Ｓ４０８～Ｓ４０９の処理と、を実行したうえで、Ｓ４１１～Ｓ４１２の処理を実行する。そこで、以降では、Ｓ４０２～Ｓ４０５の処理とＳ４０８～Ｓ４０９の処理とのそれぞれについて説明したうえで、Ｓ４１１～Ｓ４１２の処理について説明する。

まず、Ｓ４０２～Ｓ４０５の処理について説明する。Ｓ４０２～Ｓ４０５の処理は、評価対象となる作業者による作業の実施状況の撮像結果に応じた作業動画の画像データを対象とした特徴量ベクトル（すなわち、特徴量空間中の位置）の導出に係る処理の一例を示している。

評価装置１５０は、評価対象となる作業者の作業動画の画像データＤ４０１を取得し、Ｓ４０２において、当該画像データＤ４０１が示す作業動画を作業単位動画に分割する。そのうえで、評価装置１５０は、上記作業動画から分割された一連の作業単位動画それぞれに対応する画像データのうち、評価の対象となる作業単位に対応する作業単位動画の画像データＤ４０３を抽出する。なお、図１１に示す例では、作業単位Ａを対象として、評価対象となる作業者の当該作業単位Ａに関する熟練度の評価が行われるものとする。そのため、図１１に示す例では、評価装置１５０は、Ｓ４０２の処理の結果に基づき、作業単位Ａに対応する作業単位動画の画像データＤ４０３を抽出している。

Ｓ４０４において、評価装置１５０は、抽出した画像データＤ４０３が示す作業単位Ａの作業単位動画から、熟練度評価モデルに入力するフレームを抽出する。この際に、評価装置１５０は、熟練度評価モデルへの入力次元（換言すると、フレーム数）が固定されるように、作業単位動画Ａから所定数のフレームを抽出してもよく、当該所定数のフレームを抽出するために抽出対象とするフレームの間隔を制御してもよい。
Ｓ４０５において、評価装置１５０は、Ｓ４０４において作業単位Ａの作業単位動画から抽出したフレームに対応する画像データを熟練度評価モデルに入力する。これにより、当該熟練度評価モデルからは、評価対象となる作業者による作業単位Ａの実施状況の撮像結果に応じた作業単位動画の特徴量に応じた特徴量空間における位置を示す情報（以下、特徴量ベクトルＤ４０６とも称する）が出力される。

次いで、Ｓ４０８～Ｓ４０９の処理について説明する。Ｓ４０８～Ｓ４０９の処理は、評価基準とする作業者による作業の実施状況の撮像結果に応じた作業動画の画像データを対象とした特徴量ベクトルの導出に係る処理の一例を示している。

Ｓ４０８において、評価装置１５０は、評価基準となる作業単位動画、すなわち評価基準とする作業者による作業単位Ａの実施状況の撮像結果に応じた画像データＤ４０７が示す当該作業単位Ａの作業単位動画から、熟練度評価モデルに入力するフレームを抽出する。この際に、評価装置１５０は、Ｓ４０４の処理と同様に、熟練度評価モデルへの入力次元（換言すると、フレーム数）が固定されるように、作業単位動画Ａから所定数のフレームを抽出してもよく、当該所定数のフレームを抽出するために抽出対象とするフレームの間隔を制御してもよい。
Ｓ４０９において、評価装置１５０は、Ｓ４０８において評価基準となる作業単位動画（作業単位Ａの作業単位動画）から抽出したフレームに対応する画像データを熟練度評価モデルに入力する。これにより、当該熟練度評価モデルからは、評価基準となる作業単位動画の特徴量、すなわち、評価基準とする作業者による作業単位Ａの実施状況の撮像結果に応じた作業単位動画の特徴量に応じた特徴量空間における位置を示す情報（以下、特徴量ベクトルＤ４１０とも称する）が出力される。
なお、評価基準となる作業単位動画については、１つであってもよいし複数であってもよい。また、複数の作業単位動画を評価基準として使用する場合には、所定の作業者に対応する複数の作業単位動画が使用されてもよいし、共通のグループに属する複数の作業者（例えば、熟練者に相当する複数の作業者）それぞれに対応する作業単位動画が使用されてもよい。

次いで、Ｓ４１１～Ｓ４１２の処理について説明する。Ｓ４１１～Ｓ４１２の処理は、評価対象となる作業者の作業単位Ａの熟練度の評価や、当該評価の結果に応じた情報の提示に係る処理の一例を示している。

Ｓ４１１において、評価装置１５０は、Ｓ４０５における熟練度評価モデルからの出力に基づく、評価対象となる作業者に対応する特徴量ベクトルＤ４０６に基づき、当該作業者の作業単位Ａに関する熟練度を評価するための評価値を算出する。具体的な一例として、評価処理部１５４は、評価対象となる作業者に対応する特徴量ベクトルＤ４０６と、評価基準とする作業者に対応する特徴量ベクトルＤ４１０と、の特徴量空間中における位置関係に応じて上記評価値を算出してもよい。ここで、図１２及び図１３を参照して、評価対象となる作業者による所定の作業に関する熟練度の評価値の算出方法について具体的な例を挙げて説明する。

まず、図１２に示す例について説明する。図１２に示す例では、所定のグループに属する一連の作業者（例えば、熟練者）それぞれを評価基準として、所定の作業（例えば、作業単位）に関する、評価対象となる作業者の熟練度の評価に係る評価値の算出方法の一例について示している。

前述したように、メトリックラーニングにより特徴量空間の学習が行われることで、共通のグループに属する作業者間においては、共通の作業単位に対応する複数の画像データ間の特徴量の差がより小さくなる。すなわち、この場合には、共通のグループに属する作業者間においては、それぞれに対応する特徴量ベクトルが示す特徴量空間中の位置の間の距離がより短くなる。一方で、それぞれが異なるグループに属する作業者間においては、共通の作業単位に対応する複数の画像データ間の特徴量の差がより大きくなる。すなわち、この場合には、それぞれが異なるグループに属する作業者間においては、それぞれに対応する特徴量ベクトルが示す特徴量空間中の位置の間の距離がより長くなる。
このような特性を利用し、評価装置１５０は、評価対象となる作業者に対応する特徴量ベクトルＤ４０６に基づき、当該作業者の所定の作業（例えば、作業単位Ａ）に関する熟練度の評価に係る評価値を算出する。

具体的には、図１２に示す例では、まず評価装置１５０は、評価基準とするグループ（例えば、熟練者のグループ）に属する複数の作業者それぞれに対応する特徴量ベクトルＤ４１０が示す特徴量空間中の位置の重心Ｐ１２を算出する。次いで評価装置１５０は、算出した重心Ｐ１２と、評価対象となる作業者に対応する特徴量ベクトルＤ４０６が示す特徴量空間中の位置Ｐ１１と、の間の特徴量空間中における距離（例えば、ユークリッド距離、マハラノビス距離等）Ｌ１３を算出する。次いで、評価装置１５０は、重心Ｐ１２と位置Ｐ１１との間の特徴量空間中における距離Ｌ１３の算出結果を、シグモイド関数等を利用して０～１の範囲の値に正規化し、当該値に１００を乗算して０～１００の点数で表現する。例えば、上記正規化に使用されるシグモイド関数は、以下に（式１）として示すような関係式で表される。なお、（式１）におけるパラメータａ（ゲイン）については、評価の対象となる作業単位の特性に応じてあらかじめ決定されるとよい。

これにより、評価対象となる作業者の所定の作業に関する熟練度が、１００点を上限とした０～１００の点数で表されることとなる。具体的には、重心Ｐ１２と位置Ｐ１１との距離がより近いほど、評価基準とするグループに属する作業者と、評価対象となる作業者との間で特徴量ベクトルの差がより小さくなり、熟練度の評価に係る点数が１００点を上限としたより高い値となる。これに対して、重心Ｐ１２と位置Ｐ１１との距離がより遠いほど、評価基準とするグループに属する作業者と、評価対象となる作業者との間で特徴量ベクトルの差がより大きくなり、熟練度の評価に係る点数が０点を下限としたより低い値となる。

次いで、図１３に示す例について説明する。図１３に示す例では、所定の作業者（例えば、熟練者）を評価基準として、所定の作業（例えば、作業単位）に関する、評価対象となる作業者の熟練度の評価に係る評価値の算出方法の一例について示している。

図１３に示す例では、評価装置１５０は、評価基準とする作業者（例えば、熟練者）に対応する特徴量ベクトルＤ４１０が示す特徴量空間中の位置Ｐ２２と、評価対象となる作業者に対応する特徴量ベクトルＤ４０６が示す特徴量空間中の位置Ｐ２１と、の間の特徴量空間中における距離Ｌ２３を算出する。そのうえで、評価装置１５０は、位置Ｐ２２と位置Ｐ２１との間の特徴量空間中における距離Ｌ２３の算出結果を、シグモイド関数等を利用して０～１の範囲の値に正規化し、当該値に１００を乗算して０～１００の点数で表現する。なお、正規化の方法については、図１２を参照して説明した例と実質的に同様のため、詳細な説明は省略する。

これにより、評価対象となる作業者の所定の作業に関する熟練度が、１００点を上限とした０～１００の点数で表されることとなる。具体的には、位置Ｐ２２と位置Ｐ２１との距離がより近いほど、評価基準とする作業者と、評価対象となる作業者との間で特徴量ベクトルの差がより小さくなり、熟練度の評価に係る点数が１００点を上限としたより高い値となる。これに対して、位置Ｐ２２と位置Ｐ２１との距離がより遠いほど、評価基準とする作業者と、評価対象となる作業者との間で特徴量ベクトルの差がより大きくなり、熟練度の評価に係る点数が０点を下限としたより低い値となる。

以上により、評価装置１５０は、例えば、作業単位ごとに、評価対象となる作業者の当該作業単位に関する熟練度を、Ｓ４１１において算出した点数に基づき評価することが可能となる。

また、上記のような仕組みにより、例えば、一連の作業を構成する１以上の作業単位それぞれについて熟練度の評価結果を得ることで、当該一連の作業全体を対象とした熟練度の評価を行うことも可能である。
例えば、図１４は、一連の作業を対象とした熟練度の評価方法の一例について説明するための説明図であり、ＰＣの組み立てに係る一連の作業を対象とした熟練度の評価結果の一例を示している。具体的には、図１４に示す例では、熟練度の評価に利用された作業動画には、ＰＣの組み立てに係る作業を構成する一連の作業単位のうち、「ボード取付」、「ＣＰＵ取付」、及び「メモリ取付」それぞれの実施状況が撮像されている。そのため、「ボード取付」、「ＣＰＵ取付」、及び「メモリ取付」それぞれに対応する作業単位動画が抽出され、当該作業単位動画に基づき各作業単位について熟練度の評価に係る点数が算出されている。これにより、例えば、評価装置１５０は、「ボード取付」、「ＣＰＵ取付」、及び「メモリ取付」それぞれの熟練度の評価結果に基づき、これらの作業単位を含むＰＣの組み立てに係る一連の作業全体に関する熟練度を評価することが可能となる。

以上のようにして、評価装置１５０は、評価対象となる作業者の所定の作業に関する熟練度を評価し、当該評価の結果に応じた情報を所定の出力先に出力する。例えば、評価装置１５０は、評価対象となる作業者の所定の作業に関する熟練度の評価結果に応じた情報を、ネットワークを介して接続された端末装置２００に送信することで、当該端末装置２００を介して管理者に当該評価の結果に応じた情報を提示してもよい。

ここで、改めて図１１を参照する。Ｓ４１２において、評価装置１５０は、評価対象となる作業者の熟練度の評価に利用した画像データが示す画像のうち、評価対象となる作業者と評価基準とする作業者との間で作業の実施状況が異なる領域を、差異領域として検出する。
具体的には、評価装置１５０は、評価対象となる作業者の熟練度の評価に利用した画像データが示す動画像の各フレームに対応する静止画像中の各領域における、当該評価への寄与率を算出する。この際に、評価装置１５０は、熟練度評価モデルによる、評価対象となる作業者と評価基準とする作業者とのそれぞれについて出力する特徴量ベクトル間の差の評価に係る寄与率を算出する。なお、上記寄与率の算出については、前述したようにＧｒａｄＣＡＭ等の公知の技術を利用することが可能である。以上のようにして寄与率が算出されることで、上記各フレームに対応する静止画像中の各領域のうち、当該寄与率がより高い値を示す領域を、評価対象となる作業者と評価基準とする作業者との間で作業の実施状況が異なる領域として抽出することが可能となる。

以上のようにして、評価装置１５０は、対象となる画像（例えば、各フレームに対応する静止画像）から差異領域が抽出された場合には、当該画像に対して当該差異領域の抽出結果に応じた情報を重畳させてもよい。
例えば、図１５は、差異領域の抽出結果に応じた情報の出力方法の一例を示した図である。図１５に示す例では、評価装置１５０は、差異領域の抽出元となる静止画像中の当該差異領域に対応する位置に、当該差異領域を示す表示情報Ｖ３１を重畳表示させている。また、この際に、評価装置１５０は、差異領域の抽出に利用した上記寄与率に応じて、当該寄与率の算出元となった部分（例えば、画素）に重畳させる表示情報Ｖ３１の表示態様（例えば、色の違いや輝度の違い等）を制御してもよい。具体的な一例として、図１５に示す例では、評価装置１５０は、表示情報Ｖ３１の各領域の色を、当該領域について算出された寄与率に応じて制御している。これにより、例えば、管理者は、対象となる画像に重畳表示された表示情報Ｖ３１の表示態様の違い（例えば、色の違い）に応じて、当該画像中の各領域のうち、対象となる作業者の熟練度の評価により寄与した領域を識別することが可能となる。

以上、図４～図１５を参照して、本実施形態に係る情報処理システムの処理の一例について、前処理段階と本処理段階とに分けてそれぞれ説明した。

＜変形例＞
本実施形態に係る情報処理システムの変形例について説明する。本変形例では、評価対象となる作業者（例えば、未熟者）が所定の作業を実施する際の、当該作業を構成する一連の作業単位の実施順序（換言すると、当該作業の手順）を評価可能とするための仕組みの一例について説明する。

図９及び図１０を参照して説明したように、作業動画を入力単位動画に分割したうえで、分割後の一連の入力単位動画それぞれの画像データを作業動画分割モデルに入力することで、作業単位に対応する入力単位動画の画像データについて当該作業単位の推論結果を示す情報が出力される。例えば、図１０に示す例では、分割後の一連の入力単位動画のうち、ＰＣの組み立て作業の作業単位である「ボード取付」、「ＣＰＵ取付」、及び「メモリ取付」の作業状況が撮像された入力単位動画を対象として、対応する作業単位を示す情報が推論結果として出力されている。すなわち、図１０に示す例では、ＰＣの組み立て作業として、「ボード取付」、「ＣＰＵ取付」、及び「メモリ取付」として示された各作業単位がこの順序で実施されていることがわかる。

本変形例に係る評価装置１５０は、上述のような特性を利用することで、例えば、評価対象となる作業者による所定の作業の実施に係る手順が正しい手順か否かを評価してもよい。
具体的な一例として、評価装置１５０は、評価対象となる作業者（例えば、未熟者）と、評価基準とする作業者（例えば、熟練者）とのそれぞれについて、所定の作業の実施状況の撮像結果に応じた作業動画を、作業動画分割モデルを利用して作業単位動画に分割する。また、評価装置１５０は、評価対象となる作業者と評価基準とする作業者との間で、作業動画から分割された上記作業を構成する一連の作業単位それぞれに対応する作業単位動画が再生される順序を比較する。そのうえで、評価装置１５０は、上記比較の結果に基づき、評価対象となる作業者と評価基準とする作業者との間で上記一連の作業単位それぞれが実施される順序の違いの抽出を試みる。
これにより、評価装置１５０は、上記一連の作業単位それぞれが実施される順序の違いが抽出されるか否かに応じて、評価対象となる作業者による上記所定の作業の実施に係る手順が正しい手順か否かを評価することが可能となる。また、この際に、評価装置１５０は、評価対象となる作業者による作業の手順と、評価基準とする作業者による当該作業の手順と、の間における乖離の度合いに応じて、評価対象となる作業者による当該作業の熟練度を評価してもよい。

以上、変形例として、評価対象となる作業者が所定の作業を実施する際の、当該作業を構成する一連の作業単位の実施順序を評価可能とするための仕組みの一例について説明した。

＜むすび＞
以上説明したように、本開示の一実施形態に係る情報処理装置は、互いに異なる複数のグループそれぞれに分類された複数の作業者それぞれによる一連の作業の実施状況の撮像結果に応じた一連の動画像の第１の画像データから分割された、当該一連の作業を構成する作業単位それぞれに対応する部分的な動画像の第２の画像データを学習データとした機械学習に基づき、共通のグループに属する作業者間において、共通の作業単位に対応する複数の第２の画像データ間の特徴量の差がより小さくなり、それぞれが異なるグループに属する作業者間において、共通の作業単位に対応する複数の第２の画像データ間の特徴量の差がより大きくなるように、複数の画像データ間の関係性に関する特徴量空間を学習することで第１の学習済モデルを構築する。そのうえで、評価対象となる作業者による一連の作業の実施状況の撮像結果に応じた一連の動画像の第１の画像データと、上記第１の学習済モデルと、に基づき当該作業者の当該一連の作業に関する熟練度が評価される。

このような構成により、例えば、評価基準とする作業者（例えば、熟練者）と評価対象となる作業者（例えば、未熟者）との間で、共通の作業の実施状況の違いを、各作業者に対応する画像データ間における特徴量の差として定量的に評価することも可能となる。これにより、例えば、熟練者が未熟者に対して直接指導を行わずとも、当該未熟者（評価対象となる作業者）自身または作業の管理に係る管理者に対して各種作業の熟練度の評価結果をフィードバックすることで、当該未熟者の当該作業に関する熟練度を向上させる効果を期待することが可能となる。このように、本実施形態に係る情報処理システムに依れば、技能伝承をより好適な態様で支援することが可能となる。

なお、上述した実施形態はあくまで一例であり、必ずしも本発明の構成や処理を限定するものではなく、本発明の技術思想を逸脱しない範囲で種々の変形や変更が加えられてもよい。
また、本発明には、上述した実施形態の機能を実現するプログラム、および、該プログラムを格納したコンピュータが読み取り可能な記録媒体が含まれる。

１ 情報処理システム
１１０ モデル構築装置
１１１ 通信部
１１２ 入出力制御部
１１３ モデル構築部
１１４ ラベル付処理部
１１５ 作業動画分割モデル構築部
１１６ 熟練度評価モデル構築部
１１７ 記憶部
１５０ 評価装置
１５１ 通信部
１５２ 入出力制御部
１５３ 分割処理部
１５４ 評価処理部
１５５ 寄与率算出部
１５６ 画像処理部
１５７ 記憶部
２００ 端末装置
３１０ 撮像装置

Claims (11)

1. 互いに異なる複数のグループそれぞれに分類された複数の作業者それぞれによる一連の作業の実施状況の撮像結果に応じた一連の動画像の第１の画像データから分割された、当該一連の作業を構成する作業単位それぞれに対応する部分的な動画像の第２の画像データを学習データとした機械学習に基づき、共通のグループに属する作業者間において、共通の作業単位に対応する複数の前記第２の画像データ間の特徴量の差がより小さくなり、それぞれが異なるグループに属する作業者間において、共通の作業単位に対応する複数の前記第２の画像データ間の特徴量の差がより大きくなるように、複数の画像データ間の関係性に関する特徴量空間を学習することで第１の学習済モデルを構築する第１のモデル構築手段と、
   前記複数のグループそれぞれに分類された前記複数の作業者それぞれに対応する前記第１の画像データから分割された、当該一連の作業を構成する作業単位それぞれに対応する前記第２の画像データに対して、当該作業単位を示す付帯情報を関連付ける関連付け手段と、
   前記付帯情報が関連付けられた前記第２の画像データを学習データとした機械学習に基づき、入力された画像データが示す動画像に撮像された一連の作業を構成する作業単位を推論する第２の学習済モデルを構築する第２のモデル構築手段と、
   評価対象となる第１の作業者による一連の作業の実施状況の撮像結果に応じた一連の動画像の前記第１の画像データを前記第２の学習済モデルに入力することで、当該第１の画像データを当該一連の作業を構成する作業単位ごとの前記第２の画像データに分割し、当該第１の画像データから分割された作業単位ごとの当該第２の画像データを前記第１の学習済モデルに入力することで得られる第１の特徴量と、前記複数のグループのうちの所定のグループに属する第２の作業者による当該作業単位に対応する前記第２の画像データを前記第１の学習済モデルに入力することで得られる第２の特徴量と、に基づき、前記第１の作業者が実施した前記一連の作業に関する当該第１の作業者の熟練度を評価する評価手段と、
   を備える、情報処理装置。
2. 前記第１のモデル構築手段は、
   前記複数のグループそれぞれに分類された複数の作業者それぞれに対応する前記第１の画像データを前記第２の学習済モデルに入力することで、当該第２の学習済モデルから出力される情報に基づき、当該第１の画像データを作業単位ごとの前記第２の画像データに分割し、
   分割された当該第２の画像データを学習データとした機械学習に基づき、前記第１の学習済モデルを構築する、
   請求項１に記載の情報処理装置。
3. 前記評価手段は、前記第１の作業者による一連の作業の実施状況の撮像結果に応じた一連の動画像の前記第１の画像データが所定の期間ごとに分割された第３の画像データそれぞれを前記第２の学習済モデルに入力することで、当該第２の学習済モデルから当該第３の画像データごとに出力される情報に基づき、当該第１の画像データを作業単位ごとの前記第２の画像データに分割する、
   請求項２に記載の情報処理装置。
4. 前記評価手段は、前記第１の作業者による前記一連の作業の実施状況の撮像結果に応じた前記第１の画像データに対応する前記第１の特徴量と、前記所定のグループに属する一連の前記第２の作業者それぞれによる当該一連の作業の実施状況の撮像結果に応じた前記第１の画像データに対応する前記第２の特徴量の前記特徴量空間中における重心と、に基づき、前記第１の作業者が実施した当該一連の作業に関する当該第１の作業者の熟練度を評価する、
   請求項１～３のいずれか１項に記載の情報処理装置。
5. 前記評価手段は、前記第１の作業者による前記一連の作業の実施状況の撮像結果に応じた前記第１の画像データに対応する前記第１の特徴量と、前記所定のグループに属する作業者のうちの少なくとも一部の前記第２の作業者による当該一連の作業の実施状況の撮像結果に応じた前記第１の画像データに対応する前記第２の特徴量と、に基づき、前記第１の作業者が実施した当該一連の作業に関する当該第１の作業者の熟練度を評価する、
   請求項１～３のいずれか１項に記載の情報処理装置。
6. 前記評価手段は、前記第１の特徴量と前記第２の特徴量との前記特徴量空間における距離に基づき、前記第１の作業者が実施した前記一連の作業に関する当該第１の作業者の熟練度を評価する、
   請求項１～５のいずれか１項に記載の情報処理装置。
7. 前記第１の作業者による前記一連の作業の実施状況の撮像結果に応じた前記第１の画像データに対応する動画像の少なくとも一部のフレームに対応する静止画像の各部における、前記第１の特徴量と前記第２の特徴量とに基づく、前記第１の作業者が実施した前記一連の作業に関する当該第１の作業者の熟練度の評価結果に対する寄与率を算出する算出手段と、
   前記寄与率の算出結果に応じた情報が、前記静止画像中の当該寄与率の算出元となる領域に対応付けて出力されるように制御する出力制御手段と、
   を備える、請求項１～６のいずれか１項に記載の情報処理装置。
8. 前記出力制御手段は、前記寄与率の算出結果に応じた表示情報が、前記静止画像中の当該寄与率の算出元となる領域に重畳表示されるように制御する、
   請求項７に記載の情報処理装置。
9. 情報処理装置が実行する情報処理方法であって、
   互いに異なる複数のグループそれぞれに分類された複数の作業者それぞれによる一連の作業の実施状況の撮像結果に応じた一連の動画像の第１の画像データから分割された、当該一連の作業を構成する作業単位それぞれに対応する部分的な動画像の第２の画像データを学習データとした機械学習に基づき、共通のグループに属する作業者間において、共通の作業単位に対応する複数の前記第２の画像データ間の特徴量の差がより小さくなり、それぞれが異なるグループに属する作業者間において、共通の作業単位に対応する複数の前記第２の画像データ間の特徴量の差がより大きくなるように、複数の画像データ間の関係性に関する特徴量空間を学習することで第１の学習済モデルを構築する第１のモデル構築ステップと、
   前記複数のグループそれぞれに分類された前記複数の作業者それぞれに対応する前記第１の画像データから分割された、当該一連の作業を構成する作業単位それぞれに対応する前記第２の画像データに対して、当該作業単位を示す付帯情報を関連付ける関連付けステップと、
   前記付帯情報が関連付けられた前記第２の画像データを学習データとした機械学習に基づき、入力された画像データが示す動画像に撮像された一連の作業を構成する作業単位を推論する第２の学習済モデルを構築する第２のモデル構築ステップと、
   評価対象となる第１の作業者による一連の作業の実施状況の撮像結果に応じた一連の動画像の前記第１の画像データを前記第２の学習済モデルに入力することで、当該第１の画像データを当該一連の作業を構成する作業単位ごとの前記第２の画像データに分割し、当該第１の画像データから分割された作業単位ごとの当該第２の画像データを前記第１の学習済モデルに入力することで得られる第１の特徴量と、前記複数のグループのうちの所定のグループに属する第２の作業者による当該作業単位に対応する前記第２の画像データを前記第１の学習済モデルに入力することで得られる第２の特徴量と、に基づき、前記第１の作業者が実施した前記一連の作業に関する当該第１の作業者の熟練度を評価する評価ステップと、
   を含む、情報処理方法。
10. コンピュータに、
    互いに異なる複数のグループそれぞれに分類された複数の作業者それぞれによる一連の作業の実施状況の撮像結果に応じた一連の動画像の第１の画像データから分割された、当該一連の作業を構成する作業単位それぞれに対応する部分的な動画像の第２の画像データを学習データとした機械学習に基づき、共通のグループに属する作業者間において、共通の作業単位に対応する複数の前記第２の画像データ間の特徴量の差がより小さくなり、それぞれが異なるグループに属する作業者間において、共通の作業単位に対応する複数の前記第２の画像データ間の特徴量の差がより大きくなるように、複数の画像データ間の関係性に関する特徴量空間を学習することで第１の学習済モデルを構築する第１のモデル構築ステップと、
    前記複数のグループそれぞれに分類された前記複数の作業者それぞれに対応する前記第１の画像データから分割された、当該一連の作業を構成する作業単位それぞれに対応する前記第２の画像データに対して、当該作業単位を示す付帯情報を関連付ける関連付けステップと、
    前記付帯情報が関連付けられた前記第２の画像データを学習データとした機械学習に基づき、入力された画像データが示す動画像に撮像された一連の作業を構成する作業単位を推論する第２の学習済モデルを構築する第２のモデル構築ステップと、
    評価対象となる第１の作業者による一連の作業の実施状況の撮像結果に応じた一連の動画像の前記第１の画像データを前記第２の学習済モデルに入力することで、当該第１の画像データを当該一連の作業を構成する作業単位ごとの前記第２の画像データに分割し、当該第１の画像データから分割された作業単位ごとの当該第２の画像データを前記第１の学習済モデルに入力することで得られる第１の特徴量と、前記複数のグループのうちの所定のグループに属する第２の作業者による当該作業単位に対応する前記第２の画像データを前記第１の学習済モデルに入力することで得られる第２の特徴量と、に基づき、前記第１の作業者が実施した前記一連の作業に関する当該第１の作業者の熟練度を評価する評価ステップと、
    を実行させる、プログラム。
11. 互いに異なる複数のグループそれぞれに分類された複数の作業者それぞれによる一連の作業の実施状況の撮像結果に応じた一連の動画像の第１の画像データから分割された、当該一連の作業を構成する作業単位それぞれに対応する部分的な動画像の第２の画像データを学習データとした機械学習に基づき、共通のグループに属する作業者間において、共通の作業単位に対応する複数の前記第２の画像データ間の特徴量の差がより小さくなり、それぞれが異なるグループに属する作業者間において、共通の作業単位に対応する複数の前記第２の画像データ間の特徴量の差がより大きくなるように、複数の画像データ間の関係性に関する特徴量空間を学習することで第１の学習済モデルを構築する第１のモデル構築手段と、
    前記複数のグループそれぞれに分類された前記複数の作業者それぞれに対応する前記第１の画像データから分割された、当該一連の作業を構成する作業単位それぞれに対応する前記第２の画像データに対して、当該作業単位を示す付帯情報を関連付ける関連付け手段と、
    前記付帯情報が関連付けられた前記第２の画像データを学習データとした機械学習に基づき、入力された画像データが示す動画像に撮像された一連の作業を構成する作業単位を推論する第２の学習済モデルを構築する第２のモデル構築手段と、
    評価対象となる第１の作業者による一連の作業の実施状況の撮像結果に応じた一連の動画像の前記第１の画像データを前記第２の学習済モデルに入力することで、当該第１の画像データを当該一連の作業を構成する作業単位ごとの前記第２の画像データに分割し、当該第１の画像データから分割された作業単位ごとの当該第２の画像データを前記第１の学習済モデルに入力することで得られる第１の特徴量と、前記複数のグループのうちの所定のグループに属する第２の作業者による当該作業単位に対応する前記第２の画像データを前記第１の学習済モデルに入力することで得られる第２の特徴量と、に基づき、前記第１の作業者が実施した前記一連の作業に関する当該第１の作業者の熟練度を評価する評価手段と、
    を備える、情報処理システム。

Images