JP6290760B2 - 作業類似度算出方法、装置およびプログラム - Google Patents

Description

本発明は、同一目的を実現するために複数の作業者が行う作業、例えば設備機器に対する操作・点検・修理などの一連の動作を含む作業ついて、作業者間の類似度を定量的に算出する作業類似度算出方法、装置およびプログラムに関する。

インフラの設備機器等の操作・点検・修理作業に関して、手順効率の良さや設定の正確さは作業者の設備機器に対する操作方法の熟練度と正の相関があり、熟練度が低い作業者を効率よく補助して作業に対する熟練度を高めたい要望がある。このような要望に対して、従来は熟練者による口頭による補助、熟練者が作成した説明書による補助、熟練者の動作を直接目視あるいは映像に収めたものを確認することによる補助が一般的である。

これらの補助手段に加え、熟練度が低い作業者がテスト環境で実際に作業を体験し、熟練者との作業動作の類似度を比較した結果を確認することができれば、作業に対する習熟度がより高まることが考えられる。このためには映像からの人物の行動認識技術とその行動の類似度算出技術が必要となる。

ここで、作業とは複数の動作からなる一連の意味のある行動を指し、動作は作業の最小単位とする。また、動作は動きの差を検出することにより類似度を算出することとする。例えば、作業をある設備の特定部のネットワークを切断することとすれば、動作は、切断するケーブルの選択、ケーブルをポートから抜く、ケーブルを片付けるなどが相当する。動作の類似度は各動作中の人物の動き方に基づき、動き方とは、例えば動きの速度や腕を動かす軌跡を意味する。

映像から人物の行動を認識する行動認識技術に関する従来技術は複数存在するが、カメラ配置の観点から大きく分けて、作業者を撮影の被写体とした映像を利用した解析手法と、作業者自身がカメラを頭部等に身につけ周りの情報を撮影する映像(以下、一人称視点映像)を利用した解析手法とがある。

非特許文献１には、作業者を撮影対象とした映像を利用した手法が開示されている。非特許文献１では、可視光カメラに加えて奥行きセンサを利用することで人物領域を高精度に抽出し、なおかつその人物領域を複数の代表点で表現したスケルトンデータ同士を学習データと比較することで動作検出が行われる。さらに、その動作の類似度は動作検出結果を元に算出される。

非特許文献２には、一人称視点映像を利用した手法が開示されている。非特許文献２では、前記一人称視点映像に加え、眼球の動きに計測する映像を取得することにより視線方向を推定し、さらに頭部の動きを検出することで動作検出を行い、同じ動作内で類似度を算出している。

Raviteja Vemulapalli, Felipe Arrate and Rama Chellappa, Human Action Recognition by Representing 3D Skeletons as Points in a Lie Group. Computer Vision and Pattern Recognition (CVPR) 2014. 大垣慶介, 木谷クリス真実, 菅野裕介, 佐藤洋一. 自己運動と視線運動を用いた一人称視点映像からの自己動作認識.画像の認識・理解シンポジウム（MIRU2012）,2012年7月. Edward Rosten and Reid Porter and Tom Drummond, "FASTER and better: A machine learning approach to corner detection. ", IEEE Trans. Pattern Analysis and Machine Intelligence, vol.32, pp.105-119, 2010. J. Matas, O. Chum, M. Urban, and T. Pajdla. "Robust wide baseline stereo from maximally stable extremal regions." Proc. of British Machine Vision Conference, pages 384-396, 2002. Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary R. Bradski: ORB: An efficient alternative to SIFT or SURF. ICCV 2011: 2564-2571. Marius Muja and David G. Lowe, "Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration", in International Conference on Computer Vision Theory and Applications (VISAPP'09), 2009. Martin A. Fischler and Robert C. Bolles (June 1981). "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography". Comm. of the ACM 24 (6): 381-395. 内田誠一, DPマッチング概説 〜 基本と様々な拡張 〜,信学技報PRMU2006-166(2006).

従来技術による作業の類似度算出手法は、はじめに作業を細かな単位（動作）に分割して動作同士の照合を行い、続いて動作同士から動き方の類似度を算出して最終的に作業の類似度を算出している。

しかしながら、動き方を特徴量とした照合手法では、一つの動作に対して動き方の個人差が大きいことが原因で、熟練度が大きく異なる場合や、作業（動作）時間が大きく異なる場合に良好な照合が困難であった。

本発明の目的は、従来の技術課題を解決し、動作同士の照合に動作を構成する動き方の特徴量を利用することなく、設備機器を対象とした作業は、動作の結果として設備機器の見かけの状態が動作ごとに変化するという仮定に基づいて、設備機器の見かけの情報を特徴量として動作の照合を行う作業類似度算出方法、装置およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、作業者が設備に対して作業する映像を比較して作業動作の類似度を算出する作業類似度算出装置において、第１の作業者が作業する第１作業映像および第２の作業者が作業する第２作業映像を作業対象設備の初期画像と比較して作業状態を判定可能な判定対象フレームを選択する手段を設けた。

さらに、第１および第２作業映像の判定対象フレームの時系列に基づいて、設備に変化が生じた設備変化フレームを検出する手段と、第１作業映像の設備変化フレームと第２作業映像の設備変化フレームとを照合して各設備変化フレームを対応付ける手段と、対応する設備変化フレーム間の各作業映像を比較して作業動作の類似度を算出する手段とを具備した。

本発明によれば、動作同士の照合を行って同一の動作期間を対応付ける際に、動作を構成する動き方の特徴量を利用することなく、設備機器の見かけの情報を特徴量として動作の照合を行うことができるので、熟練度が大きく異なる場合や、作業（動作）時間が大きく異なる場合でも、各作業者の同一の動作期間を正確に対応付けられるようになる。

本発明の一実施形態に係る作業類似度算出装置の機能ブロック図である。 本発明が適用されるネットワーク設備に対するケーブル配線の手作業の例を示した図である。 初期画像の一例を示した図である。 設備フレーム抽出部の動作を模式的に表現した図である。 設備フレーム抽出部の構成を示した機能ブロック図である。 作業者フレーム抽出部の構成を示した機能ブロック図である。 作業者フレームの一例を示した図である。 手領域の検出例を示した図である。 設備変化フレーム検出部の構成を示した機能ブロック図である。 設備変化フレームの選択方法を模式的に表現した図である。 設備変化フレームの照合方法を模式的に表現した図である。 設備変化フレーム間で特徴量の類似度を算出する方法を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る作業類似度算出装置の主要部の構成を示した機能ブロック図であり、複数の作業者が同一の設備に対して複数の同一動作を含む作業を行う映像を比較して両者の作業における動作の類似度を算出する。本実施形態では、図２に示したようなネットワーク設備に対するケーブル配線の手作業を例にして説明する。

データベース１において、初期画像登録部１０１には、図３において矩形枠で囲った設備領域の初期画像が登録される。このような初期画像の登録は、(1) 作業前に撮影した設備の映像上でユーザに設備領域を選択させる、(2) 別のカメラを利用して事前に設備を撮影した画像上でユーザに設備領域を選択させる、(3) 設備に専用のマーカなどを貼り付け、マーカから一定の範囲内に存在する領域を設備領域とする、ことで行える。

第１作業映像記憶部１０２には、類似度算出の基準となる一方の作業者が作業をしている映像（第１作業映像）が記憶される。第２作業映像記憶部１０３には、類似度算出の対象となる他方の作業者が作業をしている映像（第２作業映像）が記憶される。

設備フレーム抽出部２は、図４に示したように、設備領域の初期画像と各作業映像とをフレーム単位で比較し、作業映像の各フレームから設備が識別可能に写っているフレーム（設備フレーム）を抽出する。

図５は、前記設備フレーム抽出部２の主要部の構成を示した機能ブロック図であり、画像特徴量抽出部２０１は、初期画像ならびに第１および第２作業映像の各フレームから特徴点およびその特徴量を抽出する。特徴点およびその特徴量の抽出には、非特許文献３に開示されたコーナーベース（edge特徴量）の特徴点検出手法の一つであるFASTや、非特許文献４に開示されたブロブベース（blob特徴量）の特徴点検出手法の一つであるMSERを利用できる。特徴点比較用の特徴記述子としては、非特許文献５に開示されたORB特徴記述子を利用でき、各特徴量は作業映像ごとにベクトル形式で保存される。

画像特徴量比較部２０２は、初期画像から抽出された各特徴量と各作業映像フレームから抽出された各特徴量とを順次に照合して類似度を算出する。特徴量の類似度算出には、ユークリッド距離などベクトルで距離定義されている尺度を利用できる。

本実施形態では、作業映像のf番目のフレームのi番目の特徴量をp_fi、初期画像のj番目の特徴量をq_jとしたとき、各作業映像フレームの全ての特徴点と初期画像の全ての特徴量との間で特徴量の距離を算出し、類似度の最も高い特徴点のペア(p_mn，q_l)を対応特徴点ペア候補に決定する。なお、全ての特徴点を対象に類似度を算出すると計算コストが大きくなるので、非特許文献6に開示された近似最近傍探索手法を採用しても良い。

画像特徴量比較部２０２はさらに、決定された対応特徴点ペア候補を対象に、各特徴点と設備の位置関係との整合性を図るため、非特許文献７に開示されたRANSAC等を利用して整合性が合わない対応点ペア候補を取り除き、位置の整合性が取れた対応特徴点ペア候補のみを対応特徴点ペアとして、その特徴量および類似度スコアをフレームごとに登録する。

設備フレーム検出部２０３は、作業映像フレームごとに、前記対応特徴点ペアの数に基づいて、設備が各作業映像フレーム内に識別可能に写り込んでいる確率を計算する。本実施形態では、対応特徴点ペア数n_fがしきい値Teまたは登録画像の特徴点数に一定の割合Trを乗じた値を超えた場合に、当該作業映像フレームに設備が識別可能に写り込んでいると判定する。Teは例えば100を利用し、Trは例えば0.8を利用する。

指定のしきい値以下の対応特徴点しか検出されなかった場合は、当該フレームに設備が識別可能に写り込んでいないと判定する。設備が識別可能に写り込んでいるフレームに関しては、そのフレームIDおよび特徴量が設備フレーム情報記憶部２０４に記憶される。

図１へ戻り、作業者フレーム抽出部３は、作業映像の各フレームから、作業者が写っているフレームを作業者フレームとして抽出する。

図６は、前記作業者フレーム抽出部３の機能ブロック図であり、ここでは、図７に示したように、作業者の手領域が検出された作業者フレームとして抽出される。

色変換部３０１は、各作業映像フレームを対象にHSV色空間への色変換を行う。手領域検出部３０２は、色変換後の各作業映像フレームに対して肌色領域判定を行って手領域を検出する。肌色領域は、例えばHSV色空間をそれぞれ8bitで表現した時に、0≦H≦20，50≦S≦255を満たすことを条件とする。

前記手領域検出部３０２はさらに、膨張・縮退処理を行って手領域のラベリング処理を行う。ラベリング処理の後、前記図８に示したように、フレーム内でしきい値以上の最大で２領域を手領域とみなす。しきい値としては、例えばフレームのピクセルの総数の５%以上とする。検出された最大で２つの手領域については、その重心位置および面積がフレームごとに算出されて保持される。

手領域補完部３０３は、検出された手領域に対してフレーム間での整合性を検証する。手領域はフレーム間で連続性があると仮定でき、手領域検出部３０２で検出された手領域の重心および面積を手領域補完部３０３において例えば３フレームごとに比較を行う。

本実施形態では、連続する３フレームの中央のフレームが前後の各フレームと重心および面積に関してしきい値以上乖離していた場合は、中央のフレームに関する手領域検出は誤検出であると判定する。そして、中央のフレームの重心および面積を、それぞれ前後フレームの重心と面積の平均値に変更する平滑化処理を行う。同出力値は作業者フレーム情報保存部３０４に保存され、手領域検出に関してフレーム間で不連続にならない検出を実現する。

図１へ戻り、設備変化フレーム検出部４は、作業映像ごとに、作業対象の設備が識別可能に写っており、かつ作業者が写っていないフレームを、設備変化の有無を判定するために好適なフレーム（判定対象フレーム）として作業映像ごとに検出する。これは、設備が検出されているフレームであっても、手領域が検出されている場合は設備変化を検出することが困難と判定し、設備変化の判定対象から除外する処理である。そして、判定対象フレームのみの時系列から、設備に変化が生じたフレームを検出する。

図９は、設備変化フレーム検出部４の機能ブロック図であり、判定対象フレーム選択部４０１は、前記設備フレーム情報記憶部２０４に記憶されている設備フレーム情報と、前記作業者フレーム情報記憶部３０４に記憶されている作業者フレーム情報とに基づいて、作業対象の設備が識別可能に写っており、かつ作業者が写っていないフレームを設備変化の判定対象フレームとして作業映像ごとに選択する。

設備変化フレーム選択部４０２は、図１０に示したように、初めは初期画像と判定対象フレームの時系列とを順次に比較して類似度を算出し、最初に出現した非類似の判定対象フレームを設備変化フレームとして検出する。次いで、初期画像を設備変化フレームに更新し、その後は当該設備変化フレームと残りの判定対象フレームの時系列とを比較して類似度を算出し、次に出現した非類似の判定対象フレームを次の設備変化フレームとして検出し、更にこれを繰り返す。検出された設備変化フレームのIDおよび当該フレームで検出された各画像特徴量は設備変化フレーム情報記憶部４０３に記憶される。

本実施形態では、判定対象フレームを対象に、対応特徴点ペア数が所定のしきい値Tc以下となるフレームが連続してnd回以上検出されると、設備に変化が生じたと判定する。例えば、Tcは初期画像の対応特徴点数の0.9倍に設定され、ndは100フレームに設定される。

図１へ戻り、設備変化フレーム照合部５は、第１作業映像から抽出した設備変化フレームの時系列と第２作業映像から抽出した設備変化フレームの時系列との照合を行って各作業映像の設備変化フレームを対応付ける。２人の作業内容は、熟練者ではない一方の作業者の作業ミスに起因して設備変化フレームの特徴量が同一ではない可能性がある。これに対応するために、２人の設備変化フレームを動的計画法により照合する。

本実施形態では、第１および第２作業映像から抽出した設備変化フレームIDで特定される特徴量を、離散的かつ時系列で表現でき、かつ特徴量同士で距離を比較できる。そこで、図１１に示したように、第１および第２作業映像から抽出した設備変化フレームID群をそれぞれ、fa1，fa2、…およびfb1，fb2，…とし、それぞれの設備変化フレームIDに対する設備の画像特徴量を特徴ベクトルとして用いる。動的計画法としては、非特許文献8に記載の手法を利用できる。

動的計画法による照合後、対応する設備変化フレームIDのリストFlが保存される。図１１の例であれば、第１作業映像フレームのfa1，fa2，fa3，fa4が、それぞれ第２作業映像フレームのfb1，fb2，fb，4fb5と対応するので、F1(fa1，fb1)，F2(fa2，fb2)，F３(fa3，fb4)，F4(fa4，fb5)の各リストが出力される。

動き特徴量算出部６は、設備変化フレーム情報記憶部４０３に記憶されている設備変化フレーム情報に基づいて、対応付けられたフレームID間の映像に対して、設備に対する相対視点位置と手領域の軌跡を算出し、人物動作特徴量として映像フレームごとに保存する。

設備に対する相対視点位置は、視点が映像中のフレームの中央であることを仮定して、映像フレーム中のフレーム中央の位置を基準とした２次元上の設備位置を順次に算出する。ここで設備位置は、例えば映像フレーム中の設備領域の重心の位置が利用できる。また手領域に関しても同様に、映像フレーム中のフレーム中央の位置を基準とした２次元上の手領域の重心の位置を順次に算出する。

視点に関しては設備の見かけの大きさ、手領域に関しては手領域の画面上の面積の情報を算出する。さらに右手・左手のそれぞれの区別を行うことも可能である。右手・左手の判定は、画面上の手領域の重心の位置のうち、右側にあるものを右手とみなし、もう一方を左手とする。これらを動き特徴量保存部に保存する。

以上が、ある一人の作業者を対象とした一人称映像からの設備変化フレームをキーフレームとした人物行動認識の処理である。熟練者と熟練者でない作業者による作業の映像に対してそれぞれ本処理を行う。次いで、この２つの映像より作業の動作類似度を算出する。

動作比較部７は、図１２に示したように、前記設備変化フレーム照合部５により対応付けられた各設備変化フレーム間で、前記動き特徴量算出部６で算出された特徴量の類似度を算出する。本実施形態では、前記設備変化フレーム照合部５と同様に、２つの作業映像フレームのフレーム間ごとに、動的計画法により動き特徴量の距離計算を行って類似度を算出する。

作業類似度出力部８は、前記類似度の算出結果を出力する。本実施形態では、設備変化フレーム内でしきい値以上の相違が生じたフレームのみの提示や、当該フレームの手領域や設備変化領域を強調して表示することにより、作業者に熟練者との作業動作の違いを提示する。

本実施形態によれば、動作同士の照合を行って同一の動作期間を対応付ける際に、動作を構成する動き方の特徴量を利用することなく、設備機器の見かけの情報を特徴量として動作の照合を行うことができるので、熟練度が大きく異なる場合や、作業（動作）時間が大きく異なる場合でも、各作業者の同一の動作期間を正確に対応付けられるようになる。

なお、上記に実施形態では、設備フレーム抽出部２と作業者フレーム抽出部３とが独立して並列に処理を行うものとして説明したが、本発明はこれのみに限定されるものではなく、先に設備フレーム抽出部２により作業映像フレーム内から設備フレームを抽出し、当該設備フレームのみを対象に作業者フレーム抽出部３が作業者検出を行うようにしても良い。

１…データベース，２…設備フレーム抽出部，３…作業者フレーム抽出部，４…設備変化フレーム検出部，５…設備変化フレーム照合部，６…動き特徴量算出部，７…動作比較部，８…作業類似度出力部，１０１…初期画像登録部，１０２…第１作業映像記憶部，１０３…第２作業映像記憶部，２０１…画像特徴量抽出部，２０２…画像特徴量比較部，２０３…設備フレーム検出部，２０４…設備フレーム情報記憶部，３０１…色変換部，３０２…手領域検出部，３０３…手領域補完部，３０４…作業者フレーム情報保存部，４０１…判定対象フレーム選択部，４０２…設備変化フレーム選択部，４０３…設備変化フレーム情報記憶部

Claims (10)

1. 作業者が設備に対して作業する映像を比較して作業動作の類似度を算出する作業類似度算出装置において、
   設備の初期画像を記憶する手段と、
   第１の作業者が作業する第１作業映像を取得する手段と、
   第２の作業者が作業する第２作業映像を取得する手段と、
   第１および第２作業映像の各フレームを初期画像と比較し、作業状態を判定可能な判定対象フレームを選択する手段と、
   第１および第２作業映像の判定対象フレームの時系列に基づいて、設備に変化が生じた設備変化フレームを検出する手段と、
   第１作業映像の設備変化フレームと第２作業映像の設備変化フレームとを照合して各設備変化フレームを対応付ける手段と、
   対応する設備変化フレーム間の各作業映像を比較して動作の類似度を算出する手段とを具備したことを特徴とする作業類似度算出装置。
2. 第１および第２作業映像を初期画像と比較して設備が写り込んでいる設備フレームを抽出する手段と、
   第１および第２作業映像から作業者が写り込んでいる作業者フレームを抽出する手段とを具備し、
   前記判定対象フレームを選択する手段は、設備が写り込んでおり、かつ作業者が写り込んでいないフレームを判定対象フレームとして選択することを特徴とする請求項１に記載の作業類似度算出装置。
3. 前記設備変化フレームを検出する手段は、前記判定対象フレームの時系列を、最初は初期画像と比較して類似度の低い判定対象フレームを設備変化フレームとして選択し、その後は最後に選択された設備変化フレームと残りの判定対象フレームの時系列とを比較して類似度の低い判定対象フレームを設備変化フレームとして選択し、これを繰り返すことを特徴とする請求項１または２に記載の作業類似度算出装置。
4. 前記類似度を算出する手段は、対応する設備変化フレーム間の各作業映像の動き特徴量に基づいて各作業動作の類似度を算出することを特徴とする請求項１ないし３のいずれかに記載の作業類似度算出装置。
5. 前記設備変化フレームを検出する手段は、edge特徴量およびblob特徴量の少なくとも一方に基づいて類似度を算出することを特徴とする請求項１ないし４のいずれかに記載の作業類似度算出装置。
6. 前記作業者フレームを抽出する手段は、
   各作業映像に対して肌色に応じた色変換を行う色変換手段と、
   色変換後の各フレームからしきい値処理により最大で２つの手領域を検出する手領域検出手段と、
   前記手領域の検出結果に基づいて、作業映像フレームの時系列の手領域を補完する手領域補完手段とを具備したことを特徴とする請求項２に記載の作業類似度算出装置。
7. 前記設備変化フレームを対応付ける手段が、設備画像の特徴量を利用して動的計画法を用いて照合を行うことを特徴とする請求項１ないし６のいずれかに記載の作業類似度算出装置。
8. 前記第１および第２作業映像が一人称視点映像であることを特徴とする請求項１ないし７のいずれかに記載の作業類似度算出装置。
9. 作業者が装置に対して作業する映像をコンピュータに比較させて作業動作の類似度を算出する作業類似度算出方法において、
   第１の作業者が作業する第１作業映像および第２の作業者が作業する第２作業映像を設備の初期画像と比較し、作業状態を判定可能な判定対象フレームを選択する手順と、
   第１および第２作業映像の判定対象フレームの時系列に基づいて、設備に変化が生じた設備変化フレームを検出する手順と、
   第１作業映像の設備変化フレームと第２作業映像の設備変化フレームとを照合して各設備変化フレームを対応付ける手順と、
   対応する設備変化フレーム間の各作業映像を比較して動作の類似度を算出する手順とを含むことを特徴とする作業類似度算出方法。
10. 作業者が装置に対して作業する映像をコンピュータに比較させて作業動作の類似度を算出する作業類似度算出プログラムにおいて、
    第１の作業者が作業する第１作業映像および第２の作業者が作業する第２作業映像を設備の初期画像と比較し、作業状態を判定可能な判定対象フレームを選択する手順と、
    第１および第２作業映像の判定対象フレームの時系列に基づいて、設備に変化が生じた設備変化フレームを検出する手順と、
    第１作業映像の設備変化フレームと第２作業映像の設備変化フレームとを照合して各設備変化フレームを対応付ける手順と、
    対応する設備変化フレーム間の各作業映像を比較して動作の類似度を算出する手順とを、コンピュータに実行させることを特徴とする作業類似度算出プログラム。