JP7387069B1 - 機械学習装置、熟練行動判定装置、機械学習方法、及び機械学習プログラム - Google Patents

Abstract

機械学習装置（１００）は、動作主体の複数の部分に対応する複数のノードと複数のノードの間の関係性を示す情報とで構成されるグラフ（Ｇ）を取得するグラフ入力部（１５）と、画像内における複数のオブジェクト領域（Ｏ）を認識して出力するオブジェクト認識部（１８）と、画像内に存在する動作主体の複数の部分の行動の特徴量である第１の特徴量（Ｆ１）を抽出する熟練行動特徴抽出部（１２）と、第１の特徴量（Ｆ１）に基づいて着目領域（Ａ）を生成する着目領域生成部（１３）と、着目領域（Ａ）とオブジェクト領域（Ｏ）とが重なる領域について第１の特徴量（Ｆ１）を強調した第２の特徴量（Ｆ２）を生成するグラフ－オブジェクト特徴抽出部（１６）と、熟練行動特徴抽出部（１２）に入力される画像が予め収集された学習用データであるときにおける第２の特徴量（Ｆ２）に基づいて、学習モデル（Ｍ）を生成するグラフモデル学習部（１４）とを有する。

Description

本開示は、画像内の動作主体の行動の熟練度を推論するための学習モデルを学習する機械学習装置、機械学習方法、及び機械学習プログラム、並びに、画像内の動作主体の行動の熟練度を推論する熟練行動判定装置に関する。

学習モデルにおけるニューラルネットワーク（ＮＮ）が画像に対して生成した着目領域を、ユーザが修正し（つまり、学習モデルに人の知見を埋め込み）、修正された着目領域を正解データとして学習を行う転移学習が知られている（例えば、非特許文献１を参照）。転移学習は、Ｈｕｍａｎ－ｉｎ－ｔｈｅ－Ｌｏｏｐ（ＨＩＴＬ）型の学習である。転移学習により、例えば、ユーザとインタラクションをしながら画像内の人の行動の熟練度を判定する学習モデルである熟練行動判定モデルが生成される。

また、骨格から人の動きを検出する学習モデルとしてＳｐａｔｉｏ－Ｔｅｍｐｏｒａｌ Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋ（ＳＴ－ＧＣＮ）が知られている（例えば、非特許文献２を参照）。この方法では、人の関節座標をノードとし、関節間の関係性をエッジとした、グラフが用いられている。

また、一般的な物体検出モデルであるＲｅｌａｔｉｏｎｓｈｉｐ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ（ＲｅＰＮ）を用いて、オブジェクトの抽出とオブジェクトに紐づく画像特徴の抽出とを行い、さらにそれらの関連性を示すグラフ構造を持つシーングラフを学習する方法としてＧｒａｐｈ Ｒｅｇｉｏｎ Ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（Ｇｒａｐｈ Ｒ－ＣＮＮ）が知られている（例えば、非特許文献３を参照）。ここで、シーングラフとは、画像に映るオブジェクトをノードとし、ノード間に成立する関係をエッジ（例えば、有向エッジ）とするグラフである。

Ｍａｓａｈｉｒｏ Ｍｉｔｓｕｈａｒａ、他６名、「Ｅｍｂｅｄｄｉｎｇ Ｈｕｍａｎ Ｋｎｏｗｌｅｄｇｅ ｉｎｔｏ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｖｉａ Ａｔｔｅｎｔｉｏｎ Ｍａｐ」、 ａｒＸｉｖ：１９０５．０３５４０、 ２０１９年５月９日 白木克俊、「時空間のアテンション情報を考慮したＧｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓによる動作認識に関する研究」（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｃｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋｓ）、 中部大学 工学研究科 情報工学専攻、 機械知覚＆ロボティクスグループ（Ｍａｃｈｉｎｅ Ｐｅｒｃｅｐｔｉｏｎ ａｎｄ Ｒｏｂｏｔｉｃｓ Ｇｒｏｕｐ）、 ２０２０年 Ｊｉａｎｗｅｉ Ｙａｎｇ、他４名、「Ｇｒａｐｈ Ｒ－ＣＮＮ ｆｏｒ Ｓｃｅｎｅ Ｇｒａｐｈ Ｇｅｎｅｒａｔｉｏｎ」、 ａｒＸｉｖ：１８０８．００１９１、 ２０１８年８月１日

しかしながら、非特許文献１の方法では、ユーザが画像の着目領域を修正するだけであるから、動作主体としての人の行動の熟練度を高い予測精度で推論することができる学習モデルを生成することができない。

また、非特許文献２の方法では、グラフ構造が骨格の情報のみを用いているので、人の行動の熟練度を高い予測精度で推論することができる学習モデルを生成することは難しいと考えられる。

さらに、非特許文献３の方法では、画像に映っているオブジェクト同士の単純な関係性（木と鳥、木と葉、木と枝、の位置関係など）のみを扱っている。したがって、人の行動の熟練度を高い予測精度で推論することができる学習モデルを生成することは難しいと考えられる。

本開示は、動作主体の行動の熟練度を高い予測精度で推論することができる学習モデルを学習する機械学習装置、機械学習方法、及び機械学習プログラム、並びに、前記学習モデルを用いて画像内の動作主体の行動の熟練度を推論する熟練行動判定装置を提供することを目的とする。

本開示の機械学習装置は、画像内の動作主体の行動の熟練度を推論するための学習モデルを学習する装置であって、ユーザの入力操作に基づいて、前記動作主体の複数の部分に対応する複数のノードと前記複数のノードの間の関係性を示す情報とで構成されるグラフを取得するグラフ入力部と、前記グラフ入力部で取得された前記グラフを記憶する記憶部と、前記複数のノードに対応する複数のオブジェクトが存在する、前記画像内における複数のオブジェクト領域を認識して出力するオブジェクト認識部と、前記画像内に存在する前記動作主体の前記複数の部分の行動の特徴量である第１の特徴量を抽出する熟練行動特徴抽出部と、前記第１の特徴量に基づいて前記画像内における着目領域を生成する着目領域生成部と、前記着目領域と前記オブジェクト領域とが重なる領域について前記第１の特徴量を強調した第２の特徴量を生成するグラフ－オブジェクト特徴抽出部と、前記画像が予め収集された学習用データであるときにおける前記第２の特徴量に基づいて、前記学習モデルを生成するグラフモデル学習部と、を有することを特徴とする。

本開示の機械学習方法は、画像内の動作主体の行動の熟練度を推論するための学習モデルを学習する機械学習装置によって実施される方法であって、前記画像内に存在する前記動作主体の複数の部分の行動の特徴量である第１の特徴量を抽出するステップと、ユーザの入力操作に基づいて、前記動作主体の前記複数の部分に対応する複数のノードと前記複数のノードの間の関係性を示す情報とで構成されるグラフを取得し、前記グラフを記憶するステップと、前記複数のノードに対応する複数のオブジェクトが存在する、前記画像内における複数のオブジェクト領域を認識して出力するステップと、前記第１の特徴量に基づいて前記画像内における着目領域を生成するステップと、前記着目領域と前記オブジェクト領域とが重なる領域について前記第１の特徴量を強調した第２の特徴量を生成するステップと、前記画像が予め収集された学習用データであるときにおける前記第２の特徴量に基づいて、前記学習モデルを生成するステップと、を有することを特徴とする。

本開示の機械学習装置、機械学習方法、及び機械学習プログラムを用いれば、動作主体の行動の熟練度を高い予測精度で推論することができる学習モデルを生成することができる。

また、本開示の熟練行動判定装置を用いれば、動作主体の行動の熟練度を高い予測精度で推論することができる。

実施の形態１に係る機械学習装置のハードウェア構成の例を示す図である。 実施の形態１に係る機械学習装置の構成を概略的に示す機能ブロック図である。 実施の形態１に係る機械学習装置の学習時の動作を示す説明図である。 実施の形態１に係る機械学習装置の学習時の動作の例を表形式で示す図である。 実施の形態１に係る機械学習装置の学習時の動作を示すフローチャートである。 実施の形態１に係る機械学習装置（熟練行動判定装置）の推論時の動作を示す説明図である。 実施の形態１に係る機械学習装置（熟練行動判定装置）の推論時の動作を示すフローチャートである。 実施の形態２に係る機械学習装置の構成を概略的に示す機能ブロック図である。 （Ａ）及び（Ｂ）は、実施の形態２に係る機械学習装置の動作を示す説明図である。 実施の形態２に係る機械学習装置の学習時の動作を示すフローチャートである。 実施の形態３に係る機械学習装置の構成を概略的に示す機能ブロック図である。 実施の形態３に係る機械学習装置の学習時の動作を示す説明図である。 （Ａ）及び（Ｂ）は、実施の形態３に係る機械学習装置の学習率調整部の動作を示す説明図である。 実施の形態３に係る機械学習装置の学習時の動作を示すフローチャートである。 実施の形態４に係る機械学習装置の構成を概略的に示す機能ブロック図である。 実施の形態４に係る機械学習装置の学習時の動作を示すフローチャートである。 実施の形態４に係る機械学習装置の動作を示す説明図である。 実施の形態４に係る機械学習装置の動作を示す説明図である。

以下に、実施の形態に係る機械学習装置、熟練行動推論装置、機械学習方法、及び機械学習プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。

実施の形態に係る機械学習装置は、画像内の動作主体の行動の熟練度を推論するための学習モデルを学習する装置である。実施の形態に係る機械学習装置は、例えば、情報処理装置としてのコンピュータである。動作主体は、作業を行う人（作業者、技能者、熟練者、などとも呼ばれる。）、又は人の動作に連動して動作して作業を行う機構又は装置（例えば、ロボットアーム、内視鏡、など）である。

実施の形態に係る機械学習方法は、機械学習装置によって実施されることができる方法である。この機械学習方法は、画像内の動作主体の行動の熟練度を推論するための学習モデルを学習する方法である。

実施の形態に係る機械学習プログラムは、機械学習装置としてのコンピュータによって実行されることができるプログラムである。この機械学習プログラムは、画像内の動作主体の行動の熟練度を推論するための学習モデルを学習するプログラムである。

実施の形態に係る熟練行動推論装置は、機械学習装置、機械学習方法、又は機械学習プログラムによって生成された学習モデルを用いて、動作主体の行動の熟練度を推論する装置である。熟練行動推論装置は、例えば、コンピュータである。熟練行動推論装置と機械学習装置とは、共通のコンピュータで構成されてもよい。また、熟練行動推論装置と機械学習装置とは、異なるコンピュータで構成されてもよい。

《１》実施の形態１
《１－１》構成
図１は、実施の形態１に係る機械学習装置１００のハードウェア構成の例を示す図である。実施の形態１に係る機械学習装置１００は、機械学習を行うことで学習モデルＭを生成する学習プロセスを実行する装置である。また、機械学習装置１００は、熟練行動判定装置でもある。機械学習装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサ１０１と、揮発性の記憶装置であるメモリ１０２と、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの不揮発性記憶装置１０３と、インタフェース１０４とを有している。メモリ１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの半導体メモリである。機械学習装置１００は、外部の装置との通信を行う通信装置を有してもよい。

機械学習装置１００の各機能は、処理回路により実現される。処理回路は、専用のハードウェアである。処理回路は、メモリ１０２に格納されるプログラム（例えば、実施の形態に係る機械学習プログラム）を実行するプロセッサ１０１であってもよい。プロセッサ１０１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）であってもよい。

処理回路が専用のハードウェアである場合、処理回路は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などである。

処理回路がプロセッサ１０１である場合、機械学習方法は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実行される。ソフトウェア及びファームウェアは、プログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することにより、実施の形態１に係る機械学習方法を実施することができる。

なお、機械学習装置１００は、一部を専用のハードウェアで実現し、他の一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらのうちのいずれかの組み合わせによって、上述の各機能を実現することができる。

インタフェース１０４は、他の装置と通信するために用いられる。インタフェース１０４には、外部の記憶装置、ディスプレイ１０５、及びユーザ操作部としての入力装置１０６、などが接続される。入力装置１０６は、例えば、マウス、キーボード、タッチパネル、などである。

図２は、実施の形態１に係る機械学習装置１００の構成を概略的に示す機能ブロック図である。機械学習装置１００は、画像内の動作主体の行動の熟練度を推論するための学習モデルＭを学習する装置である。機械学習装置１００は、熟練行動判定モデル１１と、相関・因果グラフ入力部としてのグラフ入力部１５と、グラフ－オブジェクト特徴抽出部１６と、記憶部に記憶されたユーザ入力領域抽出テーブル１７と、オブジェクト認識部１８とを有している。熟練行動判定モデル１１は、熟練行動特徴抽出部１２と、着目領域生成部１３と、グラフモデル学習部１４とを有している。

学習時には、熟練行動判定モデル１１では、学習モデル生成部１１ａが、学習モデルＭを生成して、これを学習モデル記憶部１１ｂに格納する。推論時には、熟練行動判定モデル１１では、推論部１１ｃが学習モデル記憶部１１ｂから学習モデルＭを読み出し、これを用いて、入力されるデータに基づく推論を行う、推論の結果を出力する。

グラフ入力部１５は、ユーザ５０の入力操作に基づいて、画像内の動作主体の複数の部分に対応する複数のノードと、複数のノードの間の関係性を示す情報と、で構成されるグラフＧを取得する。つまり、グラフ入力部１５に対し、ユーザは、入力装置からノード及びノード間の相関・因果関係を入力する。つまり、グラフ入力部１５では、因果・相関グラフにノード同士の関係性が入力される。ユーザ５０は、グラフ入力部１５で、知見を埋め込みたい領域（例えば、右手ＲＨ、左手ＬＨ、頭ＨＥ）を指定し、知見を埋め込みたいと想定する領域を抽出するためのオブジェクトをユーザ入力領域抽出テーブル１７に登録する。さらに、グラフ入力部１５で、ユーザ５０は、自分が予想する領域同士の関わり合いに関する情報を予め登録する。ユーザ入力領域抽出テーブル１７は、予め又はグラフ入力部１５からの入力操作により取得された情報のテーブルである。

オブジェクト認識部１８は、複数のノード（「グラフノード」ともいう。）に対応する複数のオブジェクトが存在する複数のオブジェクト領域Ｏを認識して出力する。オブジェクト認識部１８は、ユーザ５０が入力したノード（例えば、右手、左手、頭）に対応するオブジェクトと、オブジェクトを含む領域であるオブジェクト領域Ｏ（例えば、矩形領域）を認識する。つまり、オブジェクト認識部１８は、ユーザ入力領域抽出テーブル１７に登録されているオブジェクトの抽出方法を読み取り、その方式に従って動画、時系列のセンサデータから該当するオブジェクトの領域を抽出する。

熟練行動特徴抽出部１２は、画像内に存在する動作主体の複数の部分の行動の特徴量（すなわち、中間特徴量）である第１の特徴量Ｆ１を抽出する。動作主体の複数の部分は、例えば、作業者の右手ＲＨ、左手ＬＨ、及び頭ＨＥである。熟練行動特徴抽出部１２は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの特徴抽出機により、中間特徴を取得する。

着目領域生成部１３は、第１の特徴量Ｆ１に基づいて画像内における着目領域Ａを生成する。着目領域生成部１３は、Ａｔｔｅｎｔｉｏｎ ｂｒａｎｃｈ ｎｅｔｗｏｒｋ（ＡＢＮ）のようなネットワーク機構により、画像のどの領域に着目することで熟練度を求めることができるかを示すヒートマップ情報を生成する。また、着目領域生成部１３は、ヒートマップ情報の生成途中の情報である可視化結果を学習結果部分に登録する。ＡＢＮは、例えば、非特許文献１に記載されている。

グラフ－オブジェクト特徴抽出部１６は、着目領域Ａとオブジェクト領域Ｏとが重なる領域について第１の特徴量Ｆ１を強調した第２の特徴量Ｆ２を生成する。グラフ－オブジェクト特徴抽出部１６は、人の知見を埋め込みたいと想定する領域に対して、画像等のセンサ特徴量を紐づけする。グラフ－オブジェクト特徴抽出部１６は、熟練行動判定モデル１１が抽出した第１の特徴量Ｆ１に対して、オブジェクト認識部１８が抽出したオブジェクト領域Ｏと着目領域生成部１３が生成した着目点を含む着目領域Ａとが重なる領域以外をマスクして、ユーザ入力であるグラフＧと熟練行動特徴である第１の特徴量Ｆ１との紐づけを行う。このような構成とすることで、右手ＲＨ、左手ＬＨ、頭ＨＥの関わり合いを予め指定することができ、さらに、手と一緒に映っている「モノの扱い方」を含めた、オブジェクトを解析することができる。ここで、「モノの扱い方」とは、例えば、ドライバー、ペンのような道具の扱い方である。つまり、グラフ－オブジェクト特徴抽出部１６は、オブジェクト領域及び着目領域を示すヒートマップ情報を用いたマスク処理を行うことで、ノードに対し特徴を抽出する。

グラフモデル学習部１４は、熟練行動特徴抽出部１２に入力される画像が予め収集された学習用データＬであるときにおける第２の特徴量Ｆ２に基づいて、学習モデルＭを生成する。グラフモデル学習部１４は、例えば、ＳＴ－ＧＣＮのようなグラフを畳み込む学習方式を用い学習を進め、学習結果を記憶部に蓄積する。

データセット記憶部６０には、学習用データである動画及び推論用テータである動画、時系列のセンサデータ、などが蓄積されている。

実施の形態１では、ユーザ５０がオブジェクト同士の相互関係を示す情報をグラフ入力部１５から予め与えるので、解きたい課題に合わせて認識すべきオブジェクトを指定することができる。また、解きたい課題の認識過程で抽出した着目領域を用いて画像特徴を選択することで、グラフに対して「モノを上手に扱う上での着目領域」といった、より詳細な特徴を獲得することができる。また、より精度の良い分析が可能となる。

《１－２》学習時の動作
図３は、実施の形態１に係る機械学習装置１００の学習時の動作を示す説明図である。図４は、機械学習装置１００の学習時の動作の例を示す情報を表形式で示す図である。

ユーザは、グラフ入力部１５に対して、例えば、右手、左手、頭の因果関係、相関関係について入力する。図３の例では、「お絵描き」の熟練度を判定するために、作業中の俯瞰映像を取得し、それに映っている「右手」「左手」「頭」といった情報の関わりをユーザ５０が手入力で与える。

例えば、因果を有向グラフとして表現した場合、図３に示されるように、左手の動きに起因して右手の動きが定まり、頭と右手はお互いに連動して動くようなものとして、ノード「右手」「左手」「頭」、とグラフのエッジを与える。

また、グラフ入力部１５のノードを抽出するための方法をユーザ入力領域抽出テーブル１７に与える。グラフ入力部１５は、非特許文献３に示されるような画像から物体を検出する機械学習モデルを与えてもよい。また、肌の色を抽出する画像処理によって、画像内の右側に映っているものを右手、左側に映っているものを左手と識別してもよい。

ユーザ入力領域抽出テーブル１７の例は、例えば、図４に示される。ユーザ入力領域抽出テーブル１７は、センサデータのうちの、ユーザ５０の入力に該当するものを抽出する手段によって、情報が登録されてもよい。

データセット記憶部６０は、機械学習時に使用される学習用データが記憶されている。熟練行動を判定するようなモデルの場合、動画、圧力センサ、加速度センサ、音などのセンサデータを記憶し、さらに、そのセンサデータで計測された行動はどの程度の熟練度なのか、行動の結果得られた品質の良否判断結果等を記憶する。

熟練行動特徴抽出部１２がＡｔｔｅｎｔｉｏｎ Ｐａｉｒｗｉｓｅ Ｒａｎｋｉｎｇ、Ｐａｉｒｗｉｓｅ Ｄｅｅｐ Ｒａｎｋｉｎｇのような一対比較手法を採用している場合、２つのセンサデータの優劣比較結果を保持してもよい。

図５は、機械学習装置１００の学習時の動作を示すフローチャートである。オブジェクト認識部１８は、画像又はセンサデータから、ユーザが入力した相関・因果グラフのノードになる領域を抽出する(ステップＳ１０１)。物体検出モデルを用いる場合は、右手、左手、頭の認識結果と、その認識結果のオブジェクトが囲まれた矩形情報が抽出される。また、肌の色、髪の色などを用いた画像処理によって、右手、左手、頭を認識する場合は、所定の色範囲となっている領域とその位置関係から、上記物体検出モデルと同等情報を抽出する。

熟練行動特徴抽出部１２は、ＣＮＮのような画像から特徴を抽出するようなモデルである。熟練行動特徴抽出部１２は、加速度センサ、音のような時系列を扱うモデルの場合、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）のような時間を扱うモデルを用いてもよい。動画のような時系列も扱うような場合、時間方向への畳み込みも含む３Ｄ－ＣＮＮ又は、ＣＮＮで一旦畳み込んだ画像特徴を入力とし、時系列を扱うためのＲＮＮのようなモデルを組み合わせてもよい。上記以外にも一定間隔に（例えば、動画を１／３のサイズごとに）区切った時刻同士をそれぞれＣＮＮに入力するＴＳＮ（Ｔｅｍｐｏｒａｌ Ｓｅｇｍｅｎｔ Ｎｅｔｗｏｒｋ）のようなモデルを用いてもよい。熟練行動特徴抽出部１２に対しデータを入力し、時間ｔ、幅Ｗ、高さＨ、チャンネル数Ｃｈの中間特徴である第１の特徴量Ｆ１を得る（ステップＳ１０２）。

着目領域生成部１３は、熟練行動特徴抽出部１２が抽出した中間特徴を用いて、熟練度を判定するための着目領域を生成する（ステップＳ１０３）。着目領域は、チャンネル方向、時間ｔ方向へのＧｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇと、活性化関数、もしくは最大、最小値の正規化により、幅Ｗ、高さＨに関する０～１の範囲のヒートマップを持つ。ヒートマップは、例えば、ＣＡＭ（Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐ）構造を持つ。熟練行動判定に対する誤差逆伝播により、熟練行動特徴抽出部１２が抽出した特徴のうちどこに着目すれば、熟練度が判定しやすいかの着目点を獲得する。

グラフ－オブジェクト特徴抽出部１６は、熟練行動特徴抽出部１２が出力した中間特徴量（時間ｔ×幅Ｗ×高さＨ×チャンネル数Ｃｈ）を、オブジェクト抽出結果に基づくマスクを加え、各ノード「右手」「左手」「頭」と紐づく特徴量を抽出する（ステップＳ１０４）。実施の形態１では、オブジェクト認識部１８が抽出した中間特徴をそのまま用いてノードへの特徴として与えない。あくまで解きたい課題は、熟練度を取得することであり、右手、左手、頭を抽出するための特徴を捉えたいわけではないため、熟練行動を判定するためのモデルに対する特徴に対してマスク処理を施す。

マスク処理の方法としては、Ａｔｔｅｎｔｉｏｎ Ｂｒａｎｃｈ Ｎｅｔｗｏｒｋのように中間特徴量である第１の特徴量Ｆ１にマスク処理を施した特徴量Ｆ１´と、オリジナルの中間特徴量である第１の特徴量Ｆ１との和を取って取得してもよい。これ以外にも、上記の手法の和の部分を無くしたもの、すなわち、特徴量Ｆ１´を用いてもよい。また、後述する着目領域生成部１３が抽出した着目領域（Ａｔｔｅｎｔｉｏｎ領域）以外の領域をマスキングして、グラフのノードに対して適切な特徴を抽出する。

グラフモデル学習部１４（ＳＴ－ＧＣＮ）はユーザから与えられたグラフ間の因果・相関関係の隣接行列を用いて、各時刻ｔで抽出された特徴をＧｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（Ｇｒａｐｈ－ＣＮＮ）の学習手法により、データセットの熟練度が当てられるように誤差逆伝播を繰り返し、学習をする（ステップＳ１０５）。誤差逆伝播について、オブジェクト認識までは実施せず、特徴抽出までの重みパラメータを更新する。

《１－３》推論時の動作
図６は、実施の形態１に係る機械学習装置（熟練行動判定装置）１００の推論時の動作を示す説明図である。図７は、機械学習装置（熟練行動判定装置）１００の推論時の動作を示すフローチャートである。

オブジェクト認識部１８は、ユーザが予め入力したオブジェクト（ノード）と、その領域を抽出する（ステップＳ１１１）。熟練行動特徴抽出部１２が、熟練度を判定するための特徴を抽出する（ステップＳ１１２）。着目領域生成部１３が、幅Ｗ×高さＨのヒートマップを生成する（ステップＳ１１３）。グラフ－オブジェクト特徴抽出部１６が、ユーザが予め入力したオブジェクトに対する特徴量を、オブジェクト認識結果、及び、着目領域生成結果を基に抽出する（ステップＳ１１４）。推論部が、グラフ畳み込みにより熟練度を認識する（ステップＳ１１５）。

《１－４》効果
グラフ入力部１５で、ユーザが予めオブジェクト同士の相互関係を与え、解きたい課題に合わせて、認識すべきオブジェクトの抽出方法を指定することができる。このような実施の形態により、解きたい課題に関連するユーザの知見を知識グラフという形で機械学習に取り込むことができるようになる。

着目領域生成部１３により、解きたい課題の認識過程で抽出した着目点を用い画像特徴を選択することで、ノードに対応するモノ（オブジェクト）の特徴を抽出してそれを単純に取り出して機械学習するのではなく、「モノを上手に扱う上での着目点」といったより詳細な特徴を獲得することができる」という効果がある。

《２》実施の形態２
《２－１》構成
図８は、実施の形態２に係る機械学習装置２００の構成を概略的に示す機能ブロック図である。図８において、図２に示される構成と同一又は対応する構成には、図２に示される符号と同じ符号が付されている。機械学習装置２００は、オブジェクト認識部２８の動作の点で、実施の形態１に係る機械学習装置１００と相違する。機械学習装置２００は、実施の形態４に係る機械学習方法を実施できる装置である。機械学習装置２００のハードウェア構成は、図１のものと同様である。

図９（Ａ）及び（Ｂ）は、機械学習装置２００の動作を示す説明図である。熟練者の作業動画を扱う場合、図９（Ｂ）に示されるように、ユーザの指定したオブジェクトが重なり合う、又は図９（Ａ）に示されるように、ユーザの指定したオブジェクトが画面から無くなる等の問題が発生することがある。これに対し、機械学習装置２００は、オブジェクト認識部２８で、上記問題の発生を推定する手段を設け、これらの状態に応じて適切に画像に紐づいたグラフ特徴の更新を行う。

《２－２》動作
図１０は、機械学習装置２００の学習時の動作を示すフローチャートである。図１０の動作は、オブジェクト認識部２８の動作とグラフ－オブジェクト特徴抽出部１６の動作の点で、実施の形態１に係る機械学習装置１００の動作と相違する。機械学習装置２００は、オブジェクトの認識（ステップＳ２０１）、第１の特徴量Ｆ１の抽出（ステップＳ２０２）、着目領域Ａの生成（ステップＳ２０３）、グラフオブジェクト特徴（第２の特徴量Ｆ２）の抽出（ステップＳ２０４）、学習モデルとしてのグラフモデルの生成（ステップＳ２０５）を行う。

オブジェクト認識部２８は、観測値及び過去の観測に基づく位置の予想に対しガウス分布のノイズが加わったカルマンフィルタのような位置のフィルタリング手法で動作する。

フロー推定部２８ａは、前回までにフィルタ推定した位置、又は速度、又は位置及び速度の情報を保持し、これに基づいてオブジェクトが存在すると予測される位置を推定する。

オブジェクト存在確率推定部２８ｂは、オブジェクト認識で位置が観測された場合その位置で観測される分散値が小さくなり、位置が観測されない場合分散値が段々と大きくなるように存在確率を算出する。上記フィルタにより観測された位置の分散が一定以上、もしくは手の位置が分散も含め画面の外に移動したと推測された場合、右手、左手は途中から検出されないものとして認識する。

カルマンフィルタにより、上記分散値の値に応じて、フロー推定部２８ａが推定した位置か、オブジェクト認識部２８が観測した位置のどちらに比重を置いて位置を算出するかを推定する。

重なり判定部２８ｃは、フィルタ時の位置が重なりあい、オブジェクト認識も片方の手しか見つからない場合、２つのオブジェクトが重なりあったものとして認識する。

グラフ－オブジェクト特徴抽出部１６は、前記オブジェクト認識の結果で、途中からオブジェクトが認識されなくなった場合、認識されなくなる前に抽出していた特徴量をノードに割り当てる。

グラフ－オブジェクト特徴抽出部１６は、前記オブジェクト認識の結果で、例えば、右手、左手のオブジェクトの重なり合いが発生した場合、ガウス分布の重なり合う部分と、重なり合わない部分の面積比率により重みを決定し、前回までの右手、左手それぞれの特徴量と重なりあっている箇所の特徴量を重み付き和で混ぜ合わせ、ノードに割り当てる。

《２－３》効果
実施の形態２によれば、オブジェクト認識部２で、オブジェクトが存在しないもしくは重なり合っていることを検知し、これに基づいて適切にノードに割り当てる特徴量を決定することで、ある時刻でオブジェクトが検出されない場合でもより安定的にＳＴ－ＧＣＮのような学習を実行することができる。

上記以外に関し、実施の形態２は、実施の形態１と同じである。

《３》実施の形態３
《３－１》構成
図１１は、実施の形態３に係る機械学習装置３００の構成を概略的に示す機能ブロック図である。図１１において、図２に示される構成と同一又は対応する構成には、図２に示される符号と同じ符号が付されている。機械学習装置３００は、学習データ生成部３５を有する点及び特徴行動判定モデル３１の構成及び動作の点において、実施の形態１に係る機械学習装置１００と相違する。機械学習装置３００は、実施の形態３に係る機械学習方法を実施できる装置である。機械学習装置３００のハードウェア構成は、図１のものと同様である。

機械学習装置３００は、画像内の動作主体の行動の熟練度を推論するための学習モデルＭを学習する装置である。機械学習装置３００は、ユーザ５０の入力操作に基づいて、動作主体の複数の部分に対応する複数のノードと複数のノードの間の関係性を示す情報とで構成されるグラフＧを取得するグラフ入力部１５と、グラフ入力部１５で取得されたグラフＧを記憶するユーザ入力領域抽出テーブル１７と、複数のノードに対応する複数のオブジェクトが存在する、画像内における複数のオブジェクト領域Ｏを認識して出力するオブジェクト認識部１８とを有している。また、機械学習装置３００は、複数のオブジェクト領域Ｏに紐づけられた学習用データを生成する学習データ生成部３５と、複数のオブジェクト領域に紐づけられた、画像内に存在する動作主体の複数の部分（例えば、右手、左手、頭）の行動であって、複数のオブジェクト領域に紐づけられた行動を推論するための行動推論モデルＭ２を学習する熟練行動判定モデル学習部３３とを有している。さらに、機械学習装置３００は、行動推論モデルＭ２を用いて推論された、複数のオブジェクト領域に紐づけられた行動を認識し、行動の特徴量である第１の特徴量Ｆ１を抽出するオブジェクト認識・熟練行動特徴抽出部３４と、第１の特徴量Ｆ１を強調した第２の特徴量Ｆ２を生成するグラフ－オブジェクト特徴抽出部１６と、画像が前記学習用データであるときにおける第２の特徴量Ｆ２に基づいて、学習モデルＭを生成するグラフモデル学習部１４とを有している。

《３－２》動作
図１２は、機械学習装置３００の学習時の動作を示す説明図である。学習率調整部３２を設け、最初はＣＮＮに比重を置いて特徴抽出して、後半に行くほどＳＴ－ＧＣＮに比重を置くことで、右手、左手、頭の相互関係を習得しやすくする。学習データ生成部３５は、オブジェクト認識部２８により、右手、左手、頭などの認識結果をデータセット記憶部６０に登録する。これに基づいて、先ず、オブジェクト認識・熟練行動判定モデル学習部３３は、通常のＣＮＮ等のモデルでマルチタスクラーニングを行い、学習用データから熟練度と右手、左手、頭も含めた特徴量とを抽出する。

グラフ－オブジェクト特徴抽出部１６は、上記特徴量と右手、左手、頭との間の紐づけを行い、ＳＴ－ＧＣＮのノード特徴量を求める。

学習率調整部３２は、学習の前半を左手と右手と頭を発見するための特徴量抽出、学習の後半をＳＴ－ＧＣＮに比重を置いて学習させることで、徐々に人間の身体部位の相互関係に焦点を当てる。

オブジェクト認識・熟練行動判定モデル学習部３３は、画像内の全画素にラベル又はカテゴリを関連付ける深層学習のアルゴリズム（例えば、特徴的なカテゴリを形成する画素の集まりを認識することが可能なアルゴリズム）のようなモデルである行動推論モデルＭ２を学習する。

オブジェクト認識・熟練行動特徴抽出部３４は、行動推論モデルＭ２を用いて推論された、複数のオブジェクト領域に紐づけられた行動を認識し、前記行動の特徴量である第１の特徴量Ｆ１を抽出する。行動推論モデルＭ２を用いれば、マルチタスクラーニングにより熟練度に関連する特徴も抽出することができる。このようなアルゴリズムとしては、例えば、セマンティックセグメンテーションが知られている。したがって、実施の形態１における着目領域生成部１３のようなものを設けなくても、熟練度に関係する細かな領域抽出が可能となる。

また、セマンティックセグメンテーションを用いた場合は、グラフ－オブジェクト特徴抽出部１６では、セグメンテーション結果とマスクを用いることで、ノードと特徴の紐づけを行うことができる。

図１３（Ａ）及び（Ｂ）は、機械学習装置３００の学習率調整部３２の動作を示す説明図である。学習率調整部３２の動作イメージ、以下のようなロス関数が与えられたとする。Ｌ_{usr_cnn}＋Ｌ_{skill_cnn}がオブジェクト認識・熟練行動判定モデル学習部３３に関するロスで、Ｌ_{skill_gcn}がグラフモデル学習部１４に関するロスである。

実施の形態１及び２では人手で埋め込んだ知見であるグラフ構造を用いた学習を進めるが、グラフ構造には右手、左手、頭のようなオブジェクトを抽出する特徴は含まれない。このため、学習率調整部３２は、学習の開始直後（すなわち、学習の最初の期間）で、オブジェクト認識・熟練行動判定モデル学習部３３に対するマルチタスクラーニングで学習を実行し、ある程度の時間が経過した後、安定して右手、左手、頭を抽出できるようになった時点以降に、以下のロス関数Ｌｏｓｓの式におけるαの値を調整し、一定のオブジェクト認識率を下回らないようにする。こうした上で、ＳＴ－ＧＣＮにオブジェクトの抽出に関する特徴を取り込み、かつ、グラフから、熟練度を算出するように学習を調整する。

Ｌｏｓｓ＝β（α（Ｌ_{usr_cnn}＋Ｌ_{skill_cnn}）＋（１－α）Ｌ_{skill_gcn}）

ネットワーク構成例を以下に示す。学習率調整部３２を設け、最初はＣＮＮに比重を置いて特徴抽出して、後半に行くほどＳＴ－ＧＣＮに比重を置くことで、右手、左手、頭の相互関係を習得しやすくする。

図１４は、機械学習装置３００の学習時の動作を示すフローチャートである。機械学習装置３００は、オブジェクトの認識（ステップＳ３０１）、学習用データの生成（ステップＳ３０２）、オブジェクト認識・熟練行動特徴を抽出し（ステップＳ３０３）、学習率を調整し（ステップＳ３０４）、グラフオブジェクト特徴（第２の特徴量Ｆ２）の抽出（ステップＳ３０５）、学習モデルとしてのグラフモデルの生成（ステップＳ３０６）を行う。

《３－３》効果
以上に説明したように、実施の形態３によれば、オブジェクト認識・熟練行動判定モデル学習部３３を設けることで、ＳＴ－ＧＣＮに対してオブジェクトに関する特徴も持たせることができ、その結果、手及び頭の抽出に関する特徴をベースに熟練行動を判定するような学習が可能となる。これにより、学習をより安定にすることが期待できる。

上記以外に関し、実施の形態３は、実施の形態１又は２と同じである。

《４》実施の形態４
《４－１》構成
図１５は、実施の形態４に係る機械学習装置４００の構成を概略的に示す機能ブロック図である。図１５において、図２に示される構成と同一又は対応する構成には、図２に示される符号と同じ符号が付されている。機械学習装置４００は、熟練行動判定モデル４１の構成の点及びグラフ候補生成部４３を有する点において、実施の形態１に係る機械学習装置１００と相違する。機械学習装置４００は、実施の形態４に係る機械学習方法を実施できる装置である。機械学習装置４００のハードウェア構成は、図１のものと同様である。

ユーザ５０がオブジェクト間の関係を予め定義した知見を機械学習装置４００に与えると、意に反して、与えた知見がノイズになる場合がある。例えば、非特許文献３に記載の相関に基づくグラフの生成では、特徴が似ていないノード同士の特徴量の交換ができない。実施の形態４では、各オブジェクトの時間方向の着目領域をＡｔｔｅｎｔｉｏｎ Ｂｒａｎｃｈ Ｎｅｔｗｏｒｋによって抽出し、グラフ候補生成部４３がヒートマップの発火順（すなわち、どの着目領域を重要視して熟練度を判定したかの情報）から、グラフの候補を生成する。実施の形態４に係る機械学習装置４００では、ユーザ５０がノード候補情報だけを入力すれば、ノードの相関・因果が自動で発見される。

機械学習装置４００は、画像内の動作主体の行動の熟練度を推論するための学習モデルＭを学習する装置である。機械学習装置４００は、ユーザ５０の入力操作に基づいて、動作主体の複数の部分に対応する複数のノードと複数のノードの間の関係性を示す情報とで構成されるグラフＧを取得するグラフ入力部１５と、グラフ入力部１５で取得されたグラフＧを記憶するユーザ入力領域抽出テーブル１７と、複数のノードに対応する複数のオブジェクトが存在する、画像内における複数のオブジェクト領域Ｏを認識して出力するオブジェクト認識部１８とを有している。また、機械学習装置４００は、画像内に存在する動作主体の複数の部分（例えば、右手、左手、頭）の行動の特徴量である第１の特徴量Ｆ１を抽出する熟練行動特徴抽出部１２と、複数のオブジェクト領域Ｏ及び第１の特徴量Ｆ１に基づいて、複数のオブジェクト領域Ｏのいずれかに重なる着目領域Ａを生成し、着目領域をヒートマップとして出力する着目領域生成部１３と、着目領域記憶部４２と、ヒートマップに基づいて、グラフ入力部１５から入力されるグラフの候補をユーザに提示するための情報を生成するグラフ候補生成部４３とを有している。さらに、機械学習装置４００は、着目領域Ａについて第１の特徴量Ｆ１を強調した第２の特徴量Ｆ２を生成するグラフ－オブジェクト特徴抽出部１６と、画像が予め収集された学習用データＬであるときにおける第２の特徴量Ｆ２に基づいて、学習モデルＭを生成するグラフモデル学習部１４とを有している。

《４－２》動作
図１６は、機械学習装置４００の学習時の動作を示すフローチャートである。機械学習装置４００は、オブジェクトの認識（ステップＳ４０１）、第１の特徴量Ｆ１の抽出（ステップＳ４０２）、着目領域Ａの生成（ステップＳ４０３）、グラフオブジェクト特徴（第２の特徴量Ｆ２）の抽出（ステップＳ４０４）、学習モデルとしてのグラフモデルの生成（ステップＳ４０５）を行う。

図１７は、機械学習装置４００の動作を示す説明図である。グラフ入力部１５で、ユーザ５０は、右手、左手、頭のような関わりのありそうなノードのみを定義する。また、これらの抽出方法は、ユーザ入力領域抽出テーブル１７に登録される。

グラフモデル学習部１４では、ノード同士は全てエッジによって結合されているものとして、学習を行う。

着目領域生成部１３は、各オブジェクトのどこに着目して熟練度を判定したかを示すヒートマップ情報に加えて、オブジェクト認識した着目領域に対するヒートマップの重畳度合いを算出し、重畳度合いが一定以上のノードの発火順を図１７のように生成する。グラフ候補生成部４３がヒートマップの発火順（すなわち、どれを重要視して熟練度を判定したかを示す情報）から、グラフ候補を生成する。

上記は右手、左手、頭のようなノードの発火順を抽出する一例であり、例えば、非特許文献２のように、ノード自体の着目生成部を設け、これを用いた分析をしてもよい。

グラフ候補生成部は、以下のようなＮ分割した時系列の着目情報（Ａｔｔｅｎｔｉｏｎ）情報を基に、どの時間で各ノードが着目されたのかを示す情報を基に、ノードの候補を見つける。

図１７で説明すると、左手が着目された後に、右手が着目された場合、左手から右手に有向エッジがあるものとし、右手と頭が同時に着目された場合、右手、左手に無向エッジがあるものとする。左手のみが発火した場合、左手にセルフループがあるものと判定する。上記のようなグラフを一定分割数に区切った時間を一定のウィンドウ幅で探索し、少しずつウィンドウをスライドして探索しグラフの候補を発見する。発見したグラフ候補からグラフパターンマッチングにより頻出パターンを候補として複数個抽出する。

図１８は、機械学習装置４００の動作を示す説明図である。グラフ候補生成部４３は、自動発見したノード間の関係性に加え、熟練度を判定する上で本当にノード間の因果あるかどうかを検証できるようにしてもよい。グラフ候補生成部４３は、例えば、図１８の時系列の着目情報が得られているものとし、そのうち一部の着目情報を無効化することで、その影響を調査する。グラフ候補生成部４３は、図１８に因果関係の抽出として記載しているように、左手から右手、左手から頭の因果があるかどうかを検証する。

グラフ候補生成部４３は、右手、左手の因果を検証する際に、まず頭の着目情報を無効化する。そしてその上で左手のヒートマップの時間帯を右手と同じ時間になるようにずらし、このときのロスの変化（Δロス）を求める。

一方で、グラフ候補生成部４３は、左手、頭の因果を検証する際に、まず右手の着目情報を無効化し、その上で、左手のヒートマップの時間帯を右手と同じ時間になるようにずらし、このときのロスの変化（Δロス）を求める。

グラフ候補生成部４３は、上記したロスの計算により、左手から右手を向く有向エッジの関係が崩れたときに、ロスが大きく変化することを検証し、実際に獲得したグラフに対して因果があるかもしれないと候補を提示することができる。

《４－３》効果
以上に説明したように、実施の形態４によれば、グラフ候補生成部４３がユーザ５０のノードに対し、関係性を発見できるようにする情報を提示することで、ノード間の不適切な関係性の入力によって、ノイズとなるような関係性の定義を与えることを回避できる。

上記以外に関し、実施の形態４は、実施の形態１から３のいずれかと同じである。

１１、２１、３１、４１ 熟練行動判定モデル、 １１ａ 学習モデル生成部、 １１ｂ 学習モデル記憶部、 １１ｃ 推論部、 １２ 熟練行動特徴抽出部、 １３ 着目領域生成部、 １４ グラフモデル学習部、 １５ グラフ入力部、 １６ グラフ－オブジェクト特徴抽出部、 １７ ユーザ入力領域抽出テーブル（記憶部）、 １８ オブジェクト認識部、 ２８ａ フロー推定部、 ２８ｂ オブジェクト存在確率確定部、 ２８ｃ 重なり判定部、 ３２ 学習率調整部、 ３３ オブジェクト認識・熟練行動判定モデル学習部、 ３４ オブジェクト認識・熟練行動特徴抽出部、 ３５ 学習データ生成部、 ５０ ユーザ、 ６０ データセット記憶部、 １００、２００、３００、４００ 機械学習装置、 Ａ 着目領域、 Ｆ１ 第１の特徴量（中間特徴）、 Ｆ２ 第２の特徴量、 Ｇ グラフ、 Ｌ 学習用データ、 Ｍ 学習モデル、 Ｍ２ 行動推論モデル、 Ｏ オブジェクト領域、 ＲＨ 右手、 ＬＨ 左手、 ＨＥ 頭。

Claims (11)

1. 画像内の動作主体の行動の熟練度を推論するための学習モデルを学習する機械学習装置であって、
   ユーザの入力操作に基づいて、前記動作主体の複数の部分に対応する複数のノードと前記複数のノードの間の関係性を示す情報とで構成されるグラフを取得するグラフ入力部と、
   前記グラフ入力部で取得された前記グラフを記憶する記憶部と、
   前記複数のノードに対応する複数のオブジェクトが存在する、前記画像内における複数のオブジェクト領域を認識して出力するオブジェクト認識部と、
   前記画像内に存在する前記動作主体の前記複数の部分の行動の特徴量である第１の特徴量を抽出する熟練行動特徴抽出部と、
   前記第１の特徴量に基づいて前記画像内における着目領域を生成する着目領域生成部と、
   前記着目領域と前記オブジェクト領域とが重なる領域について前記第１の特徴量を強調した第２の特徴量を生成するグラフ－オブジェクト特徴抽出部と、
   前記画像が予め収集された学習用データであるときにおける前記第２の特徴量に基づいて、前記学習モデルを生成するグラフモデル学習部と、
   を有することを特徴とする機械学習装置。
2. 前記オブジェクト認識部は、前記複数のノードに対応する複数のオブジェクトの位置及び速度に関する過去の情報を保持し、前記過去の情報に基づいて前記複数のオブジェクト領域の位置を予測して、前記複数のオブジェクト領域の重なり合いを判定し、
   前記グラフ－オブジェクト特徴抽出部は、前記複数のオブジェクト領域のうちの重なり合うオブジェクト領域の前記第１の特徴量に基づいて、前記重なり合うオブジェクト領域の前記第１の特徴量を変更する
   ことを特徴とする請求項１に記載の機械学習装置。
3. 画像内の動作主体の行動の熟練度を推論するための学習モデルを学習する機械学習装置であって、
   ユーザの入力操作に基づいて、前記動作主体の複数の部分に対応する複数のノードと前記複数のノードの間の関係性を示す情報とで構成されるグラフを取得するグラフ入力部と、
   前記グラフ入力部で取得された前記グラフを記憶する記憶部と、
   前記複数のノードに対応する複数のオブジェクトが存在する、前記画像内における複数のオブジェクト領域を認識して出力するオブジェクト認識部と、
   前記複数のオブジェクト領域に紐づけられた学習用データを生成する学習データ生成部と、
   前記複数のオブジェクト領域に紐づけられた、前記画像内に存在する前記動作主体の前記複数の部分の行動であって、前記複数のオブジェクト領域に紐づけられた行動を推論するための行動推論モデルを学習する行動判定モデル学習部と、
   前記行動推論モデルを用いて推論された、前記複数のオブジェクト領域に紐づけられた行動を認識し、前記行動の特徴量である第１の特徴量を抽出するオブジェクト認識・熟練行動特徴抽出部と、
   前記第１の特徴量を強調した第２の特徴量を生成するグラフ－オブジェクト特徴抽出部と、
   前記画像が前記学習用データであるときにおける前記第２の特徴量に基づいて、前記学習モデルを生成するグラフモデル学習部と、
   を有することを特徴とする機械学習装置。
4. 画像内の動作主体の行動の熟練度を推論するための学習モデルを学習する機械学習装置であって、
   ユーザの入力操作に基づいて、前記動作主体の複数の部分に対応する複数のノードと前記複数のノードの間の関係性を示す情報とで構成されるグラフを取得するグラフ入力部と、
   前記グラフ入力部で取得された前記グラフを記憶する記憶部と、
   前記複数のノードに対応する複数のオブジェクトが存在する、前記画像内における複数のオブジェクト領域を認識して出力するオブジェクト認識部と、
   前記画像内に存在する前記動作主体の前記複数の部分の行動の特徴量である第１の特徴量を抽出する熟練行動特徴抽出部と、
   前記複数のオブジェクト領域及び前記第１の特徴量に基づいて、前記複数のオブジェクト領域のいずれかに重なる着目領域を生成し、前記着目領域をヒートマップとして出力する着目領域生成部と、
   前記ヒートマップに基づいて、前記グラフ入力部から入力される前記グラフの候補を前記ユーザに提示するための情報を生成するグラフ候補生成部と、
   前記着目領域について前記第１の特徴量を強調した第２の特徴量を生成するグラフ－オブジェクト特徴抽出部と、
   前記画像が予め収集された学習用データであるときにおける前記第２の特徴量に基づいて、前記学習モデルを生成するグラフモデル学習部と、
   を有することを特徴とする機械学習装置。
5. 前記動作主体は、人であり、
   前記複数の部分は、前記人の複数の身体部位を含む
   ことを特徴とする請求項１から４のいずれか１項に記載の機械学習装置。
6. 前記動作主体は、人の身体の部位の動きに連動して動く機構であり、
   前記複数の部分は、前記機構の複数の部分である
   ことを特徴とする請求項１から４のいずれか１項に記載の機械学習装置。
7. 前記複数のノードの間の関係性を示す前記情報は、有向エッジである
   ことを特徴とする請求項１から６のいずれか１項に記載の機械学習装置。
8. 前記複数のノードの間の関係性を示す前記情報は、前記複数の部分の各々の動きを示す情報を含む
   ことを特徴とする請求項１から６のいずれか１項に記載の機械学習装置。
9. 請求項１から８のいずれか１項に記載の機械学習装置と、
   前記熟練行動特徴抽出部に入力される前記画像が推論対象の画像であるときにおける前記第２の特徴量に基づいて、前記動作主体の行動の熟練度を推論する前記学習モデルと、
   を有することを特徴とする熟練行動判定装置。
10. 画像内の動作主体の行動の熟練度を推論するための学習モデルを学習する機械学習装置によって実施される機械学習方法であって、
    前記画像内に存在する前記動作主体の複数の部分の行動の特徴量である第１の特徴量を抽出するステップと、
    ユーザの入力操作に基づいて、前記動作主体の前記複数の部分に対応する複数のノードと前記複数のノードの間の関係性を示す情報とで構成されるグラフを取得し、前記グラフを記憶するステップと、
    前記複数のノードに対応する複数のオブジェクトが存在する、前記画像内における複数のオブジェクト領域を認識して出力するステップと、
    前記第１の特徴量に基づいて前記画像内における着目領域を生成するステップと、
    前記着目領域と前記オブジェクト領域とが重なる領域について前記第１の特徴量を強調した第２の特徴量を生成するステップと、
    前記画像が予め収集された学習用データであるときにおける前記第２の特徴量に基づいて、前記学習モデルを生成するステップと、
    を有することを特徴とする機械学習方法。
11. 画像内の動作主体の行動の熟練度を推論するための学習モデルを学習するコンピュータに、
    前記画像内に存在する前記動作主体の複数の部分の行動の特徴量である第１の特徴量を抽出するステップと、
    ユーザの入力操作に基づいて、前記動作主体の前記複数の部分に対応する複数のノードと前記複数のノードの間の関係性を示す情報とで構成されるグラフを取得し、前記グラフを記憶するステップと、
    前記複数のノードに対応する複数のオブジェクトが存在する、前記画像内における複数のオブジェクト領域を認識して出力するステップと、
    前記第１の特徴量に基づいて前記画像内における着目領域を生成するステップと、
    前記着目領域と前記オブジェクト領域とが重なる領域について前記第１の特徴量を強調した第２の特徴量を生成するステップと、
    前記画像が予め収集された学習用データであるときにおける前記第２の特徴量に基づいて、前記学習モデルを生成するステップと、
    を実行させることを特徴とする機械学習プログラム。

Images