JP7741454B2 - 学習装置、学習方法及びプログラム - Google Patents

Description

本発明は、学習装置、学習方法及びプログラムに関する。

採点競技や医学生の手術の技術の評価を行うテストの採点など、採点を要する行事であって採点結果が採点者に依存する行事がある。このような行事における採点を装置で行うことを目指す技術がある。

Paritosh Parmar and Brendan Tran Morris," What and How Well You Performed? A Multitask Learning Approach to Action Quality Assessment" In CVPR. 2020.

これまで提案された技術は、一連の動作を撮影した映像のみを入力として採点する機械学習の技術であった。しかしながら、このような従来の技術は採点の精度が良くない場合があった。

上記事情に鑑み、本発明は、採点の精度を向上させる技術を提供することを目的としている。

本発明の一態様は、採点行事における場面を写す映像の映像データを処理対象とする処理であって、処理対象の映像データの示す映像が示す情報のうち採点者による採点の対象となる情報、を推定するアノテーション処理と、採点者による採点の対象となる情報として前記アノテーション処理によって推定された情報であるアノテーションマスクと前記映像データとに基づき、前記アノテーションマスクが示す情報を用い、前記アノテーションマスクが示さない情報は用いずに、前記映像が写す場面に対する採点者の採点結果を推定する採点スコア推定処理と、前記アノテーションマスクと前記映像データとに基づき、前記アノテーションマスクが示す情報を用いず、前記アノテーションマスクが示さない情報を用いて、前記映像が写す場面に対する採点者の採点結果を推定する背景スコア推定処理と、前記採点スコア推定処理の結果と前記背景スコア推定処理の結果とに基づき、前記アノテーション処理、前記採点スコア推定処理及び前記背景スコア推定処理の内容を更新する更新処理と、を実行する学習部、を備える学習装置である。

本発明の一態様は、採点行事における場面を写す映像の映像データを処理対象とする処理であって、処理対象の映像データの示す映像が示す情報のうち採点者による採点の対象となる情報、を推定するアノテーション処理と、採点者による採点の対象となる情報として前記アノテーション処理によって推定された情報であるアノテーションマスクと前記映像データとに基づき、前記アノテーションマスクが示す情報を用い、前記アノテーションマスクが示さない情報は用いずに、前記映像が写す場面に対する採点者の採点結果を推定する採点スコア推定処理と、前記アノテーションマスクと前記映像データとに基づき、前記アノテーションマスクが示す情報を用いず、前記アノテーションマスクが示さない情報を用いて、前記映像が写す場面に対する採点者の採点結果を推定する背景スコア推定処理と、前記採点スコア推定処理の結果と前記背景スコア推定処理の結果とに基づき、前記アノテーション処理、前記採点スコア推定処理及び前記背景スコア推定処理の内容を更新する更新処理と、を実行する学習ステップ、を有する学習方法である。

本発明の一態様は、上記の学習装置としてコンピュータを機能させるためのプログラムである。

本発明により、採点の精度を向上させることが可能となる。

実施形態の採点システムの概要を説明する説明図。 実施形態における学習装置のハードウェア構成の一例を示す図。 実施形態における学習装置が備える制御部の構成の一例を示す図。 実施形態における学習装置が実行する処理の流れの一例を示すフローチャート。 実施形態における推定装置のハードウェア構成の一例を示す図。 実施形態における推定装置が備える制御部の構成の一例を示す図。 実施形態における推定装置が実行する処理の流れの一例を示すフローチャート。

（実施形態）
図１は、実施形態の採点システム１００の概要を説明する説明図である。以下、採点競技や医学生の手術の技術の評価を行うテストの採点など、採点を要する行事を、採点行事という。以下、採点行事における被採点対象の優劣を表す点数を優劣点数という。被採点対象は、採点される対象である。被採点対象は必ずしも人である必要は無く、動物であってもよいし、陶磁器等の無機物であってもよい。また、以下、採点行事の最中のことを、採点行事中という。

採点行事は例えばオリンピックにおけるフィギュアスケート等の採点競技である。優劣点数は、例えば採点行事がフィギュアスケートであれば、選手の演技に対して付けられる技術点や演技構成点等の点数である。

採点システム１００は、学習装置１及び推定装置２を備える。学習装置１は、学習部１０を備える。学習部１０は、アノテーション処理と、採点スコア推定処理と、背景スコア推定処理と、更新処理と、を実行する。

アノテーション処理は、処理対象を映像データとする処理である。アノテーション処理は、処理対象の映像データの示す映像、が示す情報のうち、採点者による採点の対象となる情報を推定する処理である。以下、アノテーション処理により得られた情報を、アノテーションマスクという。

すなわち、アノテーションマスクは、採点者による採点の対象となる情報としてアノテーション処理によって推定された情報である。アノテーション処理は、例えば参考文献１に記載のアノテーション機構である。なお採点の対象となる情報とは、例えば採点行事が高飛び込みであれば、選手や水しぶきである。

参考文献１：Hiroshi Fukui, Tsubasa Hirakawa, Takayoshi Yamashita, Hironobu Fujiyoshi, Attention Branch Network: Learning of Attention Mechanism for Visual Explanation. In CVPR, 2019.

アノテーション処理の処理対象の映像データは、具体的には、採点行事における場面を写す映像の映像データである。以下、採点行事における場面を写す映像の映像データであってアノテーション処理の処理対象を、採点対象映像データという。また、以下、採点対象映像データが示す映像を採点対象映像、という。

採点スコア推定処理は、採点対象映像データと、アノテーションマスクとに基づいて、採点対象映像が写す場面に対する採点者の採点結果を推定する。採点結果は具体的には、採点者がつける点数である。採点スコア推定処理は、より具体的には、採点対象映像が示す情報のうちのアノテーションマスクが示す情報を用い、採点対象映像が示す情報のうちのアノテーションマスクが示さない情報は用いずに、採点対象映像が写す場面に対する採点者の採点結果を推定する処理である。

背景スコア推定処理は、採点対象映像が示す情報のうちのアノテーションマスクが示す情報を用いず、採点対象映像が示す情報のうちのアノテーションマスクが示さない情報を用いて、採点対象映像が写す場面に対する採点者の採点結果を推定する処理である。

更新処理は、採点スコア推定処理の結果と背景スコア推定処理の結果とに基づき、アノテーション処理、前記採点スコア推定処理及び前記背景スコア推定処理の内容を更新する。更新処理は、例えば採点違いと、背景違いと、に基づき、採点違いと背景違いとを小さくするように、アノテーション処理、採点スコア推定処理及び背景スコア推定処理の内容を更新する。

採点違いは、採点スコア推定処理の推定結果と採点正解データとの違いである。背景違いは、背景スコア推定処理の推定結果と背景正解データとの違いである。

採点正解データは、採点対象映像データごとに予め与えられた採点結果であって採点対象映像に対する採点者による採点結果、を示す情報である。背景正解データは、予め定められた所定の値であり、採点対象映像データに依存しない所定の値である。予め定められた所定の値であり、採点対象映像データに依存しない所定の値は、例えば０である。

なお学習部１０は、採点モデルの更新を更新の終了に関する所定の条件（以下「更新終了条件」という。）が満たされるまで実行する。更新終了条件は、例えば更新による各処理の内容の変化が所定の変化よりも小さいという条件である、更新終了条件は、例えば所定の回数の更新が行われた、という条件であってもよい。更新終了条件が満たされた時点の採点スコア推定処理（以下「更新済みの採点スコア推定処理」という。）が推定装置２にて用いられる。

＜アノテーション処理、採点スコア推定処理及び背景スコア推定処理の意義＞
学習部１０は、採点スコア推定処理の結果と、採点正解データとの違いを小さくするようにアノテーション処理、採点スコア推定処理及び背景スコア推定処理の内容を更新する。これにより、採点の推定の精度が向上する。しかしながら、映像には採点の対象とはならない像も写っている。

このような採点の対象とはならない像が採点スコア推定処理による採点の推定に用いられると、採点の推定の精度は下がる場合がある。なぜなら、採点の対象とはならない情報の、採点の対象となる情報に対する相対的な情報量が増大してしまい、採点の対象となる情報の情報量が相対的に減衰するからである。したがって、採点の対象とはならない情報が採点スコア推定処理で用いられない確率を高める学習が、推定の精度を高める。

そこで、学習部１０は、背景スコア推定処理を実行する。背景スコア推定処理は、採点の対象とならない情報に基づいて採点を行う。採点の対象とならない情報を用いて実際に採点者が採点を行う状況を想像すれば理解が進むと思われるが、こういった場合、採点者や採点対象映像データに依らず、採点者は０点等の固定の点数をつける。そして、採点の対象となる情報が含まれれば含まれるほど、固定の値からはずれる。

したがって、背景スコア推定処理の推定の結果が固定値に近づくように学習が行われれば、背景スコア推定処理の用いる情報に採点の対象となる情報が含まれない確率が高まる。背景スコア推定処理に用いられない情報が採点スコア推定処理で用いられるので、背景スコア推定処理の用いる情報に採点の対象となる情報が含まれない確率が高まることで、採点の対象とはならない情報が採点スコア推定処理で用いられない確率が高まる。

学習部１０はこのように、採点スコア推定処理と背景スコア推定処理とを実行し、その結果に基づいて、アノテーション処理、採点スコア推定処理及び背景スコア推定処理の内容を更新することで、採点スコア推定処理の推定の精度を高める。なお、アノテーション処理は、採点スコア推定処理に用いる情報を推定する処理であるので、採点スコア推定処理に用いる情報と背景スコア推定処理に用いる情報とを分離する処理である。

アノテーション処理の内容が更新されることで、採点スコア推定処理に用いる情報に採点の対象とはならない情報が含まれる確率が下がる。

＜ハードウェアの説明＞
図２は、実施形態における学習装置１のハードウェア構成の一例を示す図である。学習装置１は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部１１を備え、プログラムを実行する。学習装置１は、プログラムの実行によって制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。

より具体的には、プロセッサ９１が記憶部１４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、学習装置１は、制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。

制御部１１は、学習装置１が備える各種機能部の動作を制御する。制御部１１は、例えば出力部１５の動作を制御する。制御部１１は、例えばアノテーション処理、採点スコア推定処理及び背景スコア推定処理等の制御部１１の動作により生じた各種情報を記憶部１４に記録する。

入力部１２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部１２は、これらの入力装置を学習装置１に接続するインタフェースとして構成されてもよい。入力部１２は、学習装置１に対する各種情報の入力を受け付ける。

通信部１３は、学習装置１を外部装置に接続するための通信インタフェースを含んで構成される。通信部１３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば学習データセットの送信元の装置である。学習データセットは、採点対象映像データと、採点正解データと、背景正解データと、の組である。通信部１３は、学習データセットの送信元の装置との通信によって学習データセットを取得する。

外部装置は、例えば推定装置２である。通信部１３は推定装置２との通信により推定装置２に対して、更新済みの採点スコア推定処理をコンピュータに実行させるコンピュータプログラム（以下「更新済み採点スコアプログラム」という。）を送信する。なお、学習データセットは、必ずしも通信部１３を介して入力される必要は無く、入力部１２に入力されてもよい。

記憶部１４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置（non-transitory computer-readable recording medium）を用いて構成される。記憶部１４は学習装置１に関する各種情報を記憶する。記憶部１４は、例えば入力部１２又は通信部１３を介して入力された情報を記憶する。記憶部１４は、例えば学習の実行により生じた各種情報を記憶する。記憶部１４は、例えば更新済み採点スコアプログラムを記憶する。

出力部１５は、各種情報を出力する。出力部１５は、例えばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置を含んで構成される。出力部１５は、これらの表示装置を学習装置１に接続するインタフェースとして構成されてもよい。出力部１５は、例えば入力部１２に入力された情報を出力する。出力部１５は、例えば更新の結果を表示してもよい。

図３は、実施形態における学習装置１が備える制御部１１の構成の一例を示す図である。制御部１１は、学習部１０、記憶制御部１２０、通信制御部１３０及び出力制御部１４０を備える。記憶制御部１２０は、記憶部１４に各種情報を記録する。通信制御部１３０は通信部１３の動作を制御する。出力制御部１４０は、出力部１５の動作を制御する。

図４は、実施形態における学習装置１が実行する処理の流れの一例を示すフローチャートである。学習部１０は、採点対象映像データを含む学習データセットを取得する（ステップＳ１０１）。

次に学習部１０は、ステップＳ１０１で得た採点対象映像データに対してアノテーション処理を実行する（ステップＳ１０２）。ステップＳ１０２の処理により、アノテーションマスクが得られる。次に学習部１０は、採点スコア推定処理を実行する（ステップＳ１０３）。ステップＳ１０３の処理により、採点対象映像に対する採点者の採点結果が推定される。

次に学習部１０は、背景スコア推定処理を実行する（ステップＳ１０４）。次に学習部１０は、更新処理を行う（ステップＳ１０５）。より具体的には、学習部１０は、ステップＳ１０３及び１０４の結果と、ステップＳ１０１で得た学習データセットに含まれる採点正解データ及び背景正解データに基づき、アノテーション処理、採点スコア推定処理及び背景スコア推定処理の内容を更新する。更新に際しては、採点違いと背景違いとが小さくなるように、アノテーション処理、採点スコア推定処理及び背景スコア推定処理の内容が更新される。

次に学習部１０は、更新終了条件が満たされたか否かを判定する（ステップＳ１０６）。更新終了条件が満たされない場合（ステップＳ１０６：ＮＯ）、ステップＳ１０１の処理に戻る。一方、更新終了条件が満たされた場合（ステップＳ１０６：ＹＥＳ）、処理が終了する。

なお、ステップＳ１０３とステップＳ１０４との処理は必ずしもこの順番で実行される必要は無く、ステップＳ１０４の処理の実行の次にステップＳ１０３の処理が実行されてもよい。

図５は、実施形態における推定装置２のハードウェア構成の一例を示す図である。推定装置２は、バスで接続されたＣＰＵ等のプロセッサ９３とメモリ９４とを備える制御部２１を備え、プログラムを実行する。推定装置２は、プログラムの実行によって制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。

より具体的には、プロセッサ９３が記憶部２４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９３に記憶させる。プロセッサ９２が、メモリ９３に記憶させたプログラムを実行することによって、推定装置２は、制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。

制御部２１は、推定装置２が備える各種機能部の動作を制御する。制御部２１は、例えば出力部２５の動作を制御する。制御部２１は、例えばアノテーション処理、採点スコア推定処理及び背景スコア推定処理等の制御部２１の動作により生じた各種情報を記憶部２４に記録する。

入力部２２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部２２は、これらの入力装置を推定装置２に接続するインタフェースとして構成されてもよい。入力部２２は、推定装置２に対する各種情報の入力を受け付ける。

通信部２３は、推定装置２を外部装置に接続するための通信インタフェースを含んで構成される。通信部２３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば推定対象の送信元の装置である。推定装置２にとっての推定対象とは、採点行事における場面を写す映像の映像データであって更新済みの採点スコア推定処理の処理対象の映像データ（以下「対象データ」という。）である。通信部２３は、推定対象の送信元の装置との通信によって推定対象を取得する。

外部装置は、例えば学習装置１である。通信部２３は学習装置１との通信により学習装置１が得た更新済み採点スコアプログラムを取得する。なお推定対象は、必ずしも通信部２３を介して入力される必要は無く、入力部２２に入力されてもよい。

記憶部２４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置（non-transitory computer-readable recording medium）を用いて構成される。記憶部２４は推定装置２に関する各種情報を記憶する。記憶部２４は、例えば入力部２２又は通信部２３を介して入力された情報を記憶する。記憶部２４は、例えば更新済み採点スコアプログラムの実行により生じた各種情報を記憶する。記憶部２４は、例えば更新済み採点スコアプログラムを記憶する。

出力部２５は、各種情報を出力する。出力部２５は、例えばＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置を含んで構成される。出力部２５は、これらの表示装置を推定装置２に接続するインタフェースとして構成されてもよい。出力部２５は、例えば入力部２２に入力された情報を出力する。出力部２５は、例えば更新済みの採点スコア推定処理による推定の結果を表示してもよい。

図６は、実施形態における推定装置２が備える制御部２１の構成の一例を示す図である。制御部２１は、更新済み採点スコア推定部２０、対象取得部２１０、記憶制御部２２０、通信制御部２３０及び出力制御部２４０を備える。

更新済み採点スコア推定部２０は、推定対象に対して更新済みの採点スコア推定処理を実行する。対象取得部２１０は、入力部２２又は通信部２３に入力された推定対象を取得する。すなわち、対象取得部２１０は、入力部２２又は通信部２３に入力された対象データを取得する。記憶制御部２２０は、記憶部２４に各種情報を記録する。通信制御部２３０は通信部２３の動作を制御する。出力制御部２４０は、出力部２５の動作を制御する。

図７は、実施形態における推定装置２が実行する処理の流れの一例を示すフローチャートである。対象取得部２１０が推定対象の対象データを取得する（ステップＳ２０１）。次に更新済み採点スコア推定部２０が、ステップＳ２０１で取得された対象データに対して、更新済みの採点スコア推定処理を実行する（ステップＳ２０２）。ステップＳ２０２の処理により、ステップ２０１で取得された対象データが示す映像の写す場面に対する採点者の採点結果が推定される。次に、出力制御部２４０が出力部２５の動作を制御して、ステップＳ２０２で得られた結果を出力部２５に出力させる（ステップＳ２０３）。

このように構成された学習装置１は、アノテーション処理、採点スコア推定処理及び背景スコア推定処理を実行する。そのため、学習装置１は、上述したように、採点スコア推定処理の推定の精度を高めることができる。すなわち、学習装置１は、採点の精度を向上させることができる。

また、このように構成された推定装置２は、学習装置１の得た更新済みの採点スコア推定処理を用いた推定を行う。そのため推定装置２は、採点の精度を向上させることができる。

（変形例）
なお学習部１０は、機械学習の方法で、アノテーション処理、採点スコア推定処理及び背景スコア推定処理の内容を更新してもよい。機械学習の方法は、例えば弱教師あり学習であってもよい。

なお、学習データセットはさらに、正解アノテーションマスクを含んでもよい。正解アノテーションマスクは、採点対象映像データごとに予め与えられたデータであってアノテーション処理の推定の結果の正解を示すデータである。このような場合、更新処理では、さらに、アノテーション処理が得たアノテーションマスクと、正解アノテーションマスクとの違いも小さくするように、アノテーション処理、採点スコア推定処理及び背景スコア推定処理の内容が更新されてもよい。

正解アノテーションマスクは、弱アノテーションマスクであってもよい。弱アノテーションマスクは、採点対象映像に含まれる情報のうち採点スコア推定処理で用いる情報を示すバウンティングボックス、を示す情報である。バウンティングボックスは、例えば人手で決定されてもよいし、例えば既存の検出技術によって決定されてもよい。

なお、学習装置１は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、学習装置１が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。

なお、推定装置２は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、推定装置２が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。

なお、学習装置１と、推定装置２と、の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１００…採点システム、 １…学習装置、 ２…推定装置、 １０…学習部、 １１…制御部、 １２…入力部、 １３…通信部、 １４…記憶部、 １５…出力部、 １２０…記憶制御部、 １３０…通信制御部、 １４０…出力制御部、 ２１…制御部、 ２２…入力部、 ２３…通信部、 ２４…記憶部、 ２５…出力部、 ２０…更新済み採点スコア推定部、 ２１０…対象取得部、 ２２０…記憶制御部、 ２３０…通信制御部、 ２４０…出力制御部、 ９１…プロセッサ、 ９２…メモリ、 ９３…プロセッサ、 ９４…メモリ

Claims (7)

1. 採点行事における場面を写す映像の映像データを処理対象とする処理であって、処理対象の映像データの示す映像が示す情報のうち採点者による採点の対象となる情報、を推定するアノテーション処理と、
   採点者による採点の対象となる情報として前記アノテーション処理によって推定された情報であるアノテーションマスクと前記映像データとに基づき、前記アノテーションマスクが示す情報を用い、前記アノテーションマスクが示さない情報は用いずに、前記映像が写す場面に対する採点者の採点結果を推定する採点スコア推定処理と、
   前記アノテーションマスクと前記映像データとに基づき、前記アノテーションマスクが示す情報を用いず、前記アノテーションマスクが示さない情報を用いて、前記映像が写す場面に対する採点者の採点結果を推定する背景スコア推定処理と、
   前記採点スコア推定処理の結果と前記背景スコア推定処理の結果とに基づき、前記アノテーション処理、前記採点スコア推定処理及び前記背景スコア推定処理の内容を更新する更新処理と、
   を実行する学習部、
   を備える学習装置。
2. 前記更新処理は、前記採点スコア推定処理の結果と前記映像データごとに予め与えられた採点結果であって前記映像に対する採点者による採点結果を示す情報である採点正解データとの違いである採点違いと、前記背景スコア推定処理の結果と予め定められた所定の値であり前記映像データに依存しない所定の値である背景正解データとの違いである背景違いと、に基づき、前記採点違いと前記背景違いとを小さくするように、前記採点スコア推定処理及び前記背景スコア推定処理の内容を更新する、
   請求項１に記載の学習装置。
3. 前記更新処理は、さらに、前記アノテーション処理の結果と前記映像データごとに予め与えられたデータであって前記アノテーション処理の推定の結果の正解を示すデータである正解アノテーションマスクとの違いも小さくするように、前記採点スコア推定処理及び前記背景スコア推定処理の内容を更新する、
   請求項２に記載の学習装置。
4. 前記正解アノテーションマスクは、前記映像に含まれる情報のうち前記採点スコア推定処理で用いる情報を示すバウンティングボックス、を示す情報である、
   請求項３に記載の学習装置。
5. 前記アノテーション処理は、アノテーション機構である、
   請求項１に記載の学習装置。
6. 採点行事における場面を写す映像の映像データを処理対象とする処理であって、処理対象の映像データの示す映像が示す情報のうち採点者による採点の対象となる情報、を推定するアノテーション処理と、
   採点者による採点の対象となる情報として前記アノテーション処理によって推定された情報であるアノテーションマスクと前記映像データとに基づき、前記アノテーションマスクが示す情報を用い、前記アノテーションマスクが示さない情報は用いずに、前記映像が写す場面に対する採点者の採点結果を推定する採点スコア推定処理と、
   前記アノテーションマスクと前記映像データとに基づき、前記アノテーションマスクが示す情報を用いず、前記アノテーションマスクが示さない情報を用いて、前記映像が写す場面に対する採点者の採点結果を推定する背景スコア推定処理と、
   前記採点スコア推定処理の結果と前記背景スコア推定処理の結果とに基づき、前記アノテーション処理、前記採点スコア推定処理及び前記背景スコア推定処理の内容を更新する更新処理と、
   を実行する学習ステップ、
   を有する学習方法。
7. 請求項１から５のいずれか一項に記載の学習装置としてコンピュータを機能させるためのプログラム。