JP7111429B2 - 学習装置、学習方法及びプログラム - Google Patents

Description

本開示は、学習装置、学習方法及びプログラムに関する。

識別器を用いて対象物を識別する識別装置が知られている。識別装置では、識別器に対して機械学習を行い、識別器の精度を高めている。識別器を機械学習するために、教師データが用いられ、対象物に対してアノテーションが付与される（例えば、特許文献１）。アノテーションは、識別器が対象物を識別するために、対象物に対して与えられる正解データを示すラベルである。

特開２０１８－０８１５４５号公報

アノテーションは、識別器に対する機械学習を行う際の教師データとして用いるため、自動的に付与することが難しい。そのため、一般的に、識別器を作成又は管理するユーザが、機械学習に用いるデータを確認し、手動でアノテーションを付与する。機械学習に使用される正解データは多ければ多いほど学習の精度が高まる。しかしながら、正解データが多ければ多いほど、ユーザが、手動でアノテーションを付与しなければならない。したがって、多数のデータに対してアノテーションを手動で付与することは、ユーザに対する負担がとても大きくなってしまう。

本開示の目的は、このような課題を解決するためになされたものであり、アノテーションを付与する際のユーザの負担を軽減することが可能な学習装置、学習方法及びプログラムを提供することである。

本開示の第１の態様にかかる学習装置は、
対象物を含む複数の第１データを用いて、前記対象物にアノテーションが付与された複数の第２データを生成するアノテーション設定部と、
前記複数の第１データを入力とし、前記複数の第２データを第１教師データとして学習された学習モデルを生成する学習部と、
前記学習モデルを用いて、前記複数の第１データに含まれる前記対象物にアノテーションが付与された複数の第３データを生成する生成部と、
前記複数の第３データから選択され、前記複数の第３データに付与されたアノテーションが変更された複数の第４データと、前記複数の第１データのうち前記複数の第４データに対応する複数の第５データと、を入力する入力部と、を備え、
前記学習部は、前記複数の第５データを入力とし、前記複数の第４データを第２教師データとして前記学習モデルを再学習する、学習装置である。

本開示の第２の態様にかかる学習方法は、
対象物を含む複数の第１データを用いて、前記対象物にアノテーションが付与された複数の第２データを生成することと、
前記複数の第１データを入力とし、前記複数の第２データを第１教師データとして学習された学習モデルを生成することと、
前記学習モデルを用いて、前記複数の第１データに含まれる前記対象物にアノテーションが付与された複数の第３データを生成することと、
前記複数の第３データから選択され、前記複数の第３データに付与されたアノテーションが変更された複数の第４データと、前記複数の第１データのうち前記複数の第４データに対応する複数の第５データと、を入力することと
前記複数の第５データを入力とし、前記複数の第４データを第２教師データとして前記学習モデルを再学習することと、を含む学習方法である。

本開示の第３の態様にかかるプログラムは、
対象物を含む複数の第１データを用いて、前記対象物にアノテーションが付与された複数の第２データを生成することと、
前記複数の第１データを入力とし、前記複数の第２データを第１教師データとして学習された学習モデルを生成することと、
前記学習モデルを用いて、前記複数の第１データに含まれる前記対象物にアノテーションが付与された複数の第３データを生成することと、
前記複数の第３データから選択され、前記複数の第３データに付与されたアノテーションが変更された複数の第４データと、前記複数の第１データのうち前記複数の第４データに対応する複数の第５データと、を入力することと
前記複数の第５データを入力とし、前記複数の第４データを第２教師データとして前記学習モデルを再学習することと、をコンピュータに実行させるプログラムである。

本開示によれば、アノテーションを付与する際のユーザの負担を軽減することが可能な学習装置、学習方法及びプログラムを提供することができる。

実施の形態１にかかる学習装置の構成例を示す図である。 実施の形態２にかかる学習装置の構成例を示す図である。 アノテーション設定部が付与するアノテーションの一例を示す図である。 生成部が付与するアノテーションの一例を示す図である。 入力部に入力される画像データのアノテーションの一例を示す図である。 判定部が再学習モデルを用いて付与するアノテーションの一例を示す図である。 実施の形態２にかかる学習装置の動作例を示す図である。 本開示の各実施の形態にかかる学習装置等を実現可能な、コンピュータ（情報処理装置）のハードウェア構成を例示するブロック図である。

（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。図１を用いて、実施の形態１にかかる学習装置１について説明する。図１は、実施の形態１にかかる学習装置の構成例を示す図である。学習装置１は、例えば、サーバ装置、パーソナルコンピュータ装置等であってもよい。

学習装置１は、アノテーション設定部２と、学習部３と、生成部４と、入力部５とを備える。
アノテーション設定部２は、対象物を含む複数の第１データを用いて、対象物にアノテーションが付与された複数の第２データを生成する。

第１データは、例えば、画像データ、映像データ、音声データ、自然言語翻訳データであってもよく、特定したい対象物が含まれる各種データである。

第１データが画像データ又は映像データである場合、対象物は、例えば、移動体であってもよいし、検出対象の特定の物体であってもよい。第１データが音データである場合、対象物は、例えば、特定の人物の音声であってもよいし、検出対象の音であってもよい。第１データが自然言語翻訳データである場合、対象物は、例えば、機械により翻訳された特定の用語であってもよいし、翻訳された文章であってもよい。

学習部３は、複数の第１データを入力とし、複数の第２データを第１教師データとして学習された学習モデルを生成する。学習部３は、後述する入力部５に入力された複数の第５データを入力とし、入力部５に入力された複数の第４データを第２教師データとして学習モデルを再学習する。

生成部４は、学習部３により学習された学習モデルを用いて、複数の第１データに含まれる対象物にアノテーションが付与された複数の第３データを生成する。

入力部５は、例えば、キーボード、マウス、タッチパネル、ディスプレイを含む入力装置等であってもよい。もしくは、入力部５は、内部のメモリ又は学習装置１に接続された外部のコンピュータ装置、サーバ装置等からの各種の情報を入力するように構成されてもよい。入力部５は、複数の第３データから選択され、複数の第３データに付与されたアノテーションが変更された複数の第４データと、複数の第１データのうち複数の第４データに対応する複数の第５データと、を入力する。

複数の第４データは、生成部４が生成した複数の第３データに付与されたアノテーションをユーザが確認して、ユーザが所望するアノテーションが付与されていない場合にアノテーションが変更されたデータであってもよい。

以上説明したように、アノテーション設定部２は、対象物を含む複数の第１データを用いて、複数の第１データに含まれる対象物に自動的にアノテーションを付与する。学習部３は、アノテーション設定部２によりアノテーションが付与された複数の第２データを第１教師データとして学習された学習モデルを生成する。生成部４は、学習された学習モデルを用いて、アノテーションが自動的に付与された複数の第３データを生成する。入力部５は、例えば、生成された複数の第３データのうち、ユーザが所望するアノテーションが付与されていない場合にアノテーションが変更された複数の第４データを入力する。学習部３は、複数の第４データを第２教師データとして学習モデルを再学習する。

ここで、生成部４が生成した複数の第３データは、アノテーション設定部２が生成したデータを教師データとして学習された学習モデルを用いている。そのため、生成部４が付与したアノテーションは、ユーザが所望するアノテーションが付与されたデータと、ユーザが所望しないアノテーションが付与されたデータとを含む。ユーザが所望するアノテーションが付与されたデータは、ある一定の性能を満たした学習モデルにより出力されたデータと判断することができる。

学習部３は、ユーザが所望しないアノテーションが付与されたデータについて、アノテーションが変更されたデータを用いて再学習する。そのため、アノテーションが変更されたデータを入力部５に入力させる。そのため、ユーザは、所望しないアノテーションが付与されたデータに対してのみアノテーションを変更し、入力部５にアノテーションが変更されたデータを入力すればよい。すなわち、学習装置１を用いることにより、手動でアノテーションを変更（付与）するデータ数を減らすことが可能となる。したがって、実施の形態１にかかる学習装置１によれば、アノテーションを付与する際のユーザの負担を軽減して学習モデルを生成することが可能となる。

（実施の形態２）
続いて、実施の形態２について説明する。
＜学習装置の構成例＞
図２を用いて、実施の形態２にかかる学習装置１０の構成例について説明する。図２は、実施の形態２にかかる学習装置の構成例を示す図である。なお、以降の説明では、学習装置１０が処理するデータは、画像データであるとして説明する。また、以降の説明では、対象物は、移動体であるとして説明する。

学習装置１０は、例えば、コンピュータ装置、サーバ装置であってもよい。学習装置１０は、機械学習を行い、学習モデルを生成する装置である。学習装置１０は、データ記憶部１１と、アノテーション設定部１２と、モデル記憶部１３と、学習部１４と、生成部１５と、入力部１６と、判定部１７と、出力部１８とを備える。

データ記憶部１１は、学習装置１が用いる複数の画像データを記憶する記憶部である。データ記憶部１１には、移動体を含む複数の画像データと、当該複数の画像データの各々に対応する画像データであって、移動体を含まない複数の画像データが記憶される。

なお、移動体を含む複数の画像データと、移動体を含まない複数の画像データとが、予めデータ記憶部１１に記憶されていてもよい。もしくは、後述する入力部１６が、移動体を含む複数の画像データと、移動体を含まない複数の画像データとを入力し、データ記憶部１１に記憶してもよい。

アノテーション設定部１２は、データ記憶部１１に記憶された、移動体を含む複数の画像データを用いて、移動体にアノテーションを付与し、アノテーションが付与された画像データを生成する。アノテーション設定部１２は、例えば、データ記憶部１１に記憶された、移動体を含む複数の画像データと、当該複数の画像データのそれぞれに対応する移動体を含まない複数の画像データとを取得する。

アノテーション設定部１２は、取得した移動体を含む各画像データと、取得した移動体を含まない各画像データとの背景差分法（背景差分処理）により移動体を抽出する。アノテーション設定部１２は、移動体を含まない各画像データと、移動体を含む各画像データとを比較して、差分がある領域を移動体として抽出する。アノテーション設定部１２は、移動体として抽出した領域に対してアノテーションを付与してもよい。アノテーション設定部１２は、データ記憶部１１に記憶された、移動体を含む複数の画像データを複製して、移動体として抽出した領域にアノテーションを付与した複数の画像データを生成する。アノテーション設定部１２は、生成した複数の画像データをデータ記憶部１１に格納する。

ここで、図３を用いて、アノテーション設定部１２が付与するアノテーションの一例を説明する。図３は、アノテーション設定部が付与するアノテーションの一例を示す図である。図３において、ハッチングされた領域は、アノテーション設定部１２が付与するアノテーションを示している。

点線で囲まれた領域Ｕ１～Ｕ４は、移動する人物を表しており、移動体としてアノテーションが付与される。一方、一点鎖線で囲まれた領域Ｓ１～Ｓ４は、領域Ｕ１～Ｕ４に含まれる人物の影を表している。また、領域Ｕ５及びＵ６は、それぞれの領域の上に配置された木の影を表している。

アノテーション設定部１２は、背景差分処理により、移動体としての人物だけでなく、当該人物の影及び木の影に対してもアノテーションを付与する。そのため、アノテーション設定部１２が付与したアノテーションは、ユーザが所望する又はユーザが許容するアノテーションとはなっていない場合がある。

図２に戻り、モデル記憶部１３について説明を続ける。
モデル記憶部１３は、学習装置１０が学習する学習モデルが記憶される記憶領域である。学習装置１０が初めて起動される場合、モデル記憶部１３には、未学習の学習モデルが記憶されている。もしくは、学習装置１０が初めて起動される場合、モデル記憶部１３には、学習モデルが記憶されていない状態で起動される。モデル記憶部１３は、後述する学習部１４が生成する学習モデルが記憶される。

学習部１４は、データ記憶部１１に記憶された移動体を含む複数の画像データを入力とし、アノテーション設定部１２によりアノテーションが付与された複数の画像データを教師データとして学習モデルを学習する。学習部１４は、学習済みの学習モデルを生成して、モデル記憶部１３に記憶する。

学習部１４は、深層学習（Deep Learning）により学習済みの学習モデルを生成する。深層学習は、ＣＮＮ（Convolutional Neural Network）を利用した学習である。なお、これに限られず、学習部１４は、他のアルゴリズムを用いて学習済みの学習モデルを生成してもよい。

また、学習部１４は、後述する入力部１６に入力される、アノテーションが付与された複数の画像データと、当該複数の画像データの各々に対応し、アノテーションが付与されていない複数の画像データとを用いて、上記学習済みの学習モデルを再学習する。学習部１４は、アノテーションが付与されていない複数の画像データを入力とし、アノテーションが付与された複数の画像データを教師データとして再学習を行う。学習部１４は、再学習された学習モデルをモデル記憶部１３に記憶する。学習部１４は、入力部１６に画像データが入力される毎に学習モデルの再学習を行う。つまり、学習部１４は、入力部１６に画像データがｎ（ｎ：１以上の整数）回入力された場合、ｎ回の再学習を行う。

学習部１４は、ＣＮＮを利用して、深層学習により学習済みの学習モデルを再学習する。学習部１４は、再学習された学習済みモデルを生成し、生成した再学習済みの学習モデルをモデル記憶部１３に記憶する。なお、学習部１４は、他のアルゴリズムを用いて再学習を行ってもよい。また、以降の説明では、上記学習モデルと、再学習された学習モデルとを区別するために、上記学習モデルを初期学習モデルとし、初期学習モデルが再学習された学習モデルを再学習モデルと称して記載する。学習部１４が最初に行う学習を初期深層学習と称して記載することがある。学習部１４が行うｎ回目の再学習をｎ次深層学習と称して記載することがある。

生成部１５は、学習部１４が生成し、モデル記憶部１３に記憶された初期学習モデルを用いて、データ記憶部１１に記憶された移動体を含む複数の画像データから移動体を推定し、推定された移動体にアノテーションを付与する。生成部１５は、アノテーションが付与された複数の画像データを生成して、生成した複数の画像データをデータ記憶部１１に記憶する。つまり、生成部１５は、移動体を含む複数の画像データに対して、学習済みの学習モデルを用いて、自動的にアノテーションを付与し、アノテーションが付与された複数の画像データを生成する。

ここで、図４を用いて生成部１５が付与するアノテーションの一例について説明する。図４は、生成部が付与するアノテーションの一例を示す図である。図４において、ハッチングされた部分は、生成部１５が付与したアノテーションを示している。

領域Ｕ１～Ｕ４、Ｓ１～Ｓ６は、図３の各領域に対応している。点線で囲まれた領域Ｕ１～Ｕ４は、移動体としての人物を含む領域を表しており、生成部１５が付与したアノテーションを表している。領域Ｕ２及びＵ４に含まれる人物には、人物領域のみにアノテーションが付与されており、人物の影の領域を示す領域Ｓ２及びＳ４にはアノテーションが付与されていない。そのため、生成部１５は、領域Ｕ２及びＵ４に存在する人物について、人物領域のみにアノテーションを付していることから、ユーザにとって好ましいアノテーションと言える。つまり、生成部１５は、領域Ｕ２及びＵ４については、ユーザが所望する又は許容できるアノテーションを付与する。

また、領域Ｓ５及びＳ６は、アノテーション設定部１２がアノテーションを付与した領域であるが、生成部１５は、領域Ｓ５及びＳ６に対してアノテーションを付与していないため、当該領域についてもユーザにとって好ましいアノテーションと言える。

一方、領域Ｕ１については、生成部１５は、人物領域だけでなく、当該人物の影を示す領域Ｓ１に対してもアノテーションを付与する。また、領域Ｕ３については、生成部１５は、人物領域の全てではなく一部のみの領域に対してアノテーションを付与する。そのため、生成部１５は、領域Ｕ１及びＵ３について、ユーザにとって好ましいアノテーションとは言えない。このように、生成部１５は、ユーザにとって好ましいアノテーションと、好ましくないアノテーションを付与する。

図２に戻り、入力部１６について説明する。
入力部１６は、ユーザからの画像データを取得する。入力部１６は、例えば、キーボード、マウス、タッチパネル、ディスプレイを含む入力装置等であってもよい。もしくは、入力部１６は、内部のメモリ又は学習装置１０に接続された外部のコンピュータ装置、サーバ装置等からの各種の情報を入力するように構成されてもよい。

入力部１６は、生成部１５が付与したアノテーションを含む複数の画像データから選択され、生成部１５が付与したアノテーションが変更された複数の画像データを入力する。入力部１６に入力される上記複数の画像データは、生成部１５が付与したアノテーションをユーザが確認して、ユーザが所望するアノテーションが付与されていないアノテーションが変更されたデータであってもよい。

また、入力部１６は、データ記憶部１１に記憶された複数の画像データのうち、各々が上記の入力された複数の画像データに対応する移動体を含む複数の画像データを入力する。換言すると、入力部１６は、生成部１５が付与したアノテーションが変更された複数の画像データの各々に対応する画像データであって、アノテーションが付与されていない移動体を含む複数の画像データを入力する。

ここで、図５を用いて、入力部１６に入力される画像データであって、変更されたアノテーションの一例について説明する。図５は、入力部に入力される画像データのアノテーションの一例を示す図である。図５において、ハッチングされた部分は、生成部１５が付与したアノテーションを示している。

点線で囲まれた領域Ｕ１～Ｕ４は、移動体としての人物を表しており、アノテーションが付与されている。領域Ｓ１～Ｓ４は、領域Ｕ１～Ｕ４に含まれる人物の影を表している。図４と比較すると、図４では生成部１５が領域Ｓ１にアノテーションを付与しているが、図５ではアノテーションが付与されていない。これは、生成部１５により領域Ｓ１に付与されたアノテーションがユーザにより変更されていることを示している。このように、入力部１６は、生成部１５が付与したアノテーションが変更された画像データを入力する。

図２に戻り説明を続ける。入力部１６は、再学習モデルの性能を示すモデル評価値が所定条件を満たさないと後述する判定部１７が判定する場合、入力されたアノテーションが付与された複数の画像データのアノテーションを再変更する要求を判定部１７から通知される。入力部１６は、当該通知に応じて、入力されたアノテーションが付与された複数の画像データのアノテーションを再変更するようにユーザに要求する。入力部１６は、例えば、入力されたアノテーションが付与された複数の画像データのアノテーションを再変更するメッセージをディスプレイに表示することによりユーザに要求してもよい。もしくは、入力部１６は、入力されたアノテーションが付与された複数の画像データのアノテーションを再変更することの音声を出力してユーザに要求してもよい。

入力部１６は、ユーザに対して行った要求に応じて入力される複数の画像データを入力する。入力部１６は、入力された複数の画像データのうちアノテーションが付与された複数の画像データを、生成部１５が付与したアノテーションが変更された複数の画像データとして入力する。入力部１６は、入力された複数の画像データのうちアノテーションが付与されていない複数の画像データを、生成部１５が付与したアノテーションが変更された複数の画像データの各々に対応する複数の画像データとして入力する。

判定部１７は、再学習モデルを用いて、入力部１６に入力されたアノテーションが付されていない複数の画像データから移動体を推定し、推定された移動体にアノテーションが付与された複数の画像データを生成する。判定部１７は、生成された複数の画像データをデータ記憶部１１に記憶する。

ここで、図６を用いて、判定部１７が再学習モデルを用いて付与するアノテーションの一例について説明する。図６は、判定部が再学習モデルを用いて付与するアノテーションの一例を示す図である。図６において、ハッチングされた部分は、生成部１５が付与したアノテーションを示している。

点線で囲まれた領域Ｕ１～Ｕ４は、移動体としての人物を表しており、生成部１５はアノテーションを付与する。領域Ｕ１～Ｕ４は、人物領域のみにアノテーションが付与されており、人物の影の領域を示す領域Ｓ１～Ｓ４にはアノテーションが付与されていない。そのため、領域Ｕ１～Ｕ４に対して、判定部１７は、移動体のみにアノテーションを付していることから、ユーザにとって好ましいアノテーションと言える。つまり、領域Ｕ１～Ｕ４に対して、判定部１７は、ユーザが所望する又は許容できるアノテーションを付与することができる。

図２に戻り、判定部１７の説明を続ける。
判定部１７は、入力部１６に入力されたアノテーションが付与された複数の画像データと、図６に示すような生成した複数の画像データとに基づいて、再学習モデルの性能を示すモデル評価値を算出する。

判定部１７は、適合率（プレシジョン：Precision）及び再現率（リコール：Recall）を用いて、モデル評価値を算出する。適合率は、判定部１７が生成した複数の画像データに含まれるアノテーションに、入力部１６に入力されたアノテーションを含む複数の画像データに付与されたアノテーションがどの程度含まれているかを示す指標値である。再現率は、入力部１６に入力されたアノテーションを含む複数の画像データに付与されたアノテーションに、判定部１７が生成した複数の画像データに含まれるアノテーションがどの程度含まれているかを示す指標値である。なお、判定部１７は、適合率及び再現率の両方を用いて全体適性度を算出するが、適合率及び再現率のうちのいずれか１つを用いて、モデル評価値を算出してもよい。

判定部１７は、入力部１６に入力されたアノテーションが付与された各画像データと、当該画像データに対応し、判定部１７が再学習モデルを用いて付与したアノテーションを含む各画像データとの評価値を示す個別評価値を再現率及び適合率を用いて算出する。

判定部１７は、各画像データから算出した複数の個別評価値の平均値をモデル評価値として算出してもよい。もしくは、判定部１７は、再現率及び適合率の調和平均を取った値を用いた指標値であるＦ値（F-measure）を用いて、個別評価値及びモデル評価値を算出してもよい。

判定部１７は、算出したモデル評価値が所定条件を満たしているかを判定する。具体的には、判定部１７は、算出したモデル評価値が所定の閾値以上である場合、所定条件を満たしていると判定する。

なお、判定部１７は、個別評価値が所定の閾値以上である画像データ数に基づいて、所定条件を満たしているかを判定してもよい。判定部１７は、個別評価値が所定の閾値以上の画像データ数が所定数以上である場合に、所定条件を満たしていると判定してもよい。もしくは、判定部１７は、個別評価値が所定の閾値未満である画像データ数が所定数未満である場合に、所定条件を満たしていると判定してもよい。

判定部１７は、モデル評価値が所定条件を満たしていると判定した場合、後述する出力部１８に再学習モデルを生成することを出力部１８に通知する。換言すると、判定部１７は、モデル評価値が所定の閾値以上であると判定した場合、再学習モデルの性能が所望する性能（学習精度）を満たしていると判定して、出力部１８に再学習モデルを生成させる。

一方、判定部１７は、再学習モデルの評価値が所定条件を満たしていないと判定した場合、入力部１６に入力されたアノテーションが付与された複数の画像データのアノテーションを再変更する要求を入力部１６に通知する。換言すると、判定部１７は、モデル評価値が所定の閾値未満であると判定した場合、入力部１６に入力されたアノテーションが付与された複数の画像データのアノテーションを再変更する要求を入力部１６に行わせる。

すなわち、判定部１７は、モデル評価値が所定条件を満たすと判定するまで、入力部１６が、入力されたアノテーションが付与された画像データのアノテーションを再変更することを繰り返し要求する。入力部１６は、要求に応じて、アノテーションが付与された画像データと、当該画像データに対応しアノテーションが付与されていない画像データとを入力する。そして、学習部１４が、入力されたアノテーションが付与されていない画像データを入力とし、入力されたアノテーションが付与された画像データを教師データとして再学習モデルを再学習することを繰り返し実行する。

なお、判定部１７は、モデル評価値が所定の閾値未満であると判定した場合、入力部１６に入力された、アノテーションが付与された複数の画像データのうち、個別評価値が所定の閾値未満である画像データを特定してもよい。そして、判定部１７は、特定した画像データを指定して、アノテーションを再変更する要求を行うことを入力部１６に通知し、入力部１６が通知された内容に応じて、特定された画像データを指定して、アノテーションを変更する要求を行ってもよい。

出力部１８は、モデル評価値が所定条件を満たすと判定部１７が判定する場合、判定部１７からの通知に応じて再学習モデルを出力する。

＜学習装置の動作例＞
続いて、学習装置１０の動作例について説明する。図７は、実施の形態２にかかる学習装置の動作例を示す図である。前提として、データ記憶部１１には、移動体を含む複数の画像データと、移動体を含まない複数の画像データとが記憶されている。なお、当該複数の画像データは、入力部１６により入力されてもよい。

まず、アノテーション設定部１２は、背景差分処理を行う（ステップＳ１）。アノテーション設定部１２は、移動体を含む画像データと、当該画像データに対応する移動体を含まない画像データとを取得する。アノテーション設定部１２は、移動体を含む画像データと、当該画像データに対応する移動体を含まない画像データとに対して背景差分法（背景差分処理）により移動体を抽出する。アノテーション設定部１２は、データ記憶部１１に記憶された、移動体を含む複数の画像データを複製して、移動体として抽出した領域にアノテーションを付与した複数の画像データを生成する。アノテーション設定部１２は、生成した複数の画像データをデータ記憶部１１に格納する。

学習部１４は、データ記憶部１１に記憶された移動体を含む複数の画像データを入力とし、アノテーション設定部１２によりアノテーションが付与された複数の画像データを教師データとして初期深層学習を行う（ステップＳ２）。

学習部１４は、データ記憶部１１に記憶された移動体を含む複数の画像データを入力とし、アノテーション設定部１２によりアノテーションが付与された複数の画像を教師データとして、ＣＮＮを利用して深層学習により学習済みの学習モデルを生成する。初期深層学習により学習された初期学習モデルは、モデル記憶部１３に記憶される。

生成部１５は、データ記憶部１１に記憶された移動体を含む複数の画像データに対して、初期学習モデルを用いて、移動体を推定し、推定された移動体にアノテーションを付与し、アノテーションが付与された画像データを生成する（ステップＳ３）。生成部１５は、アノテーションが付与された複数の画像データを生成して、生成した複数の画像データをデータ記憶部１１に記憶する。

入力部１６は、ステップＳ３で付与されたアノテーションが変更された複数の画像データと、各々に対応し、アノテーションが付与されていない複数の画像データとを入力する（ステップＳ４）。

入力部１６は、生成部１５が付与したアノテーションを含む複数の画像データから選択された画像データであって、生成部１５が付与したアノテーションが変更された複数の画像データを入力する。また、入力部１６は、データ記憶部１１に記憶された複数の画像データのうち、各々が入力された複数の画像データに対応する複数の画像データであって、移動体を含む複数の画像データを入力する。

学習部１４は、入力部１６に入力された、アノテーションが付与された複数の画像データと、上記複数の画像データに対応する画像データであって、アノテーションが付与されていない画像データとを用いてｎ次深層学習を行う（ステップＳ５）。ステップＳ５は、入力部１６に画像データが入力される毎に実行されるため、入力部１６に画像データが入力される回数がｎに対応する。

学習部１４は、入力部１６に入力されたアノテーションが付与された複数の画像データを教師データとし、当該複数の画像データに対応するアノテーションが付与されていない複数の画像データを入力として、学習モデルを再学習して再学習モデルを生成する。学習部１４は、ＣＮＮを利用して深層学習により再学習モデルを生成する。

判定部１７は、再学習モデルを用いて、再学習モデルを用いて、入力部１６に入力されたアノテーションが付されていない複数の画像データから移動体を推定し、推定された移動体にアノテーションが付与された複数の画像データを生成する（ステップＳ６）。

判定部１７は、入力部１６に入力されたアノテーションが付与された複数の画像データと、ステップＳ６において生成した複数の画像データとを用いて、モデル評価値を算出する（ステップＳ７）。

判定部１７は、入力部１６に入力されたアノテーションが付与された各画像データと、当該画像データに対応し、生成した各画像データとの再現率及び適合率を用いて、各画像データの個別評価値を算出する。判定部１７は、各画像データに対して算出した個別評価値の平均値又はＦ値を用いて、モデル評価値を算出する。

次に、判定部１７は、モデル評価値が所定条件を満たすかを判定する（ステップＳ８）。判定部１７は、モデル評価値が所定の閾値以上であるか否かを判定する。判定部１７は、モデル評価値が所定の閾値以上であると判定した場合（ステップＳ８のＹＥＳ）、出力部１８は、再学習モデルを出力する（ステップＳ９）。

一方、判定部１７は、モデル評価値が所定の閾値未満であると判定した場合（ステップＳ８のＮＯ）、入力部１６は、入力部１６に入力されたアノテーションが付与された画像データのアノテーションの変更を要求する（ステップＳ１０）。

学習装置１０は、モデル評価値が所定の閾値以上となるまで、ステップＳ４～Ｓ１０を繰り返し実行する。すなわち、判定部１７は、モデル評価値が所定条件を満たすと判定するまで、入力部１６が、入力されたアノテーションが付与された画像データのアノテーションを再変更することを繰り返し要求する。入力部１６は、要求に応じて、アノテーションが付与された画像データと、当該画像データに対応しアノテーションが付与されていない画像データとを入力する。そして、学習部１４が、入力されたアノテーションが付与されていない画像データを入力とし、入力されたアノテーションが付与された画像データを教師データとして再学習モデルを再学習することを繰り返し実行する。

以上説明したように、アノテーション設定部１２は、背景差分処理により、画像データに含まれる移動体を推定し、推定された移動体に対して自動的にアノテーションを付与する。学習部１４は、アノテーション設定部１２が付与したアノテーションを教師データとして初期学習モデルを生成する。生成部１５は、初期学習モデルを用いて、画像データに含まれる移動体を推定し、推定された移動体にアノテーションを自動的に付与する。

アノテーション設定部１２が付与したアノテーションは、ユーザが所望する又は許容できるアノテーションと、ユーザが許容できないアノテーションとが含まれている。そのため、生成部１５が付与したアノテーションも、ユーザが所望する又は許容できるアノテーションと、ユーザが許容できないアノテーションとが含まれる。

生成部１５が付与したアノテーションは、アノテーション設定部１２が生成したデータを教師データとして学習された学習モデルを用いている。そのため、生成部１５が付与したアノテーションは、ユーザが所望するアノテーションが付与された画像データと、ユーザが所望しないアノテーションが付与された画像データとを含む。ユーザが所望するアノテーションが付与された画像データは、ある一定の性能を満たした学習モデルにより出力された画像データと判断することができる。ユーザが所望しないアノテーションが付与された画像データのアノテーションについては、アノテーションを変更して再学習をする必要がある。そのため、ユーザは、アノテーションを変更して入力部１６に入力させる。

上記のように、生成部１５は、ユーザが所望するアノテーションが付与されたデータも生成していることから、ユーザは、所望しないアノテーションが付与されたデータに対してのみアノテーションを変更すればよい。すなわち、学習装置１０を用いることにより、アノテーションを変更し入力部５に入力するデータ数を減らすことが可能となる。したがって、実施の形態２にかかる学習装置１０によれば、アノテーションを付与する際のユーザの負担を軽減して学習モデルを生成することが可能となる。

また、学習部１４は、入力部１６に入力された複数の画像データを用いて再学習モデルを生成する。判定部１７は、再学習モデルを用いて、入力された画像データに含まれる移動体に対してアノテーションを付与し、モデル評価値が所定条件を満たさない場合、入力部１６が、入力されたアノテーションを再変更することを要求する。判定部１７は、モデル評価値が所定条件を満たすまで、入力部１６が入力されたアノテーションを再変更することを要求し、学習部１４が再学習モデルを再学習することを繰り返し実行する。判定部１７は、モデル評価値が所定条件を満たした場合に、出力部１８が再学習モデルを出力する。したがって、実施の形態２にかかる学習装置１０によれば、アノテーションを付与する際のユーザの負担を軽減しつつ、生成される学習モデル（再学習モデル）の精度を向上させることが可能となる。

（他の実施の形態）
上述した実施の形態において説明した学習装置１及び１０（以下、学習装置１等と称する）は、次のようなハードウェア構成を有していてもよい。図８は、本開示の各実施の形態にかかる学習装置等を実現可能な、コンピュータ（情報処理装置）のハードウェア構成を例示するブロック図である。

図８を参照すると、学習装置１等は、プロセッサ１２０１及びメモリ１２０２を含む。プロセッサ１２０１は、メモリ１２０２からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートを用いて説明された学習装置１等の処理を行う。プロセッサ１２０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１２０１は、複数のプロセッサを含んでもよい。

メモリ１２０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０２は、プロセッサ１２０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０１は、図示されていないI/Oインターフェースを介してメモリ１２０２にアクセスしてもよい。

図８の例では、メモリ１２０２は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０１は、これらのソフトウェアモジュール群をメモリ１２０２から読み出して実行することで、上述の実施形態において説明された学習装置１等の処理を行うことができる。

図８を用いて説明したように、学習装置１等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１または複数のプログラムを実行する。

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、本開示は、それぞれの実施の形態を適宜組み合わせて実施されてもよい。

この出願は、２０１９年３月１１日に出願された日本出願特願２０１９－０４４２７２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１、１０ 学習装置
２、１２ アノテーション設定部
３、１４ 学習部
４、１５ 生成部
５、１６ 入力部
１１ データ記憶部
１３ モデル記憶部
１７ 判定部
１８ 出力部

Claims (8)

1. 対象物を含む複数の第１データを用いて、前記対象物にアノテーションが付与された複数の第２データを生成するアノテーション設定手段と、
   前記複数の第１データを入力とし、前記複数の第２データを第１教師データとして学習された学習モデルを生成する学習手段と、
   前記学習モデルを用いて、前記複数の第１データに含まれる前記対象物にアノテーションが付与された複数の第３データを生成する生成手段と、
   前記複数の第３データから選択され、前記複数の第３データに付与されたアノテーションが変更された複数の第４データと、前記複数の第１データのうち前記複数の第４データに対応する複数の第５データと、を入力する入力手段と、を備え、
   前記学習手段は、前記複数の第５データを入力とし、前記複数の第４データを第２教師データとして前記学習モデルを再学習する、学習装置。
2. 前記再学習された学習モデルを用いて前記複数の第５データに含まれる前記対象物にアノテーションが付与された複数の第６データと、前記複数の第４データとに基づき算出された第１評価値が所定条件を満たすか否かを判定する判定手段を備え、
   前記判定手段が、前記第１評価値が前記所定条件を満たすと判定するまで、前記入力手段が、前記複数の第４データに付与されたアノテーションを変更する要求を行い、前記複数の第４データと、前記複数の第５データとを入力する処理と、前記学習手段が、前記複数の第５データを入力とし、前記複数の第４データを第２教師データとして前記再学習された学習モデルを再学習する処理と、を繰り返し実行する、請求項１に記載の学習装置。
3. 前記判定手段は、前記複数の第４データの各々と、前記複数の第６データの各々とに基づいて複数の第２評価値を算出し、前記複数の第２評価値を用いて、前記第１評価値を算出する、請求項２に記載の学習装置。
4. 前記入力手段は、前記第１評価値が前記所定条件を満たさないと前記判定手段が判定する場合、前記複数の第６データのうち、前記第２評価値が前記所定条件を満たさない第６データに対応する第４データに付与されたアノテーションを変更する要求を行う、請求項３に記載の学習装置。
5. 前記判定手段は、適合率及び再現率の少なくとも１つを用いて、前記第１評価値及び前記第２評価値を算出する、請求項３又は４に記載の学習装置。
6. 前記所定条件は、所定の閾値以上を満たすことである、請求項２～５のいずれか１項に記載の学習装置。
7. 対象物を含む複数の第１データを用いて、前記対象物にアノテーションが付与された複数の第２データを生成することと、
   前記複数の第１データを入力とし、前記複数の第２データを第１教師データとして学習された学習モデルを生成することと、
   前記学習モデルを用いて、前記複数の第１データに含まれる前記対象物にアノテーションが付与された複数の第３データを生成することと、
   前記複数の第３データから選択され、前記複数の第３データに付与されたアノテーションが変更された複数の第４データと、前記複数の第１データのうち前記複数の第４データに対応する複数の第５データと、を入力することと
   前記複数の第５データを入力とし、前記複数の第４データを第２教師データとして前記学習モデルを再学習することと、を含む学習方法。
8. 対象物を含む複数の第１データを用いて、前記対象物にアノテーションが付与された複数の第２データを生成することと、
   前記複数の第１データを入力とし、前記複数の第２データを第１教師データとして学習された学習モデルを生成することと、
   前記学習モデルを用いて、前記複数の第１データに含まれる前記対象物にアノテーションが付与された複数の第３データを生成することと、
   前記複数の第３データから選択され、前記複数の第３データに付与されたアノテーションが変更された複数の第４データと、前記複数の第１データのうち前記複数の第４データに対応する複数の第５データと、を入力することと
   前記複数の第５データを入力とし、前記複数の第４データを第２教師データとして前記学習モデルを再学習することと、をコンピュータに実行させるプログラム。

Images