JP7265961B2 - アノテーション支援方法、アノテーション支援装置、及びアノテーション支援プログラム - Google Patents

Description

本開示は、作業者が画像データにアノテーションデータを設定する作業をコンピュータが支援する技術に関するものである。

物体を高精度に認識するための認識器を生成するには、質の良い大量の学習データを学習モデルで学習させて認識器を生成する必要がある。学習データには、例えば、画像データと、画像データ内において認識対象物が写っている領域を示す領域情報と、その認識対象物のクラスを示すクラスラベルとが含まれる。領域情報及びクラスラベルはアノテーションデータと呼ばれ、通常、作業者による人手で設定される。

しかし、高精度な認識器を生成するには、１０万～１００万単位の学習データが必要であるとも言われており、これらのアノテーションデータの設定作業を全て人手によって行っていては時間もコストも膨大にかかってしまう。

本開示に関連する先行技術文献として下記の特許文献１がある。特許文献１には、デジタル医用画像に対して複数の測定要素を自動的に識別してユーザに提供し、ユーザが測定要素を修正した場合、ユーザが修正した測定要素に基づいて最終的な幾何学的特徴を演算し、ユーザが測定要素を修正しなかった場合、自動的に識別した測定要素に基づいて最終的な幾何学的特徴を演算する技術が開示されている。

特表２０１４－５０２１７６号公報

しかし、特許文献１は、デジタル医用画像から認識器を用いて測定要素を認識してユーザに提供してユーザに修正作業を行わせることが前提になっており、はじめからユーザに測定要素を認識する作業を行わせることは何ら考慮されていない。そのため、特許文献１において、アノテーションの作業に費やされる作業コストを削減するためには、さらなる改善の必要がある。

本開示は、このような課題を解決するためになされたものであり、アノテーションデータを設定する作業に費やされる作業コストを削減する技術を提供することを目的とする。

本開示の一態様は、作業者が画像データにアノテーションデータを設定する作業をコンピュータが支援するアノテーション支援方法であって、第１画像データに対して前記アノテーションデータを設定する第１作業を前記作業者に行わせたときの第１作業時間を計測してメモリに記録し、所定の認識器により前記第１画像データを認識させた認識結果に基づいて設定した事前アノテーションデータに対して、前記事前アノテーションデータを修正する第２作業を前記作業者に行わせたときの第２作業時間を計測して前記メモリに記録し、前記メモリに記録された前記第１作業時間と前記第２作業時間とに基づいて前記第１作業と前記第２作業との速さを比較し、前記第１作業が前記第２作業よりも速い場合、前記事前アノテーションデータが設定されていない第２画像データに対する前記アノテーションデータの設定を前記作業者に要求し、前記第２作業が前記第１作業よりも速い場合、前記認識器により前記第２画像データを認識させた認識結果に基づいて設定した前記事前アノテーションデータの修正を前記作業者に要求する。

本開示によれば、アノテーションデータを設定する作業に費やされる作業コストを削減できる。

本開示の実施の形態１に係るアノテーションシステムの全体構成の一例を示すブロック図である。 サーバの構成の一例を示すブロック図である。 実施の形態１において、サーバが作業者にアノテーション作業を行わせる場合の処理の一例を示すフローチャートである。 図３の続きのフローチャートである。 実施の形態１においてサーバが分析データを生成する処理の一例を示す図である。 実施の形態１における分析データのデータ構成の一例を示す図である。 アノテーション作業を行う場合に、作業者端末に表示される作業画面の一例を示す図である。 事前アノテーションデータの設定結果を示す図である。 第１作業時間と第２作業時間との計測結果の一例を示す図である。 第１作業時間と第２作業時間との計測結果の一例を示す図である。 実施の形態２において、サーバが作業者にアノテーション作業を行わせる場合の処理の一例を示すフローチャートである。 図１１の続きのフローチャートである。 実施の形態２においてサーバが分析データを生成する処理の一例を示す図である。 実施の形態２における分析データの一例を示す図である。 実施の形態３において、サーバが作業者にアノテーション作業を行わせる場合の処理の一例を示すフローチャートである。 図１５に続くフローチャートである。 実施の形態３においてサーバが分析データを生成する処理の一例を示す図である。 実施の形態３における分析データの一例を示す図である。 実施の形態４において、サーバが作業者にアノテーション作業を行わせる場合の処理の一例を示すフローチャートである。 図１９に続くフローチャートである。 実施の形態４においてサーバが分析データを生成する処理の一例を示す図である。 実施の形態４における分析データの一例を示す図である。 実施の形態５において、サーバが作業者にアノテーション作業を行わせる場合の処理の一例を示すフローチャートである。 図２３に続くフローチャートである。 実施の形態５においてサーバが分析データを生成する処理の一例を示す図である。 実施の形態５における分析データの一例を示す図である。

（本開示に至る経緯）
本発明者は、画像データから、車、人物などの認識対象物を高精度に認識する認識器を生成するために必要となる学習データを効率良く生成する技術を検討している。学習データとしては、上述のようなアノテーションデータが設定された画像データが用いられる。このような学習データを人手によって生成する場合、作業者は、ディスプレイに表示された画像から、車、人物などの認識対象物を見つけ出して、マウスなどの入力装置を操作して、その物体が写っている領域を示す領域情報を設定する操作を行うと共に、その物体のクラスを示すクラスラベルを設定する操作を行う。ディープラーニングをはじめとする認識器の機械学習には１０万～１００万単位の学習データが必要と言われている。したがって、このような大量の学習データを人手によって生成するのは容易ではない。

しかし、近年、クラウドソーシングサービスの普及によって、国内はもとより海外からも大量の人手を確保することが可能になってきており、このような人手による学習データの生成を低コストで行うことが可能になりつつある。

さらに、認識器により画像データを認識させた認識結果に基づいて設定した事前アノテーションデータが設定済みの画像データをディスプレイに表示させ、事前アノテーションデータを修正する作業を作業者に行わせることによって学習データを生成する半自動アノテーションという手法も検討されている。

したがって、半自動アノテーションの手法をクラウドソーシングサービスと組み合わせれば、学習データの生成をさらに低コストで行うことが期待される。

そこで、本発明者は、半自動アノテーションによる学習データを生成する手法について具体的に検討した。すると、半自動アノテーションに用いられる認識器の認識精度が低い場合、事前アノテーションデータの修正作業に時間が掛かり、作業者がはじめからからアノテーションデータを設定した方が却って作業時間が短くなることが判明した。したがって、半自動アノテーションは学習データを生成するうえで必ずしも最適な解決策ではないとの知見が得られた。

本開示は、このような知見に基づいてなされたものであり、アノテーション作業に費やされる作業コストを削減する技術を提供することを目的とする。

本開示の一態様は、作業者が画像データにアノテーションデータを設定する作業をコンピュータが支援するアノテーション支援方法であって、第１画像データに対して前記アノテーションデータを設定する第１作業を前記作業者に行わせたときの第１作業時間を計測してメモリに記録し、所定の認識器により前記第１画像データを認識させた認識結果に基づいて設定した事前アノテーションデータに対して、前記事前アノテーションデータを修正する第２作業を前記作業者に行わせたときの第２作業時間を計測して前記メモリに記録し、前記メモリに記録された前記第１作業時間と前記第２作業時間とに基づいて前記第１作業と前記第２作業との速さを比較し、前記第１作業が前記第２作業よりも速い場合、前記事前アノテーションデータが設定されていない第２画像データに対する前記アノテーションデータの設定を前記作業者に要求し、前記第２作業が前記第１作業よりも速い場合、前記認識器により前記第２画像データを認識させた認識結果に基づいて設定した前記事前アノテーションデータの修正を前記作業者に要求する。

本構成は、事前アノテーションデータが設定されていない第１画像データに対してアノテーションデータを設定する第１作業を作業者が行ったときの実際の作業時間である第１作業時間と、認識器により第１画像データを認識させた認識結果に基づいて設定した事前アノテーションデータを修正する第２作業を作業者が行ったときの実際の作業時間である第２作業時間とが計測される。そして、計測された第１作業時間と第２作業時間とに基づいて第１作業と第２作業との速さが比較され、第１作業の方が速いと判定された場合、作業者には事前アノテーションデータが設定されていない第２画像データに対してアノテーションデータの設定が要求される。一方、第２作業の方が速いと判定された場合、作業者には第２画像データに対して設定された事前アノテーションデータの修正が要求される。

このように、本態様では、所定の認識器の認識結果を利用せずに、作業者がはじめからアノテーションデータを設定する作業を行った方が作業が速くなる場合は、作業者は事前アノテーションデータが設定されていない画像データに対してアノテーションデータを設定するアノテーション作業を行うことになる。一方、画像データの認識結果に基づいて設定された事前アノテーションデータを修正する作業を行った方が作業が速くなる場合は、作業者は事前アノテーションデータを修正するアノテーション作業を行うことになる。その結果、本態様は、アノテーション作業に費やされる作業時間及び人件費などの作業コストを削減できる。

上記態様において、前記事前アノテーションデータは、前記認識器が認識結果とともに出力する認識結果の信頼度の値が第１閾値以上の場合に設定され、前記第２作業時間の計測では、複数の第１閾値を設定し、前記複数の第１閾値ごとに前記第２作業時間を計測して前記メモリに記録し、さらに、前記複数の第１閾値ごとに計測された前記第２作業時間に基づいて、前記第１閾値の最適値を決定し、前記速さの比較では、前記第１閾値の最適値に対応する前記第２作業時間と前記第１作業時間とに基づいて前記速さを比較し、前記事前アノテーションデータの修正の要求では、前記事前アノテーションデータは、前記第１閾値の最適値を用いて設定されてもよい。

本構成によれば、認識対象物に対して事前アノテーションデータを設定するか否かの判定に用いられ、認識結果の信頼度との比較に用いられる第１閾値を変更させながら、第２作業時間の計測が行われ、計測された第２作業時間に基づいて第１閾値の最適値が決定される。したがって、本構成は、第２作業を効率良く行うことが可能な第１閾値の最適値を決定することができる。

そして、第１閾値の最適値を採用して事前アノテーションデータを設定した場合の第２作業時間と第１作業時間とに基づいて、第１作業と第２作業との速さが比較され、第１作業が速ければ、作業者には事前アノテーションデータが設定されていない第２画像データに対するアノテーションデータの設定が要求され、第２作業が速ければ、作業者には第２画像データに対して設定された事前アノテーションデータの修正が要求される。したがって、本構成は、信頼度に関する第１閾値を考慮に入れて、第１作業と第２作業とのうち、より作業効率の高い作業を決定し、決定した作業を作業者に行わせることができるため、アノテーション作業に対する作業コストをより確実に削減できる。

上記態様において、前記事前アノテーションデータは、前記第１画像データ又は前記第２画像データの画像座標系において認識対象物に対応する領域情報を含み、前記事前アノテーションデータは、前記領域情報が示す領域のサイズが第２閾値情報に含まれる下限閾値と上限閾値との範囲内である場合に設定され、前記第２作業時間の計測では、複数の第２閾値情報を設定し、前記複数の第２閾値情報ごとに前記第２作業時間を計測して前記メモリに記録し、前記メモリに記録された前記複数の第２閾値情報ごとに計測された前記第２作業時間に基づいて、前記第２閾値情報の最適値を決定し、前記速さの比較では、前記第２閾値情報の最適値に対する前記第２作業時間と前記第１作業時間とに基づいて前記速さを比較し、前記事前アノテーションデータの修正の要求では、前記事前アノテーションデータは、前記第２閾値情報の最適値を用いて設定されてもよい。

本構成によれば、認識対象物に対して事前アノテーションデータを構成する領域情報を設定するか否かの判定に用いられる第２閾値情報を変更させながら、第２作業時間の計測が行われ、計測された第２作業時間に基づいて第２閾値情報の最適値が決定される。したがって、本構成は、第２作業を効率良く行うことが可能な第２閾値情報の最適値を決定することができる。

そして、第２閾値情報の最適値を採用して事前アノテーションデータが設定された場合の第２作業時間と第１作業時間とに基づいて、第１作業と第２作業との速さが比較され、第１作業が速ければ、事前アノテーションデータが設定されていない第２画像データに対するアノテーションデータの設定が要求され、第２作業が速ければ、作業者には第２画像データに対して設定された事前アノテーションデータの修正が要求される。したがって、本構成は、第１作業と第２作業とのうち、より作業効率の高い作業を決定し、決定した作業を作業者に行わせることができるため、アノテーション作業に対する作業コストをより確実に削減できる。

上記態様において、前記第１閾値は、前記認識器が認識対象とする複数のクラスごとに最適値が設定されてもよい。

本構成によれば、第１閾値は、認識器が認識対象とする複数のクラスごとに最適値が設定される。したがって、本構成は、複数のクラスごとの第１閾値の最適値を考慮に入れて第１作業と第２作業とのうち、より作業効率の高い作業を決定し、決定した作業を作業者に行わせることができるため、アノテーション作業に対する作業コストをより確実に削減できる。

上記態様において、前記第１作業時間の計測では、撮像シーン及び画質の少なくとも一方を示す画像属性情報ごとに前記第１作業時間を計測して前記メモリに記録し、前記第２作業時間の計測では、前記画像属性情報ごとに前記第２作業時間を計測して前記メモリに記録し、さらに、作業対象画像データの前記画像属性情報を特定し、前記速さの比較では、特定した前記画像属性情報と、前記メモリに記録された前記画像属性情報ごとの前記第１作業時間と、前記メモリに記録された前記画像属性情報ごとの前記第２作業時間とに基づいて、前記作業対象画像データに対して前記第１作業と前記第２作業との速さを比較し、前記第１作業が前記第２作業よりも速い場合、前記事前アノテーションデータが設定されていない前記作業対象画像データに対する前記アノテーションデータの設定を前記作業者に要求し、前記第２作業が前記第１作業よりも速い場合、前記認識器により前記作業対象画像データを認識させた認識結果に基づいて設定した前記事前アノテーションデータの修正を前記作業者に要求してもよい。

本構成によれば、撮像シーン及び画質の少なくとも一方を含む画像属性情報ごとに第１作業時間と第２作業時間とが計測され、計測結果に基づいて、画像属性情報ごとに第１作業と第２作業との速さが比較される。そして、第１作業の方が速い画像属性情報を持つ作業対象画像データについては作業者に事前アノテーションデータが設定されていない第２画像データに対してアノテーションデータを設定する作業を行わせることができ、第２作業の方が速い画像属性情報を持つ作業対象画像データについては作業者に、第２画像データに対して設定された事前アノテーションデータを修正する作業を行わせることができる。そのため、本構成は、画像属性情報を考慮に入れて第１作業と第２作業とのうち、より作業効率の高い作業を決定し、決定した作業を作業者に行わせることができるため、アノテーション作業に対する作業コストをより確実に削減できる。

上記構成において、さらに、前記事前アノテーションデータが設定されていない第２画像データに対する前記アノテーションデータの設定の作業結果を取得し、さらに、前記第２画像データに設定された前記事前アノテーションデータの修正の作業結果を取得してもよい。

本構成によれば、事前アノテーションデータが設定されていない第２画像データに対するアノテーションデータの設定の作業結果と、第２画像データに設定された事前アノテーションデータの修正に対する作業結果とが取得されるため、認識器の学習データを容易に取得できる。

本開示は、このようなアノテーション支援方法に含まれる特徴的な各構成をコンピュータに実行させるアノテーション支援プログラム、或いはこのアノテーション支援プログラムによって動作するアノテーション支援システムとして実現することもできる。また、このようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。

（実施の形態１）
図１は、本開示の実施の形態１に係るアノテーションシステムの全体構成の一例を示すブロック図である。アノテーションシステムは、作業者が画像データにアノテーションデータを設定するアノテーション作業を支援するシステムである。アノテーション作業は、学習対象となる認識器を機械学習する際に用いられる学習データを生成するために作業者によって行われる作業である。作業者はディスプレイに提示された画像から予め定められたクラスの認識対象物を見つけ出し、その認識対象物が写っている領域を示す領域情報を設定すると共に、その物体のクラスを示すクラスラベルを入力することで画像データにアノテーションデータを設定する。

認識対象物は、例えば、人物、普通乗用車、トラック、自転車、及びバイクなどである。クラスは、認識対象物の種別である。クラスラベルは、クラスの名称を示すテキストデータである。

作業者は、管理者から業務委託され、管理者から提供される画像データに対してアノテーションデータを設定する作業を行う人物である。管理者は、例えばアノテーション作業を管理する人物である。

アノテーションシステムは、サーバ１００（アノテーション支援装置の一例）、作業者端末２００、及び管理者端末３００を含む。サーバ１００及び作業者端末２００はネットワーク４００を介して相互に通信可能に接続されている。サーバ１００及び管理者端末３００はネットワーク４００を介して相互に通信可能に接続されている。ネットワーク４００は、例えば、インターネットなどの広域ネットワークである。

サーバ１００は、例えば１以上のコンピュータで構成されるクラウドサーバである。サーバ１００は、管理者端末３００から提供される画像データを作業者端末２００に表示させ、作業者にアノテーション作業を行わせ、アノテーションデータを取得する。サーバ１００の詳細は図２を用いて後述する。

作業者端末２００は、作業者が所持するコンピュータである。図１では、２つの作業者端末２００が図示されているが、これは一例であり、作業者端末２００は１つであってもよいし３つ以上であってもよい。

作業者端末２００は、操作部２０１、表示部２０２、制御部２０３、及び通信部２０４を含む。操作部２０１は、例えばキーボード及びマウスなどの操作装置である。表示部２０２は、例えば液晶パネルなどの表示装置である。制御部２０３は、例えばＣＰＵなどの電気回路である。制御部２０３は、アノテーション作業の対象となる画像データを表示部２０２に順次表示させる。制御部２０３は、表示部２０２に表示された画像に対して作業者が操作部２０１を操作して設定したアノテーションデータを取得する。通信部２０４は、作業者端末２００をネットワーク４００に接続させる通信回路である。通信部２０４は、制御部２０３が取得したアノテーションデータをサーバ１００に送信する。通信部２０４は、サーバ１００から送信された作業対象の画像データを受信する。

管理者端末３００は、管理者が所持するコンピュータである。管理者端末３００は、操作部３０１、プロセッサ３０２、通信部３０３、及びメモリ３０４を含む。

操作部３０１は、例えば、キーボード及びマウスなどの操作装置であり、管理者からの操作を受け付ける。プロセッサ３０２は、例えば、ＣＰＵなどの電気回路であり、管理者端末３００の全体制御を司る。通信部３０３は、例えば、管理者端末３００をネットワーク４００に接続させる通信回路である。通信部３０３は、プロセッサ３０２の制御の下、例えば、画像データベース３５２に記憶された画像データ、認識器データベース３５５に記憶された認識器の構成データをサーバ１００に送信する。通信部３０３は、サーバ１００から送信された、作業履歴、分析データ、及びアノテーションデータを受信する。

プロセッサ３０２は、通信部３０３が受信した作業履歴を作業履歴データベース３５１に記憶させ、通信部３０３が受信したアノテーションデータをアノテーションデータベース３５３に記憶させ、通信部３０３が受信した分析データを分析データベース３５４に記憶させる。

メモリ３０４は、例えばハードディスクドライブ及びソリッドステートドライブなどの不揮発性の記憶装置であり、作業履歴データベース３５１、画像データベース３５２、アノテーションデータベース３５３、分析データベース３５４、及び認識器データベース３５５を含む。

作業履歴データベース３５１は、作業者によるアノテーション作業に対する作業履歴を記憶するデータベースである。作業履歴は、後述する測定フェーズにおいて作業者が行ったアノテーション作業に対する履歴である。作業履歴はサーバ１００によって管理されており、管理者端末３００は、サーバ１００から送信された作業履歴を作業履歴データベース３５１に記憶させる。

画像データベース３５２は、アノテーション作業の対象となる画像データを記憶するデータベースである。画像データベース３５２に記憶される画像データは、予め管理者によって準備された画像データである。画像データは、例えば学習対象となる認識器が物体を認識するシーンが撮像された画像データである。学習対象となる認識器が自動運転車両に搭載される場合、画像データは、例えば自動運転車両の操縦席から撮像された交通シーンを示す画像データとなる。

管理者端末３００は、画像データベース３５２に記憶された画像データをサーバ１００に送信し、サーバ１００に画像データを記憶させる。サーバ１００は、管理者端末３００から送信された画像データを作業者端末２００に送信して作業者に提示して、作業者にアノテーション作業を行わせる。

アノテーションデータベース３５３は、作業者が画像データに設定したアノテーションデータを記憶するデータベースである。アノテーションデータは、サーバ１００によって管理され、アノテーションデータベース３５３は、サーバ１００から送信されたアノテーションデータを記憶する。

分析データベース３５４は、サーバ１００がアノテーション作業に対する作業履歴を分析することで生成した分析データを記憶するデータベースである。

認識器データベース３５５は、事前アノテーションデータを生成するために使用される認識器の構成データを記憶するデータベースである。認識器は、例えば、ディープニューラルネットワーク、サポートベクターマシーンなどの種々の識別モデルによって構成されている。認識器は画像データを画像認識することで、認識結果を出力する。認識結果には、クラスラベル（人、車、バイクなど）を示すクラス情報と、領域情報と、認識結果に対する信頼度とが含まれる。事前アノテーションデータは、認識器による認識結果に基づいてアノテーション設定器が画像データに設定したアノテーションデータである。なお、アノテーション作業に用いられる認識器は学習対象となる認識器と同じ認識器であってもよいし、別の認識器であってもよい。認識器データベース３５５は、アノテーション作業に用いられることが予定される１以上の認識器の構成データを記憶する。

図２は、サーバ１００の構成の一例を示すブロック図である。サーバ１００は、プロセッサ１１０、メモリ１２０、及び通信部１３０を含む。プロセッサ１１０は、例えば、ＣＰＵなどの電気回路である。

プロセッサ１１０は、第１計測部１１１、第２計測部１１２、分析データ生成部１１３、比較部１１４、提示部１１５、及び作業結果取得部１１６を含む。

第１計測部１１１は、第１画像データに対してアノテーションデータを設定する第１作業を作業者に行わせたときの作業時間である第１作業時間を計測する。第１計測部１１１は、例えば、画像データベース１２１から任意に１枚の画像データを読み出すことで、第１画像データを取得すればよい。

第１計測部１１１は、例えば、作業者端末２００において、１枚の第１画像データが表示されてからアノテーションデータが設定されるまでの時間を第１作業時間として計測し、計測結果から作業履歴を生成し、作業履歴データベース１２２に記憶する。作業者端末２００は、１枚の第１画像データが表示部２０２に表示されたことを検知すると検知信号をサーバ１００に送信する。また、作業者端末２００は、１枚の第１画像データに対してアノテーションデータが設定されると、アノテーションデータをサーバ１００に送信する。したがって、第１計測部１１１は、第１画像データに対する検知信号を通信部１３０が受信してから、通信部１３０がアノテーションデータを受信するまでの時間を計測するというように、１枚の第１画像データごとに第１作業時間を計測すればよい。そして、第１計測部１１１は、計測した第１作業時間を、作業種別と、第１画像データの識別子と、作業日時と、アノテーション作業を行った作業者の識別子と、アノテーション作業で用いられる認識器（以下、対象認識器と記述する）の識別子と対応付けて作業履歴を生成し、作業履歴データベース１２２に記憶すればよい。作業種別は、第１作業と後述の第２作業とを識別する情報である。

第１計測部１１１は、第１画像データを作業対象となる作業者端末２００に送信するために通信部１３０に入力する。

第２計測部１１２は、認識器により第１画像データを認識させた認識結果に基づいて設定した事前アノテーションデータに対して、事前アノテーションデータを修正する第２作業を作業者に行わせたときの第２作業時間を計測し、計測結果から作業履歴を生成し、作業履歴データベース１２２に記憶する。

第２計測部１１２は、例えば、第１計測部１１１が画像データベース１２１から第１画像データとして取得した画像データと同じ画像データに対して事前アノテーションデータを設定してもよい。或いは、第２計測部１１２は、例えば、第１計測部１１１が画像データベース１２１から第１画像データとして取得した画像データとは別の画像データを第１画像データとして事前アノテーションデータを設定してもよい。

第２計測部１１２が第２作業時間を計測する方法は、例えば、上述した第１計測部１１１が第１作業時間を計測する方法と同じ方法が用いられる。第２計測部１１２は、計測した第２作業時間を、作業種別と、第１画像データの識別子と、作業日時と、作業者の識別子と、対象認識器の識別子と対応付けて作業履歴を生成し、作業履歴データベース１２２に記憶すればよい。第２計測部１１２は、認識器データベース１２４に記憶された認識器のうち、対象認識器を用いて第１画像データを生成すればよい。

第２計測部１１２は、第１画像データと、第１画像データに対する事前アノテーションデータとを作業対象の作業者端末２００に送信するために通信部１３０に入力する。

第２計測部１１２は、画像データベース１２１から取得した第１画像データを認識器に入力して、認識結果を取得する。そして、第２計測部１１２は、取得した認識結果をアノテーション設定器に入力する。アノテーション設定器は入力された認識結果に基づいて事前アノテーションデータを生成し、第２計測部１１２に渡す。このようにして、第２計測部１１２は、第１画像データに対する事前アノテーションデータを生成する。事前アノテーションデータには、認識対象物に設定されたクラスラベルを示すラベル情報と、認識対象物が写っている領域を示す領域情報と、対象認識器の識別子などが含まれる。なお、認識器及びアノテーション設定器は、第２計測部１１２が備えていてもよいし、プロセッサ１１０内の別の構成要素が備えていてもよいし、外部サーバが備えていてもよい。領域情報は、認識対象物が写っている領域を示す枠の座標データである。枠が認識対象物に外接する四角形であるとすると、領域情報は例えば枠の左上の頂点の座標データと右下の頂点の座標データなどである。

以下、事前アノテーションデータが設定されていない第１画像データを画像データＸ１と称し、事前アノテーションデータが設定された第１画像データを画像データＸ２と称する。

分析データ生成部１１３は、作業履歴データベース１２２に記憶された第１作業時間と第２作業時間とに基づいて分析データを生成する。例えば、分析データ生成部１１３は、作業履歴データベース１２２に記憶された作業履歴から、第１作業時間の代表値と第２作業時間の代表値とを算出する。そして、分析データ生成部１１３は、第１作業時間の代表値と第２作業時間の代表値とを含む分析データを生成する。分析データ生成部１１３は、生成した分析データを、対象認識器の識別子と対応付けて分析データベース１２３に記憶する。代表値は、例えば平均値及び中央値などである。

比較部１１４は、対象認識器について第１作業と第２作業との速さを比較する。比較部１１４は、例えば、分析データベース１２３から対象認識器に対応する分析データを取得する。そして、比較部１１４は、分析データに含まれる第１作業時間の代表値が第２作業時間の代表値よりも短い場合、第１作業が第２作業よりも速いと判定する。一方、比較部１１４は、取得した分析データに含まれる第２作業時間の代表値が第１作業時間の代表値よりも短い場合、第２作業が第１作業よりも速いと判定する。

提示部１１５は、比較部１１４により第１作業が第２作業よりも速いと判定された場合、事前アノテーションデータが設定されていない第２画像データに対するアノテーションデータの設定を作業者に要求する。一方、提示部１１５は、比較部１１４により第２作業が第１作業よりも速いと判定された場合、認識器により第２画像データを認識させた認識結果に基づいて設定した事前アノテーションデータの修正を作業者に要求する。以下、事前アノテーションデータが設定されていない第２画像データを画像データＸ３と称し、事前アノテーションデータが設定された第２画像データを画像データＸ４と称する。

提示部１１５は、第１計測部１１１が計測に用いた画像データＸ１及び第２計測部１１２が計測に用いた画像データＸ２とは異なる画像データを画像データＸ３として画像データベース１２１から取得してもよい。さらに、提示部１１５は、画像データＸ３と同じ画像データに対して事前アノテーションデータが設定された画像データを画像データＸ４としてもよい。或いは、提示部１１５は、画像データＸ３とは別の画像データに対して事前アノテーションデータが設定された画像データを画像データＸ４としてもよい。

提示部１１５は、画像データＸ３と、画像データＸ４と、画像データＸ４に対する事前アノテーションデータとを作業対象となる作業者端末２００に送信するために、通信部１３０に入力する。

作業結果取得部１１６は、作業者が作業者端末２００を操作して画像データＸ３，Ｘ４に設定したアノテーションデータを通信部１３０を介して取得し、アノテーションデータベース１２５に記憶する。アノテーションデータベース１２５に記憶されるアノテーションデータには、アノテーションデータが設定された画像データＸ３，Ｘ４の識別子と、認識対象物に対する領域情報と、認識対象物に設定されたクラスラベルを示すラベル情報などが含まれる。

メモリ１２０は、例えばハードディスクドライブ及びソリッドステートドライブなどの不揮発性の記憶装置である。メモリ１２０は、画像データベース１２１、作業履歴データベース１２２、分析データベース１２３、認識器データベース１２４、及びアノテーションデータベース１２５を含む。

画像データベース１２１は、アノテーション作業に用いられる画像データを記憶するデータベースである。画像データベース１２１は、画像データと画像データの識別子とを対応付けて記憶する。

作業履歴データベース１２２は、第１計測部１１１により生成された作業履歴及び第２計測部１１２により生成された作業履歴を記憶するデータベースである。作業履歴は、上述のように、第１作業時間又は第２作業時間と、作業種別と、画像データＸ１又は画像データＸ２の識別子と、作業日時と、作業者の識別子と、対象認識器の識別子などが対応付けられたデータである。

分析データベース１２３は、分析データ生成部１１３が生成した分析データを記憶するデータベースである。分析データベース１２３は、分析データと、対象認識器の識別子とが対応付けられたデータベースである。

認識器データベース１２４は、対象認識器の構成データを記憶する。対象認識器がディープニューラルネットワークで構成される場合、対象認識器の構成データは、例えば、入力層を構成する複数のノードを示すデータと、複数の隠れ層を構成する複数のノードを示すデータと、出力層を構成する複数のノードを示すデータと、各ノードを結合するリンクの重み値などが含まれる。

アノテーションデータベース１２５は、作業結果取得部１１６が取得したアノテーションデータを記憶するデータベースである。

通信部１３０は、例えば、サーバ１００をネットワーク４００に接続するための通信回路である。通信部１３０は、プロセッサ１１０から入力された画像データＸ１～Ｘ４を作業対象となる作業者端末２００に送信する。通信部１３０は、作業者端末２００から、画像データが作業者端末２００に表示されたことを知らせる検知信号と、作業者により設定されたアノテーションデータとを受信する。通信部１３０は、管理者端末３００から、作業対象の画像データを受信し、画像データベース１２１に記憶させる。通信部１３０は、管理者端末３００から、対象認識器の構成データを受信し、認識器データベース１２４に記憶させる。通信部１３０は、管理者端末３００から対象認識器を指定するための指示情報を受信する。通信部１３０は、作業履歴データベース１２２に記憶された作業履歴と、分析データベース１２３に記憶された分析データと、アノテーションデータベース３５３に記憶されたアノテーションデータとを管理者端末３００に送信する。

本実施の形態では、サーバ１００は、まず、計測フェーズを実行し、次に、作業フェーズを実行する。計測フェーズは、画像データＸ１及び画像データＸ２に対するアノテーション作業を実際に作業者に行わせることで、第１作業時間と第２作業時間とを計測する。

作業フェーズは、計測フェーズによる計測結果に基づいて、第１作業が第２作業よりも速いと判定した場合は第１作業により作業者にアノテーション作業を行わせ、計測フェーズによる計測結果に基づいて、第２作業が第１作業よりも速いと判定した場合は、第２作業により作業者にアノテーション作業を行わせる。

計測フェーズでは、例えば、１０枚から１００枚程度の画像データＸ１に対して、複数の作業者にアノテーション作業を行わせて作業者ごと及び画像データＸ１ごとに第１作業時間が計測される。さらに、計測フェーズでは、例えば、画像データＸ１と同じ枚数の画像データＸ２に対して、複数の作業者にアノテーション作業を行わせて作業者ごと及び画像データＸ２ごとに第２作業時間が計測される。ここで、計測フェーズでは、複数の作業者のそれぞれに対して、同一の画像データＸ１及び画像データＸ２が提示されてもよいし、異なる画像データＸ１及び画像データＸ２が提示されてもよい。

作業フェーズでは、画像データベース１２１に記憶された数１０万～数１００万の画像データを複数の作業者に分担させてアノテーション作業を行わせ、アノテーションデータが取得される。なお、作業フェーズでは、計測フェーズで使用された画像データを含む画像データに対してアノテーション作業が行われても良いし、計測フェーズで使用された画像データ以外の画像データに対してアノテーション作業が行われても良い。

以下、実施の形態１におけるサーバ１００の処理の詳細について説明する。図３は、実施の形態１において、サーバ１００が作業者にアノテーション作業を行わせる場合の処理の一例を示すフローチャートである。図４は、図３の続きのフローチャートである。

ステップＳ１０１では、通信部１３０は、ある作業者端末２００から作業開始要求を受信する。作業開始要求は、作業者がアノテーション作業の開始の意思表示を示すデータである。作業開始要求は、作業者が作業者端末２００に対してアノテーション作業を開始する操作を入力した場合に、作業者端末２００からサーバ１００に送信される。以下、作業開始要求を送信した作業者端末２００を第１作業者端末と記述する。

ステップＳ１０２では、比較部１１４は、分析データベース１２３において、対象認識器に対応する分析データを取得する。

ステップＳ１０３では、比較部１１４は、分析データベース１２３に対象認識器の分析データが記憶されており、分析データが取得できた場合（ステップＳ１０３でＹＥＳ）、処理をステップＳ１０４に進める。一方、比較部１１４は、分析データベース１２３に対象認識器の分析データが記憶されておらず、分析データが取得できなかった場合（ステップＳ１０３でＮＯ）、処理をステップＳ１１４に進める。

分析データベース１２３において、対象認識器に対する分析データが記憶されているということは、対象認識器についての計測フェーズが終了していることを意味する。したがって、図３のフローにおいて、Ｓ１０３でＹＥＳ以降の処理は作業フェーズの処理となり、Ｓ１０３でＮＯ以降の処理は計測フェーズの処理となる。

ステップＳ１０４では、比較部１１４は、分析データを参照し、第１作業と第２作業との速さを比較する。図６は、実施の形態１における分析データのデータ構成の一例を示す図である。図６に示すように分析データは、第１作業時間と第２作業時間とを含む。この第１作業時間と第２作業時間とは、計測フェーズにおいて算出された第１作業時間の代表値と第２作業時間の代表値とを示している。また、分析データには、対象認識器の識別子が対応付けられている。

比較部１１４は、分析データに含まれる第１作業時間が第２作業時間より短い場合、第１作業が第２作業より速いと判定し（ステップＳ１０４でＮＯ）、処理をステップＳ１１０に進める。一方、比較部１１４は、分析データに含まれる第２作業時間が第１作業時間より短い場合、第２作業が第１作業より速いと判定し（ステップＳ１０４でＹＥＳ）、処理をステップＳ１０５に進める。

ステップＳ１０５では、提示部１１５は、作業対象となる１枚の画像データを画像データＸ４として画像データベース１２１から取得し、画像データＸ４に対する画像認識を対象認識器に実行させ、認識結果をアノテーション設定器に入力することで、画像データＸ４に対する事前アノテーションデータを生成する。

ステップＳ１０６では、提示部１１５は、通信部１３０を介して第１作業者端末に、画像データＸ４と、画像データＸ４に対する事前アノテーションデータとを送信する。これにより、第１作業者端末は、表示部２０２に、事前アノテーションデータに基づいて、領域及びクラスラベルが重畳された画像データＸ４を表示する。作業者は、画像データＸ４に対して事前アノテーションデータを修正する第２作業を行う。当該画像データＸ４に対する第２作業が終了すると第１作業者端末は第２作業によって修正されたアノテーションデータをサーバ１００に送信する。

ステップＳ１０７では、通信部１３０は、修正されたアノテーションデータを受信する。

ステップＳ１０８では、作業結果取得部１１６は、ステップＳ１０７で受信したアノテーションデータをアノテーションデータベース１２５に記憶する。

ステップＳ１０９では、作業結果取得部１１６は、通信部１３０が第１作業者端末から作業終了要求を受信したか否かを判定する。作業結果取得部１１６は、通信部１３０が作業終了要求を受信したと判定した場合（ステップＳ１０９でＹＥＳ）、処理を終了する。一方、作業結果取得部１１６は、通信部１３０が作業終了要求を受信していないと判定した場合（ステップＳ１０９でＮＯ）、処理をステップＳ１０５に戻す。これにより、ステップＳ１０５以降の処理が実行され、次の画像データＸ４が第１作業者端末に送信されることになる。作業終了要求は、第１作業者端末の作業者がアノテーション作業の終了の意思表示を示すデータである。

以上により、作業開始要求が送信されてから作業終了要求が送信されるまでの期間、第１作業者端末に順次画像データＸ４と画像データＸ４に対する事前アノテーションデータとが送信され、作業者は、順次送信された画像データＸ４に対して第２作業を行うことになる。

ステップＳ１１０では、提示部１１５は、作業対象となる１枚の画像データを画像データＸ３として画像データベース１２１から取得し、第１作業者端末に通信部１３０を介して送信する。画像データＸ３は事前アノテーションデータが設定されていない画像データである。これにより、第１作業者端末は、表示部２０２に画像データＸ３を表示する。作業者は、事前アノテーションデータが設定されていない画像データＸ３に対してアノテーションデータをはじめから設定する第１作業を行う。当該画像データＸ３に対する第１作業が終了すると第１作業者端末は第１作業によって設定されたアノテーションデータをサーバ１００に送信する。

ステップＳ１１１では、通信部１３０は、アノテーションデータを受信する。ステップＳ１１２の処理はステップＳ１０８と同じである。ステップＳ１１３では、作業結果取得部１１６は、通信部１３０が作業終了要求を受信していないと判定した場合（ステップＳ１１３でＮＯ）、処理をステップＳ１１０に戻す。一方、作業結果取得部１１６は、通信部１３０が作業終了要求を受信したと判定した場合（ステップＳ１１３でＹＥＳ）、処理を終了する。

以上により、作業開始要求が送信されてから作業終了要求が送信されるまでの期間、第１作業者端末に順次画像データＸ３が送信され、作業者は、順次送信された画像データＸ３に対して第１作業を行うことになる。

ステップＳ１１４では、第１計測部１１１は、画像データベース１２１から１枚の画像データを画像データＸ１として取得する。

ステップＳ１１５では、第２計測部１１２は、画像データベース１２１から１枚の画像データを画像データＸ２として取得し、画像データＸ２に対する画像認識を対象認識器に実行させ、認識結果をアノテーション設定器に入力することで、画像データＸ２に対する事前アノテーションデータを生成する。

ステップＳ１１６では、通信部１３０は、画像データＸ１と、画像データＸ２と、画像データＸ２に対する事前アノテーションデータとを第１作業者端末に送信する。これにより、第１作業者端末は、表示部２０２に画像データＸ１及び画像データＸ２を順次表示する。なお、第１作業者端末は、画像データＸ１及び画像データＸ２が表示されたとき、表示タイミングを知らせる検知信号をサーバ１００に送信する。作業者は、事前アノテーションデータが設定されていない画像データＸ１に対してアノテーションデータをはじめから設定する第１作業を行う。さらに、作業者は、事前アノテーションデータが設定された画像データＸ２に対して事前アノテーションデータを修正する第２作業を行う。画像データＸ１に対する第１作業が終了すると第１作業者端末は第１作業によって設定されたアノテーションデータをサーバ１００に送信する。また、画像データＸ２に対する第２作業が終了すると第１作業者端末は第２作業によって修正されたアノテーションデータをサーバ１００に送信する。

ステップＳ１１７では、作業結果取得部１１６は、画像データＸ１及び画像データＸ２のそれぞれに対するアノテーションデータを第１作業者端末から受信し、アノテーションデータベース１２５に記憶する。

Ｓ１１８では、第１計測部１１１は、第１計測時間を計測して作業履歴を生成し、作業履歴データベース１２２に記憶すると共に、第２計測部１１２は、第２計測時間を計測して作業履歴を生成し、作業履歴データベース１２２に記憶する。この場合、第１計測部１１１は、画像データＸ１について第１作業者端末での表示を知らせる検知信号を受信してからアノテーションデータを受信するまでの時間を第１作業時間として計測すればよい。第２計測部１１２も、第１計測部１１１と同様にして第２作業時間を計測すればよい。

ステップＳ１１９では、作業結果取得部１１６は、通信部１３０が第１作業者端末から作業終了要求を受信したか否かを判定する。作業結果取得部１１６は、通信部１３０が作業終了要求を受信したと判定した場合（ステップＳ１１９でＹＥＳ）、処理を終了する。

一方、作業結果取得部１１６は、通信部１３０が作業終了要求を受信していないと判定した場合（Ｓ１１９でＮＯ）、処理をステップＳ１１４に戻す。これにより、ステップＳ１１４以降の処理が実行され、次の画像データＸ１と、画像データＸ２と、画像データＸ２に対する事前アノテーションデータとが第１作業者端末に送信されることになる。

以上により、計測フェーズでは、画像データＸ１と、画像データＸ２と、画像データＸ２に対する事前アノテーションデータとが第１作業者端末に順次送信され、第１作業時間及び第２作業時間が順次計測され、計測結果を含む作業履歴が作業履歴データベース１２２に記憶されることになる。

なお、図４のステップＳ１１６では、画像データＸ１と、画像データＸ２及び画像データＸ２に対する事前アノテーションデータとが同時に送信されているが、本開示はこれに限定されず、サーバ１００は、画像データＸ１に対するアノテーションデータを受信した後に画像データＸ２と画像データＸ２に対する事前アノテーションデータとを送信してもよい。

次に、分析データの生成について説明する。図５は、実施の形態１においてサーバ１００が分析データを生成する処理の一例を示す図である。サーバ１００は、対象認識器について、作業履歴データベース１２２に記憶された第１計測時間及び第２計測時間が一定数に到達した場合に、図５に示すフローを実行する。

ステップＳ２０１では、分析データ生成部１１３は、対象認識器に対応する作業履歴を作業履歴データベース１２２から取得する。

ステップＳ２０２では、分析データ生成部１１３は、ステップＳ２０１で取得した作業履歴に記憶された第１作業時間から第１作業時間の代表値を算出する。ステップＳ２０３では、分析データ生成部１１３は、ステップＳ２０１で取得した作業履歴に記憶された第２作業時間から第２作業時間の代表値を算出する。

ステップＳ２０４では、分析データ生成部１１３は、ステップＳ２０２で算出した第１作業時間の代表値と、第２作業時間の代表値と、対象認識器の識別子とを対応付けることで分析データを生成する。

ステップＳ２０５では、分析データ生成部１１３は、ステップＳ２０５で生成した分析データを分析データベース１２３に記憶する。これにより、図６に示すような分析データが分析データベース１２３に記憶される。

次に、アノテーション作業の具体例について説明する。図７は、アノテーション作業を行う場合に、作業者端末２００に表示される作業画面の一例を示す図である。作業画面は、作業対象となる画像データの画像欄Ｒ１と、クラスラベル入力欄Ｒ２とを含む。クラスラベル入力欄Ｒ２は、認識対象物のクラスラベルを入力する欄である。作業者は、操作部２０１を操作して、認識対象物に外接する枠を画像欄Ｒ１に設定する。ここでは、横断歩道を左側から右側に向けて歩行する歩行者に対して枠Ｗ１が設定されている。さらに、横断歩道を右側から左側に向けて歩行する歩行者に対して枠Ｗ２が設定されている。さらに、道路を走行する車に対して枠Ｗ３が設定されている。

ここでは、認識対象物のクラスとして、「歩行者」、「自転車＋搭乗者」、「車」、「トラック」、「バイク＋搭乗者」が予め定められている。そのため、クラスラベル入力欄Ｒ２には、これらを選択するためのＧＵＩ部品が表示されている。例えば、作業者は歩行者に対して枠Ｗ１を設定した場合、操作部２０１を操作して、クラスラベル入力欄Ｒ２から歩行者を選択する。すると、図８に示すように、歩行者の枠Ｗ１の上部に歩行者と記載されたクラスラベルが表示される。作業者はこのような作業を繰り返し、画像データにアノテーションデータを設定する。

図８は、事前アノテーションデータの設定結果を示す図である。図８において、左図は高精度の認識器による認識結果に基づいて設定された事前アノテーションデータの設定結果を示し、右図は低精度の認識器による認識結果に基づいて設定された事前アノテーションデータの設定結果を示している。

図８の左図に示すように、認識器が高精度である場合、歩行者を正確に取り囲む枠Ｗ１が設定されている。さらに、歩行者に対しては歩行者のクラスラベルが設定され、車に対しては車のクラスラベルが設定され、正確なクラスラベル付けが行われていることが分かる。この場合、作業者がこの画像データに対して第２作業を行った場合、作業者の負荷は小さくなる。

一方、図８の右図に示すように、認識器が低精度である場合、木が歩行者と認識される誤検出、枠Ｗ１が歩行者の全体を正確に取り囲んでいない枠ずれ、車に対してトラックのクラスラベル付けが行われるラベル誤り、及び右端の歩行者が検出されていない検出漏れなどが発生する。この場合、作業者がこの画像データに対して第２作業を行った場合、作業者の負荷は大きくなる。そして、認識器が高精度であるか否かは、実際に認識器に画像データを認識させなければ分からない。

そこで、本実施の形態では、事前アノテーションデータが設定された画像データと事前アノテーションデータが設定されていない画像データとのそれぞれに対する作業時間を実際に計測する。そして、作業フェーズにおいては、計測結果から第１作業及び第２作業のいずれが速いかを判定し、速い方の作業を作業者に課すことにした。

図９は、第１作業時間と第２作業時間との計測結果の一例を示す図である。図９において、上段は第１作業時間の計測結果を示し、下段は第２作業時間の計測結果を示している。

図９の上段の左図は、事前アノテーションデータが設定されていない画像データである画像データＸ１を示している。図９の上段の右図は、図９の上段の左図に対して作業者が第１作業を行った場合の作業結果を示している。図９の上段の例では、第１作業時間として１分が計測されている。

図９の下段の左図は、事前アノテーションデータが設定された画像データである画像データＸ２を示している。図９の下段の右図は、図９の下段の左図に対して作業者が第２作業を行った場合の作業結果を示している。図９の下段の例では、第２作業時間として２分が計測されている。

したがって、図９のケースでは、第１作業時間の方が第２作業時間よりも短いため、第１作業を行った方が第２作業を行うよりも作業コストが低いことが分かる。そこで、本実施の形態では、対象認識器に対する計測結果が全体的に図９に示すような傾向を示す場合、作業フェーズでは作業者に第１作業を課す。

図１０は、第１作業時間と第２作業時間との計測結果の一例を示す図である。図１０において、上段は第１作業時間の計測結果を示し、下段は第２作業時間の計測結果を示している。

図１０の上段の左図は、事前アノテーションデータが設定されていない画像データＸ１を示している。図１０の上段の右図は、図１０の上段の左図に対して作業者が第１作業を行った場合の作業結果を示している。図１０の上段の例では、第１作業時間として１分が計測されている。

図１０の下段の左図は、事前アノテーションデータが設定された画像データである画像データＸ２を示している。図１０の下段の右図は、図１０の下段の左図に対して作業者が第２作業を行った場合の作業結果を示している。図１０の下段の例では、第２作業時間として３０秒が計測されている。

したがって、図１０のケースでは、第２作業時間の方が第１作業時間よりも短いため、第２作業を行った方が第１作業を行うよりも作業コストが低くなる。そこで、本実施の形態では、対象認識器に対する計測結果が全体的に図１０に示すような傾向を示す場合、作業フェーズでは作業者に第２作業を課す。

このように、本実施の形態では、特定の認識器について、作業者がはじめからアノテーションデータを設定する作業を行った方がアノテーションデータを設定する作業が速くなる場合は、作業者は事前アノテーションデータが設定されていない画像データに対してアノテーション作業を行うことになる。一方、事前アノテーションデータが設定された画像データに対して作業者が事前アノテーションデータを修正する作業を行った方がアノテーション作業が速くなる場合は、作業者は事前アノテーションデータが設定された画像データに対してアノテーション作業を行うことになる。その結果、本態様は、アノテーション作業に費やされる作業時間及び人件費などの作業コストを削減できる。

（実施の形態２）
実施の形態２は、対象認識器が画像データに対して事前アノテーションデータを設定するか否かの判別に用いる信頼度に対する第１閾値の最適値を決定するものである。なお、本実施の形態において実施の形態１と同一の構成要素については同一の符号を付し、説明を省略する。また、本実施の形態２おいて、アノテーションシステムの全体構成は図１と同じであり、サーバ１００の構成は図２と同じであるため、図１及び図２を用いて説明する。このことは後述する実施の形態についても同じである。

事前アノテーションデータは、認識器が認識結果とともに出力する認識結果の信頼度の値が第１閾値以上の場合、その認識対象物に設定される。

図２を参照する。本実施の形態において、第２計測部１１２は、複数の第１閾値を設定し、複数の第１閾値ごとに第２作業時間を計測し、計測結果に基づいて作業履歴を生成し、作業履歴データベース１２２に記憶する。

本実施の形態において、分析データ生成部１１３は、複数の第１閾値ごとに計測された第２作業時間を作業履歴データベース１２２から取得し、複数の第１閾値のそれぞれに対する第２作業時間の代表値を算出して分析データを生成し、分析データベース１２３に記憶する。そして、分析データ生成部１１３は、生成した分析データにおいて、第２作業時間が最短の第１閾値を第１閾値の最適値として決定する。

本実施の形態において、比較部１１４は、分析データベース１２３から分析データを取得し、分析データに含まれる、第１作業時間と、第１閾値の最適値に対応する第２作業時間とを比較し、第１作業と第２作業との速さを比較する。

本実施の形態において、提示部１１５は、第２作業の方が第１作業よりも速いと判定された場合、第１閾値の最適値を用いた画像データＸ４の画像認識を対象認識器に実行させ、認識結果をアノテーション設定器に入力することで画像データＸ４に対する事前アノテーションデータを生成する。そして、提示部１１５は、画像データＸ４と、画像データＸ４に対する事前アノテーションデータとを、通信部１３０を介して作業者端末２００に送信する。

図１１は、実施の形態２において、サーバ１００が作業者にアノテーション作業を行わせる場合の処理の一例を示すフローチャートである。図１２は、図１１の続きのフローチャートである。

ステップＳ３０１，Ｓ３０２の処理は、図３のステップＳ１０１，Ｓ１０２と同じである。但し、ステップＳ３０２では、図１４に示す分析データが取得される。図１４は、実施の形態２における分析データの一例を示す図である。

図１４に示す分析データには、第１作業時間と複数の第１閾値ごとの第２作業時間とが含まれている。本実施の形態の計測フェーズでは、第１閾値を変化させて、複数の第１閾値ごとに複数の第２作業時間が計測される。そして、計測結果から複数の第１閾値ごとに第２作業時間の代表値が算出されて分析データが生成される。そのため、図１４に示す分析データでは、第２作業時間は複数の第１閾値ごとの第２作業時間の代表値を示している。ここでは、第１閾値ＴＨ１＿１，ＴＨ１＿２，・・・，ＴＨ１＿ｎというように、分析データは、ｎ（ｎは２以上の整数）個の第１閾値ＴＨ１のそれぞれに対する第２作業時間を含んでいる。

さらに、計測フェーズでは、第１閾値ごとに算出された第２作業時間の代表値のうち最短の第２作業時間の代表値に対応する第１閾値が第１閾値の最適値として決定される。図１４の例では、矢印で示す第１閾値ＴＨ１＿２が第１閾値の最適値として決定されている。

一方、第１作業時間の計測において対象認識器は用いられていない。そのため、図１４に示す分析データでは、第１作業時間は、第１閾値ＴＨ１ごとに算出されていない。

また、図１４に示す分析データには、第１作業時間と第２作業時間とのそれぞれに対して、対象認識器の識別子が対応付けられている。

ステップＳ３０３の処理は、図３のステップＳ１０３と同じである。ステップＳ３０４では、比較部１１４は、分析データを参照し、第１作業と第２作業との速さを比較する。図１４の例では、第１閾値ＴＨ１＿２が最適値であるため、第１閾値ＴＨ１＿２の第２作業時間と、第１作業時間とが比較される。そして、第２作業時間が第１作業時間よりも短ければ、第２作業が第１作業よりも速いと判定され（ステップＳ３０４でＹＥＳ）、処理はステップＳ３０５に進む。一方、第１作業時間が第１閾値ＴＨ１＿２の第２作業時間よりも短ければ、第１作業が第２作業よりも速いと判定され（ステップＳ３０４でＮＯ）、処理はステップＳ３１１に進む。

ステップＳ３０５では、比較部１１４は、分析データから第１閾値の最適値を取得する。図１４の例では、第１閾値ＴＨ１＿２が最適値として取得される。

ステップＳ３０６では、提示部１１５は、作業対象となる１枚の画像データを画像データＸ４として画像データベース１２１から取得し、画像データＸ４に対して第１閾値の最適値を用いた画像認識を対象認識器に実行させ、認識結果をアノテーション設定器に入力することで画像データＸ４に対する事前アノテーションデータを生成する。

ステップＳ３０７～ステップＳ３１０の処理は、図３のステップＳ１０６～ステップＳ１０９と同じである。ステップＳ３１１～ステップＳ３１４の処理は、図３のステップＳ１１０～Ｓ１１３と同じである。

ステップＳ３１５では、第２計測部１１２は、第１閾値を設定する。この場合、第１閾値は、予め定められた数値範囲内で所定のステップ幅で増大又は減少するように順次設定される。

ステップＳ３１６の処理は図４のステップＳ１１４と同じである。ステップＳ３１７では、第２計測部１１２は、画像データベース１２１から１枚の画像データを画像データＸ２として取得し、ステップＳ３１５で設定した第１閾値の最適値を用いた画像データＸ２に対する画像認識を対象認識器に実行させ、認識結果をアノテーション設定器に入力することで画像データＸ２に対する事前アノテーションデータを生成する。

ステップＳ３１８～ステップＳ３２０の処理は、ステップＳ１１６～ステップＳ１１８の処理と同じである。

ステップＳ３２１では、第２計測部１１２は、第１閾値の変更の有無を判定する。ここで、第２計測部１１２は、ステップＳ３１５で設定した第１閾値に対して所定数の第１作業時間及び第２作業時間の計測結果が得られた場合、第１閾値を変更すると判定し（ステップＳ３２１でＹＥＳ）、処理をステップＳ３２２に進める。一方、第２計測部１１２は、所定数の第１作業時間及び第２作業時間の計測結果が得られていない場合、第１閾値を変更しないと判定し（ステップＳ３２１でＮＯ）、処理をステップＳ３１６に戻す。これにより、ステップＳ３１５において設定された１の第１閾値に対して所定数の第１作業時間及び第２作業時間の計測結果が得られるまで、ステップＳ３１６～ステップＳ３２１の処理が繰り返される。

ステップＳ３２２では、作業結果取得部１１６は、通信部１３０が作業終了要求を受信したと判定した場合（ステップＳ３２２でＹＥＳ）、処理を終了する。一方、作業結果取得部１１６は、通信部１３０が作業終了要求を受信していないと判定した場合（ステップＳ３２２でＮＯ）、処理をステップＳ３１５に戻す。これにより、ステップＳ３１５において次の第１閾値が設定され、ステップＳ３１６以降の処理が実行される。

以上により、計測フェーズでは、画像データＸ１と、画像データＸ２と、画像データＸ２に対する事前アノテーションデータとが第１作業者端末に順次送信され、複数の第１閾値の各々に対して所定数の第１作業時間及び第２作業時間が順次計測され、計測結果を含む作業履歴が作業履歴データベース１２２に記憶されることになる。

図１３は、実施の形態２においてサーバ１００が分析データを生成する処理の一例を示す図である。ステップＳ４０１、ステップＳ４０２の処理は図５のステップＳ２０１、ステップＳ２０２と同じである。

ステップＳ４０３では、分析データ生成部１１３は、ステップＳ４０１で取得した作業履歴を複数の第１閾値ごとに分類し、複数の第１閾値ごとに第２作業時間の代表値を算出する。

ステップＳ４０４では、分析データ生成部１１３は、第１作業時間の代表値と、複数の第１閾値ごとに算出された第２作業時間の代表値とを含む分析データを生成する。これにより、図１４に示す分析データが生成される。

ステップＳ４０５では、分析データ生成部１１３は、ステップＳ４０４で生成した分析データにおいて、複数の第１閾値のうち、第１閾値の最適値を決定する。図１４の例では、第１閾値ＴＨ１＿２に対応する第２作業時間が最短であったため、第１閾値ＴＨ１＿２が第１閾値の最適値として決定されている。

ステップＳ４０６では、分析データ生成部１１３は、ステップＳ４０４で生成した分析データを、ステップＳ４０５で決定した第１閾値の最適値を示す情報と、対象認識器の識別子と対応付けて分析データベース１２３に記憶する。

このように、本実施の形態によれば、認識対象物に対して事前アノテーションデータを設定するか否かの判定に用いられ、認識結果の信頼度との比較に用いられる第１閾値を変更させながら、第２作業時間の計測が行われ、計測された第２作業時間に基づいて第１閾値の最適値が決定される。したがって、本構成は、第２作業を効率良く行うことが可能な第１閾値の最適値を決定することができる。

（実施の形態３）
実施の形態３は、領域情報が示す領域のサイズに関する第２閾値情報の最適値を決定するものである。

対象認識器は、画像データから認識対象物を認識した場合、認識した認識対象物に対して設定する領域情報が示す領域のサイズが、第２閾値情報に含まれる下限閾値と上限閾値との範囲内であれば、領域情報を設定する。画像データ上に現れた物体のサイズが過度に小さくなる或いは過度に大きくなると対象認識器の認識精度は低下する。したがって、領域のサイズに閾値を設けることで、対象認識器が認識対象物を誤検出することへの抑制が図られている。

尚、領域のサイズとは、領域の縦幅、横幅、及び面積の少なくとも１つを示してもよい。また、対象認識器が出力する領域情報が示す領域が矩形でない場合、領域のサイズは、領域の外接矩形の縦幅、横幅、及び面積の少なくとも１つの情報が採用されてもよい。

図２を参照する。本実施の形態において、第２計測部１１２は、複数の第２閾値情報を設定し、複数の第２閾値情報ごとに第２作業時間を計測し、計測結果に基づいて作業履歴を生成し、作業履歴データベース１２２に記憶する。

本実施の形態において、分析データ生成部１１３は、複数の第２閾値情報ごとに計測された第２作業時間を作業履歴データベース１２２から取得し、複数の第２閾値情報のそれぞれに対する第２作業時間の代表値を算出して分析データを生成し、分析データベース１２３に記憶する。そして、分析データ生成部１１３は、生成した分析データにおいて、第２作業時間が最短の第２閾値情報を第２閾値情報の最適値として決定する。

本実施の形態において、比較部１１４は、分析データベース１２３から分析データを取得し、分析データに含まれる、第１作業時間と、第２閾値情報の最適値に対応する第２作業時間とを比較し、第１作業と第２作業との速さを比較する。

本実施の形態において、提示部１１５は、第２作業の方が第１作業よりも速いと判定された場合、第２閾値情報の最適値を用いた画像データＸ４の画像認識を対象認識器に実行させ、認識結果をアノテーション設定器に入力することで画像データＸ４に対する事前アノテーションデータを生成する。そして、提示部１１５は、画像データＸ４と、画像データＸ４に対する事前アノテーションデータとを通信部１３０を介して作業者端末２００に送信する。

図１５は、実施の形態３において、サーバ１００が作業者にアノテーション作業を行わせる場合の処理の一例を示すフローチャートである。図１６は、図１５に続くフローチャートである。ステップＳ５０１，Ｓ５０２の処理は、図３のステップＳ１０１，Ｓ１０２と同じである。但し、ステップＳ５０２では、図１８に示す分析データが取得される。図１８は、実施の形態３における分析データの一例を示す図である。

図１８に示す分析データには、第１作業時間と複数の第２閾値情報ごとの第２作業時間とが含まれている。本実施の形態の計測フェーズでは、第２閾値情報を変化させて、複数の第２閾値情報ごとに複数の第２作業時間が計測される。そして、計測結果から複数の第２閾値情報ごとに第２作業時間の代表値が算出されて分析データが生成される。そのため、図１８に示す分析データでは、第２作業時間は、複数の第２閾値情報ごとの第２作業時間の代表値を示している。ここでは、第２閾値情報ＴＨ２＿１，ＴＨ２＿２，・・・，ＴＨ２＿ｎというように、分析データは、ｎ（ｎは２以上の整数）個の第２閾値情報ＴＨ２のそれぞれに対する第２作業時間を含んでいる。

さらに、計測フェーズでは、第２閾値情報ごとに算出された第２作業時間の代表値のうち、最短の第２作業時間の代表値に対応する第２閾値情報が第２閾値情報の最適値として決定される。図１８の例では、矢印で示す第２閾値情報ＴＨ２＿２が第２閾値情報の最適値として決定されている。

一方、第１作業時間の計測において対象認識器は用いられていない。そのため、図１８に示す分析データでは、第１作業時間は、第２閾値情報ＴＨ２ごとに算出されていない。

また、図１８に示す分析データには、第１作業時間と第２作業時間とのそれぞれに対して、対象認識器の識別子が対応付けられている。

ステップＳ５０３の処理は、図３のステップＳ１０３と同じである。ステップＳ５０４では、比較部１１４は、分析データを参照し、第１作業と第２作業との速さを比較する。図１８の例では、第２閾値情報ＴＨ２＿２が最適値であるため、第２閾値情報ＴＨ２＿２の第２作業時間と、第１作業時間とが比較される。そして、第２閾値情報ＴＨ２＿２の第２作業時間が第１作業時間よりも短ければ、第２作業が第１作業よりも速いと判定され（ステップＳ５０４でＹＥＳ）、処理はステップＳ５０５に進む。一方、第１作業時間が第２閾値情報ＴＨ２＿２の第２作業時間よりも短ければ、第１作業が第２作業よりも速いと判定され（ステップＳ５０４でＮＯ）、処理はステップＳ５１１に進む。

ステップＳ５０５では、比較部１１４は、分析データから第２閾値情報の最適値を取得する。図１８の例では、第２閾値情報ＴＨ２＿２が最適値として取得される。

ステップＳ５０６では、提示部１１５は、作業対象となる１枚の画像データを画像データＸ４として画像データベース１２１から取得し、画像データＸ４に対して第２閾値情報の最適値を用いた画像認識を対象認識器に実行させ、認識結果をアノテーション設定器に入力することで画像データＸ４に対する事前アノテーションデータを生成する。この場合、第２閾値情報の下限閾値より領域のサイズが小さい領域情報又は第２閾値情報の上限閾値より領域のサイズが大きい領域情報は設定されない。

ステップＳ５０７～ステップＳ５１０の処理は、図３のステップＳ１０６～ステップＳ１０９と同じである。ステップＳ５１１～ステップＳ５１４の処理は、図３のステップＳ１１０～ステップＳ１１３と同じである。

ステップＳ５１５では、第２計測部１１２は、第２閾値情報を設定する。この場合、第２閾値情報は、上限閾値及び下限閾値のそれぞれが予め定められた数値範囲内で所定のステップ幅で増大又は減少するように順次設定される。例えば、第２計測部１１２は、上限閾値を予め定められた上限閾値の数値範囲内のある値に固定した状態で、下限閾値を予め定められた下限閾値の数値範囲内で所定のステップ幅で増大又は減少させる。そして、下限閾値の数値範囲内の全ての設定が終了すると、次に、第２計測部１１２は、上限閾値を所定のステップ幅で増大又は減少させてある値に固定した状態で、下限閾値を予め定められた下限閾値の数値範囲内で所定のステップ幅で増大又は減少させるという処理を繰り返すことで第２閾値情報を設定すればよい。或いは、第２計測部１１２は、上限閾値及び下限閾値の一方を固定値として、上限閾値及び下限閾値の他方のみを予め定められた数値範囲内で所定のステップ幅で増大又は減少させて第２閾値情報を設定してもよい。

ステップＳ５１６の処理は図４のステップＳ１１４と同じである。ステップＳ５１７では、第２計測部１１２は、画像データベース１２１から１枚の画像データを画像データＸ２として取得し、ステップＳ５１５で設定した第２閾値情報の最適値を用いた画像データＸ２に対する画像認識を対象認識器に実行させ、認識結果をアノテーション設定器に入力することで画像データＸ２に対する事前アノテーションデータを生成する。

ステップＳ５１８～ステップＳ５２０の処理は、図４のステップＳ１１６～ステップＳ１１８の処理と同じである。

ステップＳ５２１では、第２計測部１１２は、第２閾値情報の変更の有無を判定する。ここで、第２計測部１１２は、ステップＳ５１５で設定した第２閾値情報に対して所定数の第１作業時間及び第２作業時間の計測結果が得られた場合、第２閾値情報を変更すると判定し（ステップＳ５２１でＹＥＳ）、処理をステップＳ５２２に進める。一方、第２計測部１１２は、所定数の第１作業時間及び第２作業時間の計測結果が得られていない場合、第２閾値情報を変更しないと判定し（ステップＳ５２１でＮＯ）、処理をステップＳ５１６に戻す。これにより、ステップＳ５１５において設定された１の第２閾値情報に対して所定数の第１作業時間及び第２作業時間の計測結果が得られるまで、ステップＳ５１６～ステップＳ５２１の処理が繰り返される。

ステップＳ５２２では、作業結果取得部１１６は、通信部１３０が作業終了要求を受信したと判定した場合（ステップＳ５２２でＹＥＳ）、処理を終了する。一方、作業結果取得部１１６は、通信部１３０が作業終了要求を受信していないと判定した場合（ステップＳ５２２でＮＯ）、処理をステップＳ５１５に戻す。これにより、ステップＳ５１５において次の第２閾値情報が設定され、ステップＳ５１６以降の処理が実行される。

以上により、計測フェーズでは、画像データＸ１及び画像データＸ２が第１作業者端末に順次送信され、複数の第２閾値情報の各々に対して所定数の第１作業時間及び第２作業時間が順次計測され、計測結果を含む作業履歴が作業履歴データベース１２２に記憶されることになる。

図１７は、実施の形態３においてサーバ１００が分析データを生成する処理の一例を示す図である。ステップＳ６０１、ステップＳ６０２の処理は図５のステップＳ２０１、ステップＳ２０２と同じである。

ステップＳ６０３では、分析データ生成部１１３は、ステップＳ６０１で取得した作業履歴を複数の第２閾値情報ごとに分類し、複数の第２閾値情報ごとに第２作業時間の代表値を算出する。

ステップＳ６０４では、分析データ生成部１１３は、第１作業時間の代表値と、複数の第２閾値情報ごとに算出された第２作業時間の代表値とを含む分析データを生成する。これにより、図１８に示す分析データが生成される。

ステップＳ６０５では、分析データ生成部１１３は、ステップＳ６０４で生成した分析データにおいて、複数の第２閾値情報のうち、第２閾値情報の最適値を決定する。図１８の例では、第２閾値情報ＴＨ２＿２に対応する第２作業時間が最短であったため、第２閾値情報ＴＨ２＿２が第２閾値情報の最適値として決定されている。

ステップＳ６０６では、分析データ生成部１１３は、ステップＳ６０４で生成した分析データを、ステップＳ６０５で決定した第２閾値情報の最適値を示す情報と、アノテーション作業に用いられる対象認識器の識別子と対応付けて分析データベース１２３に記憶する。

以上のように、本実施の形態では、領域情報が示す領域のサイズに関する第２閾値情報の最適値が決定され、決定された第２閾値情報の最適値を用いて事前アノテーションデータが設定された場合の第２作業時間と第１作業時間とに基づいて、第１作業と第２作業との速さが比較されている。したがって、本実施の形態は、第１作業と第２作業とのうち、より作業効率の高い作業を決定し、決定した作業を作業者に行わせることができるため、アノテーション作業に対する作業コストをより確実に削減できる。

（実施の形態４）
実施の形態４は、実施の形態２で説明した第１閾値の最適値を認識対象物のクラスごとに決定するものである。以下、本実施の形態において、信頼度に関する閾値を第３閾値と記述する。

図２を参照する。本実施の形態において、第２計測部１１２は、複数のクラスのそれぞれについて複数の第３閾値を設定し、複数のクラスのそれぞれについて、複数の第３閾値ごとに複数の第２作業時間を計測し、計測結果に基づいて作業履歴を生成し、作業履歴データベース１２２に記憶する。

本実施の形態において、分析データ生成部１１３は、複数のクラスのそれぞれについて複数の第３閾値ごとに計測された複数の第２作業時間を作業履歴データベース１２２から取得し、複数のクラスのそれぞれについて複数の第３閾値ごとに第２作業時間の代表値を算出して分析データを生成し、分析データベース１２３に記憶する。そして、分析データ生成部１１３は、生成した分析データにおいて、複数のクラスのそれぞれについて第２作業時間が最短となる第３閾値を第３閾値の最適値として決定する。

本実施の形態において、比較部１１４は、分析データベース１２３から分析データを取得し、分析データに含まれる、第１作業時間と、複数のクラスごとの第２作業時間とを比較し、第１作業と第２作業との速さを比較する。

本実施の形態において、提示部１１５は、第２作業が第１作業よりも速いと判定された場合、複数のクラスごとの第３閾値の最適値をそれぞれ用いた画像データＸ４に対する画像認識を対象認識器に実行させ、認識結果をアノテーション設定器に入力することで、画像データＸ４に対する事前アノテーションデータを生成する。そして、提示部１１５は、画像データＸ４と、画像データＸ４に対する事前アノテーションデータとを通信部１３０を介して作業者端末２００に送信する。

図１９は、実施の形態４において、サーバ１００が作業者にアノテーション作業を行わせる場合の処理の一例を示すフローチャートである。図２０は、図１９に続くフローチャートである。ステップＳ７０１，Ｓ７０２の処理は、図３のステップＳ１０１，Ｓ１０２と同じである。但し、ステップＳ７０２では、図２２に示す分析データが取得される。図２２は、実施の形態４における分析データの一例を示す図である。

図２２に示す分析データには、第１作業時間と、複数のクラスのそれぞれについて、複数の第３閾値ごとの第２作業時間とが含まれている。本実施の形態の計測フェーズでは、複数のクラスのそれぞれについて、第３閾値を変化させて、複数のクラスのそれぞれについて、複数の第３閾値ごとに複数の第２作業時間が計測される。そして、計測結果から、複数のクラスのそれぞれについて、複数の第３閾値ごとに第２作業時間の代表値が算出されて分析データが生成される。そのため、図２２に示す分析データでは、複数のクラスのそれぞれにおける第２作業時間は、複数の第３閾値ごとの第２作業時間の代表値を示している。ここでは、クラスＹ１の認識対象物について、第３閾値ＴＨ３＿１，ＴＨ３＿２，・・・，ＴＨ３＿ｎ、クラスＹ２の認識対象物について、第３閾値ＴＨ３＿１，ＴＨ３＿２，・・・，ＴＨ３＿ｎというように、分析データは、複数のクラスのそれぞれについて、ｎ（ｎは２以上の整数）個の第３閾値ＴＨ３のそれぞれに対する第２作業時間を含んでいる。

さらに、計測フェーズでは、複数のクラスのそれぞれについて、第３閾値ごとに算出された第２作業時間の代表値のうち、最短の第２作業時間の代表値に対応する第３閾値が第３閾値の最適値として決定される。図２２の例では、クラスＹ１の認識対象物について矢印で示す第３閾値ＴＨ３＿２が第３閾値の最適値として決定され、クラスＹ２の認識対象物について矢印で示す第３閾値ＴＨ３＿１が第３閾値の最適値として決定されている。

一方、第１作業時間の計測においては対象認識器は用いられていない。そのため、図２２に示す分析データでは、第１作業時間は、第３閾値ＴＨ３ごとに算出されていない。

また、図２２に示す分析データには、第１作業時間と第２作業時間とのそれぞれに対して、対象認識器の識別子が対応付けられている。

ステップＳ７０３の処理は、図３のステップＳ１０３と同じである。ステップＳ７０４では、比較部１１４は、分析データを参照し、第１作業と第２作業との速さを比較する。

図２２の例では、クラスＹ１は、第３閾値ＴＨ３＿２が最適値であり、クラスＹ２は、第３閾値ＴＨ３＿１が最適値であるため、クラスＹ１の第３閾値ＴＨ３＿２の第２作業時間と、クラスＹ２の第２作業時間との平均時間が算出される。そして、第２作業時間の平均時間と第１作業時間とが比較される。そして、第２作業時間の平均時間が第１作業時間よりも短ければ、第２作業が第１作業よりも速いと判定され（ステップＳ７０４でＹＥＳ）、処理はステップＳ７０５に進む。一方、第１作業時間が第２作業時間の平均時間よりも短ければ、第１作業が第２作業よりも速いと判定され（ステップＳ７０４でＮＯ）、処理はステップＳ７１１に進む。

ステップＳ７０５では、比較部１１４は、分析データから複数のクラスのそれぞれについての第３閾値の最適値を取得する。図２２の例では、クラスＹ１については第３閾値ＴＨ３＿２が最適値として取得され、クラスＹ２については第３閾値ＴＨ３＿１が最適値として取得される。

ステップＳ７０６では、提示部１１５は、作業対象となる１枚の画像データを画像データＸ４として画像データベース１２１から取得し、ステップＳ７０５で取得したクラスごとの第３閾値の最適値をそれぞれ用いた画像データＸ４に対する画像認識を対象認識器に実行させ、認識結果をアノテーション設定器に入力することで画像データＸ４に対する事前アノテーションデータを生成する。この場合、クラスＹ１については信頼度の値が第３閾値ＴＨ３＿２以上であれば、事前アノテーションデータが設定され、クラスＹ２については信頼度の値が第３閾値ＴＨ３＿１以上であれば、事前アノテーションデータが設定される。

ステップＳ７０７～ステップＳ７１０の処理は、図３のステップＳ１０６～ステップＳ１０９と同じである。ステップＳ７１１～ステップＳ７１４の処理は、図３のステップＳ１１０～ステップＳ１１３と同じである。

ステップＳ７１５では、第２計測部１１２は、対象クラスを設定する。この場合、対象クラスは予め定められた複数のクラスうち、１つのクラスが所定の順序で設定される。

ステップＳ７１６では、第２計測部１１２は、第３閾値を設定する。この場合、第３閾値は、予め定められた数値範囲内で所定のステップ幅で増大又は減少するように順次設定される。

ステップＳ７１７の処理は図４のステップＳ１１４と同じである。ステップＳ７１８では、第２計測部１１２は、画像データベース１２１から１枚の画像データを画像データＸ２として取得し、ステップＳ７１６で設定した第３閾値の最適値を用いた画像データＸ２に対する画像認識を対象認識器に実行させ、認識結果をアノテーション設定器に入力することで画像データＸ２に対する事前アノテーションデータを生成する。

ステップＳ７１９～ステップＳ７２１の処理は、図４のステップＳ１１６～ステップＳ１１８の処理と同じである。

ステップＳ７２２では、第２計測部１１２は、第３閾値の変更の有無を判定する。ここで、第２計測部１１２は、ステップＳ７１６で設定した第３閾値に対して所定の第１数の作業時間及び第２作業時間の計測結果が得られた場合、第３閾値を変更すると判定し（ステップＳ７２２でＹＥＳ）、処理をステップＳ７２３に進める。一方、第２計測部１１２は、所定の第１数の第１作業時間及び第２作業時間の計測結果が得られていない場合、第３閾値を変更しないと判定し（ステップＳ７２２でＮＯ）、処理をステップＳ７１７に戻す。これにより、ステップＳ７１６において設定された１の第３閾値に対して所定の第１数の第１作業時間及び第２作業時間の計測結果が得られるまで、ステップＳ７１７～ステップＳ７２２の処理が繰り返される。

ステップＳ７２３では、第２計測部１１２は、対象クラスの変更の有無を判定する。ここで、第２計測部１１２は、ステップＳ７１５で設定した対象クラスに対して所定の第２数（＞第１数）の第１作業時間及び第２作業時間の計測結果が得られた場合、対象クラスを変更すると判定し（ステップＳ７２３でＹＥＳ）、処理をステップＳ７２４に進める。一方、第２計測部１１２は、所定の第２数の第１作業時間及び第２作業時間の計測結果が得られていない場合、対象クラスを変更しないと判定し（ステップＳ７２３でＮＯ）、処理をステップＳ７１６に戻す。これにより、ステップＳ７１５において設定された対象クラスに対して所定の第２数の第１作業時間及び第２作業時間の計測結果が得られるまで、ステップＳ７１６～ステップＳ７２３の処理が繰り返される。

ステップＳ７２４では、作業結果取得部１１６は、通信部１３０が作業終了要求を受信したと判定した場合（ステップＳ７２４でＹＥＳ）、処理を終了する。一方、作業結果取得部１１６は、通信部１３０が作業終了要求を受信していないと判定した場合（ステップＳ７２４でＮＯ）、処理をステップＳ７１５に戻す。これにより、ステップＳ７１５において次の対象クラスが設定され、ステップＳ７１６以降の処理が実行される。

以上により、計測フェーズでは、画像データＸ１と、画像データＸ２と、画像データＸ２に対する事前アノテーションデータとが第１作業者端末に順次送信され、複数のクラスのそれぞれについて、複数の第３閾値のそれぞれに対する所定の第１数の第１作業時間及び第２作業時間が順次計測され、計測結果を含む作業履歴が作業履歴データベース１２２に記憶されることになる。

図２１は、実施の形態４においてサーバ１００が分析データを生成する処理の一例を示す図である。ステップＳ８０１、ステップＳ８０２の処理は図５のステップＳ２０１、ステップＳ２０２と同じである。

ステップＳ８０３では、分析データ生成部１１３は、ステップＳ８０１で取得した作業履歴を、複数のクラスのそれぞれについて複数の第３閾値ごとに分類し、複数のクラス及び複数の第３閾値ごとに第２作業時間の代表値を算出する。

ステップＳ８０４では、分析データ生成部１１３は、第１作業時間の代表値と、複数のクラスのそれぞれについて複数の第３閾値ごとに算出された第２作業時間の代表値とを含む分析データを生成する。これにより、図２２に示す分析データが生成される。

ステップＳ８０５では、分析データ生成部１１３は、ステップＳ８０４で生成した分析データにおいて、複数のクラスのそれぞれについて、第３閾値の最適値を決定する。図２２の例では、クラスＹ１については第３閾値ＴＨ３＿２に対応する第２作業時間が最短であり、クラスＹ２については第３閾値ＴＨ３＿１の第２作業時間が最短であったため、クラスＹ１については、第３閾値ＴＨ３＿２が第３閾値の最適値として決定され、クラスＹ２については、第３閾値ＴＨ３＿１が第３閾値の最適値として決定されている。

ステップＳ８０６では、分析データ生成部１１３は、ステップＳ８０４で生成した分析データを、ステップＳ８０５で決定した複数のクラスごとの第３閾値の最適値を示す情報と、対象認識器の識別子と対応付けて分析データベース１２３に記憶する。

このように、本実施の形態によれば、複数のクラスのそれぞれについて第３閾値の最適値が決定されるため、第２作業を効率良く行うことが可能な第３閾値の最適値を決定することができる。

（実施の形態５）
実施の形態５は、複数の撮像シーン（画像属性情報の一例）ごとに第１作業と第２作業との速さを比較するものである。図２を参照する。本実施の形態において、第１計測部１１１は、複数の撮像シーンごとに複数の第１作業時間を計測し、計測結果に基づいて作業履歴を生成し、作業履歴データベース１２２に記憶する。撮像シーンは、画像データが撮像されたときの周囲の状況を示すデータである。例えば、撮像シーンは、晴れ、雨、曇り、及び雪などの天候を示すデータであってもよいし、夜間、日中などの時間帯を示すデータであってもよいし、天候及び時間帯が組み合わされたデータであってもよい。

本実施の形態において、第２計測部１１２は、複数の撮像シーンごとに複数の第２作業時間を計測し、計測結果に基づいて作業履歴を生成し、作業履歴データベース１２２に記憶する。

本実施の形態において、分析データ生成部１１３は、複数の撮像シーンごとに計測された複数の第１作業時間を作業履歴データベース１２２から取得し、複数の撮像シーンごとに第１作業時間の代表値を算出する。また、分析データ生成部１１３は、複数の撮像シーンごとに計測された複数の第２作業時間を作業履歴データベース１２２から取得し、複数の撮像シーンごとに第２作業時間の代表値を算出する。そして、分析データ生成部１１３は、複数の撮像シーンごとに算出した第１作業時間の代表値と複数の撮像シーンごとに算出した第２作業時間の代表値とを含む分析データを生成し、分析データベース１２３に記憶する。

本実施の形態において、比較部１１４は、提示部１１５が画像データベース１２１から取得した作業対象となる１枚の画像データである作業対象画像データの撮像シーンを特定する。画像データベース１２１に記憶された画像データは撮像シーンを特定するためのメタ情報が含まれている。そこで、比較部１１４は、メタ情報に基づいて撮像シーンを特定すればよい。メタ情報は、撮像シーンそのものを示す情報であってもよいし、撮像場所及び撮像時刻を示す情報であってもよい。メタ情報が撮像場所及び撮像日時を示す情報である場合、比較部１１４は、メタ情報が示す撮像場所及び撮像日時に対応する天候を天気情報サーバから取得し、取得した天候に基づいて撮像シーンを特定すればよい。

さらに、比較部１１４は、分析データベース１２３に記憶された分析データから、作業対象画像データの撮像シーンに対応する第１作業時間及び第２作業時間を取得し、第１作業時間が第２作業時間より短ければ、第１作業が第２作業より速いと判定する。一方、比較部１１４は、作業対象画像データの撮像シーンに対応する第２作業時間が第１作業時間より短ければ、第２作業が第１作業より速いと判定する。

本実施の形態において、提示部１１５は、第２作業の方が第１作業よりも速いと判定された場合、作業対象画像データを画像データＸ４とし、画像データＸ４に対する事前アノテーションデータを生成する。そして、提示部１１５は、画像データＸ４と、画像データＸ４に対する事前アノテーションデータとを、通信部１３０を介して作業者端末２００に送信する。一方、提示部１１５は、第１作業の方が第２作業よりも速いと判定された場合、事前アノテーションデータが設定されていない作業対象画像データを画像データＸ３として、通信部１３０を介して作業者端末２００に送信する。

図２３は、実施の形態５において、サーバ１００が作業者にアノテーション作業を行わせる場合の処理の一例を示すフローチャートである。図２４は、図２３に続くフローチャートである。ステップＳ９０１，Ｓ９０２の処理は、図３のステップＳ１０１，Ｓ１０２と同じである。但し、ステップＳ９０２では、図２６に示す分析データが取得される。図２６は、実施の形態５における分析データの一例を示す図である。

図２６に示す分析データには、複数の撮像シーンのそれぞれに対する第１作業時間と第２作業時間とが含まれている。ここでは、撮像シーンＺ１，Ｚ２、・・・，Ｚｎというように分析データは、ｎ個の撮像シーンに対する第１作業時間及び第２作業時間を含んでいる。

計測フェーズでは、複数の撮像シーンのそれぞれについて、複数の第１作業時間が計測され、計測結果から第１作業時間の代表値が算出される。また、複数の撮像シーンのそれぞれについて、複数の第２作業時間が計測され、計測結果から第２作業時間の代表値が算出される。そのため、図２６に示す分析データにおいて、第１作業時間は撮像シーンごとに算出された第１作業時間の代表値を示し、第２作業時間は撮像シーンごとに算出された第２作業時間の代表値を示している。また、図２６に示す分析データには、対象認識器の識別子が対応付けられている。

ステップＳ９０３の処理は、図３のステップＳ１０３と同じである。ステップＳ９０４では、比較部１１４は、作業対象画像データの撮像シーンを特定する。

ステップＳ９０５では、比較部１１４は、分析データを参照し、ステップＳ９０４で特定した撮像シーンに対応する第１作業時間と第２作業時間とを比較することで、第１作業と第２作業との速さを比較する。図２６の例において、撮像シーンＺ１が特定されたとすると撮像シーンＺ１に対する第１作業時間と第２作業時間とが比較される。そして、第２作業時間が第１作業時間よりも短ければ、第２作業が第１作業よりも速いと判定され（ステップＳ９０５でＹＥＳ）、処理はステップＳ９０７に進む。一方、第１作業時間が第２作業時間よりも短ければ、第１作業が第２作業よりも速いと判定され（ステップＳ９０５でＮＯ）、処理はステップＳ９１２に進む。

ステップＳ９０７～ステップＳ９１１の処理は、図４のステップＳ１０５～ステップＳ１０９と同じである。ステップＳ９１２～ステップＳ９１５の処理は、図４のステップＳ１１０～ステップＳ１１３と同じである。

ステップＳ９１６では、第１計測部１１１は、対象撮像シーンを設定する。この場合、対象クラスは予め定められた複数の撮像シーンうち、１つの撮像シーンが所定の順序で設定される。

ステップＳ９１７では、第１計測部１１１は、画像データベース１２１から対象撮像シーンの１枚の画像データを画像データＸ１として取得する。

ステップＳ９１８では、第２計測部１１２は、画像データベース１２１から対象撮像シーンの１枚の画像データを画像データＸ２として取得し、画像データＸ２に対する画像認識を対象認識器に実行させ、認識結果をアノテーション設定器に入力することで、画像データＸ２に対する事前アノテーションデータを生成する。

ステップＳ９１９～ステップＳ９２１の処理は、図４のステップＳ１１６～ステップＳ１１８と同じである。

ステップＳ９２２では、作業結果取得部１１６は対象撮像シーンの変更の有無を判定する。この場合、作業結果取得部１１６は、対象撮像シーンについて所定数の第１作業時間及び第２作業時間が計測できた場合、対象撮像シーンを変更すると判定し（ステップＳ９２２でＹＥＳ）、処理をステップＳ９２３に進める。一方、作業結果取得部１１６は、対象撮像シーンについて所定数の第１作業結果及び第２作業結果が計測できていない場合、対象撮像シーンを変更しないと判定し（ステップＳ９２２でＮＯ）、処理をステップＳ９１７に戻す。

ステップＳ９２３では、作業結果取得部１１６は、通信部１３０が第１作業者端末から作業終了要求を受信したか否かを判定する。作業結果取得部１１６は、通信部１３０が作業終了要求を受信したと判定した場合（ステップＳ９２３でＹＥＳ）、処理を終了する。

一方、作業結果取得部１１６は、通信部１３０が作業終了要求を受信していないと判定した場合（Ｓ９２３でＮＯ）、処理をステップＳ９１６に戻す。これにより、次の対象撮像シーンが決定され、ステップＳ９１７以降の処理が実行されることになる。

以上により、計測フェーズでは、画像データＸ１と、画像データＸ２と、画像データＸ２に対する事前アノテーションデータとが第１作業者端末に順次送信され、複数の撮像シーンのそれぞれについて、所定数の第１作業時間及び第２作業時間が順次計測され、計測結果を含む作業履歴が作業履歴データベース１２２に記憶されることになる。

図２５は、実施の形態５においてサーバ１００が分析データを生成する処理の一例を示す図である。ステップＳ１００１の処理は図５のステップＳ２０１と同じである。

ステップＳ１００２において、分析データ生成部１１３は、ステップＳ１００１で取得した作業履歴を、撮像シーンごとに分類し、第１作業時間の代表値を算出する。

ステップＳ１００３において、分析データ生成部１１３は、ステップＳ１００１で取得した作業履歴を、撮像シーンごとに分類し、第２作業時間の代表値を算出する。

ステップＳ１００４では、分析データ生成部１１３は、第１作業時間の代表値と、第２作業時間の代表値とを含む分析データを生成する。これにより、図２６に示す分析データが生成される。

ステップＳ１００５では、分析データ生成部１１３は、ステップＳ１００４で生成した分析データを、対象認識器の識別子と対応付けて分析データベース１２３に記憶する。

以上説明したように、本実施の形態は、撮像シーンを考慮に入れて第１作業と第２作業とのうち、より作業効率の高い作業を決定し、決定した作業を作業者に行わせることができるため、アノテーション作業に対する作業コストをより確実に削減できる。

なお、実施の形態５では、撮像シーンが画像属性情報として採用されたが、本開示はこれに限定されず、撮像シーンに代えて又は加えて画質が画像属性情報として採用されてもよい。画質は、例えば、魚眼カメラ及び通常カメラなど画像データを撮像したカメラの種別を示す情報、画像データの解像度、及び画像データのサイズなどである。

（変形例）
（１）実施の形態１～５は任意に組み合わせ可能である。例えば、実施の形態３では、事前アノテーションデータは、画像認識により認識された認識対象物に対して領域のサイズが第２閾値情報の下限閾値及び上限閾値範囲内の場合に設定されている。この場合の「画像認識により認識された」とは、例えば、認識結果の信頼度の値が閾値以上であることを指す。そして、この場合の「信頼度の閾値」としては、実施の形態２で説明した第１閾値が採用されてもよいし、実施の形態４で説明した第３閾値が採用されてもよい。

（２）実施の形態２～実施の形態４と実施の形態５とは組み合わせ可能である。例えば、実施の形態２と実施の形態５とを組み合わせる場合、図１４に示す分析データにおいて、分析データ生成部１１３は、第１作業時間を撮像シーンごとに算出し、第１閾値ＴＨ１ごとの第２作業時間を撮像シーンごとに算出しておけばよい。また、実施の形態３と実施の形態５とを組み合わせる場合、図１８に示す分析データにおいて、分析データ生成部１１３は、第１作業時間を撮像シーンごとに算出し、第２閾値情報ＴＨ２ごとの第２作業時間を撮像シーンごとに算出しておけばよい。さらに、実施の形態４と実施の形態５とを組み合わせる場合、図２２に示す分析データにおいて、分析データ生成部１１３は、第２作業時間を撮像シーンごとに算出し、複数のクラス及び複数の第３閾値ＴＨ３ごとの第２作業時間を撮像シーンごとに算出しておけばよい。

本開示は、学習データを効率良く生成するうえで有用である。

１００ ：サーバ
１１０ ：プロセッサ
１１１ ：第１計測部
１１２ ：第２計測部
１１３ ：分析データ生成部
１１４ ：比較部
１１５ ：提示部
１１６ ：作業結果取得部
１２０ ：メモリ
１２１ ：画像データベース
１２２ ：作業履歴データベース
１２３ ：分析データベース
１２４ ：認識器データベース
１２５ ：アノテーションデータベース
１３０ ：通信部
２００ ：作業者端末
２０１ ：操作部
２０２ ：表示部
２０３ ：制御部
２０４ ：通信部

Claims (8)

1. 作業者が画像データにアノテーションデータを設定する作業をコンピュータが支援するアノテーション支援方法であって、
   第１画像データに対して前記アノテーションデータを設定する第１作業を前記作業者に行わせたときの第１作業時間を計測してメモリに記録し、
   所定の認識器により前記第１画像データを認識させた認識結果に基づいて設定した事前アノテーションデータに対して、前記事前アノテーションデータを修正する第２作業を前記作業者に行わせたときの第２作業時間を計測して前記メモリに記録し、
   前記メモリに記録された前記第１作業時間と前記第２作業時間とに基づいて前記第１作業と前記第２作業との速さを比較し、
   前記第１作業が前記第２作業よりも速い場合、前記事前アノテーションデータが設定されていない第２画像データに対する前記アノテーションデータの設定を前記作業者に要求し、
   前記第２作業が前記第１作業よりも速い場合、前記認識器により前記第２画像データを認識させた認識結果に基づいて設定した前記事前アノテーションデータの修正を前記作業者に要求する、
   アノテーション支援方法。
2. 前記事前アノテーションデータは、前記認識器が認識結果とともに出力する認識結果の信頼度の値が第１閾値以上の場合に設定され、
   前記第２作業時間の計測では、複数の第１閾値を設定し、前記複数の第１閾値ごとに前記第２作業時間を計測して前記メモリに記録し、
   さらに、前記複数の第１閾値ごとに計測された前記第２作業時間に基づいて、前記第１閾値の最適値を決定し、
   前記速さの比較では、前記第１閾値の最適値に対応する前記第２作業時間と前記第１作業時間とに基づいて前記速さを比較し、
   前記事前アノテーションデータの修正の要求では、前記事前アノテーションデータは、前記第１閾値の最適値を用いて設定される、
   請求項１記載のアノテーション支援方法。
3. 前記事前アノテーションデータは、前記第１画像データ又は前記第２画像データの画像座標系において認識対象物に対応する領域情報を含み、
   前記事前アノテーションデータは、前記領域情報が示す領域のサイズが第２閾値情報に含まれる下限閾値と上限閾値との範囲内である場合に設定され、
   前記第２作業時間の計測では、複数の第２閾値情報を設定し、前記複数の第２閾値情報ごとに前記第２作業時間を計測して前記メモリに記録し、
   前記メモリに記録された前記複数の第２閾値情報ごとに計測された前記第２作業時間に基づいて、前記第２閾値情報の最適値を決定し、
   前記速さの比較では、前記第２閾値情報の最適値に対する前記第２作業時間と前記第１作業時間とに基づいて前記速さを比較し、
   前記事前アノテーションデータの修正の要求では、前記事前アノテーションデータは、前記第２閾値情報の最適値を用いて設定される、
   請求項１又は２記載のアノテーション支援方法。
4. 前記第１閾値は、前記認識器が認識対象とする複数のクラスごとに最適値が設定される、
   請求項２記載のアノテーション支援方法。
5. 前記第１作業時間の計測では、撮像シーン及び画質の少なくとも一方を示す画像属性情報ごとに前記第１作業時間を計測して前記メモリに記録し、
   前記第２作業時間の計測では、前記画像属性情報ごとに前記第２作業時間を計測して前記メモリに記録し、
   さらに、作業対象画像データの前記画像属性情報を特定し、
   前記速さの比較では、特定した前記画像属性情報と、前記メモリに記録された前記画像属性情報ごとの前記第１作業時間と、前記メモリに記録された前記画像属性情報ごとの前記第２作業時間とに基づいて、前記作業対象画像データに対して前記第１作業と前記第２作業との速さを比較し、
   前記第１作業が前記第２作業よりも速い場合、前記事前アノテーションデータが設定されていない前記作業対象画像データに対する前記アノテーションデータの設定を前記作業者に要求し、
   前記第２作業が前記第１作業よりも速い場合、前記認識器により前記作業対象画像データを認識させた認識結果に基づいて設定した前記事前アノテーションデータの修正を前記作業者に要求する、
   請求項１～４のいずれかに記載のアノテーション支援方法。
6. さらに、前記事前アノテーションデータが設定されていない第２画像データに対する前記アノテーションデータの設定の作業結果を取得し、
   さらに、前記第２画像データに設定された前記事前アノテーションデータの修正の作業結果を取得する、
   請求項１～５のいずれかに記載のアノテーション支援方法。
7. 作業者が画像データにアノテーションデータを設定する作業を支援するアノテーション支援装置であって、
   第１画像データに対して前記アノテーションデータを設定する第１作業を前記作業者に行わせたときの第１作業時間を計測してメモリに記録する第１計測部と、
   所定の認識器により前記第１画像データを認識させた認識結果に基づいて設定した事前アノテーションデータに対して、前記事前アノテーションデータを修正する第２作業を前記作業者に行わせたときの第２作業時間を計測して前記メモリに記録する第２計測部と、
   前記メモリに記録された前記第１作業時間と前記第２作業時間とに基づいて前記第１作業と前記第２作業との速さを比較する比較部と、
   前記第１作業が前記第２作業よりも速い場合、前記事前アノテーションデータが設定されていない第２画像データに対する前記アノテーションデータの設定を前記作業者に要求し、前記第２作業が前記第１作業よりも速い場合、前記認識器により前記第２画像データを認識させた認識結果に基づいて設定した前記事前アノテーションデータの修正を前記作業者に要求する提示部とを備える、
   アノテーション支援装置。
8. 作業者が画像データにアノテーションデータを設定する作業を支援するアノテーション支援装置としてコンピュータを機能させるアノテーション支援プログラムであって、
   第１画像データに対して前記アノテーションデータを設定する第１作業を作業者に行わせたときの第１作業時間を計測してメモリに記録する第１計測部と、
   所定の認識器により前記第１画像データを認識させた認識結果に基づいて設定した事前アノテーションデータに対して、前記事前アノテーションデータを修正する第２作業を前記作業者に行わせたときの第２作業時間を計測して前記メモリに記録する第２計測部と、
   前記メモリに記録された前記第１作業時間と前記第２作業時間とに基づいて前記第１作業と前記第２作業との速さを比較する比較部と、
   前記第１作業が前記第２作業よりも速い場合、前記事前アノテーションデータが設定されていない第２画像データに対する前記アノテーションデータの設定を前記作業者に要求し、前記第２作業が前記第１作業よりも速い場合、前記認識器により前記第２画像データを認識させた認識結果に基づいて設定した前記事前アノテーションデータの修正を前記作業者に要求する提示部としてコンピュータを機能させる、
   アノテーション支援プログラム。

Images