JP7231785B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

従来、人手によって行われる複数の処理対象に対する処理結果の品質を担保可能とするための技術が知られている。例えば、機械学習モデルに学習させるための教師データの作成を支援する技術が知られている。例えば、教師画像にあらかじめ対応付けられた教示クラスと、学習済みの分類器によって教師画像が最も多く分類されるクラスとが相違する場合に、その教師画像を特定教師画像として特定する技術が知られている。

特開２０１７－１６２２３２号公報

人手によって行われる複数の処理対象に対する処理結果の品質を担保可能とする技術が望まれている。

第１処理対象群に含まれる処理対象に対して第１作業者が教師あり学習に用いられる教師データを作成するための処理であるアノテーション処理を行った処理結果を前記第１処理対象群に含まれる一部の処理対象に対する前記アノテーション処理が完了するごとに受け付け、第２処理対象群に含まれる処理対象に対して前記第１作業者とは異なる第２作業者が前記アノテーション処理を行った処理結果を前記第２処理対象群に含まれる一部の処理対象に対する前記アノテーション処理が完了するごとに受け付ける受付部と、前記第１作業者が前記第１処理対象群全体に対する作業を完了させる前に、前記第１作業者が完了させた前記第１処理対象群に含まれる一部の処理対象に対する処理結果に基づいて、前記第１作業者の作業の品質を示す第１評価値を所定の方法で算出し、前記第２作業者が前記第２処理対象群全体に対する作業を完了させる前に、前記第２作業者が完了させた前記第２処理対象群に含まれる一部の処理対象に対する処理結果に基づいて、前記第２作業者の作業の品質を示す第２評価値を所定の方法で算出する算出部と、前記第１作業者及び前記第２作業者による作業を管理する管理者によって利用される管理者装置に対して、前記第１評価値に基づく情報を前記第１処理対象群全体に対する作業途中において表示し、前記第２評価値に基づく情報を前記第２処理対象群全体に対する作業途中において表示する管理画面を提供する管理画面提供部と、を備える。

図１は、実施形態に係る情報処理方法の概要を示す説明図である。 図２は、実施形態に係る情報処理システムの構成例を示す図である。 図３は、実施形態に係る情報処理装置の構成例を示す図である。 図４は、実施形態に係る作業者装置の画面の一例を示す図である。 図５は、実施形態に係る作業者装置の画面の一例を示す図である。 図６は、実施形態に係る作業者装置の画面の一例を示す図である。 図７は、実施形態に係る作業者装置の画面の一例を示す図である。 図８は、実施形態に係るアノテーションの一例を示す図である。 図９は、変形例に係るアノテーションの一例を示す図である。 図１０は、変形例に係るアノテーションの一例を示す図である。 図１１は、変形例に係るアノテーションの他の例を示す図である。 図１２は、実施形態に係る管理者装置の画面の一例を示す図である。 図１３は、実施形態に係る管理者装置の画面の一例を示す図である。 図１４は、実施形態に係る管理者装置の画面の一例を示す図である。 図１５は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

（実施形態）
〔１．はじめに〕
従来、機械学習モデルに教師あり学習をさせるための教師データの作成を支援する技術が知られている。一般的に、教師あり学習をさせるための教師データは、正解データとラベルの組からなる。教師あり学習は、教師データとして入力（正解データ）とその正しい出力（ラベル）が与えられ、ある入力を受けると正しい出力ができるよう機械学習モデルを学習させることにより行われる。ＡＩ業界では、この教師データ（正解データとラベルの組）を作成する作業をアノテーションと呼ぶ。アノテーションの対象となるデータには、機械学習モデルの用途に応じて、画像、テキスト、音声などの種類が存在する。例えば、機械学習モデルの用途が画像認識である場合には、アノテーションの対象となるデータは画像である。

このようなアノテーションの作業は、人手によって行われるが、高精度の機械学習モデルを作成するには、約１０～１００万件といった膨大な教師データが必要となる。そこで、教師データの作成を行う業者が存在する。しかしながら、機械学習モデルを作成する依頼者が、教師データの作成を行う業者に対して、５００組の教師データの作成を依頼したとしても、納品された教師データのうち学習に使えるレベルの教師データが５０組しかない等、作成された教師データの品質（アノテーションの精度が悪い）が担保されないという問題があった。

そこで、本願発明に係る情報処理装置１００は、アノテーションの精度が悪い教師データがそのまま納品されてしまうことを防ぐべく、業者が教師データを作成している途中段階で、アノテーションの精度を評価し、精度が悪い場合には依頼者から業者に是正を求めることを可能にする。具体的には、情報処理装置１００は、アノテーションの精度を評価するために、教師データの作成途中で定期的に経過審査を行う。これにより、情報処理装置１００は、経過審査により定期的に品質を評価することで、品質が低下した場合にはすぐに検知することができるので、全体的な品質の低下を未然に防ぐことができる。したがって、情報処理装置１００は、アノテーション等の人手によって行われる複数の処理対象に対する処理結果の品質を担保可能とすることができる。

〔２．情報処理の概要〕
ここから、図１を用いて、実施形態に係る情報処理方法の概要について説明する。図１は、実施形態に係る情報処理方法の概要を示す説明図である。実施形態に係るアノテーションの作業は、依頼者から依頼を受けた業者の作業者が、依頼を受けた画像の中から物体が撮像された領域を選択することにより行われる。図１では、依頼者がアノテーションを行った画像の領域（アノテーションが正確にされているデータ）と、作業者がアノテーションを行った画像の領域とを比較することにより、作業者によって作成された教師データの精度を評価する例について説明する。また、依頼者は、作業者による作業を管理する。そのため、以下では、依頼者のことを管理者と記載する場合がある。

図１では、依頼者は、画像に含まれる物体である猫を検出するための教師データの作成を依頼する。依頼者は、５００枚の画像の中からあらかじめ５枚の画像を選択して、選択した５枚の画像それぞれについて正解の選択領域を紐づけておく。情報処理装置１００は、依頼者によって選択された正解の選択領域が紐づけられた５枚の正解画像（以下、正解あり画像ともいう）を含む５００枚の画像を依頼者（管理者）によって利用される管理者装置２０から取得する（ステップＳ１１）。

続いて、情報処理装置１００は、５００枚の画像を受け付けると、５００枚の画像を作業者に処理させる順番を決定する。例えば、情報処理装置１００は、５００枚の画像のうち５枚の正解画像を作業者に処理させる順番（以下、処理順ともいう）を決定する。続いて、情報処理装置１００は、５枚の正解画像を作業者に処理させる順番を決定すると、残りの４９５枚の依頼画像を作業者に処理させる順番を決定する。例えば、情報処理装置１００は、５００枚の画像のうち、１枚目と１０１枚目と２０１枚目と３０１枚目と４０１枚目に正解画像を含めることを決定する。続いて、情報処理装置１００は、依頼者から受け付けた５００枚の画像の処理順を決定すると、決定した処理順が紐づけられた５００枚の画像をクラウドにアップロードする。

また、依頼者からアノテーションの依頼を受けた業者の作業者は、作業者によって利用される作業者装置１０を介して作業対象となる画像がアップロードされたクラウドにアクセスする。情報処理装置１００は、５００枚の画像を１枚ずつ作業者に処理させる順番に作業者装置１０の画面に表示する。作業者は、作業者装置１０の画面に表示された画像の中から猫が撮像された領域を選択する選択処理を行う（ステップＳ１２）。例えば、作業者は、３０１枚目の画像に対して、画像の中から７匹の猫が撮像された領域をそれぞれ囲む７つの矩形（バウンディングボックスという）を手作業によってそれぞれ選択する選択処理を行う。情報処理装置１００は、作業者が１枚の画像に対する領域の選択処理を完了するごとに、作業者によって選択された画像の選択領域を作業者装置１０から受け付ける。

また、情報処理装置１００は、作業者装置１０から受け付けた選択領域に対応する画像が正解あり画像である場合に、作業者装置１０から受け付けた選択領域と正解の選択領域との比較に基づいて、作業者装置１０から受け付けた選択領域と正解の選択領域との重なり具合（一致度）を算出する（ステップＳ１３）。例えば、情報処理装置１００は、作業者装置１０から受け付けた選択領域に対応する３０１枚目の画像が正解あり画像であると判定する。続いて、情報処理装置１００は、作業者装置１０から受け付けた選択領域と正解の選択領域との比較に基づいて、作業者の選択領域と正解の選択領域との重なり具合（一致度）が７０％であると算出する。

情報処理装置１００は、作業者装置１０から受け付けた選択領域と正解の選択領域との重なり具合（一致度）を算出すると、算出した結果を依頼者に対して通知する（ステップＳ１４）。このように、情報処理装置１００は、作業者による５００枚の画像に対する選択処理のうち、１枚目と１０１枚目と２０１枚目と３０１枚目と４０１枚目に含まれる正解画像に対する選択処理の処理結果と正解の処理結果との重なり具合（一致度）を算出して依頼者に対して通知する。通知を受けた依頼者は、通知の結果を見て、作業者による選択処理の処理結果（以下、品質ともいう）の精度がどのように推移しているかを知ることができる。

例えば、情報処理装置１００は、複数の画像に対する作業の途中で作業者による処理結果の品質が低下し始めた場合に、品質の低下を検知して、依頼者に対して品質の低下を通知する。これにより、情報処理装置１００は、例えば、依頼者から作業者に対して品質の低下に対する是正を促すことを可能にする。したがって、情報処理装置１００は、人手によって行われる複数の画像に対するアノテーションの品質を担保可能とすることができる。

〔３．情報処理システムの構成〕
まず、図２を用いて、実施形態に係る情報処理システムの構成について説明する。図２は、実施形態に係る情報処理システムの構成例を示す図である。情報処理システム１には、作業者装置１０と、管理者装置２０と、情報処理装置１００とが含まれてよい。作業者装置１０と、管理者装置２０と、情報処理装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続されてよい。なお、情報処理システム１には、任意の数の作業者装置１０と任意の数の管理者装置２０と任意の数の情報処理装置１００とが含まれてもよい。

作業者装置１０は、作業者によって利用される情報処理装置である。作業者装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）や、ヘッドマウントディスプレイ等である。実施形態では、作業者装置１０がノート型ＰＣまたはデスクトップＰＣ（以下、単にＰＣと記載する場合がある）である例について説明する。

なお、図２に示すように、作業者装置１０を利用する作業者に応じて、作業者装置１０を作業者装置１０－１～１０－Ｎのように区別して説明する場合がある。例えば、作業者装置１０－１は、作業者ＩＤ「Ｕ１」で識別される作業者Ｕ１によって利用される作業者装置１０である。また、例えば、作業者装置１０－２は、作業者ＩＤ「Ｕ２」で識別される作業者Ｕ２によって利用される作業者装置１０である。また、以下では、作業者装置１０－１～１０－Ｎについて、特に区別なく説明する場合には、作業者装置１０と記載する。

管理者装置２０は、作業者による作業を管理する管理者によって利用される情報処理装置である。管理者装置２０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）や、ヘッドマウントディスプレイ等である。実施形態では、管理者装置２０がノート型ＰＣまたはデスクトップＰＣ（以下、単にＰＣと記載する場合がある）である例について説明する。

情報処理装置１００は、図１で説明した処理を実行する情報処理装置である。情報処理装置１００は、正解の選択領域が紐づけられた正解あり画像を含む複数の画像に対する選択領域を作業者が一つの画像に対する領域の選択処理を完了するごとに作業者装置１０から受け付ける。また、情報処理装置１００は、受け付けた選択領域に対応する画像が正解あり画像である場合に、受け付けた選択領域と正解の選択領域との比較に基づいて、作業者に対する評価を示す評価値を算出する。また、情報処理装置１００は、算出した評価値に関する情報を管理者装置２０に送信する。

〔４．情報処理装置の構成〕
次に、図３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置１００の構成例を示す図である。情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有してよい。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示させるための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、作業者装置１０や管理者装置２０との間で情報の送受信を行う。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。具体的には、記憶部１２０は、複数の処理対象それぞれを識別可能な情報と複数の処理対象それぞれとを対応付けて記憶する。例えば、記憶部１２０は、処理対象の一例として、複数の画像それぞれを識別可能な情報（例えば、画像ＩＤ）と複数の画像それぞれとを対応付けて記憶する。また、記憶部１２０は、正解あり処理対象と正解の処理結果とを対応付けて記憶する。例えば、記憶部１２０は、処理対象の一例として、アノテーションの依頼者によって選択された正解の選択領域と正解あり画像とを対応付けて記憶する。

（制御部１３０）
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

制御部１３０は、取得部１３１と、決定部１３２と、提供部１３３と、受付部１３４と、算出部１３５と、判定部１３６と、通知部１３７を機能部として有し、以下に説明する情報処理の作用を実現または実行してよい。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部１３０の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。

（取得部１３１）
取得部１３１は、正解の処理結果が紐づけられた正解あり処理対象を含む複数の処理対象を取得する。具体的には、取得部１３１は、処理対象の一例として、アノテーション作業の対象となる画像を取得する。例えば、取得部１３１は、アノテーションの依頼者によって選択された正解の選択領域が紐づけられた正解あり画像を含む複数の画像を依頼者（管理者）によって利用される管理者装置２０から取得する。

また、取得部１３１は、正解あり処理対象を含む複数の処理対象を取得すると、複数の処理対象それぞれを識別可能な情報と複数の処理対象それぞれとを対応付けて記憶部１２０に記憶する。例えば、取得部１３１は、処理対象の一例として、アノテーション作業の対象となる複数の画像を取得すると、複数の画像それぞれを識別可能な情報（例えば、画像ＩＤ）と複数の画像それぞれとを対応付けて記憶部１２０に記憶する。

また、取得部１３１は、正解あり処理対象を取得すると、正解あり処理対象と正解の処理結果とを対応付けて記憶部１２０に記憶する。例えば、取得部１３１は、処理対象の一例として、アノテーションの依頼者によって選択された正解の選択領域が紐づけられた正解あり画像を取得すると、正解あり画像と正解の選択領域とを対応付けて記憶部１２０に記憶する。

（決定部１３２）
決定部１３２は、複数の処理対象のうち正解あり処理対象を作業者に処理させる順番を決定する。具体的には、決定部１３２は、取得部１３１によって複数の処理対象が取得されると、取得部１３１によって取得された複数の処理対象のうち正解あり処理対象を作業者に処理させる順番を決定する。例えば、決定部１３２は、取得部１３１によって複数の画像が取得されると、取得部１３１によって取得された複数の画像のうち正解あり画像を作業者に処理させる順番を決定する。

より具体的には、決定部１３２は、複数の処理対象に対して所定間隔で正解あり処理対象を作業者に処理させるように順番を決定する。例えば、決定部１３２は、複数の画像に対して所定間隔で正解あり画像を作業者に処理させるように順番を決定する。図１に示す例では、決定部１３２は、５００枚の画像に対して１００枚ごとに５枚の正解あり画像を作業者に処理させるように順番を決定する。すなわち、決定部１３２は、５００枚の画像のうち正解あり画像を作業者に処理させる順番を１番目と１０１番目と２０１番目と３０１番目と４０１番目に決定する。

続いて、決定部１３２は、正解あり処理対象を作業者に処理させる順番を決定すると、取得部１３１によって取得された複数の処理対象のうち正解あり処理対象以外の他の処理対象（以下、正解なし処理対象ともいう）を作業者に処理させる順番を決定する。例えば、決定部１３２は、正解あり画像を作業者に処理させる順番を決定すると、取得部１３１によって取得された複数の画像のうち正解あり画像以外の画像（以下、正解なし画像ともいう）を作業者に処理させる順番を決定する。図１に示す例では、決定部１３２は、５枚の正解あり画像を作業者に処理させる順番を決定すると、５００枚の画像のうち残り４９５枚の正解なし画像を作業者に処理させる順番を決定する。

決定部１３２は、複数の処理対象の処理順を決定すると、決定した処理順が紐づけられた複数の処理対象を共有サーバ（例えば、クラウドサーバ）にアップロードする。例えば、決定部１３２は、複数の画像の処理順を決定すると、決定した処理順が紐づけられた複数の画像を共有サーバにアップロードする。図１に示す例では、決定部１３２は、依頼者から受け付けた５００枚の画像の処理順を決定すると、決定した処理順が紐づけられた５００枚の画像を共有サーバにアップロードする。

（提供部１３３）
提供部１３３は、作業者が複数の処理対象に対する処理を行うための作業画面を作業者に対して提供する。具体的には、提供部１３３は、作業者が複数の処理対象に対する処理を行うための作業画面を作業者装置１０に表示させる。より具体的には、提供部１３３は、作業者が複数の処理対象に対する処理を行うための作業画面に相当するコンテンツを作業者装置１０に送信する。例えば、提供部１３３は、作業者が複数の画像に対する選択領域の選択処理を行うための作業画面に相当するコンテンツを作業者装置１０に送信する。作業者装置１０は、情報処理装置１００から受信したコンテンツを画面に表示することで、作業画面を表示する。例えば、提供部１３３は、決定部１３２によって決定された処理順に複数の画像を１枚ずつ作業者装置１０の画面に表示させる。例えば、提供部１３３は、後述する図４～図７に示す作業画面に相当するコンテンツを作業者装置１０の画面に表示させる。

また、提供部１３３は、正解あり処理対象に対する処理を行うための作業画面と正解なし処理対象に対する処理を行うための作業画面とを視覚的に区別できない態様によって作業者装置１０に表示させる。例えば、提供部１３３は、作業者装置１０の画面に表示された画像においては、正解あり画像と正解なし画像とを視覚的に区別できない態様によって複数の画像を１枚ずつ作業者装置１０の画面に表示させる。

また、提供部１３３は、作業者による処理状況を表示する管理画面を管理者に対して提供する。具体的には、算出部１３５は、複数の作業者それぞれが複数の処理対象の数に対して処理した処理済みの処理対象の数の割合を算出する。提供部１３３は、作業者による処理状況の一例として、算出部１３５によって算出された作業者による処理済みの処理対象の数の割合を表示する管理画面を提供する。例えば、提供部１３３は、作業者が複数存在する場合には、複数の作業者それぞれについて算出部１３５によって算出された処理済みの処理対象の数の割合を表示する管理画面を提供する。

また、提供部１３３は、作業者の技能スコアを表示する管理画面を提供する。より具体的には、算出部１３５は、評価値に基づいて、複数の作業者それぞれの処理の技能を示す技能スコアを算出する。例えば、提供部１３３は、作業者が複数存在する場合には、複数の作業者それぞれの技能スコアを表示する管理画面を提供する。例えば、提供部１３３は、管理画面に相当するコンテンツを管理者装置２０に送信する。管理者装置２０は、情報処理装置１００から受信したコンテンツを画面に表示することで、管理画面を表示する。

ここで、提供部１３３が提供する管理画面について、図１２～図１３を用いて詳しく説明する。図１２～図１３は、実施形態に係る管理者装置の画面の一例を示す図である。

図１２に示す例では、提供部１３３は、ＸＸプロジェクトの教師データ作成を担当する複数の作業者それぞれの処理状況（本日の進捗）および技能スコアを示す星印が表示された部分コンテンツＣ２１１～Ｃ２１６を含むコンテンツＣ２１を管理者装置２０に送信する。

また、提供部１３３は、作業者であるＪｏｈｎさんによって作成された教師データの品質が高いことを管理者に対して視覚的に通知する情報を含む部分コンテンツＣ２１１を含むコンテンツＣ２１を提供する。例えば、提供部１３３は、部分コンテンツＣ２１１に表示された「高品質」の文字が管理者によって選択された場合に、Ｊｏｈｎさんの詳しい処理状況を表示する画面に遷移させることが可能な部分コンテンツＣ２１１を含むコンテンツＣ２１を提供する。

また、提供部１３３は、複数の作業者のうち、評価値が他の作業者と比べて低い作業者を管理者に対して視覚的に通知する情報を含む管理画面を提供する。例えば、提供部１３３は、評価値が他の作業者と比べて低い作業者を管理者に対して視覚的に通知する情報を含む管理画面の一例として、例えば、作業者であるＢｏｂさんによって作成された教師データの品質が低下したことを管理者に対して視覚的に通知する情報を含む部分コンテンツＣ２１４を含むコンテンツＣ２１を提供する。例えば、提供部１３３は、部分コンテンツＣ２１４に表示された「セキュリティ検知」の文字が管理者によって選択された場合に、Ｂｏｂさんの詳しい処理状況を表示する画面に遷移させることが可能な部分コンテンツＣ２１４を含むコンテンツＣ２１を提供する。

また、提供部１３３は、作業者であるＮｉｇｅｌさんによるアノテーション作業が停滞していることを管理者に対して視覚的に通知する情報を含む部分コンテンツＣ２１６を含むコンテンツＣ２１を提供する。例えば、提供部１３３は、部分コンテンツＣ２１６に表示された「作業停滞」の文字が管理者によって選択された場合に、Ｎｉｇｅｌさんの詳しい処理状況を表示する画面に遷移させることが可能な部分コンテンツＣ２１６を含むコンテンツＣ２１を提供する。

また、提供部１３３は、ＸＸプロジェクト全体の進捗状況を表示するコンテンツＣ２１を提供する。例えば、提供部１３３は、ＸＸプロジェクト全体の進捗状況の一例として、ＸＸプロジェクト全体で処理すべき５００枚の画像のうち３８６枚の画像が処理済みであることを表示したコンテンツＣ２１を提供する。また、提供部１３３は、残りの作業時間を表示するコンテンツＣ２１を提供する。例えば、提供部１３３は、ＸＸプロジェクトの残りの作業時間が２時間であることを表示したコンテンツＣ２１を提供する。管理者装置２０は、コンテンツＣ２１を受信すると、受信したコンテンツＣ２１を画面に表示する。

図１３に示す例では、提供部１３３は、作業者であるＮｉｇｅｌさんによる詳しい処理状況を表示する部分コンテンツＣ２２１を含むコンテンツＣ２２を管理者装置２０に送信する。例えば、提供部１３３は、図１２に示す部分コンテンツＣ２１６に表示された「作業停滞」の文字が管理者によって選択された場合に、Ｎｉｇｅｌさんの詳しい処理状況を表示する画面に相当するコンテンツＣ２２を管理者装置２０に送信する。管理者装置２０は、コンテンツＣ２２を受信すると、受信したコンテンツＣ２２を画面に表示する。

また、提供部１３３は、作業者であるＮｉｇｅｌさんによる処理がリアルタイムに表示される動画Ｃ２２２を含むコンテンツＣ２２を提供する。例えば、提供部１３３は、作業者であるＮｉｇｅｌさんのカーソルが遊んでいる動画Ｃ２２２を含むコンテンツＣ２２を提供する。

また、提供部１３３は、画面を通じて管理者と作業者であるＮｉｇｅｌさんがメッセージをやり取りすることが可能な領域Ｃ２２３を含むコンテンツＣ２２を提供する。例えば、提供部１３３は、メッセージを入力可能な領域Ｆ２２とメッセージの送信ボタンＢ２２を含むコンテンツＣ２２を提供する。また、提供部１３３は、「印刷しようとしちゃダメですよ」という管理者のメッセージに対する「ごめんなさい、もうしません」というＮｉｇｅｌさんの返信メッセージが表示された領域Ｃ２２３を含むコンテンツＣ２２を提供する。

（受付部１３４）
受付部１３４は、正解の処理結果が紐づけられた正解あり処理対象を含む複数の処理対象に対する処理結果を作業者が一部の処理対象に対する処理を完了するごとに作業者装置１０から受け付ける。具体的には、受付部１３４は、正解の選択領域が紐づけられた正解あり画像を含む複数の画像に対する選択領域を作業者が一つの画像に対する領域の選択処理を完了するごとに作業者装置１０から受け付ける。より具体的には、受付部１３４は、提供部１３３によって提供される作業画面を通じて、作業者が一つの画像に対する領域の選択処理を完了するごとに作業者による選択処理の処理結果を作業者装置１０から受け付ける。

また、受付部１３４は、決定部１３２によって決定された順番に正解あり処理対象を含む複数の処理対象に対する処理結果を作業者装置１０から受け付ける。具体的には、受付部１３４は、決定部１３２によって決定された順番に正解あり画像を含む複数の画像に対する選択処理の処理結果を作業者装置１０から受け付ける。より具体的には、提供部１３３は、決定部１３２によって決定された順番に、決定部１３２によって決定された処理順の画像を１枚ずつ含む作業画面を作業者装置１０に送信する。そして、受付部１３４は、提供部１３３によって提供される作業画面を通じて、作業者が一つの画像に対する領域の選択処理を完了するごとに作業者による選択処理の処理結果を作業者装置１０から受け付ける。このようにして、受付部１３４は、決定部１３２によって決定された順番に画像に対する選択処理の処理結果を作業者装置１０から受け付ける。

ここで、受付部１３４が画像に対する選択処理の処理結果を作業者装置１０から受け付ける処理について、図４～図７を用いて詳しく説明する。図４～図７は、実施形態に係る作業者装置１０の画面の一例を示す図である。

図４に示す例では、提供部１３３が、決定部１３２によって決定された処理順が１５番目である画像Ｇ１１を含む作業画面に相当するコンテンツＣ１１を作業者装置１０に送信する。作業者装置１０は、コンテンツＣ１１を受信すると、受信したコンテンツＣ１１を画面に表示する。作業者装置１０は、作業者の操作に従って、作業者が画像Ｇ１１の中から自動車が撮像された領域Ｏ１を選択する選択処理を受け付ける。続いて、作業者装置１０は、作業者の操作に従って、コンテンツＣ１１に含まれる送信ボタンＢ１１の選択操作を受け付ける。作業者装置１０は、送信ボタンＢ１１の選択操作を受け付けると、作業者によって選択された選択領域Ｏ１に関する情報を情報処理装置１００に送信する。受付部１３４は、作業者による画像Ｇ１１に対する選択処理の処理結果である選択領域Ｏ１を作業者装置１０から受け付ける。

図５に示す例では、作業者装置１０は、作業者の操作に従って、作業者が画像Ｇ１２の中から選択領域Ｏ１に含まれる自動車とは異なる別の自動車が撮像された領域Ｏ２を選択する選択処理を受け付ける。続いて、作業者装置１０は、作業者の操作に従って、画像Ｇ１２を含むコンテンツＣ１２に含まれるスキップボタンＢ１２の選択操作を受け付ける。ここで、スキップボタンＢ１２とは、何らかの理由により、作業者が選択領域の選択処理をスキップするためのボタンである。作業者装置１０は、スキップボタンＢ１２の選択操作を受け付けると、作業者が選択領域Ｏ２の選択処理のスキップに関する情報を情報処理装置１００に送信する。受付部１３４は、作業者による選択領域Ｏ２の選択処理のスキップに関する情報を作業者装置１０から受け付ける。

図６に示す例では、受付部１３４によって選択領域Ｏ２の選択処理のスキップに関する情報が受け付けられると、提供部１３３が、作業者が選択領域Ｏ２の選択処理をスキップする理由をテキストにより入力可能なフィールドＦ１３を含む部分コンテンツＧ１３１が表示された作業画面に対応するコンテンツＣ１３を作業者装置１０に送信する。ここで、部分コンテンツＧ１３１には、フィールドＦ１３に入力されたテキストを情報処理装置１００に送信するためのスキップボタンＢ１３とフィールドＦ１３に入力されたテキストを情報処理装置１００に送信しないためのキャンセルボタンＢ１４が含まれる。

続いて、図７では、作業者装置１０が、作業者の操作に従って、作業者が選択領域Ｏ２の選択処理をスキップする理由を示すテキストをフィールドＦ１３´に入力する操作を受け付ける。図７では、作業者装置１０は、「どこまで奥の車を加工するか確認したい。」というテキストの入力操作を受け付ける。続いて、作業者装置１０は、作業者の操作に従って、部分コンテンツＧ１３１に含まれるスキップボタンＢ１３の選択操作を受け付ける。作業者装置１０は、スキップボタンＢ１３の選択操作を受け付けると、作業者が入力したテキストを情報処理装置１００に送信する。受付部１３４は、作業者によって入力されたテキストを作業者装置１０から受け付ける。受付部１３４によってテキストが受け付けられると、通知部１３７は、受付部１３４によって受け付けられたテキストに関する情報を作業者ＩＤと対応付けて管理者装置２０に送信する。

ここで、図８を用いて、実施形態に係るアノテーションについてさらに詳しく説明する。図８は、実施形態に係るアノテーションの一例を示す図である。図８に示す例では、画像の中に「bottle」、「cup」、および３つの「cube」といった複数の物体が含まれている。このとき、作業者によるアノテーションの作業は、画像に含まれる「bottle」、「cup」、および３つの「cube」が撮像された領域をそれぞれ囲む５つのバウンディングボックスを手作業によってそれぞれ選択することによって行われる。このとき、受付部１３４は、作業者によって選択された「bottle」、「cup」、および３つの「cube」に対応する５つのバウンディングボックスを作業者装置１０から受け付ける。なお、図８に示すような、バウンディングボックスの選択によるアノテーションによって生成される教師データは、例えば、画像に含まれる複数種類の物体検出（Object Detection）を行う機械学習モデルの学習に用いられる。

なお、上述した例では、受付部１３４が正解あり処理対象を含む複数の処理対象に対する処理結果を受け付ける例について説明したが、これに限られない。具体的には、受付部１３４は、正解あり処理対象を含まない複数の処理対象に対する処理結果を作業者が一部の処理対象に対する処理を完了するごとにさらに受け付けてよい。

（算出部１３５）
算出部１３５は、受付部１３４によって受け付けられた処理結果に対応する処理対象が正解あり処理対象である場合に、受付部１３４によって受け付けられた処理結果と正解の処理結果との比較に基づいて、作業者に対する評価を示す評価値を算出する。具体的には、算出部１３５は、受付部１３４によって処理結果が受け付けられると、記憶部１２０を参照して、処理結果に対応する処理対象を特定する。続いて、算出部１３５は、処理結果に対応する処理対象を特定すると、特定した処理対象が正解あり処理対象であるか否かを判定する。例えば、算出部１３５は、記憶部１２０を参照して、特定した処理対象と紐づけられた正解の処理結果が存在するか否かを判定する。算出部１３５は、特定した処理対象と紐づけられた正解の処理結果が存在すると判定した場合に、特定した処理対象が正解あり処理対象であると判定する。続いて、算出部１３５は、受付部１３４によって受け付けられた処理結果に対応する処理対象が正解あり処理対象であると判定した場合に、記憶部１２０を参照して、正解あり処理対象と紐づけられた正解の処理結果に関する情報を取得する。続いて、算出部１３５は、正解の処理結果に関する情報を取得すると、取得した正解の処理結果と受付部１３４によって受け付けられた処理結果との比較に基づいて、作業者に対する評価を示す評価値を算出する。

より具体的には、算出部１３５は、受付部１３４によって受け付けられた処理結果と正解の処理結果との比較に基づいて、評価値の一例として、受付部１３４によって受け付けられた処理結果と正解の処理結果との重なり具合（一致度）を算出する。例えば、算出部１３５は、受付部１３４によって受け付けられた選択領域に対応する画像が正解あり画像である場合に、受付部１３４によって受け付けられた選択領域と正解の選択領域との比較に基づいて、作業者に対する評価を示す評価値を算出する。例えば、算出部１３５は、受付部１３４によって受け付けられた選択領域と正解の選択領域との比較に基づいて、評価値の一例として、受付部１３４によって受け付けられた選択領域と正解の選択領域との重なり具合（一致度）を算出する。

例えば、算出部１３５は、受付部１３４によって受け付けられた選択領域と正解の選択領域の共通部分（Intersection）の面積を受付部１３４によって受け付けられた選択領域と正解の選択領域の和集合（Union）の面積で除した値であるＩｏＵ（Intersection over Union）を算出する。ここで、ＩｏＵは、物体検出における評価指標として用いられる。例えば、受付部１３４によって受け付けられた選択領域と正解の選択領域がぴったり重なっている（一致する）場合、ＩｏＵの値は１となる。一方、受付部１３４によって受け付けられた選択領域と正解の選択領域が全く重なっていない場合、ＩｏＵの値は０となる。つまり、ＩｏＵの値が大きいほど、物体検出がうまくできていると言える。すなわち、算出部１３５によって算出されたＩｏＵの値が大きいほど、作業者による物体検出の品質が高いと言える。したがって、算出部１３５によって算出されたＩｏＵの値が大きいほど、作業者に対する評価は高くなる。

なお、上述した例では、算出部１３５が受付部１３４によって受け付けられた処理結果と正解の処理結果との比較に基づいて、作業者に対する評価を示す評価値を算出する例について説明したが、これに限られない。具体的には、算出部１３５は、受付部１３４によって受け付けられた正解あり処理対象を含まない複数の処理対象に対する処理結果に基づいて、作業者に対する評価を示す評価値を算出してよい。例えば、算出部１３５は、受付部１３４によって受け付けられた正解あり処理対象を含まない複数の処理対象に対する処理結果に基づいて、正解の処理結果との比較に基づく評価以外の評価を示す他の評価値を算出する。例えば、算出部１３５は、他の評価値の一例として、作業者が複数の処理対象を処理する処理速度を算出してよい。例えば、算出部１３５は、作業者が処理した複数の処理対象の数を作業者が処理するのに要した時間で除した値を処理速度として算出する。

（判定部１３６）
判定部１３６は、算出部１３５によって算出された評価値に基づいて、処理結果の品質が低下したか否かを判定する。具体的には、判定部１３６は、算出部１３５によって算出された評価値が評価閾値を下回った場合に、処理結果の品質が低下したと判定する。例えば、判定部１３６は、算出部１３５によって算出されたＩｏＵの値が評価閾値を下回った場合に、処理結果の品質が低下したと判定する。

（通知部１３７）
通知部１３７は、作業者による作業を管理する管理者に対してアラートを通知する。具体的には、通知部１３７は、判定部１３６によって品質が低下したと判定された場合に、管理者に対してアラートを通知する。通知部１３７によるアラートの通知処理について、図１４を用いて詳しく説明する。図１４は、実施形態に係る管理者装置の画面の一例を示す図である。

図１４では、判定部１３６は、算出部１３５によって算出されたＩｏＵの値が評価閾値である５０点を下回った場合に、処理結果の品質が低下したと判定する。例えば、算出部１３５は、１０１枚目の画像に関するＩｏＵの値を４５点と算出する。判定部１３６は、算出部１３５によって算出されたＩｏＵの値が評価閾値である５０点を下回ったので、作業者によるアノテーションの品質が低下したと判定する。通知部１３７は、判定部１３６によって品質が低下したと判定されたので、管理者に対してアラートを通知する。図１４に示す例では、通知部１３７は、１０１枚目の画像のサムネイルの右下に品質の低下を通知するビックリマークが表示された画像Ｇ２３１を含む部分コンテンツＣ２３１を含むコンテンツＣ２３を管理者装置２０に送信する。また、通知部１３７は、１０１枚目の画像に対する評価値Ｓ２３２、１０１枚目の画像のサムネイルの右下に品質の低下を通知するビックリマークが表示された画像Ｇ２３２、および品質低下検知に関するメッセージＭ２３を含む部分コンテンツＣ２３２を含むコンテンツＣ２３を管理者装置２０に送信する。管理者装置２０は、コンテンツＣ２３を受信すると、受信したコンテンツＣ２３を画面に表示する。

〔５．変形例〕
上述した実施形態に係る情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム１の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。

〔５－１．正解あり処理対象の処理順〕
上述した実施形態では、決定部１３２が、複数の処理対象に対して所定間隔で正解あり処理対象を作業者に処理させるように順番を決定する例について説明したが、正解あり処理対象の処理順はこれに限られない。

具体的には、決定部１３２は、作業者に処理させる順番が小さいほど、正解あり処理対象を多くすることを決定する。より具体的には、決定部１３２は、作業者に処理させる順番が第１閾値を超える場合よりも、作業者に処理させる順番が第１閾値以下である場合に、正解あり処理対象を多くすることを決定する。これにより、情報処理装置１００は、複数の処理対象に対する処理の早い段階で、作業者による処理結果と依頼者による正解の処理結果との齟齬がないかどうか確認することができる。

また、決定部１３２は、作業者に処理させる順番が大きいほど、正解あり処理対象を多くすることを決定する。より具体的には、決定部１３２は、作業者に処理させる順番が２閾値を下回る場合よりも、作業者に処理させる順番が第２閾値以上である場合に、正解あり処理対象を多くすることを決定する。これにより、情報処理装置１００は、例えば、複数の処理対象のうちの前半よりも、作業者が疲れてくる後半により多くの正解あり処理対象を含めることで、作業者の疲れによる品質の低下を適切に検知することができる。

また、決定部１３２は、算出部１３５によって算出された評価値の統計情報に基づいて、正解あり処理対象を作業者に処理させる順番を動的に決定する。より具体的には、決定部１３２は、統計情報として、評価値の変遷に基づいて、評価値が第３閾値を下回った場合に、評価値が第３閾値を下回る前よりも正解あり処理対象を多くすることを決定する。例えば、決定部１３２は、作業者ごとに異なる評価値の変遷に基づいて、作業者ごとに異なる第３閾値を決定する。続いて、決定部１３２は、作業者ごとに異なる第３閾値に応じて、評価値が第３閾値を下回った場合に、評価値が第３閾値を下回る前よりも正解あり処理対象を多くすることを決定する。これにより、情報処理装置１００は、例えば、評価値の変遷に基づいて作業者ごとに品質が低下する傾向を分析して第３閾値を決定することで、作業者に応じた品質の低下を適切に検知することができる。

また、決定部１３２は、統計情報として、評価値の変遷に基づいて、評価値が低下傾向を示した場合に、評価値が低下傾向を示す前よりも正解あり処理対象を多くすることを決定する。これにより、情報処理装置１００は、例えば、評価値が低下傾向を示す前よりも、評価値が低下傾向を示した後により多くの正解あり処理対象を含めることで、品質の低下を食い止めることができる。

また、決定部１３２は、算出部１３５によって算出された評価値に基づいて、複数の処理対象の数に対して正解あり処理対象を含める数を決定する。例えば、決定部１３２は、複数の作業者の評価値に基づいて、評価値が他の作業者と比べて低い作業者ほど複数の処理対象の数に対して正解あり処理対象を含める数を多くすることを決定する。これにより、情報処理装置１００は、作成に手間がかかる正解あり処理対象をたくさん準備する手間を省き、数に限りのある正解あり処理対象を効率よく配分することができる。

また、受付部１３４は、同一の処理対象に対する処理結果を複数の作業者それぞれから受け付ける。算出部１３５は、複数の作業者のうち、他の作業者から受け付けた処理結果とは異なる傾向を示す処理結果を処理した作業者に対する評価値を他の作業者に対する評価値よりも低く算出する。これにより、情報処理装置１００は、正解なし処理対象に対しても、作業者の作業内容の評価をすることができる。また、情報処理装置１００は、作成に手間がかかる正解あり処理対象をたくさん準備する手間を省き、数に限りのある正解あり処理対象を効率よく配分することができる。

〔５－２．教師データの種類〕
上述した実施形態では、情報処理装置１００が画像認識技術のうち物体検出を行う機械学習モデルの教師データの品質を評価する例について説明したが、情報処理装置１００が評価する教師データの種類はこれに限られない。具体的には、上述した処理対象は、機械学習モデルの用途に応じて、画像以外に、テキストや音声であってよい。

〔５－３．アノテーションの種類〕
上述した実施形態では、情報処理装置１００が、図８に示すバウンディングボックスの選択によるアノテーションにより作成された教師データの品質を評価する例について説明したが、他の種類のアノテーションにより作成された教師データの品質を評価してよい。ここで、アノテーションの種類について、図９～図１１を用いて詳しく説明する。図９～図１１は、変形例に係るアノテーションの一例を示す図である。情報処理装置１００は、図９～図１１に示すアノテーションにより作成された教師データの品質を評価してよい。

図９に示す例では、画像の中に「bottle」、「cup」、および３つの「cube」といった複数の物体が含まれている。このとき、作業者によるアノテーションの作業は、画像に含まれる「bottle」、「cup」、および「cube」といった物体の種類を示すラベルを、手作業によって画像に付与することによって行われる。このとき、受付部１３４は、作業者によって付与された「bottle」、「cup」、および「cube」に対応する３つのラベルを作業者装置１０から受け付ける。なお、図９に示すような、ラベルの付与によるアノテーションによって生成される教師データは、例えば、画像をラベルに対応するクラスに分類する画像分類（Image Classification）を行う機械学習モデルの学習に用いられる。

図１０に示す例では、画像の中に「bottle」、「cup」、および３つの「cube」といった複数の物体が含まれている。このとき、作業者によるアノテーションの作業は、画像に含まれる「bottle」、「cup」、および３つの「cube」が撮像された領域を、物体の種類ごとに「bottle」、「cup」、「cube」の３種類に色分けして塗りつぶすことによって行われる。このとき、受付部１３４は、作業者によって３種類に色分けして塗りつぶされた領域を作業者装置１０から受け付ける。なお、図１０に示すような、物体の種類ごとに領域を色分けするアノテーションによって生成される教師データは、例えば、画像中の全ピクセルをクラスに分類するセマンティック・セグメンテーション（Semantic Segmentation）を行う機械学習モデルの学習に用いられる。

図１１に示す例では、画像の中に「bottle」、「cup」、および３つの「cube」といった複数の物体が含まれている。このとき、作業者によるアノテーションの作業は、画像に含まれる「bottle」、「cup」、および３つの「cube」が撮像された領域を、物体ごとに５種類に色分けして塗りつぶすことによって行われる。このとき、受付部１３４は、作業者によって５種類に色分けして塗りつぶされた領域を作業者装置１０から受け付ける。なお、図１１に示すような、物体ごとに領域を色分けするアノテーションによって生成される教師データは、例えば、画像中の各ピクセルを物体ごとに分類するインスタント・セグメンテーション（Instant Segmentation）を行う機械学習モデルの学習に用いられる。

〔６．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、受付部１３４と算出部１３５を備える。受付部１３４は、正解の処理結果が紐づけられた正解あり処理対象を含む複数の処理対象に対する処理結果を作業者が一部の処理対象に対する処理を完了するごとに受け付ける。算出部１３５は、受付部１３４によって受け付けられた処理結果に対応する処理対象が正解あり処理対象である場合に、受付部１３４によって受け付けられた処理結果と正解の処理結果との比較に基づいて、作業者に対する評価を示す評価値を算出する。

このように、情報処理装置１００は、人手によって行われる複数の処理対象に対する処理の途中で、作業者による処理結果と正解あり処理対象との比較に基づく経過審査を行う。これにより、情報処理装置１００は、経過審査により定期的に品質を評価することで、品質が低下した場合にはすぐに検知することができるので、全体的な品質の低下を未然に防ぐことができる。したがって、情報処理装置１００は、アノテーション等の人手によって行われる複数の処理対象に対する処理結果の品質を担保可能とすることができる。

また、情報処理装置１００は、決定部１３２をさらに備える。決定部１３２は、複数の処理対象のうち正解あり処理対象を作業者に処理させる順番を決定する。受付部１３４は、決定部１３２によって決定された順番に正解あり処理対象を含む複数の処理対象に対する処理結果を受け付ける。算出部１３５は、受付部１３４によって受け付けられた処理結果に対応する処理対象が正解あり処理対象である場合に、作業者に対する評価を示す評価値を算出する。

これにより、情報処理装置１００は、作業者や処理対象の種類に応じて柔軟に正解あり処理対象を処理させる順番を決定することができるので、作業者や処理対象の種類に応じた品質の低下をより適切に検知することを可能にする。

また、決定部１３２は、作業者に処理させる順番が小さいほど、正解あり処理対象を多くすることを決定する。具体的には、決定部１３２は、作業者に処理させる順番が第１閾値を超える場合よりも、作業者に処理させる順番が第１閾値以下である場合に、正解あり処理対象を多くすることを決定する。

これにより、情報処理装置１００は、複数の処理対象に対する処理の早い段階で、作業者による処理結果と依頼者による正解の処理結果との齟齬がないかどうか確認することができる。

また、決定部１３２は、作業者に処理させる順番が大きいほど、正解あり処理対象を多くすることを決定する。具体的には、決定部１３２は、作業者に処理させる順番が２閾値を下回る場合よりも、作業者に処理させる順番が第２閾値以上である場合に、正解あり処理対象を多くすることを決定する。

これにより、情報処理装置１００は、例えば、複数の処理対象のうちの前半よりも、作業者が疲れてくる後半により多くの正解あり処理対象を含めることで、作業者の疲れによる品質の低下を適切に検知することができる。

また、決定部１３２は、算出部１３５によって算出された評価値の統計情報に基づいて、正解あり処理対象を作業者に処理させる順番を動的に決定する。具体的には、決定部１３２は、統計情報として、評価値の変遷に基づいて、評価値が第３閾値を下回った場合に、評価値が第３閾値を下回る前よりも正解あり処理対象を多くすることを決定する。

これにより、情報処理装置１００は、例えば、評価値の変遷に基づいて作業者ごとに品質が低下する傾向を分析して第３閾値を決定することで、作業者に応じた品質の低下を適切に検知することができる。

また、決定部１３２は、統計情報として、評価値の変遷に基づいて、評価値が低下傾向を示した場合に、評価値が低下傾向を示す前よりも正解あり処理対象を多くすることを決定する。

これにより、情報処理装置１００は、例えば、評価値が低下傾向を示す前よりも、評価値が低下傾向を示した後により多くの正解あり処理対象を含めることで、品質の低下を食い止めることができる。

また、決定部１３２は、算出部１３５によって算出された評価値に基づいて、複数の処理対象の数に対して正解あり処理対象を含める数を決定する。例えば、決定部１３２は、複数の作業者の評価値に基づいて、評価値が他の作業者と比べて低い作業者ほど複数の処理対象の数に対して正解あり処理対象を含める数を多くすることを決定する。

これにより、情報処理装置１００は、作成に手間がかかる正解あり処理対象をたくさん準備する手間を省き、数に限りのある正解あり処理対象を効率よく配分することができる。

また、受付部１３４は、同一の処理対象に対する処理結果を複数の作業者それぞれから受け付ける。算出部１３５は、複数の作業者のうち、他の作業者から受け付けた処理結果とは異なる傾向を示す処理結果を処理した作業者に対する評価値を他の作業者に対する評価値よりも低く算出する。

これにより、情報処理装置１００は、正解なし処理対象に対しても、作業者の作業内容の評価をすることができる。また、情報処理装置１００は、作成に手間がかかる正解あり処理対象をたくさん準備する手間を省き、数に限りのある正解あり処理対象を効率よく配分することができる。

また、受付部１３４は、正解あり処理対象を含まない複数の処理対象に対する処理結果を作業者が一部の処理対象に対する処理を完了するごとにさらに受け付ける。算出部１３５は、受付部１３４によって受け付けられた処理結果に基づいて、作業者に対する評価を示す評価値を算出する。

これにより、情報処理装置１００は、正解あり処理対象との比較に基づく評価以外の評価を示す他の評価値（例えば、作業者の処理速度）を算出することができる。

また、情報処理装置１００は、判定部１３６と通知部１３７をさらに備える。判定部１３６は、算出部１３５によって算出された評価値に基づいて、処理結果の品質が低下したか否かを判定する。通知部１３７は、作業者による作業を管理する管理者に対してアラートを通知する。判定部１３６は、算出部１３５によって算出された評価値が評価閾値を下回った場合に、処理結果の品質が低下したと判定する。通知部１３７は、判定部１３６によって品質が低下したと判定された場合に、管理者に対してアラートを通知する。

これにより、情報処理装置１００は、作業者による処理結果の品質の低下を検知した場合には、管理者から作業者に対して品質の低下を是正するよう促すことを可能にする。

また、情報処理装置１００は、提供部１３３をさらに備える。提供部１３３は、作業者による作業を管理する管理者によって利用される管理者装置２０に対して、複数の作業者それぞれによる処理状況を表示する管理画面を提供する。算出部１３５は、複数の作業者それぞれが複数の処理対象の数に対して処理した処理済みの処理対象の数の割合を算出する。提供部１３３は、処理状況として、複数の作業者それぞれについて算出部１３５によって算出された割合を表示する管理画面を提供する。

これにより、情報処理装置１００は、管理者が作業者の処理状況を確認することを可能にするので、例えば、管理者が作業者の処理状況に応じて処理対象や正解あり処理対象を割り振ることを可能にする。

また、算出部１３５は、評価値に基づいて、複数の作業者それぞれの処理の技能を示す技能スコアを算出する。提供部１３３は、複数の作業者それぞれの技能スコアを表示する管理画面を提供する。

これにより、情報処理装置１００は、管理者が作業者の技能を確認することを可能にするので、例えば、管理者が作業者の技能に応じて処理対象や正解あり処理対象を割り振ることを可能にする。

また、提供部１３３は、複数の作業者のうち、評価値が他の作業者と比べて低い作業者を管理者に対して視覚的に通知する情報を含む管理画面を提供する。

これにより、情報処理装置１００は、評価値が他の作業者と比べて低い作業者を管理者が把握することを可能にする。

また、情報処理装置１００は、作業者が複数の処理対象に対する処理を行うための作業画面を作業者によって利用される作業者装置に表示させる提供部１３３をさらに備える。提供部１３３は、正解あり処理対象に対する処理を行うための作業画面と正解あり処理対象以外の他の処理対象に対する処理を行うための作業画面とを視覚的に区別できない態様によって作業者装置１０に表示させる。

これにより、情報処理装置１００は、作業者からは正解あり処理対象と正解あり処理対象以外の他の処理対象を区別することができないので、作業者が正解あり処理対象に対する処理を行うときだけ注意して処理を行うといったことを防ぐことができる。

また、処理対象は、画像に含まれる物体を認識する機械学習モデルの学習に用いるための教師用の画像である。また、処理は、作業者が画像の中から物体が撮像された領域を選択する選択処理である。受付部１３４は、正解の選択領域が紐づけられた正解あり画像を含む複数の画像に対する選択領域を作業者が一部の画像に対する領域の選択処理を完了するごとに受け付ける。算出部１３５は、受付部１３４によって受け付けられた選択領域に対応する画像が正解あり画像である場合に、受付部１３４によって受け付けられた選択領域と正解の選択領域との比較に基づいて、作業者に対する評価を示す評価値を算出する。

このように、情報処理装置１００は、人手によって行われる複数の画像に対するアノテーションの途中で、作業者によって選択された選択領域と正解の選択領域との比較に基づく経過審査を行う。これにより、情報処理装置１００は、経過審査により定期的にアノテーションの品質を評価することで、アノテーションの品質が低下した場合にはすぐに検知することができるので、全体的なアノテーションの品質の低下を未然に防ぐことができる。したがって、情報処理装置１００は、アノテーション等の品質を担保可能とすることができる。

〔７．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１００は、例えば図１４に示すような構成のコンピュータ１０００によって実現される。図１４は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔８．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、算出部は、算出手段や算出回路に読み替えることができる。

１ 情報処理システム
１０ 作業者装置
２０ 管理者装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１３１ 取得部
１３２ 決定部
１３３ 提供部
１３４ 受付部
１３５ 算出部
１３６ 判定部
１３７ 通知部

Claims (14)

1. 第１処理対象群に含まれる処理対象に対して第１作業者が教師あり学習に用いられる教師データを作成するための処理であるアノテーション処理を行った処理結果を前記第１処理対象群に含まれる一部の処理対象に対する前記アノテーション処理が完了するごとに受け付け、第２処理対象群に含まれる処理対象に対して前記第１作業者とは異なる第２作業者が前記アノテーション処理を行った処理結果を前記第２処理対象群に含まれる一部の処理対象に対する前記アノテーション処理が完了するごとに受け付ける受付部と、
   前記第１作業者が前記第１処理対象群全体に対する作業を完了させる前に、前記第１作業者が完了させた前記第１処理対象群に含まれる一部の処理対象に対する処理結果に基づいて、前記第１作業者の作業の品質を示す第１評価値を所定の方法で算出し、前記第２作業者が前記第２処理対象群全体に対する作業を完了させる前に、前記第２作業者が完了させた前記第２処理対象群に含まれる一部の処理対象に対する処理結果に基づいて、前記第２作業者の作業の品質を示す第２評価値を所定の方法で算出する算出部と、
   前記第１作業者及び前記第２作業者による作業を管理する管理者によって利用される管理者装置に対して、前記第１評価値に基づく情報を前記第１処理対象群全体に対する作業途中において表示し、前記第２評価値に基づく情報を前記第２処理対象群全体に対する作業途中において表示する管理画面を提供する管理画面提供部と、
   を備える情報処理装置。
2. 前記管理画面提供部は、
   前記第１評価値と前記第２評価値を一画面の中に同時に表示する前記管理画面を提供する、
   請求項１に記載の情報処理装置。
3. 前記管理画面提供部は、
   前記第１作業者及び前記第２作業者のうち、前記第１評価値又は前記第２評価値が低い作業者を前記管理者に対して視覚的に通知する情報を含む前記管理画面を提供する、
   請求項１に記載の情報処理装置。
4. 複数の作業者それぞれが複数の処理対象それぞれに対する処理を行うための作業画面を前記複数の作業者それぞれによって利用される作業者装置に表示させる作業画面提供部をさらに備え、
   前記管理画面提供部は、
   前記複数の作業者のうちいずれか一の作業者が前記作業画面で行う処理内容をリアルタイムに表示させる前記管理画面を提供する、
   請求項１～３のいずれか１項に記載の情報処理装置。
5. 複数の作業者それぞれが複数の処理対象それぞれに対する処理を行うための作業画面を前記複数の作業者それぞれによって利用される作業者装置に表示させる作業画面提供部をさらに備え、
   前記管理画面提供部は、
   前記複数の作業者の中に前記作業画面で行う処理が停滞している停滞作業者が存在する場合、前記停滞作業者が前記作業画面で行う処理が停滞していることを示す停滞情報を表示させる前記管理画面を提供する、
   請求項１～４のいずれか１項に記載の情報処理装置。
6. 複数の作業者それぞれが複数の処理対象それぞれに対する処理を行うための作業画面を前記複数の作業者それぞれによって利用される作業者装置に表示させる作業画面提供部をさらに備え、
   前記作業画面提供部は、
   前記複数の作業者による作業を管理する管理者と各作業者との間でのメッセージのやり取りが可能な領域を含む前記作業画面を前記作業者装置に表示させる、
   請求項１～５のいずれか１項に記載の情報処理装置。
7. 自身に割り当てられた複数の処理対象の一つ一つに対して順次アノテーション作業を行う作業者について、管理者が複数の前記作業者を管理するための機能を提供する情報処理装置であって、
   前記アノテーション作業は、教師あり学習に用いられる教師データを作成するための作業であり、
   第１作業者が操作する第１作業者装置から、前記第１作業者に割り当てられた複数の処理対象のうち一部の処理対象に対して行われた前記アノテーション作業の結果である一部作業結果を受け付け、前記第１作業者とは異なる第２作業者が操作する第２作業者装置から、前記第２作業者に割り当てられた複数の処理対象のうち一部の処理対象に対して行われた前記アノテーション作業の結果である一部作業結果を受け付ける受付部と、
   前記第１作業者による一部作業結果のうち少なくとも１つの処理対象に対して行われた作業結果に基づいて前記第１作業者の評価値を算出し、前記第２作業者による一部作業結果のうち少なくとも１つの処理対象に対して行われた作業結果に基づいて前記第２作業者の評価値を算出する算出部と、
   前記第１作業者及び前記第２作業者を含む複数の作業者を管理する管理者が閲覧するための管理画面を提供する管理画面提供部と、を備え、
   前記管理画面提供部が提供する前記管理画面には、前記受付部が前記第１作業者に割り当てられた複数の処理対象全てに対する作業結果を受け付ける前に前記第１作業者の識別子に関連付けて前記第１作業者の評価値が表示され、前記受付部が前記第２作業者に割り当てられた複数の処理対象全てに対する作業結果を受け付ける前に前記第２作業者の識別子に関連付けて前記第２作業者の評価値が表示される、
   情報処理装置。
8. 自身に割り当てられた複数の処理対象の一つ一つに対して順次アノテーション作業を行う作業者について、管理者が複数の前記作業者を管理するための機能を提供する情報処理装置であって、
   前記アノテーション作業は、教師あり学習に用いられる教師データを作成するための作業であり、
   第１作業者が操作する第１作業者装置から、前記第１作業者による前記アノテーション作業済の処理対象を受け付け、前記第１作業者とは異なる第２作業者が操作する第２作業者装置から、前記第２作業者による前記アノテーション作業済の処理対象を受け付ける受付部と、
   前記第１作業者及び前記第２作業者を含む複数の作業者を管理する管理者が閲覧するための管理画面を提供する管理画面提供部と、を備え、
   前記管理画面提供部が提供する前記管理画面には、前記受付部が前記作業者に割り当てられた複数の処理対象全てに対する作業結果を受け付ける前に、
   １）前記第１作業者に割り当てられた処理対象の総数に対する前記第１作業者によるアノテーション処理済の処理対象の数の割合から把握される前記第１作業者の進捗状況が、前記第１作業者の識別子に関連付けて表示され、
   ２）前記第２作業者に割り当てられた処理対象の総数に対する前記第２作業者によるアノテーション処理済の処理対象の数の割合から把握される前記第２作業者の進捗状況が、前記第２作業者の識別子に関連付けて表示される、
   情報処理装置。
9. コンピュータが実行する情報処理方法であって、
   第１処理対象群に含まれる処理対象に対して第１作業者が教師あり学習に用いられる教師データを作成するための処理であるアノテーション処理を行った処理結果を前記第１処理対象群に含まれる一部の処理対象に対する前記アノテーション処理が完了するごとに受け付け、第２処理対象群に含まれる処理対象に対して前記第１作業者とは異なる第２作業者が前記アノテーション処理を行った処理結果を前記第２処理対象群に含まれる一部の処理対象に対する前記アノテーション処理が完了するごとに受け付ける受付工程と、
   前記第１作業者が前記第１処理対象群全体に対する作業を完了させる前に、前記第１作業者が完了させた前記第１処理対象群に含まれる一部の処理対象に対する処理結果に基づいて、前記第１作業者の作業の品質を示す第１評価値を所定の方法で算出し、前記第２作業者が前記第２処理対象群全体に対する作業を完了させる前に、前記第２作業者が完了させた前記第２処理対象群に含まれる一部の処理対象に対する処理結果に基づいて、前記第２作業者の作業の品質を示す第２評価値を所定の方法で算出する算出工程と、
   前記第１作業者及び前記第２作業者による作業を管理する管理者によって利用される管理者装置に対して、前記第１評価値に基づく情報を前記第１処理対象群全体に対する作業途中において表示し、前記第２評価値に基づく情報を前記第２処理対象群全体に対する作業途中において表示する管理画面を提供する管理画面提供工程と、
   を含む情報処理方法。
10. 自身に割り当てられた複数の処理対象の一つ一つに対して順次アノテーション作業を行う作業者について、管理者が複数の前記作業者を管理するための機能を提供する情報処理装置が実行するプログラムにより実現される情報処理方法であって、
    前記アノテーション作業は、教師あり学習に用いられる教師データを作成するための作業であり、
    第１作業者が操作する第１作業者装置から、前記第１作業者に割り当てられた複数の処理対象のうち一部の処理対象に対して行われた前記アノテーション作業の結果である一部作業結果を受け付け、前記第１作業者とは異なる第２作業者が操作する第２作業者装置から、前記第２作業者に割り当てられた複数の処理対象のうち一部の処理対象に対して行われた前記アノテーション作業の結果である一部作業結果を受け付ける受付工程と、
    前記第１作業者による一部作業結果のうち少なくとも１つの処理対象に対して行われた作業結果に基づいて前記第１作業者の評価値を算出し、前記第２作業者による一部作業結果のうち少なくとも１つの処理対象に対して行われた作業結果に基づいて前記第２作業者の評価値を算出する算出工程と、
    前記第１作業者及び前記第２作業者を含む複数の作業者を管理する管理者が閲覧するための管理画面を提供する管理画面提供工程と、を含み、
    前記管理画面提供工程が提供する前記管理画面には、前記受付工程が前記第１作業者に割り当てられた複数の処理対象全てに対する作業結果を受け付ける前に前記第１作業者の識別子に関連付けて前記第１作業者の評価値が表示され、前記受付工程が前記第２作業者に割り当てられた複数の処理対象全てに対する作業結果を受け付ける前に前記第２作業者の識別子に関連付けて前記第２作業者の評価値が表示される、
    情報処理方法。
11. 自身に割り当てられた複数の処理対象の一つ一つに対して順次アノテーション作業を行う作業者について、管理者が複数の前記作業者を管理するための機能を提供する情報処理装置が実行するプログラムにより実現される情報処理方法であって、
    前記アノテーション作業は、教師あり学習に用いられる教師データを作成するための作業であり、
    第１作業者が操作する第１作業者装置から、前記第１作業者による前記アノテーション作業済の処理対象を受け付け、前記第１作業者とは異なる第２作業者が操作する第２作業者装置から、前記第２作業者による前記アノテーション作業済の処理対象を受け付ける受付工程と、
    前記第１作業者及び前記第２作業者を含む複数の作業者を管理する管理者が閲覧するための管理画面を提供する管理画面提供工程と、を含み、
    前記管理画面提供工程が提供する前記管理画面には、前記受付工程が前記作業者に割り当てられた複数の処理対象全てに対する作業結果を受け付ける前に、
    １）前記第１作業者に割り当てられた処理対象の総数に対する前記第１作業者によるアノテーション処理済の処理対象の数の割合から把握される前記第１作業者の進捗状況が、前記第１作業者の識別子に関連付けて表示され、
    ２）前記第２作業者に割り当てられた処理対象の総数に対する前記第２作業者によるアノテーション処理済の処理対象の数の割合から把握される前記第２作業者の進捗状況が、前記第２作業者の識別子に関連付けて表示される、
    情報処理方法。
12. 第１処理対象群に含まれる処理対象に対して第１作業者が教師あり学習に用いられる教師データを作成するための処理であるアノテーション処理を行った処理結果を前記第１処理対象群に含まれる一部の処理対象に対する前記アノテーション処理が完了するごとに受け付け、第２処理対象群に含まれる処理対象に対して前記第１作業者とは異なる第２作業者が前記アノテーション処理を行った処理結果を前記第２処理対象群に含まれる一部の処理対象に対する前記アノテーション処理が完了するごとに受け付ける受付手順と、
    前記第１作業者が前記第１処理対象群全体に対する作業を完了させる前に、前記第１作業者が完了させた前記第１処理対象群に含まれる一部の処理対象に対する処理結果に基づいて、前記第１作業者の作業の品質を示す第１評価値を所定の方法で算出し、前記第２作業者が前記第２処理対象群全体に対する作業を完了させる前に、前記第２作業者が完了させた前記第２処理対象群に含まれる一部の処理対象に対する処理結果に基づいて、前記第２作業者の作業の品質を示す第２評価値を所定の方法で算出する算出手順と、
    前記第１作業者及び前記第２作業者による作業を管理する管理者によって利用される管理者装置に対して、前記第１評価値に基づく情報を前記第１処理対象群全体に対する作業途中において表示し、前記第２評価値に基づく情報を前記第２処理対象群全体に対する作業途中において表示する管理画面を提供する管理画面提供手順と、
    をコンピュータに実行させる情報処理プログラム。
13. 自身に割り当てられた複数の処理対象の一つ一つに対して順次アノテーション作業を行う作業者について、管理者が複数の前記作業者を管理するための機能を提供する情報処理装置が実行する情報処理プログラムであって、
    前記アノテーション作業は、教師あり学習に用いられる教師データを作成するための作業であり、
    第１作業者が操作する第１作業者装置から、前記第１作業者に割り当てられた複数の処理対象のうち一部の処理対象に対して行われた前記アノテーション作業の結果である一部作業結果を受け付け、前記第１作業者とは異なる第２作業者が操作する第２作業者装置から、前記第２作業者に割り当てられた複数の処理対象のうち一部の処理対象に対して行われた前記アノテーション作業の結果である一部作業結果を受け付ける受付手順と、
    前記第１作業者による一部作業結果のうち少なくとも１つの処理対象に対して行われた作業結果に基づいて前記第１作業者の評価値を算出し、前記第２作業者による一部作業結果のうち少なくとも１つの処理対象に対して行われた作業結果に基づいて前記第２作業者の評価値を算出する算出手順と、
    前記第１作業者及び前記第２作業者を含む複数の作業者を管理する管理者が閲覧するための管理画面を提供する管理画面提供手順と、を含み、
    前記管理画面提供手順が提供する前記管理画面には、前記受付手順が前記第１作業者に割り当てられた複数の処理対象全てに対する作業結果を受け付ける前に前記第１作業者の識別子に関連付けて前記第１作業者の評価値が表示され、前記受付手順が前記第２作業者に割り当てられた複数の処理対象全てに対する作業結果を受け付ける前に前記第２作業者の識別子に関連付けて前記第２作業者の評価値が表示される、
    情報処理プログラム。
14. 自身に割り当てられた複数の処理対象の一つ一つに対して順次アノテーション作業を行う作業者について、管理者が複数の前記作業者を管理するための機能を提供する情報処理装置が実行する情報処理プログラムであって、
    前記アノテーション作業は、教師あり学習に用いられる教師データを作成するための作業であり、
    第１作業者が操作する第１作業者装置から、前記第１作業者による前記アノテーション作業済の処理対象を受け付け、前記第１作業者とは異なる第２作業者が操作する第２作業者装置から、前記第２作業者による前記アノテーション作業済の処理対象を受け付ける受付手順と、
    前記第１作業者及び前記第２作業者を含む複数の作業者を管理する管理者が閲覧するための管理画面を提供する管理画面提供手順と、を含み、
    前記管理画面提供手順が提供する前記管理画面には、前記受付手順が前記作業者に割り当てられた複数の処理対象全てに対する作業結果を受け付ける前に、
    １）前記第１作業者に割り当てられた処理対象の総数に対する前記第１作業者によるアノテーション処理済の処理対象の数の割合から把握される前記第１作業者の進捗状況が、前記第１作業者の識別子に関連付けて表示され、
    ２）前記第２作業者に割り当てられた処理対象の総数に対する前記第２作業者によるアノテーション処理済の処理対象の数の割合から把握される前記第２作業者の進捗状況が、前記第２作業者の識別子に関連付けて表示される、
    情報処理プログラム。

Images