JP7270691B2 - データをラベリングするための方法、装置、電子機器、記憶媒体およびコンピュータプログラム - Google Patents

Description

本願は、データ処理技術分野に関し、具体的にはコンピュータビジョン、自然言語処理、クラウドサービス等の人工知能技術分野に関し、特にデータをラべリングするための方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラムに関する。

人工知能アルゴリズムの段階的な実装により、アルゴリズムの精度を向上させるためにますます多くのデータを必要とされ、データの品質はアルゴリズムの精度に直接影響を及ぼす。

各データ側がより高品質なデータを配送する（ｄｅｌｉｖｅｒｙ）のに、クライアントからの、様々な正確率の要求を満たすように、対応する正確率に関する管理と制御の方案の策定が必要となる。データ品質を向上させ、配送データの精度を向上させることは、ラべリングを行う企業が競争の中で勝ち取る鍵となっている。

従来の正確率管理方案の多くは、クライアントからの正確率要求パラメータのみに基づいて結果による管理と制御を行い、依然として一般的なラべリング方式を用いている。

本願の実施形態は、データをラべリングするための方法、装置、電子機器、コンピュータ可読記憶媒体、およびコンピュータプログラムを提供する。

第１態様において、本願の実施形態は、ラベリング対象データに対するラベリング正確率要求を取得することと、ラベリング対象データとマッチングするプロセス監視パラメータを確定し、プロセス監視パラメータは階層が順次高くなる複数の次元正確率のうちの少なくとも一つを含むことと、異なるラベリング対象データのコンテンツ上存在する依存関係と因果関係とに基づいて、対応する大きさの係数を用いてプロセス監視パラメータに重み付けを行い、総合的な正確率を得ることと、総合的な正確率が前記ラベリング正確率要求を満たしたことに応答して、ラベリング済みデータを出力することと、を含む、データをラベリングするための方法を提供する。

第２態様において、本願の実施形態は、ラベリング対象データのラベリング正確率要求を取得するように構成される要求取得ユニットと、ラベリング対象データとマッチングするプロセス監視パラメータを確定するように構成され、プロセス監視パラメータは階層が順次高くなる複数の次元正確率のうちの少なくとも一つを含む、プロセス監視パラメータ確定ユニットと、異なるラベリング対象データのコンテンツ上存在する依存関係と因果関係とに基づいて、対応する大きさの係数を用いてプロセス監視パラメータに重み付けを行い、総合的な正確率を得るように構成されるラベリングコンテンツ重み付けユニットと、総合的な正確率がラベリング正確率要求を満たすことに応答し、ラベリング済みデータを出力するように構成されるラベリングデータ出力ユニットと、を含む、データをラベリングするための装置を提供する。

第３態様において、本願の実施形態は、少なくとも一つのプロセッサと、少なくとも一つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、メモリには、少なくとも一つのプロセッサによって実行可能な指令が格納され、該指令が少なくとも一つのプロセッサによって実行されると、少なくとも一つのプロセッサに第１態様のいずれかの実施形態に記載のデータをラベリングするための方法が実現される電子機器を提供する。

第４態様において、本願の実施形態は、コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、該コンピュータ指令は第１態様のいずれかの実施形態に記載のデータをラベリングするための方法をコンピュータに実行させるために用いられる非一時的コンピュータ可読記憶媒体を提供する。

第５態様において、本願の実施形態は、プロセッサによって実行されると、第１態様のいずれかの実施形態に記載のデータをラベリングするための方法が実現されるコンピュータ指令を含む、コンピュータプログラムを提供する。

本願の実施形態が提供するデータをラベリングするための方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラムは、まず、ラベリング対象データのラベリング正確率要求を取得し、続いて、ラベリング対象データとマッチングするプロセス監視パラメータを確定し、ここで、プロセス監視パラメータは階層が順次高くなる複数の次元正確率のうちの少なくとも一つを含み、次に、異なるラベリング対象データのコンテンツ上存在する依存関係と因果関係に基づき、対応する大きさの係数を用いてプロセス監視パラメータに重み付けを行い、総合的な正確率を得、最後に、総合的な正確率がラベリング正確率要求を満たしたことに応答して、ラベリング済みデータを出力する。

本願が提供する技術方案はまず適切なプロセス監視パラメータを確定してラベリングプロセスを監視し、且つラベリングプロセスの監視中にラベリング対象データの異なるコンテンツの間の因果関係と依存関係とに基づいて、因果関係と依存関係に合致する重み係数を設定することにより、重み付け後に得られた総合的な正確率が実際のラベリング状況をより正確に記述することができるようにし、それにより総合的な正確率の管理と制御に基づいて無効ラベリング動作の発生を回避させ、ラベリング効率を向上させることができる。

なお、発明の概要に記載されたコンテンツは、本願の実施形態のかなめとなる特徴又は重要な特徴を限定することを意図するものではなく、本願の範囲を限定するものでもない。本願の他の特徴は、以下の説明によって容易に理解されるである。

本願の他の特徴、目的及び利点は、以下の図面を参照してなされる非限定的な実施形態に係る詳細な説明を読むことにより、より明らかになるである。
本願が適用可能な例示的なシステムアーキテクチャである。 本願の実施形態により提供されるデータをラベリングするための方法のフローチャートである。 本願の実施形態により提供されるもう１種のデータをラベリングするための方法のフローチャートである。 本願の実施形態により提供されるデータをラベリングするための装置の構造概略図である。 本願の実施形態により提供されるデータをラベリングするための方法を実行するために適する電子機器の構造概略図である。

以下は図面を参照して本願の例示的な実施形態を説明し、ここでは理解を助けるため、本願の実施形態の様々な詳細を記載するが、これらのものは単なる例示的なものに過ぎない。従って、本願の範囲および要旨を逸脱しない限り、当業者が本明細書の実施形態に対して様々な変更や修正を行うことができることは自明である。なお、以下の説明では、明確化及び簡略化のため、公知の機能及び構成については説明を省略する。なお、矛盾しない限り、本願における実施形態及び実施形態における特徴を互いに組み合わせることができる。

本開示の技術方案では、関連するユーザ個人情報の取得、記憶及び応用などは、いずれも関連法律法規の規定に準拠し、必要な秘密保持措置を取っており、且つ公序良俗には反していない。

図１は、本願に係るデータをラベリングするための方法、装置、電子機器およびコンピュータ可読記憶媒体の実施形態が適用可能な例示的なシステムアーキテクチャ１００を示している。

図１に示すように、システムアーキテクチャ１００は、端末装置１０１、１０２、１０３、ネットワーク１０４、及びサーバ１０５を含んでもよい。ネットワーク１０４は、端末装置１０１、１０２、１０３とサーバ１０５との間で通信リンクを提供するための媒介として使用される。ネットワーク１０４は、有線、無線通信リンク又は光ファイバケーブルなどの様々なタイプの接続を含んでもよい。

ユーザは、メッセージを送受信するために、端末装置１０１、１０２、１０３を使用してネットワーク１０４を介してサーバ１０５と情報のやり取りをすることができる。端末装置１０１、１０２、１０３及びサーバ１０５には、両者の間の情報通信を実現するための様々なアプリケーションがインストールされてもよく、例えばラべリングタスク割り当て系アプリケーション、ラべリングプロセス監視系アプリケーション、インスタントメッセージ系アプリケーションなどが挙げられる。

端末装置１０１、１０２、１０３およびサーバ１０５は、ハードウェアでもよくソフトウェアでもよい。端末装置１０１、１０２、１０３がハードウェアである場合、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータなどを含むがこれらに限定されない、表示画面を備えた様々な電子機器であってもよく、ソフトウェアである場合、上記列挙された電子機器にインストールされてもよく、複数のソフトウェア若しくはソフトウェアモジュールとして実装されてもよく、又は単一のソフトウェア若しくはソフトウェアモジュールとして実装されてもよく、これらに限定されない。サーバ１０５は、ハードウェアである場合、複数のサーバで構成される分散型サーバクラスター又は単一のサーバとして実現することができる。サーバがソフトウェアである場合、複数のソフトウェアまたはソフトウェアモジュールとして実装されてもよく、単一のソフトウェアまたはソフトウェアモジュールとして実装されてもよい。ここでは具体的な限定はしない。

サーバ１０５は内蔵された各種アプリケーションによって様々なサービスを提供することができ、ラベリング対象データのラベリング正確率管理制御サービスを提供することができるラベリング管理制御系アプリケーションを例として説明する。サーバ１０５は、該ラベリング管理制御系アプリケーションを実行する時に以下の効果を実現することができる。まず、ラベリング対象データのラベリング正確率要求を取得し、続いて、ラベリング対象データとマッチングするプロセス監視パラメータを確定し、ここで、プロセス監視パラメータは階層が順次高くなる複数の次元正確率のうちの少なくとも一つを含み、次に、異なるラベリング対象データのコンテンツ上存在する依存関係と因果関係とに基づいて、対応する大きさの係数を用いてプロセス監視パラメータに重み付けを行い、総合的な正確率を得、最後に、総合的な正確率がラベリング正確率要求を満たしたことに応答して、ラベリング済みデータを出力する。

ラベリングプロセスの監視及び管理と制御は比較的多くの演算リソース及び比較的強い演算能力を占める必要があるため、本願に係る各実施形態により提供されるデータをラベリングするための方法は、一般的に比較的強い演算能力、多くの演算リソースを有するサーバ１０５によって実行されている。対応して、データをラベリングするための装置も一般的にはサーバ１０５に設けられている。

なお、図１における端末装置、ネットワーク及びサーバの数は例示的なものに過ぎないことを理解されたい。実装の必要性に応じて、端末装置、ネットワーク及びサーバの数を適宜加減してもよい。

本願の実施形態により提供されるデータをラベリングするための方法のフローチャートである図２を参照されたい。フロー２００は以下のステップ（ステップ２０１～２０４）を含む。

ステップ２０１、ラベリング対象データに対するラベリング正確率要求を取得する。

本ステップは、データをラベリングするための方法の実行主体（例えば、図１に示すサーバ１０５）によって、ラベリング対象データに対するラベリング正確率要求を取得することを目的とする。ここで、該ラベリング正確率要求は通常、最終結果に対する要求の一つであり、例えば全体のラベリング正確率は９０％以上であるべき、もちろん、いくつかの中間のラベリングパラメータの正確率要求、又はいくつかの中間のプロセスデータを含む可能性もある。

具体的には、ラベリング対象データとラベリング対象データに対するラベリング正確率要求は、上記実行主体によってローカルの記憶装置から直接取得してもよいし、ローカルでない記憶装置（例えば、図１に示されていないラベリング要求端末）から取得してもよい。ローカルの記憶装置は上記実行主体内に設けられた１つのデータ記憶モジュールであってもよく、例えばサーバハードディスクであり、この場合、ラベリング対象データ及びラベリング対象データに対するラベリング正確率は、ローカルで高速に読み取ることができる。ローカルでない記憶装置はさらにデータを記憶するために設けられた他の任意の電子機器であってもよく、例えばユーザ端末等であり、この場合、上記実行主体は該電子機器に取得指令を送信することによって必要なラベリング対象データ及びラベリング対象データに対するラベリング正確率を取得することができる。また、ラベリング対象データとラベリング正確率は別々の場所に格納されてもよい。

ステップ２０２、ラベリング対象データとマッチングするプロセス監視パラメータを確定する。

ステップ２０１を基に、本ステップは、上記実行主体によってラベリング対象データとマッチングするプロセス監視パラメータを確定することを目的とする。ここで、プロセス監視パラメータとは、ラベリング対象データをラベリングするプロセスにおいて、正確率監視を行うためのパラメータであり、ラベリング対象データを異なる階層で記述することにより、各階層の中間監視パラメータを形成することを目的とする。マッチングのプロセスは、ラベリング対象データの実際の状況（例えば、タイプ、要求、特性、実際の最大階層差など）に基づいて、実際のプロセス監視パラメータとしていくつを選択するか、どれを選択するかを確定し、中間のラベリングプロセスを十分に記述することによって、中間のラベリングプロセスに対する管理と制御を実現する。

具体的には、プロセス監視パラメータは、階層が順次高くなる要素次元正確率、データ次元正確率、トピック（ｔｏｐｉｃ）次元正確率、ページ次元正確率及びバッチ次元正確率のうちの少なくとも一つを含むことができる。ここで、要素次元は最小単位のラベリング情報であり、後の次元はいずれも複数の直前の次元のアグリゲーション（ａｇｇｒｅｇａｔｉｏｎ）であり、後の次元は１つ前の次元のアグリゲーションであると理解してもよい。

例えば、要素次元はラベリング対象データのうちの最下層とし、キャリブレーションボックスを例にとると、要素次元はキャリブレーションボックスの一辺であってもよく、キャリブレーションボックス自体であってもよいが、データ次元は当該画像に含まれる全てのキャリブレーションボックスであってもよい。トピック次元は当該トピックが含む全ての画像であってもよい。ページ次元は当該ページが含む全てのトピックであってもよい。バッチ次元は当該バッチが提供する全てのページであってもよい。さらに複数の層によりアグリゲートされた次元正確率が形成される。

ステップ２０３、異なるラベリング対象データのコンテンツ上存在する依存関係と因果関係とに基づいて、対応する大きさの係数を用いて、プロセス監視パラメータに重み付けを行い、総合的な正確率を取得する。

ステップ２０２を基に、本ステップは上記実行主体によって異なるラベリング対象データのコンテンツ上存在する依存関係と因果関係とに基づいて、対応する大きさの係数を用いてプロセス監視パラメータに重み付けを行い、それにより客観的かつ効果的に正確率を記述できる総合的な正確率を得ることを目的とする。

「因果」関係における「因」の１つのラベリング対象データにラベリングエラーが存在すると、その後の当該「因」に基づいて後続してラベリングされた「果」であるすべてのラベリング対象データは参照意義を完全に喪失することになることを理解すべきである。

ステップ２０４、総合的な正確率がラベリング正確率要求を満たしたことに応答して、ラベリング済みデータを出力する。

ステップ２０３を基に、本ステップにおいて、総合的な正確率がラベリング正確率要求を満たす場合について、上記実行主体はラベリング済みデータが既に配送要求を満たし、ラベリング済みデータを出力できると認めることを目的とする。

本願に係る技術方案はまず適切なプロセス監視パラメータを確定してラベリングプロセスを監視し、且つラベリングプロセスの監視中にラベリング対象データの異なるコンテンツの間の因果関係と依存関係とに基づいて、因果関係と依存関係に合致する重み係数を設定することにより、重み付け後に得られた総合的な正確率が実際のラベリング状況をより正確に記述することができるようにし、それにより総合的な正確率の管理と制御に基づいて無効ラベリング動作の発生を回避させ、ラベリング効率を向上させる。

本願の実施形態により提供されるもう１つの、データをラベリングするための方法のフローチャートである図３を参照されたい。フロー３００は以下のステップ（ステップ３０１～３１０）を含む。

ステップ３０１、ラベリング対象データに対するラベリング正確率要求を取得する。

以上のステップ３０１は図２に示すステップ２０１と一致しており、同じ部分の内容は前の実施形態の対応する部分を参照されたい。ここでは説明を省略する。

ステップ３０２、ラベリング対象データと同じタイプのラベリング済みデータが存在するか否かを判断し、存在する場合はステップ３０３を実行し、存在しない場合はステップ３０４を実行する。

ステップ３０３、ラベリング対象データと同じタイプのラベリング済みデータに対するラベリング正確率に基づいてターゲットラベリングオブジェクトを確定する。

本ステップにおいて、上記実行主体によって、ラベリング正確率要求に基づいて、ラベリング対象データをラベリングするための適切なターゲットラベリングオブジェクトを確定することを目的とする。ラベリング対象データがまだラベリングされておらず、各ラベリングオブジェクトのラベリング対象データに対するラベリング正確率を直接得ることができないため、本ステップはデータタイプから着手し、同じタイプのラベリング済みデータを見付け、どのラベリングオブジェクトが過去に同じタイプのデータに対してラベリング正確率を満たす実際のラベリング正確率を有するかを判定する。ここで、ラベリングオブジェクトは、ラベリング作業員であってもよく、異なるラベリング機能を有するラベリングモデルであってもよく、ラベリング機能を有するさまざまな既存のフォームであってもよい。

ステップ３０４、ラベリング対象データとのタイプ類似度が予め設定された類似度を超えた他のラベリング済みデータを選択し、他のラベリング済みデータのラベリング正確率に対して、タイプ類似度に反比例する損失係数（Ｌｏｓｓ Ｆａｃｔｏｒ）を用いて重み付けを行う。

ステップ３０３とは異なり、本ステップはラベリング対象データのタイプと同じラベリング済みデータが存在しないことを前提とし、この場合、本ステップはラベリング対象データとのタイプ類似度が予め設定された類似度を超えた他のラベリング済みデータを選択する代替案を提供し、他のラベリング済みデータのラベリング正確率に損失係数を用いて重み付けを行う。

ここで、本ステップで使用される損失係数の大きさはタイプ類似度に反比例し、すなわち他のラベリング済みデータとラベリング対象データとのタイプ類似度が高いほど、該損失係数は小さく、逆に該タイプ類似度が低いほど、該損失係数は大きい。損失係数が小さいほど、それを用いて重み付けを行った結果が元のラベリング正確率に近く、逆に損失係数が大きいほど、元のラベリング正確率に大きく異なることを意味する。

タイプ類似度が８０％の場合を例にとると、その損失係数は１０％であってもよいが、実際に重み付け方式を算出する場合、他のラベリング済みデータのラベリング正確率が９０％である場合、損失係数を重み付けした後の基準ラベリング正確率は９０％×（１－１０％）＝８１％になる。

ステップ３０５、重み付け後の基準ラベリング正確率に基づいてターゲットラベリングオブジェクトを確定する。

ステップ３０４を基に、本ステップは、重み付け後の基準ラベリング正確率に基づいて、上記の実行主体によってターゲットラベリングオブジェクトを確定することを目的とする。ラベリング正確率要求が８０％と仮定すると、ステップ３０４の例によれば、他のラベリング済みデータに対するラベリング正確率が８９％よりも大きいラベリングオブジェクトのみをターゲットラベリングオブジェクトとして選択することができる。

ステップ３０６、ラベリング対象データに含まれる異なるラベリング対象オブジェクトの間の最大階層差を確定する。

ステップ３０７、最大階層差の数と一致する複数の次元正確率をプロセス監視パラメータとして選択する。

図２に示す実施形態におけるステップ２０２が提供する上位概念に基づいて、本実施形態はステップ３０６～ステップ３０７によってラベリング対象データに含まれる異なるラベリング対象オブジェクトの間の最大階層差に基づいてプロセス監視パラメータを具体的に確定する解決手段を提供し、すなわち最大階層差の数と一致する複数の次元正確率をプロセス監視パラメータとして選択する。

ここで、異なるラベリング対象オブジェクト間の最大階層差とは、ラベリングオブジェクトの間の階層関係の一つのパラメータであり、例えば、最小ラベリング対象オブジェクトは冷蔵庫内の１種の食物であり、該食物は具体的には該冷蔵庫の下半部の冷凍領域内の第二段に位置し、従って、最小ラベリング対象オブジェクトと最大ラベリング対象オブジェクトとの間の階層差は４層である。この時、最下層の食物の次元は要素次元正確率に対応し、これらの４層はそれぞれ要素次元正確率、データ次元正確率、トピック次元正確率、ページ次元正確率と設定することができる。

ステップ３０８、ターゲットラベリングオブジェクトごとに割り当てられた一部のラベリング対象データに対し、一部のラベリング対象データのコンテンツ上存在する依存関係と因果関係とに基づいて、対応する大きさの係数を用いてプロセス監視パラメータに重み付けを行い、総合的な正確率を得る。

一の実施形態として、因果関係または依存関係にある少なくとも２つのラベリング結果のうちの先のラベリング結果のエラーに応答して、後のラベリング結果の係数を０に設定することを含むが、これに限定されない。すなわち、「因果」関係における「因」の１つのラベリング対象データにラベリングエラーが存在すると、その後の当該「因」に基づいて後続してラベリングされた「果」であるすべてのラベリング対象データは参照意義が完全に喪失することになる。

ステップ３０９、総合的な正確率がラベリング正確率要求を満たさないことに応答して、個人の総合的な正確率が最も低いターゲットラベリングオブジェクトを異常ラベリングオブジェクトと確定する。

ステップ３１０、異常ラベリングオブジェクトを制御して、その割り当てられた一部のラベリング対象データを再ラベリングする。

図２に示す実施形態が対象とする総合的な正確率がラベリング正確率要求を満たす場合とは異なり、本実施形態はステップ３０９～ステップ３０１０によって総合的な正確率がラベリング正確率要求を満たさない場合を補足的に説明することを目的とし、すなわち、総合的な正確率が最も低いターゲットラベリングオブジェクトをまず異常ラベリングオブジェクトとして確定し、続いて異常ラベリングオブジェクトを制御して、その割り当てられた一部のラベリング対象データを再ラベリングすることを考える。このようにして、総合的な正確率が配送要求を満たすことが可能な限り確保されるようにする。再ラベリングしても良い効果が得られない場合、その異常ラベリングオブジェクトを変更することを考えてもよい。例えば、候補ラベリングオブジェクトに変更して、再ラベリングする必要のある部分データを再ラベリングすることを考えてもよい。

本実施形態では、ステップ３０２～ステップ３０５により、適切なラベリングオブジェクトを如何に選択して後続のラベリングを行う方法を提供する。さらにステップ３０６～ステップ３０７により、ラベリング対象データにおける実際の最大階層差に基づいて、適切なプロセス監視パラメータを確定する具体的な実施形態を提供する。同時にさらにステップ３０８～ステップ３０１０により、図２に示した実施形態と異なる別の態様を提供し、すなわち総合的な正確率が配送要求を満たさない場合の実施形態を提供する。

なお、本実施形態が提供する前の実施形態とは異なる３つの具体的／分岐補足形態の間には依存関係及び因果関係が存在しているわけではなく、図２に示す実施形態をそれぞれ組み合わせて単独の複数の実施形態を形成することができ、本実施形態は３つの具体的な／分岐の補足形態を同時に含む好適な実施形態として存在することを理解すべきである。

理解を深めるために、本願ではさらに具体的な応用シーンを踏まえて、具体的な実施形態を提供する。

１）クラウドサーバがクライアントから送信されたラベリング対象データと、その全体のラベリング正確率が９０％以上であるラベリング正確率要求とを受信する。

２）クラウドサーバは自然言語処理技術によって該テキスト類ラベリング対象データが属する技術分野を解析し、Ａ技術分野に属する技術テキストの結論を得る。

３）クラウドサーバはＡ技術分野で以前に技術テキストのラベリングを行ったか否かを問い合わせ、以前にラベリングを行ったことがあることを発見し、そのために以前にＡ分野に対してラベリングしたことのある複数のラベリングオブジェクトの履歴ラベリング正確率を呼び出したことがある。

４）クラウドサーバは、履歴ラベリング正確率が９０％より大きい６つのラベリングオブジェクトをいずれも候補ラベリングオブジェクトとして選択し、且つそのうちの３つのラベリングオブジェクトをラベリング率の高から低の順でターゲットラベリングオブジェクト（それぞれＡ１、Ａ２、Ａ３とする）として選択する。

５）クラウドサーバは、ラベリング対象データを３つに分けた後にＡ１、Ａ２、Ａ３それぞれの所在する端末装置に送信し、且つ同時に階層が３であるプロセス監視パラメータ要求、およびコンテンツの因果関係に基づく重み付けロジックを送信する。

６）端末装置は、受信したラベリング対象データ、要求、重み付けロジックに基づいて、ラベリング結果を解析および処理し、異常がある場合はクラウドサーバに報告する。

７）クラウドサーバは、Ａ３のラベリングオブジェクトに対して一部のラベリング対象データのラベリング正確率が０であることを発見し、且つその総合的な正確率が９０％未満であることを招き、それによって、因果関係が存在する異なるラベリング対象データの「因」部分に深刻なラベリングエラーが発生したことを判別し、一回の再ラベリング機会を与える。

８）クラウドサーバは、再度Ａ３の再ラベリング結果を解析し、今回のラベリングの総合的な正確率が９３％で、Ａ１とＡ２の間にあり、全体的に配送要求に合致すると認め、ラベリング済みデータをクライアントに出力する。

更に図４を参照すると、上記の図に示された方法の実施態様として、本願は、データをラベリングするための装置の一実施形態を提供し、該装置の実施形態は、図２に示された方法の実施形態に対応しており、該装置は具体的に様々な電子機器に適用することができる。

図４に示すように、本実施形態のデータをラベリングするための装置４００は、要求取得ユニット４０１と、プロセス監視パラメータ確定ユニット４０２と、ラベリングコンテンツ重み付けユニット４０３と、ラベリングデータ出力ユニット４０４とを含んでもよい。ここで、要求取得ユニット４０１は、ラベリング対象データに対するラベリング正確率要求を取得するように構成されている。プロセス監視パラメータ確定ユニット４０２は、ラベリング対象データとマッチングするプロセス監視パラメータを確定するように構成されている。ここで、プロセス監視パラメータは、階層が順次高くなる複数の次元正確率のうちの少なくとも一つを含む。ラベリングコンテンツ重み付けユニット４０３は、異なるラベリング対象データのコンテンツ上存在する依存関係と因果関係とに基づいて、対応する大きさの係数を用いてプロセス監視パラメータに重み付けを行い、総合的な正確率を得るように構成されている。ラベリングデータ出力ユニット４０４は、総合的な正確率がラベリング正確率要求を満たすことに応答して、ラベリング済みデータを出力するように構成されている。

本実施形態において、データをラベリングするための装置４００において、要求取得ユニット４０１と、プロセス監視パラメータ確定ユニット４０２と、ラベリングコンテンツ重み付けユニット４０３と、ラベリングデータ出力ユニット４０４の具体的な処理及びそれによる技術的効果はそれぞれ図２の対応する実施形態におけるステップ２０１～２０４の関連する説明を参照することができ、ここで説明を省略する。

本実施形態のいくつかのオプション的な実施形態において、ラベリングコンテンツ重み付けユニット４０３は、さらに
因果関係または依存関係にある少なくとも２つのラベリング結果のうちの先のラベリング結果のエラーに応答して、後のラベリング結果の係数を０に設定するように構成される。

本実施形態のいくつかのオプション的な実施形態において、データをラベリングするための装置４００は、さらに
異なるラベリング対象データのコンテンツ上存在する依存関係と因果関係に基づいて、対応する大きさの係数を用いてプロセス監視パラメータに重み付けを行う前に、ラベリング対象データと同じタイプのラベリング済みデータを選択し、且つラベリング済みデータに対するラベリング正確率に基づいてターゲットラベリングオブジェクトを確定するように構成されるターゲットラベリングオブジェクト確定ユニットをさらに含んでもよく、
ラベリングコンテンツ重み付けユニット４０３は、さらに、
ターゲットラベリングオブジェクトごとに割り当てられた一部のラベリング対象データに対し、一部のラベリング対象データのコンテンツ上存在する依存関係と因果関係とに基づき、対応する大きさの係数を用いてプロセス監視パラメータに重み付けを行うように構成されてもよい。

本実施形態のいくつかのオプション的な実施形態において、プロセス監視パラメータは、階層が順次高くなる要素次元正確率、データ次元正確率、トピック次元正確率、ページ次元正確率およびバッチ次元正確率のうちの少なくとも一つを含む。ここで、要素次元は最小単位のラベリング情報を指し、後の次元はいずれも複数の直前の次元のアグリゲーションである。

本実施形態のいくつかのオプション的な実施形態において、プロセス監視パラメータ確定ユニット４０２は、さらに
ラベリング対象データに含まれる異なるラベリング対象オブジェクトの間の最大階層差を確定し、
最大階層差の数と一致する複数の次元正確率をプロセス監視パラメータとして選択するように構成されてもよい。

本実施形態のいくつかのオプション的な実施形態において、データをラベリングするための装置４００は、さらに
総合的な正確率がラベリング正確率の要求を満たさないことに応答して、個人の総合的な正確率が最も低いターゲットラベリングオブジェクトを異常ラベリングオブジェクトとして確定するように構成される異常ラベリングオブジェクト確定ユニットと、
異常ラベリングオブジェクトを制御して、その割り当てられた一部のラベリング対象データを再ラベリングするように構成される異常処理装置ユニットとを含んでもよい。

本実施形態は上記方法の実施形態に対応する装置の実施形態として存在し、本実施形態の提供するデータをラベリングするための装置は、まず適切なプロセス監視パラメータを確定してラベリングプロセスを監視し、且つラベリングプロセスの監視中にラベリング対象データの異なるコンテンツの間の因果関係と依存関係とに基づいて、因果関係と依存関係とに合致する重み係数を設定することにより、重み付け後に得られた総合的な正確率が実際のラベリング状況をより正確に記述することができるようにし、それにより総合的な正確率の管理と制御に基づいて無効ラベリング動作の発生を回避させ、ラベリング効率を向上させることができる。

本願の実施形態によれば、本願はさらに電子機器、コンピュータ可読記憶媒体およびコンピュータプログラムを提供する。

図５は、本願の実施形態を実施するために使用できる例示的な電子機器５００の概略ブロック図を示している。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、メインフレームコンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似するコンピューティングデバイス等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも一例であり、ここで記述および／または要求した本願の実施形態を限定することを意図するものではない。

図５に示すように、電子機器５００は、読み出し専用メモリ（ＲＯＭ）５０２に記憶されているコンピュータプログラム又は記憶ユニット５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされたコンピュータプログラムによって様々な適当な動作及び処理を実行することができる演算ユニット５０１を備える。ＲＡＭ５０３には、電子機器５００の動作に必要な様々なプログラム及びデータが更に格納されることが可能である。演算ユニット５０１、ＲＯＭ５０２及びＲＡＭ５０３は、バス５０４を介して互いに接続されている。入／出力（Ｉ／Ｏ）インターフェース５０５もバス５０４に接続されている。

電子機器５００において、キーボード、マウスなどの入力ユニット５０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット５０７と、磁気ディスク、光ディスクなどの記憶ユニット５０８と、ネットワークカード、モデム、無線通信送受信機などの通信ユニット５０９とを含む複数のコンポーネントは、Ｉ／Ｏインターフェース５０５に接続されている。通信ユニット５０９は、電子機器５００がインターネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他の装置と情報又はデータのやりとりを可能にする。

演算ユニット５０１は、処理及び演算機能を有する様々な汎用及び／又は専用処理コンポーネントであってもよい。演算ユニット５０１のいくつかの例としては、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）演算チップ、機械学習モデルアルゴリズムを実行する様々な演算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。演算ユニット５０１は、上述した、データをラベリングするための方法のような様々な方法および処理を実行する。例えば、いくつかの実施形態では、データをラベリングするための方法は、記憶ユニット５０８などの機械可読媒体に有形に含まれるコンピュータソフトウェアプログラムとして実装されてもよい。いくつかの実施形態では、コンピュータプログラムの一部又は全部は、ＲＯＭ５０２及び／又は通信ユニット５０９を介して電子機器５００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ５０３にロードされ、演算ユニット５０１によって実行されるとき、上述のデータをラベリングするための方法の１つまたは複数のステップを実行可能である。あるいは、他の実施形態では、演算ユニット５０１は、他の任意の適切な形態によって（例えば、ファームウェアによって）データをラベリングするための方法を実行するように構成されていてもよい。

ここで説明するシステム及び技術の様々な実施形態はデジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの各実施形態は、１つ又は複数のコンピュータプログラムに実装され、該１つ又は複数のコンピュータプログラムは少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行及び／又は解釈することができ、該プログラマブルプロセッサは専用又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも一つの入力装置及び少なくとも一つの出力装置からデータ及び指令を受信することができ、且つデータ及び指令を該記憶システム、該少なくとも一つの入力装置及び該少なくとも一つの出力装置に伝送することを含み得る。

本願の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語のあらゆる組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサまたはコントローラに提供されることができ、これらのプログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図に規定された機能または動作が実施される。プログラムコードは、完全にデバイス上で実行されることも、部分的にデバイス上で実行されることも、スタンドアロンソフトウェアパッケージとして部分的にデバイス上で実行されながら部分的にリモートデバイス上で実行されることも、または完全にリモートデバイスもしくはサーバ上で実行されることも可能である。

本願のコンテキストでは、機械可読媒体は、有形の媒体であってもよく、コマンド実行システム、装置またはデバイスが使用するため、またはコマンド実行システム、装置またはデバイスと組み合わせて使用するためのプログラムを含むか、または格納することができる。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線の、または半導体のシステム、装置または機器、またはこれらのあらゆる適切な組み合わせを含むことができるが、これらに限定されない。機械可読記憶媒体のより具体的な例には、１本または複数本のケーブルに基づく電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、またはこれらのあらゆる適切な組み合わせが含まれ得る。

ユーザとのインタラクションを提供するために、ここで説明するシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（ＣａｔｈｏｄｅＲａｙＴｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実装することができ、ユーザが該キーボード及び該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置もユーザとのやりとりを行うことに用いることができる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力若しくは触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。

ここで説明したシステム及び技術は、バックグラウンドコンポーネントを含むコンピューティングシステム（例えば、データサーバ）に実施されてもよく、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）に実施されてもよく、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは該グラフィカルユーザインタフェース又はウェブブラウザを介してここで説明したシステム及び技術の実施形態とインタラクションしてもよく、又はこのようなバックグラウンドコンポーネント、ミドルウェアコンポーネント又はフロントエンドコンポーネントのいずれかの組み合わせを含むコンピューティングシステムに実施されてもよい。また、システムの各コンポーネントの間は、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットなどを含む。

コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してやりとりを行う。クライアントとサーバとの関係は、互いにクライアント－サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。サーバはクラウドサーバであってもよく、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムにおけるホスト製品であり、従来の物理ホストと仮想専用サーバ（ＶＰＳ、Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ）サービスにおける管理の難しさが大きく、ビジネス拡張性が弱いという欠陥を解決する。

本実施形態により提供される技術方案は、まず適切なプロセス監視パラメータを確定してラベリングプロセスを監視し、且つラベリングプロセスの監視中にラベリング対象データの異なるコンテンツの間の因果関係と依存関係とに基づいて、因果関係と依存関係とに合致する重み係数を設定することにより、重み付け後に得られた総合的な正確率が実際のラベリング状況をより正確に記述することができるようにし、それにより総合的な正確率の管理と制御に基づいて無効ラベリング動作の発生を回避させ、ラベリング効率を向上させる。

なお、上述した様々な形態のフローを用いて、ステップを並び替え、追加または削除を行うことができることを理解されるべきである。例えば、本開示に記載された各ステップは、本開示に開示された技術方案の所望の結果が達成される限り、並行して実行されてもよく、順番に実行されてもよく、異なる順序で実行されてもよい。本明細書はここで制限はしない。

上記具体的な実施形態は、本願の保護範囲を限定するものではない。当業者であれば、設計要求および他の要因に応じて、様々な修正、組み合わせ、副次的な組み合わせ、および置換を行うことができることを理解すべきである。本願の趣旨および原理を逸脱することなく行われたあらゆる修正、均等置換および改善などは、いずれも本願の保護範囲内に含まれるべきである。

Claims (15)

1. データをラベリングするための装置により実行される方法であって、
   ラベリング対象データに対するラベリング正確率要求を取得することと、
   前記ラベリング対象データとマッチングするプロセス監視パラメータを確定することであって、前記プロセス監視パラメータは階層が順次高くなる複数の次元正確率のうちの少なくとも一つを含むことと、
   異なるラベリング対象データのコンテンツ上存在する依存関係と因果関係とに基づいて、対応する大きさの係数を用いて前記プロセス監視パラメータに重み付けを行い、総合的な正確率を得ることと、
   前記総合的な正確率が前記ラベリング正確率要求を満たしたことに応答して、ラベリング済みデータを出力することと、を含む方法。
2. 前記の、異なるラベリング対象データのコンテンツ上存在する依存関係と因果関係とに基づいて、対応する大きさの係数を用いて前記プロセス監視パラメータに重み付けを行うことは、
   因果関係または依存関係にある少なくとも２つのラベリング結果のうちの先のラベリング結果のエラーに応答して、後のラベリング結果の係数を０に設定することを含む請求項１に記載の方法。
3. 異なるラベリング対象データのコンテンツ上存在する依存関係と因果関係とに基づいて、対応する大きさの係数を用いて前記プロセス監視パラメータに重み付けを行う前に、さらに
   前記ラベリング対象データと同じタイプのラベリング済みデータを選択し、前記ラベリング済みデータに対するラベリング正確率に基づいてターゲットラベリングオブジェクトを確定することを含み、
   前記の、異なるラベリング対象データのコンテンツ上存在する依存関係と因果関係とに基づいて、対応する大きさの係数を用いて前記プロセス監視パラメータに重み付けを行うことは、
   前記ターゲットラベリングオブジェクトごとに割り当てられた一部のラベリング対象データに対し、前記一部のラベリング対象データのコンテンツ上存在する依存関係と因果関係とに基づいて、対応する大きさの係数を用いて前記プロセス監視パラメータに重み付けを行うことを含む請求項１に記載の方法。
4. 前記プロセス監視パラメータは、階層が順次高くなる要素次元正確率、データ次元正確率、トピック次元正確率、ページ次元正確率及びバッチ次元正確率のうちの少なくとも一つを含み、
   要素次元は最小単位のラベリング情報を指し、後の次元はいずれも複数の直前の次元のアグリゲーションである、請求項１に記載の方法。
5. 前記の、前記ラベリング対象データとマッチングするプロセス監視パラメータを確定することは、
   前記ラベリング対象データに含まれる異なるラベリング対象オブジェクト間の最大階層差を確定することと、
   前記最大階層差の数と一致する複数の次元正確率を前記プロセス監視パラメータとして選択することとを含む請求項４に記載の方法。
6. 前記総合的な正確率が前記ラベリング正確率要求を満たさないことに応答して、個人の総合的な正確率が最も低いターゲットラベリングオブジェクトを異常ラベリングオブジェクトとして確定することと、
   前記異常ラベリングオブジェクトを制御して、前記割り当てられた一部のラベリング対象データを再ラベリングすることとを含む請求項３に記載の方法。
7. ラベリング対象データのラベリング正確率要求を取得するように構成される要求取得ユニットと、
   前記ラベリング対象データとマッチングするプロセス監視パラメータを確定するように構成され、前記プロセス監視パラメータは階層が順次高くなる複数の次元正確率のうちの少なくとも一つを含む、プロセス監視パラメータ確定ユニットと、
   異なるラベリング対象データのコンテンツ上存在する依存関係と因果関係とに基づいて、対応する大きさの係数を用いて前記プロセス監視パラメータに重み付けを行い、総合的な正確率を得るように構成されるラベリングコンテンツ重み付けユニットと、
   前記総合的な正確率が前記ラベリング正確率要求を満たしたことに応答し、ラベリング済みデータを出力するように構成されるラベリングデータ出力ユニットと、を含む、データをラベリングするための装置。
8. 前記ラベリングコンテンツ重み付けユニットは、さらに
   因果関係または依存関係にある少なくとも２つのラベリング結果のうちの先のラベリング結果のエラーに応答して、後のラベリング結果の係数を０に設定するように構成される請求項７に記載の装置。
9. 異なるラベリング対象データのコンテンツ上存在する依存関係と因果関係とに基づいて、対応する大きさの係数を用いて前記プロセス監視パラメータに重み付けを行う前に、前記ラベリング対象データと同じタイプのラベリング済みデータを選択し、且つ前記ラベリング済みデータに対するラベリング正確率に基づいてターゲットラベリングオブジェクトを確定するように構成されるターゲットラベリングオブジェクト確定ユニットをさらに含み、
   前記ラベリングコンテンツ重み付けユニットは、さらに
   前記ターゲットラベリングオブジェクトごとに割り当てられた一部のラベリング対象データに対し、前記一部のラベリング対象データのコンテンツ上存在する依存関係と因果関係とに基づいて、対応する大きさの係数を用いて前記プロセス監視パラメータに重み付けを行うように構成される請求項７に記載の装置。
10. 前記プロセス監視パラメータは、階層が順次高くなる要素次元正確率、データ次元正確率、トピック次元正確率、ページ次元正確率及びバッチ次元正確率のうちの少なくとも一つを含み、
    要素次元は最小単位のラベリング情報を指し、後の次元はいずれも複数の直前の次元のアグリゲーションである請求項７に記載の装置。
11. 前記プロセス監視パラメータ確定ユニットは、さらに
    前記ラベリング対象データに含まれる異なるラベリング対象オブジェクト間の最大階層差を確定することと、
    前記最大階層差の数と一致する複数の次元正確率を前記プロセス監視パラメータとして選択することとを行うように構成される請求項１０に記載の装置。
12. 前記総合的な正確率が前記ラベリング正確率要求を満たさないことに応答し、個人の総合的な正確率が最も低いターゲットラベリングオブジェクトを異常ラベリングオブジェクトとして確定するように構成される異常ラベリングオブジェクト確定ユニットと、
    前記異常ラベリングオブジェクトを制御して、前記割り当てられた一部のラベリング対象データを再ラベリングするように構成される異常処理装置ユニットとをさらに含む請求項９に記載の装置。
13. 少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、
    前記メモリには、前記少なくとも一つのプロセッサによって実行可能な指令が格納され、前記少なくとも一つのプロセッサが、請求項１～６のいずれか一項に記載のデータをラベリングするための方法を実行するように、前記指令が前記少なくとも一つのプロセッサによって実行される、電子機器。
14. コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、
    前記コンピュータ指令はコンピュータに請求項１～６のいずれか一項に記載のデータをラベリングするための方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体。
15. プロセッサによって実行されると、請求項１～６のいずれか一項に記載のデータをラベリングするための方法が実現されるコンピュータ指令を含む、コンピュータプログラム。

Images