JP7284786B2 - データをラベリングするための方法、装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラム - Google Patents

Description

本願の実施形態は、コンピュータ技術分野に関し、具体的には、データラベリングおよび深層学習技術分野に関し、特にデータをラベリングするための方法および装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラムに関する。

近年、人工知能アルゴリズムの段階的な実装に伴い、データラベリングのニーズが爆発的に増加しており、ラベリング業務の急成長をもたらした。日々増加するさまざまなラベリングニーズに応えるために、異なるラベリング作業員によるサポートが必要となる。

関連技術では、画像、音声などの異なるラベリングシーンに対して、カスタマイズして対応するラベリングツールを開発した。例えば、画像ラベリングツールは画像フレームをサポートすることができる。さまざまなラベリングツールの開発は大量の労力と物を費やした。

データをラベリングするための方法、装置、電子機器、記憶媒体およびコンピュータプログラムを提供する。

第１の態様によれば、データをラベリングするための方法であって、ラベリング対象データおよび前記ラベリング対象データのラベリング要求（ｌａｂｅｌｉｎｇ ｒｅｑｕｉｒｅｍｅｎｔｓ）を取得することと、ラベリング要求を満たすラベリングモードタイプを決定することであって、ラベリングモードタイプはラベリング要求を満たすために、ラベリング対象データをラベリングするための方法のタイプであることと、ラベリング要求に基づき、ラベリングモードタイプに合致するラベリングタイトルを生成することであって、ラベリングタイトルはラベリングツールにラベリングコンテンツを提示するために用いられることと、ラベリングタイトルのタイトル論理関係を決定し、ラベリング対象データ、ラベリングタイトルおよびタイトル論理関係を含むラベリングツールを生成することと、を含む、データをラベリングするための方法を提供する。

第２の態様によれば、ラベリング対象データおよび前記ラベリング対象データのラベリング要求を取得するように構成される取得ユニットと、ラベリング要求を満たすラベリングモードタイプを決定するように構成され、ここで、ラベリングモードタイプはラベリング要求を満たすために、ラベリング対象データをラベリングするための方法のタイプである決定ユニットと、ラベリング要求に基づき、ラベリングモードタイプに合致するラベリングタイトルを生成するように構成され、ここで、ラベリングタイトルはラベリングツールにラベリングコンテンツを提示するために用いられるタイトル生成ユニットと、ラベリングタイトルのタイトル論理関係を決定し、ラベリング対象データ、ラベリングタイトル、およびタイトル論理関係を含むラベリングツールを生成するように構成されるツール生成ユニットと、を含む、データをラベリングするための装置を提供する。

第３の態様によれば、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、メモリには、少なくとも１つのプロセッサによって実行可能な指令が格納され、指令が少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサにデータをラベリングするための方法のうちのいずれかの実施形態の方法を実行させる、電子機器を提供する。

第４の態様によれば、コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、コンピュータ指令はコンピュータにデータをラベリングするための方法のうちのいずれかの実施形態の方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体を提供する。

第５の態様によれば、プロセッサによって実行されると、データをラベリングするための方法のうちのいずれかの実施形態の方法が実現されるコンピュータプログラムを提供する。

本願の解決手段によれば、異なるラベリング対象データとラベリング要求に対して、ラベリングモードタイプを決定することができ、それによりラベリング要求に対する適切な評価方法を見つけ、具体的なラベリング要求シーンに適合したラベリングツールを自動的、柔軟にカスタマイズすることができる。

本願の他の特徴、目的および利点は、以下の図面を参照してなされる非限定的な実施形態に係る詳細な説明を読むことにより、より明らかになる。
本願のいくつかの実施形態を適用可能な例示的なシステムアーキテクチャを示す図である。 本願に係るデータをラベリングするための方法の一実施形態を示すフローチャートである。 本願に係るデータをラベリングするための方法の一応用シーンを示す概略図である。 本願に係るデータをラベリングするための方法のもう一つの実施形態を示すフローチャートである。 本願に係るデータをラベリングするための方法の校正タイトルのラベリングコンテンツを示す概略図である。 本願のデータをラベリングするための方法に基づくラベリング対象データのラベリングモードタイプが転写タイプである場合に得られるラベリングツールの概略図である。 本願のデータをラベリングするための方法によるラベリング対象データのラベリングモードタイプが転写タイプである場合に得られるもう１つのラベリングツールの概略図である。 本願に係るデータをラベリングするための装置の一実施形態を示す構造概略図である。 本願に係るデータをラベリングするための装置のもう１つの実施形態を示す構造概略図である。 本願の実施形態に係るデータをラベリングするための方法が実装されるための電子機器のブロック図である。

以下は図面を参照して本願の例示的な実施形態を説明し、ここでは理解を助けるため、本願の実施形態の様々な詳細が記載されるが、これらは単なる例示であるに過ぎない。従って、本願の範囲および要旨を逸脱しない限り、当業者が本明細書の実施形態に対して様々な変更と修正を行うことができることを理解すべきである。なお、以下の説明では、明確化および簡略化のため、公知の機能および構成については説明を省略する。

なお、本願の実施形態および実施形態における特徴は、矛盾を生じない限り、相互に組み合わせることができる。以下、図面および実施形態を参照しながら本願を詳細に説明する。

図１は、本願に係るデータをラベリングするための方法またはデータをラベリングするための装置の実施形態が適用可能な例示的なシステムアーキテクチャ１００を示している。

図１に示すように、システムアーキテクチャ１００は、端末装置１０１、１０２、１０３と、ネットワーク１０４と、サーバ１０５とを含んでもよい。ネットワーク１０４は、端末装置１０１、１０２、１０３とサーバ１０５との間で通信リンクを提供するための媒体として使用される。ネットワーク１０４は、有線、無線通信リンクまたは光ファイバケーブルなどの様々なタイプの接続を含んでもよい。

ユーザは、メッセージを送受信する等のために、端末装置１０１、１０２、１０３を使用してネットワーク１０４を介してサーバ１０５と情報のやり取りをすることができる。端末装置１０１、１０２、１０３には、例えば、映像アプリケーション、生放送アプリケーション、インスタントコミュニケーションツール、メールボックスクライアント、ソーシャルプラットフォームソフトウェア等のような様々な通信クライアントアプリケーションをインストールすることができる。

端末装置１０１、１０２、１０３は、ハードウェアでもよく、ソフトウェアでもよい。端末装置１０１、１０２、１０３がハードウェアである場合、様々な電子機器であってもよく、スマートフォン、タブレットコンピュータ、電子書籍リーダ、ラップトップコンピュータおよびデスクトップコンピュータなどを含むが、これらに限定されない。端末装置１０１、１０２および１０３がソフトウェアである場合、上記の電子機器にインストールされてもよい。複数のソフトウェアまたはソフトウェアモジュール（例えば、分散サービスを提供するための複数のソフトウェアまたはソフトウェアモジュール）として実装されてもよく、または単一のソフトウェアまたはソフトウェアモジュールとして実装されてもよい。ここでは特に限定しない。

サーバ１０５は、様々なサービスを提供するサーバ、例えば、端末装置１０１、１０２、１０３をサポートするバックエンドサーバであってもよい。バックエンドサーバは、ラべリング対象データなどのデータに対して解析等の処理を行い、且つ処理結果（例えば、ラべリングツール）を端末装置にフィードバックすることができる。

なお、本願の実施形態により提供されるデータをラベリングするための方法はサーバ１０５または端末装置１０１、１０２、１０３により実行され得、それにより、データをラベリングするための装置はサーバ１０５または端末装置１０１、１０２、１０３に設けられてもよい。

なお、図１における端末装置、ネットワークおよびサーバの数は例示的なものに過ぎない。実装の必要性に応じて、端末装置、ネットワークおよびサーバの数を任意に加減してもよい。

次に、本願に係るデータをラベリングするための方法の一実施形態のフロー２００を示す図２を参照する。このデータをラベリングするための方法は、次のステップ（ステップ２０１～２０４）を含む。

ステップ２０１、ラベリング対象データおよびラベリング対象データのラベリング要求を取得する。

本実施形態において、データをラベリングするための方法を実行する実行主体（例えば図１に示すサーバまたは端末装置）は、ラベリング対象データ及び該ラベリング対象データをラベリングするためのラベリング要求を取得することができる。ラベリング要求とは、ラベリング対象データに対してラベリングが必要であること、すなわちラベリングがどのような目的を達成しようとするのかをいう。

具体的には、ラベリング対象データのタイプ、すなわちラベリング対象データタイプは、画像、音声、映像、テキスト、点群、およびウェブページを含んでもよい。つまり、これらはすべてラベリングされ得る。具体的には、ラベリング対象データの数は、１つまたは少なくとも２つ、例えば１０枚の画像であってもよい。

ステップ２０２、ラベリング要求を満たすラベリングモードタイプを決定し、ここで、ラベリングモードタイプは、ラベリング要求を満たすためにラベリング対象データに対して使用されるラベリング方式のタイプである。

本実施形態において、上記実行主体はラベリング要求を満たすラベリングモードタイプを決定することができる。ラベリングモードタイプは、ラベリング要求を満たすために、ラベリング対象データに採用されるラベリング方式のタイプである。例えば、ラベリングモードタイプは抽出タイプであり、該抽出タイプに含まれるラベリング方式は音声インターセプション、画像インターセプションなどを含んでもよい。

実際には、上記実行主体は、様々な方法で、ラベリング要求を満たすラベリングモードタイプを決定することができる。例えば、上記実行主体はラベリング要求、ラベリングモードタイプとの間のマッピング関係（すなわち対応関係表）を取得し、且つラベリング要求のマッピングされたラベリングモードタイプを探すことができる。また、上記実行主体は、ラベリング要求を既定モデルに入力し、当該既定モデルから出力されるラベリングモードタイプを取得するようにしてもよい。該既定モデルは、ラベリング要求によってラベリングモードタイプを決定（例えば、予測）するために用いられる。

あるいは、上記実行主体は、ラベリング対象データのラベリング対象データのタイプを取得し、ラベリング対象データのタイプとラベリング要求の両方に基づいて、ラベリングモードタイプを決定してもよい。例えば、上記実行主体は、ラベリング要求とラベリング対象データタイプを事前設定モデルに入力し、該事前設定モデルから出力されたラベリングモードタイプを得ることができる。この事前設定モデルは、ラベリング要求とラベリング対象データタイプにより、ラベリングモードタイプを決定（例えば、予測）するために使用され得る。また、ラベリング対象データタイプとラベリング要求の両方と、ラベリングモードタイプとの間のマッピングを取得して、取得したラベリング要求のラベリングモードタイプを決定してもよい。

ステップ２０３、ラベリング要求に基づいて、ラベリングモードタイプに適合したラベリングタイトルを生成し、ここで、ラベリングタイトルはラベリングツールにラベリングコンテンツを提示するために用いられる。

本実施形態において、上記実行主体はラベリング要求に基づき、ラベリングモードタイプに適合したラベリングタイトルを生成することができる。実際に、上記実行主体は様々な方式でラベリングモードタイプに適合したラベリングタイトルを生成してもよい。例えば、上記実行主体は、指定モデルにラベリング要求とラベリングモードタイプを入力し、その指定モデルから出力されたラベリングタイトルを取得してもよい。該指定モデルは、ラベリング要求とラベリングモードタイプを使用して、ラベリングモードタイプに適合したラベリングタイトルを決定（例えば、予測）するために使用される。また例えば、上記実行主体は、ラベリング要求、ラベリングモードタイプの両者と、ラベリングタイトルとのマッピング関係を取得し、ラベリング要求、ラベリングモードタイプがマッピングされたラベリングタイトルを探すことができる。

上記の既定モデル、事前設定モデルおよび指定モデルのいずれかは、各種の数式、アルゴリズムまたは深層ニューラルネットワークなどであってもよい。

具体的には、ラベリングタイトルは、ラベリングツールにおいて、ラベリングコンテンツを（ラベリング作業員に）提示するために使用される。例えば、ラベリングタイトルは「画像がクリアであるか」、及び「はい」と「いいえ」の２つのオプションである。このラベリングタイトルは、ラベリングコンテンツが「はい」と「いいえ」の２つのオプションがそれぞれ対応する「画像がクリアである」と「画像がクリアでない」ことを提示するために使用できる。

ステップ２０４、ラベリングタイトルのタイトル論理関係を決定し、ラベリング対象データ、ラベリングタイトルおよびタイトル論理関係を含むラベリングツールを生成する。

本実施形態において、上記実行主体はラベリングツールを生成することができ、具体的には、該ラベリングツールはラベリング対象データおよびラベリングタイトルを含む。ラベリングツールはラベリングコンテンツ、すなわちラベリングすべきコンテンツをラベリング作業員に提示するために使用することができ、このようにして、ラベリング作業員は該ラベリングツールを使用してラベリング対象データをラベリングすることができる。

タイトル論理関係とはラベリングタイトル間の論理関係をいう。ラベリングタイトルが１つ存在する場合、決定されたタイトル論理関係はＮＵＬＬであり、ラベリングタイトルが少なくとも２つ存在する場合、決定されたタイトル論理関係は各ラベリングタイトル間の関係になる。具体的には、タイトル論理関係は、様々な方式によって決定することができ、例えば、ラベリングタイトルにそれぞれ対応するラベリングモードタイプと、ラベリングタイトルにそれぞれ対応するラベリングモードタイプに予め設定された対応関係（例えば、対応関係テーブルまたはモデル）に基づいて決定され、該対応関係は、ラベリングタイトルにそれぞれ対応するラベリングモードタイプとタイトル論理関係との間の対応関係を示すことができる。

タイトル論理関係は例えばラベリング順序など、様々な関係であってもよい。ラベリング順序とは、ラベリングタイトル間の表示順序を指し、同時にラベリング作業員によるラベリングタイトルの完了順序でもあり、およびラベリングタイトルに関するラベリングコンテンツの生成順序でもある。

本願の上記実施形態により提供される方法は、異なるラベリング対象データとラベリング要求に対し、ラベリングモードタイプを決定することができ、それによりラベリング要求に対する適切な評価方法を見つけ、具体的なラベリング要求シーンに適合したラベリングツールを自動的、柔軟にカスタマイズすることができる。

次に、図３を参照し、図３は、本実施形態に係るデータをラベリングするための方法の応用シーンを示す概略図である。図３の応用シーンにおいて、実行主体３０１は、ラベリング対象データ３０２およびラベリング対象データのラベリング要求３０３を取得し、ラベリング要求３０３に基づいて、ラベリング要求３０３を満たすラベリングモードタイプ３０４を決定し、ラベリングモードタイプは、ラベリング要求を満たすためにラベリング対象データに用いられるラベリング方式のタイプである。実行主体３０１は、ラベリング要求３０３に基づいて、ラベリングモードタイプ３０４に適合したラベリングタイトル３０５を生成し、ここで、ラベリングタイトル３０５はラベリングツールにラベリングコンテンツを提示するために使用される。実行主体３０１は、ラベリングタイトルのタイトル論理関係を判定し、ラベリング対象データ３０１と、ラベリングタイトル３０５と、タイトル論理関係とを含むラベリングツール３０６を生成する。

本願のいずれかの実施形態のいくつかのオプション的な実施形態において、前記ラベリングモードタイプは必要なラベリングモードタイプを含み、または必要なラベリングモードタイプおよび付加的なラベリングモードタイプを含む。

これらのオプション的な実施形態では、ラベリング要求ごとのラベリングモードタイプは、少なくとも１つであってもよく、すなわち、１つまたは少なくとも２つであってもよい。必要なラベリングモードタイプとは、ラベリング要求が直接指示する、必要なラベリングモードタイプである。付加的なラベリング方式は、ラベリング効果を高め、より良い訓練サンプルを得るためのラベリング方式である。

例えば、ラベリング要求は、画像内の障害物をラベリングすることであり、すると、必要なラベリングモードタイプは、画像内にターゲットボックスをラベリングする抽出タイプであってもよい。ラベリングの最終的な目的は、モデルを訓練するためのサンプルを生成することであるので、画像が非常にぼやけている場合には、訓練するためのサンプルとすることができなくなる。したがって、フィルタリング画像（すなわち、スクリーニング画像）を含むクレンジングタイプを付加的なラベリングモードタイプとすることができ、ここようにすると、解像度が低い（例えば、閾値より低い）画像を最初にフィルタリングすることができる。すなわち、画像の解像度が低い場合には、フィルタリングされ、抽出タイプのラベリングタイトルのラベリングを経ることはない。

これらの実施形態において、必要なラベリングモードタイプと付加的なラベリングモードタイプを採用することができ、より全面的で、正確なラベリング過程を実現し、さらに正確なトレーニングサンプルを生成する。

これらの実施形態のいくつかのオプション的な応用シーンにおいて、少なくとも１つのラベリングモードタイプは必要なラベリングモードタイプと付加的なラベリングモードタイプを含む。上記ラベリングタイトルのタイトル論理関係を決定し、ラベリング対象データとラベリングタイトルを含むラベリングツールを生成することは、必要なラベリングモードタイプと付加的なラベリングモードタイプにそれぞれ対応するラベリングタイトルの間のタイトル論理関係を決定することであって、タイトル論理関係はラベリング順序および／または表示制限関係を含むことと、ラベリング対象データ、タイトル論理関係およびラベリングタイトルを含むラベリングツールを生成することとを含む。

これらの応用シーンでは、ラベリングツールにはタイトル論理関係も含まれ得る。上記実行主体は、異なるラベリングモードタイプに対応するラベリングタイトル間のタイトル論理関係を決定することができる。異なるラベリングモードタイプに対応するラベリングタイトル間のタイトル論理関係は、予め設定されたものでもよく、モデル（例えば予め訓練された深層ニューラルネットワーク）によってリアルタイムに決定したものでもよい。ラベリングモードタイプに対応するラベリングタイトルとは、そのラベリングモードタイプに適合したラベリングタイトルをいう。

表示制限関係とは、ラベリング順序が先であるラベリングタイトルのラベリングコンテンツが、ラベリング順序が後であるラベリングタイトルが表示状態であるか否かに影響を及ぼし、表示状態はユーザ（すなわち、ラベリング作業員）が該ラベリングタイトルに対して作業可能であるか否かを示す。

これらのオプション的な応用シーンは、ラベリングツールにタイトル論理関係を追加することができ、これにより、無効なラベリングまたは効果の悪いラベリングを回避させ、ラベリングの効率とラベリングの精度を向上させる。

オプション的に、必要なラベリングモードタイプと付加的なラベリングモードタイプはそれぞれ抽出タイプとクレンジングタイプであり、タイトル論理関係はラベリング順序と表示制限関係を含み、ラベリング順序はクレンジングタイプのラベリングタイトルのラベリングコンテンツを受信した後、抽出タイプのラベリングタイトルのラベリング動作を受信することを示す。ラベリングツールの表示過程は、ラベリングツールにおけるクレンジングタイプに対応するラベリングタイトルに対するラベリング動作を受信したことに応答し、該ラベリング動作のラベリングコンテンツを決定し、表示制限関係と該ラベリングコンテンツに基づいて、抽出タイプに対応するラベリングタイトルの表示状態を決定することであって、表示状態は動作可能表示状態または動作不可表示状態であることと、決定された表示状態が動作可能表示状態であることに応答し、動作可能な状態で抽出タイプに対応するラベリングタイトルを表示することと、決定された表示状態は動作不可表示状態であることに応答し、動作不可能な状態で抽出タイプに対応するラベリングタイトルを表示し、または抽出タイプに対応するラベリングタイトルを表示しないこととを含む。

具体的には、ラベリング順序は、ラベリング作業員がまずクレンジングタイプのラベリングタイトルに対してラベリング動作を行い、その後抽出タイプのラベリングタイトルに対してラベリング動作を行うようにする。画像を例示する、表示制限関係は、クレンジングタイプに対応するラベリングタイトルのラベリングコンテンツが画像の解像度が低いことを示す場合、抽出タイプに対応するラベリングタイトルの表示状態が動作不可表示状態であることを示す。ラベリング順序は、クレンジングタイプのラベリングタイトルのラベリングコンテンツを受信する前に、抽出タイプのラベリングタイトルのラベリング動作が使用禁止されることを示す。ラベリング動作が使用禁止されることは、電子機器がラベリング動作を受信できないことを意味するもので、このように、ユーザはラベリングタイトルに対してラベリング動作を行うことができない。

動作不可状態で表示されているラベリングタイトルは、ユーザがそれに対して動作できない特性を示す。例えば、ラベリングタイトルを動作不可状態で表示することは、そのラベリングタイトルの色の深さを暗くしたり、「使用不可」などの文字を表示したりすることができる。

これらのオプション的な応用シーンは、タイトル論理関係を介して、ラベリング作業員のラべリング動作を案内し、かつ表示を介して有効な動作制限を行うことにより、ラベリング作業員が無効なラベリングを行うこと又は効果の悪いラベリングを行うことを避けることができる。

更に、データをラベリングするための方法のもう一つの実施形態のフロー４００を示す図４Ａを参照する。該フロー４００は、次のステップを含む。

ステップ４０１、ラベリング対象データおよびラベリング対象データのラベリング要求を取得する。

本実施形態において、データをラベリングするための方法が実行される実行主体（例えば図１に示すサーバまたは端末装置）は、ラベリング対象データ及び該ラベリング対象データをラベリングするためのラベリング要求を取得することができる。ラベリング要求とは、ラベリング対象データに対してラベリングが必要であること、すなわちラベリングがどのような目的を達成するかをいう。

ステップ４０２、ラベリング要求を満たすラベリングモードタイプを決定し、ここで、ラベリングモードタイプは、ラベリング要求を満たすためにラベリング対象データに採用されるラベリング方式のタイプである。

本実施形態において、上記実行主体はラベリング要求を満たすラベリングモードタイプを決定することができる。ラベリングモードタイプは、ラベリング要求を満たすために、ラベリング対象データに採用されるラベリング方式のタイプである。例えば、ラベリングモードタイプは抽出タイプであり、該抽出タイプに含まれるラベリング方式は音声インターセプション、画像インターセプションなどを含んでもよい。

ステップ４０３、ラベリングモードタイプに対応する少なくとも１つのラベリングタイトルタイプの中から、ラベリング要求に対応するラベリングタイトルタイプをターゲットタイトルタイプとして決定する。

本実施形態において、上記実行主体はラベリング要求に基づき、ラベリングモードタイプに対応する少なくとも１つのラベリングタイトルタイプにおいて、ラベリングタイトルタイプ（例えば１つのラベリングタイトルタイプ）をターゲットタイトルタイプとして決定することができる。

実際には、ラベリングモードタイプごとに、対応する少なくとも１つのラベリングタイトルタイプが存在する。例えば、ラベリングモードタイプがクレンジングタイプである場合、ラベリングタイトルタイプは、選択肢選択タイプとドロップダウンボックス選択タイプとを含んでもよい。ここで、選択肢選択タイプには、選択肢単一選択、選択肢複数選択が含まれる。ドロップダウンボックス選択タイプは、ドロップダウンボックス単一選択とドロップダウンボックス複数選択を含んでもよい。したがって、ラベリングタイトルタイプは、選択肢単一選択、選択肢複数選択、ドロップダウンボックス単一選択、およびドロップダウンボックス複数選択の４つのタイトルタイプに対応することができる。

上記実行主体は、少なくとも１つのラベリングタイトルタイプのうち、ラベリング要求に対応するラベリングタイトルタイプをターゲットタイトルタイプとして決定してもよい。例えば、ラベリングタイトルタイプは４種類あり、それぞれ選択肢単一選択、選択肢複数選択、ドロップダウンボックス単一選択、ドロップダウンボックス複数選択である。ラベリング要求が「ラベリング画像がクリアであるか否か」を含む場合、上記実行主体は、当該ラベリング要求に適合したラベリングタイトルタイプが選択肢単一選択であると決定することができる。

オプション的に、ターゲットタイトルタイプを決定する場合、さらにラベリング対象データタイプに基づいて決定することができる。ラベリング対象データタイプとターゲットタイトルタイプとは対応関係が存在し得る。もちろん、ラベリング対象データタイプはラベリング要求から取得されてもよい。このように、上記実行主体は、ラベリング対象データタイプとラベリング要求とを組み合わせて、ターゲットタイトルタイプを総合的に決定することができる。

ステップ４０４、ラベリング要求に基づき、ターゲットタイトルタイプのラベリングタイトルを生成し、ここで、ラベリングタイトルはラベリングツールにラベリングコンテンツを提示するために用いられる。

本実施形態では、上記実行主体はラベリング要求に基づき、ターゲットタイトルタイプのラベリングタイトルを生成することができ、すなわち、生成された該ラベリングタイトルは該ターゲットタイトルタイプに適合している。

実際に、上記実行主体は様々な方式を採用してラベリング要求に応じて、ターゲットタイトルタイプのラベリングタイトルを生成することができる。例えば、上記実行主体は、ラベリング要求およびターゲットタイトルタイプを所定のモデルに入力し、当該所定のモデルから出力されたラベリングタイトルを取得することができる。当該所定のモデルは、ラベリング要求およびターゲットタイトルタイプに基づいて、ラベリングタイトルを決定（例えば、予測）することができる。さらに、上記実行主体は、ラベリング要求と候補ラベリングタイトルとの間のマッピング関係を取得し、取得したラベリング要求がマッピングされている候補ラベリングタイトルを該マッピング関係から探し、その中からターゲットタイトルタイプに適合したラベリングタイトルを見つけることができる。

ステップ４０５、ラベリングタイトルのタイトル論理関係を決定し、ラベリング対象データ、ラベリングタイトルおよびタイトル論理関係を含むラベリングツールを生成する。

本実施形態において、上記実行主体はラベリングツールを生成することができ、具体的には、該ラベリングツールはラベリング対象データ、ラベリングタイトルおよびタイトル論理関係を含む。ラベリングツールはラベリングコンテンツ、すなわちラベリングすべきコンテンツをラベリング作業員に提示するために使用することができ、このようにすれば、ラベリング作業員は該ラベリングツールを使用してラベリング対象データをラベリングすることができる。

本実施形態は、まずラベリング要求に基づき、ラベリングタイトルのタイプを限定し、且つ該タイプに適合するラベリングタイトルを生成することができ、それによりラベリングタイトルを生成する精度を向上させることができる。

本実施形態のいくつかのオプション的な実施形態において、ラベリング要求に基づき、ターゲットタイトルタイプのラベリングタイトルを生成することは、ラベリング要求が予め設定された校正の必要な要求であることに応答し、ターゲットタイトルタイプのラベリングタイトル、および校正の必要な要求に対応する校正タイトルを生成することを含み、ここで、校正タイトルのラベリングコンテンツは、ラベリングタイトルのラベリングコンテンツを調整するために用いられる。

これらのオプション的な実施形態において、上記実行主体はラベリング要求が予め設定された校正の必要な要求である場合、該ターゲットタイトルタイプのラベリングタイトルを生成するだけでなく、上記校正の必要な要求に対応する校正タイトル、すなわち校正に用いられるラベリングタイトルを生成することができる。校正タイトルのラベリングコンテンツとラベリングタイトルのラベリングコンテンツを決定した後、ユーザ（例えば、ラベリング作業員）は校正タイトルのラベリングコンテンツを利用して、ラベリングタイトルのラベリングコンテンツを調整することができる。

例えば、図４ｂに示すように、図中の矢印が指すキーポイントは、ラベリングタイトルのラベリングコンテンツである。このキーポイントを中間点とする３つのキーポイントの連結線（補助線）は、校正タイトルのラベリングコンテンツである。該連結線における該キーポイントを頂点とする角度は１８０°よりも大きく、予め設定された、該キーポイントに対応する角度閾値に合致しない。したがって、上記角度が１８０°以下になるように、このキーポイントの位置を調整することができる。

上記校正タイトルは、校正の必要な要求から直接生成するものであってもよく、例えば、校正の必要な要求を予め訓練されたモデルに入力するか、または予め設定されたマッピング関係に基づいて決定することができる。あるいは、他のパラメータを使用して校正タイトルを生成することもできる。例えば、他のパラメータはターゲットタイトルタイプを含んでもよい。

これらの実施形態は、校正に用いられるラベリングコンテンツにより、ラベリングタイトルのラベリングコンテンツを調整し、それによりラベリングの精度を向上させることができる。

具体的には、ステップ４０２において、ラベリング要求を満たすラベリングモードタイプを決定することは、ラベリング要求にラベリング対象データのフィルタリングが含まれることに応答して、ラベリング対象データのラベリングモードタイプがクレンジングタイプであると決定することであって、クレンジングタイプは、ラベリング対象データがフィルタリング対象データであるか否かを決定すること、または、ラベリング対象データのうちフィルタリング対象データの一部を決定することを示すために用いられることと、ラベリング要求にラベリングデータの転写が含まれることに応答して、ラベリング対象データのラベリングモードタイプが転写タイプであると決定することと、ラベリング要求がラベリングデータの採集を含むことに応答して、ラベリング対象データのラベリングモードタイプがエンリッチメントタイプであると決定することと、ラベリング要求がラベリングデータの抽出を含むことに応答して、ラベリング対象データのラベリングモードタイプが抽出タイプであると決定することとを含んでもよい。

ステップ４０３は、ラベリングモードタイプがターゲットタイプであると決定することに応答し、ラベリングモードタイプに対応する少なくとも２つのラベリングタイトルタイプを取得することと、ラベリング要求が事前設定要求であると判定したことに応答し、該事前設定要求に対応するタイトルタイプを、ターゲットタイトルタイプとすることとを含んでもよい。

ターゲットタイプがクレンジングタイプであることに応答して、事前設定要求が直接選択要求である場合、ターゲットタイトルタイプは選択肢選択タイプであり、事前設定要求がファジー検索要求である場合、ターゲットタイトルタイプはドロップダウンボックス選択タイプである。ターゲットタイプが転写タイプであることに応答して、事前設定要求が少ないコンテンツの転写要求である場合、ターゲットタイトルタイプは一行テキストタイトルであり、事前設定要求がマルチコンテンツの転写要求である場合、ターゲットタイトルタイプは複数行テキストタイトルである。ターゲットタイプがエンリッチメントタイプであることに応答して、事前設定要求が少ないコンテンツのエンリッチメント要求である場合、ターゲットタイトルタイプは一行テキストタイトルであり、事前設定要求がマルチコンテンツのエンリッチメント要求である場合、ターゲットタイトルタイプは複数行テキストタイトルである。

本実施形態のいくつかのオプション的な実施形態において、ステップ４０２におけるラベリング要求を満たすラベリングモードタイプを決定することは、ラベリング要求がラベリング対象データのフィルタリングを含むことに応答して、ラベリング対象データのラベリングモードタイプがクレンジングタイプであることを決定することを含み得、ここで、クレンジングタイプはラベリング対象データがフィルタリング対象データであるか否かを判定することを示すために用いられるか、またはラベリング対象データのうちフィルタリング対象データの一部を決定することを示すために用いられる。

これらのオプション的な実施形態において、上記実行主体はラベリング要求に含まれたラベリングデータフィルタリングを含む場合、ラベリング対象データのラベリングモードタイプはクレンジングタイプであると決定することができる。具体的には、ラベリングモードタイプがクレンジングタイプである可能性があるラベリング対象データタイプは、画像、テキスト、映像、音声、ウェブページ、および点群（すなわち、点群画像などのような点群情報）を含んでもよい。

ラベリング対象データのフィルタリング、つまり「データクレンジング」は、ラベリング対象データがフィルタリング対象データであるか否かを特定すること、またはラベリング対象データのうちフィルタリング対象データの一部を特定することを示すことを目的としている。ここでのフィルタリングとは、除去または削除を指す。

一例として、上記のクレンジングは、ラベリング作業員が画像に対して、クリアな画像であるかまたはクリアでない画像であるかを示すことができ、ラベリング要求に応じて、フィルタリングされるのはクリアな画像またはクリアでない画像であってもよい。あるいは、クレンジングは、ラベリング作業員がテキストにおいて血なまぐさいコンテンツに関わる文がラベリングされた場合、その文をフィルタリングして除去してもよい。

これらの実施形態は要求の具体的な情報をラベリングすることにより、クレンジングタイプのラベリングモードタイプを正確に決定することができる。

オプションとして、ステップ４０３は、ラベリングモードタイプがクレンジングタイプであることに応答し、ラベリングモードタイプに対応する少なくとも２つのラベリングタイトルタイプを取得することと、ラベリング対象データのフィルタリングが直接選択要求であることに応答し、該少なくとも２つのラベリングタイトルタイプにおける選択肢選択タイプをターゲットタイトルタイプとすることと、ラベリング対象データのフィルタリングがファジー検索要求であることに応答し、該少なくとも２つのラベリングタイトルタイプにおけるドロップダウンボックス選択タイプをターゲットタイトルタイプとすることとを含んでもよい。

具体的には、ラベリングモードタイプがクレンジングタイプである場合、ラベリングモードタイプは少なくとも２つのラベリングタイトルタイプに対応することができる。例えば、上述した選択肢単一選択、選択肢複数選択、ドロップダウンボックス単一選択、ドロップダウンボックス複数選択であってもよい。

ラベリング要求であるラベリング対象データのフィルタリングが、ラベリング作業員が選択肢の中から回答を直接選択する必要があることを示す直接選択要求である場合、上記実行主体は、上記少なくとも２つのラベリングタイトルタイプのうちの選択肢選択タイプをターゲットタイトルタイプとすることができる。ラベリング要求であるラベリング対象データのフィルタリングが、ラベリング作業員によるファジー検索が必要であることを示すモデル検索要求である場合、上記実行主体は、少なくとも２つのラベリングタイトルタイプのうちドロップダウンボックス選択タイプをターゲットタイトルタイプとすることができる。

ここでのファジー検索とは、ドロップダウンボックスに対応する元となるボックス（すなわち、ドロップダウンボックスの上方にドロップダウンボックスに接続されたボックス）にカテゴリが表示され、ドロップダウンボックスにはそのカテゴリの下のそれぞれのオブジェクトが表示されることをいう。例えば、元となるボックスには「ミネラルウォーター」が表示され、ドロップダウンボックスには「Ａブランドミネラルウォーター」、「Ｂブランドミネラルウォーター」、「Ｃブランドミネラルウォーター」が表示され、ラベリング作業員の選択に供している。

これらのオプションの実施形態は、ラベリング要求がそれぞれ直接選択要求とファジー検索要求を示す場合に、異なるラベリングタイトルタイプにそれぞれ対応したターゲットタイトルタイプとすることができる。

本実施形態のいくつかのオプション的な実施態様では、ステップ４０２におけるラベリング要求を満たすラベリングモードタイプを決定することは、ラベリング要求にラベリングデータの転写を含むことに応答して、ラベリング対象データのラベリングモードタイプを転写タイプと決定することを含んでいてもよい。

これらのオプション的な実施形態において、上記実行主体はラベリング要求がラベリングデータの転写を含む場合、ラベリング対象データのラベリングモードタイプが転写タイプであると決定することができる。具体的には、ラベリングモードタイプが転写タイプの可能性のあるラベリング対象データタイプは、画像、テキスト、映像、音声、およびウェブページを含み得る。

転写とは、非テキスト系のデータをテキストに変換する要求をいい、具体的には、音声転写、映像転写、画像コンテンツの要約転写、テキストコンテンツの要約転写またはウェブページコンテンツの要約転写などが挙げられる。

これらの実施形態は要求の具体的な情報をラベリングすることにより、転写タイプのラベリングモードタイプを正確に決定することができる。

オプションとして、ステップ４０３は、ラベリングモードタイプが転写タイプである場合、ラベリングモードタイプに対応する少なくとも２つのラベリングタイトルタイプを取得することと、ラベリングデータ転写が少ないコンテンツの転写要求である場合、該少なくとも２つのラベリングタイトルタイプにおける一行テキストタイトルタイプをターゲットタイトルタイプとすることと、ラベリングデータ転写がマルチコンテンツの転写要求である場合、該少なくとも２つのラベリングタイトルタイプにおける複数行テキストタイトルタイプをターゲットタイトルタイプとすることとを含んでいてもよい。

具体的には、ラベリングモードタイプが転写タイプである場合、ラベリングモードタイプに対応する少なくとも２つのラベリングタイトルタイプは、一行テキストタイトルタイプと複数行テキストタイトルタイプを含んでいてもよい。上記実行主体は、ラベリング要求に含まれるラベリングデータ転写が、少ないコンテンツの転写要求であるか、またはマルチコンテンツの転写要求であるかを判断することができる。

上記実行主体は、ラベリング対象データの転写後のテキストの長さの数値（文字数、キャラクター数、行数など）に設定された閾値を取得してもよい。取得したラベリング対象データの転写後のテキストの長さの数値がこの閾値を超えていなければ、上記ラベリングデータの転写は少ないコンテンツの転写要求であると判断することができる。取得したラベリング対象データの転写後のテキストの長さの数値がこの閾値を超えている場合、上記ラベリングデータの転写がマルチコンテンツの転写要求であると判断することができる。また、上記実行主体は、取得したラベリング対象データの転写後のテキストの長さの数値をモデルまたは数式に入力し、該モデルまたは数式により計算された結果を得ることができ、該結果は、上記ラベリングデータの転写が少ないコンテンツの転写要求またはマルチコンテンツの転写要求であることを直接示すことができる。

ここでの一行テキストタイトルタイプとは、図４Ｃに示すように一行のテキストで転写結果を表示することを意味してもよい。図４Ｃには、ラベリング対象データが音声であること、生成されたラベリングタイトルが４つの選択肢からの単一選択であること、および１つの一行テキストタイトルであることが示されている。

複数行テキストタイトルタイプとは、図４Ｄに示すように、転写結果を複数行テキストタイトルタイプで表示することをいう。図４Ｄには、ラベリング対象データが映像であることと、生成されたラベリングタイトルは１つの複数行テキストタイトルであることとが示されている。

これらのオプション的な実施形態は、転写要求がそれぞれ少ないコンテンツの転写要求およびマルチコンテンツの転写要求を示す場合に、少ないコンテンツの転写要求およびマルチコンテンツの転写要求にそれぞれ対応した異なるラベリングタイトルタイプをターゲットタイトルタイプとすることができる。

本実施形態のいくつかのオプション的な実施形態において、ステップ４０２においてラベリング要求を満たすラベリングモードタイプを決定することは、ラベリング要求にラベリングデータ採集を含む場合、ラベリング対象データのラベリングモードタイプがエンリッチメントタイプであると決定することを含んでいてもよい。

これらのオプション的な実施形態では、ラベリング要求がラベリングデータ採集を含む場合、上記実行主体はラベリング対象データのラベリングモードタイプがエンリッチメントタイプであると決定することができる。ラベリングモードタイプがエンリッチメントタイプである場合、ラベリング対象データのタイプはテキストである。

ここでのエンリッチメントとは、人と人との対話、人間と機械との対話のシーンの中で行われるテキスト採集を意味してもよい。

これらの実施形態は要求の具体的な情報をラベリングすることにより、エンリッチメントタイプのラベリングモードタイプを正確に決定することができる。

オプションとして、ステップ４０３は、ラベリングモードタイプがエンリッチメントタイプである場合、ラベリングモードタイプに対応する少なくとも２つのラベリングタイトルタイプを取得することと、ラベリングデータ採集が少ないコンテンツの採集要求である場合、該少なくとも２つのラベリングタイトルタイプにおける一行テキストタイトルタイプをターゲットタイトルタイプとすることと、ラベリングデータ採集がマルチコンテンツの採集要求である場合、該少なくとも２つのラベリングタイトルタイプにおける複数行テキストタイトルタイプをターゲットタイトルタイプとすることと、を含んでもよい。

具体的には、上記実行主体はラベリング対象データのエンリッチメントをしたテキストの長さ数値（例えば漢字の文字数、文字数、行数）に設定された閾値を取得することができる。取得したラベリング対象データのエンリッチメントをしたテキストの長さ数値がこの閾値を超えていなければ、上記ラベリングデータのエンリッチメントが少ないコンテンツのエンリッチメント要求であると決定することができる。取得したラベリング対象データのエンリッチメントをしたテキストの長さ数値がこの閾値を超えていれば、上記ラベリングデータのエンリッチメントがマルチコンテンツのエンリッチメント要求であると決定することができる。また、上記実行主体は、取得したラベリング対象データのエンリッチメントをしたテキストの長さ数値をモデルまたは公式に入力して、モデルまたは公式によって計算された結果を取得することができ、該結果は上記ラベリングデータのエンリッチメントが少ないコンテンツのエンリッチメント要求であるかまたはマルチコンテンツのエンリッチメント要求であるかを直接示すことができる。

これらのオプション的な実施形態は、エンリッチメント要求がそれぞれ少ないコンテンツのエンリッチメント要求とマルチコンテンツのエンリッチメント要求を示す場合に、少ないコンテンツのエンリッチメント要求とマルチコンテンツのエンリッチメント要求にそれぞれ対応した異なるラベリングタイトルタイプをターゲットタイトルタイプとすることができる。

本実施形態のいくつかのオプション的な実施形態において、ステップ４０２におけるラベリング要求を満たすラベリングモードタイプを決定することは、ラベリング要求はラベリングデータの抽出を含む場合、ラベリング対象データのラベリングモードタイプが抽出タイプであると決定することを含んでいてもよい。

これらのオプション的な実施形態において、上記実行主体はラベリング要求がラベリングデータの抽出を含む場合、ラベリング対象データのラベリングモードタイプが抽出タイプであると決定することができる。具体的には、ラベリングモードタイプが抽出タイプである可能性のあるラベリング対象データのタイプは、画像、テキスト、映像、音声、点群、およびウェブページを含んでもよい。

ここでの抽出は、画像抽出、音声インターセプション、映像インターセプション、テキスト抽出、点群抽出（すなわち点群データの抽出）などの異なるシーンを示すことができる。

具体的には、画像抽出とは、画像の中から１つのオブジェクトを選択し、画像の中でオブジェクトを「描く」必要があり、画像抽出のラベリングタイトルは画像エディタに基づいて設計することができる。音声抽出は、音声再生中に１つ（または複数）のセグメントにマークを付けてもよい。音声抽出を行うためのラベリングタイトルは、音声プレーヤーに基づいて設計することができる。映像抽出を行うためのラベリングタイトルは、映像プレーヤーに基づいて設計する必要がある。テキスト抽出を行うためのラベリングタイトルは、テキストエディタに基づいて設計してもよく、絵筆の形式でテキストを丸で囲んでもよい。点群データ抽出のためのラベリングタイトルは、点群エディタに基づいて設計することができる。

これらの実施形態は要求の具体的な情報をラベリングすることにより、抽出タイプのラベリングモードタイプを正確に特定することができる。

更に図５Ａを参照すると、上記の各図に示された方法の実施態様として、本願は、データをラベリングするための装置の一実施形態を提供し、当該装置の実施形態は、図２に示された方法の実施形態に対応しており、以下に記載する特徴に加えて、該装置の実施形態はさらに図２に示される方法の実施形態と同じまたは対応する特徴または効果を含んでもよい。この装置は、具体的には様々な電子機器に適用され得る。

図５に示すように、本実施形態のデータをラベリングするための装置５００は、取得ユニット５０１と、決定ユニット５０２と、タイトル生成ユニット５０３と、ツール生成ユニット５０４とを備える。ここで、取得ユニット５０１は、ラベリング対象データおよびラベリング対象データのラベリング要求を取得するように構成される。決定ユニット５０２は、ラベリング要求を満たすラベリングモードタイプを決定するように構成される。ここで、ラベリングモードタイプは、ラベリング要求を満たすためにラベリング対象データに採用されるラベリング方式のタイプである。タイトル生成ユニット５０３は、ラベリング要求に基づいて、ラベリングモードタイプに適合したラベリングタイトルを生成するように構成される。ここで、ラベリングタイトルは、ラベリングツールにラベリングコンテンツを提示するように構成される。ツール生成ユニット５０４は、ラベリングタイトルのタイトル論理関係を決定し、ラベリング対象データ、ラベリングタイトルおよびタイトル論理関係を含むラベリングツールを生成するように構成される。

本実施形態において、データをラベリングするための装置５００の取得ユニット５０１と、決定ユニット５０２と、タイトル生成ユニット５０３と、ツール生成ユニット５０４の具体的な処理およびそれらの技術的効果は、それぞれ図２の対応する実施形態におけるステップ２０１、ステップ２０２、ステップ２０３およびステップ２０４の関連する説明を参照することができ、ここではその説明を省略する。

本実施形態のいくつかのオプション的な実施態様では、ラベリングモードタイプは、必要なラベリングモードタイプを含むか、または必要なラベリングモードタイプおよび付加的なラベリングモードタイプを含む。

本実施形態のいくつかのオプション的な実施形態において、ラベリングモードタイプは必要なラベリングモードタイプと付加的なラベリングモードタイプを含む。ツール生成ユニットは、さらに必要なラベリングモードタイプと付加的なラベリングモードタイプがそれぞれ対応するラベリングタイトル間のタイトル論理関係を決定し、ここで、前記タイトル論理関係は、ラベリング順序、表示制限関係の少なくとも一つを含み、ラベリング対象データ、該タイトル論理関係およびラベリングタイトルを含むラベリングツールを生成することによって、ラベリングタイトルを決定するタイトル論理関係を実行し、ラベリング対象データ、ラベリングタイトルおよびタイトル論理関係を含むラベリングツールを生成するように構成される。

本実施形態のいくつかのオプション的な実施形態において、必要なラベリングモードタイプと付加的なラベリングモードタイプはそれぞれ抽出タイプとクレンジングタイプであり、タイトル論理関係はラベリング順序と表示制限関係を含み、ラベリング順序はクレンジングタイプのラベリングタイトルのラベリングコンテンツを受信した後、抽出タイプのラベリングタイトルのラベリング動作を受信することを示す。ラベリングツールの表示過程は、ラベリングツールにおけるクレンジングタイプに対応するラベリングタイトルに対するラベリング動作を受信したことに応答し、該ラベリング動作のラベリングコンテンツを決定し、表示制限関係と該ラベリングコンテンツに基づき、抽出タイプに対応するラベリングタイトルの表示状態を決定することであって、表示状態は動作可能表示状態または動作不可表示状態であることと、決定された表示状態が動作可能表示状態であることに応答し、動作可能な状態で抽出タイプに対応するラベリングタイトルを表示することと、決定された表示状態は動作不可表示状態であることに応答し、動作不可能な状態で抽出タイプに対応するラベリングタイトルを表示し、または抽出タイプに対応するラベリングタイトルを表示しないこととを含む。

本実施形態のいくつかのオプション的な実施形態において、タイトル生成ユニットは、さらにラベリングモードタイプに対応する少なくとも１つのラベリングタイトルタイプの中から、ラベリング要求に対応するラベリングタイトルタイプをターゲットタイトルタイプとして決定することと、ラベリング要求に基づき、ターゲットタイトルタイプのラベリングタイトルを生成することとによって、ラベリング要求に基づいて、ラベリングモードタイプに適合したラベリングタイトルを生成することを実行するように構成される。

本実施形態のいくつかのオプション的な実施形態では、タイトル生成ユニットは、さらに、ラベリング要求が予め設定された校正の必要な要求であることに応答し、ターゲットタイトルタイプのラベリングタイトル、および校正の必要な要求に対応する校正タイトルを生成することによって、ラベリング要求に基づき、ターゲットタイトルタイプのラベリングタイトルを生成することを実行するように構成され、校正タイトルのラベリングコンテンツは、ラベリングタイトルのラベリングコンテンツを調整するために用いられる。

本実施形態のいくつかのオプション的な実施形態において、決定ユニットは、さらに
ラベリング要求がラベリング対象データのフィルタリングを含むことに応答して、ラベリング対象データのラベリングモードタイプがクレンジングタイプであると決定することであって、クレンジングタイプは、ラベリング対象データがフィルタリング対象データであるか否かを決定すること、または、ラベリング対象データのうちフィルタリング対象データの一部を決定することを示すために用いられることと、ラベリング要求にラベリングデータの転写が含まれることに応答して、ラベリング対象データのラベリングモードタイプが転写タイプであると決定することと、ラベリング要求がラベリングデータの採集が含まれることに応答して、ラベリング対象データのラベリングモードタイプがエンリッチメントタイプであると決定することと、ラベリング要求がラベリングデータの抽出が含まれることに応答して、ラベリング対象データのラベリングモードタイプが抽出タイプであると決定することとによって、
ラベリング要求を満たすラベリングモードタイプを決定することを実行するように構成される。

本実施形態のいくつかのオプション的な実施形態では、タイトル生成ユニットは、さらに、
ラベリングモードタイプがターゲットタイプである場合、ラベリングモードタイプに対応する少なくとも２つのラベリングタイトルタイプを取得することと、ラベリング要求が事前設定要求である場合、該事前設定要求に対応するタイトルタイプを、ターゲットタイトルタイプとすることによって、
ラベリングモードタイプに対応する少なくとも１つのラベリングタイトルタイプにおいて、ラベリング要求に対応するラベリングタイトルタイプをターゲットタイトルタイプとして決定することを実行するように構成される。

本実施形態のいくつかのオプション的な実施形態では、ターゲットタイプがクレンジングタイプであることに応答して、事前設定要求が直接選択要求である場合、ターゲットタイトルタイプは選択肢選択タイプであり、事前設定要求がファジー検索要求である場合、ターゲットタイトルタイプはドロップダウンボックス選択タイプである。ターゲットタイプが転写タイプであることに応答して、事前設定要求が少ないコンテンツの転写要求である場合、ターゲットタイトルタイプは一行テキストタイトルであり、事前設定要求がマルチコンテンツの転写要求である場合、ターゲットタイトルタイプは複数行テキストタイトルである。ターゲットタイプがエンリッチメントタイプであることに応答して、事前設定要求が少ないコンテンツのエンリッチメント要求である場合、ターゲットタイトルタイプは一行テキストタイトルであり、事前設定要求がマルチコンテンツのエンリッチメント要求である場合、ターゲットタイトルタイプは複数行テキストタイトルである。

図５Ｂに示すように、データをラベリングするための装置が存在し得る様々な処理層が示されている。具体的には、各処理層は、データ層、評価方法層、タイトル層、コンフィグレーション層、およびツール層を含んでもよい。

ここで、データ層は、種々のラベリング対象データタイプのラベリング対象データを含んでもよい。評価方法層は、様々なタイプのラベリング方式を含んでもよい。タイトル層には、個々のラベリングタイトルタイプが含まれる。ここで、一般的な要素（一般的なラベリングタイトルタイプ）は、単一選択、複数選択、マトリックス、穴埋めを含んでもよく、これらはすべてのタイプのラベリング対象データがいずれも採用できるラベリングタイトルタイプである。ここで、マトリックスは、１つのタイトルの複数のサブタイトルが行列状に並んでいることを意味してもよい。

特定タイトル（特定ラベリングタイトルタイプ）とは、異なるタイプのラベリング対象データがそれぞれ採用可能なラベリングタイトルが属するラベリングタイトルタイプを指し、ラベリング要求を示すことができる。例えば、画像のラベリング要求は、「点」をラベリングすることであってもよい。この要求に対し、補助線関連の校正タイトルを採用してもよい。図におけるコンフィグレーション層は、ラベリングタイトルからラベリングツールを生成するためのステップを示す。ここで、論理（例えば、タイトル論理関係）コンフィグレーションを含んでもよい。

本願の実施形態によれば、本願はさらに電子機器、読み取り可能な記憶媒体およびコンピュータプログラムを提供する。図６に示すように、本願の実施形態に係るデータをラベリングするための方法を実行する電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、メインフレームコンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似するコンピューティングデバイス等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも例示であり、ここで記述および／または要求した本願の実施形態を限定することを意図するものではない。

図６に示すように、該電子機器は、１つまたは複数のプロセッサ６０１、メモリ６０２、および各コンポーネントを接続するためのインタフェース（高速インタフェースおよび低速インタフェースを含む）を含む。各コンポーネントは、互いに異なるバスで接続されており、共通のマザーボード上に実装されていてもよいし、必要に応じて他の方式で実装されていてもよい。プロセッサは、電子機器内で実行される指令を処理することができ、前記指令は、インタフェースに結合された表示装置等の外部入出力装置にグラフィカルユーザインタフェース（ＧＵＩ，Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のグラフィック情報を表示するために、メモリ内またはメモリ上に格納される指令を含む。他の実施形態では、必要に応じて、複数のプロセッサおよび／または複数のバスを、複数のメモリとともに使用することができる。また、複数の電子機器が接続されていてもよく、各機器は、例えば、サーバアレイ、ブレードサーバ群またはマルチプロセッサシステムなど、一部の必要な動作を提供する。図６では、１つのプロセッサ６０１を例としている。

メモリ６０２は、本願に係る非一時的コンピュータ可読記憶媒体である。ここで、メモリには、少なくとも１つのプロセッサにより実行され得る指令が格納されており、それにより少なくとも１つのプロセッサに本願に係るデータをラべリングするための方法を実行させる。本願の非一時的コンピュータ可読記憶媒体はコンピュータ指令を格納し、該コンピュータ指令はコンピュータに本願に係るデータをラべリングするための方法を実行させるために用いられる。

メモリ６０２は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム並びに、例えば本願の実施形態におけるデータをラベリングするための方法に対応するプログラム指令／モジュール（例えば、図５に示す取得ユニット５０１、決定ユニット５０２、タイトル生成ユニット５０３、およびツール生成ユニット５０４）などのモジュールを格納することに用いることができる。プロセッサ６０１は、メモリ６０２に格納された非一時的ソフトウェアプログラム、指令およびモジュールを実行することにより、サーバの各種機能アプリケーションおよびデータ処理を実行し、すなわち上記方法の実施形態におけるデータをラベリングするための方法を実現する。

メモリ６０２は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションを記憶できるプログラム記憶領域、およびデータをラべリングするための方法を実行する電子機器の使用に作成されるデータ等を記憶できるデータ記憶領域を備えてもよい。また、メモリ６０２は高速ランダムアクセスメモリを含むことができ、また非一時的メモリ（例えば、少なくとも１つの磁気ディスク記憶装置、フラッシュメモリデバイスまたはその他の非一時的ソリッドステート記憶装置）を含み得る。いくつかの実施形態において、メモリ６０２は任意選択でプロセッサ６０１に対して遠隔に設置されたメモリを含み、これらのリモートメモリはネットワークを介してデータをラべリングするための方法を実行する電子機器に接続することができる。上記ネットワークとしては、例えば、インターネット、企業イントラネット、ローカルエリアネットワーク、移動体通信網およびこれらの組み合わせなどが挙げられるが、それらに限定されない。

データをラべリングするための方法を実行する電子機器は、さらに入力装置６０３および出力装置６０４を含んでもよい。プロセッサ６０１、メモリ６０２、入力装置６０３および出力装置６０４は、バスまたはその他の方式で接続されていてもよく、図６ではバスで接続されている例を示している。

入力装置６０３（例えばタッチパネル、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングデバイス、１つまたは複数のマウスボタン、トラックボール、ジョイスティック等）は、入力された数字や文字情報を受信でき、データをラべリングするための方法を実行する電子機器のユーザ設定および機能制御に関するキー信号入力を生成することができる。出力装置６０４は表示装置、補助照明装置（例えば、ＬＥＤ）および触覚フィードバック装置（例えば、振動モータ）等を含むことができる。該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイおよびプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態において、表示装置はタッチパネルであってもよい。

ここで記述するシステムおよび技術の各実施形態はデジタル電子回路システム、集積回路システム、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせにおいて実装され得る。これらの各実施形態は、１つまたは複数のコンピュータプログラムに実装され、該１つまたは複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行および／または解釈することができ、該プログラマブルプロセッサは専用または汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび指令を受信することができ、且つデータおよび指令を該記憶システム、該少なくとも１つの入力装置および該少なくとも１つの出力装置に伝送することを含み得る。

これらのコンピュータプログラムは、プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとも呼ばれ、プログラマブルプロセッサの機械命令を含み、且つ高度プロセスおよび／またはオブジェクト指向のプログラミング言語、および／またはアセンブリ言語／機械語により実装され得る。ここで、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械指令および／またはデータをプログラマブルプロセッサに供給するための任意のコンピュータプログラム製品、機器、および／または装置（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を意味し、機械可読信号である機械命令を受信する機械可読媒体を含む。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに供給するための任意の信号を意味する。

ユーザとのやりとりを行うために、ここで記述するシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実装することができ、ユーザが該キーボードおよび該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置もユーザとのやりとりを行うことに用いることができる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力若しくは触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。

ここで記述したシステムおよび技術は、バックグラウンドコンポーネントを含む演算システム（例えば、データサーバ）に実施されてもよく、またはミドルウェアコンポーネントを含む演算システム（例えば、アプリケーションサーバ）に実施されてもよく、またはフロントエンドコンポーネントを含む演算システム（例えば、グラフィカルユーザインタフェースまたはウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは該グラフィカルユーザインタフェースまたはウェブブラウザを介してここで記述したシステムおよび技術の実施形態とやりとりを行っていてもよく、またはこのようなバックグラウンドコンポーネント、ミドルウェアコンポーネントまたはフロントエンドコンポーネントのいずれかの組み合わせを含む演算システムに実施されてもよい。また、システムの各コンポーネントの間は、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットなどを含む。

コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してやりとりを行う。クライアントとサーバとの関係は、互いにクライアント－サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。サーバはクラウドサーバであってもよく、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムにおけるホスト製品であり、従来の物理ホストと仮想専用サーバ（ＶＰＳ、Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ）サービスにおける管理難度が大きく、ビジネス拡張性が弱いという欠陥を解決する。サーバは、分散システムのサーバ、あるいはブロックチェーンを結合したサーバであってもよい。

図面のうちのフローチャートおよびブロック図は、本願の様々な実施形態に係るシステム、方法およびコンピュータプログラム製品によって実現できるアーキテクチャ、機能および動作の表示例である。これについては、フローチャートまたはブロック図における各ブロックは、モジュール、プログラムセグメント、またはコードの一部を表すことができる。当該モジュール、プログラムセグメント、またはコードの一部には、所定のロジック機能を実現するための１つまたは複数の実行可能な指令が含まれている。なお、一部の代替となる実施態様においては、ブロックに示されている機能は図面に示されているものとは異なる順序で実行することも可能である。例えば、連続して示された２つのブロックは、実際には係る機能に応じて、ほぼ並行して実行されてもよく、時には逆の順序で実行されてもよい。なお、ブロック図および／またはフローチャートにおけるすべてのブロック、ならびにブロック図および／またはフローチャートにおけるブロックの組み合わせは、所定の機能または動作を実行する専用のハードウェアベースのシステムで実装されてもよく、または専用のハードウェアとコンピュータ指令との組み合わせで実装されてもよい。

本願の実施形態に記載されたユニットは、ソフトウェアで実装されてもよく、ハードウェアで実装されてもよい。記載されたユニットは、プロセッサに設定されてもよく、例えば、「取得ユニットと、決定ユニットと、タイトル生成ユニットと、ツール生成ユニットとを備えるプロセッサ」というように記載されてもよい。ここで、これらのユニットの名称は、ある場合において当該ユニットその自体を限定するものではなく、例えば、タイトル生成ユニットは、「ラベリング要求に基づいて、ラベリングモードタイプに適合したラベリングタイトルを生成するユニット」として記載されてもよい。

一方、本願は、コンピュータ可読媒体を更に提供し、当該コンピュータ可読媒体は、上記実施形態に記載されたデバイスに含まれるものであってもよく、該デバイスに実装されずに別体として存在するものであってもよい。上記コンピュータ可読媒体には一つまたは複数のプログラムが担持されており、上記一つまたは複数のプログラムが該装置に実行されると、ラベリング対象データおよびラベリング対象データのラベリング要求を取得することと、ラベリング要求を満たすラベリングモードタイプを決定し、ここで、ラベリングモードタイプはラベリング要求を満たすためにラベリング対象データをラベリングするための方法のタイプであることと、ラベリング要求に基づき、ラベリングモードタイプに適合したラベリングタイトルを生成し、ここで、ラベリングタイトルはラベリングツールにラベリングコンテンツを提示するために用いられることと、ラベリングタイトルのタイトル論理関係を決定し、ラベリング対象データ、ラベリングタイトルおよびタイトル論理関係を含むラベリングツールを生成することと、を該装置に実行させる。

以上の記載は、本願の好ましい実施形態、および応用される技術的原理に関する説明に過ぎない。当業者であれば、本願に係る発明の範囲は、前記の技術的特徴の特定の組み合わせからなる技術案に限定されることなく、本願の技術的思想を逸脱しない限り、前記技術的特徴またはそれらの均等の特徴の任意の組み合わせからなる他の技術案も含むべきであることを理解すべきである。例えば、前記特徴と、本願に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。

Claims (19)

1. データをラベリングするための装置により実行される方法であって、
   ラベリング対象データおよび前記ラベリング対象データのラベリング要求を取得することと、
   前記ラベリング要求を満たすラベリングモードタイプを決定することであって、前記ラベリングモードタイプは、ラベリング要求を満たすために、ラベリング対象データをラベリングするための方法のタイプである、ことと、
   前記ラベリング要求に基づいて、前記ラベリングモードタイプに適合したラベリングタイトルを生成することであって、前記ラベリングタイトルはラベリングツールにラベリングコンテンツを提示するために用いられる、ことと、
   前記ラベリングタイトルのタイトル論理関係を決定し、前記ラベリング対象データ、前記ラベリングタイトルおよび前記タイトル論理関係を含むラベリングツールを生成することと、を含み、
   前記の、前記ラベリング要求を満たすラベリングモードタイプを決定することは、
   前記ラベリング要求がラベリング対象データのフィルタリングを含む場合、前記ラベリング対象データのラベリングモードタイプがクレンジングタイプであると決定することであって、前記クレンジングタイプは、ラベリング対象データがフィルタリング対象データであるか否かを判定することを示すか、またはラベリング対象データのうちのフィルタリング対象データの一部を決定することを示すために用いられる、ことと、
   前記ラベリング要求がラベリングデータの転写を含む場合、前記ラベリング対象データのラベリングモードタイプが転写タイプであると決定することと、
   前記ラベリング要求がラベリングデータの採集を含む場合、前記ラベリング対象データのラベリングモードタイプがエンリッチメントタイプであると決定することと、
   前記ラベリング要求がラベリングデータの抽出を含む場合、前記ラベリング対象データのラベリングモードタイプが抽出タイプであると決定することと、を含む、方法。
2. 前記ラベリングモードタイプは、必要なラベリングモードタイプを含むか、または必要なラベリングモードタイプおよび付加的なラベリングモードタイプを含む請求項１に記載の方法。
3. 前記ラベリングモードタイプは、必要なラベリングモードタイプおよび付加的なラベリングモードタイプを含み、
   前記の、前記ラベリングタイトルのタイトル論理関係を決定し、前記ラベリング対象データ、前記ラベリングタイトルおよび前記タイトル論理関係を含むラベリングツールを生成することは、
   前記必要なラベリングモードタイプと前記付加的なラベリングモードタイプがそれぞれ対応するラベリングタイトル間のタイトル論理関係を決定することであって、前記タイトル論理関係はラベリング順序および／または表示制限関係を含む、ことと、
   前記ラベリング対象データ、前記タイトル論理関係および前記ラベリングタイトルを含むラベリングツールを生成することと、を含む請求項２に記載の方法。
4. 前記必要なラベリングモードタイプおよび前記付加的なラベリングモードタイプはそれぞれ抽出タイプとクレンジングタイプであり、前記タイトル論理関係はラベリング順序と表示制限関係とを含み、前記ラベリング順序はクレンジングタイプのラベリングタイトルのラベリングコンテンツを受信した後、抽出タイプのラベリングタイトルのラベリング動作を受信することを示し、
   前記ラベリングツールの表示プロセスは、
   前記ラベリングツールにおけるクレンジングタイプに対応するラベリングタイトルに対するラベリング動作が受信されたことに応答して、前記ラベリング動作のラベリングコンテンツを決定し、前記表示制限関係および前記ラベリングコンテンツに基づいて、抽出タイプに対応するラベリングタイトルの表示状態を決定することであって、前記表示状態は動作可能表示状態または動作不可表示状態である、ことと、
   決定された表示状態が動作可能表示状態であることに応答して、前記抽出タイプに対応するラベリングタイトルを動作可能な状態で表示することと、
   決定された表示状態が動作不可表示状態であることに応答して、前記抽出タイプに対応するラベリングタイトルを動作不可な状態で表示するか、または前記抽出タイプに対応するラベリングタイトルを表示しないことと、を含む請求項３に記載の方法。
5. 前記の、前記ラベリング要求に基づいて、前記ラベリングモードタイプに合致するラベリングタイトルを生成することは、
   前記ラベリングモードタイプに対応する少なくとも１つのラベリングタイトルタイプの中から、前記ラベリング要求に対応するラベリングタイトルタイプをターゲットタイトルタイプとして決定することと、
   前記ラベリング要求に基づいて、前記ターゲットタイトルタイプのラベリングタイトルを生成することとを含む請求項１～４のいずれか１項に記載の方法。
6. 前記の、前記ラベリング要求に基づいて、前記ターゲットタイトルタイプのラベリングタイトルを生成することは、
   前記ラベリング要求が予め設定された校正の必要な要求であることに応答して、前記ターゲットタイトルタイプのラベリングタイトル、および前記校正の必要な要求に対応する校正タイトルを生成することを含み、
   前記校正タイトルのラベリングコンテンツは、前記ラベリングタイトルのラベリングコンテンツを調整するために用いられる請求項５に記載の方法。
7. 前記の、前記ラベリングモードタイプに対応する少なくとも１つのラベリングタイトルタイプの中から、前記ラベリング要求に対応するラベリングタイトルタイプをターゲットタイトルタイプとして決定することは、
   前記ラベリングモードタイプがターゲットタイプである場合、前記ラベリングモードタイプに対応する少なくとも２つのラベリングタイトルタイプを取得することと、
   前記ラベリング要求が事前設定要求である場合、前記事前設定要求に対応するタイトルのタイプを、ターゲットタイトルタイプとすることとを含む請求項１に記載の方法。
8. 前記ターゲットタイプがクレンジングタイプであることに応答して、前記事前設定要求が直接選択要求である場合、前記ターゲットタイトルタイプは選択肢選択タイプであり、前記事前設定要求がファジー検索要求である場合、前記ターゲットタイトルタイプはドロップダウンボックス選択タイプであり、
   前記ターゲットタイプが転写タイプであることに応答して、前記事前設定要求が少ないコンテンツの転写要求である場合、前記ターゲットタイトルタイプは一行テキストタイトルであり、前記事前設定要求がマルチコンテンツの転写要求である場合、前記ターゲットタイトルタイプは複数行テキストタイトルであり、
   前記ターゲットタイプがエンリッチメントタイプであることに応答して、前記事前設定要求が少ないコンテンツのエンリッチメント要求である場合、前記ターゲットタイトルタイプは一行テキストタイトルであり、前記事前設定要求がマルチコンテンツのエンリッチメント要求である場合、前記ターゲットタイトルタイプは複数行テキストタイトルである請求項７に記載の方法。
9. ラベリング対象データおよび前記ラベリング対象データのラベリング要求を取得するように構成される取得ユニットと、
   前記ラベリング要求を満たすラベリングモードタイプを決定するように構成される決定ユニットであって、前記ラベリングモードタイプは、ラベリング要求を満たすために、前記ラベリング対象データをラベリングするための方法のタイプである決定ユニットと、 前記ラベリング要求に基づいて、前記ラベリングモードタイプに合致するラベリングタイトルを生成するように構成されるタイトル生成ユニットであって、前記ラベリングタイトルはラベリングツールにラベリングコンテンツを提示するために用いられるタイトル生成ユニットと、
   前記ラベリングタイトルのタイトル論理関係を決定し、前記ラベリング対象データ、前記ラベリングタイトルおよび前記タイトル論理関係を含むラベリングツールを生成するように構成されるツール生成ユニットと、を含み、
   前記決定ユニットはさらに、
   前記ラベリング要求がラベリング対象データのフィルタリングを含む場合、前記ラベリング対象データのラベリングモードタイプがクレンジングタイプであると決定することであって、前記クレンジングタイプは、ラベリング対象データがフィルタリング対象データであるか否かを判定することを示すか、またはラベリング対象データのうちのフィルタリング対象データの一部を決定することを示すために用いられる、ことと、
   前記ラベリング要求がラベリングデータの転写を含む場合、前記ラベリング対象データのラベリングモードタイプが転写タイプであると決定することと、
   前記ラベリング要求がラベリングデータの採集を含む場合、前記ラベリング対象データのラベリングモードタイプがエンリッチメントタイプであると決定することと、
   前記ラベリング要求がラベリングデータの抽出を含む場合、前記ラベリング対象データのラベリングモードタイプが抽出タイプであると決定することと、によって前記ラベリング要求を満たすラベリングモードタイプを決定することを実行するように構成される、データをラベリングするための装置。
10. 前記ラベリングモードタイプは、必要なラベリングモードタイプを含むか、または必要なラベリングモードタイプおよび付加的なラベリングモードタイプを含む請求項９に記載の装置。
11. 前記ラベリングモードタイプは、必要なラベリングモードタイプおよび付加的なラベリングモードタイプを含み、
    前記ツール生成ユニットは、さらに、
    前記必要なラベリングモードタイプと前記付加的なラベリングモードタイプがそれぞれ対応するラベリングタイトル間のタイトル論理関係を決定することであって、前記タイトル論理関係はラベリング順序および／または表示制限関係を含む、ことと、
    前記ラベリング対象データ、前記タイトル論理関係および前記ラベリングタイトルを含むラベリングツールを生成することと、によって前記ラベリングタイトルのタイトル論理関係を決定し、前記ラベリング対象データ、前記ラベリングタイトルおよび前記タイトル論理関係を含むラベリングツールを生成することを実行するように構成される請求項１０に記載の装置。
12. 前記必要なラベリングモードタイプおよび前記付加的なラベリングモードタイプはそれぞれ抽出タイプとクレンジングタイプであり、前記タイトル論理関係はラベリング順序と表示制限関係とを含み、前記ラベリング順序はクレンジングタイプのラベリングタイトルのラベリングコンテンツを受信した後、さらに抽出タイプのラベリングタイトルのラベリング動作を受信することを示し、
    前記ラベリングツールの表示プロセスは、
    前記ラベリングツールにおけるクレンジングタイプに対応するラベリングタイトルに対するラベリング動作が受信されたことに応答して、該ラベリング動作のラベリングコンテンツを決定し、前記表示制限関係および該ラベリングコンテンツに基づいて、抽出タイプに対応するラベリングタイトルの表示状態を決定することであって、前記表示状態は動作可能表示状態または動作不可表示状態である、ことと、
    決定された表示状態が動作可能表示状態であることに応答して、前記抽出タイプに対応するラベリングタイトルを動作可能な状態で表示することと、
    決定された表示状態が動作不可表示状態であることに応答して、前記抽出タイプに対応するラベリングタイトルを動作不可な状態で表示するか、または前記抽出タイプに対応するラベリングタイトルを表示しないことと、を含む請求項１１に記載の装置。
13. 前記タイトル生成ユニットは、さらに
    前記ラベリングモードタイプに対応する少なくとも１つのラベリングタイトルタイプの中から、前記ラベリング要求に対応するラベリングタイトルタイプをターゲットタイトルタイプとして決定することと、
    前記ラベリング要求に基づき、前記ターゲットタイトルタイプのラベリングタイトルを生成することと、によって前記ラベリング要求に基づいて、前記ラベリングモードタイプに適合するラベリングタイトルを生成することを実行するように構成される請求項９～１２のいずれか１項に記載の装置。
14. 前記タイトル生成ユニットは、さらに
    前記ラベリング要求が予め設定された校正の必要な要求であることに応答して、前記ターゲットタイトルタイプのラベリングタイトル、および前記校正の必要な要求に対応する校正タイトルを生成することによって前記ラベリング要求に基づき、前記ターゲットタイトルタイプのラベリングタイトルを生成することを実行するように構成され、
    前記校正タイトルのラベリングコンテンツは、前記ラベリングタイトルのラベリングコンテンツを調整するために用いられる請求項１３に記載の装置。
15. 前記タイトル生成ユニットは、さらに
    前記ラベリングモードタイプがターゲットタイプである場合、前記ラベリングモードタイプに対応する少なくとも２つのラベリングタイトルタイプを取得することと、
    前記ラベリング要求が事前設定要求である場合、前記事前設定要求に対応するタイトルのタイプを、ターゲットタイトルタイプとすることと、によって前記ラベリングモードタイプに対応する少なくとも１つのラベリングタイトルタイプにおいて、前記ラベリング要求に対応するラベリングタイトルタイプをターゲットタイトルタイプとして決定することを実行するように構成される請求項９に記載の装置。
16. 前記ターゲットタイプがクレンジングタイプであることに応答して、前記事前設定要求が直接選択要求である場合、前記ターゲットタイトルタイプは選択肢選択タイプであり、前記事前設定要求がファジー検索要求である場合、前記ターゲットタイトルタイプはドロップダウンボックス選択タイプであり、
    前記ターゲットタイプが転写タイプであることに応答して、前記事前設定要求が少ないコンテンツの転写要求である場合、前記ターゲットタイトルタイプは一行テキストタイトルであり、前記事前設定要求がマルチコンテンツの転写要求である場合、前記ターゲットタイトルタイプは複数行テキストタイトルであり、
    前記ターゲットタイプがエンリッチメントタイプであることに応答して、前記事前設定要求が少ないコンテンツのエンリッチメント要求である場合、前記ターゲットタイトルタイプは一行テキストタイトルであり、前記事前設定要求がマルチコンテンツのエンリッチメント要求である場合、前記ターゲットタイトルタイプは複数行テキストタイトルである請求項１５に記載の装置。
17. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な指令が格納され、前記指令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに請求項１～８のいずれか１項に記載の方法を実行させる、電子機器。
18. コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、
    前記コンピュータ指令はコンピュータに請求項１～８のいずれか１項に記載の方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体。
19. プロセッサによって実行されると、請求項１～８のいずれか１項に記載の方法が実現されるコンピュータプログラム。

Images