JP7409622B2 - 計算機システム及び方法 - Google Patents
計算機システム及び方法 Download PDFInfo
- Publication number
- JP7409622B2 JP7409622B2 JP2022121771A JP2022121771A JP7409622B2 JP 7409622 B2 JP7409622 B2 JP 7409622B2 JP 2022121771 A JP2022121771 A JP 2022121771A JP 2022121771 A JP2022121771 A JP 2022121771A JP 7409622 B2 JP7409622 B2 JP 7409622B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- learning
- task
- annotator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000012549 training Methods 0.000 claims description 47
- 238000010801 machine learning Methods 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 description 131
- 238000012545 processing Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 30
- 230000004044 response Effects 0.000 description 26
- 238000012552 review Methods 0.000 description 26
- 238000012544 monitoring process Methods 0.000 description 17
- 241001465754 Metazoa Species 0.000 description 11
- 238000000605 extraction Methods 0.000 description 9
- 238000011084 recovery Methods 0.000 description 9
- 241000282472 Canis lupus familiaris Species 0.000 description 8
- 241000282326 Felis catus Species 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000005094 computer simulation Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000282693 Cercopithecidae Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
Description
1以上の学習モデルを用意し、
前記少なくとも1つのインタフェースを通じて少なくとも1つのデータソースから学習データを入力して、前記入力された学習データを前記少なくとも1つ記憶デバイスに格納し、
前記学習データを用いて前記1以上の学習モデルの機械学習を行うことにより、1以上の学習済みモデルを生成し、
前記1以上の学習済みモデルに基づいて、少なくとも1つの実用モデルを決定し、
前記少なくとも1つのインタフェースを通じて少なくとも1つのデータソースから実用データを入力し、
前記実用データを用いて、前記少なくとも1つの実用モデルによる推論を実行し、
前記推論により前記少なくとも1つの実用モデルから出力される推論結果データを、前記少なくとも1つのインタフェースを通じて少なくとも1つのデータターゲットへ送信する
ように構成される。この一側面に従う計算機システムは、学習モデルの機械学習を行ない、その機械学習の結果に基づいて実用モデルを用意し、その実用モデルを実際の推論に供するという作業に関して、ユーザを支援する。
前記少なくとも1つのプロセッサにより実行される命令セットを格納し、かつ、前記少なくとも1つのプロセッサにより処理され得るデータを格納し得る、少なくとも1つの記憶デバイスと、前記少なとも1つのプロセッサと少なくとも1つの通信ネットワークとに接続された少なくとも1つのインタフェースとを備える。前記少なくとも1つのプロセッサが、
1以上の学習モデルを用意し、
前記少なくとも1つのインタフェースを通じて少なくとも1つのデータソースから少なくとも1単位の学習データを入力して、前記入力された学習データを前記少なくとも1つ記憶デバイスに格納し、
前記少なくとも1つのインタフェースを通じて少なくとも1つのアノテータ端末へ、前記少なくとも1単位の学習データを送信し、
前記少なくとも1つのインタフェースを通じて前記少なくとも1つのアノテータ端末から、前記少なくとも1単位の学習データにそれぞれ関係する少なくとも1つのアノテーション結果を受信し、
前記受信された少なくとも1つのアノテーション結果を、前記少なくとも1単位の学習データにそれぞれ関連付けて、前記少なくとも1つの記憶デバイスに格納し、
前記少なくとも1単位の学習データとそれに関連付けられた前記少なくとも1つのアノテーション結果とを、教師データとして用いて、前記1以上の学習モデルの前記機械学習を行うことにより、1以上の学習済みモデルを生成する、
ように構成される。この別の側面に従う計算機システムは、教師データを用意し、その教師データを用いて学習モデルの機械学習を行なうという作業に関して、ユーザを支援することができる。
・ユーザ端末112に、非構造化ストレージ104内の学習データセットに対するアノテーション結果(例えば、それぞれの学習データの分類名を示すラベル)の入力(アノテーション作業)の依頼を送信する。
・その依頼を受けたユーザ端末112から、その学習データセットについてのアノテーション結果を受ける。
・受けたアノテーション結果を、その学習データセットに関連付ける。
・アノテーション結果が関連付けられた学習データセット(教師データセット)を、データプール105に格納する。
・入力モジュール41、出力モジュール43及び制御モジュール45といった予め定義されているモジュールに設定されるパラメータ。すなわち、入力モジュール41に設定されるパラメータ、出力モジュール43に設定されるパラメータ、及び制御モジュール45に設定されるパラメータ。入力モジュール41、出力モジュール43及び制御モジュール45の各々は、APPメタ情報421を基に設定されたパラメータに従い動作する。パラメータ設定は、入力モジュール41、出力モジュール43及び制御モジュール45の各々によって行われてもよいし、制御モジュール45によって行われてもよい。
・入力モジュール41が読み込む対象の実用データセットの属性を示す情報(例えば、データセットのID(例えばファイル名)、読込み元領域のアドレス(例えばLBA(Logical Block Address)))。言い換えれば、実用データセットのアクセス権限に関する情報。
・出力モジュール43が出力する推論結果データセットの出力先の属性を示す情報(例えば、出力先領域のアドレス(例えばLBA))。
・実用NN423の属性を示す情報(例えば、実用NN423のID、実用NN423の読込み元領域のアドレス(例えばLBA)、及び、実用NN423の入力次元及び出力次元)。
・データチェックモジュール422の属性を示す情報(例えば、データチェックモジュール422のID、及び、データチェックモジュール422の読込み元領域のアドレス(例えばLBA))。
・データチェックモジュール422に設定されるパラメータであって、実用NN423に対応したパラメータ(例えば、入力されるチェック対象のデータセットの属性(例えば、データセットの次元、又は、エラーパターン)を示す情報)。
上記のような情報を含んだAPPメタ情報421がAPP302(本体モジュール42)に存在する。つまり、実用NN423を動作させるために必要な情報の全て(又は少なくとも一部)がAPP302に内包される。実用NN423に依存しない汎用モジュールとして構成された入力モジュール41、出力モジュール43及び制御モジュール45が、APPメタ情報421を用いることにより、実用NN423を動作させることができる。
(A)エラー仮想ユニット301が存在する物理計算機201内のいずれかの空き仮想ユニット301。
(B)空き割合が最も小さい物理計算機201内のいずれかの空き仮想ユニット301。
・管理システム161は、実用NN423に対応したAPPメタ情報421を生成し、そのAPPメタ情報421を、デプロイ先の空き仮想ユニット301内のAPP302に設定する。具体的には、例えば、管理システム161は、デプロイ先の空き仮想ユニット301のゲストアドレスを指定したメタ設定指示を、デプロイ先の空き仮想ユニット301に送信する。メタ設定指示は、APPメタ情報421を設定することの指示である。メタ設定指示を、その空き仮想ユニット301を有する物理計算機201内のホストOS314(ホストAPI315)を通じて、指定されたゲストアドレスを有するゲストOS304(ゲストAPI305)が受ける。そのメタ設定指示に応答して、ゲストOS304からの指示をAPP302内の制御モジュール45が受けて、制御モジュール45が、APPメタ情報421を、APP302に設定する。
・管理システム161が、デプロイ先の空き仮想ユニット301のゲストアドレスを指定した有効化指示を送信する。有効化指示は、APPメタ情報421に定義されているパラメータを入力モジュール41及び出力モジュール43に設定する指示である。有効化指示を、メタ設定指示と同様のルートを通じて、ゲストOS304が受ける。その有効化指示に応答して、ゲストOS304からの指示をAPP302内の制御モジュール45が受けて、制御モジュール45が、APPメタ情報421におけるパラメータを入力モジュール41及び出力モジュール43に設定する。また、制御モジュール45は、パラメータが設定された入力モジュール41及び出力モジュール43に対して、テスト動作を指示する。入力モジュール41及び出力モジュール43は、その指示に応答してテスト動作(例えば、APPメタ情報421を基にデータセットを読み込み可能か否かをテストするためのダミーコマンドを発行すること)を行う。
ストレージ408に格納された学習データセット502は、複数(通常は多数)の単位の学習データ521を含む。一単位のメタデータ523が、一単位の学習データ521に1対1で関連付けられる。一単位のメタデータ523には、そのメタデータを識別するメタデータID、及び、対応する一単位の学習データ521のファイルを一意に特定する識別コードであるURI(Uniform Resource Identifier)が記録される。URIを利用することで、対応する学習データ521のファイルにアクセスできる。一単位のメタ―データ523には、また、対応する学習データ521に関連する補助情報(例えば、日時、教師データ、又はデータソースなどに関連する情報)も記録できる。
タスク525は、学習データ521にアノテーション結果を関連付ける一単位の作業(つまりタスク)に対応するデータ単位である。タスク525には、そのタスクを識別するタスクID、そのタスクの優先度、そのタスクを割り当てら得るアノテータの最大人数を示す最大アサイン数、そのタスクが完了したか否かを示す完了状態、及び、そのタスクがロックされている(新たなアサインができない)か否かを示すロック状態などが記録される。タスク525の優先度は、そのタスクの進捗を制御するために役立つ。タスク525は、その作業の依頼を受けるアノテータ402にアノテータ端末403を通じて提示される。1つのタスク525は一単位以上のメタデータ523に関連付けられ得る。つまり、1つのタスクが、一単位以上の学習データ521に対するアノテーション作業を含むことができる。また、1以上のタスク525が同じ一単位のメタデータ523は関連付けられ得る。つまり、同じ学習データ521に対して、複数のタスクを設定して、複数人のアノテータによるアノテーション結果を得ることができる。
アサイン527は、1つのタスク525の1人のアノテータ402への割り当てに対応するデータ単位である。アサイン527の目的の一つは、同じタスク525を多すぎるアノテータ402に重複してアサインしないように、アサイン処理を制御することである。アサイン527には、そのアサインを識別するアサインID、そのアサインの開始時刻と有効期限、及び、そのアサインを与えられた(つまり、対応するタスクを取得した)アノテータ402を特定するアノテータ名などが記録される。あるタスクがあるアノテータ402にアサインされた場合、そのアノテータ402によるそのタスクに対応するアノテーション作業が終わらないうちに、そのアサイン527の有効期限が満了した場合、そのアサインは無効化され、その結果、他のアノテータ402が同じタスクを取得することが可能になる。これにより、アノテータの怠慢によるタスクの遅延が抑制される。1以上のアサイン527が1つのタスク525と関連付けられ得る。つまり、1つのタスクを複数人のアノテータ402に割り当てることができる。タスク525に記述された最大アサイン数が、そのタスクを同時に割り当てることができるアノテータ402の人数の上限である。
レザルト529は、1人のアノテータ402が行った1つのタスクのアノテーション結果に対応するデータ単位である。レザルト529には、そのレザルトを識別するレザルトID、アノテーション結果、そのアノテーション結果を入力したアノテータ402を特定するワーカ名、及び、対応するタスクをアサインされてから完了するまでに要した時間長を示す作業時間などが記録される。1つのタスクが複数人のアノテータ402に割り当てられた場合、それぞれのアノテータ402のアノテーション結果に対応した複数のレザルト529が、その1つのタスク525に関連付けられる。
レビュー531は、1人のレビュアー404が1つのアノテーション結果をレビューする(妥当性を判断したり、必要に応じて修正したりする)仕事に対応するデータ単位である。レビュー531には、そのレビューを識別するレビューID、レビュー結果(例えば、そのアノテーション結果つまりラベルが妥当か否かの判断、あるいは、レビューワ404によって修正されたラベル、など)、及び、そのレビューワ404を特定するワーカ名などが記録される。同じレザルト529に対して1以上のレビュー531が関連付けられ得る。すなわち、同じアノテーション結果を複数人のレビューワ404がレビューすることができる。また、人によるレビューに代えて、又はそれに加えて、本システム50がプログラムに従って自動的にアノテーション結果のレビューを行うこともできる(例えば、同じ学習データ521に対する複数の異なるラベルから、多数決で1つのラベルを正解として自動的に選ぶ、など)。
学習データ521に何のラベルを与えるべきか、アノテータが判断できない又は判断に迷う場合があり得る。そのような議論を要する事象(イシュー)に対応するデータ単位が、イシュー533である。イシュー533には、そのイシューを識別するイシューID、アノテータ402から報告されたラベルを付けられない理由などの問題点、その問題点を受けて依頼者400がアノテータ402に対して提示したアドバイスや指示などのガイド、そのガイドに対してレビューワ404が提示した意見、及び、そのイシューが解決したか否かを示す解決状態などが記録される。1以上のタスク525に、1以上のイシュー533が関連付けられ得る。
プロジェクト535は、1つのアノテーション業務プロジェクトに対応するデータ単位である。1つのプロジェクト535に1つ以上のタスク525が関連付けられる。プロジェクト535には、そのプロジェクトを識別するプロジェクトID、依頼者を特定する依頼者名、そのプロジェクトの最大アサイン数、及び、そのプロジェクトの時間切れ条件(例えば、タスクの最大許容処理時間)などが記録される。そのプロジェクトの最大アサイン数に基づいて、そのプロジェクトに含まれる各タスクの最大アサイン数が自動的に決定される(例えば、プロジェクトの最大アサイン数とタスクの最大アサイン数が同じである)。そのプロジェクトの時間切れ条件に基づいて、そのプロジェクトに含まれる各タスクの各アサインの有効期限が自動的に決定される(例えば、アサイン開始時刻に上記の最大許容処理時間を加えた時刻が有効期限である)。
ワーカ537は、ワーカ(つまり、アノテータ402とレビューワ404)の各人に対応したデータ単位である。ワーカ537には、そのワーカを識別するワーカID、そのワーカの作業に対して支払われる料金の単価、そのワーカの能力(例えば、1つのタスクを完了するのに要した作業時間の平均)を示す作業能力などが記録される。ワーカ537は1つ以上のプロジェクト535に関連付けられ得る。つまり、1人のワーカが複数のプロジェクトに参加し得る。
Claims (7)
- 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサにより実行される命令セットを格納し、かつ、前記少なくとも1つのプロセッサにより処理され得るデータを格納し得る、少なくとも1つの記憶デバイスと、
前記少なくとも1つのプロセッサと少なくとも1つの通信ネットワークとに接続された少なくとも1つのインタフェースと
を備え、
前記少なくとも1つのプロセッサが、
1以上の学習モデルを用意し、
前記少なくとも1つのインタフェースを通じて少なくとも1つのデータソースから少なくとも1単位の学習データを入力して、前記入力された学習データを前記少なくとも1つの記憶デバイスに格納し、
前記少なくとも1つのインタフェースを通じて少なくとも1つのアノテータ端末へ、前記少なくとも1単位の学習データを送信し、
前記少なくとも1つのインタフェースを通じて前記少なくとも1つのアノテータ端末から、前記少なくとも1単位の学習データにそれぞれ関係する少なくとも1つのアノテーション結果を受信し、
前記受信された少なくとも1つのアノテーション結果を、前記少なくとも1単位の学習データにそれぞれ関連付けて、前記少なくとも1つの記憶デバイスに格納し、
前記少なくとも1単位の学習データとそれに関連付けられた前記少なくとも1つのアノテーション結果とを、教師データとして用いて、前記1以上の学習モデルの機械学習を行うことにより、1以上の学習済みモデルを生成する、
ように構成され、
前記少なくとも1つのプロセッサが、
複数単位の学習データにそれぞれ関連付けられた複数のタスクを作成し、
前記複数のタスクにそれぞれ優先度を設定し、
前記優先度に応じた順序で、前記複数のタスクの中から各タスクを選択し、
選択された各タスクを前記少なくとも1つのアノテータ端末にアサインし、
前記アサインされた各タスクに関連付けられた少なくとも1単位の学習データを、前記少なくとも1つのアノテータ端末に送信し、
前記少なくとも1単位の学習データに関するアノテーション結果を、前記少なくとも1つのアノテータ端末から受信し、
前記受信したアノテーション結果を前記少なくとも1つの記憶デバイスに格納する、
ように構成された、計算機システム。 - 前記少なくとも1つのプロセッサが、
前記複数のタスクに関連する前記アノテーション結果の分布に応じて、前記複数のタスクの前記優先度を変更する、
ように構成された、
請求項1記載の計算機システム。 - 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサにより実行される命令セットを格納し、かつ、前記少なくとも1つのプロセッサにより処理され得るデータを格納し得る、少なくとも1つの記憶デバイスと、
前記少なくとも1つのプロセッサと少なくとも1つの通信ネットワークとに接続された少なくとも1つのインタフェースと
を備え、
前記少なくとも1つのプロセッサが、
1以上の学習モデルを用意し、
前記少なくとも1つのインタフェースを通じて少なくとも1つのデータソースから少なくとも1単位の学習データを入力して、前記入力された学習データを前記少なくとも1つの記憶デバイスに格納し、
前記少なくとも1つのインタフェースを通じて少なくとも1つのアノテータ端末へ、前記少なくとも1単位の学習データを送信し、
前記少なくとも1つのインタフェースを通じて前記少なくとも1つのアノテータ端末から、前記少なくとも1単位の学習データにそれぞれ関係する少なくとも1つのアノテーション結果を受信し、
前記受信された少なくとも1つのアノテーション結果を、前記少なくとも1単位の学習データにそれぞれ関連付けて、前記少なくとも1つの記憶デバイスに格納し、
前記少なくとも1単位の学習データとそれに関連付けられた前記少なくとも1つのアノテーション結果とを、教師データとして用いて、前記1以上の学習モデルの機械学習を行うことにより、1以上の学習済みモデルを生成する、
ように構成され、
前記少なくとも1つのプロセッサが、
前記少なくとも1単位の学習データに関連付けられた少なくとも1つのタスクを作成し、
タスクごとに最大アサイン数を設定し、
前記少なくとも1つのタスクを、前記最大アサイン数以下の数の複数のアノテータ端末にアサインし、
前記少なくとも1つのタスクに関連付けられた少なくとも1単位の学習データを、前記少なくとも1つのタスクがアサインされた前記複数のアノテータ端末に送信し、
前記複数のアノテータ端末から、前記少なくとも1単位の学習データに関する複数のアノテーション結果を受信し、
前記受信した複数のアノテーション結果を前記少なくとも1つの記憶デバイスに格納する、
ように構成された、計算機システム。 - 前記少なくとも1つのプロセッサが、
前記少なくとも1単位の学習データに関連付けられた少なくとも1つのタスクを作成し、
前記少なくとも1つのタスクを前記少なくとも1つのアノテータ端末にアサインし、
前記アサインされた少なくとも1つのタスクに関連付けられた少なくとも1単位の学習データを、前記少なくとも1つのアノテータ端末に送信し、
前記少なくとも1つのタスクの前記少なくとも1つのアノテータ端末へのアサインに有効期限を設定し、
前記少なくとも1つのアノテータ端末から前記アサインに関連するアノテーション結果が受信されないまま前記アサインの前記有効期限が満了した場合、前記アサインを無効化し、それにより、同じ少なくとも1つのタスクを他の少なくとも1つのアノテーション端末に改めてアサインできるようにする、
ように構成された、
請求項1又は3のいずれか一項記載の計算機システム。 - 前記少なくとも1つのプロセッサが、
前記少なくとも1つのアノテータ端末が前記少なくとも1単位の学習データについて前記少なくとも1つのアノテーション結果を作成するのに要した作業時間を計算し、
前記少なくとも1つのアノテータ端末について計算された前記作業時間に関する情報を、少なくとも1つの他の端末に送信する、
ように構成された、
請求項1又は3のいずれか一項記載の計算機システム。 - 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサにより実行される命令セットを格納し、かつ、前記少なくとも1つのプロセッサにより処理され得るデータを格納し得る、少なくとも1つの記憶デバイスと、
前記少なくとも1つのプロセッサと少なくとも1つの通信ネットワークとに接続された少なくとも1つのインタフェースと
を備え、
前記少なくとも1つのプロセッサが、
1以上の学習モデルを用意し、
前記少なくとも1つのインタフェースを通じて少なくとも1つのデータソースから少なくとも1単位の学習データを入力して、前記入力された学習データを前記少なくとも1つの記憶デバイスに格納し、
前記少なくとも1つのインタフェースを通じて少なくとも1つのアノテータ端末へ、前記少なくとも1単位の学習データを送信し、
前記少なくとも1つのインタフェースを通じて前記少なくとも1つのアノテータ端末から、前記少なくとも1単位の学習データにそれぞれ関係する少なくとも1つのアノテーション結果を受信し、
前記受信された少なくとも1つのアノテーション結果を、前記少なくとも1単位の学習データにそれぞれ関連付けて、前記少なくとも1つの記憶デバイスに格納し、
前記少なくとも1単位の学習データとそれに関連付けられた前記少なくとも1つのアノテーション結果とを、教師データとして用いて、前記1以上の学習モデルの機械学習を行うことにより、1以上の学習済みモデルを生成する、
ように構成され、
前記少なくとも1つのプロセッサが、
前記少なくとも1単位の学習データに関連付けられた少なくとも1つのタスクを作成し、
前記少なくとも1つのタスクを前記少なくとも1つのアノテータ端末にアサインし、
前記少なくとも1つのアノテータ端末が前記アサインされたタスクについて所定の動作をした場合、前記アサインされたタスクに関連するイシューを作成し、
前記作成されたイシューを、少なくとも1つの他の端末へ送信し、
前記少なくとも1つの他の端末から、前記イシューに関するガイドを受信し、
前記受信されたガイドを、前記少なくとも1つのアノテータ端末へ送信可能にする、
ように構成された、計算機システム。 - 1以上の学習モデルを用意するステップと、
少なくとも1つのデータソースから複数単位の学習データを入力するステップと、
前記複数単位の学習データにそれぞれ関連付けられた複数のタスクを作成するステップと、
前記複数のタスクにそれぞれ優先度を設定するステップと、
前記優先度に応じた順序で、前記複数のタスクの中から各タスクを選択するステップと、
選択された各タスクを少なくとも1つのアノテータ端末にアサインするステップと、
前記アサインされた各タスクに関連付けられた少なくとも1単位の学習データを、前記少なくとも1つのアノテータ端末に送信するステップと、
前記少なくとも1単位の学習データに関するアノテーション結果を、前記少なくとも1つのアノテータ端末から受信するステップと、
前記少なくとも1単位の学習データとそれに関する前記アノテーション結果とを、教師データとして用いて、前記1以上の学習モデルの機械学習を行うステップと、
を有する、計算機システムにより行われる方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023210032A JP2024023651A (ja) | 2017-06-30 | 2023-12-13 | 機械学習又は推論のための計算機システム及び方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017128262 | 2017-06-30 | ||
JP2017128262 | 2017-06-30 | ||
PCT/JP2018/003824 WO2019003485A1 (ja) | 2017-06-30 | 2018-02-05 | 機械学習又は推論のための計算機システム及び方法 |
JP2019526134A JP7122713B2 (ja) | 2017-06-30 | 2018-02-05 | 機械学習又は推論のための計算機システム及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019526134A Division JP7122713B2 (ja) | 2017-06-30 | 2018-02-05 | 機械学習又は推論のための計算機システム及び方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023210032A Division JP2024023651A (ja) | 2017-06-30 | 2023-12-13 | 機械学習又は推論のための計算機システム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022160544A JP2022160544A (ja) | 2022-10-19 |
JP7409622B2 true JP7409622B2 (ja) | 2024-01-09 |
Family
ID=64741349
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019526134A Active JP7122713B2 (ja) | 2017-06-30 | 2018-02-05 | 機械学習又は推論のための計算機システム及び方法 |
JP2022121771A Active JP7409622B2 (ja) | 2017-06-30 | 2022-07-29 | 計算機システム及び方法 |
JP2023210032A Pending JP2024023651A (ja) | 2017-06-30 | 2023-12-13 | 機械学習又は推論のための計算機システム及び方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019526134A Active JP7122713B2 (ja) | 2017-06-30 | 2018-02-05 | 機械学習又は推論のための計算機システム及び方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023210032A Pending JP2024023651A (ja) | 2017-06-30 | 2023-12-13 | 機械学習又は推論のための計算機システム及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11531909B2 (ja) |
JP (3) | JP7122713B2 (ja) |
WO (1) | WO2019003485A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12056443B1 (en) * | 2023-12-13 | 2024-08-06 | nference, inc. | Apparatus and method for generating annotations for electronic records |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6659647B2 (ja) * | 2017-09-29 | 2020-03-04 | ファナック株式会社 | 数値制御システム及び逆流防止弁状態検知方法 |
WO2019187421A1 (ja) * | 2018-03-29 | 2019-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11366680B2 (en) * | 2018-07-19 | 2022-06-21 | Twistlock, Ltd. | Cloud native virtual machine runtime protection |
US11526420B2 (en) | 2019-01-22 | 2022-12-13 | Microsoft Technology Licensing, Llc | Techniques for training and deploying a model based feature in a software application |
WO2020158954A1 (ja) * | 2019-02-01 | 2020-08-06 | 株式会社コンピュータマインド | サービス構築装置、サービス構築方法及びサービス構築プログラム |
US10977518B1 (en) * | 2019-03-15 | 2021-04-13 | Amazon Technologies, Inc. | Machine learning based adaptive instructions for annotation |
JP2022116369A (ja) * | 2019-06-10 | 2022-08-10 | アミフィアブル株式会社 | スポーツ動画管理システム |
JP2021005846A (ja) * | 2019-06-27 | 2021-01-14 | オリンパス株式会社 | 積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 |
JP2021018766A (ja) * | 2019-07-24 | 2021-02-15 | 日本放送協会 | 学習モデル更新支援装置及びプログラム |
US11132500B2 (en) * | 2019-07-31 | 2021-09-28 | International Business Machines Corporation | Annotation task instruction generation |
JP7268924B2 (ja) * | 2019-11-14 | 2023-05-08 | 株式会社アクセル | 推論システム、推論装置、推論方法及び推論プログラム |
WO2021193025A1 (ja) * | 2020-03-25 | 2021-09-30 | パナソニックIpマネジメント株式会社 | データ生成方法、判定方法、プログラム、及び、データ生成システム |
JP7521775B2 (ja) | 2020-04-13 | 2024-07-24 | カラクリ株式会社 | 情報処理装置、アノテーション評価プログラム、及びアノテーション評価方法 |
CN111861815B (zh) * | 2020-06-19 | 2024-02-02 | 北京国音红杉树教育科技有限公司 | 一种词听学习中评估用户记忆水平的方法及装置 |
JP7532159B2 (ja) | 2020-09-15 | 2024-08-13 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR102343036B1 (ko) * | 2021-02-10 | 2021-12-24 | 주식회사 인피닉 | 작업 가이드를 제공할 수 있는 어노테이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
JPWO2022209500A1 (ja) * | 2021-03-30 | 2022-10-06 | ||
JPWO2022224378A1 (ja) * | 2021-04-21 | 2022-10-27 | ||
CN113420149A (zh) * | 2021-06-30 | 2021-09-21 | 北京百度网讯科技有限公司 | 数据的标注方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015166975A (ja) | 2014-03-04 | 2015-09-24 | 富士ゼロックス株式会社 | 注釈情報付与プログラム及び情報処理装置 |
JP2016062361A (ja) | 2014-09-18 | 2016-04-25 | 株式会社東芝 | 情報処理装置、方法およびプログラム |
JP2016143354A (ja) | 2015-02-04 | 2016-08-08 | エヌ・ティ・ティ・コムウェア株式会社 | 学習装置、学習方法、およびプログラム |
US20170178019A1 (en) | 2015-12-16 | 2017-06-22 | Accenture Global Solutions Limited | Machine for development of analytical models |
WO2017190743A1 (en) | 2016-05-02 | 2017-11-09 | Scopito Aps | Model construction in a neural network for object detection |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6842877B2 (en) * | 1998-12-18 | 2005-01-11 | Tangis Corporation | Contextual responses based on automated learning techniques |
US9058317B1 (en) | 2012-11-01 | 2015-06-16 | Digital Reasoning Systems, Inc. | System and method for machine learning management |
WO2014124407A2 (en) * | 2013-02-08 | 2014-08-14 | Emotient | Collection of machine learning training data for expression recognition |
US10558924B2 (en) * | 2014-05-23 | 2020-02-11 | DataRobot, Inc. | Systems for second-order predictive data analytics, and related methods and apparatus |
US10496927B2 (en) * | 2014-05-23 | 2019-12-03 | DataRobot, Inc. | Systems for time-series predictive data analytics, and related methods and apparatus |
DE112015002433T5 (de) * | 2014-05-23 | 2017-03-23 | Datarobot | Systeme und Techniken zur prädikativen Datenanalytik |
US10366346B2 (en) * | 2014-05-23 | 2019-07-30 | DataRobot, Inc. | Systems and techniques for determining the predictive value of a feature |
US10033702B2 (en) * | 2015-08-05 | 2018-07-24 | Intralinks, Inc. | Systems and methods of secure data exchange |
US10705796B1 (en) * | 2017-04-27 | 2020-07-07 | Intuit Inc. | Methods, systems, and computer program product for implementing real-time or near real-time classification of digital data |
-
2018
- 2018-02-05 US US16/627,695 patent/US11531909B2/en active Active
- 2018-02-05 WO PCT/JP2018/003824 patent/WO2019003485A1/ja active Application Filing
- 2018-02-05 JP JP2019526134A patent/JP7122713B2/ja active Active
-
2022
- 2022-07-29 JP JP2022121771A patent/JP7409622B2/ja active Active
-
2023
- 2023-12-13 JP JP2023210032A patent/JP2024023651A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015166975A (ja) | 2014-03-04 | 2015-09-24 | 富士ゼロックス株式会社 | 注釈情報付与プログラム及び情報処理装置 |
JP2016062361A (ja) | 2014-09-18 | 2016-04-25 | 株式会社東芝 | 情報処理装置、方法およびプログラム |
JP2016143354A (ja) | 2015-02-04 | 2016-08-08 | エヌ・ティ・ティ・コムウェア株式会社 | 学習装置、学習方法、およびプログラム |
US20170178019A1 (en) | 2015-12-16 | 2017-06-22 | Accenture Global Solutions Limited | Machine for development of analytical models |
WO2017190743A1 (en) | 2016-05-02 | 2017-11-09 | Scopito Aps | Model construction in a neural network for object detection |
Non-Patent Citations (2)
Title |
---|
水澤 健 ほか,「クラウドソーシング環境における実行プラン処理方式の提案」,第9回データ工学と情報マネジメントに関するフォーラム論文集 [online],電子情報通信学会データ工学研究専門委員会,2017年03月,[検索日 2017.07.06] インターネット:<URL:http://db-event.jpn.org/deim2017/papers/30.pdf> |
鹿島 久嗣 ほか,「クラウドソーシングと機械学習」,人工知能学会誌,社団法人 人工知能学会,2012年07月01日,第27巻,第4号,pp.381-388,ISSN 0912-8085 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12056443B1 (en) * | 2023-12-13 | 2024-08-06 | nference, inc. | Apparatus and method for generating annotations for electronic records |
Also Published As
Publication number | Publication date |
---|---|
JP2024023651A (ja) | 2024-02-21 |
WO2019003485A1 (ja) | 2019-01-03 |
JP7122713B2 (ja) | 2022-08-22 |
JPWO2019003485A1 (ja) | 2020-04-30 |
JP2022160544A (ja) | 2022-10-19 |
US20200167671A1 (en) | 2020-05-28 |
US11531909B2 (en) | 2022-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7409622B2 (ja) | 計算機システム及び方法 | |
US11425194B1 (en) | Dynamically modifying a cluster of computing nodes used for distributed execution of a program | |
US10043147B2 (en) | Assessing user performance in a community of users of data storage resources | |
US9406023B2 (en) | System recommendations based on incident analysis | |
US20200125410A1 (en) | Dynamic allocation of worker nodes for distributed replication | |
US10831387B1 (en) | Snapshot reservations in a distributed storage system | |
US8321558B1 (en) | Dynamically monitoring and modifying distributed execution of programs | |
CN111801661A (zh) | 多主机分布式数据管理系统中的事务操作 | |
US10817380B2 (en) | Implementing affinity and anti-affinity constraints in a bundled application | |
US11182406B2 (en) | Increased data availability during replication | |
CN112753022A (zh) | 数据库环境中的自动查询重试 | |
JP6094593B2 (ja) | 情報システム構築装置、情報システム構築方法および情報システム構築プログラム | |
CN101159596A (zh) | 用于布置服务器的方法和设备 | |
JP2003030197A (ja) | 全文検索システム及び全文検索プログラム | |
CN107924324A (zh) | 数据访问加速器 | |
US20230153100A1 (en) | Method and apparatus for managing model file in inference application | |
CN112433888B (zh) | 数据处理方法及装置、存储介质和电子设备 | |
US20190020716A1 (en) | Method and system for recovering data in distributed computing system | |
EP3798931A1 (en) | Machine learning training resource management | |
US11694112B2 (en) | Machine learning data management system and data management method | |
CN112769954B (zh) | 一种web程序自动存储和自动路由的方法和系统 | |
US11243968B2 (en) | Dynamic data service engine/router for content service management | |
JP2004164344A (ja) | 評価支援方法とこの方法を利用可能なシステム | |
US20200089714A1 (en) | Method and server for indexing web page in index | |
JP6680897B2 (ja) | 計算機システム及び分析ソースデータ管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220802 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7409622 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |