JP7211735B2 - 寄与度決定方法、寄与度決定装置及びプログラム - Google Patents
寄与度決定方法、寄与度決定装置及びプログラム Download PDFInfo
- Publication number
- JP7211735B2 JP7211735B2 JP2018159825A JP2018159825A JP7211735B2 JP 7211735 B2 JP7211735 B2 JP 7211735B2 JP 2018159825 A JP2018159825 A JP 2018159825A JP 2018159825 A JP2018159825 A JP 2018159825A JP 7211735 B2 JP7211735 B2 JP 7211735B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- annotation
- contribution
- worker
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 28
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000004364 calculation method Methods 0.000 claims description 41
- 238000012937 correction Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 28
- 238000004891 communication Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
- G06F18/41—Interactive pattern learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/101—Collaborative creation, e.g. joint development of products or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/12—Accounting
- G06Q40/125—Finance or payroll
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Multimedia (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Artificial Intelligence (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- General Engineering & Computer Science (AREA)
- Technology Law (AREA)
- Primary Health Care (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Processing Or Creating Images (AREA)
Description
[システムの全体構成]
図1は、実施の形態1におけるシステムの全体構成の一例を示す図である。
サーバ20は、アノテーションツール部201と、センサデータDB202と、アノテーション作業データDB203と、報酬金額DB204とを備える。サーバ20は、例えば、プロセッサ(マイクロプロセッサ)、メモリ、通信インタフェース等を備えるコンピュータで実現される。
センサデータDB202は、クラウドソーシングを利用する複数の作業者に対してアノテーション作業を実施してもらうめの対象データを格納する記憶装置である。センサデータDB202は、半導体メモリ、ハードディスクなどで実現される。ここで、対象データは、1以上の静止画像であってもよい。この場合、1以上の静止画像のそれぞれは、例えば、車両に搭載された車載カメラまたは所定位置に設置された監視カメラにより撮影された画像である。
アノテーションツール部201は、センサデータDB202に格納される複数の対象データからアノテーション作業を依頼する対象データを選択し、ネットワーク40を介して選択した対象データに対するアノテーション作業画面を複数の作業端末30に提供する。
アノテーション作業データDB203は、第1記憶装置の一例であり、対象データそれぞれについて紐づけられるアノテーション作業データの履歴を格納する。アノテーション作業データDB203は、半導体メモリ、ハードディスクなどで実現される。
報酬金額DB204は、寄与度決定装置10から出力される算出結果を格納する記憶装置である。報酬金額DB204は、半導体メモリ、ハードディスクなどで実現される。
作業端末30は、図1に示すように、通信部301、提示部302、及び、入力部303を備える。作業端末30は、例えば、プロセッサ(マイクロプロセッサ)、メモリ、センサ、通信インタフェース等を備えるコンピュータで実現される。作業端末は、パソコンまたはタブレットなどの携帯端末である。
通信部301は、プロセッサおよび通信I/F等により実現され、サーバ20と通信を行う。より具体的には、通信部301は、サーバ20より提供された対象データに対するアノテーション作業画面を提示部302に送信する。
提示部302は、通信部301を介してサーバ20より送信された対象データに対するアノテーション作業画面を提示する。例えば、提示部302は、図3に示すようなアノテーション作業画面50を提示する。
入力部303は、ユーザからの入力を受け取るインターフェース装置である。入力部303は、提示部302により提示されたアノテーション作業画面に含まれる対象データが画像である場合には、対象データに含まれる対象物体に対してバウンディングボックスを付す、更新する、または削除などアノテーション作業の入力を受け取る。例えば図4Aに示すアノテーション作業画面50Aを例に挙げると、入力部303は、物体511に対して物体511の位置を示すバウンディングボックス52を付して、ラベル選択領域53の一のクラスラベルを選択するアノテーション作業の入力を受け取ってもよい。
寄与度決定装置10は、更新履歴取得部101と、寄与度算出部102と、重み付けDB103と、金額計算部104とを備える。寄与度決定装置10は、例えば、プロセッサ(マイクロプロセッサ)、メモリ、センサ、通信インタフェース等を備えるコンピュータで実現される。
更新履歴取得部101は、クラウドソーシングを利用する複数の作業者により、アノテーションが付される作業であるアノテーション作業が完了した1以上の対象データそれぞれに対するアノテーション作業の更新履歴をアノテーション作業データDB203から取得する。
寄与度算出部102は、更新履歴取得部101により取得された更新履歴を参照して、重み付けDB103に格納されている予め定められた重み付けルールに従い、複数の作業者を示す複数の作業者ID毎の作業寄与度を算出する。寄与度算出部102は、1以上の対象データそれぞれに対して作業順で最初にアノテーション作業を行った作業者を示す作業者IDに、作順で次以降にアノテーション作業を行った作業者を示す作業者IDよりも大きく重み付けた作業寄与度を算出する。
重み付けDB103は、第2記憶装置の一例であり、半導体メモリ、ハードディスクなどで実現される。重み付けDB103には、予め定められた重み付けルールが登録されている。
図6は、実施の形態1における金額計算部104の詳細構成の一例を示す図である。
次に、以上のように構成された寄与度決定装置10の動作について説明する。
以上のように、本実施の形態によれば、クラウドソーシングを利用して依頼される作業者の作業着手を早めさすことができる寄与度決定方法等を実現できる。
実施の形態1では、アノテーション作業の完了をクラウドソーシングの作業者が最初に行った作業時刻から一定時間経過後として説明した。しかし、一の対象データに付されたバウンディングボックスの修正量がほとんどない作業が連続する場合などには、アノテーション作業が完了しているとみなしてもよい。また、実施の形態1では、クラウドソーシングの複数の作業者はアノテーション作業を正しく行うものとして説明した。しかし、複数の作業者の中に、悪意のある悪質な者がいる場合も考えられる。この場合、悪質な者は、一の対象データに付されたバウンディングボックスの大きさを大きくしたり削除したりして、アノテーション作業の更新回数を増やす、またはアノテーション作業の最初若しくは最後を行った者になろうとする場合も考えられる。
図9は、実施の形態2におけるシステムの全体構成の一例を示す図である。なお、図1と同様の要素には同一の符号を付しており、詳細な説明は省略する。
サーバ20Aは、アノテーションツール部201Aと、センサデータDB202と、アノテーション作業データDB203と、報酬金額DB204とを備える。サーバ20Aも、例えば、プロセッサ(マイクロプロセッサ)、メモリ、センサ、通信インタフェース等を備えるコンピュータで実現される。
アノテーションツール部201Aは、センサデータDB202に格納される複数の対象データからアノテーション作業を依頼する対象データを選択し、ネットワーク40を介して選択した対象データに対するアノテーション作業画面を複数の作業端末30に提供する。
寄与度決定装置10Aは、更新履歴取得部101Aと、寄与度算出部102と、重み付けDB103と、金額計算部104と、判定部105とを備える。寄与度決定装置10Aは、例えば、プロセッサ(マイクロプロセッサ)、メモリ、センサ、通信インタフェース等を備えるコンピュータで実現される。
図10は、図9に示す判定部105の詳細構成の一例を示す図である。
更新履歴取得部101Aは、クラウドソーシングを利用する複数の作業者によるアノテーション作業が完了した1以上の対象データそれぞれに対するアノテーション作業の更新履歴をアノテーション作業データDB203から取得する。
次に、以上のように構成された寄与度決定装置10Aの判定動作について説明する。
以上のように、本実施の形態によれば、クラウドソーシングを利用して依頼される作業者が悪意をもって行った悪質なアノテーション作業か否かを管理人等に確認させることができる。これにより、悪質な作業者の検出と管理とが可能になる。
以上、本開示の一つまたは複数の態様に係る寄与度決定方法等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。例えば、以下のような場合も本開示に含まれる。
20、20A サーバ
30 作業端末
40 ネットワーク
50a RUNボタン
50b データ選択領域50b
50c Saveボタン
50、50A、50B、50C、50D、50E アノテーション作業画面
51 静止画像
52、54、71、72、83 バウンディングボックス
53 ラベル選択領域
65 画像
66 時系列データ
101、101A 更新履歴取得部
102 寄与度算出部
103 重み付けDB
104 金額計算部
105 判定部
201、201A アノテーションツール部
202 センサデータDB
203 アノテーション作業データDB
204 報酬金額DB
301 通信部
302 提示部
303 入力部
511、512、513 物体
661、662、663、664、665、666 時間区間
1041 受付部
1042 計算部
1051 作業完了判定部
1052 不適切作業判定部
Claims (9)
- コンピュータが行う寄与度決定方法であって、
クラウドソーシングを利用する複数の作業者により、1つの対象データに対して、複数のアノテーションが付される作業であるアノテーション作業が完了したアノテーション作業の更新履歴を第1記憶装置から取得する更新履歴取得ステップと、
前記更新履歴取得ステップにおいて取得した前記更新履歴を参照して、第2記憶装置に格納されている予め定められた重み付けルールに従い、前記複数の作業者を示す複数の作業者ID毎の、1つの対象データに対する全作業者の寄与度を合計すると1になるよう正規化された作業寄与度を算出する寄与度算出ステップとを含み、
前記寄与度算出ステップでは、前記1以上の対象データそれぞれに対して作業順で最初にアノテーション作業を行った作業者を示す作業者IDに、作業順で次以降にアノテーション作業を行った作業者を示す作業者IDよりも大きく重み付けた作業寄与度を算出する、
寄与度決定方法。 - 前記1以上の対象データは1以上の静止画像であり、
前記アノテーション作業は、前記1以上の静止画像それぞれに映る1以上の対象物体それぞれを囲うバウンディングボックスを付して、前記1以上の対象物体それぞれを表すラベルを前記バウンディングボックスに付す作業である、
請求項1に記載の寄与度決定方法。 - 前記1以上の静止画像のそれぞれは、車両に搭載された車載カメラまたは所定位置に設置された監視カメラにより撮影された画像であり、
前記1以上の対象物体は、前記静止画像に映る人を含む、
請求項2に記載の寄与度決定方法。 - 前記1以上の対象データは1以上の時系列データであり、
前記アノテーション作業は、前記1以上の時系列データに含まれる1以上の状態それぞれを区別する時間区間を付して、1以上の前記時間区間それぞれに、対応する状態を表すラベルを付す作業である、
請求項1に記載の寄与度決定方法。 - 前記1以上の時系列データのそれぞれは、車両に搭載された車載カメラにより撮影された複数の画像それぞれと同時にセンサにより取得された前記車両に関するセンサデータであり、
前記1以上の状態は、前記車両の走行状態、前記車両の走行場所、前記車両の周辺環境、前記車両が走行する道路状況のうちの少なくとも一である、
請求項4に記載の寄与度決定方法。 - 前記寄与度算出ステップでは、前記1以上の対象データそれぞれに対して作業順で最後にアノテーション作業を行った作業者を示す作業者IDに、作業順で前記次以降から最後より前までにアノテーション作業を行った作業者を示す作業者IDよりも大きく重み付けた作業寄与度を算出する、
請求項2~5のいずれか1項に記載の寄与度決定方法。 - さらに、1つの対象データあたりの金額の設定を受け付ける受付ステップと、
前記寄与度算出ステップで算出された前記作業者ID毎の作業寄与度に、前記受付ステップで受け付けた金額を乗算して得た前記作業者ID毎の金額を報酬として計算する計算ステップとを含む、
請求項2~6のいずれか1項に記載の寄与度決定方法。 - クラウドソーシングを利用する複数の作業者により、1つの対象データに対して、複数のアノテーションが付される作業であるアノテーション作業が完了したアノテーション作業の更新履歴を第1記憶装置から取得する更新履歴取得部と、
前記更新履歴取得部において取得した前記更新履歴を参照して、第2記憶装置に格納されている予め定められた重み付けルールに従い、前記複数の作業者を示す複数の作業者ID毎の、1つの対象データに対する全作業者の寄与度を合計すると1になるよう正規化された作業寄与度を算出する寄与度算出部とを備え、
前記寄与度算出部は、前記1以上の対象データそれぞれに対して作業順で最初にアノテーション作業を行った作業者を示す作業者IDに、作業順で次以降にアノテーション作業を行った作業者を示す作業者IDよりも大きく重み付けた作業寄与度を算出する、
寄与度決定装置。 - クラウドソーシングを利用する複数の作業者により、1つの対象データに対して、複数のアノテーションが付される作業であるアノテーション作業が完了したアノテーション作業の更新履歴を第1記憶装置から取得する更新履歴取得ステップと、
前記更新履歴取得ステップにおいて取得した前記更新履歴を参照して、第2記憶装置に格納されている予め定められた重み付けルールに従い、前記複数の作業者を示す複数の作業者ID毎の、1つの対象データに対する全作業者の寄与度を合計すると1になるよう正規化された作業寄与度を算出する寄与度算出ステップとを含み、
前記寄与度算出ステップでは、前記1以上の対象データそれぞれに対して作業順で最初にアノテーション作業を行った作業者を示す作業者IDに、作業順で次以降にアノテーション作業を行った作業者を示す作業者IDよりも大きく重み付けた作業寄与度を算出する、
ことをコンピュータに実行させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018159825A JP7211735B2 (ja) | 2018-08-29 | 2018-08-29 | 寄与度決定方法、寄与度決定装置及びプログラム |
US16/541,784 US20200074377A1 (en) | 2018-08-29 | 2019-08-15 | Contribution level determination method, contribution level determination apparatus, and recording medium |
CN201910788142.1A CN110874562A (zh) | 2018-08-29 | 2019-08-26 | 贡献度决定方法、贡献度决定装置及记录介质 |
JP2022132483A JP7375135B2 (ja) | 2018-08-29 | 2022-08-23 | 判定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018159825A JP7211735B2 (ja) | 2018-08-29 | 2018-08-29 | 寄与度決定方法、寄与度決定装置及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022132483A Division JP7375135B2 (ja) | 2018-08-29 | 2022-08-23 | 判定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020035116A JP2020035116A (ja) | 2020-03-05 |
JP7211735B2 true JP7211735B2 (ja) | 2023-01-24 |
Family
ID=69641283
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018159825A Active JP7211735B2 (ja) | 2018-08-29 | 2018-08-29 | 寄与度決定方法、寄与度決定装置及びプログラム |
JP2022132483A Active JP7375135B2 (ja) | 2018-08-29 | 2022-08-23 | 判定方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022132483A Active JP7375135B2 (ja) | 2018-08-29 | 2022-08-23 | 判定方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200074377A1 (ja) |
JP (2) | JP7211735B2 (ja) |
CN (1) | CN110874562A (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110570316A (zh) * | 2018-08-31 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 训练损伤识别模型的方法及装置 |
JP7229795B2 (ja) * | 2019-02-01 | 2023-02-28 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | アノテーション装置、アノテーション方法、及び、プログラム |
KR102156580B1 (ko) * | 2019-11-21 | 2020-09-16 | 주식회사 크라우드웍스 | 크라우드소싱 기반 프로젝트의 작업 진행 속도에 따른 작업 단가 조정 방법 |
KR102155748B1 (ko) * | 2020-01-03 | 2020-09-17 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 시간 대비 검수 시간을 이용한 검수 단가 자동 업데이트 방법 |
US11462030B2 (en) * | 2020-05-11 | 2022-10-04 | Caterpillar Inc. | Method and system for detecting a pile |
JP2022091269A (ja) * | 2020-12-09 | 2022-06-21 | ブラザー工業株式会社 | 方法、システム、および、コンピュータプログラム |
CN113420149A (zh) * | 2021-06-30 | 2021-09-21 | 北京百度网讯科技有限公司 | 数据的标注方法和装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003150628A (ja) | 2001-11-14 | 2003-05-23 | Nippon Telegr & Teleph Corp <Ntt> | 奨励ポイント付き共有ブックマークシステム、当該システムを実施する方法及びその方法を実施するプログラムを記録した記憶媒体 |
JP2009282737A (ja) | 2008-05-22 | 2009-12-03 | Toshiba Corp | 設備情報管理装置 |
JP2014109868A (ja) | 2012-11-30 | 2014-06-12 | International Business Maschines Corporation | 商品又はサービスの購入要求を処理する装置及び方法 |
WO2015022336A1 (en) | 2013-08-12 | 2015-02-19 | Philip Morris Products S.A. | Systems and methods for crowd-verification of biological networks |
JP2015162109A (ja) | 2014-02-27 | 2015-09-07 | 日本電信電話株式会社 | タスク割り当てサーバ、タスク割り当て方法およびプログラム |
US20160314127A1 (en) | 2013-02-19 | 2016-10-27 | Digitalglobe, Inc. | Enhanced crowdsourced search and locate platform |
US20170091697A1 (en) | 2015-09-01 | 2017-03-30 | Go Daddy Operating Company, LLC | Predictive model of task quality for crowd worker tasks |
JP2017162437A (ja) | 2016-03-11 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像処理方法、画像処理装置およびプログラム |
WO2017212956A1 (ja) | 2016-06-09 | 2017-12-14 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP2018106662A (ja) | 2016-12-22 | 2018-07-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2019520647A (ja) | 2016-06-22 | 2019-07-18 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 画像妥当性確認の自動化 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4613600B2 (ja) | 2004-12-14 | 2011-01-19 | 富士ゼロックス株式会社 | 文書レビュー支援システム及び文書レビュー支援プログラム |
US20090018731A1 (en) * | 2007-07-12 | 2009-01-15 | Mobile Office, Inc. | Personal computer control for vehicles |
US8554605B2 (en) * | 2011-06-29 | 2013-10-08 | CrowdFlower, Inc. | Evaluating a worker in performing crowd sourced tasks and providing in-task training through programmatically generated test tasks |
US8626545B2 (en) * | 2011-10-17 | 2014-01-07 | CrowdFlower, Inc. | Predicting future performance of multiple workers on crowdsourcing tasks and selecting repeated crowdsourcing workers |
US20160342624A1 (en) | 2013-05-01 | 2016-11-24 | Image Searcher, Inc. | Image Tagging System |
GR20140100091A (el) * | 2014-02-21 | 2015-09-29 | Google Inc, | Αναγνωριση αποτελεσματικων συνεισφεροντων πληθοπορισμου και συνεισφορες υψηλης ποιοτητας |
CN107689027A (zh) * | 2016-08-04 | 2018-02-13 | 松下电器(美国)知识产权公司 | 注释赋予方法、注释赋予系统以及存储有程序的记录介质 |
CN107704631B (zh) * | 2017-10-30 | 2020-12-01 | 西华大学 | 一种基于众包的音乐标注原子库的构建方法 |
US11501572B2 (en) * | 2018-03-26 | 2022-11-15 | Nvidia Corporation | Object behavior anomaly detection using neural networks |
-
2018
- 2018-08-29 JP JP2018159825A patent/JP7211735B2/ja active Active
-
2019
- 2019-08-15 US US16/541,784 patent/US20200074377A1/en not_active Abandoned
- 2019-08-26 CN CN201910788142.1A patent/CN110874562A/zh active Pending
-
2022
- 2022-08-23 JP JP2022132483A patent/JP7375135B2/ja active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003150628A (ja) | 2001-11-14 | 2003-05-23 | Nippon Telegr & Teleph Corp <Ntt> | 奨励ポイント付き共有ブックマークシステム、当該システムを実施する方法及びその方法を実施するプログラムを記録した記憶媒体 |
JP2009282737A (ja) | 2008-05-22 | 2009-12-03 | Toshiba Corp | 設備情報管理装置 |
JP2014109868A (ja) | 2012-11-30 | 2014-06-12 | International Business Maschines Corporation | 商品又はサービスの購入要求を処理する装置及び方法 |
US20160314127A1 (en) | 2013-02-19 | 2016-10-27 | Digitalglobe, Inc. | Enhanced crowdsourced search and locate platform |
WO2015022336A1 (en) | 2013-08-12 | 2015-02-19 | Philip Morris Products S.A. | Systems and methods for crowd-verification of biological networks |
JP2016532958A (ja) | 2013-08-12 | 2016-10-20 | フィリップ モリス プロダクツ エス アー | 生物学的ネットワークのクラウド検証のためのシステムおよび方法 |
JP2015162109A (ja) | 2014-02-27 | 2015-09-07 | 日本電信電話株式会社 | タスク割り当てサーバ、タスク割り当て方法およびプログラム |
US20170091697A1 (en) | 2015-09-01 | 2017-03-30 | Go Daddy Operating Company, LLC | Predictive model of task quality for crowd worker tasks |
JP2017162437A (ja) | 2016-03-11 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像処理方法、画像処理装置およびプログラム |
WO2017212956A1 (ja) | 2016-06-09 | 2017-12-14 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP2019520647A (ja) | 2016-06-22 | 2019-07-18 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 画像妥当性確認の自動化 |
JP2018106662A (ja) | 2016-12-22 | 2018-07-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020035116A (ja) | 2020-03-05 |
JP7375135B2 (ja) | 2023-11-07 |
CN110874562A (zh) | 2020-03-10 |
US20200074377A1 (en) | 2020-03-05 |
JP2022162026A (ja) | 2022-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7211735B2 (ja) | 寄与度決定方法、寄与度決定装置及びプログラム | |
CN109213598B (zh) | 一种资源分配方法、装置及计算机可读存储介质 | |
JP6600536B2 (ja) | 保険業務支援システムおよび保険業務支援方法 | |
JP6764697B2 (ja) | 勤務計画補助情報提供方法、勤務計画補助情報提供プログラムおよび勤務計画補助情報提供装置 | |
CN103853433A (zh) | 通知消息提示方法和通知消息提示装置 | |
US20100017109A1 (en) | Adding destinations to navigation device | |
US20190266424A1 (en) | Information processing apparatus, image delivery system, information processing method, and computer-readable recording medium | |
US10872324B2 (en) | Shopping support computing device | |
JP6634887B2 (ja) | 情報提供システム、方法、プログラムおよびネットワークシステム | |
JP6422583B2 (ja) | ウェブページ上で認証情報を提供する方法、装置、システム、記憶媒体、プログラム、及びコンピュータ装置 | |
WO2019071890A1 (zh) | 产品推荐装置、方法及计算机可读存储介质 | |
JP5533291B2 (ja) | プライバシー保護装置、プライバシー保護方法およびプログラム | |
JP6216187B2 (ja) | 情報処理システム、参照サーバ装置、情報処理方法、及びプログラム | |
US8819114B2 (en) | Server apparatus, method for controlling the server apparatus, and storage medium | |
JP6534355B2 (ja) | Pdfファイル管理システム、pdfファイル管理サーバ、pdfファイルデータ取得サーバ、pdfファイル管理方法、pdfファイルデータ取得方法、pdfファイル管理プログラム、およびpdfファイルデータ取得プログラム | |
CN108388616B (zh) | 数据收集装置、方法、系统及计算机可读存储介质 | |
JP2018181074A (ja) | リカバリ装置、リカバリ方法及びリカバリプログラム | |
US20220292607A1 (en) | Distributed ledger system for asset management and corresponding insurance applications | |
JP2004345792A (ja) | 夜間配送管理システム | |
US20110208624A1 (en) | Parking fee management supporting system and parking fee management supporting method | |
US10242030B2 (en) | Information processing system, information processing method, and information processing apparatus | |
CN110930142A (zh) | 信息处理方法及装置、非临时性计算机可读存储介质 | |
JP7306770B2 (ja) | プログラム、情報処理方法、端末 | |
JP6950350B2 (ja) | 情報処理装置、画像形成装置及びプログラム | |
JP5929573B2 (ja) | 評価システム、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210325 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7211735 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |