JP6722309B2 - 検証用注釈処理作業を用いた実施用注釈処理作業の検証方法及び装置 - Google Patents
検証用注釈処理作業を用いた実施用注釈処理作業の検証方法及び装置 Download PDFInfo
- Publication number
- JP6722309B2 JP6722309B2 JP2019007987A JP2019007987A JP6722309B2 JP 6722309 B2 JP6722309 B2 JP 6722309B2 JP 2019007987 A JP2019007987 A JP 2019007987A JP 2019007987 A JP2019007987 A JP 2019007987A JP 6722309 B2 JP6722309 B2 JP 6722309B2
- Authority
- JP
- Japan
- Prior art keywords
- annotation processing
- implementation
- verification
- processing operations
- results
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 658
- 238000012795 verification Methods 0.000 title claims description 255
- 238000000034 method Methods 0.000 title claims description 72
- 230000008569 process Effects 0.000 claims description 40
- 230000005540 biological transmission Effects 0.000 claims description 20
- 238000007689 inspection Methods 0.000 claims description 13
- 238000010200 validation analysis Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 241001669679 Eleotris Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
段階S111で、実施用注釈処理作業送信部は、n個の実施用注釈処理作業の結果を有効でない注釈処理と定義した直後に、作業者の端末にn-i個(但し、iは1以上の自然数)の追加的な実施用注釈処理作業を送信する。
段階S111で、実施用注釈処理作業送信部はn個の実施用注釈処理作業の結果を有効な注釈処理と定義した直後に、作業者の端末にn+j個(但し、jは1以上の自然数)の追加的な実施用注釈処理作業を送信する。
520 実施用注釈処理作業受信部
530 検証用注釈処理作業送信部
540 検証用注釈処理作業受信部
550 信頼度判断部
560 有効判断部
Claims (11)
- コンピュータにより実行される方法であって、
1つ以上の実施用注釈処理作業の結果を受信する段階と、
前記1つ以上の実施用注釈処理作業に相応する1つ以上の検証用注釈処理作業の結果を受信する段階と、
前記1つ以上の検証用注釈処理作業の結果に基づいて、前記1つ以上の実施用注釈処理作業の結果の信頼度を判断する段階と、
前記判断された信頼度に基づいて、前記1つ以上の実施用注釈処理作業の結果の有効可否を判断する段階と、
を含み、
前記1つ以上の実施用注釈処理作業の結果を受信する段階は、
作業者の端末にn個(但し、nは1以上の自然数)の前記実施用注釈処理作業を送信する段階と、
前記作業者の端末から前記n個の実施用注釈処理作業の結果を受信する段階とを、含み、
前記1つ以上の実施用注釈処理作業に相応する1つ以上の検証用注釈処理作業の結果を受信する段階は、
前記n個の実施用注釈処理作業に相応し、事前に準備された1つ以上の検証用注釈処理作業を、読み出す段階と、
前記n個の実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記1つ以上の検証用注釈処理作業を送信する段階と、
前記作業者の端末から前記1つ以上の検証用注釈処理作業の結果を受信する段階とを、含み、
前記判断された信頼度に基づいて、前記1つ以上の実施用注釈処理作業の結果の有効可否を判断する段階は、
前記n個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、前記n個の実施用注釈処理作業の結果を有効でない注釈処理と定義し、
前記n個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、前記n個の実施用注釈処理作業の結果を有効な注釈処理と定義し、
前記n個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、
1つ以上の追加的な実施用注釈処理作業の結果を受信する段階と、
前記1つ以上の追加的な実施用注釈処理作業に相応する1つ以上の追加的な検証用注釈処理作業の結果を受信する段階とを、更に含み、
前記1つ以上の追加的な実施用注釈処理作業の結果を受信する段階は、
前記n個の実施用注釈処理作業の結果を有効でない注釈処理と定義した直後に、前記作業者の端末にn-i個(但し、iは1以上の自然数)の追加的な実施用注釈処理作業を送信する段階と、
前記作業者の端末から前記n-i個の追加的な実施用注釈処理作業の結果を受信する段階とを、含み、
前記1つ以上の追加的な実施用注釈処理作業に相応する1つ以上の追加的な検証用注釈処理作業の結果を受信する段階は、
前記n-i個の追加的な実施用注釈処理作業に相応し、事前に準備された1つ以上の追加的な検証用注釈処理作業を、読み出す段階と、
前記n-i個の追加的な実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記1つ以上の追加的な検証用注釈処理作業を送信する段階と、
前記作業者の端末から前記1つ以上の追加的な検証用注釈処理作業の結果を受信する段階とを、含み、
前記iは有効でない注釈処理と定義された作業の数に相応して変更される、
検証用注釈処理作業を用いた実施用注釈処理作業の検証方法。 - 前記iが所定の基準以下である場合、前記作業者を信頼できない作業者と定義し、前記作業者の端末に前記1つ以上の追加的な実施用注釈処理作業をこれ以上送信しない、
ことを特徴とする請求項1に記載の検証用注釈処理作業を用いた実施用注釈処理作業の検証方法。 - 顧客の端末から要求された注釈処理作業の信頼度を受信する段階を、更に含み、
前記iは前記要求された注釈処理作業の信頼度に相応して変更された値である、
ことを特徴とする請求項1に記載の検証用注釈処理作業を用いた実施用注釈処理作業の検証方法。 - コンピュータにより実行される方法であって、
1つ以上の実施用注釈処理作業の結果を受信する段階と、
前記1つ以上の実施用注釈処理作業に相応する1つ以上の検証用注釈処理作業の結果を受信する段階と、
前記1つ以上の検証用注釈処理作業の結果に基づいて、前記1つ以上の実施用注釈処理作業の結果の信頼度を判断する段階と、
前記判断された信頼度に基づいて、前記1つ以上の実施用注釈処理作業の結果の有効可否を判断する段階と、
を含み、
前記1つ以上の実施用注釈処理作業の結果を受信する段階は、
作業者の端末にn個(但し、nは1以上の自然数)の前記実施用注釈処理作業を送信する段階と、
前記作業者の端末から前記n個の実施用注釈処理作業の結果を受信する段階とを、含み、
前記1つ以上の実施用注釈処理作業に相応する1つ以上の検証用注釈処理作業の結果を受信する段階は、
前記n個の実施用注釈処理作業に相応し、事前に準備された1つ以上の検証用注釈処理作業を、読み出す段階と、
前記n個の実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記1つ以上の検証用注釈処理作業を送信する段階と、
前記作業者の端末から前記1つ以上の検証用注釈処理作業の結果を受信する段階とを、含み、
前記判断された信頼度に基づいて、前記1つ以上の実施用注釈処理作業の結果の有効可否を判断する段階は、
前記n個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、前記n個の実施用注釈処理作業の結果を有効でない注釈処理と定義し、
前記n個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、前記n個の実施用注釈処理作業の結果を有効な注釈処理と定義し、
前記n個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、
1つ以上の追加的な実施用注釈処理作業の結果を受信する段階と、
前記1つ以上の追加的な実施用注釈処理作業に相応する1つ以上の追加的な検証用注釈処理作業の結果を受信する段階とを、更に含み、
前記1つ以上の追加的な実施用注釈処理作業の結果を受信する段階は、
前記n個の実施用注釈処理作業の結果を有効な注釈処理と定義した直後に、前記作業者の端末にn+j個(但し、jは1以上の自然数)の追加的な実施用注釈処理作業を送信する段階と、
前記作業者の端末から前記n+j個の追加的な実施用注釈処理作業の結果を受信する段階とを、含み、
前記1つ以上の追加的な実施用注釈処理作業に相応する1つ以上の追加的な検証用注釈処理作業の結果を受信する段階は、
前記n+j個の追加的な実施用注釈処理作業に相応し、事前に準備された1つ以上の追加的な検証用注釈処理作業を読み出す段階と、
前記n+j個の追加的な実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記1つ以上の追加的な検証用注釈処理作業を送信する段階と、
前記作業者の端末から前記1つ以上の追加的な検証用注釈処理作業の結果を受信する段階とを、含み、
前記jは有効な注釈処理と定義された作業の数に相応して変更される、
検証用注釈処理作業を用いた実施用注釈処理作業の検証方法。 - 前記jが所定の基準以上である場合、前記作業者を信頼できる作業者と定義し、
前記1つ以上の追加的な実施用注釈処理作業に相応する1つ以上の追加的な検証用注釈処理作業の結果を受信する段階を進行せず、
前記信頼できる作業者による追加的な前記実施用注釈処理作業の結果を有効な注釈処理と定義する、
ことを特徴とする請求項4に記載の検証用注釈処理作業を用いた実施用注釈処理作業の検証方法。 - 顧客の端末から要求された注釈処理作業の信頼度を受信する段階を、更に含み、
前記jは前記要求された注釈処理作業の信頼度に相応して変更された値である、
ことを特徴とする請求項4に記載の検証用注釈処理作業を用いた実施用注釈処理作業の検証方法。 - 前記検証用注釈処理作業及び前記検証用注釈処理作業に相応する事前に決定された回答で前記検証用注釈処理作業のデータセットを、構成し、
前記1つ以上の検証用注釈処理作業の結果に基づいて、前記1つ以上の実施用注釈処理作業の結果の信頼度を判断する段階は、
前記1つ以上の検証用注釈処理作業の結果及び前記1つ以上の検証用注釈処理作業に相応する事前に決定された回答の類似度を判断し、前記1つ以上の実施用注釈処理作業の結果の信頼度を判断する、
ことを特徴とする請求項1又は4に記載の検証用注釈処理作業を用いた実施用注釈処理作業の検証方法。 - 前記1つ以上の実施用注釈処理作業はデータベースに格納及び管理され、前記1つ以上の検証用注釈処理作業は前記データベースに格納された前記1つ以上の実施用注釈処理作業から選択され、前記1つ以上の検証用注釈処理作業の数は、前記データベースに格納された前記1つ以上の実施用注釈処理作業の数に相応して決定される、
ことを特徴とする請求項1又は4に記載の検証用注釈処理作業を用いた実施用注釈処理作業の検証方法。 - 作業者の端末に1つ以上の実施用注釈処理作業を送信する実施用注釈処理作業送信部と、
前記作業者の端末から前記1つ以上の実施用注釈処理作業の結果を受信する実施用注釈処理作業受信部と、
前記作業者の端末に前記1つ以上の検証用注釈処理作業を送信する検証用注釈処理作業送信部と、
前記1つ以上の実施用注釈処理作業に相応し、事前に準備された1つ以上の検証用注釈処理作業を読み出し、前記作業者の端末から前記1つ以上の検証用注釈処理作業の結果を受信する検証用注釈処理作業受信部と、
前記1つ以上の検証用注釈処理作業の結果に基づいて、前記1つ以上の実施用注釈処理作業の結果の信頼度を判断する信頼度判断部と、
前記判断された信頼度に基づいて、前記1つ以上の実施用注釈処理作業の結果の有効可否を判断する有効判断部と、
前記n個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、1つ以上の追加的な実施用注釈処理作業の結果を受信する追加的な実施用注釈処理作業受信部と、
前記n個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、前記1つ以上の追加的な実施用注釈処理作業に相応する1つ以上の追加的な検証用注釈処理作業の結果を受信する追加的な検証用注釈処理作業受信部と、
を含み、
前記実施用注釈処理作業受信部は、
作業者の端末にn個(但し、nは1以上の自然数)の前記実施用注釈処理作業を送信し、
前記作業者の端末から前記n個の実施用注釈処理作業の結果を受信し、
前記検証用注釈処理作業受信部は、
前記n個の実施用注釈処理作業に相応し、事前に準備された1つ以上の検証用注釈処理作業を、読み出し、
前記n個の実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記1つ以上の検証用注釈処理作業を送信し、
前記作業者の端末から前記1つ以上の検証用注釈処理作業の結果を受信し、
前記有効判断部は、
前記n個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、前記n個の実施用注釈処理作業の結果を有効でない注釈処理と定義し、
前記n個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、前記n個の実施用注釈処理作業の結果を有効な注釈処理と定義し、
前記追加的な実施用注釈処理作業受信部は、
前記n個の実施用注釈処理作業の結果を有効でない注釈処理と定義した直後に、前記作業者の端末にn-i個(但し、iは1以上の自然数)の追加的な実施用注釈処理作業を送信し、
前記作業者の端末から前記n-i個の追加的な実施用注釈処理作業の結果を受信し、
前記追加的な検証用注釈処理作業受信部は、
前記n-i個の追加的な実施用注釈処理作業に相応し、事前に準備された1つ以上の追加的な検証用注釈処理作業を、読み出し、
前記n-i個の追加的な実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記1つ以上の追加的な検証用注釈処理作業を送信し、
前記作業者の端末から前記1つ以上の追加的な検証用注釈処理作業の結果を受信し、
前記iは有効でない注釈処理と定義された作業の数に相応して変更される、
検証用注釈処理作業を用いた実施用注釈処理作業の検証装置。 - 作業者の端末に1つ以上の実施用注釈処理作業を送信する実施用注釈処理作業送信部と、
前記作業者の端末から前記1つ以上の実施用注釈処理作業の結果を受信する実施用注釈処理作業受信部と、
前記作業者の端末に前記1つ以上の検証用注釈処理作業を送信する検証用注釈処理作業送信部と、
前記1つ以上の実施用注釈処理作業に相応し、事前に準備された1つ以上の検証用注釈処理作業を読み出し、前記作業者の端末から前記1つ以上の検証用注釈処理作業の結果を受信する検証用注釈処理作業受信部と、
前記1つ以上の検証用注釈処理作業の結果に基づいて、前記1つ以上の実施用注釈処理作業の結果の信頼度を判断する信頼度判断部と、
前記判断された信頼度に基づいて、前記1つ以上の実施用注釈処理作業の結果の有効可否を判断する有効判断部と、
前記n個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、1つ以上の追加的な実施用注釈処理作業の結果を受信する追加的な実施用注釈処理作業受信部と、
前記n個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、前記1つ以上の追加的な実施用注釈処理作業に相応する1つ以上の追加的な検証用注釈処理作業の結果を受信する追加的な検証用注釈処理作業受信部と、
を含み、
前記実施用注釈処理作業受信部は、
作業者の端末にn個(但し、nは1以上の自然数)の前記実施用注釈処理作業を送信し、
前記作業者の端末から前記n個の実施用注釈処理作業の結果を受信し、
前記検証用注釈処理作業受信部は、
前記n個の実施用注釈処理作業に相応し、事前に準備された1つ以上の検証用注釈処理作業を、読み出し、
前記n個の実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記1つ以上の検証用注釈処理作業を送信し、
前記作業者の端末から前記1つ以上の検証用注釈処理作業の結果を受信し、
前記有効判断部は、
前記n個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、前記n個の実施用注釈処理作業の結果を有効でない注釈処理と定義し、
前記n個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、前記n個の実施用注釈処理作業の結果を有効な注釈処理と定義し、
前記追加的な実施用注釈処理作業受信部は、
前記n個の実施用注釈処理作業の結果を有効な注釈処理と定義した直後に、前記作業者の端末にn+j個(但し、jは1以上の自然数)の追加的な実施用注釈処理作業を送信し、
前記作業者の端末から前記n+j個の追加的な実施用注釈処理作業の結果を受信し、
前記追加的な検証用注釈処理作業受信部は、
前記n+j個の追加的な実施用注釈処理作業に相応し、事前に準備された1つ以上の追加的な検証用注釈処理作業を読み出し、
前記n+j個の追加的な実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記1つ以上の追加的な検証用注釈処理作業を送信し、
前記作業者の端末から前記1つ以上の追加的な検証用注釈処理作業の結果を受信し、
前記jは有効な注釈処理と定義された作業の数に相応して変更される、
検証用注釈処理作業を用いた実施用注釈処理作業の検証装置。 - コンピュータと協働し、請求項1〜8の何れか一項に記載の検証用注釈処理作業を用いた実施用注釈処理作業の検証方法を実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180163418A KR102129843B1 (ko) | 2018-12-17 | 2018-12-17 | 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법 및 장치 |
KR10-2018-0163418 | 2018-12-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020098556A JP2020098556A (ja) | 2020-06-25 |
JP6722309B2 true JP6722309B2 (ja) | 2020-07-15 |
Family
ID=71101874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019007987A Active JP6722309B2 (ja) | 2018-12-17 | 2019-01-21 | 検証用注釈処理作業を用いた実施用注釈処理作業の検証方法及び装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6722309B2 (ja) |
KR (1) | KR102129843B1 (ja) |
WO (1) | WO2020130306A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102436787B1 (ko) * | 2020-06-29 | 2022-08-29 | (주)휴톰 | 복수의 학습모델을 이용한 어노테이터 평가 및 어노테이션 분석 방법, 전자 장치 및 프로그램 |
KR102244702B1 (ko) * | 2020-07-03 | 2021-04-27 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검수자의 검수 수행에 대한 적정 검수 비용 지급 방법 |
KR102195953B1 (ko) * | 2020-07-20 | 2020-12-29 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트에서의 반려사유에 기반한 배정 철회된 작업의 재배정 방법 |
KR102195955B1 (ko) * | 2020-07-21 | 2020-12-29 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 반려 이력이 있는 작업의 재배정 방법 |
KR20220063361A (ko) * | 2020-11-10 | 2022-05-17 | 이인텔리전스 주식회사 | 어노테이션 관리 장치 및 방법 |
CN112270533A (zh) * | 2020-11-12 | 2021-01-26 | 北京百度网讯科技有限公司 | 一种数据处理方法、装置、电子设备以及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007529824A (ja) * | 2004-03-15 | 2007-10-25 | ヤフー! インコーポレイテッド | ユーザ注釈を一体化したサーチシステム及び方法 |
US8213689B2 (en) * | 2008-07-14 | 2012-07-03 | Google Inc. | Method and system for automated annotation of persons in video content |
WO2010119615A1 (ja) * | 2009-04-15 | 2010-10-21 | 日本電気株式会社 | 学習データ生成装置、及び固有表現抽出システム |
US10628403B2 (en) * | 2016-01-27 | 2020-04-21 | Oracle International Corporation | Annotation system for extracting attributes from electronic data structures |
JP6946081B2 (ja) * | 2016-12-22 | 2021-10-06 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
KR20180122247A (ko) * | 2017-05-02 | 2018-11-12 | 한국전자통신연구원 | 이종 센서들로부터 추출된 스켈레톤 정보를 이용하여 기계학습 데이터 및 주석을 생성하는 장치 및 그 방법 |
-
2018
- 2018-12-17 KR KR1020180163418A patent/KR102129843B1/ko active IP Right Grant
-
2019
- 2019-01-21 JP JP2019007987A patent/JP6722309B2/ja active Active
- 2019-10-07 WO PCT/KR2019/013101 patent/WO2020130306A1/ko active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2020130306A1 (ko) | 2020-06-25 |
KR102129843B1 (ko) | 2020-07-03 |
JP2020098556A (ja) | 2020-06-25 |
KR20200074715A (ko) | 2020-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6722309B2 (ja) | 検証用注釈処理作業を用いた実施用注釈処理作業の検証方法及び装置 | |
US10878388B2 (en) | Systems and methods for artificial-intelligence-based automated surface inspection | |
US8688491B1 (en) | Testing and error reporting for on-demand software based marketing and sales | |
US7895565B1 (en) | Integrated system and method for validating the functionality and performance of software applications | |
US20140013306A1 (en) | Computer Load Generator Marketplace | |
US20140013308A1 (en) | Application Development Environment with Services Marketplace | |
Mass et al. | Alternative tests for the selection of model variables | |
KR102156582B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 성실 작업자 선별 및 검수 우선순위 부여 방법 | |
WO2020087011A2 (en) | Resource configuration and management system | |
CN111522728A (zh) | 自动化测试用例的生成方法、电子设备及可读存储介质 | |
Dabbagh et al. | Application of hybrid assessment method for priority assessment of functional and non-functional requirements | |
JP6946530B2 (ja) | 本番作業に基づいた検証用クラウドソーシング作業を提供する方法及び装置 | |
CN109582578B (zh) | 软件测试用例的系统、方法、计算机可读介质及电子设备 | |
CN111367807A (zh) | 一种日志分析的方法、系统、设备及介质 | |
US20140316926A1 (en) | Automated Market Maker in Monitoring Services Marketplace | |
US11119763B2 (en) | Cognitive selection of software developer for software engineering task | |
CN116720084A (zh) | 数据识别方法、装置、电子设备及计算机可读存储介质 | |
US11852668B2 (en) | Method and system for real time outlier detection and product re-binning | |
CN113779895A (zh) | 数据模型的建立装置和方法、加工质量的预测装置和方法 | |
CN106033391B (zh) | 基于FOG数据的修复bug和变更控制的方法及装置 | |
CN112732272A (zh) | 一种应用程序的发布方法和装置 | |
US20220012154A1 (en) | Process optimization based on user behavior | |
CN117632723B (zh) | 一种自动化模拟调测方法、系统、设备及介质 | |
JP7440150B1 (ja) | ウェブサイトの脆弱性を検査するためのシステム、方法、及びプログラム | |
CN117709858B (zh) | 基于ai的多金属供应商准入数据校验方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200421 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200428 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6722309 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |