JP6421421B2 - 注釈情報付与プログラム及び情報処理装置 - Google Patents

注釈情報付与プログラム及び情報処理装置 Download PDF

Info

Publication number
JP6421421B2
JP6421421B2 JP2014041519A JP2014041519A JP6421421B2 JP 6421421 B2 JP6421421 B2 JP 6421421B2 JP 2014041519 A JP2014041519 A JP 2014041519A JP 2014041519 A JP2014041519 A JP 2014041519A JP 6421421 B2 JP6421421 B2 JP 6421421B2
Authority
JP
Japan
Prior art keywords
information
annotation
input person
target
annotation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014041519A
Other languages
English (en)
Other versions
JP2015166975A (ja
Inventor
茂之 榊
茂之 榊
康秀 三浦
康秀 三浦
圭悟 服部
圭悟 服部
幸寛 坪下
幸寛 坪下
大熊　智子
智子 大熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2014041519A priority Critical patent/JP6421421B2/ja
Priority to US14/509,394 priority patent/US20150254223A1/en
Priority to AU2015200401A priority patent/AU2015200401B2/en
Priority to SG10201501148YA priority patent/SG10201501148YA/en
Publication of JP2015166975A publication Critical patent/JP2015166975A/ja
Application granted granted Critical
Publication of JP6421421B2 publication Critical patent/JP6421421B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Document Processing Apparatus (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Machine Translation (AREA)

Description

本発明は、注釈情報付与プログラム及び情報処理装置に関する。
従来の技術として、ヒューマンコンピュテーションの品質を管理する方法が提案されている（例えば、非特許文献１参照）。
非特許文献１に開示された方法は、クラウドソーシングを用いて複数の人間に仕事を依頼して結果を受け取り、それをさらに大きな計算過程において活用するヒューマンコンピュテーションにおいて、仕事を依頼した人間（以下、「ワーカー」という。）から得られる結果は一般的に信頼できる特定のワーカーに仕事を依頼した場合と異なり不確実性が大きくなるが、能力の高いワーカーを抽出する、タスクの難しさも考慮してワーカーを評価する、ワーカーの自分の作業品質を自己申告させる、ゲームを取り入れワーカーにまじめに働いてもらう、ワーカーの作業工程をモニタリングする、多数決をとる、ワーカーの能力で票に重みを付ける等の手法を採用することで、個々の人間の仕事の精度を高めたり、タスク選択を効率化する等の手法を採用することで個々のワーカーが間違ったとしても全体としての精度に影響を与えないようにする。
小山 聡著、「ヒューマンコンピュテーションの品質管理」、人工知能、２９巻１号、２０１４年１月、ｐ．２７−３３
本発明の目的は、複数の対象となる情報に付与されるアノテーションの信頼性を均一にする注釈情報付与プログラム及び情報処理装置を提供することにある。
本発明の一態様は、上記目的を達成するため、以下の注釈情報付与プログラム及び情報処理装置を提供する。
［１］コンピュータを、
一の入力者の入力に基づき、複数の対象を含む範囲の対象情報に注釈情報を付与する付与手段と、
他の入力者により前記複数の対象の一部に付与済みの注釈情報と、前記一の入力者により付与された注釈情報とを比較し、前記一の入力者及び前記他の入力者間で前記注釈情報が予め定められた人数以上一致した前記範囲の数に応じた信頼度を、前記一の入力者及び前記他の入力者の信頼性を示すものとして算出する評価手段と、
前記一の入力者及び前記他の入力者の信頼性に基づいて、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲を決定する手段であって、前記一の入力者及び前記他の入力者の信頼度が予め定めた閾値以上である場合、当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する決定手段として機能させるための注釈情報付与プログラム。
［２］前記決定手段は、複数の前記他の入力者の信頼度が予め定めた第１の閾値より低いが予め定めた第２の閾値以上である場合、複数の当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する前記［１］に記載の注釈情報付与プログラム。
［３］機械学習用の情報として、少なくとも、前記対象情報の対象と、前記付与手段によって付与された注釈情報と、当該注釈情報を付与した入力者の信頼性とを有する情報を生成する生成手段としてさらに機能させる前記［１］又は［２］に記載の注釈情報付与プログラム。
［４］前記生成手段の生成する情報を用いて機械学習を行う機械学習手段としてさらに機能させる前記［３］に記載の注釈情報付与プログラム。
［５］一の入力者の入力に基づき、複数の対象を含む範囲の対象情報に注釈情報を付与する付与手段と、
他の入力者により前記複数の対象の一部に付与済みの注釈情報と、前記一の入力者により付与された注釈情報とを比較し、前記一の入力者及び前記他の入力者間で前記注釈情報が一致した人数及び前記範囲の数に応じた信頼度を、前記一の入力者及び前記他の入力者の信頼性を示すものとして算出する評価手段と、
前記一の入力者及び前記他の入力者の信頼性に基づいて、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲を決定する手段であって、前記一の入力者及び前記他の入力者の信頼度が予め定めた閾値以上である場合、当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する決定手段とを有する情報処理装置。
請求項１又は５に係る発明によれば、複数の対象となる情報に付与される注釈情報の信頼性を均一にすることができ、複数人に注釈情報の付与を依頼する場合に、信頼性の高い注釈情報が重複して付与されることを抑制することができる。
請求項２に係る発明によれば、複数人に注釈情報の付与を依頼する場合に、複数の注釈情報を処理することによって信頼性の高い注釈情報が得られるとき、対象に信頼性の高い注釈情報が重複して付与されることを抑制することができる。
請求項３に係る発明によれば、機械学習に用いる情報に注釈情報の信頼性を含む情報を生成することができる。
請求項４に係る発明によれば、注釈情報の信頼性を考慮して機械学習を実行することができる。
図１は、第１の実施の形態に係る情報処理装置の構成例を示すブロック図である。 図２は、アノテーション対象情報及びアノテーション情報の構成の一例を示す概略図である。 図３は、アノテーター情報の構成の一例を示す概略図である。 図４は、アノテーション対象情報とアノテーション情報の構成の一例を示す概略図である。 図５は、情報処理装置の動作の一例を示すフローチャートである。 図６は、アノテーター情報に付加されるアノテーターメタ情報の構成の一例を示す概略図である。 図７は、アノテーション対象情報とアノテーション情報の構成の一例を示す概略図である。 図８は、第２の実施の形態に係る情報処理装置の構成例を示すブロック図である。 図９は、学習用情報の構成の一例を示す概略図である。
［第１の実施の形態］
（情報処理装置の構成）
図１は、第１の実施の形態に係る情報処理装置の構成例を示すブロック図である。
情報処理装置１は、通信部１２を介して外部ネットワークに接続されており、クラウドソーシングにより、外部ネットワーク上に接続された端末等の利用者に、文書情報、画像情報、音声情報等のアノテーション対象情報１１１に当該情報の特徴等を示す注釈情報であるアノテーションの付与を依頼するものである（以下、アノテーションを付与する利用者を入力者としての「アノテーター」と呼ぶ。）。また、情報処理装置１は、アノテーターからアノテーションの入力を受け付けてアノテーション対象情報１１１にアノテーションを付与するものである。なお、アノテーションは、「ポジティブ」と「ネガティブ」のように二値のものでもよいし、複数のカテゴリを用意して多値に分類されるものであってもよい。
情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、ネットワークを介して外部と通信する通信部１２とを備える。
制御部１０は、後述するアノテーション付与プログラム１１０を実行することで、アノテーション付与手段１００、アノテーター評価手段１０１及びアノテーション範囲決定手段１０２等として機能する。
アノテーション付与手段１００は、アノテーターからアノテーションの入力を受け付けて、複数のアノテーション対象を有するアノテーション対象情報１１１のうち、いくつかのアノテーション対象にアノテーションを付与する。付与されたアノテーションはアノテーション対象と関連付けられてアノテーション情報１１２として記憶部１１に格納される。
アノテーター評価手段１０１は、同一のアノテーション対象に対し、現在アノテーターが付与しているアノテーションと、他のアノテーターが過去に付与したアノテーションとを比較してアノテーション付与中のアノテーター及び過去にアノテーションを付与したアノテーターの信頼性の評価を行う。評価方法の詳細は後述する。評価結果はアノテーター情報１１３として記憶部１１に格納される。
アノテーション範囲決定手段１０２は、アノテーター評価手段１０１の評価結果であるアノテーター情報１１３に基づいてアノテーション付与中のアノテーターに依頼するアノテーション対象情報１１１中のアノテーション対象の範囲、つまりいずれのアノテーション対象に対してアノテーションの付与を依頼するのかを決定する。範囲の決定方法については後述する。
記憶部１１は、制御部１０を上述した各手段１０１−１０２として動作させるアノテーション付与プログラム１１０、アノテーション対象情報１１１、アノテーション情報１１２及びアノテーター情報１１３等を記憶する。
図２は、アノテーション対象情報１１１及びアノテーション情報１１２の構成の一例を示す概略図である。
アノテーション対象情報１１１ａは、アノテーション対象情報１１１の一例であり、言語情報に対してアノテーションを行うことを想定した例であり、アノテーション対象として「今日は晴れ。いい天気だ。」といったようなテキストを複数含む文書情報である。
アノテーション情報１１２ａは、アノテーション情報１１２の一例であり、アノテーション対象情報１１１ａのそれぞれのアノテーション対象に対して付与されたアノテーションである。
図２に示す例では、アノテーション対象情報１１１ａの各テキストにアノテーションの付与を依頼するアノテーターの数は３人であって、各アノテーターがアノテーションを付与するアノテーション対象の数は３つである。また、付与するアノテーションはポジティブを表す「ポジ」かネガティブを表す「ネガ」のいずれかである。
図３は、アノテーター情報１１３の構成の一例を示す概略図である。
アノテーター情報１１３ａは、アノテーター情報１１３の一例であり、アノテーターを識別するアノテーター欄と、アノテーターの信頼性を示す信頼性欄と、アノテーターがアノテーションを付与したアノテーション対象情報１１１中のアノテーション対象の範囲を示すアノテーション付与範囲欄とを有する。
（情報処理装置の動作）
次に、第１の実施の形態の作用を、図１−図５を参照しつつ、説明する。
図４は、アノテーション対象情報１１１とアノテーション情報１１２の構成の一例を示す概略図である。また、図５は、情報処理装置の動作の一例を示すフローチャートである。
以下に説明する例では、「アノテーターＡ」及び「アノテーターＣ」によるアノテーションが既に付与されており、「アノテーターＢ」にアノテーションの付与を依頼する場合について説明する。また、アノテーション対象情報１１１ｂの各アノテーション対象にアノテーションの付与を依頼するアノテーターの数は３人であるものとし、各アノテーターは７つのアノテーション対象にアノテーションを付与するものとする。
まず、アノテーション範囲決定手段１０２は、図４に示すアノテーション対象情報１１１ｂのうち「教師データ１」〜「教師データ４」及び「教師データＴ＋１」〜「教師データＴ＋３」の７つのアノテーション対象を、アノテーションを付与する範囲１００ｂ１及び１００ｂ２に決定する（Ｓ１）。
次に、アノテーション付与手段１００は、当該範囲１００ｂ１及び１００ｂ２の一部について、例えば、範囲１００ｂ１の「教師データ１」〜「教師データ４」について「アノテーターＢ」にアノテーションの付与を依頼し、「アノテーターＢ」からアノテーションの入力を受け付けると「教師データ１」〜「教師データ４」にアノテーションの付与を行う（Ｓ２）。この時点でアノテーション情報１１２ｂは図４に示す状態となる。
次に、アノテーター評価手段１０１は、「アノテーターＢ」が付与している範囲１００ｂ１のアノテーションと、「アノテーターＡ」が過去に付与した範囲１００ａ１のアノテーション及び「アノテーターＣ」が過去に付与した範囲１００ｃ１のアノテーションとを比較して、「アノテーターＡ」、「アノテーターＢ」及び「アノテーターＣ」の信頼性の評価を行う（Ｓ３）。
図４に示す例では、範囲１００ａ１のアノテーションと範囲１００ｂ１のアノテーションとが一致し、範囲１００ｃ１のアノテーションが「教師データ３」以外で一致しないため、アノテーター評価手段１０１はアノテーター情報１１３ａの「アノテーターＡ」及び「アノテーターＢ」の信頼性を上げ、「アノテーターＣ」の信頼性を下げる。この時点で図３のアノテーター情報１１３ａに示すように「アノテーターＡ」及び「アノテーターＢ」の信頼性が「８０％」、「アノテーターＣ」の信頼性が「５０％」になったものとする。
次に、アノテーション範囲決定手段１０２は、アノテーター情報１１３ａを参照し、「アノテーターＡ」及び「アノテーターＢ」の信頼性が予め定めた閾値以上である場合、例えば７０％以上である場合（Ｓ４；Ｙｅｓ）、「アノテーターＢ」に依頼するアノテーション対象情報１１１ｂの範囲を、信頼性の高い「アノテーターＡ」がアノテーションを付与している範囲１００ａ２と重なる範囲１００ｂ２を避け、アノテーションを付与していない範囲１００ｂ３に設定する（Ｓ５）。
これは、信頼性の高い「アノテーターＡ」と同じ範囲に、同様に信頼性の高い「アノテーターＢ」にアノテーションの付与を依頼しても重複した信頼性の高いアノテーションの付与になる可能性が高いためである。また、同時に信頼性の低い「アノテーターＣ」と同じ範囲に、信頼性の高い「アノテーターＢ」にアノテーションの付与を依頼することで信頼性の低いアノテーションの付与が重複することを避けることができるためである。
なお、アノテーション付与手段１００は、「アノテーターＡ」と「アノテーターＢ」のように２人のアノテーションが一致した場合に信頼性が高いと評価したが、ｎ人（ｎ≧３）のアノテーションが一致した場合に信頼性が高いと評価してもよい。
次に、アノテーション付与手段１００は、当該範囲１００ｂ３、つまり、「教師データＵ＋１」〜「教師データＵ＋３」について「アノテーターＢ」にアノテーションの付与を依頼し、「アノテーターＢ」からアノテーションの入力を受け付けると範囲１００ｂ３にアノテーションの付与を行う（Ｓ６）。
また、ステップＳ４において、アノテーション範囲決定手段１０２は、アノテーター情報１１３ａを参照し、他のアノテーターの信頼性が予め定めた閾値より小さい場合、例えば７０％より小さい場合（Ｓ４；Ｎｏ）、当初に決定した「教師データ１」〜「教師データ４」及び「教師データＴ＋１」〜「教師データＴ＋３」の７つのテキストを、アノテーションを付与する範囲のままとする（Ｓ７）。
（第１の実施の形態の効果）
上記した第１の実施の形態によると、現在入力中のアノテーションと過去に入力されたアノテーションとに基づきアノテーターの信頼性を評価し、信頼性の高いアノテーターが過去にアノテーションを付与している場合、アノテーション対象情報１１１の当該範囲を現在アノテーションを付与中のアノテーターのアノテーション付与範囲から外すようにしたため、複数人にアノテーションの付与を依頼する場合に、信頼性の高いアノテーションが重複して付与されることを抑制することができる。
［変形例１］
上記した第１の実施の形態のアノテーター情報１１３に、以下に示すメタ情報を追加し、当該情報に基づいてアノテーター評価手段１０１がアノテーターの評価を行うようにしてもよい。
図６は、アノテーター情報１１３に付加されるアノテーターメタ情報の構成の一例を示す概略図である。
アノテーターメタ情報１１３Ａは、アノテーターを識別するアノテーター欄と、アノテーターの性別を示す性別欄と、アノテーターの年齢を示す年齢欄と、アノテーターの国籍を示す国籍欄と、アノテーターの居住地を示す居住地欄とを有する。
アノテーター評価手段１０１は、例えば、アノテーション対象情報１１１の内容が日本の流行に関する内容であれば、居住地欄が「日本」である「アノテーターＡ」及び「アノテーターＢ」が信頼性の高いアノテーションを付与することを前提に、第１の実施の形態で説明したようにアノテーションを比較して、その一致又は不一致に基づいて「アノテーターＡ」及び「アノテーターＢ」の評価を行うようにしてもよい。
［変形例２］
上記した第１の実施の形態のように、アノテーションの一致又は不一致によりアノテーターを比較する他に、アノテーター評価手段１０１は、以下に示すように単一のアノテーターについて評価を行ってもよい。この方法は、第１の実施の形態の評価方法と組み合わせてもよいし、独立して行うものであってもよい。
アノテーター評価手段１０１は、例えば、あるアノテーターが付与したアノテーション情報１１２のエントロピーを計算する。これは、不真面目なアノテーターは単一のアノテーションを全てのデータに付与することがあると考えられるためであり、計算されたエントロピーが小さい場合、信頼性が低いと評価することができる。
また、上記した変形例１、２の他にも、「アノテーターに自分の作業品質を自己申告させる」、「アノテーターの作業工程をモニタリングする」、「過去の別のアノテーション作業において評価したアノテーターの信頼性を利用する」といったような従来技術を組み合わせて信頼性の評価をしてもよく、これにより評価精度を向上することができるのはもちろんである。
［変形例３］
上記した第１の実施の形態において説明したアノテーション範囲決定手段１０２の動作に加え、以下に説明するようにアノテーション範囲決定手段１０２を動作させてもよい。
図７は、アノテーション対象情報１１１とアノテーション情報１１２の構成の一例を示す概略図である。
アノテーション対象情報１１１ｃに対しアノテーション情報１１２ｃが付与されている場合において、範囲１００ｅ１、１００ｆ１及び１００ｆ２のアノテーションがそれぞれ「教師データ３」、「教師データ４」及び「教師データＴ＋３」のアノテーションとしては誤りであるものとする。
また、「アノテーターＤ」、「アノテーターＥ」、「アノテーターＦ」の信頼性は、予め定めた閾値（７０％）より小さく、予め定めた第２の閾値（６０％）以上の信頼性であるとする。
以上の条件において、信頼性の高いアノテーター（７０％以上）に比べて信頼性が劣るが、ある程度信頼性が保障されているアノテーター（６０％以上）の場合であって、アノテーションが所定の数、例えば、３つ付与されている場合、アノテーション範囲決定手段１０２は、アノテーション情報１１２ｃの「教師データ１」〜「教師データＴ＋３」の範囲には、さらなるアノテーションが不要と判断し、現在アノテーションを付与中のアノテーターに対し他の範囲のアノテーション付与を依頼するようにしてもよい。
［第２の実施の形態］
以下に第２の実施の形態に係る情報処理装置１Ａについて説明する。第２の実施の形態は、第１の実施の形態と比べて、アノテーション対象情報１１１、アノテーション情報１１２及びアノテーター情報１１３に基づき機械学習に用いる情報を生成し、当該情報を用いて機械学習を行う点で異なる。なお、第１の実施の形態と共通の構成については同一の符号を付している。
図８は、第２の実施の形態に係る情報処理装置の構成例を示すブロック図である。
情報処理装置１Ａは、第１の実施の形態の情報処理装置１と比べて、学習用情報生成手段１０３、機械学習手段１０４及び学習用情報１１４をさらに有する。
学習用情報生成手段１０３は、アノテーション対象情報１１１、アノテーション情報１１２及びアノテーター情報１１３に基づいて学習用情報１１４を生成する。
機械学習手段１０４は、学習用情報１１４を用いて機械学習を実行する。
図９は、学習用情報１１４の構成の一例を示す概略図である。
学習用情報１１４ａは、学習用情報１１４の一例であり、アノテーション欄と、アノテーター欄と、信頼性欄と、アノテーション対象情報欄とを有する。
（情報処理装置の動作）
次に、第２の実施の形態の作用を説明する。
情報処理装置１Ａは、各手段１００〜１０２によりアノテーション対象情報１１１にアノテーション情報１１２を付与するとともに、アノテーター情報１１３を生成する。
次に、学習用情報生成手段１０３は、アノテーション対象情報１１１とアノテーション情報１１２とから構成される一般的な機械学習用の情報に、アノテーター情報１１３に含まれる項目をさらに追加して学習用情報１１４とする。図９に示す例では、学習用情報１１４ｄは、一般的な機械学習用の情報としてアノテーション対象情報１１１に対応するアノテーション対象情報欄と、アノテーション情報１１２に対応するアノテーション欄とを有し、さらにアノテーター情報１１３に含まれるアノテーター欄と、信頼性欄とを有する。
次に、機械学習手段１０４は、学習用情報１１４ａを用いて機械学習を行う。この際に信頼性欄の値を考慮して学習用情報１１４ａのそれぞれについて重み付けを行ってもよい。また、さらにアノテーターメタ情報１１３Ａを用いて重み付けを行ってもよい。
（第２の実施の形態の効果）
上記した第２の実施の形態によれば、機械学習用の情報として用いられる情報は通常アノテーション対象とアノテーションのみであるが、当該機械学習用の情報にアノテーターの信頼性を追加したものとしたため、アノテーションの信頼性を考慮した機械学習用の情報を生成することができ、アノテーションの信頼性を考慮した機械学習を実行することができる。
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。
上記実施の形態では制御部１０の各手段１００〜１０４の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。
１、１Ａ 情報処理装置
１０ 制御部
１１ 記憶部
１２ 通信部
１００ アノテーション付与手段
１０１ アノテーター評価手段
１０２ アノテーション範囲決定手段
１０３ 学習用情報生成手段
１０４ 機械学習手段
１１０ アノテーション付与プログラム
１１１ アノテーション対象情報
１１２ アノテーション情報
１１３ アノテーター情報
１１３Ａ アノテーターメタ情報
１１４ 学習用情報

Claims (5)

  1. コンピュータを、
    一の入力者の入力に基づき、複数の対象を含む範囲の対象情報に注釈情報を付与する付与手段と、
    他の入力者により前記複数の対象の一部に付与済みの注釈情報と、前記一の入力者により付与された注釈情報とを比較し、前記一の入力者及び前記他の入力者間で前記注釈情報が予め定められた人数以上一致した前記範囲の数に応じた信頼度を、前記一の入力者及び前記他の入力者の信頼性を示すものとして算出する評価手段と、
    前記一の入力者及び前記他の入力者の信頼性に基づいて、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲を決定する手段であって、前記一の入力者及び前記他の入力者の信頼度が予め定めた閾値以上である場合、当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する決定手段として機能させるための注釈情報付与プログラム。
  2. 前記決定手段は、複数の前記他の入力者の信頼度が予め定めた第１の閾値より低いが予め定めた第２の閾値以上である場合、複数の当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する請求項１に記載の注釈情報付与プログラム。
  3. 機械学習用の情報として、少なくとも、前記対象情報の対象と、前記付与手段によって付与された注釈情報と、当該注釈情報を付与した入力者の信頼性とを有する情報を生成する生成手段としてさらに機能させる請求項１又は２に記載の注釈情報付与プログラム。
  4. 前記生成手段の生成する情報を用いて機械学習を行う機械学習手段としてさらに機能させる請求項３に記載の注釈情報付与プログラム。
  5. 一の入力者の入力に基づき、複数の対象を含む範囲の対象情報に注釈情報を付与する付与手段と、
    他の入力者により前記複数の対象の一部に付与済みの注釈情報と、前記一の入力者により付与された注釈情報とを比較し、前記一の入力者及び前記他の入力者間で前記注釈情報が予め定められた人数以上一致した前記範囲の数に応じた信頼度を、前記一の入力者及び前記他の入力者の信頼性を示すものとして算出する評価手段と、
    前記一の入力者及び前記他の入力者の信頼性に基づいて、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲を決定する手段であって、前記一の入力者及び前記他の入力者の信頼度が予め定めた閾値以上である場合、当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する決定手段とを有する情報処理装置。
JP2014041519A 2014-03-04 2014-03-04 注釈情報付与プログラム及び情報処理装置 Active JP6421421B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014041519A JP6421421B2 (ja) 2014-03-04 2014-03-04 注釈情報付与プログラム及び情報処理装置
US14/509,394 US20150254223A1 (en) 2014-03-04 2014-10-08 Non-transitory computer readable medium, information processing apparatus, and annotation-information adding method
AU2015200401A AU2015200401B2 (en) 2014-03-04 2015-01-28 Annotation-information adding program, information processing apparatus, and annotation-information adding method
SG10201501148YA SG10201501148YA (en) 2014-03-04 2015-02-13 Annotation-information adding program, information processing apparatus, and annotation-information adding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014041519A JP6421421B2 (ja) 2014-03-04 2014-03-04 注釈情報付与プログラム及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2015166975A JP2015166975A (ja) 2015-09-24
JP6421421B2 true JP6421421B2 (ja) 2018-11-14

Family

ID=54017523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014041519A Active JP6421421B2 (ja) 2014-03-04 2014-03-04 注釈情報付与プログラム及び情報処理装置

Country Status (4)

Country Link
US (1) US20150254223A1 (ja)
JP (1) JP6421421B2 (ja)
AU (1) AU2015200401B2 (ja)
SG (1) SG10201501148YA (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9916296B2 (en) * 2015-09-24 2018-03-13 International Business Machines Corporation Expanding entity and relationship patterns to a collection of document annotators using run traces
JP6946081B2 (ja) * 2016-12-22 2021-10-06 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP7122713B2 (ja) * 2017-06-30 2022-08-22 株式会社Abeja 機械学習又は推論のための計算機システム及び方法
KR101887415B1 (ko) * 2017-11-21 2018-08-10 주식회사 크라우드웍스 데이터 라벨링 작업 검수방법 및 프로그램
US20210019656A1 (en) * 2018-03-29 2021-01-21 Sony Corporation Information processing device, information processing method, and computer program
CN110796156A (zh) * 2018-08-02 2020-02-14 松下知识产权经营株式会社 信息处理方法及信息处理系统
WO2021061613A1 (en) * 2019-09-24 2021-04-01 Applied Materials, Inc. Interactive training of a machine learning model for tissue segmentation
US12118297B2 (en) 2020-06-15 2024-10-15 Canon Kabushiki Kaisha Information processing apparatus
CN113326888B (zh) * 2021-06-17 2023-10-31 北京百度网讯科技有限公司 标注能力信息确定方法、相关装置及计算机程序产品
JP7466808B2 (ja) 2022-03-24 2024-04-12 三菱電機株式会社 二項分類装置及び二項分類装置のアノテーション補正方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8438499B2 (en) * 2005-05-03 2013-05-07 Mcafee, Inc. Indicating website reputations during user interactions
EP2018618A1 (en) * 2006-05-09 2009-01-28 Koninklijke Philips Electronics N.V. A device and a method for annotating content
US7757163B2 (en) * 2007-01-05 2010-07-13 International Business Machines Corporation Method and system for characterizing unknown annotator and its type system with respect to reference annotation types and associated reference taxonomy nodes
JP2009282686A (ja) * 2008-05-21 2009-12-03 Toshiba Corp 分類モデル学習装置および分類モデル学習方法
JP5349032B2 (ja) * 2008-12-19 2013-11-20 Ｋｄｄｉ株式会社 情報選別装置
US9262390B2 (en) * 2010-09-02 2016-02-16 Lexis Nexis, A Division Of Reed Elsevier Inc. Methods and systems for annotating electronic documents
US8732181B2 (en) * 2010-11-04 2014-05-20 Litera Technology Llc Systems and methods for the comparison of annotations within files
US20130091161A1 (en) * 2011-10-11 2013-04-11 International Business Machines Corporation Self-Regulating Annotation Quality Control Mechanism
JP5980222B2 (ja) * 2012-03-15 2016-08-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ コンテンツ処理装置、コンテンツ処理方法およびプログラム
US9355359B2 (en) * 2012-06-22 2016-05-31 California Institute Of Technology Systems and methods for labeling source data using confidence labels
US9183466B2 (en) * 2013-06-15 2015-11-10 Purdue Research Foundation Correlating videos and sentences
US9275291B2 (en) * 2013-06-17 2016-03-01 Texifter, LLC System and method of classifier ranking for incorporation into enhanced machine learning

Also Published As

Publication number Publication date
JP2015166975A (ja) 2015-09-24
US20150254223A1 (en) 2015-09-10
AU2015200401A1 (en) 2015-09-24
AU2015200401B2 (en) 2017-02-02
SG10201501148YA (en) 2015-10-29

Similar Documents

Publication Publication Date Title
JP6421421B2 (ja) 注釈情報付与プログラム及び情報処理装置
US10062032B2 (en) Question resolution processing in deep question answering systems
US10984794B1 (en) Information processing system, information processing apparatus, information processing method, and recording medium
US9390404B2 (en) Methods, apparatuses, and systems for generating solutions
US20150302083A1 (en) A Combinatorial Summarizer
JP7190777B2 (ja) 教師あり学習に基づく合意診断方法及びそのシステム
JP7190777B6 (ja) 教師あり学習に基づく合意診断方法及びそのシステム
Lorimer et al. Exploring relapse through a network analysis of residual depression and anxiety symptoms after cognitive behavioural therapy: A proof-of-concept study
JP2016536691A (ja) ユーザとの自然会話能力を備えたエージェントシステム、エージェント制御方法、エージェント制御プログラム、及び記録媒体
US10313457B2 (en) Collaborative filtering in directed graph
Stripelis et al. Accelerating federated learning in heterogeneous data and computational environments
US11967416B2 (en) Image analysis and insight generation
JP7382633B2 (ja) 学習モデル構築装置、学習モデル構築方法及びコンピュータプログラム
WO2019106437A2 (en) Matching bids for work with offers for work
JP6751955B1 (ja) 学習方法、評価装置、及び評価システム
CN113792290A (zh) 拟态防御的裁决方法及调度系统
JP2022148878A (ja) プログラム、情報処理装置、及び方法
US20220004717A1 (en) Method and system for enhancing document reliability to enable given document to receive higher reliability from reader
JP2022007311A (ja) 学習モデルからの情報漏洩リスクを評価するシステム
CN110929163A (zh) 课程推荐方法、装置、计算机设备及存储介质
US10936052B2 (en) Method and device for determining head movement according to electrooculographic information
JP2020154504A (ja) 情報処理装置及びプログラム
US20140258302A1 (en) Information retrieval device and information retrieval method
US20180285904A1 (en) Fast and scalable crowd consensus tool
JP7357418B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180423

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180918

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181001

R150 Certificate of patent or registration of utility model

Ref document number: 6421421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350