JP6453968B2 - 閾値変更装置 - Google Patents

閾値変更装置 Download PDF

Info

Publication number
JP6453968B2
JP6453968B2 JP2017188820A JP2017188820A JP6453968B2 JP 6453968 B2 JP6453968 B2 JP 6453968B2 JP 2017188820 A JP2017188820 A JP 2017188820A JP 2017188820 A JP2017188820 A JP 2017188820A JP 6453968 B2 JP6453968 B2 JP 6453968B2
Authority
JP
Japan
Prior art keywords
evaluation
label
data
unit
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017188820A
Other languages
English (en)
Other versions
JP2018018537A (ja
Inventor
康浩 黒田
康浩 黒田
平賀　督基
督基 平賀
顕至 大熊
顕至 大熊
理弘 小林
理弘 小林
紘史 小山
紘史 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Morpho Inc
Original Assignee
Morpho Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Morpho Inc filed Critical Morpho Inc
Publication of JP2018018537A publication Critical patent/JP2018018537A/ja
Application granted granted Critical
Publication of JP6453968B2 publication Critical patent/JP6453968B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Description

本開示は、閾値変更装置に関する。
特許文献１には、複数のラベルを用いて認識対象データを分類するニューラルネットワークを、誤差逆伝搬法によって学習する装置が記載されている。このニューラルネットワークは、入力層、複数の中間層（隠れ層）及び出力層を備える。入力層は、複数個の人工ニューロンを備える。中間層のそれぞれは複数個の人工ニューロンを備える。出力層は、ラベルの数と同一の数の人工ニューロンを備える。学習装置は、入力データとラベルの評価とを含む教師データを用いてニューラルネットワークを学習する。
ラベルの評価には、データの内容がラベルに合致することを示す「正評価」、及び、データの内容がラベルに合致しないことを示す「負評価」がある。正評価又は負評価は、「０」「１」などの数値（正解スコア）に関連付けられており、これらの数値は正解値（Ground Truth）ともいう。学習装置は、入力データを入力層で取得し、中間層で演算し、出力層から出力された認識スコアと評価の正解スコアとが近づくように、中間層の演算パラメータを調整する。
ところで、ニューラルネットワークのラベルの付与のやり方（分類の仕方）には、複数のラベルの中から選択された１つのラベルのみが認識対象データに付与されるシングルラベルの分類と、複数のラベルの中から選択された複数のラベルが認識対象データに付与されることを許容するマルチラベルの分類が存在する。シングルラベルの場合、あるラベルが正評価であれば、他のラベルは負評価になる。一方、マルチラベルの場合には、複数のラベルが正評価である場合がある。
マルチラベルの教師データについて、一部のラベルの評価が間違っていたり存在しなかったりする場合もある。非特許文献１〜３には、このような不完全な教師データに対するアプローチとして、別途の学習によってラベルの評価を自動的に推定することが記載されている。
特開２０１４−２２９１２４号公報
E. Come, L. Oukhellou, T. Denoeux, and P. Aknin. Mixture modelestimation with soft labels. International Conference on Soft Methods inProbability and Statistics, 2008 R. Jin and Z., Ghahramani. Learning with multiplelabels. In Advances in Neural Information Processing 2002 C. Leistner, M Godec, S. Schulter, A. Saffari, M. Werlberger and H.Bischof. Improving Classifiers with Unlabeled Weakly-Related Videos. IEEEComputer Society International Conference on Computer Vision and PatternRecognition. 2011
別途の学習によってラベルの評価を自動的に推定する従来のアプローチでは、ラベルを付与する人（アノテータ）の作業負荷が軽減する可能性があるが、必ずしも正しい評価を推定できるとは限らない。このため、本技術分野では、誤った評価に基づいて学習が行われることを回避することが望まれている。
本発明の一側面に係る学習システムは、学習装置及び学習装置用の教師データ作成装置を備える。学習装置は、複数のラベルを用いて認識対象データを分類するニューラルネットワークを、誤差逆伝搬法によって学習する。教師データ作成装置は、学習装置のための教師データを作成する。教師データ作成装置は、入力データ取得部、評価取得部及び教師データ作成部を備える。入力データ取得部は、入力データを取得する。評価取得部は、入力データ取得部により取得された入力データに関して、ラベルごとに、入力データの内容がラベルに合致することを示す正評価、入力データの内容がラベルに合致しないことを示す負評価、及び、学習対象ラベルから除外することを示す無視評価の何れか１つを取得する。教師データ作成部は、入力データ取得部により取得された入力データと評価取得部により取得されたラベルごとの評価とを関連付けることにより、教師データを作成する。学習装置は、教師データ取得部、入力層、中間層、出力層及び誤差逆伝搬部を備える。教師データ取得部は、教師データ作成装置により作成された教師データを取得する。入力層は、教師データ取得部により取得された教師データに含まれる入力データをスコアとして取得する。中間層は、入力層が取得したスコアを、重み係数を用いて演算する。出力層は、中間層が演算したスコアを用いて、ラベルごとの認識スコアを出力する。誤差逆伝搬部は、出力層が出力したラベルごとの認識スコアとラベルごとの評価の正解スコアとを用いて中間層の重み係数を調整する。誤差逆伝搬部は、正評価又は負評価のラベルの認識スコアと正評価又は負評価の正解スコアとが近づくように中間層の重み係数を調整し、かつ、無視評価のラベルの認識スコアが中間層の重み係数の調整に影響を与えないようにする。
この学習システムでは、教師データ作成装置により、正評価、負評価及び無視評価の何れか１つがラベルの評価としてラベルごとに取得されて、教師データが作成される。つまり、この学習システムでは、「正評価」及び「負評価」に加えて「無視評価」という新たな評価を含むことができる教師データを用いて学習することができる。学習装置は、正評価又は負評価のラベルの認識スコアと正評価又は負評価の正解スコアとが近づくように中間層の重み係数を調整し、かつ、無視評価のラベルの認識スコアが中間層の重み係数の調整に影響を与えないようにする。このため、正評価又は負評価のラベルについては認識部の精度向上を図ることができるとともに、無視評価のラベルに関しては認識部の精度に影響を及ぼさないようにすることができる。入力データには必ず正評価又は負評価が付与されていなければならないという従来の枠組みにおいては、不完全なラベルの評価を推定などにより完全なラベルの評価に近づけるというアプローチが採用されていた。これに対して、無視評価という新たな評価を導入することにより、不完全な評価のうち正しく付与された評価のみを用いて学習するという新たなアプローチを採用することができるため、誤った評価に基づいて学習が行われることを回避することができる。
一実施形態においては、誤差逆伝搬部は、無視評価の正解スコアを無視評価のラベルの認識スコアと同じ値に設定してもよいし、無視評価の正解スコアと無視評価のラベルの認識スコアとの差分を０に変更してもよいし、又は、無視評価の正解スコアと無視評価のラベルの認識スコアとの差分の微分値を０に変更してもよい。これにより、無視評価のラベルについても逆伝搬は行われるものの、中間層の重み係数は無調整となる。よって、ニューラルネットワークの構成や誤差逆伝搬部による逆伝搬の数式を変更することなく、無視評価のラベルに関する逆伝搬を無効化することができる。
一実施形態においては、誤差逆伝搬部は、無視評価のラベルに関するニューラルネットワークの接続を遮断してもよい。これにより、逆伝搬そのものを直接的に無効化することができる。
一実施形態においては、教師データ作成部は、評価取得部によって評価が取得できないラベルと無視評価とを関連付けてもよい。これにより、未評価のラベルについて、正評価か負評価を無理に設定することなく学習することができる。
一実施形態においては、教師データ作成装置は、ラベルの評価を指定するユーザ操作を受け付ける受付部を備え、評価取得部は、受付部により受け付けられたユーザ操作によって指定されるラベルの評価を取得してもよい。このように、ユーザが評価を変更又は追加することができる構成とすることで、誤った評価に基づいて学習が行われることを回避することができるだけでなく、正しい評価に基づいて学習を行うことができ、結果として認識部の精度を向上させることができる。
一実施形態においては、受付部は、入力データの一部のラベルの評価を指定するユーザ操作を受け付け、教師データ作成部は、評価取得部により取得された一部のラベルの評価を、入力データ取得部により取得された入力データと関連付けるとともに、入力データの残りのラベルの評価を無視評価にしてもよい。このように構成することで、一部のラベルに対して評価された場合であっても、教師データを作成することができる。
一実施形態においては、教師データ作成部は、評価取得部により取得されたラベルの評価を入力データ取得部により取得された入力データと関連付ける前に、入力データの全てのラベルの評価を無視評価にしてもよい。このように、デフォルト設定として全てのラベルを無視評価としておき、評価を取得できたものについて無視評価から正評価又は負評価へ変更することができる。つまり、アノテータが作業する場合に、無視評価を明示的に指示する手間を省くことができる。
本発明の他の側面に係る学習装置は、複数のラベルを用いて認識対象データを分類するニューラルネットワークを、誤差逆伝搬法によって学習する学習装置である。学習装置は、教師データ取得部、入力層、中間層、出力層及び誤差逆伝搬部を備える。教師データ取得部は、入力データと入力データに予め関連付けられたラベルごとの評価とを含む教師データを取得する。入力データには、入力データの内容がラベルに合致することを示す正評価、入力データの内容がラベルに合致しないことを示す負評価、及び、学習対象ラベルから除外することを示す無視評価の何れか１つがラベルごとに関連付けられている。入力層は、教師データ取得部により取得された教師データに含まれる入力データをスコアとして取得する。中間層は、入力層が取得したスコアを、重み係数を用いて演算する。出力層は、中間層が演算したスコアを用いて、ラベルごとの認識スコアを出力する。誤差逆伝搬部は、出力層が出力したラベルごとの認識スコアとラベルごとの評価の正解スコアとを用いて中間層の重み係数を調整する。誤差逆伝搬部は、正評価又は負評価のラベルの認識スコアと正評価又は負評価の正解スコアとが近づくように中間層の重み係数を調整し、かつ、無視評価のラベルの認識スコアが中間層の重み係数の調整に影響を与えないようにする。
この学習装置では、「正評価」及び「負評価」に加えて「無視評価」という新たな評価を含むことができる教師データを用いて学習することができる。学習装置は、正評価又は負評価のラベルの認識スコアと正評価又は負評価の正解スコアとが近づくように中間層の重み係数を調整し、かつ、無視評価のラベルの認識スコアが中間層の重み係数の調整に影響を与えないようにする。このため、正評価又は負評価のラベルについては認識部の精度向上を図ることができるとともに、無視評価のラベルに関しては認識部の精度に影響を及ぼさないようにすることができる。入力データには必ず正評価又は負評価が付与されていなければならないという従来の枠組みにおいては、不完全なラベルの評価を推定などにより完全なラベルの評価に近づけるというアプローチが採用されていた。これに対して、無視評価という新たな評価を導入することにより、不完全な評価のうち正しく付与された評価のみを用いて学習するという新たなアプローチを採用することができるため、誤った評価に基づいて学習が行われることを回避することができる。
本発明の他の側面に係る教師データ作成装置は、複数のラベルを用いて認識対象データを分類するニューラルネットワークを誤差逆伝搬法によって学習する学習装置のための教師データを作成する教師データ作成装置である。この装置は、入力データ取得部、評価取得部及び教師データ作成部を備える。入力データ取得部は、入力データを取得する。評価取得部は、入力データ取得部により取得された入力データに関して、ラベルごとに、入力データの内容がラベルに合致することを示す正評価、入力データの内容がラベルに合致しないことを示す負評価、及び、学習対象ラベルから除外することを示す無視評価の何れか１つを取得する。教師データ作成部は、入力データ取得部により取得された入力データと評価取得部により取得されたラベルごとの評価とを関連付けることにより、教師データを作成する。
上述したとおり、教師有り学習においては全てのラベルの正解値が必要であるため、教師データの作成にコストがかかる。特にマルチラベルの場合には、シングルラベルの場合のように、あるラベルが正評価であれば他のラベルは負評価になるという関係性がないことから、全てのラベルについて、正評価又は負評価の何れかを付与する必要がある。さらに、教師データの作成は、人（アノテータ）が行うことがある。アノテータは、ラベルについての評価に自信が有る無しにかかわらず、教師データ作成のためにラベルの評価を下す必要がある。このため、誤った評価に基づいて学習が行われる可能性がある。これに対して、この教師データ作成装置では、正評価、負評価及び無視評価の何れかラベルの評価としてラベルごとに取得されて、教師データが作成される。つまり、この教師データ作成装置では、教師データに「正評価」及び「負評価」に加えて「無視評価」という新たな評価を含ませることができる。無視評価という新たな評価を導入することにより、不完全な評価のうち正しく付与された評価のみを用いて学習するという新たなアプローチを採用することができるため、誤った評価に基づいて学習が行われることを回避することができる。
本発明の他の側面に係る学習方法は、複数のラベルを用いて認識対象データを分類するニューラルネットワークを、誤差逆伝搬法によって学習する学習方法である。学習方法は、教師データ取得ステップ、入力データ取得ステップ、演算ステップ、出力ステップ及び誤差逆伝搬ステップを備える。教師データ取得ステップでは、入力データと入力データに予め関連付けられたラベルごとの評価とを含む教師データを取得する。入力ステップでは、入力層が、教師データ取得ステップで取得された教師データに含まれる入力データをスコアとして取得する。演算ステップでは、中間層が、入力ステップで取得されたスコアを、重み係数を用いて演算する。出力ステップでは、出力層が、演算ステップで演算されたスコアを用いて、ラベルごとの認識スコアを出力する。誤差逆伝搬ステップでは、出力ステップで出力されたラベルごとの認識スコアとラベルごとの評価の正解スコアとを用いて中間層の重み係数を調整する。入力データには、入力データの内容がラベルに合致することを示す正評価、入力データの内容がラベルに合致しないことを示す負評価、及び、学習対象ラベルから除外することを示す無視評価の何れか１つがラベルごとに関連付けられている。誤差逆伝搬ステップでは、正評価又は負評価のラベルの認識スコアと正評価又は負評価の正解スコアとが近づくように中間層の重み係数を調整し、かつ、無視評価のラベルの認識スコアが中間層の重み係数の調整に影響を与えないようにする。
この学習方法の効果は、上述した学習装置の効果と同一である。
本発明の他の側面に係る教師データ作成方法は、複数のラベルを用いて認識対象データを分類するニューラルネットワークを誤差逆伝搬法によって学習する学習装置のための教師データを作成する教師データ作成方法である。この方法は、入力データ取得ステップ、評価取得ステップ及び教師データ作成ステップを備える。入力データ取得ステップでは、入力データを取得する。評価取得ステップでは、入力データ取得ステップにより取得された入力データに関して、ラベルごとに、入力データの内容がラベルに合致することを示す正評価、入力データの内容がラベルに合致しないことを示す負評価、及び、学習対象ラベルから除外することを示す無視評価の何れか１つを取得する。教師データ作成ステップでは、入力データ取得ステップで取得された入力データと評価取得ステップで取得されたラベルごとの評価とを関連付けることにより、教師データを作成する。
この教師データ作成方法の効果は、上述した教師データ作成装置の効果と同一である。
本発明の他の側面に係る学習プログラムは、複数のラベルを用いて認識対象データを分類するニューラルネットワークを、誤差逆伝搬法によって学習するようにコンピュータを動作させる学習プログラムである。学習プログラムは、コンピュータを、教師データ取得部、入力層、中間層、出力層及び誤差逆伝搬部として機能させる。教師データ取得部は、入力データと入力データに予め関連付けられたラベルごとの評価とを含む教師データを取得する。入力データには、入力データの内容がラベルに合致することを示す正評価、入力データの内容がラベルに合致しないことを示す負評価、及び、学習対象ラベルから除外することを示す無視評価の何れか１つがラベルごとに関連付けられている。入力層は、教師データ取得部により取得された教師データに含まれる入力データをスコアとして取得する。中間層は、入力層が取得したスコアを、重み係数を用いて演算する。出力層は、中間層が演算したスコアを用いて、ラベルごとの認識スコアを出力する。誤差逆伝搬部は、出力層が出力したラベルごとの認識スコアとラベルごとの評価の正解スコアとを用いて中間層の重み係数を調整する。誤差逆伝搬部は、正評価又は負評価のラベルの認識スコアと正評価又は負評価の正解スコアとが近づくように中間層の重み係数を調整し、かつ、無視評価のラベルの認識スコアが中間層の重み係数の調整に影響を与えないようにする。
この学習プログラムの効果は、上述した学習装置の効果と同一である。
本発明の他の側面に係る教師データ作成プログラムは、複数のラベルを用いて認識対象データを分類するニューラルネットワークを誤差逆伝搬法によって学習する学習装置のための教師データを作成するようにコンピュータを動作させる教師データ作成プログラムである。教師データ作成プログラムは、コンピュータを、入力データ取得部、評価取得部及び教師データ作成部として機能させる。入力データ取得部は、入力データを取得する。評価取得部は、入力データ取得部により取得された入力データに関して、ラベルごとに、入力データの内容がラベルに合致することを示す正評価、入力データの内容がラベルに合致しないことを示す負評価、及び、学習対象ラベルから除外することを示す無視評価の何れか１つを取得する。教師データ作成部は、入力データ取得部により取得された入力データと評価取得部により取得されたラベルごとの評価とを関連付けることにより、教師データを作成する。
この教師データ作成プログラムの効果は、上述した教師データ作成装置の効果と同一である。
本発明の他の側面に係る端末装置は、上述した学習装置と通信可能な端末装置であって、認識対象データを取得する認識対象データ取得部と、学習装置によって学習されたパラメータを用いて、認識対象データの内容を表すラベルを認識対象データに付与する認識部と、認識対象データ取得部により取得された認識対象データに付与するためのプライベートラベルを決定するユーザ操作を受け付ける操作受付部と、操作受付部により受け付けられたユーザ操作に基づいて、プライベートラベルを認識対象データに付与するラベル編集部と、を備える。
この端末装置は、学習装置の学習結果に基づいて付与されるラベル以外のラベル（プライベートラベル）を付与することができる。このため、この端末装置は、ユーザの利便性を向上させることができる。
一実施形態において、端末装置は、ラベル編集部により付与されたプライベートラベルの付与日時の履歴、及び、基準日時に基づいて、プライベートラベルをユーザに提示するラベル提示部を備えてもよい。このように構成することで、この端末装置は、ユーザの行動に応じてユーザに対してプライベートラベルを提示することができる。
一実施形態において、端末装置は、認識対象データの生成時に付与された付随情報に基づいて、プライベートラベルをユーザに提示するラベル提示部を備えてもよい。このように構成することで、この端末装置は、認識対象データの生成時の状況に応じてユーザに対してプライベートラベルを提示することができる。
一実施形態において、端末装置は、操作受付部は、コメントを付して認識対象データを他人と共有するユーザ操作を受け付け、操作受付部により受け付けられたユーザ操作に基づいて、共有される認識対象データを決定する決定部と、決定部により決定された認識対象データに付されたコメントの内容を解析する解析部と、解析部の解析結果に基づいて、プライベートラベルをユーザに提示するラベル提示部を備えてもよい。このように構成することで、この端末装置は、ユーザにより付与されたコメントに応じてユーザに対してプライベートラベルを提示することができる。
一実施形態において、端末装置は、言語サーバと通信可能に構成され、付与されたプライベートラベルのリストを言語サーバへ出力するリスト出力部と、言語サーバから代表ラベルと付与されたプライベートラベルとの関係を取得する関係取得部と、関係取得部により取得された関係に基づいて、プライベートラベルを代表ラベルへ修正することをユーザに推奨する推奨部と、を有し、言語サーバは、端末装置からリストを取得するリスト取得部と、リスト取得部により取得されたリストに基づいて、プライベートラベルをグループに集約する集約部と、集約部により集約されたグループに対して代表ラベルを選択する代表ラベル選択部と、代表ラベル選択部の選択結果に基づいて、代表ラベルと付与されたプライベートラベルとの関係を端末装置へ出力する代表ラベル出力部と、を備えてもよい。このように構成することで、この端末装置は、プライベートラベルを整理することをユーザに促すことができる。
本発明の他の側面に係る閾値変更装置は、端末装置における閾値を変更する装置である。端末装置は、認識対象データを取得し、ニューラルネットワークによって認識対象データの内容が所定ラベルに合致する度合いを示す認識スコアを出力し、認識スコアと認識スコアに対して予め設定された閾値とを用いて認識対象データの内容が所定ラベルに合致するか否かを示す認識結果を出力する。閾値変更装置は、評価データ取得部、端末データ取得部、認識スコア取得部、算出部及び変更部を備える。評価データ取得部は、入力データと、入力データに関連付けられ、入力データの内容が所定ラベルに合致する正評価であるか入力データの内容が所定ラベルに合致しない負評価であるかを示す所定ラベルの正解評価と、を含む評価データを取得する。端末データ取得部は、端末装置に関連付けられたデータの正評価及び負評価の比を取得する。認識スコア取得部は、ニューラルネットワーク（例えば認識用のニューラルネットワーク）又は当該ニューラルネットワークの重み係数と同一の重み係数を有するニューラルネットワーク（例えば学習用のニューラルネットワーク）から、入力データに関する所定ラベルの認識スコアを取得する。算出部は、認識スコア取得部により取得された所定ラベルの認識スコアと、閾値を用いて、正解評価が正評価の入力データが正評価として認識されたデータ数、及び、正解評価が負評価の入力データが正評価として認識されたデータ数を算出し、算出されたデータ数を用いて所定ラベルに関する適合率を算出する。変更部は、算出部により算出された適合率を用いて閾値を変更する。算出部は、正解評価が負評価の入力データが正評価として認識されたデータ数を、評価データの正評価及び負評価の比、及び、端末装置に関連付けられたデータの正評価及び負評価の比を用いて補正し、補正されたデータ数を用いて適合率を算出する。
この閾値変更装置によれば、負評価の入力データを正評価として認識したデータ数が、評価データの正評価及び負評価の比、及び、端末装置に関連付けられたデータの正評価及び負評価の比を用いて補正される。そして、補正後のデータ数を用いて算出された所定ラベルに関する適合率に基づいて、端末装置によって行われる認識の際に用いられる閾値が変更される。このように、所定ラベルに関する適合率を算出する際に、評価データにおける正負のデータの分布と端末装置における正負のデータの分布とを考慮して、負評価の入力データを正評価として認識したデータ数が補正される。このため、例えば、評価データにおける正負のデータの偏りを打ち消した上で端末装置における正負のデータの偏りを、データ数に反映させることができる。よって、評価データにおける正負のデータに偏りが存在し、端末装置における正負のデータの偏りと差異が生じている場合であっても、この装置は、端末装置に合わせた適切な評価を行うことができるので、結果として端末装置に合わせて適切に閾値を変更することができる。
一実施形態において、算出部は、所定ラベルに関する再現率及び適合率を算出してもよい。変更部は、閾値を再現率及び適合率の調和平均が最大となる認識スコアへ変更してもよい。この場合、この装置は、再現率及び補正された適合率を用いて閾値を変更することができる。
一実施形態において、端末データ取得部は、端末装置のニューラルネットワークの認識結果、又は、端末装置のユーザによるアノテーションの結果に基づいて、端末装置に関連付けられたデータの正評価及び負評価の比を取得してもよい。この場合、この装置は、端末装置における正負のデータの偏りを実際のデータに基づいて取得することができる。
一実施形態において、端末データ取得部は、端末装置のユーザの操作又は端末情報に基づいて、端末装置に関連付けられたデータの正評価及び負評価の比を取得してもよい。この場合、この装置は、端末装置における正負のデータの偏りを予測して取得することができる。
本発明の他の側面に係る閾値変更装置は、端末装置における閾値を変更する装置である。端末装置は、認識対象データを取得し、ニューラルネットワークによって認識対象データの内容が所定ラベルに合致する度合いを示す認識スコアを出力し、認識スコアと認識スコアに対して予め設定された閾値とを用いて認識対象データの内容が所定ラベルに合致するか否かを示す認識結果を出力する。閾値変更装置は、端末データ取得部、記憶部及び変更部を備える。端末データ取得部は、端末装置に関連付けられたデータの正評価及び負評価の比を取得する。記憶部は、比と閾値との関係性を記憶する。変更部は、記憶部に記憶された関係性、及び、端末データ取得部により取得された比を用いて閾値を変更する。
この閾値変更装置によれば、予め記憶された比と閾値との関係性と、端末データ取得部により取得された比とを用いて閾値が変更される。このように、予め記憶された比と閾値との関係性を用いることで、閾値変更のための演算負荷を軽減することができる。
本発明の種々の側面によれば、誤った評価に基づいて学習が行われることを回避することができる。
認識部を説明する図である。 認識部におけるニューラルネットワークを説明する図である。 図２に示す人工ニューロンを説明する図である。 実施形態に係る学習システムの機能ブロック図である。 図４に示す装置のハードウェア構成を示すブロック図。 教師データの一例である。 学習用認識部におけるニューラルネットワークを説明する図である。 実施形態に係る教師データ作成方法のフローチャートである。 実施形態に係る学習方法のフローチャートである。 第２実施形態に係る端末装置の機能ブロック図である。 付与ラベル記憶部に記憶されたデータの一例である。 プライベートラベルの付与方法を示すフローチャートである。 第３実施形態に係る端末装置の機能ブロック図である。 プライベートラベルの選択処理を説明する表である。 プライベートラベルの提示方法を示すフローチャートである。 プライベートラベルの他の提示方法を示すフローチャートである。 第４実施形態に係る端末装置の機能ブロック図である。 プライベートラベルの他の提示方法を示すフローチャートである。 第５実施形態に係る学習システム及び端末装置の機能ブロック図である。 プライベートラベルの修正推奨方法を示すフローチャートである。 プライベートラベルの階層化構造を示す図である。 認識スコアの閾値を説明するグラフである。 第６実施形態に係る学習システム及び端末装置の機能ブロック図である。 評価データにおけるデータの偏りを説明する図である。 閾値変更処理を示すフローチャートである。 第７実施形態に係る端末装置の機能ブロック図である。 閾値変更処理を示すフローチャートである。
以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
［第１実施形態］
実施形態に係る学習システム１００（図４参照）は、認識対象データの内容を認識する認識部１１（図１参照）のパラメータを学習するシステムである。認識対象データとは、コンピュータに認識させる対象となるデータであり、例えば、画像データ、音声データ、テキストデータなどである。認識部１１のパラメータは、認識対象データを認識する認識処理に用いられる値である。以下では、一例として、認識対象データが画像データであり、認識する対象が画像の内容（人、動物、物体、風景、室内など）である場合を説明する。
最初に、認識部１１を説明する。図１は、認識部１１を説明する図である。図１に示すように、認識部１１は、端末装置１０に備わる。認識部１１は、画像データである認識対象データＧ１を入力し、認識結果を出力する。図１の（Ａ）に示すように、認識対象データＧ１は、犬が描画された画像の画像データである。認識部１１は、画像データ（より詳細には画素値）を入力し、学習済みのパラメータを用いて画像の内容を表すラベルを出力する。ラベルとは、認識対象データの内容を分類するために用いるものであり、システム利用者によって予め設定されたカテゴリを識別する情報である。図１の（Ａ）の場合、認識部１１は認識結果として「犬」のラベルを出力する。ラベルは、認識部１１によって認識対象データＧ１に付与される。付与とは、関連付けされることを意味し、例えば関連テーブルなどで認識対象データＧ１とラベルとの関係性のみが記録されてもよいし、認識対象データＧ１そのものに組み込まれてもよい。一般的に、認識対象データにラベルを付与することをアノテーションという。認識部１１は、画像データを入力してラベルを付与することができるため、画像データを自動的に分類したり、Ｗｅｂ上で所望の画像を検索したりすることができる。
システム利用者によって予め設定されたラベルが複数ある場合、その中から最も確からしいラベルを認識対象データに付与するシングルラベル処理と、ある一定の確からしさとなったラベルの全てを認識対象データに付与するマルチラベル処理が存在する。図１の（Ｂ）に示すように、認識対象データＧ２は、人及び花が描画された画像の画像データである。認識部１１がシングルラベル処理を行う場合、認識部１１によって認識対象データＧ２に「人」のラベルが付与される。認識部１１がマルチラベル処理を行う場合、認識部１１によって認識対象データＧ２に「人」のラベルと「花」のラベルの２つが付与される。本実施形態は、シングルラベル処理及びマルチラベル処理の何れの場合にも採用することができるが、以下では一例として、マルチラベル処理を行う場合を説明する。
次に、認識部１１の詳細について説明する。図２は、認識部１１におけるニューラルネットワークを説明する図である。認識部１１は、ニューラルネットワークを用いて画像データに対応するラベルを認識する。ニューラルネットワークとは、脳神経系をモデルにした情報処理システムである。図２に示すように、認識部１１のニューラルネットワークは、いわゆる階層型ニューラルネットワークであり、円で示す多数の人工ニューロンが階層を形成しつつ連結されている。階層型ニューラルネットワークは、入力用の人工ニューロン、処理用の人工ニューロン及び出力用の人工ニューロンを備える。
入力用の人工ニューロンは、認識対象データを取得して処理用の人工ニューロンへ分配する。以下では、ニューラルネットワークでやり取りされる信号そのものをスコアという。スコアは数値である。入力用の人工ニューロンは、並列配置されることで入力層１１１を形成する。
処理用の人工ニューロンは、入力用の人工ニューロンに接続され、人工ニューロンの機能にしたがって入力を処理し、出力を他のニューロンへ伝える。処理用の人工ニューロンは、並列配置されることで中間層１１２を形成する。中間層１１２は、複数の層であってもよい。なお、中間層１１２を備えた３階層以上のニューラルネットワークをディープニューラルネットワークという。
出力用の人工ニューロンは、外部へ認識スコアを出力する。出力用の人工ニューロンは、ラベルの数と同じ数だけ用意される。つまり、ニューラルネットワークでは、ラベルごとに認識スコアを出力する。図２の例では、「犬」「人」「花」の３つのラベルに合わせて３つの人工ニューロンが用意されている。出力用の人工ニューロンは、「犬」のラベルに対応する認識スコアＢ１、「人」のラベルに対応する認識スコアＢ２、「花」のラベルに対応する認識スコアＢ３を出力する。認識スコアは、認識の確からしさを表すスコアであり、正評価を「１」、負評価を「０」として学習した場合には、ラベルの認識スコアが高いほど画像の内容を示すラベルである確からしさが高くなる。出力用の人工ニューロンは、並列配置されることで出力層１１３を形成する。
認識部１１は、出力層１１３によって出力された認識スコアを用いて、付与ラベルを決定する。例えば、認識部１１は、所定値以上の認識スコアに対応するラベルを認識対象データに付与する。これにより、認識対象データにその内容を示すラベルが自動的に付与される。なお、シングルラベル処理の場合には、認識部１１は、最も高い認識スコアに対応するラベルを認識対象データに付与する。
図３は、図２に示す人工ニューロンを説明する図である。図３の（Ａ）に示す人工ニューロンは、ｘ１，ｘ２，ｘ３を入力し、それぞれに対応する重み係数ｗ1，ｗ２，ｗ３をそれぞれ積算する。人工ニューロンは、積算値（ｘ１・ｗ1，ｘ２・ｗ２，ｘ３・ｗ３）とバイアス値ｂとの総和を算出する。この総和を活性化関数に代入して、人工ニューロンの出力とする。
より詳細には、対象の人工ニューロンの出力は、以下の数式となる。
Figure 0006453968
ここで、ｇは活性化関数であり、例えばシグモイド関数である。
図３の（Ｂ）は、Ｎ階層（Ｎ＝３）の人工ニューロンを説明する図である。図３の（Ｂ）に示されるように、３階層の場合には、２階層に位置する人工ニューロンの出力ｈ１ （２）、ｈ２ （２）、ｈ３ （２）はそれぞれ以下の数式３〜５となる。ここで、ｎは対象階層の人工ニューロンの数、w１ｊ （１）は２階層１番目の人工ニューロンにおける１階層ｊ番目の出力に対応する重み係数、ｂ１ （１）は１階層のバイアス値である。
Figure 0006453968
ｗ２ｊ （１）は２階層２番目の人工ニューロンにおける１階層ｊ番目の出力に対応する重み係数、ｗ３ｊ （１）は２階層３番目の人工ニューロンにおける１階層ｊ番目の出力に対応する重み係数、ｂ２ （１）は１階層２番目のバイアス値、ｂ３ （１）は１階層３番目のバイアス値である。これにより、３階層の人工ニューロンの出力ｈ１ （３）は以下の数式６で表される。
Figure 0006453968
なお、バイアス値ｂは必ずしも必要ではなく、前段の人工ニューロンの出力と重み係数との積算値だけで出力を演算してもよい。
人工ニューロンは上記に限定されるものではなく、一般化したものでもよい。ｉ番目の中間層１１２の機能に関する一般式は以下の数式７となる。
Figure 0006453968
ここで、ｘ(i)は中間層１１２への入力ベクトル、ｗ(i) は中間層１１２の重みパラメータベクトル、ｂ(i) はバイアスベクトル、v(i) は中間層１１２の出力ベクトルである。画像認識で一般的に使用される中間層１１２の一例として、全結合層及び畳み込み層がある。図３で表現されている全結合層の出力は、一般的には以下の数式８となる。
Figure 0006453968
ここで、ｘｐ (i) はｉ番目の中間層１１２の出力の第ｐ成分、vｑ (i)は中間層１１２の出力の第ｑ成分、ｗｐ，ｑ (i) は中間層１１２の重み係数のｐ，ｑ成分である。また、畳み込み層の出力は以下の数式９となる。
Figure 0006453968
ここで、ｘｐ，（r，s） (i) はｉ番目の中間層１１２の入力の第ｐチャンネルの（r，s）成分、vｑ，（r，s） (i)は中間層１１２の出力の第ｑチャンネルの（r，s）成分、ｗｐ，ｑ，（r’，s’） (i)は中間層１１２の畳み込みフィルタに関する重み係数である。r’，s’は、０から畳み込みフィルタの（幅−１）、(高さ−１)の値まで変化する。以上のような中間層１１２及び活性化関数ｇ(i)の計算を繰り返すことにより、出力層１１３直前の中間層の出力が以下の数式１０となる。
Figure 0006453968
上述した重み係数及びバイアス値は、後述する学習システム１００で学習され、認識部１１へ配布されたものである。つまり、学習システム１００は、認識対象データの特徴量とその内容を示すラベルとを対応させるための重み係数及びバイアス値を学習するシステムである。なお、認識部１１がバイアス値ｂを用いない場合には、学習システム１００は、重み係数のみを学習する。
図４は、実施形態に係る学習システム１００の機能ブロック図である。学習システム１００は、画像データを収集して学習し、端末装置１０へ学習した重み係数及びバイアス値を提供する。学習システム１００は、画像データを格納したデータベース２１、画像データを生成するカメラ２２、画像データをダウンロード可能なＷｅｂサイト２３などに接続されており、学習の入力データとなる画像データを取得することができる。もちろん、学習システム１００は、外部記憶媒体を接続して画像データを取得してもよいし、通信を介して画像データを受信してもよく、画像データ取得の態様には限定されない。
最初に、端末装置１０、並びに、学習システム１００が備える教師データ作成装置３０及び学習装置４０のハードウェアについて説明する。図５は、図４に示す装置のハードウェア構成を示すブロック図である。図５に示すように、端末装置１０は、物理的には、ＣＰＵ（Central Processing Unit）１０１、ＲＡＭ（Random Access Memory）１０２及びＲＯＭ（Read Only Memory）１０３などの主記憶装置、タッチパネルやキーボードなどの入力デバイス１０４、ディスプレイなどの出力デバイス１０５、ハードディスクなどの補助記憶装置１０６などを含む通常のコンピュータシステムとして構成される。端末装置１０の各機能は、ＣＰＵ１０１が、ＲＡＭ１０２、ＲＯＭ１０３などのハードウェア上に所定のコンピュータソフトウェアを読み込ませ、ＣＰＵ１０１の制御の元で入力デバイス１０４及び出力デバイス１０５を動作させるとともに、主記憶装置や補助記憶装置１０６におけるデータの読み出し及び書き込みを行うことで実現される。
教師データ作成装置３０及び学習装置４０のハードウェアも端末装置１０と同一のハードウェアで構成可能である。すなわち、教師データ作成装置３０は、物理的には、ＣＰＵ３０１、ＲＡＭ３０２及びＲＯＭ３０３などの主記憶装置、入力デバイス３０４、出力デバイス３０５、補助記憶装置３０６などを含む通常のコンピュータシステムとして構成される。学習装置４０は、物理的には、ＣＰＵ４０１、ＲＡＭ４０２及びＲＯＭ４０３などの主記憶装置、入力デバイス４０４、出力デバイス４０５、補助記憶装置４０６などを含む通常のコンピュータシステムとして構成される。
次に、学習システム１００の機能について説明する。図４に示すように、学習システム１００は、教師データ作成装置３０及び学習装置４０を備える。教師データ作成装置３０は、学習装置４０が学習する際に利用する教師データを作成し、学習装置４０へ提供する。教師データとは、処理対象データと認識対象が同一のデータと、当該データに対応するラベルの評価とを含む。教師データ作成装置３０は、入力データ取得部３１、評価取得部３２、受付部３３及び教師データ作成部３４を備える。
入力データ取得部３１は、入力データを取得する。入力データ取得部３１は、データベース２１、カメラ２２、Ｗｅｂサイト２３、外付け記憶媒体などから学習の入力データを取得する。入力データとは、学習に用いるデータであり、処理対象データと認識対象が同一のデータである。ここでは入力データは画像データである。入力データは、予め設定された複数のラベルの評価をする対象となるデータである。入力データは、幾つかのラベルの評価が既になされていてもよいし、全くなされていなくてもよい。つまり、入力データには既に何らかのラベルが付与されていてもよい。ここでは、入力データは、付与するか否かの判断がなされていないラベルを少なくとも含む。
評価取得部３２は、入力データ取得部３１により取得された入力データに関して、ラベルごとに、入力データの内容がラベルに合致することを示す「正評価」、入力データの内容がラベルに合致しないことを示す「負評価」、及び、学習対象ラベルから除外することを示す「無視評価」の何れか１つを取得する。あるラベルの評価が正評価である場合、入力データの内容はラベルが示すカテゴリに属することを意味する。あるラベルの評価が負評価である場合、入力データの内容はラベルが示すカテゴリに属さないことを意味する。あるラベルの評価が無視評価である場合、当該ラベルについては学習対象ラベルから除外することを意味する。このように、評価取得部３２は、「正評価」「負評価」だけでなく「無視評価」を取得対象の選択肢に含んでいる。
評価取得部３２は、ラベルの評価として、人であるアノテータが判断した内容を取得する。図４に示すように、教師データ作成装置３０は、ラベルの評価を指定するユーザ操作を受け付ける受付部３３を備える。ユーザ操作とは、アノテータの操作のことである。より具体的な一例としては、ユーザ操作は、あるラベルに対して「正評価」「負評価」及び「無視評価」の何れか１つを選択する操作、又は、あるラベルに対して２つの評価を排除する操作である。受付部３３は、ユーザ操作に関する信号を評価取得部３２へ取得する。評価取得部３２は、受付部３３により受け付けられたユーザ操作によって指定されるラベルの評価を取得する。
ユーザ操作には、端末装置１０のユーザによる操作が含まれてもよい。例えば、ユーザが実際に認識部１１を動作させた後、評価を決定するユーザ操作を行う。端末装置１０は、ユーザ操作と入力データとを教師データ作成装置３０へ送信する。評価取得部３２は、取得したユーザ操作に基づいて入力データのラベルの評価を決定する。このように、認識部１１を使用するユーザが、結果をフィードバックすることができるため、再学習を行うことで認識部１１の精度が向上する。つまり、このように構成することで、ユーザ介在型のインタラクティブな学習を実現することができ、学習の精度を向上させることができる。
また、評価取得部３２は、入力データに既に関連付けられているラベルの評価をそのまま取得してもよい。例えば、ラベル「犬」に関する教師データが存在している場合には、その入力データにはラベル「犬」に関して、既に「正評価」「負評価」及び「無視評価」の何れか１つが関連付けされている。評価取得部３２は、ラベルの評価がある場合には、その評価を利用し、未評価のラベルに対して上述したユーザ操作を受け付けて評価を決定するようにしてもよい。このように構成することで、例えば、既存の教師データを用いて新たな教師データを容易に作成することができる。
教師データ作成部３４は、入力データ取得部３１により取得された入力データと評価取得部３２により取得されたラベルごとの評価とを関連付けることにより、教師データを作成する。教師データ作成部３４は、入力データとラベルごとの評価とを一つのデータにして教師データとしてしてもよいし、テーブルを用いて入力データとラベルごとの評価とを関連付けてもよい。
図６は、教師データの一例である。図６の（Ａ）に示すように、入力データＴ１〜ＴＮ（Ｎは自然数）それぞれに複数のラベルが関連付けられている。ここでは入力データＴ１〜ＴＮにそれぞれ３つのラベルが関連付けられている。例えば、第１ラベルＬ１は画像の内容が「犬」であることを示すラベルであり、第２ラベルＬ２は画像の内容が「人」であることを示すラベルであり、第３ラベルＬ３は画像の内容が「花」であることを示すラベルである。教師データ作成部３４は、入力データごとに全てのラベルの評価を関連付けする。例えば、入力データＴ１は犬の画像であり、人が写っていないとする。この場合、第１ラベルＬ１の評価である正がテーブルに記憶され、第２ラベルＬ２の評価である負がテーブルに記憶される。なお、入力データＴ３に花が写っているか否か不明な場合、花が写っているか否かの判断がなされていない場合（評価取得部３２により評価を取得できない場合）などにおいては無視評価とされ、第３ラベルＬ３の評価である無視がテーブルに記憶される。このように、入力データＴ１〜ＴＮそれぞれに関して、各ラベルの評価が関連付けられている。なお、正評価を「１」、負評価を「０」など、スコアで表示してもよい。このような入力データの評価を示すスコアを正解スコアという。図６の（Ｂ）は、図６の（Ａ）に示すテーブルをスコアで表示したものである。無視評価については、アスタリスクとして入力データに関連付けられる。
また、教師データ作成部３４は、評価取得部３２により取得されたラベルの評価を入力データ取得部３１により取得された入力データと関連付ける前に、入力データの全てのラベルの評価を無視評価にしてもよい。つまり、教師データ作成部３４は、デフォルト設定として全てのラベルを無視評価としておき、評価を取得できたものについて無視評価から正評価又は負評価へ変更する。教師データ作成部３４は、作成した教師データを学習装置４０へ提供する。例えば、教師データ作成部３４の出力を記録媒体に記憶し、記憶媒体を学習装置４０に読み込ませてもよいし、教師データ作成部３４から通信を介して学習装置４０へ送信してもよい。
学習装置４０は、教師データ取得部４１、学習用認識部４２及び誤差逆伝搬部４３を備えている。教師データ取得部４１は、教師データ作成装置３０が作成した教師データを取得する。
学習用認識部４２は、認識部１１と同一の構成を有しており、入力層１１１、中間層１１２及び出力層１１３を備える。入力層１１１は、教師データ取得部４１により取得された教師データに含まれる入力データをスコアとして取得する。中間層１１２は、入力層１１１が取得したスコアを、重み係数を用いて演算する。出力層１１３は、中間層１１２が演算したスコアを用いて、ラベルごとの認識スコアを出力する。
誤差逆伝搬部４３は、出力層１１３が出力したラベルごとの認識スコアと、ラベルごとの評価の正解スコアとを用いて中間層１１２の重み係数を調整する。図７は、学習用認識部４２におけるニューラルネットワークを説明する図である。図７に示すように、誤差逆伝搬部４３は、認識スコアＢ１〜Ｂ３とラベルごとの正解スコアＹ１〜Ｙ３とが近づくように中間層１１２の重み係数を調整する。例えば、誤差逆伝搬部４３は、認識スコアＢ１〜Ｂ３とラベルごとの正解スコアＹ１〜Ｙ３との差分を算出する。正解スコアＹ１〜Ｙ３については、正評価であれば「１」、負評価であれば「０」となる。誤差逆伝搬部４３は、認識スコアＢ１〜Ｂ３とラベルごとの正解スコアＹ１〜Ｙ３との差分が小さくなるように、上述した重み係数ｗ１，ｗ２，ｗ３及びバイアス値ｂを調整する。なお、「差分が小さくなる」とは、誤差が所定値以下となること、あるいは、調整後の方が調整前に比べて差分が小さくなることをいう。
誤差逆伝搬部４３は、差分が最も小さくなる重み係数ｗ１，ｗ２，ｗ３及びバイアス値ｂを勾配法によって決定する。このような手法は、誤差逆伝搬法とも呼ばれる。誤差逆伝搬部４３は、例えば二乗誤差の最小値を勾配法により決定する。誤差逆伝搬部４３は、重み係数ｗ１，ｗ２，ｗ３及びバイアス値ｂの更新、ニューラルネットワークの入力から出力、そして、二乗誤差の算出までを１セットとして繰り返し実行する。二乗誤差の変動が所定値以下となった場合に、繰り返し処理を終了し、当該入力データの学習を終了する。
なお、誤差逆伝搬部４３は、認識スコアＢ１〜Ｂ３とラベルごとの正解スコアＹ１〜Ｙ３との差分を必ずしも用いる必要ない。例えば、正解スコアに対応する尤度を計算してもよい。尤度は大きいほど当該ラベルが正解に近いことを意味する。誤差逆伝搬部４３は、尤度が大きくなる方向に重み係数を調整する。
誤差逆伝搬の一般式は、出力層１１３で算出される誤差関数（二乗誤差、対数尤度関数など）をＥ（ｘ）とすると以下の数式１１となる。
Figure 0006453968
ここで、ｗｊ (i) は第ｉ層の重み係数のｊ成分、hｋ (i)は、ｉ番目の中間層１１２の出力ベクトルの第ｋ成分、ｇ’(i)は活性化関数の微分である。バイアス値ｂについても同様の手法で計算することができる。
上述した数式１１及び重み更新に関するパイパーパラメータεを用いて、各中間層１１２は以下の数式１２のように更新される。
Figure 0006453968
なお、上述した数式１１のうち、以下に示す項については、第ｉ層のみからでは算出できないため、第ｉ＋１層の値を用いた計算が必要になる。
Figure 0006453968
具体的には、以下の計算となる。
Figure 0006453968
このように出力層に近い側の計算結果から、入力側に誤差を伝播させる形で計算を行うため、誤差逆伝搬と呼ばれる。
ここで、誤差逆伝搬部４３は、無視評価のラベルの認識スコアが中間層の重み係数の調整に影響を与えないようにする。「中間層の重み係数の調整に影響を与えない」とは、無視評価のラベルの認識スコアを入力しても入力しなくても重み係数の調整に差がないことを意味する。例えば、誤差逆伝搬部４３は、無視評価の正解スコアを無視評価のラベルの認識スコアと同じ値に設定する。これにより、認識スコアと正解スコアとの差分が０となるため、無視評価のラベルに関して、重み係数ｗ１，ｗ２，ｗ３及びバイアス値ｂが変更されることはない。あるいは、誤差逆伝搬部４３は、無視評価の正解スコアと無視評価のラベルの認識スコアとの差分の微分値を０に変更してもよい。つまり、二乗誤差の評価式において無視評価のラベルについては二乗誤差が最小値をとることにする。これにより、認識スコアと正解スコアとの差分が０となるため、無視評価のラベルに関して、重み係数ｗ１，ｗ２，ｗ３及びバイアス値ｂが変更されることはない。あるいは、別途の層をニューラルネットワークに設け、無視評価のラベルに関するニューラルネットワークの接続を遮断してもよい。これにより、逆伝搬そのものを直接的に無効化することができる。
次に、学習システム１００の動作について説明する。最初に、教師データ作成装置３０の動作について説明する。図８は、実施形態に係る教師データ作成方法のフローチャートである。図８に示すフローチャートは、一つの教師データを作成する度に実行される。
最初に、教師データ作成装置３０の入力データ取得部３１は、入力データ取得処理（Ｓ１０：入力データ取得ステップ）として、入力データを取得する。以下では、入力データ取得部３１が入力データＴ３を取得した場合を例に説明する。次に、教師データ作成装置３０の評価取得部３２は、評価取得処理（Ｓ１２：評価取得ステップ）として、入力データ取得処理（Ｓ１０）で取得された入力データＴ３に関して、ラベルごとに「正評価」「負評価」及び「無視評価」の何れか１つを取得する。例えば、評価取得部３２は、画像の内容が「犬」であることを示す第１ラベルＬ１の評価として「負評価」、画像の内容が「人」であることを示す第２ラベルＬ２の評価として「無視評価」、画像の内容が「花」であることを示す第３ラベルＬ３の評価として「無視評価」を取得する。なお、評価取得部３２は、受付部３３によって受け付けられたユーザ操作を用いて評価を取得してもよい。
次に、教師データ作成装置３０の教師データ作成部３４は、教師データ作成処理（Ｓ１４：教師データ作成ステップ）として、入力データ取得処理（Ｓ１０）で取得された入力データと評価取得処理（Ｓ１２）で取得されたラベルごとの評価とを関連付けることにより、教師データを作成する。これにより、図６の（Ａ）に示すように、入力データＴ３と、「負」「無視」「無視」とが関連付けられ、一つの教師データとなる。Ｓ１４の処理が終了すると、図８に示す処理を終了する。
次に、学習装置４０の動作について説明する。図９は、実施形態に係る学習方法のフローチャートである。図９に示すフローチャートは、一つの教師データを用いた学習の流れを示している。
最初に、学習装置４０の教師データ取得部４１は、教師データ取得処理（Ｓ２０：教師データ取得ステップ）として、教師データを取得する。次に、学習装置４０の入力層１１１は、入力処理（Ｓ２２：入力ステップ）として、教師データに含まれる入力データを取得する。次に、学習装置４０の中間層１１２は、演算処理（Ｓ２４：演算ステップ）として、人工ニューロンの機能に基づく演算を行う。そして、学習装置４０の出力層１１３は、出力処理（Ｓ２６：出力ステップ）として、ラベルごとの認識スコアを出力する。次に、学習装置４０の誤差逆伝搬部４３は、正解スコアの入力処理（Ｓ２８：正解スコア入力ステップ）として、教師データ取得処理（Ｓ２０）で取得したラベルごとの正解スコアを入力する。次に、誤差逆伝搬部４３は、逆伝搬処理（Ｓ３０：誤差逆伝搬ステップ）として、Ｓ３０１〜Ｓ３０４までの処理を実行する。
誤差逆伝搬部４３は、無視評価判定処理（Ｓ３０１）として、正解スコアの入力処理（Ｓ２８）で入力した正解スコアに無視評価が含まれているか否かを判定する。例えば、図６の（Ｂ）に示す入力データＴ１が学習対象であるとする。図６の（Ｂ）に示すように、入力データＴ１に対応する第３ラベルＬ３は、無視評価を示す「アスタリスク」となっている。この場合、誤差逆伝搬部４３は、無効化処理（Ｓ３０２）を行う。誤差逆伝搬部４３は、無効化処理（Ｓ３０２）として、出力処理（Ｓ２６）で出力した認識スコアを、無視評価判定処理（Ｓ３０１）で判定した無視評価の正解スコアとする。例えば、入力データＴ１が学習対象の場合、第３ラベルＬ３の正解スコアに認識スコアＢ３を代入する。
無効化処理（Ｓ３０２）が終了した場合、又は、無視評価判定処理（Ｓ３０１）で正解スコアに無視評価が含まれていないと判定された場合、誤差逆伝搬部４３は、誤差演算処理（Ｓ３０３）を行う。誤差逆伝搬部４３は、誤差演算処理（Ｓ３０３）の一例として、出力処理（Ｓ２６）で出力した認識スコアと正解スコアとの差分を算出する。そして、誤差逆伝搬部４３は、調整処理（Ｓ３０４）として、誤差の評価関数が最小値となるように、重み係数ｗ１，ｗ２，ｗ３及びバイアス値ｂを調整する。調整処理（Ｓ３０４）が終了すると、図９に示す学習処理が終了する。
次に、教師データ作成装置３０として機能させるための教師データ作成プログラム、及び、学習装置４０として機能させるための学習プログラムを説明する。教師データ作成プログラムは、メインモジュール、入力データ取得モジュール、評価取得モジュール、受付モジュール及び教師データ作成部モジュールを備えている。メインモジュールは、装置を統括的に制御する部分である。入力データ取得モジュール、評価取得モジュール、受付モジュール及び教師データ作成モジュールを実行させることにより実現される機能は、上述した教師データ作成装置３０の入力データ取得部３１、評価取得部３２、受付部３３及び教師データ作成部３４の機能とそれぞれ同様である。
学習プログラムは、メインモジュール、教師データ取得モジュール、学習用認識モジュール及び誤差逆伝搬モジュールを備えている。メインモジュールは、装置を統括的に制御する部分である。教師データ取得モジュール、学習用認識モジュール及び誤差逆伝搬モジュールを実行させることにより実現される機能は、上述した学習装置４０の教師データ取得部４１、学習用認識部４２及び誤差逆伝搬部４３の機能とそれぞれ同様である。
教師データ作成プログラム及び学習プログラムは、例えば、ＲＯＭ又は半導体メモリなどの非一時的な記録媒体によって提供される。また、教師データ作成プログラム及び学習プログラムは、ネットワークなどの通信を介して提供されてもよい。
以上、本実施形態に係る学習システム１００では、教師データ作成装置３０により、正評価、負評価及び無視評価の何れか１つがラベルの評価としてラベルごとに取得されて、教師データが作成される。つまり、この学習システム１００では、「正評価」及び「負評価」に加えて「無視評価」という新たな評価を含むことができる教師データを用いて学習することができる。学習装置４０は、正評価又は負評価のラベルの認識スコアと正評価又は負評価の正解スコアとが近づくように中間層１１２の重み係数を調整し、かつ、無視評価のラベルの認識スコアが中間層１１２の重み係数の調整に影響を与えないようにする。このため、正評価又は負評価のラベルについては認識部１１の精度向上を図ることができるとともに、無視評価のラベルに関しては認識部１１の精度に影響を及ぼさないようにすることができる。入力データには必ず正評価又は負評価が付与されていなければならないという従来の枠組みにおいては、不完全なラベルの評価を推定などにより完全なラベルの評価に近づけるというアプローチが採用されていた。これに対して、無視評価という新たな評価を導入することにより、不完全な評価のうち正しく付与された評価のみを用いて学習するという新たなアプローチを採用することができるため、誤った評価に基づいて学習が行われることを回避することができる。また、無視評価を用いることで、特定のラベルのみ学習を強化することもできる。
また、本実施形態に係る学習システム１００では、無視評価のラベルについても逆伝搬は行われるものの、中間層１１２の重み係数ｗ１，ｗ２，ｗ３及びバイアス値ｂは無調整となる。よって、ニューラルネットワークの構成や誤差逆伝搬部４３による逆伝搬の数式を変更することなく、無視評価のラベルに関する逆伝搬を無効化することができる。
また、本実施形態に係る学習システム１００では、未評価のラベルについて、正評価か負評価を無理に設定することなく学習することができる。
また、本実施形態に係る学習システム１００では、ユーザが評価を変更又は追加することができる構成とすることで、誤った評価に基づいて学習が行われることを回避することができるだけでなく、正しい評価に基づいて学習を行うことができ、結果として認識部１１の精度を向上させることができる。
また、本実施形態に係る学習システム１００では、デフォルト設定として全てのラベルを無視評価としておき、評価を取得できたものについて無視評価から正評価又は負評価へ変更することができる。つまり、アノテータが作業する場合に、無視評価を明示的に指示する手間を省くことができる。
上述したとおり、教師有り学習においては全てのラベルの正解値が必要であるため、教師データの作成にコストがかかる。特にマルチラベルの場合には、シングルラベルの場合のように、あるラベルが正評価であれば他のラベルは負評価になるという関係性がないことから、全てのラベルについて、正評価又は負評価の何れかを付与する必要がある。さらに、教師データの作成は、人（アノテータ）が行うことがある。アノテータは、ラベルについての評価に自信が有る無しにかかわらず、教師データ作成のためにラベルの評価を下す必要がある。このため、誤った評価に基づいて学習が行われる可能性がある。これに対して、本実施形態に係る教師データ作成装置３０では、では、正評価、負評価及び無視評価の何れかラベルの評価としてラベルごとに取得されて、教師データが作成される。つまり、この教師データ作成装置３０では、教師データに「正評価」及び「負評価」に加えて「無視評価」という新たな評価を含ませることができる。無視評価という新たな評価を導入することにより、不完全な評価のうち正しく付与された評価のみを用いて学習するという新たなアプローチを採用することができるため、誤った評価に基づいて学習が行われることを回避することができる。
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
上述した実施形態では、認識対象データが画像データである場合を一例として説明したが、認識対象データは、音声データや文字データであってもよい。このようなデータを対象とした場合であっても、誤った評価に基づいて学習が行われることを回避することができる。
上述した実施形態では、正評価を「１」、負評価を「０」として学習した場合を一例として説明したが、任意の値を設定することができる。例えば、正評価を「０」、負評価を「１」としてもよく、正評価を「２」、負評価を「１」としてもよい。
上述した実施形態において、教師データ作成装置３０及び学習装置４０が一つの装置として構成されていてもよい。
上述した実施形態において、教師データに優先的に追加するデータを選定してもよい。例えば、教師データ作成装置３０は、無視評価のラベルを持つ複数の画像に対して認識を行い、認識スコアが正評価でも負評価でもない中間値となる入力データについて、優先的にアノテーションの情報を取得し、教師データとする。これにより、認識部１１によって難しい（情報量の多い）データを優先することができるので、学習効率が高まり、結果としてアノテーションの効率も高めることができる。
上述した実施形態において、複数のアノテータの評価を平均した評価をラベルの評価としてもよい。このように構成することで、曖昧さの尺度が考慮されるため、誤った評価を減少させて学習することができるので、結果として認識部１１の精度を向上させることができる。
上述した実施形態において、ラベルを階層化してもよい。例えば、大分類のラベルを「Ａ」とし、小分類のラベルを「Ａ１」「Ａ２」「Ａ３」とする。学習装置４０は、ラベルＡに対する重み係数を小分類のラベルの初期値として採用してもよい。この場合、勾配法の収束効率を高めることができるので、学習時間を短縮することができる。
上述した実施形態において、教師データ作成部３４は、入力データを加工してもよい。例えば、教師データ作成部３４は、正規化処理（画像の場合、一定のサイズにリサイズする処理）などを入力データに施してもよい。あるいは、入力層１１１が入力データを加工する処理をしてもよい。
上述した実施形態において、端末装置１０、教師データ作成装置３０及び学習装置４０のハードウェア構成は、物理的に一体的に構成されている必要は無く、複数の装置で構成されていてもよい。つまり、複数の装置がネットワークで接続され、仮想的に端末装置１０、教師データ作成装置３０及び学習装置４０を構成していてもよい。
以下では、更に他の実施形態について概説する。
［第２実施形態］
第１実施形態においては、端末装置１０は、学習システム１００によって学習されたラベルを付与する。第１実施形態におけるラベルは、予め設定された内容を表すラベルであって、端末装置１０及び学習システム１００で共通である。また、ラベルは、複数の端末装置１０間で共通であり得る。つまり、第１実施形態におけるラベルは、ユーザなどにより自由に設定されたラベルではない。第２実施形態では、ユーザが自由にラベルを付与することを許容する。以下では、第１実施形態におけるラベルをパブリックラベルといい、ユーザにより自由に設定されたラベルをプライベートラベルという。また、以下では、第１実施形態において説明した内容については説明を省略する。
図１０は、第２実施形態に係る端末装置５０の機能ブロック図である。端末装置５０は、データ取得部（認識対象データ取得部）５１、認識部５２、付与ラベル記憶部５３、フィードバック部５４、操作受付部５５及びラベル編集部５６を備える。端末装置５０のハードウェアは、端末装置１０と同一である。
データ取得部５１は、認識対象データを取得する。例えば、データ取得部５１は、端末装置５０に備わる記憶媒体に記憶された画像データを取得する。データ取得部５１は、通信を介して画像データを取得してもよい。
認識部５２は、上述した実施形態における認識部１１と同一である。認識部５２は、学習装置４０によって学習されたパラメータを用いて、認識対象データの内容を表すパブリックラベルを認識対象データに付与する。ここでは、一例として、認識部５２は、付与ラベル記憶部５３に認識結果を記憶させる。付与ラベル記憶部５３は、認識対象データとパブリックラベルとを関連付けて記憶する。
図１１は、付与ラベル記憶部５３に記憶されたデータの一例である。図１１の（Ａ）に示されるように、付与ラベル記憶部５３には、認識対象データとパブリックラベルとが関連付けて記憶されている。一例として、認識対象データは認識対象データＩＤによって識別可能に構成されている。認識対象データＩＤは、認識対象データの識別子である。付与ラベル記憶部５３には、例えば、認識対象データＩＤ「１」とパブリックラベル「花、屋外」とが関連付けて記憶されている。また、付与ラベル記憶部５３には、例えば、認識対象データＩＤ「２」とパブリックラベル「人物」とが関連付けて記憶されている。また、付与ラベル記憶部５３には、例えば、認識対象データＩＤ「３」とパブリックラベル「人物、学校、屋内」とが関連付けて記憶されている。また、付与ラベル記憶部５３には、例えば、認識対象データＩＤ「４」とパブリックラベル「屋内、皿、人物」とが関連付けて記憶されている。
認識部５２は、認識対象データに付随した情報である付随情報を付与ラベル記憶部５３にさらに記憶させてもよい。付随情報は、例えば認識対象データの生成の状況などを示す情報である。付随情報は、認識対象データの一部として認識対象データに埋め込まれているか、又は、認識対象データとは別のデータとして、認識対象データの識別子と関連付けて管理されている。認識部５２は、認識対象データに基づいて付随情報を取得し、付与ラベル記憶部５３にさらに記憶させる。
付随情報は、一例として、パブリックラベルの信頼度、データ生成時の位置情報、データ生成日時などである。パブリックラベルの信頼度は、パブリックラベルの確からしさを意味する。パブリックラベルの信頼度は、例えば、認識部５２によって認識したときのスコア値である。認識対象データが画像データである場合には、付随情報は、パブリックラベルの信頼度、撮影位置、撮影日時、カメラ情報、顔認識結果などである。撮影位置は、例えば緯度経度の情報であり、具体的な一例としてはＧＰＳ情報である。撮影日時とは、日付及び時刻、曜日、季節などである。カメラ情報は、焦点距離、露光時間、絞り、フラッシュの有無などである。顔認識結果は、カメラが有する顔認識機能の認識結果である。
さらに、付与ラベル記憶部５３は、認識対象データとラベルとの関係性、及び、プライベートラベルと付与時間との関係性を記憶する。操作受付部５５及びラベル編集部５６によって、付与ラベル記憶部５３に記憶された内容が更新される。更新は、追加、変更、上書き、削除などを含む概念である。
操作受付部５５は、データ取得部５１により取得された認識対象データに付与するためのプライベートラベルを決定するユーザ操作を受け付ける。ユーザ操作は、端末装置５０のユーザによる端末操作である。ユーザ操作は、認識対象データを特定する操作、及び、プライベートラベルを特定する操作を含む。認識対象データを特定する操作は、例えば、ディスプレイ装置などに表示された認識対象データのアイコンの一覧から１のアイコンを選択する操作である。プライベートラベルを特定する操作は、例えば、プライベートラベルのラベル名を入力する操作、ディスプレイ装置などに表示され、過去に入力されたプライベートラベルの一覧から１のラベルを選択する操作などである。
ラベル編集部５６は、操作受付部５５により受け付けられたユーザ操作に基づいて、プライベートラベルを認識対象データに付与する。ここでは、一例として、ラベル編集部５６は、付与ラベル記憶部５３に、認識対象データとプライベートラベルとの関係性を記憶させる。例えば、図１１の（Ａ）に示される認識対象データＩＤの「４」には、プライベートラベルが付与されていない。このような状況で、ユーザにより、認識対象データＩＤ「４」及びプライベートラベル「中華料理」「友人」を選択するユーザ操作がなされたとする。この場合、図１１の（Ｂ）に示されるように、認識対象データＩＤ「４」とプライベートラベル「中華料理」「友人」とが関連付けて記憶される。このとき、ラベル編集部５６は、プライベートラベルが付与された日時も、付与ラベル記憶部５３に記憶させてもよい。また、ラベル編集部５６は、付与ラベル記憶部５３が記憶した情報を、変更してもよい。つまり、ラベル編集部５６は、一度付与したプライベートラベルを修正又は削除することもできる。
また、第１実施形態で説明したとおり、ユーザは付与されたパブリックラベルを修正又は削除することができる。操作受付部５５は、認識対象データに付与されたパブリックラベルを修正又は削除するユーザ操作を受け付ける。ユーザ操作は、認識対象データを特定する操作、及び、パブリックラベルを修正又は削除する操作を含む。認識対象データを特定する操作は、例えば、ディスプレイ装置などに表示された認識対象データのアイコンの一覧から１のアイコンを選択する操作である。パブリックラベルを修正又は削除する操作は、例えば、パブリックラベルのラベル名を入力する操作、削除ボタンを選択する操作などである。ラベル編集部５６は、操作受付部５５により受け付けられたユーザ操作に基づいて、パブリックラベルを修正又は削除する。
フィードバック部５４は、第１実施形態で説明したとおり、ユーザによってパブリックラベルが修正された場合には、修正内容を教師データ作成装置３０へ出力する。具体的には、教師データ作成装置３０の受付部３３は、ユーザによる端末装置１０の操作であるユーザ操作を受け付ける。なお、受付部３３は、入力データの一部のラベルの評価を指定するユーザ操作を受け付けてもよい。つまり、ユーザは入力データのラベル全てに対して評価する必要はない。そして、教師データ作成部３４は、評価取得部３２により取得されたラベルの評価が入力データのラベルの一部に対する評価である場合には、一部のラベルの評価を入力データ取得部３１により取得された入力データと関連付けるとともに、入力データの残りのラベルの評価を無視評価にする。このように、ユーザによってパブリックラベルが修正され、修正された評価を再学習させることにより、学習システム１００の学習効率が向上する。なお、フィードバック部５４は必要に応じて備えればよい。
次に、プライベートラベルの付与方法を説明する。図１２は、プライベートラベルの付与方法を示すフローチャートである。図１２に示されるフローチャートは、例えば、ユーザによりラベル編集ボタンが選択されたときに実行される。
最初に、端末装置５０の操作受付部５５は、操作受付処理（Ｓ４０）として、認識対象データに付与するためのプライベートラベルを決定するユーザ操作を受け付ける。次に、端末装置５０のラベル編集部５６は、プライベートラベル付与処理（Ｓ４２）として、Ｓ４０の処理で受け付けたユーザ操作に基づいて、認識対象データに付与するためのプライベートラベルを決定し、認識対象データに決定されたプライベートラベルを付与する。Ｓ４２の処理が終了すると、プライベートラベルの付与方法を終了する。
以上、第２実施形態に係る端末装置５０は、学習装置４０の学習結果に基づいて付与されるパブリックラベル以外のプライベートラベルを付与することができる。プライベートラベルの付与を許容することにより、認識対象データの整理やデータアクセスが容易となる。このため、この端末装置５０は、ユーザの利便性を向上させることができる。
［第３実施形態］
第３実施形態に係る端末装置５０Ａは、第２実施形態に係る端末装置５０と比べて、ラベル提示部５７Ａを備えている点で相違し、その他は同一である。第３実施形態に係る端末装置５０Ａは、プライベートラベルをユーザに提示することで、ユーザのラベル付与の労力を軽減させる追加機能を有する。なお、第２実施形態においては、付与ラベル記憶部５３は、付随情報及びプライベートラベル付与日時を任意で記憶していたが、第３実施形態においては、付与ラベル記憶部５３は、付随情報及びプライベートラベル付与日時の少なくとも一方が記憶されている。
図１３は、第３実施形態に係る端末装置５０Ａの機能ブロック図である。端末装置５０Ａは、データ取得部５１、認識部５２、付与ラベル記憶部５３、フィードバック部５４、操作受付部５５、ラベル編集部５６及びラベル提示部５７Ａを備える。端末装置５０Ａのハードウェアは、端末装置１０と同一である。
ラベル提示部５７Ａは、プライベートラベルをユーザに提示する。例えば、ラベル提示部５７Ａは、ラベル編集部５６により付与されたプライベートラベルの付与日時の履歴、及び、基準日時に基づいて、プライベートラベルをユーザに提示する。提示とは、ユーザに報知することである。例えば、提示とは、ディスプレイ装置に文字又はアイコンを表示させることである。あるいは、スピーカなどから音声を出力したり、バイブレーションを動作させたりしてもよい。
ラベル提示部５７Ａは、例えば、ラベル編集ボタンの操作を操作受付部５５が受け付けたタイミングで、プライベートラベルをユーザに提示する。ラベル提示部５７Ａは、操作受付部５５から操作を受け付けたことを示す信号を取得した場合、付与ラベル記憶部５３を参照する。図１１の（Ａ）又は（Ｂ）に示されるように、付与ラベル記憶部５３は、ラベル編集部５６により付与されたプライベートラベルの付与日時の履歴を記憶している。つまり、ラベル提示部５７Ａは、付与ラベル記憶部５３を参照することにより、プライベートラベルの付与日時の履歴を取得することができる。そして、ラベル提示部５７Ａは、基準日時を取得する。基準日時とは、プライベートラベルの推定に用いられる日時である。例えば、ラベル提示部５７Ａは、リアルタイムクロックなどに基づいて現在日時を取得して、基準日時とする。そして、ラベル提示部５７Ａは、各プライベートラベルの付与日時と基準日時との関係から、ユーザの行動を予測し、プライベートラベルを提示する。
ラベル提示部５７Ａは、具体的な一例として、過去の所定期間（あるいは所定数）の履歴を参照し、付与日時と基準日時との差分を履歴ごとに算出し、差分の逆数を重みとした重み付け投票を行うことで、プライベートラベルを決定する。図１４は、プライベートラベルの選択処理を説明する表である。図１４においては、プライベートラベル「Ａ」は、付与日時「１９：３０」「１９：３０」「１９：４２」「１９：５３」「２０：０４」と関連付けられている。プライベートラベル「Ｂ」は、付与日時「２０：５１」「２０：５５」と関連付けられている。なお、図１４では、時刻に関する情報を記載しており、日付に関する情報は省略している。ここで、基準日時は「２１：０２」であるとする。ラベル提示部５７Ａは、履歴ごとに、付与日時と付与日時との差分を算出する。つまり、ラベル提示部５７Ａは、図１４に示される差分の欄を全て計算する。そして、ラベル提示部５７Ａは、差分に基づいて重みを算出し、重み付け投票を行う。図１４に示される例では、プライベートラベル「Ａ」の得票数が「０．０６５９７」、プライベートラベル「Ｂ」の得票数が「０．２３３７７」となる。所定期間の履歴に他のプライベートラベルが含まれる場合には、ラベル提示部５７Ａは、他のプライベートラベルについても、同一の手法で得票数を算出する。そして、ラベル提示部５７Ａは、最も投票数の多いプライベートラベルをユーザに提示する。図１４に示される例では、ラベル提示部５７Ａは、プライベートラベル「Ｂ」をユーザに提示する。あるいは、ラベル提示部５７Ａは、投票数の多い順にプライベートラベルを複数提示してもよい。端末装置５０Ａのその他の構成は、端末装置５０と同一である。
次に、プライベートラベルの提示方法を説明する。図１５は、プライベートラベルの提示方法を示すフローチャートである。図１５に示されるフローチャートは、例えば、ユーザによりラベル編集ボタンが選択されたときに実行される。
最初に、端末装置５０Ａのラベル提示部５７Ａは、履歴情報取得処理（Ｓ４４）として、付与ラベル記憶部５３を参照し、履歴情報を取得する。次に、端末装置５０Ａのラベル提示部５７Ａは、ラベル提示処理（Ｓ４６）として、例えば図１４を用いて説明された処理を実行し、プライベートラベルを決定する。そして、ラベル提示部５７Ａは、決定されたプライベートラベルをユーザに提示する。このとき、パブリックラベルを同時に提示してもよい。Ｓ４６の処理が終了すると、プライベートラベルの提示方法を終了する。
プライベートラベルの提示後は、パブリックラベルと同様に、ユーザによるラベルの正誤の判断がなされる。ラベル編集部５６は、ユーザ操作によって正しいラベルを付与したり、正しくないラベルを削除したりする。ラベル提示部５７Ａは、過去のラベル付け内容を考慮して、つまり、ユーザ操作による修正箇所を含めてプライベートラベルを提示してもよい。
以上、端末装置５０Ａがプライベートラベルをユーザの行動履歴に基づいて提示する場合を説明したが、端末装置５０Ａは、プライベートラベルを付随情報に基づいて提示してもよい。この場合、例えば、ラベル提示部５７Ａは、認識対象データの生成時に付与された付随情報に基づいて、プライベートラベルをユーザに提示する。また、端末装置５０Ａは、行動履歴及び付随情報の両方を利用してプライベートラベルをユーザに提示してもよい。
ラベル提示部５７Ａは、操作受付部５５から操作を受け付けたことを示す信号を取得した場合、付与ラベル記憶部５３を参照する。図１１の（Ａ）又は（Ｂ）に示されるように、付与ラベル記憶部５３は、認識対象データに関連付けられた付随情報を記憶している。つまり、ラベル提示部５７Ａは、付与ラベル記憶部５３を参照することにより、付随情報を取得することができる。そして、ラベル提示部５７Ａは、付随情報と過去に付与されたプライベートラベルとの関係から、プライベートラベルを提示する。
例えば、付随情報がパブリックラベルの信頼度を含んでいる場合、ラベル提示部５７Ａは、同一のパブリックラベルが付与された他の認識対象データを特定し、当該他の認識対象データに付与されたプライベートラベルを提示する。例えば、付随情報が撮影位置を含んでいる場合、ラベル提示部５７Ａは、同一又は近接する撮影位置で撮影された他の認識対象データを特定し、当該他の認識対象データに付与されたプライベートラベルを提示する。例えば、付随情報が撮影日時を含んでいる場合、ラベル提示部５７Ａは、同一又は同一期間の撮影日時で撮影された他の認識対象データを特定し、当該他の認識対象データに付与されたプライベートラベルをする。例えば、付随情報がカメラ情報を含んでいる場合、ラベル提示部５７Ａは、同一又は類似するカメラ情報で撮影された他の認識対象データを特定し、当該他の認識対象データに付与されたプライベートラベルを提示する。例えば、付随情報が顔認識結果を含んでいる場合、ラベル提示部５７Ａは、同一の顔認識結果の他の認識対象データを特定し、当該他の認識対象データに付与されたプライベートラベルを提示する。
ラベル提示部５７Ａは、認識対象データの付随情報として、複数の種類の情報が存在する場合には、総合的に勘案して、提示されるプライベートラベルを決定する。例えば、ラベル提示部５７Ａは、提示されるプライベートラベルを重み付け投票により決定すればよい。
あるいは、ラベル提示部５７Ａは、付随情報と過去に付与されたプライベートラベルとの関係を用いること無く、付随情報と想定状況との予め定められた関係を用いて、提示されるプライベートラベルを決定してもよい。付随情報と想定状況との予め定められた関係は、処理実行前に例えばデータベースなどに予め記憶される。このような関係は、一般則や経験則によって導き出されてもよい。このような付随情報と想定状況との予め定められた関係について、カメラ情報を例に説明する。例えば、カメラ情報である焦点距離が短い場合、静物、ポートレートを撮影した可能性が高い。あるいは、カメラ情報である焦点距離が長い場合、風景を撮影した可能性が高い。あるいは、カメラ情報のアスペクト比が所定値以上の場合、パノラマ撮影した可能性が高い。このように、ラベル提示部５７Ａは、付随情報と想定状況との予め定められた関係に基づいてプライベートラベルを提示してもよい。
次に、プライベートラベルの提示方法を説明する。図１６は、プライベートラベルの提示方法を示すフローチャートである。図１６に示されるフローチャートは、例えば、ユーザによりラベル編集ボタンが選択されたときに実行される。
最初に、端末装置５０Ａのラベル提示部５７Ａは、付随情報取得処理（Ｓ４８）として、付与ラベル記憶部５３を参照し、付随情報を取得する。次に、端末装置５０Ａのラベル提示部５７Ａは、ラベル提示処理（Ｓ５０）として、付随情報を用いてプライベートラベルを決定する。そして、ラベル提示部５７Ａは、決定されたプライベートラベルをユーザに提示する。Ｓ５０の処理が終了すると、プライベートラベルの提示方法を終了する。
以上、第３実施形態に係る端末装置５０Ａは、ユーザの行動に応じてユーザに対してプライベートラベルを提示することができる。また、第３実施形態に係る端末装置５０Ａは、認識対象データの生成時の状況に応じてユーザに対してプライベートラベルを提示することができる。このため、ユーザのラベル付与の労力を軽減させることができる。
［第４実施形態］
第４実施形態に係る端末装置５０Ｂは、第２実施形態に係る端末装置５０と比べて、操作受付部５５Ｂ、画像決定部（決定部）５９、コメント解析部（解析部）６０及びラベル提示部５７Ｂを備えている点で相違し、その他は同一である。第４実施形態に係る端末装置５０Ｂは、ユーザが認識対象データを共有するときに生成されたコメントを用いて、プライベートラベルをユーザに提示することで、ユーザのラベル付与の労力を軽減させる追加機能を有する。
図１７は、第４実施形態に係る端末装置５０Ｂの機能ブロック図である。端末装置５０Ｂは、データ取得部５１、認識部５２、付与ラベル記憶部５３、フィードバック部５４、操作受付部５５Ｂ、ラベル編集部５６、画像決定部５９、コメント解析部６０及びラベル提示部５７Ｂを備える。端末装置５０Ｂのハードウェアは、端末装置１０と同一である。
操作受付部５５Ｂは、コメントを付して認識対象データを他人と共有するユーザ操作を受け付ける。例えば、操作受付部５５Ｂは、インターネットを介して他人と画像データを共有する際に付されるコメントの操作を受け付ける。つまり、コメントが付された認識対象データとは、データベースでコメントと認識対象データとが関連付けられている必要はなく、同一期間にアップロードされたコメント及び認識対象データであればよい。
画像決定部５９は、認識対象データを他人と共有するユーザ操作に基づいて、認識対象データを決定する。続いて、コメント解析部６０は、画像決定部５９により特定された認識対象データに付されたコメントの内容を解析する。コメント解析部６０は、周知の言語機能を用いてコメントの内容を解析する。コメント解析部６０は、文章から単語を抽出し、解析結果として出力する。ラベル提示部５７Ｂは、コメント解析部６０の解析結果に基づいて、プライベートラベルをユーザに提示する。具体的には、ラベル提示部５７Ｂは、抽出された単語に関係する季節や行事を推定してプライベートラベルをユーザに提示する。あるいは、ラベル提示部５７Ｂは、付与ラベル記憶部５３を参照し、抽出された単語に関係する季節や行事と、過去に付与されたプライベートラベルとの関係に基づいて、プライベートラベルをユーザに提示してもよい。端末装置５０Ｂのその他の構成は、端末装置５０と同一である。
次に、プライベートラベルの提示方法を説明する。図１８は、プライベートラベルの提示方法を示すフローチャートである。図１８に示されるフローチャートは、例えば、ユーザによりデータの共有ボタンが選択されたときに実行される。
最初に、端末装置５０Ｂの画像決定部５９は、画像決定処理（Ｓ５２）として、認識対象データを他人と共有するユーザ操作に基づいて、認識対象データを決定する。次に、端末装置５０Ｂのコメント解析部６０は、コメント解析処理（Ｓ５４）として、画像決定処理で特定された認識対象データに付されたコメントの内容を解析する。次に、端末装置５０Ｂのラベル提示部５７Ｂは、ラベル提示処理（Ｓ５６）として、コメント解析部６０の解析結果に基づいて、プライベートラベルをユーザに提示する。Ｓ５６の処理が終了すると、プライベートラベルの提示方法を終了する。
以上、第４実施形態に係る端末装置５０Ｂは、ユーザにより付与されたコメントに応じてユーザに対してプライベートラベルを提示することができる。このため、簡易な構成で比較的確度の高いラベルを提示することができる。
［第５実施形態］
第５実施形態に係る端末装置５０Ｃは、第２実施形態に係る端末装置５０と比べて、リスト出力部６２、代表ラベル取得部（関係取得部）６３及び修正推奨部６４を備えている点で相違し、その他は同一である。第５実施形態に係る端末装置５０Ｃは、プライベートラベルの表記ゆれ、誤記、発散などを指摘することにより、既に付与したプライベートラベルをより整理し易くさせる追加機能を有する。また、第５実施形態に係る学習システム１００Ａは、第１実施形態に係る学習システムと比べて言語サーバ８０を備える点が相違し、その他は同一である。
図１９は、第５実施形態に係る学習システム１００Ａ及び端末装置５０Ｃの機能ブロック図である。端末装置５０Ｃは、データ取得部５１（不図示）、認識部５２（不図示）、付与ラベル記憶部５３、フィードバック部５４（不図示）、操作受付部５５（不図示）、ラベル編集部５６（不図示）、リスト出力部６２、代表ラベル取得部６３及び修正推奨部６４を備える。端末装置５０Ｃのハードウェアは、端末装置１０と同一である。学習システム１００Ａは、教師データ作成装置３０（不図示）、学習装置４０（不図示）及び言語サーバ８０を備える。言語サーバ８０のハードウェアは、端末装置１０と同一である。端末装置５０Ｃは、言語サーバ８０と通信可能に構成されている。
まず、端末装置５０Ｃの構成の詳細について説明する。リスト出力部６２は、付与されたプライベートラベルのリストを言語サーバ８０へ出力する。具体的には、リスト出力部６２は、付与ラベル記憶部５３を参照し、所定範囲（所定数）のプライベートラベルについてリスト化して言語サーバ８０へ出力する。このリストは、例えば図１１の（Ａ）又は（Ｂ）に示されるデータのうち、プライベートラベルのテキスト情報だけでよい。もちろん、リストは、プライベートラベルのテキスト情報以外の情報を含んでもよい。具体的な一例として、リスト出力部６２は、プライベートラベルである「サクラ」「サグラ」「花見」「お花見」「ハナミ」を含むリストを出力する。
代表ラベル取得部６３は、言語サーバ８０から代表ラベルと付与されたプライベートラベルとの関係を取得する。代表ラベルとは、類似するプライベートラベルを集約したラベル、あるいは、表記ゆれや誤記などを訂正したラベルである。具体的な一例として、代表ラベル取得部６３は、プライベートラベルの情報「花見」「お花見」「ハナミ」に対して関連付けられた代表ラベル「お花見」を取得する。あるいは、代表ラベル取得部６３は、プライベートラベルの情報「サクラ」「サグラ」に対して関連付けられた代表ラベル「サクラ」を取得する。
修正推奨部６４は、代表ラベル取得部６３により取得された関係に基づいて、プライベートラベルを代表ラベルへ修正することをユーザに推奨する。例えば、修正推奨部６４は、付与されたプライベートラベルと代表ラベルとをディスプレイ装置に表示させ、修正すべきことをユーザに促す。なお、推奨の表示は上記に限定されない。また、ディスプレイ装置以外の装置、例えば、スピーカなどを用いて音声情報によってユーザに促してもよい。
次に、言語サーバ８０の構成の詳細について説明する。言語サーバ８０は、リスト取得部８１、集約部８２、代表ラベル選択部８３、代表ラベル記憶部８４及び代表ラベル出力部８５を備える。
リスト取得部８１は、１又は複数の端末装置５０Ｃからリストを取得する。リストは、上述したとおり、プライベートラベルのテキスト情報を含む。集約部８２は、リスト取得部８１により取得されたリストに基づいて、プライベートラベルをグループに集約する。集約部８２は、意味の類似性、音の類似性などに基づいて、リストのプライベートラベルをグループ化する。具体的な一例として、リストは、プライベートラベルである「サクラ」「サグラ」「花見」「お花見」「ハナミ」を含むとする。この場合、「サクラ」「サグラ」を１つのグループとして集約する。また、「花見」「お花見」「ハナミ」を１つのグループとして集約する。
代表ラベル選択部８３は、集約部８２により集約されたグループに対して代表ラベルを選択する。代表ラベル選択部８３は、類似するプライベートラベルが集約されたグループに対しては、インターネットの検索エンジンなどを用いて最も検索件数が多い言葉を代表ラベルに選択する。代表ラベル選択部８３は、表記ゆれや誤記が含まれる場合には、辞書データベースなどを活用して正しいあるいは適切な言葉を代表ラベルに選択する。具体的な一例としては、代表ラベル選択部８３は、「サクラ」「サグラ」が集約されたグループについては、誤記を修正した「サクラ」を代表ラベルとして選択する。また、代表ラベル選択部８３は、「花見」「お花見」「ハナミ」が集約されたグループについては、検索結果が最も多い「お花見」を代表ラベルとして選択する。
代表ラベル選択部８３は、選択した代表ラベルを代表ラベル記憶部８４に記憶してもよい。代表ラベル選択部８３は、代表ラベル記憶部８４を参照し、代表ラベルの選択履歴に基づいて、選択した代表ラベルと過去の代表ラベルとを比較してもよい。このように構成することで、代表ラベル選択部８３が選択する代表ラベルを安定化させることができる。
代表ラベル出力部８５は、代表ラベル選択部８３の選択結果に基づいて、代表ラベルと付与されたプライベートラベルとの関係を端末装置５０Ｃへ出力する。
次に、プライベートラベルの修正推奨方法を説明する。図２０は、プライベートラベルの修正推奨方法を示すフローチャートである。図２０に示されるフローチャートは、所定のタイミングで実行され得る。
最初に、端末装置５０Ｃのリスト出力部６２は、リスト出力処理（Ｓ７０）として、付与されたプライベートラベルのリストを言語サーバ８０へ出力する。次に、言語サーバ８０のリスト取得部８１は、リスト取得処理（Ｓ７２）として、リストを取得する。
次に、言語サーバ８０の集約部８２は、集約処理（Ｓ７４）として、リスト取得部８１により取得されたリストに基づいて、プライベートラベルをグループに集約する。そして、言語サーバ８０の代表ラベル選択部８３は、代表ラベル選択処理（Ｓ７６）として、集約部８２により集約されたグループに対して代表ラベルを選択する。そして、言語サーバ８０の代表ラベル出力部８５は、代表ラベル出力処理（Ｓ７７）として、代表ラベル選択部８３の選択結果に基づいて、代表ラベルと付与されたプライベートラベルとの関係を端末装置５０Ｃへ出力する。
次に、端末装置５０Ｃの代表ラベル取得部６３は、代表ラベル取得処理（Ｓ７８）として、言語サーバ８０から代表ラベルと付与されたプライベートラベルとの関係を取得する。次に、端末装置５０Ｃの修正推奨部６４は、推奨処理（Ｓ８０）として、代表ラベル取得部６３により取得された関係に基づいて、プライベートラベルを代表ラベルへ修正することをユーザに推奨する。Ｓ８０の処理が終了すると、プライベートラベルの修正推奨方法を終了する。
以上、第５実施形態に係る学習システム１００Ａ及び端末装置５０Ｃは、プライベートラベルを整理することをユーザに促すことができる。このため、既に付与したプライベートラベルを整理させることができる。
［第６実施形態］
第６実施形態に係る学習システム１００Ｂは、第１実施形態に係る学習システム１００と比べて、閾値設定部４４（閾値変更装置の一例）を備える点が相違し、その他は同一である。以下では、学習システム１００Ｂと学習システム１００との相違点を中心に説明し、重複する説明は省略する。
第１実施形態に係る学習システム１００では、学習装置４０により学習された重み係数が端末装置１０へ配信される。端末装置１０は、配信された重み係数を用いて認識部１１を動作させる。認識部１１は、配信された重み係数を用いてニューラルネットワークを更新する。そして、認識部１１は、認識対象データを取得し、ニューラルネットワークによって認識対象データの内容が所定ラベルに合致する度合いを示す認識スコアを出力する。認識部１１は、所定値以上の認識スコアに対応するラベルを認識対象データに付与する。具体的には、認識部１１は、認識スコアと認識スコアに対して予め設定された閾値とを用いて認識対象データの内容が所定ラベルに合致するか否かを示す認識結果を出力する。つまり、所定値は、認識スコアを判定するための閾値であり、認識スコアに対して予め設定されている。予め設定されているとは、認識部１１が認識処理をする前に閾値が定められていることをいう。なお、第１実施形態において、閾値（所定値）は、予め初期設定時に設定されてもよいし、学習中又は学習終了後において評価データを用いて評価することにより、算出されてもよい。
第６実施形態に係る学習システム１００Ｂにおいては、評価データを用いて閾値が決定される。つまり、閾値は、学習中又は学習終了後において評価データを用いて学習用認識部４２又は認識部１１を評価することにより、算出される。
評価データは、教師データとは重なりのないデータであって、入力データ及び所定ラベルについての正解評価を含む。正解評価は、入力データに関連付けられ、入力データの内容が所定ラベルに合致する正評価であるか入力データの内容が所定ラベルに合致しない負評価であるかを示す。なお、正解評価には、「正評価」「負評価」だけでなく、「無視評価」が含まれていてもよい。ただし、「無視評価」が付与された評価データは、閾値を決定するために利用されない。
学習システム１００Ｂは、学習中あるいは学習済みのニューラルネットワークに対して評価データを入力させ、出力された認識スコアを用いて学習用認識部４２又は認識部１１の出力に対する閾値を設定する。図２２は、認識スコアの閾値を説明するグラフである。図２２の（Ａ），（Ｂ）に示されるグラフは、所定のラベルに関して「正評価」又は「負評価」が付与された評価データを、学習用認識部４２又は認識部１１に認識させた結果である。横軸は認識スコア、縦軸は度数である。認識スコアは、認識の確からしさを表すスコアである。度数は評価データの数である。上述のとおり、学習用認識部４２又は認識部１１が認識対象データに対して認識スコアを出力する場合には、認識スコアから正評価又は負評価を判断するための閾値ｔｉが必要になる。図２２の（Ａ）、（Ｂ）に示されるように、評価データを用いて評価した結果、正評価のデータの分布と負評価のデータの分布とを得ることができる。学習システム１００Ｂは、一般的な統計学に基づいて、これらの分布を区別する認識スコアを閾値ｔｉとして設定する。一般的な統計学を用いて閾値を設定する手法としては、例えば、再現率（recall）と適合率（precision）との調和平均であるＦ−尺度（f-measure）を用いて設定される。閾値ｔｉの設定の詳細については後述する。図２２の（Ａ）に示される例では、一般的な統計学を用いて評価スコアに対して閾値ｔｉが設定され、図２２の（Ｂ）に示される例では、一般的な統計学を用いて評価スコアに対して閾値ｔｉが設定されている。
上述した閾値ｔｉの設定処理を行う学習システム１００Ｂの具体的な機能について説明する。図２３は、第６実施形態に係る学習システム及び端末装置の機能ブロック図である。図２３に示される学習システム１００Ｂは、学習結果とともに閾値ｔｉを端末装置１０Ｂへ配信する。学習システム１００Ｂは、第１実施形態に係る学習システム１００と比べて学習装置４０Ｂが相違し、その他は同一である。
学習装置４０Ｂは、第１実施形態に係る学習装置４０と比べて、閾値設定部４４を備える点が相違し、その他は同一である。閾値設定部４４は、評価データ取得部４４１、端末データ取得部４４２、認識スコア取得部４４３、算出部４４４及び変更部４４５を備える。
評価データ取得部４４１は、評価データを取得する。評価データは、例えば、学習装置４０Ｂの記憶部に格納されている。評価データは、所定ラベル（以下ではラベルｉを所定ラベルとする）についての正解評価を含む。より具体的には、評価データは、正解ラベルが付与された画像データ（入力データ）の集合（データセット）である。以下では、評価データに含まれるラベルｉの正評価のデータの集合をＧｉ＋、評価データに含まれるラベルｉの負評価のデータの集合をＧｉ−として説明する。また、集合Ｘに含まれる画像データ数を＃（Ｘ）として説明する。
端末データ取得部４４２は、端末装置１０Ｂに関連付けられたデータの、ラベルｉに関する正評価及び負評価の比ｒｉ，ａを取得する。端末装置１０Ｂは、第１実施形態に係る端末装置１０と同一である。端末装置１０Ｂに関連付けられたデータとは、端末装置１０Ｂに関係した認識対象データであって、認識済みのデータである。具体的には、端末装置１０Ｂに関連付けられたデータは、端末装置１０Ｂに記憶された認識済みの画像データの集合、又は、外部記録媒体に記憶され、端末装置１０Ｂの端末ＩＤやユーザＩＤなどと関連付けられた、認識済みの画像データの集合などである。より具体的な一例としては、端末装置１０Ｂに記憶された画像のアルバムなどである。
ラベルｉに関する正評価及び負評価の比ｒｉ，ａとは、認識済みのデータのうち、正評価のデータ数及び負評価のデータ数の比であり、正評価のデータと負評価のデータとの存在比である。以下では、端末装置１０Ｂに関連付けられた認識済みのデータのうち、正評価のデータの集合をＧ’ｉ＋、負評価のデータの集合をＧ’ｉ−として説明する。つまり、比ｒｉ，ａは、正評価のデータ数を負評価のデータ数で除した値＃（Ｇ’ｉ＋）／＃（Ｇ’ｉ−）である。例えば、正評価のデータ数＃（Ｇ’ｉ＋）が１０個、負評価のデータ数＃（Ｇ’ｉ−）が２０個の場合、正評価及び負評価の比ｒｉ，ａは０．５となる。
端末データ取得部４４２は、種々の手法を用いてラベルｉに関する正評価及び負評価の比ｒｉ，ａを取得することができる。一例として、端末データ取得部４４２は、端末装置１０Ｂのニューラルネットワークの認識結果に基づいて比ｒｉ，ａを取得する。例えば、端末装置１０Ｂの認識部１１により、アルバムに含まれる画像データが認識されている場合には、端末データ取得部４４２は、認識部１１の認識結果に基づいて比ｒｉ，ａを取得することができる。あるいは、端末データ取得部４４２は、端末装置１０Ｂのユーザによるアノテーションの結果に基づいて比ｒｉ，ａを取得してもよい。具体的には、ユーザ操作によってアルバムに含まれる画像データにラベルが付与されている場合には、端末データ取得部４４２は、アノテーションの結果に基づいて比ｒｉ，ａを取得することができる。
あるいは、端末データ取得部４４２は、端末装置１０Ｂのユーザの操作又は端末情報に基づいて比ｒｉ，ａを取得することができる。具体的な一例として、端末データ取得部４４２は、ラベルｉに関するユーザ入力（ユーザの操作）に基づいて、比ｒｉ，ａを推定する。例えば、端末データ取得部４４２は、ラベルｉについての興味の度合いを示す関心度をユーザに問い合わせし、問い合わせに対するユーザ入力に基づいて比ｒｉ，ａを推定する。あるいは、端末データ取得部４４２は、ユーザに比ｒｉ，ａを直接的に問い合わせしてもよい。あるいは、端末データ取得部４４２は、端末装置１０Ｂの端末情報に基づいて比ｒｉ，ａを推定してもよい。端末情報とは、端末装置１０Ｂに記憶された情報であり、地域データなどである。例えば、端末データ取得部４４２は、予め記憶された地域とラベルｉとの相関と、取得された地域データとに基づいて、比ｒｉ，ａを推定する。
認識スコア取得部４４３は、ニューラルネットワーク（認識部１１）又はニューラルネットワークの重み係数と同一の重み係数を有するニューラルネットワーク（学習用認識部４２）から、入力データに関する所定ラベルの認識スコアを取得する。学習用認識部４２の重み係数と認識部１１の重み係数とは同期しているため、認識スコア取得部４４３は、どちらのニューラルネットワークを用いてもよい。認識スコア取得部４４３は、評価データ取得部４４１により取得された評価データを、学習用認識部４２又は認識部１１に読み込ませることで、入力データに関する所定ラベルの認識スコアを取得する。
算出部４４４は、認識スコア取得部４４３により取得された認識スコアを用いて、学習用認識部４２又は認識部１１を評価する。以下では、算出部４４４は、学習用認識部４２のニューラルネットワークを評価するものとする。例えば、学習用認識部４２は、評価データに含まれる各画像データに対応して認識スコアｐｉ（ラベルｉについての確からしさの度合い（一例として確率））を出力し、予め設定された閾値ｔｉと比較することにより、「正評価」（ｐｉ＞＝ｔｉ）又は「負評価」（ｐｉ＜ｔｉ）の何れかを認識結果として出力する。学習用認識部４２は、認識結果と正解評価とを比較することにより評価される。より具体的な一例としては、学習用認識部４２は、正解評価が正評価の入力データが正評価として認識されたデータ数（true positive）、正解評価が負評価の入力データが負評価として認識されたデータ数（true negative）、正解評価が正評価の入力データが負評価として認識されたデータ数（false negative）、正解評価が負評価の入力データが正評価として認識されたデータ数（false positive）などを用いて評価される。
算出部４４４は、少なくとも適合率を用いて評価を行う。適合率とは、学習用認識部４２により「正評価」と認識されたデータのうち正解が「正評価」であるデータ数を、「正評価」と認識したデータ数で除して得られた値である。以下では、ラベルｉに関して、認識結果が「正評価」であるデータの集合をＰｉ＋、認識結果が「負評価」であるデータの集合をＰｉ−とする。この場合、評価に用いたデータ数は＃（Ｐｉ＋）＋＃（Ｐｉ−）と表すことができる。上述したラベルｉについての「true positive」「true negative」「false negative」「false positive」のデータ数を、以下のように表現することができる。なお、Ｇｉ＋は、評価データに含まれるラベルｉの正評価のデータの集合、Ｇｉ−は、評価データに含まれるラベルｉの負評価のデータの集合である。
Figure 0006453968
上記の定義により、適合率は、以下のように表現される。
Figure 0006453968
なお、算出部４４４は、再現率をさらに用いて評価を行ってもよい。再現率とは、正解が「正評価」であるデータのうち学習用認識部４２により「正評価」と認識されたデータ数を、評価データのうち「正評価」のデータ数で除して得られた値である。具体的には、以下のように表現される。
Figure 0006453968
算出部４４４は、適合率及び再現率を用いる場合、再現率及び適合率の調和平均（f-measure）を算出して、評価値とする。f-measureは、再現率及び適合率の均等に着目した指標である。
Figure 0006453968
上述した評価値は、評価データにおける正評価及び負評価のデータ分布により影響を与えられる。つまり、評価データに正評価及び負評価の比の偏りが存在する場合、算出された評価値は評価データの偏りを反映させた値となる。このため、評価データのデータ分布と、ユーザが実際に使用する環境（端末装置１０Ｂのデータ分布）との差異は、理想的には小さい方が好ましい。このため、算出部４４４は、上述した差異が小さくなるようにデータ数を補正し、補正したデータ数を用いて適合率を算出する機能を有する。特に、評価データに「無視評価」が含まれている場合には、上述した差異が顕著になるおそれがある。図２４は、評価データにおけるデータの偏りを説明する図である。図２４の（Ａ）に示される分布は、「正評価」及び「負評価」の真の分布（端末装置１０Ｂにおける分布）である。図２４の（Ｂ）に示される分布は、ラベルｉについて、アノテータが「正評価」のタグ付けを全ての評価データを対象として行い、その後、「負評価」のタグ付けを一部の評価データを対象として行い、残りの評価データについては「無視評価」とした場合の分布である。この場合、本来であれば「負評価」とされるべきデータが「無視評価」のデータになってしまうため、評価データのデータ分布がユーザ環境のデータ分布と大きく乖離するおそれがある。
このため、算出部４４４は、端末装置１０Ｂにおける比ｒｉ，ａと同じ存在比率となるように評価データを補正し、評価を行う。理想的なデータによる評価値は、以下のように表現される。なお、上述のとおり、端末装置１０Ｂに関連付けられた認識済みのデータのうち正評価のデータの集合をＧ’ｉ＋、負評価のデータの集合をＧ’ｉ−としている。また、端末装置１０Ｂに関連付けられた認識済みのデータのうち、認識結果が「正評価」であるデータの集合をＰ’ｉ＋、認識結果が「負評価」であるデータの集合をＰ’ｉ−とする。
Figure 0006453968
ここで、上述のとおり、「正評価」と「負評価」との比率が変更された場合（ランダムに「負評価」のデータが「無視評価」とされた場合）、適合率に含まれる「false positive」数（具体的には＃（Ｇ’ｉ−∩ Ｐ’ｉ+））が変動する。このため、算出部４４４は、「false positive」数の変動の影響を小さくする補正をおこなう。具体的には、算出部４４４は、以下のように補正する。
Figure 0006453968
ここで、ｒｉ，ｔｅｓｔは、評価データにおける「正評価」及び「負評価」の比である。このように、算出部４４４は、「false positive」数を、評価データにおける「正評価」及び「負評価」の比ｒｉ，ｔｅｓｔと、端末装置１０Ｂにおける「正評価」及び「負評価」の比ｒｉ，ａとを用いて補正することにより、補正「false positive」数を得る。つまり、算出部４４４は、以下の式１３で適合率を算出する。
Figure 0006453968
変更部４４５は、算出部４４４により算出された適合率を用いて閾値ｔｉを変更する。例えば、適合率が最も高くなる認識スコアを閾値ｔｉとしてもよい。あるいは、変更部４４５は、閾値ｔｉを再現率及び適合率の調和平均が最大となる認識スコアへ変更してもよい。
学習システム１００Ｂの他の構成及び端末装置１０Ｂは、学習システム１００及び端末装置１０と同一である。上述のとおり、変更された閾値ｔｉは、端末装置１０Ｂへ配信される。
次に、学習システム１００Ｂによる閾値変更処理を説明する。図２５は、閾値変更処理を示すフローチャートである。図２５に示されるフローチャートは、例えば学習中の所定タイミングで実行される。
図２５に示されるように、閾値設定部４４の評価データ取得部４４１は、評価データ取得処理（Ｓ９０）として、評価データを取得する。評価データ取得部４４１は、例えば、ラベルｉに関する「正評価」「負評価」「無視評価」の何れかが正解評価として付与された画像データのデータセットを取得する。
次に、閾値設定部４４の端末データ取得部４４２は、端末データ取得処理（Ｓ９２）として、端末データを取得する。端末データ取得部４４２は、例えば、端末装置１０Ｂに関連付けられたデータの、ラベルｉに関する正評価及び負評価の比ｒｉ，ａを取得する。
次に、閾値設定部４４の認識スコア取得部４４３は、認識スコア取得処理（Ｓ９４）として、認識スコアを取得する。認識スコア取得部４４３は、評価データ取得処理（Ｓ９０）にて取得された評価データを、学習用認識部４２に読み込ませることで、入力データに関する所定ラベルの認識スコアを取得する。
次に、閾値設定部４４の算出部４４４は、算出処理（Ｓ９６）として、適合率を算出する。算出部４４４は、上述した式１３を用いて適合率を算出する。具体的には、算出部４４４は、認識スコア取得処理（Ｓ９４）にて取得された認識スコアに基づいて「true positive」と「false positive」とを算出する。そして、算出部４４４は、評価データにおける「正評価」及び「負評価」の比ｒｉ，ｔｅｓｔと、端末データ取得処理（Ｓ９２）にて取得された比ｒｉ，ａとに基づいて「false positive」を補正する。そして、算出部４４４は、「true positive」と補正「false positive」とを用いて、適合率を算出する（式１３）。
次に、閾値設定部４４の変更部４４５は、変更処理（Ｓ９８）として、閾値ｔｉを変更する。変更部４４５は、算出処理（Ｓ９６）にて算出された適合率を用いて閾値ｔｉを変更する。変更処理（Ｓ９８）が終了すると、図２５に示されるフローチャートが終了する。
以上、第６実施形態に係る閾値設定部４４によれば、負評価の入力データを正評価として認識したデータ数が、評価データの正評価及び負評価の比ｒｉ，ｔｅｓｔ、及び、端末装置１０Ｂに関連付けられたデータの正評価及び負評価の比ｒｉ，ａを用いて補正される。そして、補正後のデータ数を用いて算出されたラベルｉに関する適合率に基づいて、端末装置１０Ｂによって行われる認識の際に用いられる閾値ｔｉが変更される。このように、ラベルｉに関する適合率を算出する際に、評価データにおける正負のデータの分布と端末装置１０Ｂにおける正負のデータの分布とを考慮して、負評価の入力データを正評価として認識したデータ数が補正される。図２２の（Ｃ）は、評価データにおける正負のデータの分布が変動した場合を示している。例えば、「負評価」の一部が「無視評価」に変更された場合、「正評価」及び「負評価」のデータ分布が変更され（図中の実線から破線へ変更）、これに伴い、閾値ｔｉが第１閾値ｔｉ１から第２閾値ｔｉ２へ変更されるおそれがある。このため、閾値設定部４４は、「false positive」数を補正することで、擬似的に比ｒｉ，ｔｅｓｔと比ｒｉ，ａとが等しくすることができる。これにより、端末装置１０Ｂに合わせて適切に閾値ｔｉを変更することができる。
［第７実施形態］
第７実施形態に係る端末装置１０Ｃは、第６実施形態に係る端末装置１０Ｂ（あるいは第１実施形態に係る端末装置１０）と比べて、閾値設定部４４Ｃ（閾値変更装置の一例）を備える点が相違し、その他は同一である。以下では、端末装置１０Ｃと端末装置１０Ｂ（あるいは端末装置１０）との相違点を中心に説明し、重複する説明は省略する。
第６実施形態において説明された閾値ｔｉの変更処理は、ある程度の数を持った評価データを用いる必要がある。このため、端末装置１０Ｂで処理した場合、時間がかかるおそれがある。第７実施形態に係る端末装置１０Ｃは、端末装置１０Ｃに関連付けられたデータの正評価及び負評価の比ｒｉ，ａと閾値ｔｉとの関係性を予め記憶しておき、端末装置１０Ｃの環境変化に応じて適切に閾値ｔｉを変更することを実現する。
図２６は、第７実施形態に係る端末装置１０Ｃの機能ブロック図である。図２６に示されるように、端末装置１０Ｃは、端末データ取得部４４６、変更部４４７及び記憶部４４８を備える。
端末データ取得部４４６は、第６実施形態に係る端末データ取得部４４２と同一の機能を有する。記憶部４４８は、端末装置１０Ｃに関連付けられたデータの正評価及び負評価の比ｒｉ，ａと閾値ｔｉとの関係性を記憶する。例えば、記憶部４４８は、比ｒｉ，ａを変数とする閾値ｔｉの関数を記憶する。あるいは、比ｒｉ，ａが０．１のときの閾値ｔｉ（０．１）、比ｒｉ，ａが０．２のときの閾値ｔｉ（０．２）、比ｒｉ，ａが０．３のときの閾値ｔｉ（０．３）など、複数の比ｒｉ，ａに対する閾値ｔｉを離散的に記憶する。
変更部４４７は、記憶部４４８に記憶された関係性、及び、端末データ取得部４４６により取得された比ｒｉ，ａを用いて閾値ｔｉを変更する。例えば、変更部４４７は、記憶部４４８に記憶された比ｒｉ，ａを変数とする閾値ｔｉの関数と、端末データ取得部４４６により取得された比ｒｉ，ａとを用いて、変更後の閾値ｔｉを取得する。あるいは、変更部４４７は、離散的に記憶部４４８に記憶された閾値ｔｉと端末データ取得部４４６により取得された比ｒｉ，ａとを用いて、補間により変更後の閾値ｔｉを取得する。例えば、０．１ごとの比ｒｉ，ａに対する閾値ｔｉが記憶部４４８に記憶されている場合において、端末データ取得部４４６により取得された比ｒｉ，ａが０．１５の場合には、変更部４４７は、（ｔｉ（０．１）＋ｔｉ（０．２））／２を変更後の閾値ｔｉとする（線形補間）。変更部４４７は、現在の閾値を変更後の閾値ｔｉに置き換える。端末装置１０Ｃのその他の構成は、端末装置１０Ｂと同一である。
次に、閾値変更処理について説明する。図２７は、閾値変更処理を示すフローチャートである。図２７に示されるフローチャートは、例えばユーザ操作により閾値変更処理の開始ボタンが選択された場合に実行される。
図２７に示されるように、端末装置１０Ｃの端末データ取得部４４６は、端末データ取得処理（Ｓ１００）として、端末データを取得する。端末データ取得部４４６は、例えば、端末装置１０Ｃに関連付けられたデータの、ラベルｉに関する正評価及び負評価の比ｒｉ，ａを取得する。
次に、端末装置１０Ｃの変更部４４７は、閾値取得処理（Ｓ１０２）として、変更後の閾値ｔｉを取得する。変更部４４７は、例えば、記憶部４４８に記憶された比ｒｉ，ａと閾値ｔｉとの関係性と、端末データ取得処理（Ｓ１００）にて取得された比ｒｉ，ａとに基づいて、変更後の閾値ｔｉを取得する。
次に、端末装置１０Ｃの変更部４４７は、閾値変更処理（Ｓ１０４）として、閾値ｔｉを変更する。変更部４４７は、現在の閾値ｔｉを閾値取得処理（Ｓ１０２）にて取得された変更後の閾値ｔｉに置き換える。変更処理（Ｓ１０４）が終了すると、図２７に示されるフローチャートが終了する。
以上、第７実施形態に係る閾値設定部４４Ｃによれば、予め記憶された比ｒｉ，ａと閾値ｔｉとの関係性と、端末データ取得部４４６により取得された比ｒｉ，ａとを用いて閾値ｔｉが変更される。このように、予め記憶された比ｒｉ，ａと閾値ｔｉとの関係性を用いることで、閾値変更のための演算負荷を軽減することができる。また、端末装置に関連付けられたデータの正評価及び負評価の比ｒｉ，ａは、端末装置ごとに異なる。第７実施形態に係る閾値設定部４４Ｃによれば、端末装置１０Ｃの使用環境に応じて最適な閾値ｔｉに変更することができる。
なお、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
例えば、プライベートラベルを階層化してもよい。図２１は、プライベートラベルの階層化構造を示す図である。図２１に示されるように、階層化されたプライベートラベルは、ラベルを分類する「カテゴリ」の項目を有する。図２１の例では、ラベル「Ａ」「Ｂ」「Ｃ」はカテゴリ「人名」、ラベル「Ｄ」「Ｅ」はカテゴリ「地名」、ラベル「Ｆ」はカテゴリ「時間」、ラベル「Ｇ」はカテゴリ「その他」に分類されている。このように階層化することによって、例えばユーザは目的のラベルを見つけやすくなり、端末装置は、カテゴリ単位で候補を推定した後にプライベートラベルを選定することにより、効率良くプライベートラベルをユーザに提示することができる。
また、上述した第２実施形態〜第４実施形態にかかる端末装置では、プライベートラベルを出力する例を説明したが、端末装置側でプライベートラベルを自動的に付与してもよい。また、プライベートラベルが所定条件を満たした場合、パブリックラベルへ昇格させる構成としてもよい。例えば、一定数以上のユーザが同一のプライベートラベルを利用している場合には、当該プライベートラベルをパブリックラベルへ変更してもよい。あるいは、同一のパブリックラベルに付与されたプライベートラベルを学習システムが集計し、利用状況に応じて当該プライベートラベルをパブリックラベルに置き換えてもよい。
上述した第６実施形態に係る学習システム１００Ｂは、正評価及び負評価だけでなく無視評価を用いることができる学習システムとして説明したが、必ずしも無視評価を用いる必要はない。つまり、正評価及び負評価だけで判断する従来の学習システムに、第６実施形態で説明された閾値設定部４４を適用してもよい。この場合であっても、端末装置に合わせて適切に閾値を変更することができる。
上述した第６実施形態に係る閾値設定部４４は、学習装置４０Ｂではなく端末装置１０Ｂに備わっていてもよい。また、図２５に示された端末データ取得処理（Ｓ９２）は、評価データ取得処理（Ｓ９０）と認識スコア取得処理（Ｓ９４）との間に実行する場合に限定されず、算出処理（Ｓ９６）の前に実行されていればよい。
上述した第２実施形態から第７実施形態に係る装置は、その機能をプログラムにより発揮してもよい。第２実施形態から第７実施形態の別の形態は、これら装置の動作に対応する方法、当該装置の機能を有するプログラム、又は当該プログラムを記憶した記憶媒体が含まれる。
１０，５０，５０Ａ，５０Ｂ，５０Ｃ，１０Ｂ，１０Ｃ…端末装置、１１，５２…認識部、３０…教師データ作成装置、３１…入力データ取得部、３２…評価取得部、３３…受付部、３４…教師データ作成部、４０，４０Ｂ…学習装置、４１…教師データ取得部、４２…学習用認識部、４３…誤差逆伝搬部、５５，５５Ｂ…操作受付部、５６…ラベル編集部、５７Ａ，５７Ｂ…ラベル提示部、５９…画像決定部、６０…コメント解析部、６２…リスト出力部、６３…代表ラベル取得部、６４…修正推奨部、８０…言語サーバ、８１…リスト取得部、８２…集約部、８３…代表ラベル選択部、８４…代表ラベル記憶部、８５…代表ラベル出力部、４４，４４Ｃ…閾値設定部、ｔｉ…閾値、１００，１００Ａ，１００Ｂ…学習システム、１１１…入力層、１１２…中間層、１１３…出力層、４４１…評価データ取得部、４４２，４４６…端末データ取得部、４４３…認識スコア取得部、４４４…算出部、４４５，４４７…変更部。

Claims (4)

  1. 認識対象データを取得し、ニューラルネットワークによって前記認識対象データの内容が所定ラベルに合致する度合いを示す認識スコアを出力し、前記認識スコアと前記認識スコアに対して予め設定された閾値とを用いて前記認識対象データの内容が所定ラベルに合致するか否かを示す認識結果を出力する端末装置における前記閾値を変更する閾値変更装置であって、
    入力データと、前記入力データに関連付けられ、前記入力データの内容が前記所定ラベルに合致する正評価であるか前記入力データの内容が所定ラベルに合致しない負評価であるかを示す前記所定ラベルの正解評価と、を含む評価データを取得する評価データ取得部と、
    前記端末装置に関連付けられたデータの前記正評価及び前記負評価の比を取得する端末データ取得部と、
    前記ニューラルネットワーク又は前記ニューラルネットワークの重み係数と同一の重み係数を有するニューラルネットワークから、前記入力データに関する前記所定ラベルの前記認識スコアを取得する認識スコア取得部と、
    前記認識スコア取得部により取得された前記所定ラベルの前記認識スコアと、前記閾値を用いて、正解評価が正評価の前記入力データが正評価として認識されたデータ数、及び、正解評価が負評価の前記入力データが正評価として認識されたデータ数を算出し、算出されたデータ数を用いて前記所定ラベルに関する適合率を算出する算出部と、
    前記算出部により算出された前記適合率を用いて前記閾値を変更する変更部と、
    を備え、
    前記算出部は、正解評価が負評価の前記入力データが正評価として認識されたデータ数を、前記評価データの正評価及び負評価の比、及び、前記端末装置に関連付けられたデータの正評価及び負評価の比を用いて補正し、補正されたデータ数を用いて前記適合率を算出する、
    閾値変更装置。
  2. 前記算出部は、前記所定ラベルに関する再現率及び前記適合率を算出し、
    前記変更部は、前記閾値を前記再現率及び前記適合率の調和平均が最大となる認識スコアへ変更する請求項１に記載の閾値変更装置。
  3. 前記端末データ取得部は、前記端末装置の前記ニューラルネットワークの認識結果、又は、前記端末装置のユーザによるアノテーションの結果に基づいて、前記端末装置に関連付けられたデータの前記正評価及び前記負評価の比を取得する請求項１又は２に記載の閾値変更装置。
  4. 前記端末データ取得部は、前記端末装置のユーザの操作又は端末情報に基づいて、前記端末装置に関連付けられたデータの前記正評価及び前記負評価の比を取得する請求項１〜３の何れか一項に記載の閾値変更装置。
JP2017188820A 2015-10-30 2017-09-28 閾値変更装置 Active JP6453968B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015215057 2015-10-30
JP2015215057 2015-10-30
JP2016141558 2016-07-19
JP2016141558 2016-07-19

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017513559A Division JP6271085B2 (ja) 2015-10-30 2016-10-14 学習システム、学習装置、学習方法、学習プログラム、教師データ作成装置、教師データ作成方法、教師データ作成プログラム、端末装置及び閾値変更装置

Publications (2)

Publication Number Publication Date
JP2018018537A JP2018018537A (ja) 2018-02-01
JP6453968B2 true JP6453968B2 (ja) 2019-01-16

Family

ID=58630045

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017513559A Active JP6271085B2 (ja) 2015-10-30 2016-10-14 学習システム、学習装置、学習方法、学習プログラム、教師データ作成装置、教師データ作成方法、教師データ作成プログラム、端末装置及び閾値変更装置
JP2017188820A Active JP6453968B2 (ja) 2015-10-30 2017-09-28 閾値変更装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017513559A Active JP6271085B2 (ja) 2015-10-30 2016-10-14 学習システム、学習装置、学習方法、学習プログラム、教師データ作成装置、教師データ作成方法、教師データ作成プログラム、端末装置及び閾値変更装置

Country Status (6)

Country Link
US (2) US11170262B2 (ja)
EP (1) EP3361423B1 (ja)
JP (2) JP6271085B2 (ja)
KR (1) KR102114564B1 (ja)
CN (1) CN108351986B (ja)
WO (1) WO2017073373A1 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108351986B (zh) * 2015-10-30 2022-03-29 株式会社摩如富 学习系统及装置和方法、训练数据生成装置及生成方法
KR102570278B1 (ko) * 2017-07-31 2023-08-24 삼성전자주식회사 교사 모델로부터 학생 모델을 트레이닝하는데 사용되는 학습 데이터를 생성하는 장치 및 방법
JP7197971B2 (ja) * 2017-08-31 2022-12-28 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
CN107609084B (zh) * 2017-09-06 2021-01-26 华中师范大学 一种基于群智汇聚收敛的资源关联方法
JP6962123B2 (ja) * 2017-10-04 2021-11-05 株式会社豊田中央研究所 ラベル推定装置及びラベル推定プログラム
JP6916096B2 (ja) * 2017-11-20 2021-08-11 株式会社日立製作所 インスタンス利用促進システム
JP7050470B2 (ja) * 2017-11-21 2022-04-08 千代田化工建設株式会社 検査支援システム、学習装置、及び判定装置
JP6431231B1 (ja) * 2017-12-24 2018-11-28 オリンパス株式会社 撮像システム、学習装置、および撮像装置
JP6924413B2 (ja) * 2017-12-25 2021-08-25 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
CN108268938B (zh) * 2018-01-24 2020-04-21 清华大学 神经网络及其信息处理方法、信息处理系统
JP7040104B2 (ja) * 2018-02-19 2022-03-23 富士通株式会社 学習プログラム、学習方法および学習装置
JPWO2019176806A1 (ja) * 2018-03-16 2021-04-08 富士フイルム株式会社 機械学習装置および方法
JP7025989B2 (ja) * 2018-05-11 2022-02-25 株式会社 日立産業制御ソリューションズ 学習装置、学習方法及び学習プログラム
WO2019230254A1 (ja) * 2018-05-31 2019-12-05 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP3582142A1 (en) * 2018-06-15 2019-12-18 Université de Liège Image classification using neural networks
CN109348400B (zh) * 2018-09-16 2020-08-04 台州昉创科技有限公司 一种3d音效的主体位姿预判方法
CN112912964A (zh) * 2018-10-19 2021-06-04 豪夫迈·罗氏有限公司 利用卷积神经网络对冻干药物产品的缺陷检测
EP3877885A4 (en) * 2018-11-07 2021-12-08 Element AI Inc. REMOVAL OF SENSITIVE DATA FROM DOCUMENTS FOR USE AS TRAINING KITS
JP7135750B2 (ja) * 2018-11-12 2022-09-13 富士通株式会社 学習プログラム、学習方法、学習装置、検知プログラム、検知方法及び検知装置
US20220004857A1 (en) * 2018-11-15 2022-01-06 Leapmind Inc. Neural network processing apparatus, neural network processing method, and neural network processing program
US11922314B1 (en) * 2018-11-30 2024-03-05 Ansys, Inc. Systems and methods for building dynamic reduced order physical models
US11087170B2 (en) * 2018-12-03 2021-08-10 Advanced Micro Devices, Inc. Deliberate conditional poison training for generative models
JP6632773B1 (ja) * 2018-12-14 2020-01-22 三菱電機株式会社 学習識別装置、学習識別方法、及び、学習識別プログラム
JP6989485B2 (ja) * 2018-12-21 2022-01-05 株式会社 日立産業制御ソリューションズ マルチラベルデータ学習支援装置、マルチラベルデータ学習支援方法およびマルチラベルデータ学習支援プログラム
KR102189761B1 (ko) * 2018-12-21 2020-12-11 주식회사 엘지씨엔에스 딥러닝 학습 방법 및 서버
US10579907B1 (en) * 2019-01-31 2020-03-03 StradVision, Inc. Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same
WO2020178957A1 (ja) 2019-03-04 2020-09-10 日本電気株式会社 画像処理装置、画像処理方法及びプログラム記録媒体
US11373298B2 (en) * 2019-03-28 2022-06-28 Canon Medical Systems Corporation Apparatus and method for training neural networks using small, heterogeneous cohorts of training data
JP2020161086A (ja) * 2019-03-28 2020-10-01 株式会社デンソーテン 制御装置および補正方法
WO2020217371A1 (ja) * 2019-04-25 2020-10-29 オムロン株式会社 学習システム、データ生成装置、データ生成方法、及びデータ生成プログラム
US11804070B2 (en) 2019-05-02 2023-10-31 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection
CN110147852A (zh) * 2019-05-29 2019-08-20 北京达佳互联信息技术有限公司 图像识别的方法、装置、设备及存储介质
KR20200144658A (ko) 2019-06-19 2020-12-30 삼성전자주식회사 분류 장치 및 이의 동작 방법과 트레이닝 방법
JP7200851B2 (ja) * 2019-06-27 2023-01-10 トヨタ自動車株式会社 学習装置、リハビリ支援システム、方法、プログラム、及び学習済みモデル
US20220269953A1 (en) * 2019-09-02 2022-08-25 Nec Corporation Learning device, prediction system, method, and program
WO2021044671A1 (ja) * 2019-09-03 2021-03-11 富士フイルム株式会社 学習装置、学習装置の作動方法、学習装置の作動プログラム
CN110610169B (zh) * 2019-09-20 2023-12-15 腾讯科技（深圳）有限公司 图片标注方法和装置、存储介质及电子装置
EP4055519A4 (en) * 2019-11-20 2023-01-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. DATA CLEANING DEVICE, DATA CLEANING METHOD AND FACE VERIFICATION METHOD
KR102131347B1 (ko) * 2020-01-29 2020-07-07 주식회사 이글루시큐리티 머신 러닝 학습 데이터 생성 방법 및 그 시스템
JP7421363B2 (ja) * 2020-02-14 2024-01-24 株式会社Ｓｃｒｅｅｎホールディングス パラメータ更新装置、分類装置、パラメータ更新プログラム、および、パラメータ更新方法
WO2021241173A1 (ja) * 2020-05-27 2021-12-02 コニカミノルタ株式会社 学習装置、学習方法及び学習プログラム、認識装置、認識方法及び認識プログラム並びに学習認識装置
CN113188715A (zh) * 2021-03-17 2021-07-30 重庆大学 基于机器学习的多维力传感器静态校准数据处理方法
US20230206294A1 (en) 2021-12-29 2023-06-29 Rakuten Group, Inc. Information processing apparatus, information processing method, and recording medium

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001109733A (ja) * 1999-10-12 2001-04-20 Hitachi Ltd 識別モデルの評価方法及び閾値調整方法
JP2002008000A (ja) * 2000-06-16 2002-01-11 Nippon Telegr & Teleph Corp <Ntt> データ分類学習方法、データ分類方法、データ分類学習装置、データ分類装置、データ分類学習プログラムを記録した記録媒体、データ分類プログラムを記録した記録媒体
JP2004524599A (ja) * 2000-11-02 2004-08-12 サイバーソース コーポレイション 電子商取引における不正取引リスクを評価するための方法及び装置
JP4532915B2 (ja) * 2004-01-29 2010-08-25 キヤノン株式会社 パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
US7925080B2 (en) 2006-01-13 2011-04-12 New Jersey Institute Of Technology Method for identifying marked images based at least in part on frequency domain coefficient differences
US8352386B2 (en) * 2009-07-02 2013-01-08 International Business Machines Corporation Identifying training documents for a content classifier
US8423568B2 (en) * 2009-09-16 2013-04-16 Microsoft Corporation Query classification using implicit labels
US8774515B2 (en) * 2011-04-20 2014-07-08 Xerox Corporation Learning structured prediction models for interactive image labeling
CN102298606B (zh) 2011-06-01 2013-07-17 清华大学 基于标签图模型随机游走的图像自动标注方法及装置
US9235799B2 (en) 2011-11-26 2016-01-12 Microsoft Technology Licensing, Llc Discriminative pretraining of deep neural networks
CN108073948A (zh) 2012-01-17 2018-05-25 华为技术有限公司 一种照片分类管理方法、服务器、装置及系统
US9536178B2 (en) * 2012-06-15 2017-01-03 Vufind, Inc. System and method for structuring a large scale object recognition engine to maximize recognition accuracy and emulate human visual cortex
US9122950B2 (en) * 2013-03-01 2015-09-01 Impac Medical Systems, Inc. Method and apparatus for learning-enhanced atlas-based auto-segmentation
US8923608B2 (en) * 2013-03-04 2014-12-30 Xerox Corporation Pre-screening training data for classifiers
JP6164639B2 (ja) * 2013-05-23 2017-07-19 国立研究開発法人情報通信研究機構 ディープ・ニューラルネットワークの学習方法、及びコンピュータプログラム
JP5809663B2 (ja) * 2013-06-10 2015-11-11 ヤフー株式会社 分類精度推定装置、分類精度推定方法、およびプログラム
US9489373B2 (en) * 2013-07-12 2016-11-08 Microsoft Technology Licensing, Llc Interactive segment extraction in computer-human interactive learning
US10373047B2 (en) * 2014-02-28 2019-08-06 Educational Testing Service Deep convolutional neural networks for automated scoring of constructed responses
JP6092141B2 (ja) * 2014-03-10 2017-03-08 日本電信電話株式会社 データ解析装置、方法、及びプログラム
US9552549B1 (en) * 2014-07-28 2017-01-24 Google Inc. Ranking approach to train deep neural nets for multilabel image annotation
WO2016070098A2 (en) * 2014-10-31 2016-05-06 Paypal, Inc. Determining categories for weakly labeled images
US9495619B2 (en) * 2014-12-30 2016-11-15 Facebook, Inc. Systems and methods for image object recognition based on location information and object categories
CN107851097B (zh) * 2015-03-31 2021-10-01 株式会社Ｆｒｏｎｔｅｏ 数据分析系统、数据分析方法、数据分析程序及存储介质
CN108351986B (zh) * 2015-10-30 2022-03-29 株式会社摩如富 学习系统及装置和方法、训练数据生成装置及生成方法

Also Published As

Publication number Publication date
CN108351986B (zh) 2022-03-29
KR102114564B1 (ko) 2020-05-22
US20220101059A1 (en) 2022-03-31
WO2017073373A1 (ja) 2017-05-04
JP2018018537A (ja) 2018-02-01
EP3361423A4 (en) 2019-06-12
EP3361423B1 (en) 2022-12-14
CN108351986A (zh) 2018-07-31
US20180307946A1 (en) 2018-10-25
JP6271085B2 (ja) 2018-01-31
US11170262B2 (en) 2021-11-09
JPWO2017073373A1 (ja) 2017-10-26
KR20180079391A (ko) 2018-07-10
EP3361423A1 (en) 2018-08-15

Similar Documents

Publication Publication Date Title
JP6453968B2 (ja) 閾値変更装置
US9965717B2 (en) Learning image representation by distilling from multi-task networks
US11501161B2 (en) Method to explain factors influencing AI predictions with deep neural networks
US8874616B1 (en) Method and apparatus for fusion of multi-modal interaction data
Orphanou et al. Mitigating bias in algorithmic systems—a fish-eye view
KR20200119370A (ko) 인공지능 기반의 유사 디자인 검색 장치
CN111512299A (zh) 用于内容搜索的方法及其电子设备
CN115858919A (zh) 基于项目领域知识和用户评论的学习资源推荐方法及系统
CN108304568B (zh) 一种房地产公众预期大数据处理方法及系统
CN116975743A (zh) 行业信息分类方法、装置、计算机设备和存储介质
US20230229691A1 (en) Methods and systems for prediction of a description and icon for a given field name
US20230018525A1 (en) Artificial Intelligence (AI) Framework to Identify Object-Relational Mapping Issues in Real-Time
CN112069806B (zh) 简历筛选方法、装置、电子设备及存储介质
KR20220097239A (ko) 인공지능에 기반하여 시놉시스 텍스트를 분석하고 시청률을 예측하는 서버
US10025700B1 (en) Data mining technique with n-Pool evolution
US11829735B2 (en) Artificial intelligence (AI) framework to identify object-relational mapping issues in real-time
US11657071B1 (en) Mapping disparate datasets
Cuevas et al. An improved evolutionary algorithm for reducing the number of function evaluations
CN118313446A (zh) 面向冷启动场景的因果元学习多视角图学习方法及设备
CN115934561A (zh) 测试结果分类模型的训练方法、装置和计算机设备
Jutte The Smart Annotation Tool: optimizing semi-automated behavioural annotation using an AutoML framework supported by classification correctness prediction
CN116186434A (zh) 用于生成标签集合的方法、装置、设备和存储介质
Li Reduction Methods for Multi-Label Classification
ÓLAFSDÓTTIR Using machine learning and natural language processing to automatically extract information from software documentation
Mena et al. Collective annotation patterns in learning from crowds

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181213

R150 Certificate of patent or registration of utility model

Ref document number: 6453968

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350