JP6776331B2 - 未知クラスの検出および未知クラスのための分類器の初期化 - Google Patents

未知クラスの検出および未知クラスのための分類器の初期化 Download PDF

Info

Publication number
JP6776331B2
JP6776331B2 JP2018505589A JP2018505589A JP6776331B2 JP 6776331 B2 JP6776331 B2 JP 6776331B2 JP 2018505589 A JP2018505589 A JP 2018505589A JP 2018505589 A JP2018505589 A JP 2018505589A JP 6776331 B2 JP6776331 B2 JP 6776331B2
Authority
JP
Japan
Prior art keywords
classifier
classes
data
class
unknown
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018505589A
Other languages
English (en)
Other versions
JP2018528525A5 (ja
JP2018528525A (ja
Inventor
マジュムダル、ソムデブ
リン、デシュ
トワル、レーガン・ブライス
サラ、アンソニー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2018528525A publication Critical patent/JP2018528525A/ja
Publication of JP2018528525A5 publication Critical patent/JP2018528525A5/ja
Application granted granted Critical
Publication of JP6776331B2 publication Critical patent/JP6776331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Description

関連出願の相互参照
[0001]本出願は、その開示全体が参照により本明細書に明確に組み込まれる、２０１５年８月４日に出願された、「DETECTION OF UNKNOWN CLASSES AND INITIALIZATION OF CLASSIFIERS FOR UNKNOWN CLASSES」と題する米国仮特許出願第６２／２０１，０９０号の利益を主張する。
[0002]本開示のいくつかの態様は、一般に機械学習に関し、より詳細には、未知クラスを検出し、未知クラスのための分類器を初期化するためのシステムおよび方法を改善することに関する。
[0003]人工ニューロン（たとえば、ニューロンモデル）の相互結合されたグループを備え得る人工ニューラルネットワークは、計算デバイスであるか、または計算デバイスによって実行されるべき方法を表す。人工ニューラルネットワークは、生物学的ニューラルネットワークにおける対応する構造および／または機能を有し得る。
[0004]畳み込みニューラルネットワークは、フィードフォワード人工ニューラルネットワークのタイプである。畳み込みニューラルネットワークは、タイリングされた受容野において構成され得るニューロンの層を含み得る。畳み込みニューラルネットワーク（ＣＮＮ:Convolutional neural network）は多数の適用例を有する。特に、ＣＮＮは、パターン認識および分類の領域内で広く使用されている。
[0005]深層信念ネットワーク（deep belief network ）および深層畳み込みネットワーク(deep convolutional network)など、深層学習アーキテクチャが、オブジェクト認識適用例においてますます使用されている。畳み込みニューラルネットワークのように、これらの深層学習アーキテクチャにおける計算は、１つまたは複数の計算チェーンにおいて構成され得る処理ノードの集団にわたって分散され得る。これらの多層アーキテクチャは、それらが一度に１つの層をトレーニングされ得、バックプロパゲーション（back propagation）を使用して微調整され得るので、より大きいフレキシビリティを与える。
[0006]他のモデルも、オブジェクト認識のために利用可能である。たとえば、サポートベクターマシン（ＳＶＭ）は、分類のために適用され得る学習ツールである。サポートベクターマシンは、データをカテゴリー分類する分離超平面（separating hyperplane）（たとえば、決定境界（decision boundary））を含む。超平面は、教師あり学習によって定義される。所望の超平面は、トレーニングデータのマージンを増加させる。言い換えれば、超平面は、トレーニング例との最大の最小距離を有するべきである。
[0007]これらのソリューションは、いくつかの分類ベンチマーク上で優れた結果を達成するが、それらの計算複雑さは極めて高いことがある。さらに、モデルのトレーニングが難しいことがある。
[0008]本開示の一態様では、未知クラスを検出する方法が開示される。本方法は、第１のクラスのための第１の分類器を生成することを含む。一構成では、第１の分類器の出力が、少なくとも２の次元を有する。本方法は、入力データが第１のクラスに属するのか少なくとも１つの第２のクラスに属するのかを決定するために、第１の分類器の出力を受信するように第２の分類器を設計することをも含む。
[0009]本開示の別の態様は、第１のクラスのための第１の分類器を生成するための手段を含む装置を対象とする。一構成では、第１の分類器の出力が、少なくとも２の次元を有する。本装置は、入力データが第１のクラスに属するのか少なくとも１つの第２のクラスに属するのかを決定するために、第１の分類器の出力を受信するように第２の分類器を設計するための手段をも含む。
[0010]本開示の別の態様では、未知クラスを検出するためのコンピュータプログラム製品が開示される。本コンピュータプログラム製品は、非一時的プログラムコードが記録された非一時的コンピュータ可読媒体を有する。プログラムコードは、プロセッサによって実行され、第１のクラスのための第１の分類器を生成するためのプログラムコードを含む。一構成では、第１の分類器の出力が、少なくとも２の次元を有する。プログラムコードは、入力データが第１のクラスに属するのか少なくとも１つの第２のクラスに属するのかを決定するために、第１の分類器の出力を受信するように第２の分類器を設計するためのプログラムコードをも含む。
[0011]本開示の別の態様は、メモリと、メモリに結合された１つまたは複数のプロセッサとを有する未知クラスを検出するための装置を対象とする。（１つまたは複数の）プロセッサは、第１のクラスのための第１の分類器を生成するように構成される。一構成では、第１の分類器の出力が、少なくとも２の次元を有する。（１つまたは複数の）プロセッサはまた、入力データが第１のクラスに属するのか少なくとも１つの第２のクラスに属するのかを決定するために、第１の分類器の出力を受信するように第２の分類器を設計するように構成される。
[0012]本開示の一態様では、合成ネガティブデータ（synthetic negative data）を生成する方法が開示される。本方法は、複数のクラスから既知データを取得することを含む。本方法は、既知データの関数としてネガティブデータを合成的に生成することをも含む。
[0013]本開示の別の態様は、複数のクラスから既知データを取得するための手段を含む装置を対象とする。本装置は、既知データの関数としてネガティブデータを合成的に(synthetically)生成するための手段をも含む。
[0014]本開示の別の態様では、合成ネガティブデータを生成するためのコンピュータプログラム製品が開示される。本コンピュータプログラム製品は、非一時的プログラムコードが記録された非一時的コンピュータ可読媒体を有する。プログラムコードは、プロセッサによって実行され、複数のクラスから既知データを取得するためのプログラムコードを含む。プログラムコードは、既知データの関数としてネガティブデータを合成的に生成するためのプログラムコードをも含む。
[0015]本開示の別の態様は、メモリと、メモリに結合された１つまたは複数のプロセッサとを有する合成ネガティブデータを生成するための装置を対象とする。（１つまたは複数の）プロセッサは、複数のクラスから既知データを取得するように構成される。（１つまたは複数の）プロセッサはまた、既知データの関数としてネガティブデータを合成的に生成するように構成される。
[0016]本開示の追加の特徴および利点が、以下で説明される。本開示は、本開示の同じ目的を実行するための他の構造を変更または設計するための基礎として容易に利用され得ることを、当業者は諒解されたい。また、そのような等価な構成が、添付の特許請求の範囲に記載の本開示の教示から逸脱しないことを、当業者は了解されたい。さらなる目的および利点とともに、本開示の編成と動作の方法の両方に関して、本開示を特徴づけると考えられる新規の特徴は、添付の図に関連して以下の説明を検討するとより良く理解されよう。ただし、図の各々は、例示および説明のみの目的で与えられたものであり、本開示の限界を定めるものではないことを明確に理解されたい。
[0017]本開示の特徴、特性、および利点は、全体を通じて同様の参照符号が同様のものを指す図面とともに、以下に記載される発明を実施するための形態を読めばより明らかになろう。
[0018]本開示のいくつかの態様による、汎用プロセッサを含むシステムオンチップ（ＳＯＣ）を使用してニューラルネットワークを設計する例示的な実装形態を示す図。 [0019]本開示の態様による、システムの例示的な実装形態を示す図。 [0020]本開示の態様による、ニューラルネットワークを示す図。 [0021]本開示の態様による、例示的な深層畳み込みネットワーク（ＤＣＮ）を示すブロック図。 [0022]本開示の態様による、人工知能（ＡＩ）機能をモジュール化し得る例示的なソフトウェアアーキテクチャを示すブロック図。 [0023]本開示の態様による、スマートフォン上のＡＩアプリケーションのランタイム動作を示すブロック図。 [0024]本開示の態様による、バイナリ分類器の例を示す図。 本開示の態様による、バイナリ分類器の例を示す図。 [0025]本開示の態様による、未知クラスを検出するための方法を示す図。 本開示の態様による、未知クラスを検出するための方法を示す図。 [0026]本開示の態様による、合成未知データを生成するための方法を示す図。 本開示の態様による、合成未知データを生成するための方法を示す図。 [0027]本開示の態様による、未知クラス検出のための方法を示す流れ図。 [0028]本開示の態様による、合成未知データを生成するための方法を示す流れ図。 [0029]本開示の態様による、未知クラス検出のためのおよび合成未知データを生成するための方法を示す流れ図。
[0030]添付の図面に関して以下に記載される発明を実施するための形態は、様々な構成を説明するものであり、本明細書で説明される概念が実施され得る構成のみを表すものではない。発明を実施するための形態は、様々な概念の完全な理解を与えるための具体的な詳細を含む。ただし、これらの概念はこれらの具体的な詳細なしに実施され得ることが当業者には明らかであろう。いくつかの事例では、そのような概念を不明瞭にしないように、よく知られている構造および構成要素がブロック図の形式で示される。
[0031]これらの教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、記載された態様をいくつ使用しても、装置は実装され得るか、または方法は実施され得る。さらに、本開示の範囲は、記載された本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。開示される本開示のいずれの態様も、請求項の１つまたは複数の要素によって実施され得ることを理解されたい。
[0032]「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明されるいかなる態様も、必ずしも他の態様よりも好適または有利であると解釈されるべきであるとは限らない。
[0033]本明細書では特定の態様が説明されるが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好適な態様のいくつかの利益および利点が説明されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、それらのいくつかが、例として、図および好適な態様についての以下の説明において示される。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
[0034]サポートベクターマシン（ＳＶＭ）など、従来の分類器は、２つまたはそれ以上のクラス間の決定境界を決定し得る。マルチクラス分類の場合、サンプルを分類するためにいくつかの分類器決定境界が生成され得る。分類は、サンプルを、ネットワークをトレーニングするために使用されたクラスに関連付けることを指す。たとえば、顔認識の場合、画像検出器が、顔の画像を、特定の人間（たとえば、クラス）に属するものとして分類し得る。
[0035]さらに、従来の分類器は、サンプルが各クラスに属する確率を示すスコアのベクトルを生成する。最も高い確率を有するクラスが、勝ったクラスとして選択され得る。
[0036]さらに、いくつかの場合には、サンプルは、分類器をトレーニングするために使用されたクラスのいずれにも属さない。したがって、オブジェクトを既知クラスに属するものとしてまたは未知クラス（または少なくとも１つの未知クラス）に属するものとしてラベリングするために分類器を初期化するためのフレームワークを生成することが望ましいことがある。一構成では、第１の分類器が、サンプルについての分類スコアを決定するように指定される。さらに、第２の分類器が、分類スコアに基づいてサンプルを既知または未知としてカテゴリー分類するように指定される。さらに、別の構成では、既知クラスを除外し、および／または合成的に生成されたネガティブクラスデータを含むランダムトレーニングサンプルに基づいて、未知クラスのための分類境界が定義され得る。ネガティブクラスデータは、未知クラスデータまたは未知データと呼ばれることがある。
[0037]図１に、本開示のいくつかの態様による、汎用プロセッサ（ＣＰＵ）またはマルチコア汎用プロセッサ（ＣＰＵ）１０２を含み得るシステムオンチップ（ＳＯＣ）１００を使用する、上述の未知クラス検出、未知分類器初期化、および／または合成ネガティブデータ生成の例示的な実装形態を示す。変数（たとえば、ニューラル信号およびシナプス荷重）、計算デバイスに関連するシステムパラメータ（たとえば、重みをもつニューラルネットワーク）、遅延、周波数ビン情報、およびタスク情報が、ニューラル処理ユニット（ＮＰＵ）１０８（たとえば、少なくとも１つのプロセッサ）に関連するメモリブロック（たとえば、少なくとも１つのメモリユニット）に記憶されるか、または専用メモリブロック１１８に記憶され得る。汎用プロセッサ１０２において実行される命令が、ＣＰＵ１０２に関連するプログラムメモリからロードされ得るか、または専用メモリブロック１１８からロードされ得る。ＳＯＣ１００はまた、グラフィックス処理ユニット（ＧＰＵ）１０４、デジタル信号プロセッサ（ＤＳＰ）１０６など、特定の機能に適合された追加の処理ブロックと、第４世代ロングタームエボリューション（４Ｇ ＬＴＥ（登録商標））接続性、認可不要Ｗｉ−Ｆｉ（登録商標）接続性、ＵＳＢ接続性、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続性などを含み得る接続性ブロック１１０と、たとえば、ジェスチャーを検出および認識し得るマルチメディアプロセッサ１１２とを含み得る。ＳＯＣ１００はまた、センサープロセッサ１１４、画像信号プロセッサ（ＩＳＰ）、および／または全地球測位システムを含み得るナビゲーション１２０を含み得る。ＳＯＣはＡＲＭ命令セットに基づき得る。
[0038]ＳＯＣ１００はまた、ＧＰＵ１０４、ＤＳＰ１０６など、特定の機能に適合された追加の処理ブロックと、第４世代ロングタームエボリューション（４Ｇ ＬＴＥ）接続性、認可不要Ｗｉ−Ｆｉ接続性、ＵＳＢ接続性、Ｂｌｕｅｔｏｏｔｈ接続性などを含み得る接続性ブロック１１０と、たとえば、ジェスチャーを検出および認識し得るマルチメディアプロセッサ１１２とを含み得る。一実装形態では、ＮＰＵは、ＣＰＵ、ＤＳＰ、および／またはＧＰＵにおいて実装される。ＳＯＣ１００はまた、センサープロセッサ１１４、画像信号プロセッサ（ＩＳＰ）、および／または全地球測位システムを含み得るナビゲーション１２０を含み得る。
[0039]ＳＯＣ１００はＡＲＭ命令セットに基づき得る。本開示の一態様では、汎用プロセッサ１０２にロードされる命令は、第１のクラスのための第１の分類器を生成するためのコードを備え得る。一構成では、出力が、少なくとも２の次元を有する。汎用プロセッサ１０２にロードされる命令は、入力データが第１のクラスに属するのか少なくとも１つの第２のクラスに属するのかを決定するために、第１の分類器の出力を受信するように第２の分類器を設計するためのコードをも備え得る。
[0040]さらに、本開示の別の態様では、汎用プロセッサ１０２にロードされる命令は、複数のクラスから既知データを取得するためのコードを備え得る。汎用プロセッサ１０２にロードされる命令は、既知データの関数としてネガティブデータを合成的に生成するためのコードをも備え得る。
[0041]図２に、本開示のいくつかの態様による、システム２００の例示的な実装形態を示す。図２に示されているように、システム２００は、本明細書で説明される方法の様々な動作を実行し得る複数のローカル処理ユニット２０２を有し得る。各ローカル処理ユニット２０２は、ローカル状態メモリ２０４と、ニューラルネットワークのパラメータを記憶し得るローカルパラメータメモリ２０６とを備え得る。さらに、ローカル処理ユニット２０２は、ローカルモデルプログラムを記憶するためのローカル（ニューロン）モデルプログラム（ＬＭＰ）メモリ２０８と、ローカル学習プログラムを記憶するためのローカル学習プログラム（ＬＬＰ）メモリ２１０と、ローカル接続メモリ２１２とを有し得る。さらに、図２に示されているように、各ローカル処理ユニット２０２は、ローカル処理ユニットのローカルメモリのための構成を与えるための構成プロセッサユニット２１４、およびローカル処理ユニット２０２間のルーティングを与えるルーティング接続処理ユニット２１６とインターフェースし得る。
[0042]深層学習アーキテクチャは、各層において連続的により高い抽象レベルで入力を表現するように学習し、それにより、入力データの有用な特徴表現を蓄積することによって、オブジェクト認識タスクを実行し得る。このようにして、深層学習は、旧来の機械学習の主要なボトルネックに対処する。深層学習の出現より前に、オブジェクト認識問題に対する機械学習手法は、場合によっては浅い分類器（shallow classifier）と組み合わせて、人的に設計された特徴に大きく依拠していることがある。浅い分類器は、たとえば、入力がどのクラスに属するかを予測するために、特徴ベクトル成分の重み付き和がしきい値と比較され得る２クラス線形分類器であり得る。人的に設計された特徴は、領域の専門知識をもつ技術者によって特定の問題領域に適合されたテンプレートまたはカーネルであり得る。対照的に、深層学習アーキテクチャは、人間の技術者が設計し得るものと同様である特徴を表現するように学習するが、トレーニングを通してそれを行い得る。さらに、深層ネットワークは、人間が考慮していないことがある新しいタイプの特徴を表現し、認識するように学習し得る。
[0043]深層学習アーキテクチャは特徴の階層を学習し得る。たとえば、視覚データが提示された場合、第１の層は、エッジなど、入力ストリーム中の単純な特徴を認識するように学習し得る。聴覚データが提示された場合、第１の層は、特定の周波数におけるスペクトル電力を認識するように学習し得る。第１の層の出力を入力として取る第２の層は、視覚データの場合の単純な形状、または聴覚データの場合の音の組合せなど、特徴の組合せを認識するように学習し得る。上位層は、視覚データ中の複雑な形状、または聴覚データ中の単語を表現するように学習し得る。さらに上位の層は、共通の視覚オブジェクトまたは発話フレーズを認識するように学習し得る。
[0044]深層学習アーキテクチャは、自然階層構造を有する問題に適用されたとき、特にうまく機能し得る。たとえば、原動機付き車両の分類は、ホイール、フロントガラス、および他の特徴を認識するための第１の学習から恩恵を受け得る。これらの特徴は、車、トラック、および飛行機を認識するために、異なる方法で、上位層において組み合わせられ得る。
[0045]ニューラルネットワークは、様々な結合性パターンを用いて設計され得る。フィードフォワードネットワークでは、情報が下位層から上位層に受け渡され、所与の層における各ニューロンは、上位層におけるニューロンに通信する。上記で説明されたように、フィードフォワードネットワークの連続する層において、階層表現が蓄積され得る。ニューラルネットワークはまた、リカレントまたは（トップダウンとも呼ばれる）フィードバック結合を有し得る。リカレント結合では、所与の層におけるニューロンからの出力は、同じ層における別のニューロンに通信される。リカレントアーキテクチャは、ニューラルネットワークに順次配信される入力データチャンクのうちの２つ以上にわたるパターンを認識するのに役立ち得る。所与の層におけるニューロンから下位層におけるニューロンへの結合は、フィードバック（またはトップダウン）結合と呼ばれる。高レベルの概念の認識が、入力の特定の低レベルの特徴を弁別することを助け得るとき、多くのフィードバック結合をもつネットワークが役立ち得る。
[0046]図３Ａを参照すると、ニューラルネットワークの層間の結合は全結合３０２または局所結合３０４であり得る。全結合ネットワーク３０２では、第１の層におけるニューロンは、第２の層における各ニューロンが第１の層におけるあらゆるニューロンから入力を受信するように、それの出力を第２の層におけるあらゆるニューロンに通信し得る。代替的に、局所結合ネットワーク３０４では、第１の層におけるニューロンは、第２の層における限られた数のニューロンに結合され得る。畳み込みネットワーク３０６は、局所結合であり得、第２の層における各ニューロンのための入力に関連する結合強度が共有されるようにさらに構成される（たとえば、３０８）。より一般的には、ネットワークの局所結合層は、層における各ニューロンが同じまたは同様の結合性パターンを有するように構成されるが、異なる値を有し得る結合強度で構成され得る（たとえば、３１０、３１２、３１４、および３１６）。局所結合の結合性パターンは、所与の領域中の上位層ニューロンが、ネットワークへの総入力のうちの制限された部分のプロパティにトレーニングを通して調整された入力を受信し得るので、上位層において空間的に別個の受容野を生じ得る。
[0047]局所結合ニューラルネットワークは、入力の空間ロケーションが有意味である問題に好適であり得る。たとえば、車載カメラからの視覚特徴を認識するように設計されたネットワーク３００は、画像の下側部分対上側部分とのそれらの関連付けに依存して、異なるプロパティをもつ上位層ニューロンを発達させ得る。画像の下側部分に関連するニューロンは、たとえば、車線区分線を認識するように学習し得るが、画像の上側部分に関連するニューロンは、交通信号、交通標識などを認識するように学習し得る。
[0048]ＤＣＮは、教師あり学習を用いてトレーニングされ得る。トレーニング中に、ＤＣＮは、速度制限標識のクロップされた画像など、画像３２６を提示され得、次いで、出力３２２を生成するために、「フォワードパス」が計算され得る。出力３２２は、「標識」、「６０」、および「１００」など、特徴に対応する値のベクトルであり得る。ネットワーク設計者は、ＤＣＮが、出力特徴ベクトルにおけるニューロンのうちのいくつか、たとえば、トレーニングされたネットワーク３００のための出力３２２に示されているように「標識」および「６０」に対応するニューロンについて、高いスコアを出力することを希望し得る。トレーニングの前に、ＤＣＮによって生成された出力は不正確である可能性があり、したがって、実際の出力とターゲット出力との間で誤差が計算され得る。次いで、ＤＣＮの重みは、ＤＣＮの出力スコアがターゲットとより密接に整合されるように調節され得る。
[0049]重みを調節するために、学習アルゴリズムは、重みのための勾配ベクトルを計算し得る。勾配は、重みがわずかに調節された場合に、誤差が増加または減少する量を示し得る。最上層において、勾配は、最後から２番目の層における活性化されたニューロンと出力層におけるニューロンとを結合する重みの値に直接対応し得る。下位層では、勾配は、重みの値と、上位層の計算された誤差勾配とに依存し得る。次いで、重みは、誤差を低減するように調節され得る。重みを調節するこの様式は、それがニューラルネットワークを通して「バックワードパス」を伴うので、「バックプロパゲーション」と呼ばれることがある。
[0050]実際には、重みの誤差勾配は、計算された勾配が真の誤差勾配を近似するように、少数の例にわたって計算され得る。この近似方法は、確率的勾配降下（stochastic gradient descent）と呼ばれることがある。システム全体の達成可能な誤差レートが減少しなくなるまで、または誤差レートがターゲットレベルに達するまで、確率的勾配降下が繰り返され得る。
[0051]学習の後に、ＤＣＮは新しい画像３２６を提示され得、ネットワークを通したフォワードパスは、ＤＣＮの推論または予測と見なされ得る出力３２２をもたらし得る。
[0052]深層信念ネットワーク（ＤＢＮ：deep belief network）は、隠れノードの複数の層を備える確率モデルである。ＤＢＮは、トレーニングデータセットの階層表現を抽出するために使用され得る。ＤＢＮは、制限ボルツマンマシン（ＲＢＭ：Restricted Boltzmann Machine）の層を積層することによって取得され得る。ＲＢＭは、入力のセットにわたる確率分布を学習することができる人工ニューラルネットワークのタイプである。ＲＢＭは、各入力がそれにカテゴリー分類されるべきクラスに関する情報の不在下で確率分布を学習することができるので、ＲＢＭは、教師なし学習においてしばしば使用される。ハイブリッド教師なしおよび教師ありパラダイムを使用して、ＤＢＮの下部ＲＢＭは、教師なし様式でトレーニングされ得、特徴抽出器として働き得、上部ＲＢＭは、（前の層からの入力とターゲットクラスとの同時分布上で）教師あり様式でトレーニングされ得、分類器として働き得る。
[0053]深層畳み込みネットワーク（ＤＣＮ）は、追加のプーリング層および正規化層で構成された、畳み込みネットワークのネットワークである。ＤＣＮは、多くのタスクに関して最先端の性能を達成している。ＤＣＮは、入力と出力ターゲットの両方が、多くの標本について知られており、勾配降下方法の使用によってネットワークの重みを変更するために使用される、教師あり学習を使用してトレーニングされ得る。
[0054]ＤＣＮは、フィードフォワードネットワークであり得る。さらに、上記で説明されたように、ＤＣＮの第１の層におけるニューロンから次の上位層におけるニューロンのグループへの結合は、第１の層におけるニューロンにわたって共有される。ＤＣＮのフィードフォワードおよび共有結合は、高速処理のために活用され得る。ＤＣＮの計算負担は、たとえば、リカレントまたはフィードバック結合を備える同様のサイズのニューラルネットワークのそれよりもはるかに少ないことがある。
[0055]畳み込みネットワークの各層の処理は、空間的に不変のテンプレートまたは基底投射と見なされ得る。入力が、カラー画像の赤色、緑色、および青色チャネルなど、複数のチャネルに最初に分解された場合、その入力に関してトレーニングされた畳み込みネットワークは、画像の軸に沿った２つの空間次元と、色情報をキャプチャする第３の次元とをもつ、３次元であると見なされ得る。畳み込み結合の出力は、後続の層３１８および３２０において特徴マップを形成すると考えられ、特徴マップ（たとえば、３２０）の各要素が、前の層（たとえば、３１８）における様々なニューロンから、および複数のチャネルの各々から入力を受信し得る。特徴マップにおける値は、整流（rectification）、ｍａｘ（０，ｘ）など、非線形性を用いてさらに処理され得る。隣接するニューロンからの値は、さらにプールされ得、これは、ダウンサンプリングに対応し、さらなる局所不変性と次元削減とを与え得る。白色化に対応する正規化はまた、特徴マップにおけるニューロン間のラテラル抑制によって適用され得る。
[0056]深層学習アーキテクチャの性能は、より多くのラベリングされたデータポイントが利用可能となるにつれて、または計算能力が増加するにつれて、向上し得る。現代の深層ニューラルネットワークは、ほんの１５年前に一般的な研究者にとって利用可能であったものより数千倍も大きいコンピューティングリソースを用いて、ルーチン的にトレーニングされる。新しいアーキテクチャおよびトレーニングパラダイムが、深層学習の性能をさらに高め得る。正規化線形ユニット（rectified linear unit）は、勾配消失（vanishing gradients）として知られるトレーニング問題を低減し得る。新しいトレーニング技法は、過学習（over-fitting）を低減し、したがって、より大きいモデルがより良い汎化を達成することを可能にし得る。カプセル化技法は、所与の受容野においてデータを抽出し、全体的性能をさらに高め得る。
[0057]図３Ｂは、例示的な深層畳み込みネットワーク３５０を示すブロック図である。深層畳み込みネットワーク３５０は、結合性および重み共有に基づく、複数の異なるタイプの層を含み得る。図３Ｂに示されているように、例示的な深層畳み込みネットワーク３５０は、複数の畳み込みブロック（たとえば、Ｃ１およびＣ２）を含む。畳み込みブロックの各々は、畳み込み層と、正規化層（ＬＮｏｒｍ）と、プーリング層とで構成され得る。畳み込み層は、１つまたは複数の畳み込みフィルタを含み得、これは、特徴マップを生成するために入力データに適用され得る。２つの畳み込みブロックのみが示されているが、本開示はそのように限定しておらず、代わりに、設計選好に従って、任意の数の畳み込みブロックが深層畳み込みネットワーク３５０中に含まれ得る。正規化層は、畳み込みフィルタの出力を正規化するために使用され得る。たとえば、正規化層は、白色化またはラテラル抑制を行い得る。プーリング層は、局所不変性および次元削減のために、空間にわたってダウンサンプリングアグリゲーションを行い得る。
[0058]たとえば、深層畳み込みネットワークの並列フィルタバンクは、高性能および低電力消費を達成するために、随意にＡＲＭ命令セットに基づいて、ＳＯＣ１００のＣＰＵ１０２またはＧＰＵ１０４にロードされ得る。代替実施形態では、並列フィルタバンクは、ＳＯＣ１００のＤＳＰ１０６またはＩＳＰ１１６にロードされ得る。さらに、ＤＣＮは、センサー１１４およびナビゲーション１２０に専用の処理ブロックなど、ＳＯＣ上に存在し得る他の処理ブロックにアクセスし得る。
[0059]深層畳み込みネットワーク３５０はまた、１つまたは複数の全結合層（たとえば、ＦＣ１およびＦＣ２）を含み得る。深層畳み込みネットワーク３５０は、ロジスティック回帰（ＬＲ）層をさらに含み得る。深層畳み込みネットワーク３５０の各層の間には、更新されるべき重み（図示せず）がある。各層の出力は、第１の畳み込みブロックＣ１において供給された入力データ（たとえば、画像、オーディオ、ビデオ、センサーデータおよび／または他の入力データ）から階層特徴表現を学習するために、深層畳み込みネットワーク３５０中の後続の層の入力として働き得る。
[0060]図４は、人工知能（ＡＩ）機能をモジュール化し得る例示的なソフトウェアアーキテクチャ４００を示すブロック図である。アーキテクチャを使用して、ＳＯＣ４２０の様々な処理ブロック（たとえば、ＣＰＵ４２２、ＤＳＰ４２４、ＧＰＵ４２６および／またはＮＰＵ４２８）に、アプリケーション４０２のランタイム動作中に計算をサポートすることを実行させ得るアプリケーション４０２が設計され得る。
[0061]ＡＩアプリケーション４０２は、たとえば、デバイスが現在動作するロケーションを示すシーンの検出および認識を与え得る、ユーザ空間４０４において定義されている機能を呼び出すように構成され得る。ＡＩアプリケーション４０２は、たとえば、認識されたシーンがオフィス、講堂、レストラン、または湖などの屋外環境であるかどうかに応じて別様に、マイクロフォンおよびカメラを構成し得る。ＡＩアプリケーション４０２は、現在のシーンの推定を与えるために、ＳｃｅｎｅＤｅｔｅｃｔアプリケーションプログラミングインターフェース（ＡＰＩ）４０６において定義されているライブラリに関連するコンパイルされたプログラムコードへの要求を行い得る。この要求は、たとえば、ビデオおよび測位データに基づくシーン推定を与えるように構成された深層ニューラルネットワークの出力に最終的に依拠し得る。
[0062]さらに、ランタイムフレームワークのコンパイルされたコードであり得るランタイムエンジン４０８が、ＡＩアプリケーション４０２にとってアクセス可能であり得る。ＡＩアプリケーション４０２は、たとえば、ランタイムエンジンに、特定の時間間隔における、またはアプリケーションのユーザインターフェースによって検出されたイベントによってトリガされた、シーン推定を要求させ得る。シーンを推定させられたとき、ランタイムエンジンは、ＳＯＣ４２０上で実行している、Ｌｉｎｕｘ（登録商標）カーネル４１２など、オペレーティングシステム４１０に信号を送り得る。オペレーティングシステム４１０は、ＣＰＵ４２２、ＤＳＰ４２４、ＧＰＵ４２６、ＮＰＵ４２８、またはそれらの何らかの組合せ上で、計算を実行させ得る。ＣＰＵ４２２は、オペレーティングシステムによって直接アクセスされ得、他の処理ブロックは、ＤＳＰ４２４のための、ＧＰＵ４２６のための、またはＮＰＵ４２８のためのドライバ４１４〜４１８など、ドライバを通してアクセスされ得る。例示的な例では、深層ニューラルネットワークは、ＣＰＵ４２２およびＧＰＵ４２６など、処理ブロックの組合せ上で動作するように構成され得るか、または存在する場合、ＮＰＵ４２８上で動作させられ得る。
[0063]図５は、スマートフォン５０２上のＡＩアプリケーションのランタイム動作５００を示すブロック図である。ＡＩアプリケーションは、画像５０６のフォーマットを変換し、次いで画像５０８をクロップおよび／またはリサイズするように（たとえば、ＪＡＶＡ（登録商標）プログラミング言語を使用して）構成され得る前処理モジュール５０４を含み得る。次いで、前処理された画像は、視覚入力に基づいてシーンを検出および分類するように（たとえば、Ｃプログラミング言語を使用して）構成され得るＳｃｅｎｅＤｅｔｅｃｔバックエンドエンジン５１２を含んでいる分類アプリケーション５１０に通信され得る。ＳｃｅｎｅＤｅｔｅｃｔバックエンドエンジン５１２は、スケーリング５１６およびクロッピング５１８によって、画像をさらに前処理５１４するように構成され得る。たとえば、画像は、得られた画像が２２４ピクセル×２２４ピクセルであるように、スケーリングされ、クロップされ得る。これらの次元は、ニューラルネットワークの入力次元にマッピングし得る。ニューラルネットワークは、ＳＯＣ１００の様々な処理ブロックに、深層ニューラルネットワークを用いて画像ピクセルをさらに処理させるように、深層ニューラルネットワークブロック５２０によって構成され得る。次いで、深層ニューラルネットワークの結果は、しきい値処理５２２され、分類アプリケーション５１０中の指数平滑化ブロック５２４を通され得る。次いで、平滑化された結果は、スマートフォン５０２の設定および／またはディスプレイの変更を生じ得る。
[0064]一構成では、機械学習モデルが、生成すること、設計すること、取得すること、および／または合成的に生成することを行うために構成される。モデルは、生成手段、設計手段、取得手段、および／または合成的生成手段を含む。一態様では、生成手段、設計手段、取得手段、および／または合成的生成手段は、具陳された機能を実行するように構成された、汎用プロセッサ１０２、汎用プロセッサ１０２に関連するプログラムメモリ、メモリブロック１１８、ローカル処理ユニット２０２、およびまたはルーティング接続処理ユニット２１６であり得る。別の構成では、上述の手段は、上述の手段によって具陳された機能を実行するように構成された任意のモジュールまたは任意の装置であり得る。
[0065]本開示のいくつかの態様によれば、各ローカル処理ユニット２０２は、ネットワークの所望の１つまたは複数の機能的特徴に基づいてネットワークのパラメータを決定し、決定されたパラメータがさらに適合、調整および更新されるように、１つまたは複数の機能的特徴を所望の機能的特徴のほうへ発達させるように構成され得る。未知クラスを検出することおよび分類器を初期化すること
[0066]たいていのシステムでは、サポートベクターマシンなどの分類器が、特徴抽出器と連携して動作するように指定される。たとえば、深層畳み込みネットワークは入力から特徴を抽出し、分類器は、抽出された特徴に基づいて入力をカテゴリー分類する。すなわち、分類器は、特徴が既知クラスに属するのか未知クラスに属するのかを決定する。さらに、入力は、抽出された特徴に割り当てられるクラスに基づいて分類され得る。
[0067]前に説明されたように、マルチクラス分類器は、受信されたサンプルをクラスに関連付けるように、複数のクラスを用いてトレーニングされ得る。たとえば、マルチクラス分類器は、車の画像を受信し、トレーニングされたクラスに基づいて車のタイプを決定し得る。さらに、ネットワークのテスト中など、いくつかの場合には、サンプルが、マルチクラス分類器をトレーニングするために使用されたクラスのいずれにも属さないことがある。したがって、オブジェクトを既知クラスに属するものとしてまたは未知クラスに属するものとしてラベリングするためにマルチクラス分類器を初期化するためのフレームワークを生成することが望ましいことがある。マルチクラス分類器は分類器と呼ばれることがある。
[0068]一構成では、サンプルが既知クラスに属するのか未知クラスに属するのかを決定するために、サポートベクターマシンなどの分類器と連携して、バイナリ分類器が使用される。詳細には、この構成では、マルチクラス分類器、またはマルチクラス分類器のサブセットによって生成されたスコアのベクトルは、バイナリ分類器を構築するための特徴ベクトルとして使用される。バイナリ分類器は、サンプルを既知または未知として分類するために指定される。
[0069]さらに、いくつかの場合には、分類器のために１つのクラスがあるにすぎないことがある。たとえば、分類器は、オブジェクトが犬であるかどうかを決定するように指定され得る。この例では、画像が分類器に提示されるとき、オブジェクトは犬または犬でないのいずれかとして分類され得る。さらに、１つの既知クラスに属するものとして入力を認識するために、または未知ラベルを入力に割り当てるために分類器を初期化するためのフレームワークを作成することが望ましいことがある。
[0070]前に説明されたように、分類器は、サンプルが各クラスに属する信頼度（たとえば、確率）を示すスコアのベクトルを生成し得る。たいていの場合、スコアは、各クラスについての信頼度を生成するために正規化され、最も高い信頼度を有するクラスが、勝ったクラスとして選択され得る。
[0071]一構成では、正規化されていない（たとえば、未加工）スコアがバイナリ分類器のために使用され得る。たいていの場合、既知サンプルが受信されたとき、未加工スコアは、１つまたは複数のクラスの未加工スコアが低減された値を有し、特定のクラスの未加工スコアが増加された値を有するように、分散され得る。さらに、未知サンプルが受信されたとき、未加工スコアの値はクラスの間で均一になり、たとえば、一様に低くなり得る。信頼度（たとえば、スコア）がすべてのクラスについて低い場合、画像は未知であると決定され得る。この例では、未加工スコアは、−１０〜１０など、０〜１の正規化されたスコア範囲を越える範囲を有し得、ここで、１０は最も高い信頼度であり、−１０は最も低い信頼度である。もちろん、範囲は、−１０〜１０に限定されず、任意の範囲であり得る。本開示では、未加工スコアはスコアと呼ばれることがある。
[0072]この構成では、スコアベクトルは、バイナリ分類器をトレーニングするために使用され得る。すなわち、バイナリ分類器が、サンプルが既知であるのか未知であるのかを認識し得るように、バイナリ分類器は、スコアのパターンを認識するようにトレーニングされ得る。したがって、一構成では、バイナリ分類器は、分類器がクラスをサンプルに割り当てるより前に、サンプルが既知であるのか未知であるのかを決定する。たとえば、サンプルが未知クラスである場合、分類器はクラスを決定しないことがある。代替的に、サンプルが既知クラスに属する場合、分類器は、クラスを決定するように指定され得る。
[0073]本開示は、既知および未知クラスに限定されず、バイナリ分類器は、男性／女性、眼鏡をかけた顔／眼鏡をかけていない顔、および／または、長い毛髪／短い毛髪など、他のタイプのバイナリ区別を実行するように指定され得る。たとえば、分類器は、異なる女性の顔を検出するためのクラスを有し得る。この例では、バイナリ分類器が、男性および女性を決定するように指定された場合、分類器は、バイナリ分類器が入力が男性の顔であると決定した場合、クラスを決定しないことがある。
[0074]さらに、バイナリ分類器が、ｎ要素スコアベクトルの、サンプルについての上位２つのスコアなど、複数のスコアの各スコアのためのしきい値に基づいて指定され得、ただし、ｎはクラスの数である。すなわち、この例では、しきい値が上位２つのスコアの各々のために指定され得る。さらに、サンプルは、サンプルのスコアが上位２つのスコアの各々のためのしきい値よりも小さい場合、未知として分類され得る。代替的に、サンプルは、サンプルのスコアが上位２つのスコアのためのしきい値よりも大きい場合、既知として分類され得る。
[0075]図６は、ｎ要素スコアベクトルの上位２つのスコアの各々のために設定されたしきい値に基づく、２次元バイナリ分類器６１０の一例を示す。図６に示されているように、ｘ軸は、サンプルについての最も高いスコアリングクラスのスコアの範囲であり、ｙ軸は、サンプルについての第２の最も高い（second highest）スコアリングクラスのスコアの範囲である。
[0076]一例では、図６に示されているように、サンプルが、４の高いスコアと−６の第２の高いスコアとを有する場合、サンプルは既知サンプルとして分類され得る。さらに、別の例では、図６に示されているように、サンプルが、−２の高いスコアと−２の第２の高いスコアとを有する場合、サンプルは未知として分類され得る。すなわち、この例では、スコアが２次元バイナリ分類器６１０よりも大きい場合、サンプルは既知として分類され、スコアが２次元バイナリ分類器６１０よりも小さい場合、サンプルは未知として分類される。より詳細には、２次元バイナリ分類器６１０の左側のサンプルが未知として分類され、２次元バイナリ分類器６１０の右側のサンプルが既知サンプルとして分類される。
[0077]さらに、図６に示されているように、フォールスポジティブ（false positive）およびフォールスネガティブ（false negative）が、２次元バイナリ分類器６１０に基づいて生成され得る。フォールスポジティブは、既知サンプルとして分類され得る未知サンプルを指す。さらに、フォールスネガティブは、未知サンプルとして分類され得る既知サンプルを指す。さらに、図６に示されているように、いくつかのサンプルは、不正確に分類された既知サンプルであり得る。
[0078]いくつかの場合には、フォールスポジティブおよびフォールスネガティブの数は、バイナリ分類器のためのしきい値を調節することによって低減され得る。さらに、結果を改善するために、バイナリ分類器のために使用される次元数を増加させることが望ましいことがある。さらに、１次元バイナリ分類器を使用することが望ましくないことがある。
[0079]図７は、１次元バイナリ分類器７１０の一例を示す。図７に示されているように、ｎ要素スコアベクトルからサンプルのために受信される最も高いスコアのために、しきい値が０に設定され得る。この例では、スコアが１次元バイナリ分類器７１０よりも大きい場合、サンプルは既知として分類され、スコアが１次元バイナリ分類器７１０よりも小さい場合、サンプルは未知として分類される。さらに、図７に示されているように、１次元バイナリ分類器７１０の場合のフォールスネガティブの数は、２次元バイナリ分類器６１０の場合のフォールスネガティブの数よりも大きい。したがって、１よりも大きい次元を有するバイナリ分類器を指定することが望ましいことがある。
[0080]一構成では、増加された数の未知サンプルが受信されるとき、未知サンプルは、未知クラスを生成するためにクラスタリングされ得る。未知クラスは、分類器において未知クラスを初期化し、および／または既存の未知クラスを変更するために使用され得る。さらに、一構成では、未知データが既知データになるように、未知データがラベリングされるべきであるかどうかを決定するために、ユーザがポーリングされ得る。
[0081]いくつかの場合には、分類器が、１つの既知クラスに関して初期化され得る。したがって、１つまたは複数の未知クラスを追加するために分類器を初期化することが望ましいことがある。したがって、一構成では、１つまたは複数の追加のトレーニングセットが、既知グループの外部のクラスから取られたサンプルのグループを含む。１つまたは複数の追加のトレーニングセットは、未知サンプルを分類するために未知分類器を初期化するために使用され得る。たとえば、追加の分類器境界が、すべての既知クラスを未知クラスから分離するために生成され得る。
[0082]一構成では、未知サンプルは、既知クラスを除外する分布からのランダムトレーニングサンプルであり得る。すなわち、サンプルは、トレーニングされているクラスのポジティブ（positive）例ならびに１つまたは複数のネガティブ例を含み得る。たとえば、クラスが車の特定のモデルの画像に関してトレーニングされている場合、ポジティブ例は特定の車モデルの例を含み、ネガティブ例は他の車モデルの例を含む。
[0083]別の構成では、未知サンプルは合成サンプルである。すなわち、特徴空間において、距離メトリックなど、メトリックを使用して、既知クラス特徴を他の既知クラスから分離するために各既知クラス特徴に対して変換を適用することによって、合成未知クラス特徴が生成され得る。
[0084]一構成では、特徴空間においてクラスを表す複数のポイントが、ネガティブクラスを作成するように指定される。たとえば、ポイントのクラウドがクラスを表し得る場合、各サンプルからクラウドの中央までのベクトルが生成される。さらに、この例では、各ベクトルは反転され、反転されたベクトルの端部からネガティブサンプルが生成され得る。別の構成では、クラスを囲むベクトル空間中のポイントが、ネガティブクラスを生成するように指定される。ポイントは、ポジティブサンプルから生成されたベクトルを指すことがある。
[0085]図８Ａは、本開示の一態様による、ネガティブクラスを作成するためにポジティブポイント８００を使用する一例を示す。図８Ａに示されているように、複数のポジティブポイント８００が、特徴空間においてクラスタを形成する。さらに、図８Ａに示されているように、第１のポイント８０２からクラスタの中心までの第１のベクトル８０４が計算される。さらに、第１のベクトル８０４を反転する（裏返す）ことによって第２のベクトル８０６が生成される。最後に、第１の合成ネガティブポイント８０８が、第２のベクトル８０６に基づいて生成される。この例では、各ポジティブポイントのベクトルから生成された合成ネガティブポイントに基づいて、合成クラスが生成される。すなわち、あらゆるポジティブポイントについて、合成ネガティブポイントが生成される。図８Ａにおいて開示される態様は、特定のクラスタに限定されず、クラスタの異なるグループについても企図される。
[0086]図８Ｂは、本開示の一態様による、ネガティブクラスを作成するためにポジティブポイント８５０を使用する一例を示す。図８Ｂに示されているように、複数のポジティブポイント８５０が、特徴空間においてクラスタを形成する。さらに、この例では、各クラス中の複数のポジティブポイント８５０の全体的重心（global centroid）８５８が決定され、各クラス重心から全体的重心への中心方向（central direction）を定義するために使用される。各ポイントについて、クラスタ重心と各ポイントとからのベクトルのネガティブとしてネガティブベクトル８５４も定義される。ネガティブベクトル８５４と中心ベクトル８５２との間の角度に基づいて、ネガティブベクトルは、中心ベクトル８５２と同じ概略方向（general direction）を向くときに保持され、ここで、概略方向は、ネガティブベクトルと中心ベクトルとのドット積によって定義される。
[0087]たとえば、図８Ｂに示されているように、それらの間に９０度未満の角度をもつベクトルは、同じ概略方向を向くと見なされ得る。中心ベクトルの概略方向を向いていないものを除去した後に残る各ネガティブベクトル８５４から、ネガティブポイント８５６が生成される。さらに、ネガティブクラスがネガティブポイント８５６から生成される。図８Ａおよび図８Ｂにおいて開示される態様は、特定のクラスタに限定されず、クラスタの異なるグループについても企図される。
[0088]図９Ａは、本開示の一態様による、ネガティブクラスを作成するためにクラスタ９００、９０２、９１０のグループを使用する一例を示す。図９Ａに示されているように、複数のクラスタ９００、９０２、９１０は、特徴空間においてポジティブポイントから形成され得る。この例では、各クラスタからクラスタ９００、９０２、９１０のグループの全体的中心までの中心ベクトルが計算される。たとえば、図９Ａに示されているように、第１のベクトル９０４が、第１のクラスタグループ９０２から全体的中心（global center）９１２まで計算される。最後に、中心ベクトル（たとえば９０４）のスケーリングされたバージョンをポジティブクラス中のポイントの一部または全部に追加することによって、１つまたは複数のネガティブポイント９０８が生成される。この例では、合成ネガティブクラスが、ネガティブポイント９０８に基づいて生成される（クラスタ９００、９１０からのベクトルは示されていない）。
[0089]図９Ｂは、本開示の一態様による、ネガティブクラスを作成するためにクラスタ９５０、９６２、９７２のグループを使用する一例を示す。図９Ｂに示されているように、複数のクラスタ９５０、９６２、９７２は、特徴空間においてポジティブポイントから形成され得る。さらに、この例では、クラス９６２からクラスタ９５０および９７２までの２つのクラスタベクトル９５２が決定される。クラスタベクトル９５２に基づいて、ネガティブベクトル９５４（２つのみが示されている）が、クラスタ９６２中のポイントについて生成される。ネガティブベクトル９５４は、クラスタ中のポイントの全部または一部について生成され得る。さらに、１つまたは複数のネガティブポイント９５６が各ネガティブベクトル９５４から生成される。さらに、ネガティブクラスがネガティブポイント９５６から生成される。
[0090]また別の態様では、教師なし学習が未知クラスに関して発生する。未知クラスは、クラスタを取得するために分析される。クラスタは、次いで、クラスタを識別するためにより高性能のネットワークに送られ得る。
[0091]図１０は、未知クラス検出のための方法１０００を示す。ブロック１００２において、ネットワークは、複数の第１のクラスのための第１の分類器を生成する。一構成では、出力が、少なくとも２の次元を有する。さらに、ブロック１００４において、ネットワークは、入力データが複数の第１のクラスに属するのか１つまたは複数の第２のクラスに属するのかを決定するために、第１の分類器の出力を受信するように第２の分類器を設計する。第２の分類器は、線形または非線形のいずれかであり得る。
[0092]図１１は、合成ネガティブデータを生成するための方法１１００を示す。ブロック１１０２において、ネットワークは、複数のクラスから既知データを取得する。さらに、ブロック１１０４において、ネットワークは、既知データの関数としてネガティブデータを合成的に生成する。
[0093]図１２は、本開示の一態様による、未知クラス検出のための流れ図１２００を示す。ブロック１２０２において、第１の分類器が入力を受信する。分類器は、入力の抽出された特徴に基づいて入力を分類するか、または入力の抽出された特徴に基づいて第２の分類器をトレーニングするために入力を分類し得る。一例として、入力は画像である。第１の分類器は、シングルクラス分類器またはマルチクラス分類器であり得る。
[0094]第１の分類器は、サンプルが１つまたは複数のクラスに属する信頼度（たとえば、確率）を示すスコアのベクトルを出力する。従来のシステムでは、スコアは各クラスについての信頼度を生成するために正規化され、最も高い信頼度を有するクラスが、勝ったクラスとして選択され得る。一構成では、正規化されていない（たとえば、未加工）スコアが、バイナリ分類器など、第２の分類器をトレーニングするために使用され得る。すなわち、第２の分類器は、１つまたは複数の既知クラスに属するデータと１つまたは複数の既知クラスに属さないデータとの例を用いてトレーニングされ得る。
[0095]一構成では、１つまたは複数の既知クラスに属さないデータは、既知データの関数として合成的に生成されたネガティブデータである。したがって、オプションとして、ブロック１２０４において、既知データの関数としてネガティブデータを合成的に生成する。さらに、ブロック１２０６において、既知データおよび未知データのスコアに関して第２の分類器をトレーニングする。すなわち、バイナリ分類器が、サンプルが既知であるのか未知であるのかを認識し得るように、バイナリ分類器は、スコアのパターンを認識するようにトレーニングされ得る。
[0096]トレーニングの後に、第１の分類器は、入力を受信し、トレーニングされた第２の分類器に未加工スコアを出力し得る。ブロック１２０８において、トレーニングされた第２のバイナリ分類器は、第１の分類器がクラスを抽出された特徴に割り当てるより前に、サンプルが既知であるのか未知であるのかを決定する。たとえば、抽出された特徴が未知クラスである場合、第１の分類器はクラスを決定しないことがあり、第２の分類器は、抽出された特徴を未知として分類する（ブロック１２１２）。代替的に、抽出された特徴が既知クラスに属する場合、第１の分類器はクラスを決定するように指定され得る（ブロック１２１０）。
[0097]上記で説明された方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々な（１つまたは複数の）ハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。概して、図に示されている動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。
[0098]本明細書で使用される「決定すること」という用語は、多種多様なアクションを包含する。たとえば、「決定すること」は、算出すること（calculating）、計算すること（computing）、処理すること、導出すること、調査すること、ルックアップすること（たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること）、確認することなどを含み得る。さらに、「決定すること」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含み得る。さらに、「決定すること」は、解決すること、選択すること、選定すること、確立することなどを含み得る。
[0099]本明細書で使用される、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃを包含するものとする。
[00100]本開示に関連して説明された様々な例示的な論理ブロック、モジュールおよび回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明された機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
[00101]本開示に関連して説明された方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形態の記憶媒体中に常駐し得る。使用され得る記憶媒体のいくつかの例としては、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を備え得、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサと一体であり得る。
[00102]本明細書で開示された方法は、説明された方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく、互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は特許請求の範囲から逸脱することなく変更され得る。
[00103]説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスおよびブリッジを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプタを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプタは、信号処理機能を実装するために使用され得る。いくつかの態様では、ユーザインターフェース（たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど）もバスに接続され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路など、様々な他の回路をリンクし得るが、それらは当技術分野でよく知られており、したがってこれ以上説明されない。
[00104]プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、１つまたは複数の汎用および／または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、およびソフトウェアを実行することができる他の回路がある。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、例として、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または他の好適な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。
[00105]ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および／またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加として、機械可読媒体またはその任意の部分は、キャッシュおよび／または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。局所構成要素など、説明された様々な構成要素は、特定のロケーションを有するものとして説明され得るが、それらはまた、分散コンピューティングシステムの一部として構成されているいくつかの構成要素など、様々な方法で構成され得る。
[00106]処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を提供する１つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部を提供する外部メモリとをもつ汎用処理システムとして構成され得る。代替的に、処理システムは、本明細書で説明されたニューロンモデルとニューラルシステムのモデルとを実装するための１つまたは複数の神経形態学的プロセッサを備え得る。別の代替として、処理システムは、プロセッサをもつ特定用途向け集積回路（ＡＳＩＣ）と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部分とを用いて、あるいは１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、もしくは他の好適な回路、または本開示全体にわたって説明された様々な機能を実行することができる回路の任意の組合せを用いて、実装され得る。当業者は、特定の適用例と、全体的なシステムに課される全体的な設計制約とに応じて、どのようにしたら処理システムについて説明された機能を最も良く実装し得るかを理解されよう。
[00107]機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に常駐するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからＲＡＭにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、１つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実装されることが理解されよう。さらに、本開示の態様が、そのような態様を実装するプロセッサ、コンピュータ、機械、または他のシステムの機能に改善を生じることを諒解されたい。
[00108]ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。さらに、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は一時的コンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[00109]したがって、いくつかの態様は、本明細書で提示された動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明された動作を実行するために１つまたは複数のプロセッサによって実行可能である命令をその上に記憶した（および／または符号化した）コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。
[00110]さらに、本明細書で説明された方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合にユーザ端末および／または基地局によってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明された方法を実行するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明された様々な方法は、ユーザ端末および／または基地局が記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）をデバイスに結合するかまたは与えると様々な方法を得ることができるように、記憶手段によって提供され得る。その上、本明細書で説明された方法および技法をデバイスに提供するための任意の他の好適な技法が利用され得る。
[00111]特許請求の範囲は、上記で示された厳密な構成および構成要素に限定されないことを理解されたい。上記で説明された方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
未知クラスを検出する方法であって、
第１の複数のクラスのための第１の分類器を生成することと、前記第１の分類器の出力が、少なくとも２の次元を有する、
入力データが前記第１の複数のクラスに属するのか少なくとも１つの第２のクラスに属するのかを決定するために、前記第１の分類器の前記出力を受信するように第２の分類器を設計することと
を備える、方法。
［Ｃ２］
前記入力データが前記第１の複数のクラスのうちの１つに属さないとき、前記入力データを少なくとも１つの未知クラスに分類することをさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記第２の分類器を設計することが、前記第１の複数のクラスに属するデータと前記第１の複数のクラスに属さないデータとの例を用いて前記第２の分類器をトレーニングすることを備える、Ｃ１に記載の方法。
［Ｃ４］
前記第１の複数のクラスに属さない前記データが、合成的に生成されたネガティブデータを備える、Ｃ３に記載の方法。
［Ｃ５］
前記合成的に生成されたネガティブデータが、前記第１の複数のクラスからの既知データの関数である、Ｃ４に記載の方法。
［Ｃ６］
前記第１の複数のクラスに属さない前記データに少なくとも部分的に基づいて、前記第１の複数のクラスのうちの少なくとも１つ、前記少なくとも１つの第２のクラスのうちの１つ、またはそれらの組合せの境界を変更することをさらに備える、Ｃ３に記載の方法。
［Ｃ７］
前記第１の複数のクラスが複数の既知クラスである、Ｃ１に記載の方法。
［Ｃ８］
前記少なくとも１つの第２のクラスが、未知クラス、または前記第１の複数のクラスとは異なる複数のクラスを備える、Ｃ１に記載の方法。
［Ｃ９］
前記第２の分類器が線形または非線形である、Ｃ１に記載の方法。
［Ｃ１０］
合成ネガティブデータを生成する方法であって、
複数のクラスから既知データを取得することと、
前記既知データの関数としてネガティブデータを合成的に生成することと
を備える、方法。
［Ｃ１１］
前記ネガティブデータを合成的に生成することが、
既知データのクラスタ中の各既知データポイントと、前記クラスタの重心との間の第１のベクトルを計算することと、
クラスとは無関係に（independent of）、クラス固有クラスタの重心と、すべての既知データポイントの重心との間の第２のベクトルを計算することと
を備える、Ｃ１０に記載の方法。
［Ｃ１２］
前記第２のベクトル、または前記第１のベクトルのネガティブベクトルから前記ネガティブデータを生成することをさらに備える、Ｃ１１に記載の方法。
［Ｃ１３］
前記ネガティブデータ上で分類器をトレーニングすることをさらに備える、Ｃ１０に記載の方法。
［Ｃ１４］
前記ネガティブデータに少なくとも部分的に基づいて、少なくとも既存の既知クラス、既存の未知クラス、またはそれらの組合せの境界を変更することをさらに備える、Ｃ１０に記載の方法。
［Ｃ１５］
未知クラスを検出するための装置であって、
少なくとも１つのメモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサと
を備え、前記少なくとも１つのプロセッサは、
第１の複数のクラスのための第１の分類器を生成することと、前記第１の分類器の出力が、少なくとも２の次元を有する、
入力データが前記第１の複数のクラスに属するのか少なくとも１つの第２のクラスに属するのかを決定するために、前記第１の分類器の前記出力を受信するように第２の分類器を設計することと
を行うように構成された、
装置。
［Ｃ１６］
前記少なくとも１つのプロセッサは、前記入力データが前記第１の複数のクラスのうちの１つに属さないとき、前記入力データを少なくとも１つの未知クラスに分類するようにさらに構成された、Ｃ１５に記載の装置。
［Ｃ１７］
前記少なくとも１つのプロセッサが、前記第１の複数のクラスに属するデータと前記第１の複数のクラスに属さないデータとの例を用いて前記第２の分類器をトレーニングするようにさらに構成された、Ｃ１５に記載の装置。
［Ｃ１８］
前記第１の複数のクラスに属さない前記データが、合成的に生成されたネガティブデータを備える、Ｃ１７に記載の装置。
［Ｃ１９］
前記合成的に生成されたネガティブデータが、前記第１の複数のクラスからの既知データの関数である、Ｃ１８に記載の装置。
［Ｃ２０］
前記少なくとも１つのプロセッサが、前記第１の複数のクラスに属さない前記データに少なくとも部分的に基づいて、前記第１の複数のクラスのうちの少なくとも１つ、前記少なくとも１つの第２のクラスのうちの１つ、またはそれらの組合せの境界を変更するようにさらに構成された、Ｃ１７に記載の装置。
［Ｃ２１］
前記第１の複数のクラスが複数の既知クラスである、Ｃ１５に記載の装置。
［Ｃ２２］
前記少なくとも１つの第２のクラスが、未知クラス、または前記第１の複数のクラスとは異なる複数のクラスを備える、Ｃ１５に記載の装置。
［Ｃ２３］
前記第２の分類器が線形または非線形である、Ｃ１５に記載の装置。
［Ｃ２４］
合成ネガティブデータを生成するための装置であって、
少なくとも１つのメモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサと
を備え、前記少なくとも１つのプロセッサが、
複数のクラスから既知データを取得することと、
前記既知データの関数としてネガティブデータを合成的に生成することと
を行うように構成された、
装置。
［Ｃ２５］
前記少なくとも１つのプロセッサが、
既知データのクラスタ中の各既知データポイントと、前記クラスタの重心との間の第１のベクトルを計算することと、
クラス固有クラスタの重心と、クラスに依存しないすべての既知データポイントの重心との間の第２のベクトルを計算することと
を行うようにさらに構成された、Ｃ２４に記載の装置。
［Ｃ２６］
前記少なくとも１つのプロセッサが、前記第２のベクトルまたは前記第１のベクトルのネガティブベクトルから前記ネガティブデータを生成するようにさらに構成された、Ｃ２５に記載の装置。
［Ｃ２７］
前記少なくとも１つのプロセッサが、前記ネガティブデータ上で分類器をトレーニングするようにさらに構成された、Ｃ２４に記載の装置。
［Ｃ２８］
前記少なくとも１つのプロセッサが、前記ネガティブデータに少なくとも部分的に基づいて、少なくとも既存の既知クラス、既存の未知クラス、またはそれらの組合せの境界を変更するようにさらに構成された、Ｃ２４に記載の装置。
［Ｃ２９］
プログラムコードを記録した非一時的コンピュータ可読媒体であって、前記プログラムコードは、プロセッサによって実行され、
第１の複数のクラスのための第１の分類器を生成することと、前記第１の分類器の出力が、少なくとも２の次元を有するためのプログラムコードと、
入力データが前記第１の複数のクラスに属するのか少なくとも１つの第２のクラスに属するのかを決定するために、前記第１の分類器の前記出力を受信するように第２の分類器を設計するためのプログラムコードと
を備える、非一時的コンピュータ可読媒体。
［Ｃ３０］
プログラムコードを記録した非一時的コンピュータ可読媒体であって、前記プログラムコードが、プロセッサによって実行され、
複数のクラスから既知データを取得するためのプログラムコードと、
前記既知データの関数としてネガティブデータを合成的に生成するためのプログラムコードと
を備える、非一時的コンピュータ可読媒体。
［Ｃ３１］
未知クラスを検出するための装置であって、
第１の複数のクラスのための第１の分類器を生成するための手段と、前記第１の分類器の出力が、少なくとも２の次元を有する、
入力データが前記第１の複数のクラスに属するのか少なくとも１つの第２のクラスに属するのかを決定するために、前記第１の分類器の前記出力を受信するように第２の分類器を設計するための手段と
を備える、装置。
［Ｃ３２］
合成ネガティブデータを生成するための装置であって、
複数のクラスから既知データを取得するための手段と、
前記既知データの関数としてネガティブデータを合成的に生成するための手段と
を備える、装置。

Claims (10)

  1. 未知クラスを検出するコンピュータ実装された方法であって、
    第１の複数のクラスのための第１の分類器を生成することと、前記第１の分類器の出力が、少なくとも２の次元を有する、
    前記第１の分類器の前記出力を受信するように第２の分類器を設計することと、ここにおいて、前記第２の分類器が、入力データが前記第１の複数のクラスに属するのか少なくとも１つの未知クラスに属するのかを決定するように適合され、前記第２の分類器を設計することが、前記第１の複数のクラスに属するデータと前記第１の複数のクラスに属さないデータとの例を用いて前記第２の分類器をトレーニングすることを備える、
    前記入力データが前記第１の複数のクラスのうちの１つに属さないとき、前記入力データを少なくとも１つの未知クラスに分類することと
    を備える、コンピュータ実装された方法。
  2. 前記第１の複数のクラスに属さない前記データが、合成的に生成されたネガティブデータを備える、請求項１に記載のコンピュータ実装された方法。
  3. 前記合成的に生成されたネガティブデータが、前記第１の複数のクラスからの既知データの関数である、請求項２に記載のコンピュータ実装された方法。
  4. 前記第１の複数のクラスに属さない前記データに少なくとも部分的に基づいて、前記第１の複数のクラスのうちの少なくとも１つ、前記少なくとも１つの第２のクラスのうちの１つ、またはそれらの組合せの境界を変更することをさらに備える、請求項１に記載のコンピュータ実装された方法。
  5. 前記第１の複数のクラスが複数の既知クラスである、請求項１に記載のコンピュータ実装された方法。
  6. 前記少なくとも１つの未知クラスが、未知クラス、または前記第１の複数のクラスとは異なる複数の未知クラスを備える、請求項１に記載のコンピュータ実装された方法。
  7. 前記第２の分類器が線形または非線形である、請求項１に記載のコンピュータ実装された方法。
  8. 未知データが既知データになるように、前記未知データがラベリングされるべきであるかどうかを決定するために、ユーザをポーリングすることをさらに備える、請求項１に記載のコンピュータ実装された方法。
  9. プログラムコードを記録した非一時的コンピュータ可読媒体であって、前記プログラムコードは、プロセッサによって実行され、
    第１の複数のクラスのための第１の分類器を生成するためのプログラムコードと、前記第１の分類器の出力が、少なくとも２の次元を有する、
    前記第１の分類器の前記出力を受信するように第２の分類器を設計するためのプログラムコードと、ここにおいて、前記第２の分類器が、入力データが前記第１の複数のクラスに属するのか少なくとも１つの未知クラスに属するのかを決定するように適合され、前記第２の分類器を設計するための前記プログラムコードが、前記第１の複数のクラスに属するデータと前記第１の複数のクラスに属さないデータとの例を用いて前記第２の分類器をトレーニングするためのコードを備える、
    前記入力データが前記第１の複数のクラスのうちの１つに属さないとき、前記入力データを少なくとも１つの未知クラスに分類するためのプログラムコードと
    を備える、非一時的コンピュータ可読媒体。
  10. 未知クラスを検出するための装置であって、
    第１の複数のクラスのための第１の分類器を生成するための手段と、前記第１の分類器の出力が、少なくとも２の次元を有する、
    前記第１の分類器の前記出力を受信するように第２の分類器を設計するための手段と、ここにおいて、前記第２の分類器が、入力データが前記第１の複数のクラスに属するのか少なくとも１つの未知クラスに属するのかを決定するように適合され、前記第２の分類器を前記設計するための手段が、前記第１の複数のクラスに属するデータと前記第１の複数のクラスに属さないデータとの例を用いて前記第２の分類器をトレーニングするための手段を備える、
    前記入力データが前記第１の複数のクラスのうちの１つに属さないとき、前記入力データを少なくとも１つの未知クラスに分類するための手段と
    を備える、装置。
JP2018505589A 2015-08-04 2016-07-20 未知クラスの検出および未知クラスのための分類器の初期化 Active JP6776331B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562201090P 2015-08-04 2015-08-04
US62/201,090 2015-08-04
US14/849,518 US20170039469A1 (en) 2015-08-04 2015-09-09 Detection of unknown classes and initialization of classifiers for unknown classes
US14/849,518 2015-09-09
PCT/US2016/043146 WO2017023551A2 (en) 2015-08-04 2016-07-20 Detection of unknown classes and initialization of classifiers for unknown classes

Publications (3)

Publication Number Publication Date
JP2018528525A JP2018528525A (ja) 2018-09-27
JP2018528525A5 JP2018528525A5 (ja) 2019-08-08
JP6776331B2 true JP6776331B2 (ja) 2020-10-28

Family

ID=56555818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018505589A Active JP6776331B2 (ja) 2015-08-04 2016-07-20 未知クラスの検出および未知クラスのための分類器の初期化

Country Status (6)

Country Link
US (1) US20170039469A1 (ja)
EP (1) EP3332362B1 (ja)
JP (1) JP6776331B2 (ja)
KR (1) KR102595399B1 (ja)
CN (1) CN107924491A (ja)
WO (1) WO2017023551A2 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170178346A1 (en) * 2015-12-16 2017-06-22 High School Cube, Llc Neural network architecture for analyzing video data
US11188823B2 (en) * 2016-05-31 2021-11-30 Microsoft Technology Licensing, Llc Training a neural network using another neural network
DE102016008218A1 (de) * 2016-07-06 2018-01-11 Audi Ag Verfahren zum verbesserten Erkennen von Objekten durch ein Fahrerassistenzsystem
US11095590B2 (en) * 2016-09-28 2021-08-17 International Business Machines Corporation System and method for enhanced chatflow application
US10719770B2 (en) 2016-09-28 2020-07-21 International Business Machines Corporation System and method for enhanced chatflow application
US10417530B2 (en) 2016-09-30 2019-09-17 Cylance Inc. Centroid for improving machine learning classification and info retrieval
US10621210B2 (en) * 2016-11-27 2020-04-14 Amazon Technologies, Inc. Recognizing unknown data objects
US10747994B2 (en) 2016-12-28 2020-08-18 Captricity, Inc. Identifying versions of a form
CN207517054U (zh) * 2017-01-04 2018-06-19 意法半导体股份有限公司 串流开关
CA3056884A1 (en) 2017-03-17 2018-09-20 Neurala, Inc. Online, incremental real-time learning for tagging and labeling data streams for deep neural networks and neural network applications
US11531876B2 (en) * 2017-03-29 2022-12-20 University Of Florida Research Foundation, Incorporated Deep learning for characterizing unseen categories
US10242486B2 (en) * 2017-04-17 2019-03-26 Intel Corporation Augmented reality and virtual reality feedback enhancement system, apparatus and method
CA3061767A1 (en) * 2017-05-09 2018-11-15 Neurala, Inc. Systems and methods to enable continual, memory-bounded learning in artificial intelligence and deep learning continuously operating applications across networked compute edges
US11829848B2 (en) 2017-05-09 2023-11-28 Microsoft Technology Licensing, Llc Adding negative classes for training classifier
US20180336439A1 (en) * 2017-05-18 2018-11-22 Intel Corporation Novelty detection using discriminator of generative adversarial network
JP6967201B2 (ja) * 2017-09-26 2021-11-17 株式会社アイシン 情報処理装置
CN108205580B (zh) 2017-09-27 2021-08-31 深圳市商汤科技有限公司 一种图像检索方法、装置及计算机可读存储介质
KR102018788B1 (ko) * 2017-12-15 2019-11-04 서울시립대학교 산학협력단 이미지 분류 시스템 및 방법
US10528800B2 (en) * 2018-01-10 2020-01-07 International Business Machines Corporation Automated facial recognition detection
JP6933164B2 (ja) * 2018-03-08 2021-09-08 株式会社Ｊｖｃケンウッド 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム
EP3791321A1 (en) 2018-05-21 2021-03-17 Neurala, Inc. Systems and methods for deep neural networks on device learning (online and offline) with and without supervision
US20200057918A1 (en) * 2018-08-17 2020-02-20 Perfect Price, Inc. Systems and methods for training artificial intelligence to predict utilization of resources
CN109635863B (zh) * 2018-12-06 2023-08-25 邵凌霜 智能判断用户乘车的方法和装置
US11687761B2 (en) 2018-12-11 2023-06-27 Amazon Technologies, Inc. Improper neural network input detection and handling
JP7492226B2 (ja) * 2018-12-13 2024-05-29 成典 田中 移動物追跡装置
US10621473B1 (en) * 2019-01-30 2020-04-14 StradVision, Inc. Method for providing object detecting system capable of updating types of detectable classes in real-time by using continual learning and devices using the same
US11790275B2 (en) * 2019-04-18 2023-10-17 Teledyne Scientific & Imaging, Llc Adaptive continuous machine learning by uncertainty tracking
CN110047506B (zh) * 2019-04-19 2021-08-20 杭州电子科技大学 一种基于卷积神经网络和多核学习svm的关键音频检测方法
CN110188197B (zh) * 2019-05-13 2021-09-28 北京一览群智数据科技有限责任公司 一种用于标注平台的主动学习方法及装置
WO2020260925A1 (en) * 2019-06-24 2020-12-30 Mcguinness Fergal System for evaluating and replicating acturial calculation patterns using neural imaging and method thereof
CN114787876B (zh) * 2019-06-25 2025-11-21 奥金股份有限公司 用于图像预处理的系统和方法
EP3992906A4 (en) * 2019-06-25 2022-07-27 Panasonic Intellectual Property Management Co., Ltd. INFORMATION PROCESSING PROCEDURES AND INFORMATION PROCESSING SYSTEM
US11586982B2 (en) 2019-09-18 2023-02-21 Samsung Electronics Co., Ltd. Electronic and atomic structure computation utilizing machine learning
US11537898B2 (en) 2019-10-02 2022-12-27 Samsung Electronics Co., Ltd. Generative structure-property inverse computational co-design of materials
JP7270127B2 (ja) 2019-10-07 2023-05-10 パナソニックＩｐマネジメント株式会社 分類システム、分類方法、及びプログラム
WO2021100606A1 (ja) 2019-11-19 2021-05-27 昭和電工株式会社 機械学習装置、方法、プログラム、およびシステム
WO2021199706A1 (ja) * 2020-03-31 2021-10-07 東レ株式会社 データ分類装置、データ分類方法およびデータ分類プログラム
JP7354063B2 (ja) * 2020-05-14 2023-10-02 株式会社東芝 分類システム、プログラム及び学習システム
JP7101920B2 (ja) * 2020-05-15 2022-07-15 三菱電機株式会社 攻撃検知システム、攻撃検知方法および攻撃検知プログラム
DE102020209130B4 (de) * 2020-07-21 2023-05-11 Magna Exteriors Gmbh Verkleidungsanordnung zur Verkleidung eines Karosserieelements für ein Kraftfahrzeug, sowie ein Verfahren zur zwangsgesteuerten Verlagerung einer Luftleitvorrichtung einer Verkleidungsanordnung
JP7552287B2 (ja) * 2020-11-25 2024-09-18 セイコーエプソン株式会社 物体検出方法、物体検出装置、及び、コンピュータープログラム
BR112023018527A2 (pt) * 2021-03-23 2023-10-10 Qualcomm Inc Detecção de mudança de estado para retomar classificação de dados de sensor sequencial em sistemas embutidos
US12022358B2 (en) * 2021-04-13 2024-06-25 Qualcomm Incorporated Self-supervised passive positioning using wireless data
US11803575B2 (en) * 2022-01-24 2023-10-31 My Job Matcher, Inc. Apparatus, system, and method for classifying and neutralizing bias in an application
CN114241526B (zh) * 2022-02-28 2022-05-17 南京甄视智能科技有限公司 分类模型、训练方法、分类方法、电子设备及存储介质
JP7795944B2 (ja) * 2022-03-10 2026-01-08 株式会社日本総合研究所 情報処理方法、情報処理プログラム、及び情報処理装置
US12368503B2 (en) 2023-12-27 2025-07-22 Quantum Generative Materials Llc Intent-based satellite transmit management based on preexisting historical location and machine learning

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080199084A1 (en) * 2007-02-19 2008-08-21 Seiko Epson Corporation Category Classification Apparatus and Category Classification Method
WO2009090584A2 (en) * 2008-01-18 2009-07-23 Koninklijke Philips Electronics N.V. Method and system for activity recognition and its application in fall detection
US8386401B2 (en) * 2008-09-10 2013-02-26 Digital Infuzion, Inc. Machine learning methods and systems for identifying patterns in data using a plurality of learning machines wherein the learning machine that optimizes a performance function is selected
CN101359372B (zh) * 2008-09-26 2011-05-11 腾讯科技（深圳）有限公司 分类器的训练方法及装置、识别敏感图片的方法及装置
US9639780B2 (en) * 2008-12-22 2017-05-02 Excalibur Ip, Llc System and method for improved classification
US9165051B2 (en) * 2010-08-24 2015-10-20 Board Of Trustees Of The University Of Illinois Systems and methods for detecting a novel data class
US8589317B2 (en) * 2010-12-16 2013-11-19 Microsoft Corporation Human-assisted training of automated classifiers
JP5828552B2 (ja) * 2011-12-22 2015-12-09 本田技研工業株式会社 物体分類装置、物体分類方法、物体認識装置及び物体認識方法
US9715723B2 (en) * 2012-04-19 2017-07-25 Applied Materials Israel Ltd Optimization of unknown defect rejection for automatic defect classification
US10043264B2 (en) * 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification

Also Published As

Publication number Publication date
CN107924491A (zh) 2018-04-17
US20170039469A1 (en) 2017-02-09
KR20180037192A (ko) 2018-04-11
KR102595399B1 (ko) 2023-10-27
WO2017023551A2 (en) 2017-02-09
WO2017023551A3 (en) 2017-04-13
BR112018002248A2 (pt) 2018-09-18
EP3332362A2 (en) 2018-06-13
JP2018528525A (ja) 2018-09-27
EP3332362B1 (en) 2024-10-30

Similar Documents

Publication Publication Date Title
JP6776331B2 (ja) 未知クラスの検出および未知クラスのための分類器の初期化
JP6869948B2 (ja) ニューラルネットワークにおける転移学習
JP7037478B2 (ja) 分類のための強制的なスパース性
JP6859332B2 (ja) 選択的バックプロパゲーション
JP6862426B2 (ja) トレーニングされた機械学習モデルのパフォーマンスを改善するための方法
CN107430705B (zh) 用于重新训练分类器的样本选择
US20160283864A1 (en) Sequential image sampling and storage of fine-tuned features
JP2018528521A (ja) メディア分類
JP2018520404A (ja) ニューラルネットワークのためのトレーニング基準としてのフィルタ特異性
JP2018518740A (ja) バイアス項を介して深層ニューラルネットワーク中にトップダウン情報を組み込むこと
CN107209873A (zh) 用于深度卷积网络的超参数选择
JP2018526723A (ja) 画像中のオブジェクト検出のためのコンテキストベースの事前分布
KR20260018839A (ko) 그래프 뉴럴 네트워크들을 사용한 딥 뉴럴 네트워크 컴파일을 위한 프리프로세싱
KR20260020927A (ko) 그래프 뉴럴 네트워크들을 사용한 딥 뉴럴 네트워크 컴파일을 위한 프리프로세싱

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190628

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201007

R150 Certificate of patent or registration of utility model

Ref document number: 6776331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250