JP6983937B2 - 畳み込みニューラルネットワークにおける構造学習 - Google Patents

畳み込みニューラルネットワークにおける構造学習 Download PDF

Info

Publication number
JP6983937B2
JP6983937B2 JP2020042897A JP2020042897A JP6983937B2 JP 6983937 B2 JP6983937 B2 JP 6983937B2 JP 2020042897 A JP2020042897 A JP 2020042897A JP 2020042897 A JP2020042897 A JP 2020042897A JP 6983937 B2 JP6983937 B2 JP 6983937B2
Authority
JP
Japan
Prior art keywords
layers
neural network
layer
heterogeneous
heterogeneous layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020042897A
Other languages
English (en)
Other versions
JP2020091922A (ja
JP2020091922A5 (ja
Inventor
ラビノビッチ アンドリュー
バドリナラヤナン ヴィジャイ
デトン ダニエル
ラジェンドラン スリヴィグネシュ
バートラム リー ダグラス
ジェイ． マリシーウィッツ トマシュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2020091922A publication Critical patent/JP2020091922A/ja
Publication of JP2020091922A5 publication Critical patent/JP2020091922A5/ja
Application granted granted Critical
Publication of JP6983937B2 publication Critical patent/JP6983937B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本開示は、計算ネットワークに関し、より具体的には、階層表現をデータから学習するように構成される、ニューラルネットワークに関する。
ニューラルネットワークは、複雑な計算問題を解くために使用され得る生物学的脳処理の神経構造に倣って大まかにモデル化される計算アプローチに関する。ニューラルネットワークは、通常、層のセットとして編成され、各層は、種々の機能を含む相互接続されたノードのセットを含む。加重された接続は、ネットワーク内で処理され、種々の分析演算を行う機能を実装する。学習プロセスが、ネットワークおよびネットワーク内の接続に対する関連付けられた加重を構築ならびに修正するために採用され得る。接続加重を修正することによって、これは、ネットワークが、過去の分析から経時的に学習し、将来的分析結果を改良することを可能にする。
ニューラルネットワークは、任意の適切なタイプのデータ分析を行うために採用され得るが、特に、パターン分析および分類等の複雑な分析タスクに適用されるために適している。これらの技術の直接適用は、したがって、例えば、デジタルイメージングデバイスによって捕捉される画像データからの特定のオブジェクトおよびオブジェクトクラスの認識ならびに分類等のマシンビジョン機能を実装するために好適である。
当該分野において公知の多数のタイプのニューラルネットワークが存在する。深層ニューラルネットワークは、ニューラルネットワークのタイプの１つであり、深層学習技法が、多くの層の非線形処理のカスケードを実装し、分析機能を行うために適用される。深層学習アルゴリズムは、浅層学習アルゴリズムより多くの層を通してその入力を変換する。各層では、信号が、人工ニューロン等の処理ユニットによって変換され、そのパラメータは、訓練を通して学習される。
畳み込みニューラルネットワークも、ニューラルネットワークのタイプの１つであり、ネットワーク内の接続パターンは、生物学的視覚野機能から着想を得ている。視野が、ネットワークを通して構築され、入力刺激に対する個々の人工ニューロンの応答が、畳み込み演算によって数学的に近似され得る。
畳み込み深層ニューラルネットワークは、公知の技術において実装されている。ＬｅＮｅｔ（ＬｅＣｕｎ ｅｔ ａｌ．（１９９８年））、Ａｌｅｘ Ｎｅｔ（Ｋｒｉｚｈｅｖｓｋｙ ｅｔ ａｌ．（２０１２年））、ＧｏｏｇＬｅＮｅｔ（Ｓｚｅｇｅｄｙ ｅｔ ａｌ．（２０１５年））、およびＶＧＧＮｅｔ（Ｓｉｍｏｎｙａｎ ＆ Ｚｉｓｓｅｒｍａｎ（２０１５年））は全て、異なるタイプの深層ニューラルネットワークを実装する、ＣｏｎｖＮｅｔアーキテクチャの実施例である。これらのモデルは、非常に異なる（例えば、異なる深度、幅、および活性化関数）。しかしながら、これらのモデルは全て、１つの重要な点、すなわち、それぞれ、差し迫った問題についての設計者の洞察を具現化する手設計構造（ｈａｎｄ ｄｅｓｉｇｎｅｄ ｓｔｒｕｃｔｕｒｅ）であるという点において同一である。
これらのネットワークは、比較的に単純なレシピに従い、Ｇａｂｏｒフィルタまたはいくつかのその表現に類似する低レベル特徴を学習する、畳み込み層から開始する。後の層は、オブジェクト部分（顔、車等の部分）等のより高いレベルの特徴をエンコードする。最後に、最上位に、クラスにわたる確率分布を返す層が、存在する。ラベル空間において、訓練されたネットワークによって作られた出力にある構造を提供するアプローチがあるが、問題は、本構造が、これらのネットワークが設計および訓練されるとき、滅多に利用されないことである。
確率的グラフィカルモデルにおける構造学習が、提案されており、深層畳み込みネットワークにおける構造学習のための畳み込みアルゴリズムは、典型的には、２つのカテゴリ、すなわち、ネットをより小さくするものと、ネットをより良好にするものとのうちの１つに分けられる。扱いにくい事前に訓練されたネットワークを取り上げ、それらをより小さいメモリフットプリントを伴い、したがって、より少ない計算リソースを要求するネットワークに振り分けることに焦点を当てるアプローチが、提案されている。本技術のクラスは、「教師−生徒」パラダイムに従い、その目標は、教師を模倣する生徒ネットワークを作成することである。これは、Ｏｒａｃｌｅアーキテクチャおよびその学習された加重の両方から開始することを必要とする、すなわち、生徒の訓練は、後にのみ発生することを意味する。スペシャリストのアンサンブルを非常に大規模なデータセット上で蒸留するとき、計算上高価なアンサンブル訓練ステップは、最初に行われなければならない。
Ｆｅｎｇ ｅｔ ａｌの「Ｌｅａｒｎｉｎｇ ｔｈｅ Ｓｔｒｕｃｔｕｒｅ ｏｆ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ」は、深層モデルの構造の自動的学習側面に関する技法の実施例である。本アプローチは、Ｉｎｄｉａｎ Ｂｕｆｆｅｔ Ｐｒｏｃｅｓｓを使用して、構造を識別するための新しい畳み込みニューラルネットワークモデルを提案しており、構造が判定された後、プルーニングが、行われ、ネットワークのよりコンパクトな表現を作成する。しかしながら、本アプローチに関する１つの欠点は、層の数が静的であり続け、構造学習プロセスを通して多少なりとも複雑になるように強化されるものが静的な数の層内に存在する既知の個々の層のみであるということである。したがって、このアプローチは、構造を最適化するために必要とされ得る任意の新しい層を識別不能である。
したがって、畳み込みニューラルネットワークのための構造学習を実装するための改良されたアプローチの必要がある。
本発明のいくつかの実施形態は、ニューラルネットワークのための構造学習を実装する改良されたアプローチを対象とする。本アプローチは、ネットワークから開始し、ネットワークに、ラベル付きデータを有する問題を提供し、次いで、本ネットワークによって作られた出力の構造を精査する。ネットワークのアーキテクチャは、次いで、特定の問題に関するより優れた解を得るように修正される。エキスパートに、高度に複雑でドメイン特有のネットワークアーキテクチャを提案させるのではなく、本アプローチは、データが、特定のタスクのために使用されるであろうネットワークのアーキテクチャを駆動することを可能にする。
いくつかの実施形態によると、ニューラルネットワークは、（ａ）その構造内の情報利得ボトルネックを識別することと、（ｂ）予測の構造に適用し、ボトルネックを緩和することと、最後に、（ｃ）スペシャリスト経路の深度を判定することとによって、改良されることができる。
いくつかの実施形態は、ネットワークが解くことを標的とするデータ／問題内の相関を活用することによって、ニューラルネットワークの構造学習を実装し、貪欲アプローチが、最下畳み込み層から全接続層までの情報利得のボトルネックを見つけるために行われる。いくつかの実施形態では、ネットワークが、初期時間点において作成され、出力のセットが、指定されたタスクに適用され、例えば、画像認識／オブジェクト分類タスクを行うとき、ネットワークから作成される。次に、ネットワークモデル内の種々の層が、分析され、モデル内の最低性能層を識別する。付加的構造が、次いで、モデルの中に投入され、モデルの性能を改良する。特に、新しいスペシャリスト層が、識別された垂直位置においてモデルの中に挿入され、モデルの性能を強化させる。単に、１つの汎用経路に複数のタイプのオブジェクトのための分類を行わせるのではなく、第１の新しいスペシャリスト層が、第１のタイプのオブジェクトの分類に対処するためだけに追加されてもよく、第２の新しいスペシャリスト層が、第２のタイプのオブジェクトの分類に対処するためだけに追加されてもよい。本アクションを行うことによって、経時的に、これらのスペシャリストコンポーネントはそれぞれ、スペシャリストが、そのスペシャリストコンポーネントに割り当てられる特定のサブドメインについて広範なレベルの詳細を学習するように強制されるため、その専用エリアの専門知識について高度に知識豊富となる。このように、モデルは、ネットワークの他の部分と比較して準最適として具体的に識別された分類のエリアに直接対処するであろう、新しい層を追加することによって改良される。本同一プロセスは、モデルの残りを通して継続し、修正および／または強化されるべき任意の付加的層を識別する。
ある実施形態では、「損失」機構（例えば、損失層、損失関数、および／またはコスト関数）が、ネットワークの各層に含まれる。単に、単一の最上位レベル損失層を有する代わりに、付加的損失層が、ネットワーク内の他の層に追加され、例えば、深層ニューラルネットワークは、複数の損失層を特徴抽出の中間および最終段階に有し、各損失層は、その深度点までのネットワークの性能を測定する。予測が、各損失層において生成され、個別の混同行列に変換され、ネットワークに関する全ての混同行列を含有するテンソルＴを形成することができる。Ｔおよびその要素の構造を分析することによって、深度および幅の両方の観点から、ネットワークの既存の構造を修正および強化することが目標となる。一方で、特徴共有を最大限にし、計算を削減し、さらに他方で、正確度を増加させるために、既存のネットワークの構造を再構築することが目標となる。そのために、本アプローチは、その現在の性能に従って、ネットワークの深度ならびに幅をパーティショニングする。したがって、垂直分割が、いくつかの実施形態では、例えば、異なる層間のドット積を計算することによって行われる。アーキテクチャを深度においてパーティショニングするために、いくつかの実施形態は、近傍層における連続損失関数評価に対応する、近傍サブ空間を比較する。加えて、水平分割が、例えば、Ｋ分割法を行うことによって行われる。特定の層におけるネットワークの性能を改良するために、その構造（例えば、全畳み込み）は、強化を要求し得る。ネットワークの一部は、一般的知識に焦点を当てる一方（ジェネラリスト）、その他は、相互間に高い類似を有するラベルの小サブセットに集中する（スペシャリスト）。層ｉによって達成される知識は、ネットワークの第１の水平パーティショニングを行うために使用されるであろう。処理は、ネットワークの最上位層に到達するまで継続する（例えば、再帰様式において）。本時点で、最終モデルは、コンピュータ可読媒体の中に記憶される。
いくつかの実施形態は、スペシャリストの深層学習に関する。ジェネラリストの構造は、一般的知識には良好に性能を発揮することが公知であるが、この同一構造がスペシャリストでも良好に性能を発揮するであろうことは、保証されておらず、スペシャリストのタスクは、より単純または複雑な表現を要求し得る。いくつかの実施形態は、各スペシャリストの構造が、データ駆動様式において、深度方向分割を介して、ジェネラリストの構造から逸脱することを可能にする。
これらの技法の付加的変形例が、代替実施形態において適用されてもよい。例えば、分割対（垂直または水平）毎に、ネットワークは、再訓練され、所与の経路における分類を得ることができる。ある実施形態では、凝集型クラスタリングおよび／または分割等によって、これを加速するための、および／またはそれを完全に回避するための技法が、適用されることができる。さらに、混同行列ＣｉおよびそのパーティショニングＫを前提として、凝集型クラスタリングが、ＣｉのＫ部分のそれぞれに行われ、さらなる分割を推定してもよい。これは、コストＸｕにつながる。コストＸｓは、教師ありグループ化のコストであり、高レベルのネットワークにおいて新しい混同行列を学習する。Ｘｕは、Ｘｓ＋Ｔａｕ未満またはそれと等しく、Ｔａｕは、クラスタリング誤差の上界である。
いくつかの実施形態では、変形例が、畳み込み層対全接続（１×１畳み込み）に関して考慮される。分割が、畳み込み層間で要求される場合（意味論セグメント化の場合等の全畳み込み層でさえ）、層の線形サイズ（この場合、ｆｃ）を変化させる代わりに、次元の深度が、変化され、クラスの数（これは、ＦＣＮの拡張である）を反映してもよい。
さらなる変形例および実施形態が、経路あたりの垂直層の縮約または追加、ラベル空間の関数として層のサイズ変化、および／または検出ならびにＲＮＮ（混同を比較することによって同一方法で展開する）の拡張を使用してなされてもよい。
さらに別の実施形態では、より少ない層が要求される処理タスクのために適正となるであろうように、あまりに多くの層がネットワーク内に存在し得るとき、それを識別するための技法が、適用されてもよい。前述のように、確実に、深度をネットワークに追加し、十分な訓練データを前提として、性能の改良を認めることができる。しかしながら、本追加された性能上昇は、ＦＬＯＰおよびメモリ消費の観点から代償が伴い得る。いくつかの実施形態では、ネットワークは、ネットワーク内の所与の計算層がバイナリ決定を介して使用されるかどうかを学習する、オール・オア・ナッシングハイウェイネットワークの使用を考慮して、本トレードオフを用いて最適化される。所与の計算ブロックが使用される場合、ペナルティを被る。本ペナルティ項を変動させることによって、標的アーキテクチャを考慮して、学習プロセスをカスタマイズすることができる。すなわち、内蔵システムは、クラウドベースのシステムよりはるかに無駄のないアーキテクチャを好むであろう。
本発明の側面、目的、および利点のさらなる詳細は、以下の詳細な説明、図面、および請求項に説明される。前述の発明の概要および以下の詳細な説明は両方とも、例示的かつ説明的であって、本発明の範囲に関する限定を意図するものではない。
本発明は、例えば、以下を提供する。
（項目１）
プロセッサを用いて実装される方法であって、
ニューラルネットワークを作成するステップと、
前記ニューラルネットワークから出力を生成するステップと、
前記ニューラルネットワークから低性能層を識別するステップと、
新しいスペシャリスト層を前記低性能層に挿入するステップと、
前記ニューラルネットワークの最上位層に到達するまで繰り返すステップと
を含む、方法。
（項目２）
更新されたモデルは、複数の新しいスペシャリスト層と、少なくとも１つのジェネラリスト層とを備える、項目１に記載の方法。
（項目３）
前記新しいスペシャリスト層は、別のスペシャリスト層によってハンドリングされるサブドメインと明確に異なるデータの特定のサブドメインに焦点を当てる、項目１に記載の方法。
（項目４）
複数の損失層が、前記ニューラルネットワークに追加される、項目１に記載の方法。
（項目５）
前記複数の損失層は、前記ニューラルネットワークの各層に追加される、項目４に記載の方法。
（項目６）
予測が、各損失層において生成され、１つまたはそれを上回る混同行列に変換され、前記ニューラルネットワークに関する前記１つまたはそれを上回る混同行列の全てを有するテンソルＴを形成する、項目４に記載の方法。
（項目７）
Ｔの構造は、深度および幅の両方の観点から、分析され、前記ニューラルネットワークの既存の構造を修正および強化する、項目６に記載の方法。
（項目８）
前記ニューラルネットワークは、垂直分割および水平分割の両方を受ける、項目１に記載の方法。
（項目９）
Ｋ分割法が、前記水平分割を実装するために行われる、項目８に記載の方法。
（項目１０）
前記ネットワークの各層は、独立して対処され、所与の層は、貪欲選択を行い、層を分割させることによって、分割を受け、これは、訓練損失に関する最良改良を提供する、項目１に記載の方法。
（項目１１）
オール・オア・ナッシングハイウェイネットワークが、除去されるべき前記ニューラルネットワーク内の層を識別するために採用される、項目１に記載の方法。
（項目１２）
前記ニューラルネットワークは、仮想現実または拡張現実システムのために捕捉された画像を分類するために採用される、項目１に記載の方法。
（項目１３）
システムであって、
プロセッサと、
プログラマブルコードを保持するためのメモリと
を備え、前記プログラマブルコードは、方法１−１２のいずれかを実行するための命令を含む、システム。
（項目１４）
コンピュータ可読媒体上で具現化されるコンピュータプログラム製品であって、前記コンピュータ可読媒体は、プロセッサによって実行されると、前記プロセッサに方法１−１２のいずれかを実行させる、その上に記憶される命令のシーケンスを有する、コンピュータプログラム製品。
図面は、本発明の種々の実施形態の設計および可用性を図示する。図は、正確な縮尺で描かれておらず、同様の構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点ならびに目的を得る方法をより深く理解するために、上記で簡単に説明されたより詳細な説明が、付随の図面に図示されるその特定の実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、したがって、その範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通して付加的具体性および詳細とともに記載ならびに説明されるであろう。
図１は、ニューラルネットワークのための構造学習を実装するために、本発明のいくつかの実施形態において採用され得る、例示的システムを図示する。 図２は、本発明のいくつかの実施形態による、ニューラルネットワークのための構造学習を実装するアプローチのフローチャートを図示する。 図３は、いくつかの実施形態による、ニューラルネットワークのための構造学習を実装するアプローチのより詳細なフローチャートを図示する。 図４Ａ−４Ｆは、本発明の種々の実施形態を図示する。 図４Ａ−４Ｆは、本発明の種々の実施形態を図示する。 図４Ａ−４Ｆは、本発明の種々の実施形態を図示する。 図４Ａ−４Ｆは、本発明の種々の実施形態を図示する。 図４Ａ−４Ｆは、本発明の種々の実施形態を図示する。 図４Ａ−４Ｆは、本発明の種々の実施形態を図示する。 図５Ａ−５Ｂは、ネットワーク内にあまりに多くの層が存在し得るとき、それを識別するアプローチを図示する。 図５Ａ−５Ｂは、ネットワーク内にあまりに多くの層が存在し得るとき、それを識別するアプローチを図示する。 図６Ａ−６Ｄは、種々の実施形態のための一般的ＡＲシステムコンポーネントオプションを図示する。 図６Ａ−６Ｄは、種々の実施形態のための一般的ＡＲシステムコンポーネントオプションを図示する。 図６Ａ−６Ｄは、種々の実施形態のための一般的ＡＲシステムコンポーネントオプションを図示する。 図６Ａ−６Ｄは、種々の実施形態のための一般的ＡＲシステムコンポーネントオプションを図示する。 図７は、本発明のいくつかの実施形態が実装され得る、コンピュータ化システムを描写する。
本発明のいくつかの実施形態は、ニューラルネットワークのための構造学習を実装する改良されたアプローチを対象とする。本アプローチは、ネットワークから開始し、ネットワークに、ラベル付きデータを有する問題を提供し、次いで、本ネットワークによって作られた出力の構造を精査する。ネットワークのアーキテクチャは、次いで、特定の問題に関するより優れた解を得るように修正される。エキスパートに、高度に複雑かつドメイン特有ネットワークアーキテクチャを提案させるのではなく、本アプローチは、データが、特定のタスクのために使用されるであろうネットワークのアーキテクチャを駆動することを可能にする。
図１は、ニューラルネットワークのための構造学習を実装するために本発明のいくつかの実施形態において使用され得る、例示的システムを図示する。本システムは、コンピューティングシステム１０７または１１５とインターフェースをとり、それを動作させ、システムを制御および／またはそれと相互作用する、１人またはそれを上回るユーザを含んでもよい。本システムは、ニューラルネットワークコンピューティングデバイス１０７またはユーザコンピューティングデバイス１１５を動作させる、それとインターフェースをとる、またはそれを実装するために使用され得る、任意のタイプのコンピューティングステーションを備える。そのようなコンピューティングシステムの実施例は、例えば、サーバ、ワークステーション、パーソナルコンピュータ、またはネットワーク化もしくはクラウドベースのコンピューティングプラットフォームに接続される、遠隔コンピューティング端末を含む。コンピューティングシステムは、ユーザが、マウスまたはキーボード等のシステムのアクティビティにわたる動作制御を提供し、ポインティングオブジェクトを操作するための１つまたはそれを上回る入力デバイスを備えてもよい。コンピューティングシステムはまた、コンピューティングシステムのユーザへの制御インターフェースおよび／または分析結果のために、ディスプレイモニタ等のディスプレイデバイスと関連付けられてもよい。
いくつかの実施形態では、コンピュータビジョン機能性を実装するためのシステムが、採用される。したがって、本システムは、システムが動作する環境内の１つまたはそれを上回るオブジェクト１０５に関する画像データ１０１を捕捉するためのカメラ１０３等の１つまたはそれを上回る画像捕捉デバイスを含んでもよい。画像データ１０１および／または任意の分析結果（例えば、分類出力データ１１３）は、１つまたはそれを上回るコンピュータ可読記憶媒体内に記憶されてもよい。コンピュータ可読記憶媒体は、コンピュータ可読記憶媒体に位置するデータへの容易なアクセスを可能にする、ハードウェアおよび／またはソフトウェアの任意の組み合わせを含む。例えば、コンピュータ可読記憶媒体は、オペレーティングシステムによって動作可能に管理される、コンピュータメモリおよび／またはハードドライブストレージ、ならびに／もしくはネットワーク接続ストレージ（ＮＡＳ）、ストレージエリアネットワーク（ＳＡＮ）、またはクラウドストレージ等のネットワーク化された記憶デバイス内の遠隔ストレージとして実装され得る。コンピュータ可読記憶媒体はまた、永続および／または非永続ストレージ上にストレージを有する、電子データベースシステムとして実装され得る。
ニューラルネットワークコンピューティングデバイス１０７は、構造学習モジュール１０９を含み、オリジナルモデル１を改良されたモデルｎに修正し、モデルｎは、可能性として、モデル内の層を修正するための複数の反復プロセスの結果である。モデルｎは、好ましくは、知識、本質的には、エキスパートの混合内に深度および幅を含む。モデルは、大まかなカテゴリ間の差異を理解し、さらに同時に、種々のドメインを横断した細かい粒度のクラスに関する差異も理解すべきである。新しいスペシャリスト層１１１が、必要に応じて、モデルに追加され、これらの目標を実装する。そのようなシステムの設計は、それらが要求される場所にのみリソースを追加するという制約によって支配される。単に、恣意的に、より深くかつより広くすることによって、ネットワークを拡張させることは、計算制約に起因して、スケーリングをもたらさず、したがって、本アプローチは、余剰正則化トリック（ｅｘｔｒａ ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｔｒｉｃｋ）の必要性を回避する。
図２は、本発明のいくつかの実施形態による、ニューラルネットワークのための構造学習を実装するアプローチのフローチャートを示す。本アプローチは、ネットワークが解くことを目標とするデータ／問題内の相関を活用することによって、ニューラルネットワークの構造学習を実装する。最下畳み込み層から全接続層までの情報利得のボトルネックを見つける、貪欲アプローチが、説明される。単に、恣意的に、アーキテクチャをより深くするのではなく、付加的計算および容量は、要求される場合のみ追加される。
１３１では、ネットワークが、初期時点で作成される。任意の好適なアプローチが、ネットワークを作成するために使用されることができる。例えば、従来のＡｌｅｘｎｅｔまたはＧｏｏｇｌｅｎｅｔアプローチが、ネットワークを生成するために使用されてもよい。
次に、１３３では、出力のセットが、指定されたタスクに適用され、例えば、画像認識／オブジェクト分類タスクを行うとき、ネットワークから生成される。例えば、ある数の人々および動物が、環境内に存在し、割り当てられるタスクが、画像データを分析し、環境内で観察され得る、異なる人々およびタイプの動物を分類することであると仮定する。モデルの各層は、その層内で行われるアクティビティに関してある出力を提供する。出力は、それに対してある構造を有し、これは、解かれている分類問題内のクラス間の関係を確認するために精査され得る。
１３５では、ネットワークモデル内の種々の層が、分析され、モデル内の最低性能層を識別する。例えば、モデルが１０の層を有し、層１から３および層５から１０の層はそれぞれ、分類正確度に１０％改良を提供するが、層４のみが、１％改良を提供すると仮定する。本状況では、層４は、最低性能層として識別されるであろう。
次に、１３７では、付加的構造が、モデルの性能を改良するためにモデルの中に投入される。特に、新しいスペシャリスト層が、モデルの性能を強化するために、識別された垂直位置においてモデルの中に挿入される。
本発明の実施形態の本側面を説明するために、モデルは、図４Ａに図示されるように、環境内の人々および動物の分類を行うことが意図されると仮定する。ここでは、画像捕捉デバイスは、異なる人々（例えば、女性４０１、男性４０３、および子供４０５）の画像を捕捉する。加えて、環境は、複数の動物（例えば、ネコ４０７、イヌ４０９、およびマウス４１１）を含む。さらに、既存のモデルは、人々（４０１、４０３、４０５）を動物（４０７、４０９、４１１）から正常に区別することが可能であるが、異なる人々を相互から区別する、または異なるタイプの動物を相互から区別することがより困難であると考えられると仮定する。ネットワーク（例えば、Ｏｒａｃｌｅネットワーク）から学習され得る実際の構造を精査する場合、ネットワークが行われている予測間に学習依存性を含むことが明らかである。しかしながら、従来の深層学習アーキテクチャ設計では、これは、利用されない。本構造をさらにより細かく吟味する場合、システムは、実際には、視覚的に相互に類似する学習概念であることが明白である。図４Ｂを参照すると、クラスの３Ｄにおける例示的散布図が、複数のグループにクラスタリングされた完全に訓練されたＡｌｅｘＮｅｔに関する予測の例示的構造を図示するように示される。点間の距離は、概念間の視覚的類似に対応する。ここでは、人々のオブジェクトに関する点の第１の集密クラスタリングと、動物オブジェクトに関する点の第２の集密クラスタリングとが存在することが分かる。本現象は、モデルが１人の人物を別の人物からまたは１匹の動物を別の動物から区別することが可能となることの困難性に寄与し得る。
本発明のいくつかの実施形態における本状況では、単に、１つの汎用経路にこれらのタイプのオブジェクトの全てに関して分類を行わせるのではなく、第１の新しいスペシャリスト層が、人々の分類に対処するためだけに追加されてもよく、第２の新しいスペシャリスト層が、動物の分類に対処するためだけに追加されてもよい。１つのスペシャリスト（人々スペシャリスト層）が、したがって、図４Ｂにおけるチャートの部分４１３に関するデータをハンドリングするために割り当てられるであろう一方、第２のスペシャリスト（動物スペシャリスト層）が、図４Ｂにおける部分４１５に関するデータをハンドリングするために割り当てられるであろう。本アクションを行うことによって、経時的に、これらのスペシャリストコンポーネントはそれぞれ、スペシャリストが、そのスペシャリストコンポーネントに割り当てられた特定のサブドメインについて広範なレベルの詳細を学習するように強制されるため、その専用エリアの専門知識について高度に知識豊富となる。このように、モデルは、ネットワークの他の部分と比較して準最適として具体的に識別された分類のエリアに直接対処するであろう、新しい層を追加することによって改良される。
本同一プロセスは、モデルの残りを通して継続し、修正および／または強化されるべき任意の付加的層を識別する。したがって、１３９において、処理がネットワークの最上位層に到達したかどうか判定される。該当する場合、モデルは、１４１において終了される。該当しない場合、プロセスは、１３３に戻り、ネットワークの最上位層に到達するまで、プロセスを継続する。
本アプローチは、任意の既製の畳み込みニューラルネットワークのアーキテクチャを修正および改良するために行われることができる。本開示の本発明のアプローチに従うことによって、任意のニューラルネットワークは、（ａ）その構造内の情報利得ボトルネックを識別し、（ｂ）予測の構造に適用し、ボトルネックを緩和し、最後に、（ｃ）スペシャリスト経路の深度を判定することによって、改良されることができる。
図３は、いくつかの実施形態による、ニューラルネットワークのための構造学習を実装するアプローチのより詳細なフローチャートを図示する。本フローの目的のために、ネットワーク（例えば、モノリシックネットワーク）が、ＡｌｅｘｎｅｔまたはＧｏｏｇｌｅｎｅｔ等の任意の好適なアプローチに従ってすでに作成されていると仮定する。
１５１では、「損失」機構（例えば、損失層、損失関数、および／またはコスト関数）が、ネットワークの各層に含まれる。損失機構は、イベントまたは値をニューラルネットワーク内の処理と関連付けられたコストまたは誤差値の表現に写像する、機能に対応する。図４Ｃに示されるように、単に、単一の最上位レベル損失層４２１を有する代わりに、付加的損失層４２３が、ネットワーク内の他の層に追加される。したがって、本図は、複数の損失層を特徴抽出の中間および最終段階に伴う、深層ニューラルネットワークの実施例を示し、各損失層は、深度内のその点までのネットワークの性能を測定する。目標は、そのアーキテクチャを修正し、タスクに最良適合させることによって、ネットワークアーキテクチャを強化および修正し、所与の問題を可能な限り最良に解くことであることを思い出されたい。したがって、本アプローチは、ネットワーク全体を通して種々の損失層において形成される予測を分析し、それらの間の混同に基づいて、ニューロン活性化をグループ化する。
図４Ｄおよび４Ｅに図示されるように、予測が、各損失層において生成され、個別の混同行列に変換され（図４Ｄに示されるように）、ネットワーク、例えば、Ｏｒａｃｌｅネットワークのための全ての混同行列を含有するテンソルＴを形成する（図４Ｅに示されるように）。Ｔおよびその要素の構造を分析することによって、深度および幅の両方の観点から、ネットワークの既存の構造を修正および強化することが目標となる。
説明するために、Ｃｉは、クラスの混同行列とすると、損失層ｉは、したがって、以下となる。
Figure 0006983937
 式中、Ａｉは、損失層ｉにおけるアフィニティ行列であって、Ｄｉは、対角行列であって、Ｌｉは、グラフＬａｐｌａｃｉａｎであって、
Figure 0006983937
 は、Ｃｉによって作られたアフィニティ行列のグラフＬａｐｌａｃｉａｎの先頭固有ベクトルによってスパンされたサブ空間である。その結果、テンソルは、以下となる。
Figure 0006983937
一方で、特徴共有を最大限にし、計算を削減し、さらに他方で、正確度を増加させるために、既存のネットワークの構造を再構築することが目標となる。そのために、本アプローチは、その現在の性能に従って、ネットワークの深度ならびに幅をパーティショニングする。
したがって、１５３では、垂直分割が、例えば、異なる層間のドット積を計算することによって行われる。アーキテクチャを深度においてパーティショニングするために、いくつかの実施形態は、以下の方程式を使用して、近傍層における連続損失関数評価に対応する、近傍サブ空間を比較する。
Figure 0006983937
ここでは、
Figure 0006983937
 および
Figure 0006983937
 は、レベルｉおよびｉ＋１における損失関数に関する混同行列の近似先頭固有ベクトルを示し、
Figure 0006983937
 は、Ｆｒｏｂｅｎｉｕｓノルムを示す。形式上、
Figure 0006983937
 および
Figure 0006983937
 は、ＮＥ−次元サブ空間を表し、Φ（ｉ，ｉ＋１）は、それらの間の正規化された補完角度である。本測定値Φは、
Figure 0006983937
 および
Figure 0006983937
 の列によってスパンされるサブ空間のみに依存し、したがって、固有ベクトルの回転に対して不変であることに留意することが重要である。また、Φは、［０，１］内に制約され、レベルｉおよびｉ＋１は、Φ（ｉ，ｉ＋１）がゼロに近い場合、構造において類似すると見なされ、Φ（ｉ，ｉ＋１）が直交するとき、正確に１である。完全な類似関係をスケール空間のレベル間に構築するために、全ての近傍損失層対が、Φを使用して比較される。確立された類似関係を用いることで、ここで、モノリシックネットワークアーキテクチャをパーティショニングする問題に対処することが可能となる。
Φが、全てのｉおよびｉ＋１のシーケンシャル対のベクトルであって、φｉ＝Φ（ｉ、ｉ＋１）であるとする。ゼロに最も近いφｉの値は、層ｉとｉ＋１との間の最低情報利得を示す。したがって、ａｒｇｍｉｎ（φ）は、モノリシックアーキテクチャの最適初期分割である。アーキテクチャを深度において分割することは、特徴共有を促進する一方、冗長点（ゼロ情報利得）を識別する。
１５５では、水平分割が、例えば、Ｋ分割法を行うことによって行われる。特定の層におけるネットワークの性能を改良するために、その構造（例えば、全畳み込み）は、強化を要求し得る。ネットワークの一部は、一般的知識に焦点を当てる一方（ジェネラリスト）、その他は、相互間に高い類似を有するラベルの小サブセットに集中する（スペシャリスト）。層ｉによって達成される知識は、ネットワークの第１の水平パーティショニングを行うために使用されるであろう。
形式上、Ｃｉを前提として、上記に開示されるような方程式（１）、（２）、および（３）に従って、Ｌｉを計算する。固有ギャップが、グラフＬａｐｌａｃｉａｎ Ｌｉの先頭固有値を分析し、新しい経路（スペシャリスト）の数を判定することによって判定される。オリジナルデータが、Ｌｉの最上位Ｎ先頭固有ベクトル上に投影され、ＲＮでは、データはさらに、ｋ個のクラスにクラスタリングされ、ｋは、固有ギャップと等しい。そのような投影およびグループ化の実施例は、図４Ｂに図示される。本プロシージャは、第１の分割後のネットワーク４０７を図示する、図４Ｆに示されるように、アーキテクチャの修正につながるであろう。
いったん第１の分割が確立されると、全ての新しい経路が、オリジナルネットワークとして取り扱われる。分割プロシージャは、分割のためのさらなるラベルがなくなる、または１００％正確度が達成されるまで適用される。
１５７では、前述の処理は、ネットワークの最上位層に到達するまで継続する（例えば、再帰様式において）。本時点で、最終モデルが、コンピュータ可読媒体の中に記憶される。
本開示の本部分は、スペシャリストの深層学習に関する。ジェネラリストの構造は、一般的知識には良好に性能を発揮することが公知であるが、本同一構造がスペシャリストでも良好に性能を発揮するであろうことは、保証されておらず、スペシャリストのタスクは、より単純または複雑な表現を要求し得る。いくつかの実施形態は、各スペシャリストの構造が、データ駆動様式において、深度方向分割を介して、ジェネラリストの構造から逸脱することを可能にする。
Ｌ＝｛Ｌ１，Ｌ２，…．，Ｌｎ｝が、さらなる分割のために検討される全接続層のセットであるとする。出力ｙを作る、Ｌ内の層Ｌｉを検討する。その入力に、ｙ＝σ（ｆ（ｘ））（但し、σ（）は、ＲｅＬＵ等の非線形性に適用され、ｆ（ｘ）＝Ｗｘ（Ｗは、次元Ｍ×Ｎの学習された加重行列であって、ｘは、次元Ｎ×１を有する本層への入力である）である）として適用される、変換を書き込むことができる。分割を行うために、本アプローチは、Ｌｉの変換をｙ＝σ１（ｇ（σ２（ｈ（ｘ）））（但し、σ１（）およびσ２（）は、活性化関数であり、ｇ（ｘ）＝Ｗ１ｘおよびｈ（ｘ）＝Ｗ２ｘ（Ｗ１は、次元Ｎ×Ｎを有し、Ｗ２は、次元Ｍ×Ｎを有する）に分解する。本アプローチは、以下を選定する。
Figure 0006983937
ここでは、Ｗ＝ＵΣＶＴは、ＷのＳＶＤ因数分解であって、Ｉは、単位行列である。本変化を用いることで、層Ｌｉの変換は、不変である。Ｌｉの学習された表現の複雑性を増加させるために、σ２をＲｅＬＵ等の非線形活性化関数として設定し得る。しかしながら、本非線形性の追加は、Ｌｉの学習された表現に急激な変化を生じさせ、ネットワークにその学習の多くを始めから再開させ得る。代わりに、ＰＲｅＬＵ非線形性を挿入し、その単一パラメータａを１であるように初期化することができ、これは、方程式８におけるＩと同等である。これは、スペシャリストに新しい非線形性を本層に導入するための平滑機構を提供する。
層Ｌのセットを前提として、前述の方略を各層Ｌｉに独立して適用し、分割を貪欲に選定することができ、これは、訓練損失に関する最良の改良を提供する。本プロセスは、層Ｌｎｅｗ＝｛Ｌ１，Ｌ２，…．，Ｌｎ，Ｌｎ＋１｝のセットに再帰的に繰り返されることができる。
これらの技法の付加的変形例が、代替実施形態において適用されてもよい。例えば、分割対（垂直または水平）毎に、ネットワークは、再訓練され、所与の経路における分類を得ることができる。ある実施形態では、凝集型クラスタリングおよび／または分割等によって、これを加速するための、および／またはそれを完全に回避するための技法が、適用されることができる。さらに、混同行列ＣｉおよびそのパーティショニングＫを前提として、凝集型クラスタリングが、ＣｉのＫ部分のそれぞれに行われ、さらなる分割を推定してもよい。これは、コストＸｕにつながる。コストＸｓは、教師ありグループ化のコストであって、高レベルのネットワークにおいて新しい混同行列を学習する。Ｘｕは、Ｘｓ＋Ｔａｕ未満またはそれと等しく、Ｔａｕは、クラスタリング誤差の上界である。
いくつかの実施形態では、変形例が、畳み込み層対全接続（１×１畳み込み）に関して考慮される。分割が、畳み込み層間で要求される場合（意味論セグメント化の場合等の全畳み込み層でさえ）、層の線形サイズ（この場合、ｆｃ）を変化させる代わりに、次元の深度が、変化され、クラスの数（これは、ＦＣＮの拡張である）を反映してもよい。
さらなる変形例および実施形態が、経路あたりの垂直層の縮約または追加、ラベル空間の関数として層のサイズ変化、および／または検出ならびにＲＮＮ（混同を比較することによって同一方法で展開する）の拡張を使用して作られてもよい。
さらに別の実施形態では、より少ない層が要求される処理タスクのために適正となるであろうように、あまりに多くの層がネットワーク内に存在し得るとき、それを識別するための技法が、適用されてもよい。前述のように、確実に、深度をネットワークに追加し、十分な訓練データを前提として、性能の改良を認めることができる。しかしながら、本追加された性能上昇は、ＦＬＯＰおよびメモリ消費の観点から代償が伴い得る。いくつかの実施形態では、ネットワークは、ネットワーク内の所与の計算層がバイナリ決定を介して使用されるかどうかを学習する、オール・オア・ナッシングハイウェイネットワークの使用を考慮して、本トレードオフを用いて最適化される。所与の計算ブロックが使用される場合、ペナルティを被る。本ペナルティ項を変動させることによって、標的アーキテクチャを考慮して、学習プロセスをカスタマイズすることができる。すなわち、内蔵システムは、クラウドベースのシステムよりはるかに無駄のないアーキテクチャを好むであろう。
本実施形態によって対処される問題は、所与の問題Ｘに関して計算予算が与えられるべきネットワークの深度を判定することである。オール・オア・ナッシングハイウェイネットワークを使用するアプローチを用いることで、ハイウェイネットワークは、混合行列を導入し、現在の計算ブロックの出力と混合する前に、前の層からのスキップ接続が変換されるべき方法を学習する。以下の方程式を検討する。
Figure 0006983937
残りのネットワークは、恒等写像を使用して、スキップ接続を組み合わせることに成功し得る。恒等写像は、あまり代表的ではないが、最適化するためにより効率的かつより容易である。
Figure 0006983937
現在のアプローチは、代わりに、計算ブロックの出力をゲートする単一スカラーαによって、混合行列をパラメトライズする（図５Ａ参照）。
Figure 0006983937
α＝０であるとき、ｙ＝ｘおよび入力は、単に、出力に回される。α＝１であるとき、（方程式１２）は、（方程式１０）となり、残りの単位は、計算のために使用される。
図５Ａは、オール・オア・ナッシングハイウェイ接続を伴うネットワークのためのチャート５０１を図示する。本図では、計算ブロックが、入力にフィードされ、後に、残りの接続（要素毎追加）を介して結び付けられる。追加前に、計算ブロックの出力は、学習されたパラメータαによってスケーリングされ、これは、本計算ブロックの使用にペナルティを課す。本損失は、以下に説明される。
学習が、計算ブロックを使用するかどうかを判定するために行われる。事前に、深層ネットワーク内の所与の層の挙動を制御する、αパラメータを課し、本パラメータをモデルパラメータおよびその目的関数とともに最適化することが望ましい。訓練の間、αが深度毎に独立して０または１のいずれかを選定するバイナリ決定を促すことが望ましい。計算ブロックが、スキップされるべきであると学習される場合、単に、推論時にその計算ブロックをモデルから除去することができる。
残りのネットワークでは、連続層は、一般に、小さな写像を有し、学習された残りの関数は、一般に、小さな応答を有し、恒等写像が合理的な事前条件付けを提供することを示唆する。これは、（方程式１０）における恒等写像と恒等層との間およびその逆の遷移が、壊滅的変化を目的関数に生じさせるべきではないことを示唆する。したがって、本アプローチは、区分的平滑損失関数をαパラメータに導入し、これは、種々の深度における計算ブロックの出力をゲートする。
加えて、異なるシナリオに関して、より高いペナルティがより多くの計算を使用するモデルに割り当てられるように、αパラメータに関する損失関数をパラメトライズすることが望ましい。スマートフォン等の軽量の内蔵プラットフォームの場合、層を選定するために高ペナルティが所望され得る。クラウドコンピューティングプラットフォームの場合、計算ブロックを使用するためのそのようなペナルティは、所望され得ない。これらの基準を前提として、図５Ｂに示される区分的平滑多項式／線形関数を使用することができ、これは、以下によってパラメトライズされることができる。
Figure 0006983937
図５Ｂに示されるピークの種々の選択に関して、種々の使用ペナルティが、モデルに与えられる。
（拡張現実およびコンピューティングシステムアーキテクチャ）
前述の技法は、特に、仮想現実および拡張現実システムのためのマシンビジョン用途に適用可能である。本発明のニューラルネットワーク分類デバイスは、ＡＲシステムから独立して実装されてもよいが、以下の多くの実施形態は、例証目的のためだけにＡＲシステムに関連して説明される。
開示されるのは、種々のコンピュータシステムのための分類および認識のためのデバイス、方法、およびシステムである。一実施形態では、コンピュータシステムは、種々の他のコンピュータシステム（例えば、金融コンピュータシステム）とのユーザ相互作用を促進するように構成される、頭部搭載型システムであってもよい。他の実施形態では、コンピュータシステムは、ユーザの金融取引を促進するように構成される据え付けのデバイス（例えば、商業用端末またはＡＴＭ）であってもよい。種々の実施形態が、ＡＲシステム（例えば、頭部搭載型）の文脈において以下に説明されるであろうが、本明細書に開示される実施形態は、任意の既存および／または公知のＡＲシステムから独立して使用されてもよいことを理解されたい。
ここで図６Ａ−６Ｄを参照すると、種々の実施形態による、いくつかの一般的ＡＲシステムコンポーネントオプションが、図示される。図６Ａ−６Ｄの実施形態は、頭部搭載型ディスプレイを図示するが、同一コンポーネントは、据え付けのコンピュータシステム内にも同様に組み込まれてもよく、図６Ａ−６Ｄは、限定として見なされるべきではないことを理解されたい。
図６Ａに示されるように、頭部搭載型デバイスユーザ６０は、ユーザ６０の眼の正面に位置付けられるディスプレイシステム６２に結合されるフレーム６４構造を装着して描写される。フレーム６４は、セキュリティの要求されるレベルに応じて、１つまたはそれを上回るユーザ識別特有サブシステムに恒久的または一時的に結合されてもよい。スピーカ６６が、描写される構成においてフレーム６４に結合され、ユーザ６０の外耳道に隣接して位置付けられてもよい。代替実施形態では、別のスピーカ（図示せず）が、ユーザ６０の他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する。１つまたはそれを上回る実施形態では、ユーザ識別デバイスは、フレーム６４に固定して取り付けられる、図６Ｂに描写される実施形態に示されるように、ヘルメットまたは帽子８０に固定して取り付けられる、ヘッドホン内に埋設される、図６Ｃの実施形態に示されるように、リュック式構成においてユーザ６０の胴体８２に除去可能に取り付けられる、または図６Ｄの実施形態に示されるように、ベルト結合式構成においてユーザ６０の臀部８４に除去可能に取り付けられる等、種々の構成において搭載され得る、有線導線または無線コネクティビティ等によって、ローカル処理およびデータモジュール７０に動作可能に結合される、ディスプレイ６２を有してもよい。
ローカル処理およびデータモジュール７０は、電力効率的プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備えてもよく、両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。データは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等のフレーム６４に動作可能に結合され得る、センサから捕捉されてもよい。代替として、または加えて、データは、可能性として、処理もしくは読み出し後、ディスプレイ６２への通過のために、遠隔処理モジュール７２および／または遠隔データリポジトリ７４を使用して、取得ならびに／もしくは処理されてもよい。ローカル処理およびデータモジュール７０は、これらの遠隔モジュール７２、７４が、相互に動作可能に結合され、ローカル処理およびデータモジュール７０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、遠隔処理モジュール７２および遠隔データリポジトリ７４に動作可能に結合７６、７８されてもよい。
一実施形態では、遠隔処理モジュール７２は、データおよび／または画像情報を分析ならびに処理するように構成される、１つもしくはそれを上回る比較的にパワフルなプロセッサまたはコントローラを備えてもよい。一実施形態では、遠隔データリポジトリ７４は、インターネットまたは「クラウド」リソース構成内の他のネットワーキング構成を通して利用可能であり得る、比較的に大規模なデジタルデータ記憶設備を備えてもよい。一実施形態では、全てのデータが、ローカル処理およびデータモジュール内に記憶され、全ての計算が、そこで行われ、任意の遠隔モジュールからの完全に自律的な使用を可能にする。
いくつかの実施形態では、図６Ａ−６Ｄに説明されるものに類似する識別デバイス（または識別用途を有するＡＲシステム）が、ユーザの眼への一意のアクセスを提供する。識別／ＡＲデバイスが、ユーザが３−Ｄ仮想コンテンツを知覚することを可能にするために、ユーザの眼と重要な相互作用を果たし、多くの実施形態では、ユーザの眼に関連する種々のバイオメトリック（例えば、虹彩パターン、輻輳・開散運動、眼の運動、桿体細胞および錐体細胞のパターン、眼の移動のパターン等）を追跡することを前提として、得られた追跡データは、有利には、識別用途において使用されてもよい。したがって、ユーザの眼へのこの先例のないアクセスは、必然的に、種々の識別用途にふさわしいものとなる。
図７は、本発明の実施形態を実装するために好適な例証的コンピューティングシステム１４００のブロック図である。コンピュータシステム１４００は、プロセッサ１４０７、システムメモリ１４０８（例えば、ＲＡＭ）、静的記憶デバイス１４０９（例えば、ＲＯＭ）、ディスクドライブ１４１０（例えば、磁気または光学）、通信インターフェース１４１４（例えば、モデムまたはＥｔｈｅｒｎｅｔ（登録商標）カード）、ディスプレイ１４１１（例えば、ＣＲＴまたはＬＣＤ）、入力デバイス１４１２（例えば、キーボード）、およびカーソル制御等のサブシステムおよびデバイスを相互接続する、情報を通信するためのバス１４０６または他の通信機構を含む。
本発明の一実施形態によると、コンピュータシステム１４００は、プロセッサ１４０７がシステムメモリ１４０８内に含有される１つまたはそれを上回る命令の１つまたはそれを上回るシーケンスを実行することによって、特定の動作を行う。そのような命令は、システムメモリ１４０８の中に、静的記憶デバイス１４０９またはディスクドライブ１４１０等の別のコンピュータ可読／使用可能媒体から読み込まれてもよい。代替実施形態では、有線回路が、代わりに、またはソフトウェア命令と組み合わせて、本発明を実装するために使用されてもよい。したがって、本発明の実施形態は、ハードウェア回路および／またはソフトウェアの任意の特定の組み合わせに限定されない。一実施形態では、用語「論理」は、本発明の全部または一部を実装するために使用される、ソフトウェアまたはハードウェアの任意の組み合わせを意味するものとする。
用語「コンピュータ可読媒体」または「コンピュータ使用可能媒体」は、本明細書で使用されるように、プロセッサ１４０７に実行のための命令を提供することに関わる、任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む、多くの形態をとってもよい。不揮発性媒体は、例えば、ディスクドライブ１４１０等の光学または磁気ディスクを含む。揮発性媒体は、システムメモリ１４０８等の動的メモリを含む。
一般的形態のコンピュータ可読媒体は、例えば、フロッピー（登録商標）ディスク、可撓性ディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュ−ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、またはコンピュータが読み取ることができる任意の他の媒体を含む。
本発明のある実施形態では、本発明を実践するための命令のシーケンスの実行は、単一コンピュータシステム１４００によって行われる。本発明の他の実施形態によると、通信リンク１４１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される、２つまたはそれを上回るコンピュータシステム１４００が、相互に協調して、本発明を実践するために要求される命令のシーケンスを行ってもよい。
コンピュータシステム１４００は、通信リンク１４１５および通信インターフェース１４１４を通して、プログラム、例えば、アプリケーションコードを含む、メッセージ、データ、および命令を伝送および受信してもよい。受信されたプログラムコードは、受信されたときにプロセッサ１４０７によって実行される、および／または後の実行のために、ディスクドライブ１４１０または他の不揮発性ストレージ内に記憶されてもよい。コンピュータシステム１４００は、データインターフェース１４３３を通して、外部記憶デバイス１４３１上のデータベース１４３２と通信してもよい。
前述の明細書では、本発明が、その特定の実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広義の精神ならびに範囲から逸脱することなく、本明細書に成され得ることは、明白となるであろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼさずに変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。

Claims (20)

  1. プロセッサを用いて実装される方法であって、
    オブジェクトの分類を行うように構成されるニューラルネットワークを作成することであって、前記ニューラルネットワークは、複数の層を備える、ことと、
    前記ニューラルネットワークが、処理タスクを行い、出力を生成することと、
    前記複数の層から異質層を識別することと、
    前記ニューラルネットワークから前記異質層を除去することと、
    他の異質層が識別されなくなるまで、前記複数の層から他の異質層を識別して除去することと
    を含み、
    前記ニューラルネットワークは、垂直分割および水平分割の両方を受け、
    前記異質層は、前記複数の層のうちの他の層と比較して分類の正確度の最低改良を提供する層である、方法。
  2. オール・オア・ナッシングハイウェイネットワークが、前記ニューラルネットワーク内の除去されるべき前記異質層を識別するために採用される、請求項１に記載の方法。
  3. 前記異質層の使用とペナルティを関連付けることをさらに含む、請求項２に記載の方法。
  4. 前記ペナルティの大きさは、前記異質層によって使用される計算能力の量に対応する、請求項３に記載の方法。
  5. 前記ペナルティの大きさは、変動させられる、請求項４に記載の方法。
  6. プロセッサを用いて実装される方法であって、
    オブジェクトの分類を行うように構成されるニューラルネットワークを作成することであって、前記ニューラルネットワークは、複数の層を備える、ことと、
    前記ニューラルネットワークが、処理タスクを行い、出力を生成することと、
    前記複数の層から異質層を識別することであって、オール・オア・ナッシングハイウェイネットワークが、前記ニューラルネットワーク内の除去されるべき前記異質層を識別するために採用される、ことと、
    前記ニューラルネットワークから前記異質層を除去することと、
    他の異質層が識別されなくなるまで、前記複数の層から他の異質層を識別して除去することと、
    前記異質層の使用とペナルティを関連付けることと
    を含み、
    前記プロセッサがクラウドコンピューティングプラットフォームの一部であるとき、前記ペナルティは、０に設定され、
    前記異質層は、前記複数の層のうちの他の層と比較して分類の正確度の最低改良を提供する層である、方法。
  7. 前記オール・オア・ナッシングハイウェイネットワークは、前記異質層を使用しないようにバイナリ決定を生成する、請求項２に記載の方法。
  8. プロセッサを用いて実装される方法であって、
    オブジェクトの分類を行うように構成されるニューラルネットワークを作成することであって、前記ニューラルネットワークは、複数の層を備える、ことと、
    前記ニューラルネットワークが、処理タスクを行い、出力を生成することと、
    前記複数の層から異質層を識別することであって、オール・オア・ナッシングハイウェイネットワークが、前記ニューラルネットワーク内の除去されるべき前記異質層を識別するために採用される、ことと、
    前記ニューラルネットワークから前記異質層を除去することと、
    他の異質層が識別されなくなるまで、前記複数の層から他の異質層を識別して除去することと、
    前記オール・オア・ナッシングハイウェイネットワークが、混合行列を導入し、前記異質層に対応するスキップ接続を変換する方法を判定することと
    を含み、
    前記異質層は、前記複数の層のうちの他の層と比較して分類の正確度の最低改良を提供する層である、方法。
  9. スカラー値によって前記混合行列をパラメトライズすることをさらに含む、請求項８に記載の方法。
  10. 前記スカラー値が０であるとき、前記異質層への入力が、前記異質層からの出力と等しく、これにより、前記ニューラルネットワークから前記異質層を除去する前に前記異質層をスキップする、請求項９に記載の方法。
  11. 恒等写像を使用して、前記異質層に対応するスキップ接続を変換することをさらに含む、請求項２に記載の方法。
  12. 前記ニューラルネットワークに関するモデルを更新し、更新されたモデルを取得することをさらに含み、前記異質層は、前記更新されたモデルを取得するために前記モデルから除去される、請求項１に記載の方法。
  13. 複数の損失層が、前記ニューラルネットワークに追加される、請求項１に記載の方法。
  14. プロセッサを用いて実装される方法であって、
    オブジェクトの分類を行うように構成されるニューラルネットワークを作成することであって、前記ニューラルネットワークは、複数の層を備える、ことと、
    前記ニューラルネットワークが、処理タスクを行い、出力を生成することと、
    前記複数の層から異質層を識別することと、
    前記ニューラルネットワークから前記異質層を除去することと、
    他の異質層が識別されなくなるまで、前記複数の層から他の異質層を識別して除去することと、
    複数の損失層を前記ニューラルネットワークに追加することと、
    前記損失層のうちの１つにおいて予測を生成し、前記予測を、テンソルＴを形成する１つまたは複数の混同行列に変換することと
    を含み、
    前記異質層は、前記複数の層のうちの他の層と比較して分類の正確度の最低改良を提供する層である、方法。
  15. Ｔの構造は、深度および幅の両方の観点から、分析され、前記ニューラルネットワークの既存の構造を修正および強化する、請求項１４に記載の方法。
  16. Ｋ分割法が、前記水平分割を実装するために行われる、請求項１に記載の方法。
  17. プロセッサを用いて実装される方法であって、
    オブジェクトの分類を行うように構成されるニューラルネットワークを作成することであって、前記ニューラルネットワークは、複数の層を備える、ことと、
    前記ニューラルネットワークが、処理タスクを行い、出力を生成することと、
    前記複数の層から異質層を識別することと、
    前記ニューラルネットワークから前記異質層を除去することと、
    他の異質層が識別されなくなるまで、前記複数の層から他の異質層を識別して除去することと
    を含み、
    前記ニューラルネットワークの各層は、独立して対処され、前記ニューラルネットワークの所与の層は、貪欲選択を行って前記所与の層を分割することによって、分割を受け、これは、訓練損失に関する最良改良を提供し、
    前記異質層は、前記複数の層のうちの他の層と比較して分類の正確度の最低改良を提供する層である、方法。
  18. 前記ニューラルネットワークは、仮想現実または拡張現実システムのために捕捉された画像を分類するために採用される、請求項１に記載の方法。
  19. システムであって、
    プロセッサと、
    プログラマブルコードを保持するためのメモリと
    を備え、
    前記プログラマブルコードは、オブジェクトの分類を行うように構成されるニューラルネットワークを作成するための命令であって、前記ニューラルネットワークは、複数の層を備える、命令と、前記ニューラルネットワークが処理タスクを行って出力を生成するための命令と、前記複数の層から異質層を識別するための命令と、前記ニューラルネットワークから前記異質層を除去するための命令と、他の異質層が識別されなくなるまで、前記複数の層から他の異質層を識別して除去するための命令とを含み、前記ニューラルネットワークは、垂直分割および水平分割の両方を受け、
    前記異質層は、前記複数の層のうちの他の層と比較して分類の正確度の最低改良を提供する層である、システム。
  20. 命令のシーケンスを記憶した非一時的コンピュータ可読媒体であって、前記命令のシーケンスは、プロセッサによって実行されると、
    オブジェクトの分類を行うように構成されるニューラルネットワークを作成することであって、前記ニューラルネットワークは、複数の層を備える、ことと、
    前記ニューラルネットワークが、処理タスクを行い、出力を生成することと、
    前記複数の層から異質層を識別することと、
    前記ニューラルネットワークから前記異質層を除去することと、
    他の異質層が識別されなくなるまで、前記複数の層から他の異質層を識別して除去することと
    を含む方法を前記プロセッサに実行させ、
    前記ニューラルネットワークは、垂直分割および水平分割の両方を受け、
    前記異質層は、前記複数の層のうちの他の層と比較して分類の正確度の最低改良を提供する層である、非一時的コンピュータ可読媒体。
JP2020042897A 2016-03-11 2020-03-12 畳み込みニューラルネットワークにおける構造学習 Active JP6983937B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662307071P 2016-03-11 2016-03-11
US62/307,071 2016-03-11
JP2018547429A JP6889728B2 (ja) 2016-03-11 2017-03-13 畳み込みニューラルネットワークにおける構造学習

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018547429A Division JP6889728B2 (ja) 2016-03-11 2017-03-13 畳み込みニューラルネットワークにおける構造学習

Publications (3)

Publication Number Publication Date
JP2020091922A JP2020091922A (ja) 2020-06-11
JP2020091922A5 JP2020091922A5 (ja) 2021-07-26
JP6983937B2 true JP6983937B2 (ja) 2021-12-17

Family

ID=59786882

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018547429A Active JP6889728B2 (ja) 2016-03-11 2017-03-13 畳み込みニューラルネットワークにおける構造学習
JP2020042897A Active JP6983937B2 (ja) 2016-03-11 2020-03-12 畳み込みニューラルネットワークにおける構造学習

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018547429A Active JP6889728B2 (ja) 2016-03-11 2017-03-13 畳み込みニューラルネットワークにおける構造学習

Country Status (9)

Country Link
US (3) US10255529B2 (ja)
EP (1) EP3427192A4 (ja)
JP (2) JP6889728B2 (ja)
KR (2) KR20200035499A (ja)
CN (2) CN108780519B (ja)
AU (2) AU2017230184B2 (ja)
CA (1) CA3015658A1 (ja)
IL (1) IL261245A (ja)
WO (1) WO2017156547A1 (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5554927B2 (ja) 2006-02-15 2014-07-23 ホロジック， インコーポレイテッド トモシンセシスシステムを使用した乳房バイオプシおよびニードル位置特定
CN102481146B (zh) 2009-10-08 2016-08-17 霍罗吉克公司 乳房的穿刺活检系统及其使用方法
US9075903B2 (en) 2010-11-26 2015-07-07 Hologic, Inc. User interface for medical image review workstation
CA2829349C (en) 2011-03-08 2021-02-09 Hologic, Inc. System and method for dual energy and/or contrast enhanced breast imaging for screening, diagnosis and biopsy
EP2782505B1 (en) 2011-11-27 2020-04-22 Hologic, Inc. System and method for generating a 2d image using mammography and/or tomosynthesis image data
CN104135935A (zh) 2012-02-13 2014-11-05 霍罗吉克公司 用于利用合成图像数据导航层析堆的系统和方法
JP6388347B2 (ja) 2013-03-15 2018-09-12 ホロジック, インコーポレイテッドHologic, Inc. 腹臥位におけるトモシンセシス誘導生検
EP3646798B1 (en) 2013-10-24 2023-09-27 Hologic, Inc. System and method for navigating x-ray guided breast biopsy
EP3868301B1 (en) 2014-02-28 2023-04-05 Hologic, Inc. System and method for generating and displaying tomosynthesis image slabs
CN114758406B (zh) 2015-05-11 2024-02-23 奇跃公司 用于使用神经网络的生物特征用户识别的设备、方法和系统
CA3015658A1 (en) 2016-03-11 2017-09-14 Magic Leap, Inc. Structure learning in convolutional neural networks
WO2018048934A1 (en) * 2016-09-06 2018-03-15 Deepmind Technologies Limited Generating audio using neural networks
CN109844773B (zh) 2016-09-06 2023-08-01 渊慧科技有限公司 使用卷积神经网络处理序列
US11080591B2 (en) * 2016-09-06 2021-08-03 Deepmind Technologies Limited Processing sequences using convolutional neural networks
WO2018081089A1 (en) 2016-10-26 2018-05-03 Deepmind Technologies Limited Processing text sequences using neural networks
KR102415506B1 (ko) * 2016-10-26 2022-07-01 삼성전자주식회사 뉴럴 네트워크 간소화 방법 및 장치
WO2018093796A1 (en) 2016-11-15 2018-05-24 Magic Leap, Inc. Deep learning system for cuboid detection
JP7174710B2 (ja) 2017-03-30 2022-11-17 ホロジック， インコーポレイテッド 合成乳房組織画像を生成するための標的オブジェクト増強のためのシステムおよび方法
US11455754B2 (en) 2017-03-30 2022-09-27 Hologic, Inc. System and method for synthesizing low-dimensional image data from high-dimensional image data using an object grid enhancement
WO2018183548A1 (en) 2017-03-30 2018-10-04 Hologic, Inc. System and method for hierarchical multi-level feature image synthesis and representation
US20180293486A1 (en) * 2017-04-07 2018-10-11 Tenstorrent Inc. Conditional graph execution based on prior simplified graph execution
US11734584B2 (en) * 2017-04-19 2023-08-22 International Business Machines Corporation Multi-modal construction of deep learning networks
WO2018236565A1 (en) * 2017-06-20 2018-12-27 Hologic, Inc. METHOD AND SYSTEM FOR MEDICAL IMAGING WITH DYNAMIC SELF-LEARNING
JP7142420B2 (ja) * 2017-07-10 2022-09-27 キヤノン株式会社 画像処理装置、学習方法、学習済モデル、画像処理方法
AU2018337653A1 (en) 2017-09-20 2020-01-16 Magic Leap, Inc. Personalized neural network for eye tracking
CN109543139B (zh) 2017-09-22 2021-09-17 杭州海康威视数字技术股份有限公司 卷积运算方法、装置、计算机设备及计算机可读存储介质
CN111373419A (zh) 2017-10-26 2020-07-03 奇跃公司 用于深度多任务网络中自适应损失平衡的梯度归一化系统和方法
CN109784325A (zh) * 2017-11-10 2019-05-21 富士通株式会社 开集识别方法和设备及计算机可读存储介质
CN110110734B (zh) * 2018-02-01 2023-04-07 富士通株式会社 开集识别方法、信息处理设备以及存储介质
US20190266482A1 (en) * 2018-02-26 2019-08-29 Gsi Technology Inc. Distance based deep learning
JP6831347B2 (ja) * 2018-04-05 2021-02-17 日本電信電話株式会社 学習装置、学習方法および学習プログラム
WO2019210295A1 (en) 2018-04-27 2019-10-31 Carnegie Mellon University Polynomial convolutional neural network with early fan-out
US10818080B2 (en) * 2018-07-25 2020-10-27 Disney Enterprises, Inc. Piecewise-polynomial coupling layers for warp-predicting neural networks
CN109409198B (zh) * 2018-08-31 2023-09-05 平安科技（深圳）有限公司 Au检测方法、装置、设备及介质
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11645509B2 (en) * 2018-09-27 2023-05-09 Salesforce.Com, Inc. Continual neural network learning via explicit structure learning
CN109274625B (zh) * 2018-11-12 2020-06-19 北京邮电大学 一种信息调制方式确定方法、装置、电子设备及存储介质
US10657447B1 (en) * 2018-11-29 2020-05-19 SparkCognition, Inc. Automated model building search space reduction
US11775812B2 (en) * 2018-11-30 2023-10-03 Samsung Electronics Co., Ltd. Multi-task based lifelong learning
US10977548B2 (en) 2018-12-05 2021-04-13 Bank Of America Corporation Generation of capsule neural networks for enhancing image processing platforms
JP6991960B2 (ja) * 2018-12-28 2022-01-13 Kddi株式会社 画像認識装置、画像認識方法及びプログラム
CN109829443B (zh) * 2019-02-23 2020-08-14 重庆邮电大学 基于图像增强与3d卷积神经网络的视频行为识别方法
CA3129731A1 (en) * 2019-03-13 2020-09-17 Elliot Meyerson System and method for implementing modular universal reparameterization for deep multi-task learning across diverse domains
US11783195B2 (en) 2019-03-27 2023-10-10 Cognizant Technology Solutions U.S. Corporation Process and system including an optimization engine with evolutionary surrogate-assisted prescriptions
WO2020231049A1 (en) 2019-05-16 2020-11-19 Samsung Electronics Co., Ltd. Neural network model apparatus and compressing method of neural network model
KR20200132627A (ko) * 2019-05-16 2020-11-25 삼성전자주식회사 신경망 모델 장치 및 신경망 모델의 압축 방법
CN113874883A (zh) 2019-05-21 2021-12-31 奇跃公司 手部姿势估计
CN111684472A (zh) * 2019-05-31 2020-09-18 深圳市大疆创新科技有限公司 网络结构搜索的方法及装置、计算机存储介质和计算机程序产品
KR20220028096A (ko) * 2019-06-28 2022-03-08 삼성전자주식회사 신경망 모델들을 관리하는 방법 및 장치
CN110363198B (zh) * 2019-07-04 2022-12-09 武汉科技大学 一种神经网络权重矩阵拆分与组合的方法
US10956791B2 (en) * 2019-07-19 2021-03-23 LayerJot, Inc. Interactive generation and publication of an augmented-reality application
US11947570B2 (en) * 2019-09-03 2024-04-02 International Business Machines Corporation Data augmentation
CN110633797B (zh) * 2019-09-11 2022-12-02 北京百度网讯科技有限公司 网络模型结构的搜索方法、装置以及电子设备
US11816574B2 (en) * 2019-10-25 2023-11-14 Alibaba Group Holding Limited Structured pruning for machine learning model
US11475280B2 (en) * 2019-11-15 2022-10-18 Disney Enterprises, Inc. Data object classification using an optimized neural network
US12099934B2 (en) 2020-04-07 2024-09-24 Cognizant Technology Solutions U.S. Corporation Framework for interactive exploration, evaluation, and improvement of AI-generated solutions
CN111754471A (zh) * 2020-06-12 2020-10-09 中国科学院地质与地球物理研究所 一种土石混合体原位实时加压下岩石破裂检测方法
US11775841B2 (en) 2020-06-15 2023-10-03 Cognizant Technology Solutions U.S. Corporation Process and system including explainable prescriptions through surrogate-assisted evolution
US11605118B2 (en) * 2020-08-18 2023-03-14 Salesforce.Com, Inc. Systems and methods for next basket recommendation with dynamic attributes modeling
EP4022534A4 (en) 2020-11-06 2022-11-30 Visenze Pte Ltd SYSTEM AND METHOD FOR GENERATING AN IMAGE RECOGNITION MODEL AND CLASSIFYING AN INPUT IMAGE
US12112112B2 (en) * 2020-11-12 2024-10-08 Samsung Electronics Co., Ltd. Method for co-design of hardware and neural network architectures using coarse-to-fine search, two-phased block distillation and neural hardware predictor
US11068786B1 (en) * 2020-12-17 2021-07-20 Moffett Technologies Co., Limited System and method for domain specific neural network pruning
KR20220096021A (ko) * 2020-12-30 2022-07-07 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102594163B1 (ko) 2021-01-05 2023-10-26 한국전자통신연구원 음향 신호를 인식하는 학습 모델의 트레이닝 방법과 그 학습 모델을 이용한 음향 신호의 인식 방법 및 그 방법들을 수행하는 장치
KR102658473B1 (ko) 2021-03-17 2024-04-18 한국전자통신연구원 다중 음향 이벤트 구간에서의 레이블 인코딩 방법 및 장치
CN113189968B (zh) * 2021-05-08 2022-08-26 哈尔滨工业大学 互联工业过程的分布式故障诊断方法
CN113570106B (zh) * 2021-05-17 2023-11-17 国网山东省电力公司潍坊供电公司 基于高速公路神经网络的电力负荷预测方法及设备
US20220414449A1 (en) * 2021-06-25 2022-12-29 GE Precision Healthcare LLC Temporalizing or spatializing networks
WO2023034043A1 (en) * 2021-09-01 2023-03-09 The Board Of Regents Of The University Of Texas System Methods and systems for deep distilling
WO2023104158A1 (en) * 2021-12-09 2023-06-15 Dolby Laboratories Licensing Corporation Method for neural network training with multiple supervisors
CN116884005B (zh) * 2023-09-08 2023-11-07 江西财经大学 一种结合卷积网络与图特征的快速语义分割方法与系统
CN117952650A (zh) * 2024-01-30 2024-04-30 和源顺(湖州)工艺品有限公司 基于大数据的工艺品电子商务销售管理系统

Family Cites Families (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1025552A (en) 1905-09-19 1912-05-07 Metropolitan Sewing Machine Company Trimming mechanism for sewing-machines.
US1027590A (en) 1910-06-03 1912-05-28 Ernst Bucher Dirigible airship.
JP2885823B2 (ja) 1989-04-11 1999-04-26 株式会社豊田中央研究所 視覚認識装置
JPH0695192A (ja) 1991-05-01 1994-04-08 Matsushita Electric Ind Co Ltd 画像認識装置及び画像入力方法
US5291560A (en) 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US5579471A (en) 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
TW226454B (en) * 1993-11-02 1994-07-11 Ind Tech Res Inst Pattern recognition method for car plate
US5572596A (en) 1994-09-02 1996-11-05 David Sarnoff Research Center, Inc. Automated, non-invasive iris recognition system and method
US5850470A (en) 1995-08-30 1998-12-15 Siemens Corporate Research, Inc. Neural network for locating and recognizing a deformable object
US6018728A (en) 1996-02-09 2000-01-25 Sarnoff Corporation Method and apparatus for training a neural network to learn hierarchical representations of objects and to detect and classify objects with uncertain training data
US6121953A (en) 1997-02-06 2000-09-19 Modern Cartoons, Ltd. Virtual reality system for sensing facial movements
US6035057A (en) 1997-03-10 2000-03-07 Hoffman; Efrem H. Hierarchical data matrix pattern recognition and identification system
EP1025517A1 (en) 1997-10-27 2000-08-09 Massachusetts Institute Of Technology Image search and retrieval system
US6138109A (en) * 1997-12-23 2000-10-24 Caterpillar Inc. Neural network diagnostic classification of complex binary systems
US6401082B1 (en) * 1999-11-08 2002-06-04 The United States Of America As Represented By The Secretary Of The Air Force Autoassociative-heteroassociative neural network
US6865302B2 (en) 2000-03-16 2005-03-08 The Regents Of The University Of California Perception-based image retrieval
US6768509B1 (en) 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
GB2364590B (en) 2000-07-07 2004-06-02 Mitsubishi Electric Inf Tech Method and apparatus for representing and searching for an object in an image
US7016532B2 (en) 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US7099510B2 (en) 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US6829384B2 (en) 2001-02-28 2004-12-07 Carnegie Mellon University Object finder for photographic images
US7152051B1 (en) 2002-09-30 2006-12-19 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP3855939B2 (ja) 2003-01-31 2006-12-13 ソニー株式会社 画像処理装置、画像処理方法及び撮影装置
KR20060011828A (ko) 2003-04-03 2006-02-03 더블린 시티 유니버시티 멀티미디어 데이터를 인덱싱 및 검색하기 위한 형상 매칭방법
US7362892B2 (en) * 2003-07-02 2008-04-22 Lockheed Martin Corporation Self-optimizing classifier
EP2955662B1 (en) 2003-07-18 2018-04-04 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
JP4572834B2 (ja) * 2003-08-28 2010-11-04 Ｆｄｋ株式会社 磁気光学デバイス
WO2005022343A2 (en) * 2003-08-29 2005-03-10 Exscientia, Llc System and methods for incrementally augmenting a classifier
US7593550B2 (en) 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
JP4217664B2 (ja) 2004-06-28 2009-02-04 キヤノン株式会社 画像処理方法、画像処理装置
US7668376B2 (en) 2004-06-30 2010-02-23 National Instruments Corporation Shape feature extraction and classification
US7644049B2 (en) 2004-11-19 2010-01-05 Intel Corporation Decision forest based classifier for determining predictive importance in real-time data analysis
US20060245500A1 (en) * 2004-12-15 2006-11-02 David Yonovitz Tunable wavelet target extraction preprocessor system
US8488023B2 (en) 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US7689008B2 (en) 2005-06-10 2010-03-30 Delphi Technologies, Inc. System and method for detecting an eye
US20060291697A1 (en) 2005-06-21 2006-12-28 Trw Automotive U.S. Llc Method and apparatus for detecting the presence of an occupant within a vehicle
US7603000B2 (en) 2005-08-31 2009-10-13 Siemens Medical Solutions Usa, Inc. System and method for learning relative distance in a shape space using image based features
US8890813B2 (en) 2009-04-02 2014-11-18 Oblong Industries, Inc. Cross-user hand tracking and shape recognition user interface
CN101055620B (zh) 2006-04-12 2011-04-06 富士通株式会社 形状比较装置和方法
US8131011B2 (en) 2006-09-25 2012-03-06 University Of Southern California Human detection and tracking system
KR101363017B1 (ko) 2007-08-23 2014-02-12 삼성전자주식회사 얼굴영상 촬영 및 분류 시스템과 방법
US8180112B2 (en) 2008-01-21 2012-05-15 Eastman Kodak Company Enabling persistent recognition of individuals in images
US8411910B2 (en) 2008-04-17 2013-04-02 Biometricore, Inc. Computationally efficient feature extraction and matching iris recognition
KR101030613B1 (ko) 2008-10-08 2011-04-20 아이리텍 잉크 아이이미지에서 관심영역정보 및 인식적 정보획득방법
CN101383008A (zh) * 2008-10-23 2009-03-11 上海交通大学 基于视觉注意模型的图像分类方法
US8290208B2 (en) 2009-01-12 2012-10-16 Eastman Kodak Company Enhanced safety during laser projection
US8374404B2 (en) 2009-02-13 2013-02-12 Raytheon Company Iris recognition using hyper-spectral signatures
CN101510218A (zh) 2009-03-26 2009-08-19 阿里巴巴集团控股有限公司 实现图片搜索的方法及网站服务器
JP2011170856A (ja) * 2010-02-22 2011-09-01 Ailive Inc 複数の検出ストリームを用いたモーション認識用システム及び方法
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US8553989B1 (en) 2010-04-27 2013-10-08 Hrl Laboratories, Llc Three-dimensional (3D) object recognition system using region of interest geometric features
EP2569721A4 (en) 2010-05-14 2013-11-27 Datalogic Adc Inc SYSTEMS AND METHODS FOR OBJECT DETECTION USING A LARGE DATABASE
US8824747B2 (en) 2010-06-29 2014-09-02 Apple Inc. Skin-tone filtering
US8467599B2 (en) * 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
WO2014158345A1 (en) 2013-01-31 2014-10-02 University Of Iowa Research Foundation Methods and systems for vessel bifurcation detection
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
CN102054178B (zh) * 2011-01-20 2016-08-17 北京联合大学 一种基于局部语义概念的国画图像识别方法
US9064145B2 (en) 2011-04-20 2015-06-23 Institute Of Automation, Chinese Academy Of Sciences Identity recognition based on multiple feature fusion for an eye image
US8898091B2 (en) 2011-05-11 2014-11-25 Ari M. Frank Computing situation-dependent affective response baseline levels utilizing a database storing affective responses
US8767016B2 (en) 2012-03-15 2014-07-01 Shun-Ching Yang Virtual reality interaction system and method
US9082011B2 (en) 2012-03-28 2015-07-14 Texas State University—San Marcos Person identification using ocular biometrics with liveness detection
EP2648133A1 (fr) * 2012-04-04 2013-10-09 Biomerieux Identification de microorganismes par spectrometrie et classification structurée
US9101312B2 (en) 2012-04-18 2015-08-11 TBI Diagnostics LLC System for the physiological evaluation of brain function
CN102722714B (zh) * 2012-05-18 2014-07-23 西安电子科技大学 基于目标跟踪的人工神经网络扩张式学习方法
JP2013250856A (ja) 2012-06-01 2013-12-12 Mitsubishi Electric Corp 監視システム
US9041622B2 (en) 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US8873812B2 (en) 2012-08-06 2014-10-28 Xerox Corporation Image segmentation using hierarchical unsupervised segmentation and hierarchical classifiers
US9092896B2 (en) 2012-08-07 2015-07-28 Microsoft Technology Licensing, Llc Augmented reality display of scene behind surface
US8369595B1 (en) 2012-08-10 2013-02-05 EyeVerify LLC Texture features for biometric authentication
US10209946B2 (en) 2012-08-23 2019-02-19 Red Hat, Inc. Augmented reality personal identification
US8963806B1 (en) 2012-10-29 2015-02-24 Google Inc. Device authentication
US9449257B2 (en) * 2012-12-04 2016-09-20 Institute Of Semiconductors, Chinese Academy Of Sciences Dynamically reconstructable multistage parallel single instruction multiple data array processing system
US9111348B2 (en) 2013-03-15 2015-08-18 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system of dynamic category object recognition
US9269022B2 (en) 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements
US9147125B2 (en) 2013-05-03 2015-09-29 Microsoft Technology Licensing, Llc Hand-drawn sketch recognition
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9207771B2 (en) 2013-07-08 2015-12-08 Augmenta Oy Gesture based user interface
US9542626B2 (en) 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
US9730643B2 (en) 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US9202144B2 (en) 2013-10-30 2015-12-01 Nec Laboratories America, Inc. Regionlets with shift invariant neural patterns for object detection
US9489765B2 (en) 2013-11-18 2016-11-08 Nant Holdings Ip, Llc Silhouette-based object and texture alignment, systems and methods
CN107329259B (zh) 2013-11-27 2019-10-11 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
WO2015078018A1 (en) 2013-11-30 2015-06-04 Xiaoou Tang Method and system for face image recognition
US9224068B1 (en) 2013-12-04 2015-12-29 Google Inc. Identifying objects in images
US20150186708A1 (en) 2013-12-31 2015-07-02 Sagi Katz Biometric identification system
WO2015123647A1 (en) 2014-02-14 2015-08-20 Nant Holdings Ip, Llc Object ingestion through canonical shapes, systems and methods
WO2015123646A1 (en) 2014-02-14 2015-08-20 Nant Holdings Ip, Llc Edge-based recognition, systems and methods
US9542645B2 (en) * 2014-03-27 2017-01-10 Qualcomm Incorporated Plastic synapse management
IL231862A (en) 2014-04-01 2015-04-30 Superfish Ltd Image representation using a neural network
US20150296135A1 (en) 2014-04-10 2015-10-15 Magna Electronics Inc. Vehicle vision system with driver monitoring
US9317785B1 (en) 2014-04-21 2016-04-19 Video Mining Corporation Method and system for determining ethnicity category of facial images based on multi-level primary and auxiliary classifiers
US9767615B2 (en) 2014-04-23 2017-09-19 Raytheon Company Systems and methods for context based information delivery using augmented reality
CN106716450B (zh) 2014-05-06 2020-05-19 河谷控股Ip有限责任公司 利用边缘向量的基于图像的特征检测
US10620700B2 (en) 2014-05-09 2020-04-14 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
WO2016054778A1 (en) 2014-10-09 2016-04-14 Microsoft Technology Licensing, Llc Generic object detection in images
KR102357326B1 (ko) 2014-11-19 2022-01-28 삼성전자주식회사 얼굴 특징 추출 방법 및 장치, 얼굴 인식 방법 및 장치
US9418319B2 (en) 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
JP2016126510A (ja) 2014-12-26 2016-07-11 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US10223635B2 (en) * 2015-01-22 2019-03-05 Qualcomm Incorporated Model compression and fine-tuning
RU2703343C2 (ru) 2015-03-20 2019-10-16 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Назначение оценки релевантности для искусственных нейронных сетей
US10246753B2 (en) * 2015-04-13 2019-04-02 uBiome, Inc. Method and system for characterizing mouth-associated conditions
US9786036B2 (en) * 2015-04-28 2017-10-10 Qualcomm Incorporated Reducing image resolution in deep convolutional networks
CN114758406B (zh) 2015-05-11 2024-02-23 奇跃公司 用于使用神经网络的生物特征用户识别的设备、方法和系统
US9911219B2 (en) 2015-05-13 2018-03-06 Intel Corporation Detection, tracking, and pose estimation of an articulated body
US11423311B2 (en) * 2015-06-04 2022-08-23 Samsung Electronics Co., Ltd. Automatic tuning of artificial neural networks
CN104933428B (zh) * 2015-07-23 2018-05-01 苏州大学 一种基于张量描述的人脸识别方法及装置
RU2691195C1 (ru) 2015-09-11 2019-06-11 Айверифай Инк. Качество изображения и признака, улучшение изображения и выделение признаков для распознавания по сосудам глаза и лицам, и объединение информации о сосудах глаза с информацией о лицах и/или частях лиц для биометрических систем
JP6514089B2 (ja) 2015-11-02 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
CA3015658A1 (en) 2016-03-11 2017-09-14 Magic Leap, Inc. Structure learning in convolutional neural networks
US10872699B2 (en) * 2016-03-25 2020-12-22 Siemens Healthcare Gmbh Case-based reasoning in the cloud using deep learning
WO2018013200A1 (en) 2016-07-14 2018-01-18 Magic Leap, Inc. Deep neural network for iris identification
US20180024726A1 (en) 2016-07-21 2018-01-25 Cives Consulting AS Personified Emoji
KR20180020043A (ko) 2016-08-17 2018-02-27 삼성전자주식회사 다시점 영상 제어 방법 및 이를 지원하는 전자 장치
KR102707594B1 (ko) 2016-11-11 2024-09-19 삼성전자주식회사 홍채 영역 추출 방법 및 장치
US10783393B2 (en) 2017-06-20 2020-09-22 Nvidia Corporation Semi-supervised learning for landmark localization
US10269159B2 (en) 2017-07-27 2019-04-23 Rockwell Collins, Inc. Neural network foreground separation for mixed reality
CN111373419A (zh) 2017-10-26 2020-07-03 奇跃公司 用于深度多任务网络中自适应损失平衡的梯度归一化系统和方法
KR102682524B1 (ko) 2018-09-11 2024-07-08 삼성전자주식회사 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치

Also Published As

Publication number Publication date
AU2021290336A1 (en) 2022-02-03
IL261245A (en) 2018-10-31
JP2019511777A (ja) 2019-04-25
US20170262737A1 (en) 2017-09-14
EP3427192A4 (en) 2019-03-27
US10963758B2 (en) 2021-03-30
AU2017230184B2 (en) 2021-10-07
CN115345278A (zh) 2022-11-15
CN108780519A (zh) 2018-11-09
AU2017230184A1 (en) 2018-09-06
KR20200035499A (ko) 2020-04-03
CN108780519B (zh) 2022-09-02
JP6889728B2 (ja) 2021-06-18
US20210182636A1 (en) 2021-06-17
JP2020091922A (ja) 2020-06-11
KR20180117704A (ko) 2018-10-29
US20190286951A1 (en) 2019-09-19
EP3427192A1 (en) 2019-01-16
WO2017156547A1 (en) 2017-09-14
US11657286B2 (en) 2023-05-23
KR102223296B1 (ko) 2021-03-04
CA3015658A1 (en) 2017-09-14
US10255529B2 (en) 2019-04-09

Similar Documents

Publication Publication Date Title
JP6983937B2 (ja) 畳み込みニューラルネットワークにおける構造学習
Lemley et al. Deep learning for consumer devices and services: pushing the limits for machine learning, artificial intelligence, and computer vision
KR102071582B1 (ko) 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치
JP6504590B2 (ja) 画像のセマンティックセグメンテーションのためのシステム及びコンピューター実施方法、並びに非一時的コンピューター可読媒体
CN105447498B (zh) 配置有神经网络的客户端设备、系统和服务器系统
KR102548732B1 (ko) 신경망 학습 방법 및 이를 적용한 장치
EP3514734A1 (en) Method and apparatus for generating a chemical structure using a neural network
Planche et al. Hands-On Computer Vision with TensorFlow 2: Leverage deep learning to create powerful image processing apps with TensorFlow 2.0 and Keras
WO2020159890A1 (en) Method for few-shot unsupervised image-to-image translation
US11386288B2 (en) Movement state recognition model training device, movement state recognition device, methods and programs therefor
CN109508640A (zh) 一种人群情感分析方法、装置和存储介质
US20230004816A1 (en) Method of optimizing neural network model and neural network model processing system performing the same
Oliva et al. Advances and applications of optimised algorithms in image processing
Sun et al. FGENet: a lightweight facial expression recognition algorithm based on FasterNet
Ikram A benchmark for evaluating Deep Learning based Image Analytics
Murphy The Application of Computer Vision, Machine and Deep Learning Algorithms Utilizing MATLAB®
KR102512598B1 (ko) 헤어 스타일링 가상 체험용 인공 신경망의 학습을 위한 학습 데이터 생성 장치 및 방법, 및 이를 이용한 헤어 스타일링 가상 체험 장치 및 방법
NZ786061A (en) Structure learning in convolutional neural networks
Shome et al. 13 Study Methods, of Different Models and Regression
Kaiser Synaptic Learning for Neuromorphic Vision-Processing Address Events with Spiking Neural Networks
Naveen Kumar et al. Automatic Facial Expression Recognition Using Modified LPQ and HOG Features with Stacked Deep Convolutional Autoencoders
Shome et al. Study of Different Regression Methods, Models and Application in Deep Learning Paradigm
Prieto et al. Automatic neural-based pattern classification of motion behaviors in autonomous robots
KR20210076554A (ko) 깊은 신경망 내에서의 강화된 배치 정규화를 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
Cheng State Representation for Problem Solving Using Reinforcement Learning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210514

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211124

R150 Certificate of patent or registration of utility model

Ref document number: 6983937

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150