JP7393512B2 - ニューラルネットワークの分散学習および重み分配のためのシステム、および方法 - Google Patents

ニューラルネットワークの分散学習および重み分配のためのシステム、および方法 Download PDF

Info

Publication number
JP7393512B2
JP7393512B2 JP2022202375A JP2022202375A JP7393512B2 JP 7393512 B2 JP7393512 B2 JP 7393512B2 JP 2022202375 A JP2022202375 A JP 2022202375A JP 2022202375 A JP2022202375 A JP 2022202375A JP 7393512 B2 JP7393512 B2 JP 7393512B2
Authority
JP
Japan
Prior art keywords
neural network
classification
learning
weights
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022202375A
Other languages
English (en)
Other versions
JP2023036761A (ja
Inventor
ワン，ビクター・ワイ
カルコート，ケビン・エイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northrop Grumman Systems Corp
Original Assignee
Northrop Grumman Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northrop Grumman Systems Corp filed Critical Northrop Grumman Systems Corp
Publication of JP2023036761A publication Critical patent/JP2023036761A/ja
Application granted granted Critical
Publication of JP7393512B2 publication Critical patent/JP7393512B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Description

技術分野
［０００１］本発明は、ニューラルネットワークの分散学習のためのネットワークシステム、および方法に関し、ネットワークシステムの構造として、順方向ノードがラベル付き演算（ｏｂｓｅｒｖａｔｉｏｎｓ）を行うことができ、合計された学習済みの重みを順方向ノード間に再分配するバックエンドエンジンの学習演算の連携および負荷を低減する点において、一つの物理的な位置での演算結果（ｏｂｓｅｒｖａｔｉｏｎｓ）が、別のネットワーク・ノードによって行われた推論および分類に対して影響を与えて、支援できるようにすることである。
考察
［０００２］人工知能（ＡＩ）は、コンピュータサイエンスの一つであり、ソフトウェア・アプリケーションがそれ自体の置かれた環境を学習し、学習された環境よりある一定の結論を得ることを可能とするアルゴリズムが採用される。機械学習は、ＡＩの一つであり、ソフトウェア・アプリケーション自体が大量の未処理の入力データを反復的に分析し、これらのデータのパターンを抽出し、そのソフトウェア・アプリケーションにおいてタスクを実行するための特定のプログラムが組まれていなくてもタスクを実行することを学習できるように、自らの知識を獲得するソフトウェア・アプリケーションを採用する。深層学習は、特定種類の機械学習であり、現実世界の環境を、段々と複雑化していく階層概念として表すことで、より大規模な学習性能を提供する。
［０００３］深層学習では、一般的に、多層のニューラルネットワークにおいて、前の層からの出力を後続の層が受け取り、非線形処理を行うソフトウェア構造が採用される。一般に、複数の層には、センサからの未処理のデータを受信する入力層、データから抽象化された特徴量を抽出する何層かの隠れ層、および隠れ層で抽出された特徴量に基づいて一定のものを特定する出力層が含まれる。ニューラルネットワークは、複数のニューロンあるいは複数のノードを有し、各々の“重み”に対してノードに与えられた入力を掛けて、何かの正解の確率を求める。より詳細には、複数のノードの各々は、浮動小数点数の重みを有し、その重みとノードに与えられた入力とを掛けて、ある割合の入力が出力として生成される。ネットワークが正解の出力を最も高い確率で求められるように、ニューラルネットワークに既知のデータセットの分析をさせて、教師あり処理、更には、目的関数の最小化を行うことで、これらの重みは、初期的に“学習”、あるいは、設定される。
［０００４］深層学習ニューラルネットワークは、動画やストリーム画像が、ネットワークにより分析され、物体の特定および分類、および、そのプロセスより学習して、物体をより良く認識するという点から、通常、画像に含まれる物体のビジュアル検出および分類のための、画像の特徴抽出、および変換を行うために利用される。そのため、この種のネットワークにおいては、同じ処理設定をシステムに用いることができ、アルゴリズムがどのように物体認識を行うことを学習したかに基づいて、所定の物体が検出され、検出された物体のそれぞれが分類される。
［０００５］深層学習アルゴリズムおよびネットワークは、データ処理性能の向上に伴い発展を続けている。特定の分野でみられる発展としては、物体認識および分類を行う際の、画像の検出精度および速度を向上させる識別器が挙げられる。
［０００６］本発明は、ニューラルネットワークの分散学習および重みの分配のためのシステム、および方法を開示し説明するものであり、ネットワーク化した演算ノードを利用して、学習処理のために、すべてのネットワーク・ノードが演算結果および入力を分散的に供給する発明に係る。システムは、ツールスイートを有する学習機能を備え、学習用画像および学習用画像に含まれる物体の物体ラベルを提供し、少なくとも一つの学習ニューラルネットワークが、学習用画像に含まれる物体の検出および分類を行うことで、少なくとも一つの学習ニューラルネットワークのノードの重みを学習させ、学習機能は、学習済みのニューラルネットワークの重みを分配し、画像を受信するトランシーバーを有する。システムは、さらに、複数の物体検出分類ユニットを備え、各ユニットは、ピクセル化された画像フレームを供給する画像ソースを有し、少なくとも一つの分類予測ニューラルネットワークは画像フレーム内の複数の物体を特定し、分類し、相対速度を示し、さらに、画像フレームを送信し、学習済みニューラルネットワークの重みを受信するためのトランシーバーを備える。各物体検出分類ユニットは、少なくとも一つの学習ニューラルネットワークに対して、少なくとも一つの学習ニューラルネットワークの複数のノードの重みをさらに学習させるために、画像フレームを学習機能に送信し、学習済みニューラルネットワークの重みは、学習機能から物体検出分類ユニットの各々に分配されて、他の物体検出分類ユニットからの画像フレームに含まれる物体とともに、物体検出分類ユニットの各々における少なくとも一つの分類予測ニューラルネットワークのノードの重みが学習される。
［０００７］本発明における追加の構成は、添付図面とともに以下の説明および添付の特許請求の範囲により明らかにされる。
図１は、画像の一例を示した図である。 図２は、図１に示す画像に含まれる物体の検出および分類を行うシステムの模式ブロック図である。 図３は、入力層、隠れ層、および出力層を有するニューラルネットワークの一例を示す図である。 図４は、図２に示すシステムで処理された図１に示す画像にバウンディングボックスが含まれ、さらに、画像において分類された物体の周囲にラベルが付与されており、逆Ｖ字は動いている各物体に関連付けられ、逆Ｖ字の数は、物体の相対速度を示している図である。 図５は、図２で示すシステムで処理された図１に示す画像において、バウンディングボックスが含まれ、さらに、画像において分類された物体の周囲にラベルが付与されており、矢印は動いている物体に関連付けられ、矢印の長さが、物体の相対速度を示している図である。 図６は、図２に示すシステムの一部である、機械学習およびニューラルネットワークの学習を行うためのシステムの模式ブロック図である。
［００１４］以下、本発明の実施の形態に係る、ニューラルネットワークのノードにおける分散学習および重み分配のためのシステムおよび方法について説明するが、以下は代表的な例を示しており、本発明を限定するものでも、その適用や実施を限定するものでもない。
［００１５］図１は、ピクセル化された二次元のデジタル画像１０の一例を示し、街の交差点１２は交差する車道１４、１６で規定され、歩道１８は車道１４、１６に隣接して
設けられている。トラック、車等を含む、何台もの車両２０が、車道１４、１６に沿って異なる速度で移動している。さらに、何人もの歩行者２２が、歩道１８および横断歩道２４の上を歩いている。本明細書では、デジタル画像１０は一枚の静止画像または動画ストリーミング画像の一つのフレームであるものとして説明する。
［００１６］以下詳細に説明するように、本発明では、例えば、画像１０に含まれる車両２０および歩行者２２など、二次元デジタル画像に含まれる物体の検出および分類を行う深層学習および学習済みニューラルネットワークを採用する適応型リアルタイム検出検査ネットワーク（ａｄａｐｔｉｖｅ ｒｅａｌ－ｔｉｍｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ
ｅｘａｍｉｎａｔｉｏｎ ｎｅｔｗｏｒｋ：ＡＲＤＥＮ）を提案する。ネットワークは、デジタル画像１０内の物体を特定し、画像１０におけるピクセルベースの位置を求め、かつ、リアルタイム動画に用いることができるように、例えば、物体検出の確率を常に３０ｍｓ未満という非常に低遅延で実現する。また、ネットワークは、一つ前の画像フレームでの位置に基づいて、画像１０内で動いている物体の相対速度を予測する。
［００１７］図２は、上述のＡＲＤＥＮを具体化した物体検出分類システム３０のブロック図を示している。システム３０は動画ソース３２を有し、動画ソース３２としては、画像１０のようにピクセル化された動画ストリーム画像またはピクセル化された静止画像を生成することが可能であれば、いかなる適したデバイスをも用いることができる。非限定的な適した動画ソースの例としては、カメラ、電気光学赤外線センサ、ライダー（ＬＩＤＡＲ）センサ、Ｘ線装置、ＭＲＩ（磁気共鳴画像）装置、合成開口レーダ（ＳＡＲ）装置等が挙げられる。動画ソース３２は、例えば、１秒間に３０フレームなど、所定のサンプルレートでピクセルデータとして規定された動画データ、または、静止画像のデジタル画像フレーム３４のシーケンスを供給する。システム３０は、動画フレーム３４を受信して、フレーム３４に含まれる物体を分類する分類エンジン３６を有する。各画像フレーム３４は、分類エンジン３６の多層順伝播畳み込みニューラルネットワーク（ＣＮＮ）３８に、つまり、画像フレーム３４から割り出されたＣＮＮ３８の入力層に与えられる。当業者によく知られているように、ＣＮＮは、一般的な行列の積の代わりに、畳み込み演算を利用するニューラルネットワークであり、画像等の格子状の値の処理を特定の適用先とする。より詳細には、ＣＮＮ３８は、互いにオーバーラップした入力の領域を有し、かつ、学習および重み付けされた各層のノードを含む多層の受容野を有する、多層ニューラルネットワークであり、ＣＮＮ３８は、特に、全結合層を有さないことで、システム３０における適応的な側面に寄与し、最初の入力層でのより柔軟なリサイズが可能とされる。より低い解像度の画像を含む学習用データセットに基づく学習済みＣＮＮの重みは、推論を開始する時点、あるいは、より高解像度の他の画像の学習の際に用いることができる。ＣＮＮ３８の各ノードには、後段のノードに対してどのようにデータを出力するかを規定する重みとバイアスとが設定される。ＣＮＮ３８の出力層４０は、画像１０において検出および分類された物体を特定する未処理のデジタルデータ（ローデータ）、およびそれぞれの物体の画像１０における位置を出力する。詳細は後述するが、画像１０において検出および分類された物体は、バウンディングボックスとラベルとで特定される。
［００１８］図３は、複数のノード１２２を有するニューラルネットワーク１２０の一例を示した図であり、複数のノード１２２の各々が調整可能な重みＷを有し、ネットワーク１２０は、本明細書で説明したニューラルネットワークを一般に代表するものが用いられている。ニューラルネットワーク１２０は、画像フレーム３４からの各ピクセルデータを受信する入力層１２４と、ピクセルデータの特徴を特定する２つの隠れ層１２６、１２８と、出力層１３０とを備え、出力層１３０の各ノードは、複数の物体のうちの何れの物体であるかを特定する。
［００１９］画像１０の中の多くの物体は動いている。そのため、動いている物体の相
対速度、および動いている物体の方向を特定することが望まれ、また、過去の画像フレームにおけるそれぞれの相対速度および方向に基づいて、動いている複数の物体が後続の画像フレームにおいてどこへ行くのかを予測すること、およびニューラルネットワークの学習により得られたパターンを予測することが望まれる。動いている物体の位置を予測する場合、車両が方向を変えて回転するように、動きが線形的でない物体の位置を予測することが含まれる。
［００２０］システム３０は、上記の機能を実現する予測エンジン４４を備える。動画ソース３２は、予測エンジン４４で受信された、枠で示されているメタデータ４６を出力し、このメタデータ４６には、具体的な適用に応じた各種特定の情報が含まれており、例えば、動画ソース３２の位置情報、すなわち、ＧＰＳの座標情報、時刻、天気、電池の寿命等が含まれる。メタデータ４６は、予測エンジン４４が備えるメタデータ抽出データベース４８に渡され、予測エンジン４４では、特定の位置にある物体位置を予測する処理に適したメタデータ４６の１個１個が選択される。本実施の形態では、メタデータ抽出データベース４８では、ＣＮＮ３８の入力層として設定される、画像フレーム３４をもとに得られた入力層と同じ入力層が用いられる。
［００２１］出力層４０からの未処理の分類データ、およびデータベース４８からの抽出済みメタデータは、予測エンジン４４が備える再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＲＮＮ）５０に渡され、一つ前の画像フレーム３４において物体がどこに存在しているのかに基づいて、画像フレーム３４に含まれる物体の相対速度および方向が求められる。当業者によく知られているように、再帰型ニューラルネットワークは人工ニューラルネットワークの一つであり、学習および重み付けされたノードを有する多層からなり、適用先としては、特に、シーケンシャルなデータの処理が挙げられ、ノード間の結合は有向グラフである。ＲＮＮ５０の構成では、動的な時間的挙動が可能とされるようなネットワークの内部状態を有し、ＲＮＮは、順伝播型ニューラルネットワークとは異なり、内部メモリを用いて任意のシーケンシャルな入力を処理することができる。本実施の形態では、ＲＮＮ５０は、当業者によく知られている長期短期記憶（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ：ＬＳＴＭ）構造を用いて設計される。ＲＮＮ５０は、メタデータを生成するために、メタデータ抽出データベース４８とＣＮＮの出力層４０とからの内容を合わせたものを求め、メタデータには、物体の分類、分類された物体の予測角度（方向）、線形的に動くとは限らない物体の予測位置、および、分類された物体の予測される相対速度が含まれ、また、これらの単位は入力層に有意義なものとされ、例えば、メートル系単位時間ごとのピクセル値、および、メートル系単位時間ごとのピクセル値をＧＰＳ座標に翻訳した値、あるいは、メタデータの利用状況に応じて、他の座標系に基づく運動の単位が用いられる。
［００２２］前述したように、特に、ＲＮＮ５０には、内部のメモリ状態が含まれており、現在の画像フレーム３４に組み合わせて過去の画像フレーム３４を利用することで、分類された物体の相対速度が求められる。仮にシステム３０が動画ソース３２からの一枚の静止画像を処理する場合には、過去の画像フレームは存在しないので、このような場合では、ＲＮＮ５０は、物体の相対速度を示すことができない。
［００２３］分類エンジン３６によって特定された画像フレーム３４に含まれている物体の運動を特定してＲＮＮ５０が生成したデータは、次に、予測エンジン４４が備える、物体分類－運動ベクトルメタデータプロセッサ５２に渡され、ＣＮＮ３８が画像フレーム３４から検出した物体と、ＲＮＮ５０が求めたそれらの物体の運動とが一緒にされる。一緒にされ結合されたデータには、物体の位置と、物体の相対速度とが含まれ、画像フレーム３４とともに、視覚化エンジン５８が備えている、物体分類－運動ベクトルメタデータプロセッサ５６のビジュアル・オーバーレイに与えられ、検出された物体の各々の周囲に
バウンディングボックスと、物体の相対速度および予測される将来の位置の表示とが付与される。この関係付けは、画像１０に含まれる物体の位置と相対速度とを示す画像を生成する視覚化エンジン５８が備える、画像フレームおよび分類オーバーレイ並びに運動ベクトル物体予測プロセッサ６０に与えられる。画像および、プロセッサ５２により得られた物体の位置と相対速度とを含む、合わせられたデータは、画像を表示するための表示装置６２に送出される。表示装置６２は、本明細書における目的に適した表示装置であればどのようなものでもよく、例えば、モニタ、ヘッドアップディスプレイ（Ｈｅａｄ－ｕｐ ｄｉｓｐｌａｙ：ＨＵＤ）、ゴーグル型、プロジェクタ、スマートフォン、コンピュータなどを用いることができる。
［００２４］図４は、上述したようにシステム３０で画像１０が処理されることで、表示装置６２に表示される画像７０の一例である。画像７０においては、特定され分類された物体の各々の周囲をバウンディングボックス７２が囲い、その物体が特定済みかつ分類済みであることが示され、さらに、車両、人などの分類が特定されるラベル７４が含まれている。運動している分類済みの物体の各々は、その逆Ｖ字７６の数が、バウンディングボックス７２と関連付けて付与され、逆Ｖ字７６の方向は、物体が移動する方向を示し、逆Ｖ字７６の数で、物体の相対速度が示されている。
［００２５］図５は、システム３０で画像１０が処理されることで表示装置６２に表示される別の画像８０の例を示し、各物体の周りに与えられたバウンディングボックス７２と、物体を特定するラベル７４とが含まれている。しかし、画像８０は、逆Ｖ字７６の代わりに、物体の動く方向と、物体の相対速度とを表す矢印８２を含み、矢印８２の長さにより相対速度が表される。
［００２６］当業者によく知られているように、本明細書で説明した目的のためには、ニューラルネットワークを学習させて、適切な重みをＣＮＮ３８およびＲＮＮ５０の各ノードに設定することが必要となる。このような学習は、教師あり学習であり、典型的には、技術者が画像に含まれる物体を初期的に特定し、ノードに初期的に重みを設定し、さらにすべてオフラインでネットワークの出力の評価および修正を行い、その適用分野で使用されることができるように重みを適切に学習させる。詳細は後述するが、本発明はシステムをも備えることで、図２に示した種類の物体検出分類システムは、ＣＮＮ３８およびＲＮＮ５０が学習済みノードを備え、これらの学習済みノードの調整および更新は、他の物体検出分類システムからの画像を受信する学習システムによって行われ、学習システムは、受信した画像を用いて代表のニューラルネットワークをさらに学習させる。
［００２７］図６は、物体検出ネットワーク９０の模式ブロック図であり、ニューラルネットワークの複数のノードでの分散学習および重みの分配を行う、つまり、重みがノード間で分配される本発明に係る構成例を示している。ネットワーク９０は、学習機能に設置されている学習システム９２と、学習システム９２とは分離して設けて現場で用いられる複数の物体検出分類システム９４とを備え、システム９４はシステム３０と同様の構成を有する。ここで、システム９４の数は、２個以上の適した数とすることができる。学習システム９２は、学習ツールスイート９６を有し、これは、適したアルゴリズムの演算を行うコンピュータシステムと、必要なアクセサリとで構成され、これらの構成すべては当業者によく知られているものである。技術者は、システム９４で分類されることになる物体を含む学習用画像のセットについて、ツールスイート９６を用いて検査し、学習用画像の周囲にバウンディングボックスを描いて分類を行うところ、より具体的には、技術者は、分類された物体に対してその物体を表すラベルを付与することで物体の特定を行う。枠９８で表されたラベルおよび画像は、分類予測エンジン１００に送出され、この分類予測エンジン１００には、システム９４で用いられたものと同様の学習ＣＮＮおよびＲＮＮが備えられており、その後に、これらの学習が行われる。分類予測エンジン１００は、評価
機能および誤差逆伝播機能を有し、ＣＮＮおよびＲＮＮのノードの重みの値の調整に用いられ、別の画像に含まれる物体の分類をより精度よく行うようにする。より詳細には、重みに対しては、制御された方法での評価が行われ、学習ＣＮＮおよびＲＮＮが物体を正確に分類できるように重みが調整されるところ、重みは静的なデータであり、評価機能により抽出、保存、転送、および精製（ｒｅｆｉｎｅ）されることが可能な性質を有し、学習過程の伝播により再帰的に更新される。分類予測エンジン１００は、データのスループットを増やすために並列演算処理を実行する、当業者に動作がよく知られているグラフィックプロセッサユニット（ＧＰＵ）クラスター１０２にデータを出力し、また、データを受信する。いったん評価処理が完了して、学習された重みの値で物体の特定および分類について正確性の高い予測が実現できることを分類予測エンジン１００が判断すると、重みは、分類予測エンジン１００から学習済み重み１０４として出力される。学習システム９２は、学習済み重み１０４を送信し、画像を受信するために適切なトランシーバー、または、ネットワークルータ１０６も備えている。
［００２９］本明細書においては、本発明を説明するための複数かつ各種のステップおよび処理は、電気的な現象を用いてデータを処理および／または変換するコンピュータ、プロセッサ、または、他の電子計算機によって実行される演算である場合が含まれる。このようなコンピュータや電子デバイスには、各種揮発性および／または非揮発性メモリが利用され、実行可能なプログラムが格納された非一時的コンピュータ読取可能媒体を含み、プログラムには、コンピュータまたはプロセッサが実行可能な各種コード、または、指令が含まれ、メモリおよび／またはコンピュータ読取可能媒体には、あらゆる形態のメモリおよびその他のコンピュータ読取可能メディアが含まれる。
［００３０］以上、本発明の例としての実施の形態について説明した。本発明は説明した実施の形態に限定されるものではなく、添付図面および請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。

Claims (15)

  1. ニューラルネットワークの分散学習および複数のノードの重みの分配を行うためのシステムであって、
    学習用画像と前記学習用画像に含まれる物体の物体ラベルとを提供するツールスイートと、少なくとも一つの学習ニューラルネットワークにおいて複数のノードの重みを学習するために、前記学習用画像に含まれる前記物体を検出および分類する前記少なくとも一つの学習ニューラルネットワークと、学習済みニューラルネットワークの重みを分配し、かつ、画像を受信するための学習機能トランシーバーと、を具備する学習機能と、
    ピクセル化された画像フレームを提供する画像ソースと、前記画像フレームに含まれる物体を特定し、分類し、かつ、前記物体の相対速度を示す少なくとも一つの分類予測ニューラルネットワークと、前記画像フレームを前記学習機能に送信し、かつ、前記学習済みニューラルネットワークの重みを前記学習機能から受信するためのユニットトランシーバーと、を各々が具備する複数の物体検出分類ユニットであって、前記複数の物体検出分類ユニットの各々は、前記学習用画像を用いて学習を行った前記学習機能からの前記学習済みニューラルネットワークの重みに応答的である、複数の物体検出分類ユニットと、を備え、
    前記複数の物体検出分類ユニットは、ネットワークを介して、前記学習機能とは分離して設けられ、
    前記複数の物体検出分類ユニットの各々は、前記学習機能に前記画像フレームを送信して、前記少なくとも一つの学習ニューラルネットワークに対して、前記少なくとも一つの学習ニューラルネットワークに含まれる前記複数のノードの重みをさらに学習させ、
    前記学習済みニューラルネットワークの重みが、前記学習機能トランシーバーによって前記学習機能から前記複数の物体検出分類ユニットの各々に分配される結果、他の複数の物体検出分類ユニットからの画像フレームに含まれる物体を用いて、前記複数の物体検出分類ユニットの各々における前記少なくとも一つの分類予測ニューラルネットワークの複数のノードの重みが前記学習機能において学習され、
    前記複数の物体検出分類ユニットの各々が有する前記少なくとも一つの分類予測ニューラルネットワークは、多層順伝播型畳み込みニューラルネットワーク（ＣＮＮ）と、再帰型ニューラルネットワーク（ＲＮＮ）とを含み、
    前記ＣＮＮが分類エンジンに設けられ、前記ＣＮＮが入力層および出力層を含み、
    前記ＣＮＮが、前記入力層において前記画像フレームに対して応答的とされ、前記画像フレームに含まれる物体の特定および分類を行い、物体分類データを前記出力層に渡し、
    前記画像ソースがさらに前記画像ソースの位置情報を含むメタデータを提供し、前記ＲＮＮが予測エンジンに設けられ、
    前記予測エンジンでは、前記メタデータのうちから、前記画像フレームにおいて、特定の位置にある前記物体の位置の予測処理に適したメタデータが選択され、
    前記ＲＮＮが、前記出力層の前記物体分類データと、前記選択されたメタデータとに対して応答的とされ、
    前記ＲＮＮが、前記画像フレームに含まれる、分類された前記物体の運動と相対速度とを特定して物体運動データを供給し、
    前記予測エンジンが、前記ＣＮＮからの前記物体分類データと前記ＲＮＮからの前記物体運動データとを結合する物体分類－運動ベクトルプロセッサを更に有する
    ことを特徴とするシステム。
  2. 請求項１に記載のシステムにおいて、前記少なくとも一つの学習ニューラルネットワークは、多層順伝播型畳み込みニューラルネットワーク（ＣＮＮ）と、再帰型ニューラルネットワーク（ＲＮＮ）とを含む
    ことを特徴とするシステム。
    ことを特徴とするシステム。
  3. 請求項１に記載のシステムにおいて、前記ＣＮＮには、確実に全結合層が存在しない
    ことを特徴とするシステム。
  4. 請求項１に記載のシステムにおいて、前記ＲＮＮは、長期短期記憶を含む
    ことを特徴とするシステム。
  5. 請求項１に記載のシステムにおいて、
    前記複数の物体検出分類ユニットの各々は、前記画像フレームと、前記予測エンジンにより結合された前記物体分類データおよび前記物体運動データと、に対して応答的な視覚化エンジンをさらに有し、
    前記視覚化エンジンは、結合された前記物体分類データおよび前記物体運動データと、
    前記画像フレームとを関係付けて、分類された物体の各々の周囲の境界枠と、前記分類された物体の相対速度および移動方向を示す表示とを含む、関係付けられた画像を供給し、
    前記複数の物体検出分類ユニットの各々は、さらに、前記関係付けられた画像を表示させる表示装置を有する
    ことを特徴とするシステム。
  6. 請求項５に記載のシステムにおいて、前記表示装置は、モニタ、ヘッドアップディスプレイ（ＨＵＤ）装置、ゴーグル、プロジェクタ、スマートフォン、およびコンピュータからなる群より選択される
    ことを特徴とするシステム。
  7. 請求項１に記載のシステムにおいて、前記少なくとも一つの分類予測ニューラルネットワークは、回転する物体の将来の位置を予測する
    ことを特徴とするシステム。
  8. 請求項１に記載のシステムにおいて、画像ソースは、カメラ、電気光学赤外線センサ、ＬＩＤＡＲセンサ、Ｘ線装置、磁気共鳴画像（ＭＲＩ）装置、および合成開口レーダ（ＳＡＲ）装置からなる群より選択される
    ことを特徴とするシステム。
  9. ニューラルネットワークの分散学習および複数のノードの重みの分配を行うためのシステムであって、
    少なくとも一つの学習ニューラルネットワークにおいて複数のノードの重みを学習するために、学習用画像に含まれる物体を検出および分類する前記少なくとも一つの学習ニューラルネットワークを具備する学習機能と、
    ピクセル化された画像フレームを提供する画像ソースと、画像フレームに含まれる物体を特定し、分類し、および前記物体の相対速度を示す、少なくとも一つの分類予測ニューラルネットワークと、を各々が具備する複数の物体検出分類ユニットと
    を備え、
    前記複数の物体検出分類ユニットは、ネットワークを介して、前記学習機能とは分離して設けられ、
    前記学習機能は、前記学習用画像により学習した学習済み重みを前記複数の物体検出分類ユニットに送信し、
    前記複数の物体検出分類ユニットの各々は、前記学習機能からの学習済みニューラルネットワークの重みに応答的であり、
    前記複数の物体検出分類ユニットの各々は、前記学習機能に対して前記画像フレームを送信して、前記少なくとも一つの学習ニューラルネットワークに対して、前記少なくとも一つの学習ニューラルネットワークに含まれる前記複数のノードの重みをさらに学習させ、
    前記学習済みニューラルネットワークの重みが、前記学習機能から前記複数の物体検出分類ユニットの各々に分配される結果、前記学習機能において、他の複数の物体検出分類ユニットからの画像の物体を用いて、前記複数の物体検出分類ユニットの各々が有する前記少なくとも一つの分類予測ニューラルネットワークの複数のノードの重みが学習され、
    前記複数の物体検出分類ユニットの各々が有する前記少なくとも一つの分類予測ニューラルネットワークは、多層順伝播型畳み込みニューラルネットワーク（ＣＮＮ）と、再帰型ニューラルネットワーク（ＲＮＮ）とを含み、
    前記ＣＮＮが分類エンジンに設けられ、前記ＣＮＮが入力層および出力層を含み、
    前記ＣＮＮが、前記入力層において前記画像フレームに対して応答的とされ、前記画像フレームに含まれる物体の特定および分類を行い、物体分類データを前記出力層に渡し、
    前記画像ソースがさらに前記画像ソースの位置情報を含むメタデータを提供し、前記ＲＮＮが予測エンジンに設けられ、
    前記予測エンジンでは、前記メタデータのうちから、前記画像フレームにおいて、特定の位置にある前記物体の位置の予測処理に適したメタデータが選択され、
    前記ＲＮＮが、前記出力層の前記物体分類データと、前記選択されたメタデータとに対して応答的とされ、
    前記ＲＮＮが、前記画像フレームに含まれる、分類された前記物体の運動と相対速度とを特定して物体運動データを供給し、
    前記予測エンジンが、前記ＣＮＮからの前記物体分類データと前記ＲＮＮからの前記物体運動データとを結合する物体分類－運動ベクトルプロセッサを更に有する
    ことを特徴とするシステム。
  10. 請求項９に記載のシステムにおいて、前記少なくとも一つの学習ニューラルネットワークは、多層順伝播型畳み込みニューラルネットワーク（ＣＮＮ）と、再帰型ニューラルネットワーク（ＲＮＮ）とを含む
    ことを特徴とするシステム。
  11. 請求項９に記載のシステムにおいて、前記ＣＮＮには、確実に全結合層が存在しない
    ことを特徴とするシステム。
  12. 請求項９に記載のシステムにおいて、前記ＲＮＮは、長期短期記憶を含む
    ことを特徴とするシステム。
  13. ニューラルネットワークの分散学習および複数のノードの重みの分配を行うための方法であって、
    学習機能が具備するツールスイートが、学習用画像を与えるステップと、
    前記学習機能が、前記学習用画像を用いて、学習ニューラルネットワークの複数のノードの重みを学習するステップと、
    学習機能トランシーバーが、学習済み重みを、前記学習機能とは分離してネットワーク上の複数の位置に設けられている複数の物体検出分類ユニットに送信するステップと、
    前記複数の物体検出分類ユニットの各々が各位置にある少なくとも一つの分類予測ニューラルネットワークを用いて、前記複数の位置での、画像ソースにより提供されるピクセル化された画像フレームに含まれる物体を特定し、分類し、および前記物体の相対速度を示すステップであって、前記学習機能からの前記学習済み重みは、各位置にある前記少なくとも一つの分類予測ニューラルネットワークの複数のノードの重みを学習するために用いられるものである、ステップと、
    前記学習ニューラルネットワークの前記複数のノードの重みをさらに学習させるために、前記複数の物体検出分類ユニットの各々が、各位置からの前記画像フレームを、前記学習機能の前記学習ニューラルネットワークに送信するステップと、
    前記学習済み重みが、前記学習機能から前記複数の位置における前記複数の物体検出分類ユニットの各々にさらに分配される結果、他の位置における他の複数の物体検出分類ユニットからの画像フレームに含まれる物体を用いて、前記複数の物体検出分類ユニットの各位置における前記少なくとも一つの分類予測ニューラルネットワークの複数のノードの重みが前記学習機能により学習され、
    前記複数の物体検出分類ユニットの各々が有する前記少なくとも一つの分類予測ニューラルネットワークは、多層順伝播型畳み込みニューラルネットワーク（ＣＮＮ）と、再帰型ニューラルネットワーク（ＲＮＮ）とを含み、
    前記ＣＮＮが分類エンジンに設けられ、前記ＣＮＮが入力層および出力層を含み、
    前記ＣＮＮが、前記入力層において前記画像フレームに対して応答的とされ、前記画像フレームに含まれる物体の特定および分類を行い、物体分類データを前記出力層に渡し、
    前記画像ソースがさらに前記画像ソースの位置情報を含むメタデータを提供し、前記ＲＮＮが予測エンジンに設けられ、
    前記予測エンジンでは、前記メタデータのうちから、前記画像フレームにおいて、特定の位置にある前記物体の位置の予測処理に適したメタデータが選択され、
    前記ＲＮＮが、前記出力層の前記物体分類データと、前記選択されたメタデータとに対して応答的とされ、
    前記ＲＮＮが、前記画像フレームに含まれる、分類された前記物体の運動と相対速度とを特定して物体運動データを供給し、
    前記予測エンジンが、前記ＣＮＮからの前記物体分類データと前記ＲＮＮからの前記物体運動データとを結合する物体分類－運動ベクトルプロセッサを更に有する
    ことを特徴とする方法。
  14. 請求項１３に記載の方法において、前記学習ニューラルネットワークは、多層順伝播型畳み込みニューラルネットワーク（ＣＮＮ）と、再帰型ニューラルネットワーク（ＲＮＮ）とを含む
    ことを特徴とする方法。
  15. 請求項１３に記載の方法において、前記ＣＮＮには、確実に全結合層が存在しない
    ことを特徴とする方法。
JP2022202375A 2017-08-22 2022-12-19 ニューラルネットワークの分散学習および重み分配のためのシステム、および方法 Active JP7393512B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/683,534 2017-08-22
US15/683,534 US10217028B1 (en) 2017-08-22 2017-08-22 System and method for distributive training and weight distribution in a neural network
PCT/US2018/043134 WO2019040214A1 (en) 2017-08-22 2018-07-20 SYSTEM AND METHOD FOR DISTRIBUTIVE LEARNING AND WEIGHT DISTRIBUTION IN A NEURONAL NETWORK
JP2020511523A JP2020532008A (ja) 2017-08-22 2018-07-20 ニューラルネットワークの分散学習および重み分配のためのシステム、および方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020511523A Division JP2020532008A (ja) 2017-08-22 2018-07-20 ニューラルネットワークの分散学習および重み分配のためのシステム、および方法

Publications (2)

Publication Number Publication Date
JP2023036761A JP2023036761A (ja) 2023-03-14
JP7393512B2 true JP7393512B2 (ja) 2023-12-06

Family

ID=63104172

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020511523A Pending JP2020532008A (ja) 2017-08-22 2018-07-20 ニューラルネットワークの分散学習および重み分配のためのシステム、および方法
JP2022202375A Active JP7393512B2 (ja) 2017-08-22 2022-12-19 ニューラルネットワークの分散学習および重み分配のためのシステム、および方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020511523A Pending JP2020532008A (ja) 2017-08-22 2018-07-20 ニューラルネットワークの分散学習および重み分配のためのシステム、および方法

Country Status (4)

Country Link
US (1) US10217028B1 (ja)
EP (1) EP3673417B1 (ja)
JP (2) JP2020532008A (ja)
WO (1) WO2019040214A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10455363B2 (en) * 2015-11-04 2019-10-22 xAd, Inc. Systems and methods for using geo-blocks and geo-fences to discover lookalike mobile devices
US10547971B2 (en) 2015-11-04 2020-01-28 xAd, Inc. Systems and methods for creating and using geo-blocks for location-based information service
US11328210B2 (en) 2017-12-29 2022-05-10 Micron Technology, Inc. Self-learning in distributed architecture for enhancing artificial neural network
US10522038B2 (en) 2018-04-19 2019-12-31 Micron Technology, Inc. Systems and methods for automatically warning nearby vehicles of potential hazards
EP3598339A1 (en) * 2018-07-19 2020-01-22 Tata Consultancy Services Limited Systems and methods for end-to-end handwritten text recognition using neural networks
US10349208B1 (en) 2018-08-17 2019-07-09 xAd, Inc. Systems and methods for real-time prediction of mobile device locations
US11172324B2 (en) 2018-08-17 2021-11-09 xAd, Inc. Systems and methods for predicting targeted location events
US11146911B2 (en) 2018-08-17 2021-10-12 xAd, Inc. Systems and methods for pacing information campaigns based on predicted and observed location events
US11134359B2 (en) 2018-08-17 2021-09-28 xAd, Inc. Systems and methods for calibrated location prediction
US11423284B2 (en) * 2018-09-07 2022-08-23 Black Sesame Technologies, Inc Subgraph tile fusion in a convolutional neural network
US20200104966A1 (en) * 2018-09-30 2020-04-02 Strong Force Intellectual Capital, Llc Intelligent transportation systems
US11526704B2 (en) * 2018-10-26 2022-12-13 Intel Corporation Method and system of neural network object recognition for image processing
US11948362B2 (en) * 2018-10-31 2024-04-02 Arcus Holding A/S Object detection using a combination of deep learning and non-deep learning techniques
US11373466B2 (en) 2019-01-31 2022-06-28 Micron Technology, Inc. Data recorders of autonomous vehicles
US11410475B2 (en) 2019-01-31 2022-08-09 Micron Technology, Inc. Autonomous vehicle data recorders
US10482584B1 (en) * 2019-01-31 2019-11-19 StradVision, Inc. Learning method and learning device for removing jittering on video acquired through shaking camera by using a plurality of neural networks for fault tolerance and fluctuation robustness in extreme situations, and testing method and testing device using the same
CN110032954B (zh) * 2019-03-27 2021-05-14 中建三局第一建设工程有限责任公司 一种钢筋智能识别与计数方法及系统
US11037968B2 (en) * 2019-04-05 2021-06-15 Waymo Llc Image sensor architecture
CN110224862B (zh) * 2019-05-20 2021-12-21 杭州电子科技大学 基于多层感知器的多智能体系统网络容侵能力评估方法
KR20220024718A (ko) * 2019-06-18 2022-03-03 몰로코, 인크. 머신 러닝 서비스를 제공하기 위한 방법 및 시스템
GB201909693D0 (en) * 2019-07-05 2019-08-21 Vaion Ltd Computer-implemented method
CN110348369B (zh) * 2019-07-08 2021-07-06 北京字节跳动网络技术有限公司 一种视频场景分类方法、装置、移动终端及存储介质
US11636334B2 (en) 2019-08-20 2023-04-25 Micron Technology, Inc. Machine learning with feature obfuscation
US11392796B2 (en) 2019-08-20 2022-07-19 Micron Technology, Inc. Feature dictionary for bandwidth enhancement
US11755884B2 (en) 2019-08-20 2023-09-12 Micron Technology, Inc. Distributed machine learning with privacy protection
TWI709090B (zh) * 2019-08-30 2020-11-01 阿證科技股份有限公司 類神經人工智慧決策網路核心系統及其資訊處理方法
US11531107B2 (en) * 2019-11-19 2022-12-20 Volvo Car Corporation Long range LIDAR-based speed estimation
JP7289427B2 (ja) * 2020-02-28 2023-06-12 株式会社Pros Cons プログラム、情報処理方法及び情報処理装置
JP7221454B2 (ja) * 2020-09-01 2023-02-13 三菱電機株式会社 識別装置、学習装置およびモデル生成方法
CN112016522B (zh) * 2020-09-25 2022-06-07 苏州浪潮智能科技有限公司 一种视频数据处理方法、系统及相关组件
JP2021090191A (ja) * 2020-11-09 2021-06-10 ネットスマイル株式会社 ビデオ信号処理システムおよびビデオ信号処理方法
CN115857059B (zh) * 2022-11-24 2023-07-07 中国民航科学技术研究院 一种积冰预报管理方法、系统、可读存储介质和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020445A (ja) 2008-07-09 2010-01-28 Sony Corp 学習装置、学習方法、およびプログラム
JP2012022558A (ja) 2010-07-15 2012-02-02 Hitachi Ltd 分散計算システム
US20170169358A1 (en) 2015-12-09 2017-06-15 Samsung Electronics Co., Ltd. In-storage computing apparatus and method for decentralized machine learning
JP2018041319A (ja) 2016-09-08 2018-03-15 日本電信電話株式会社 移動状況学習装置、移動状況認識装置、方法、及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7418346B2 (en) * 1997-10-22 2008-08-26 Intelligent Technologies International, Inc. Collision avoidance methods and systems
JP4229051B2 (ja) * 2004-11-26 2009-02-25 日産自動車株式会社 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
US10759446B2 (en) * 2015-04-21 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Information processing system, information processing method, and program
US20180053102A1 (en) * 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models
CN106446949B (zh) 2016-09-26 2019-05-21 成都通甲优博科技有限责任公司 一种车辆型号识别方法及装置
GB2554435B (en) * 2016-09-27 2019-10-23 Univ Leicester Image processing
US10796204B2 (en) * 2017-02-27 2020-10-06 Huawei Technologies Co., Ltd. Planning system and method for controlling operation of an autonomous vehicle to navigate a planned path
US10324469B2 (en) * 2017-03-28 2019-06-18 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling motion of vehicle in shared environment
US11055605B2 (en) * 2017-04-25 2021-07-06 Nec Corporation Detecting dangerous driving situations by parsing a scene graph of radar detections

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020445A (ja) 2008-07-09 2010-01-28 Sony Corp 学習装置、学習方法、およびプログラム
JP2012022558A (ja) 2010-07-15 2012-02-02 Hitachi Ltd 分散計算システム
US20170169358A1 (en) 2015-12-09 2017-06-15 Samsung Electronics Co., Ltd. In-storage computing apparatus and method for decentralized machine learning
JP2018041319A (ja) 2016-09-08 2018-03-15 日本電信電話株式会社 移動状況学習装置、移動状況認識装置、方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Joonas Haapala，"Recurrent neural networks for object detection in video sequences"，Thesis submitted in partial fulllment of the requirements for the degree of Master of Science (Technology)，フィンランド，Aalto University，2017年05月08日，pp.1-59，https://aaltodoc.aalto.fi/handle/123456789/26137
黎 明曦、外２名，"パラメータサーバを用いた並列機械学習システムにおける耐故障性のシミュレーション"，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2016年08月01日，Vol.116, No.177，pp.125-130

Also Published As

Publication number Publication date
EP3673417A1 (en) 2020-07-01
JP2020532008A (ja) 2020-11-05
JP2023036761A (ja) 2023-03-14
WO2019040214A1 (en) 2019-02-28
US20190065903A1 (en) 2019-02-28
EP3673417B1 (en) 2023-10-04
US10217028B1 (en) 2019-02-26

Similar Documents

Publication Publication Date Title
JP7393512B2 (ja) ニューラルネットワークの分散学習および重み分配のためのシステム、および方法
KR102599212B1 (ko) 적응적 실시간 검출 및 검사 네트워크(arden)
US11928866B2 (en) Neural networks for object detection and characterization
Chou et al. Predicting motion of vulnerable road users using high-definition maps and efficient convnets
US20200160535A1 (en) Predicting subject body poses and subject movement intent using probabilistic generative models
US20190050729A1 (en) Deep learning solutions for safe, legal, and/or efficient autonomous driving
US20200311855A1 (en) Object-to-robot pose estimation from a single rgb image
WO2018162933A1 (en) Improved object recognition system
WO2021096776A1 (en) Simulating diverse long-term future trajectories in road scenes
US11657291B2 (en) Spatio-temporal embeddings
JP2023549036A (ja) 点群からの効率的な三次元物体検出
US20240046614A1 (en) Computer-implemented method for generating reliability indications for computer vision
US20220230418A1 (en) Computer-implemented method for training a computer vision model
Baghel et al. Analysis of Ex-YOLO algorithm with other real-time algorithms for emergency vehicle detection
Lange et al. Lopr: Latent occupancy prediction using generative models
Praneeth et al. Scaling object detection to the edge with yolov4, tensorflow lite
US11804034B2 (en) Training a function to respond predictably to differences
Kulkarni et al. Key-track: A lightweight scalable lstm-based pedestrian tracker for surveillance systems
Fan et al. Multiple obstacle detection for assistance driver system using deep neural networks
Lakshmi Priya et al. Vehicle Detection in Autonomous Vehicles Using Computer Vision
Andrade et al. Combining YOLO and Deep Reinforcement Learning for Autonomous Driving in Public Roadworks Scenarios.
Silva et al. Long Range Object-Level Monocular Depth Estimation for UAVs
US20230347932A1 (en) Evaluation of components of autonomous vehicles based on driving recommendations
US20240127075A1 (en) Synthetic dataset generator
US20230365155A1 (en) Virtual fields driving related operations

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231124

R150 Certificate of patent or registration of utility model

Ref document number: 7393512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150