JP6802756B2 - 認識システム、共通特徴量抽出ユニット、及び認識システム構成方法 - Google Patents

認識システム、共通特徴量抽出ユニット、及び認識システム構成方法 Download PDF

Info

Publication number
JP6802756B2
JP6802756B2 JP2017098641A JP2017098641A JP6802756B2 JP 6802756 B2 JP6802756 B2 JP 6802756B2 JP 2017098641 A JP2017098641 A JP 2017098641A JP 2017098641 A JP2017098641 A JP 2017098641A JP 6802756 B2 JP6802756 B2 JP 6802756B2
Authority
JP
Japan
Prior art keywords
recognition
neural network
task
common
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017098641A
Other languages
English (en)
Other versions
JP2018195097A (ja
Inventor
育郎 佐藤
育郎 佐藤
満 安倍
満 安倍
浩史 土井
浩史 土井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso IT Laboratory Inc
Original Assignee
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso IT Laboratory Inc filed Critical Denso IT Laboratory Inc
Priority to JP2017098641A priority Critical patent/JP6802756B2/ja
Priority to CN201810124247.2A priority patent/CN108960405A/zh
Priority to DE102018102791.5A priority patent/DE102018102791A1/de
Priority to US15/947,009 priority patent/US10769479B2/en
Publication of JP2018195097A publication Critical patent/JP2018195097A/ja
Application granted granted Critical
Publication of JP6802756B2 publication Critical patent/JP6802756B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Neurology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Description

本発明は、センサ値に基づいて認識処理を行う認識システム及びそれに用いる共通特徴量抽出ユニット、並びに認識システム構成方法に関する。
センサ値に基づいて認識処理を行う認識システムとして、ニューラルネットワーク等の機械学習モデルを用いてセンサ値から特徴量を取得して認識を行う認識システムが知られている（例えば、特許文献１）。このような認識システムは、例えば、車両の自動運転、運転支援等の車両運転制御に応用される。
車両運転制御では、例えば、カメラの画像やミリ波レーダの検出値等がセンサ値として取得され、これらをニューラルネットワーク等の機械学習モデルに入力することで、標識の識別、歩行者検知、白線検知等の結果が得られ、車両はこれらの認識結果（即ち、機械学習モデルの出力）に基づいて制御される。車両の制御としては、標識識別結果に基づく速度制限、歩行者検知結果に基づく自動緊急ブレーキ、白線検知結果に基づくレーンキーピング等がある。
例えば、これらの標識識別、歩行者検知、白線検知は、いずれもカメラによる撮影で得られた画像（撮影画像）に対して認識処理を行う。撮影画像を標識識別のために構成され学習されたニューラルネットワークに入力することで、標識の識別結果が得られ、また、撮影画像を歩行者検知のために構成され学習されたニューラルネットワークに入力することで、歩行者検知結果が得られ、撮影画像を白線検知のために構成され学習されたニューラルネットワークに入力することで、白線検知結果が得られる。
Iasonas Kokkinos、"UberNet : Training a ‘Universal’ Convolutional Neural Network for Low-, Mid-, and High-Level Vision using Diverse Datasets and Limited Memory"、arXiv:1609.02132v1 [cs.CV]、 7 Sep 2016 田向権、関根優年、「ニューラルネットワークのハードウェア実装とそのシステム化へのアプローチ」、日本神経回路学会誌、Vol.20、No.4(2013)、ｐ．166-173 田中愛久、黒柳喫、岩田彰、「ＦＰＧＡのためのニューラルネットワークのハードウェア化手法」、電子情報通信学会技術研究報告. NC、ニューロコンピューティング100(688)、ｐ．175-182、2001-03-16、一般社団法人電子情報通信学会 秋山泰、「ニューラルネットワークのハードウェア」、オペレーションズ・リサーチ、1992年7月号、ｐ．342-346
精度の高いニューラルネットワークを得るためには、大量の学習データが必要であり、また、用意された大量の学習データを学習するのに長い演算時間が必要である。従来、これらのニューラルネットワークを認識タスク（標識識別、歩行者検知、白線検知等）ごとに複数用意しなければならなかったため、開発コスト（費用コスト、時間コスト、作業負担コストを含む）が大きく、認識システムの更新をするための更新コストも大きかった。
特に、自動運転や運転支援をする車両のように多くの認識タスクを実行して車両の制御値を得るシステムでは、例えば同じ撮影画像が複数の認識タスクに利用されており、各認識タスクにおいて、撮影画像に対して同様の特徴量抽出の演算が行われていたが、認識タスクごとに独立したニューラルネットワークが用意されていた。
本発明は、センサ値を入力としてニューラルネットワークを用いて認識を行う認識システムにおいて、開発コストを低減することを目的とする。
本発明の一態様の認識システムは、センシングを行ってセンサ値を出力するセンシングユニットと、前記センサ値に基づく第１認識タスクを行う第１認識処理部、及び前記センサ値に基づく第２認識タスクを行う第２認識処理部を含むタスク特化ユニットとと、前記センシングユニットと前記タスク特化ユニットとの間に配置され、前記センサ値を入力として、前記第１認識処理部及び前記第２認識処理部に共通に入力される共通特徴量を抽出するための共通のニューラルネットワークが構成された共通特徴量抽出ユニットとを備えた構成を有する。
この構成により、第１認識タスクと第２認識タスクに共通に用いられる特徴量の抽出を共通のニューラルネットワークを用いて行うことができるので、開発コストを低減できる。
前記共通特徴量抽出ユニットは、前記制御値取得ユニットとは別体の半導体チップに構成されていてよい。
この構成により、共通特徴量抽出ユニットと制御値取得ユニットとを別々に開発することができ、開発管理のコストを低減できる。
前記共通特徴量抽出ユニットにおける前記共通のニューラルネットワークは、前記半導体チップにおいてハードウェアで構成されていてよい。
この構成により、共通特徴量抽出ユニットにおける特徴量の抽出を低消費電力、低発熱量、高速で行うことができる。なお、共通のニューラルネットワークをハードウェアで構成する場合には、当該共通のニューラルネットワークを更新する際のコストは高くなるが、タスク特化ユニットの各部をソフトウェアで実装し、制御値取得ユニットの各部を更新することで、コストを抑えて認識システムを更新できる。
前記第１認識処理部は、前記共通特徴量抽出ユニットから出力された特徴量を入力とし、前記認識処理の結果を出力とする前記第１認識タスク用のニューラルネットワークを含んで構成されていてよい。
この構成により、共通のニューラルネットワークと第１認識タスク用のニューラルネットワークとを直列に用いることでセンサ値から第１認識タスクの認識結果を得ることができる。
前記センシングユニットは、センサ値を得るセンサと、センサ値に対して前処理を行う前処理部とを備えていてよい。
この構成により、前処理部において、共通のニューラルネットワークに入力するのに適したセンサ値を得ることができる。
前記共通特徴量抽出ユニットは、前記共通のニューラルネットワークの各層の入力を整数基底に分解する離散器を備えていてよい。
この構成により、共通特徴量の抽出を高速に行うことができる。
前記共通のニューラルネットワークは、整数の重みをもっていてよい。
この構成によっても、共通特徴量の抽出を高速に行うことができる。
前記共通特徴量抽出ユニットは、前記共通のニューラルネットワークの各層の入力を整数基底に分解する離散器を備えていてよく、前記共通のニューラルネットワークは、二値又は三値に離散化された重みを保持し、内部の演算の一部ないし全部を論理演算で処理し、前記論理演算の結果を非線形活性化関数により変換し、前記変換の結果を次の層に渡す構成であってよい。
この構成によっても、共通特徴量の抽出を高速に行うことができる。
前記共通特徴抽出ユニットは、通信モジュールを備えていてよく、あるいは、通信モジュールに接続されていてよく、前記通信モジュールで受信した情報に基づいて、前記共通のニューラルネットワークの重みを更新してよい。
この構成により、共通特徴量抽出ユニットの共通のニューラルネットワークの重みを通信によって遠隔で更新することができる。
本発明の一態様の共通特徴量抽出ユニットは、センシングを行ってセンサ値を出力するセンシングユニットと、前記センサ値に基づく第１認識タスクを行う第１認識処理部、及び前記センサ値に基づく第２認識タスクを行う第２認識処理部を含むタスク特化ユニットとの間に配置され、前記センサ値を入力として、前記第１認識処理部及び前記第２認識処理部で共通に用いられる共通特徴量を抽出するための共通のニューラルネットワークが構成された構成を有する。
この構成により、第１認識タスクと第２認識タスクに用いる共通の特徴量の計算を共通のニューラルネットワークを用いて行うことができるので、同じ認識タスクを実行できかつタスク間で共通の特徴を使用しない構成と比較して、システム全体として演算器の規模を小規模化でき、開発コストを低減できる。
本発明の一態様の認識システム構成方法は、上記の認識システムを構成する認識システム構成方法であって、前記第１認識タスクを行う学習済みの認識器の入力及び出力のデータ、及び前記第２認識タスクを行う学習済みの認識器の入力及び出力のデータを学習データセットとして用いて前記共通のニューラルネットワークを学習する構成を有する。
共通のニューラルネットワーク学習（具体的には重みパラメタを決定）するためには、大量の学習データセットが必要となる。本認識システムでは、特徴量抽出の少なくとも一部を共通特徴量抽出ユニットで担い、第１認識タスク及び第２認識タスクのそれぞれの認識結果の出力はタスク特化ユニットで行うため、共通のニューラルネットワークを学習するために、第１認識タスク用の学習データセットと第２認識タスク用の学習データセットが必要になる。認識タスクの種類によっては学習データセットを用意することが困難であるところ、上記の構成によれば、前記第１認識タスクを行う学習済みの認識器の入力及び出力のデータ、及び前記第２認識タスクを行う学習済みの認識器の入力及び出力のデータを学習データセットとして用い、そのような学習済みの認識器は容易に入手できるので、結果として、共通のニューラルネットワークを学習するための学習データセットを容易に得られることになる。このように、第１認識タスク用の学習データセットと第２認識タスク用の学習データセットとを用いることで、それぞれの認識タスクについて共通のニューラルネットワークを含むｅｎｄ−ｔｏ−ｅｎｄの学習が可能となり、共通のニューラルネットワークを第１認識タスク及び第２認識タスクのいずれにも適合するように学習させることができる。
前記認識器として、複数の認識器の認識結果を統合して前記出力を得るアンサンブル認識器を用いてよい。
これにより、より精度の高い学習データセットが得られる。
本発明の一態様の認識システム構成方法は、上記の認識システムを構成する認識システム構成方法であって、前記第１認識タスクを行う学習済みの認識器の入力及び出力のデータを学習データセットとして用いて前記第１認識タスク用のニューラルネットワークを学習してよい。
この構成によれば、第１認識タスク用のニューラルネットワークの学習データセットを容易に得られる。
前記認識器として、複数の認識器の認識結果を統合して前記出力を得るアンサンブル認識器を用いいてよい。
この構成によれば、より精度の高い学習データセットが得られる。
本発明の一態様の認識システム構成方法は、上記の認識システムを構成する認識システム構成方法であって、前記共通のニューラルネットワークへの入力と前記第１認識タスク用のニューラルネットワークの出力との関係が、前記第１認識タスクを行う学習済みの認識器の入力と出力との関係をよりよく近似し、かつ、前記共通のニューラルネットワークへの入力と前記第２認識タスク用のニューラルネットワークの出力との関係が、前記第２認識タスクを行う学習済みの認識器の入力と出力との関係をよりよく近似するように、前記共通のニューラルネットワークの構造を変更する工程を含む構成を有している。
この構成によれば、既存の学習済みの認識器を近似するように、共通のニューラルネットワーク構造が変更される。
本発明の一態様の認識システム構成方法は、上記の認識システムを構成する認識システム構成方法であって、前記共通のニューラルネットワークへの入力と前記第１認識タスク用のニューラルネットワークの出力との関係が、前記第１認識タスクを行う学習済みの認識器の入力と出力との関係をよりよく近似するように、前記第１認識タスク用のニューラルネットワークの構造を変更する工程を含む構成を有している。
この構成によれば、既存の学習済みの認識器を近似するように、第１認識タスク用のニューラルネットワーク構造が変更される。
本発明によれば、第１認識タスクと第２認識タスクに共通に用いられる特徴量の抽出を共通のニューラルネットワークを用いて行うことができるので、開発コストを低減できる。
実施の形態の認識システムの構成を示すブロック図 実施の形態の特徴量抽出部のハードウェア回路を示すブロック図 実施の形態の認識システムの構成方法を説明する図
以下、本発明の実施の形態の認識システムについて、図面を参照して説明する。本実施の形態の認識システムは、車両に搭載されて、車両を制御するための認識処理を行う。この認識処理の結果は、車両を制御するための制御値を取得に用いられる。この制御値を用いた制御によって、車両は自動運転又は各種の運転支援を行うことができる。
図１は、実施の形態の認識システムの構成を示すブロック図である。認識システム１００は、センサプロセッシングユニット（Sensor Processing Unit：ＳＰＵ）１０と、共通特徴量抽出ユニット（Generic-feature Extraction Unit：ＧＥＵ）２０と、タスク特化ユニット（Task-Specific Units：ＴＳＵ）３０を備えている。
ＳＰＵ１０は、センシングを行ってセンサ値を得るセンサ１１と、センサ１１で得られたセンサ値に対して前処理を行って特徴量抽出部２１の入力に適した形式にエンコードする前処理部１２とを備えている。前処理部１２は、前処理として、センサ周期を他のプロセッサの周期と合わせる処理や、時系列のセンサ値から統計量や特徴量を抽出する処理や、データ量を削減する処理を行ってよい。
本実施の形態では、センサ１１は単眼カメラであって、センサ値として二次元配列された受光量のデータからなる撮影画像データを取得する。また、前処理部１２は撮影画像データをＭＰＥＧ形式に変換し、複数フレームの撮影画像データをバッファリングして時系列に並べることで時系列の撮影画像データを生成する。単眼カメラ１１は、車両の前方を撮影するように、車両に設置される。
ＧＥＵ２０は、ＳＰＵ１０で得られたセンサ値から特徴量を抽出する特徴量抽出部２１を備えている。ＧＥＵ２０は、ＳＰＵ１０及びＴＳＵ３０とは別体の半導体チップとして構成されている。特徴量抽出部２１は、ニューラルネットワークで構成される。このニューラルネットワークはハードウェア回路を用いて構成される。ニューラルネットワークのハードウェア実装については、種々の手法が提案されている（例えば、非特許文献２〜４参照）。
特徴量抽出部２１は、ニューラルネットワークの出力として特徴量を出力し、これをＴＳＵ３０の物体検知部３１及び意味領域分割部３２に出力する。このように、特徴量抽出部２１が出力する特徴量は物体検知部３１及び意味領域分割部３２で共通に用いられるため、この特徴量を本明細書では共通特徴量ともいい、特徴量抽出部２１に実装されているニューラルネットワークを共通のニューラルネットワークともいう。
図２は、特徴量抽出部２１のハードウェア回路を示すブロック図である。図２に示すように、特徴量抽出部２１は、離散器２１１と、入力層２１２と、線形結合層２１３と、出力層２１４と、重み記憶部２１５とを備えている。重み記憶部２１５には、共通のニューラルネットワークの各層における重みベクトルｗｉ（ｉ＝１〜Ｎ）が記憶されている。ここで、Ｎは共通のニューラルネットワークの層の深さ（階層数）に相当する。
ＳＰＵ１０からのセンサ値はまず離散器２１１に入力される。離散器２１１では、センサ値が整数基底に分解されて離散化することで、入力層２１２が得られる。入力層２１２に対して重み記憶部２１４の重みベクトルｗｉを用いた線形変換が行われ、重み付け和として中間層２１２が得られる。中間層２１２は非線形活性化関数（シグモイド関数等）に入力されて、非線形活性化が行われ、出力層２１３が得られる。出力層２１３として得られるベクトルの成分は非線形活性化によって浮動小数点数として得られる。この出力層２１３は入力層２１１に戻って、再び離散器２１１で整数基底に分解される。これをｉ＝１からｉ＝ＮまでＮ回（Ｎ層）繰り返して、最後に得られた出力層が共通特徴量として特徴量抽出部２１から出力される。
重み記憶部２１５において、重みベクトルｗｉは、整数のベクトルであり、好ましくはベクトルの要素は二値（例えば、０，１）又は三値（例えば、−１，０，１）に離散化されている。また、上述のように、離散器２１１は入力される値を整数基底に分解する。このように、共通のニューラルネットワークで扱う特徴量のビット数を小さくすることで（例えば８ビット）、演算負荷を小さくできることに加えて、共通のニューラルネットワークをハードウェア回路で構成することで、特徴量抽出部２１における共通特徴量の抽出を高速にできるだけでなく、特徴量抽出部２１における消費電力量を低く抑え、発熱量も抑えることができる。特に、重みベクトルｗｉを二値又は三値のベクトルとすることで、特徴量抽出部２１における演算の一部ないし全部を論理演算で処理でき、より演算負荷の軽減、演算の高速化、低消費電力化、低発熱量化のメリットを享受できる。
図示は省略するが、ＧＥＵ２０は、通信モジュールを含み、あるいは、通信モジュールに接続されていてよい。この場合に、通信モジュールは無線通信を行うものであってよい。上記のように、特徴量抽出部２１はハードウェア回路で構成されており、それによって構成される共通のニューラルネットワークの構造を変更することはできないが、重み記憶部２１５に記憶された重みベクトルを更新することは可能である。例えば、ＴＳＵ３０に、共通特徴量を利用する新たなタスクが加えられる更新がされた場合に、これに合わせて共通のニューラルネットワークの重みも更新することができる。
ＴＳＵ３０は、本実施の形態では、複数の認識処理部として、物体検知部３１と意味領域分割部３２とを備えている。各認識処理部における認識処理（本実施の形態では、物体検知と意味領域分割）を本明細書では「特定認識タスク」という。ＴＳＵ３０の複数の認識処理部（本実施の形態では、物体検知部３１及び意味領域分割部３２）におけるそれぞれの特定認識タスクは互いに異なるものであるが、物体検知部３１及び意味領域分割部３２は、いずれもＧＥＵ２０で抽出された共通特徴量を入力とするニューラルネットワークで構成されている。
物体検知部３１として実装されているニューラルネットワークは、物体検知の結果を出力とするものであり、本明細書ではこれを物体検知用のニューラルネットワークという。また、意味領域分割部３２として実装されているニューラルネットワークは、意味領域分割の結果を出力とするものであり、本明細書ではこれを意味領域分割用のニューラルネットワークという。
特徴量抽出部２１の共通のニューラルネットワークと物体検知部３１の物体検知用のニューラルネットワークが直列につながることで、センサ値（撮影画像データ）から物体検知結果を得るニューラルネットワークが構成される。また、特徴量抽出部２１の共通のニューラルネットワークと意味領域分割部３２の意味領域分割用のニューラルネットワークが直列につながることで、センサ値（撮影画像データ）から意味領域分割結果を得るニューラルネットワークが構成される。
物体検知部３１は、人物（歩行者）及び車両を検出し、認識結果として、撮影画像データに対して、人物（歩行者）を囲う矩形枠と、車両を囲う矩形枠を出力する。人物を囲う矩形枠のデータには人物を示すラベルが付与されており、車両を囲う矩形枠のデータには車両を示すラベルが付与されている。意味領域分割部３２は、セマンティックセグメンテーションによって撮影画像データを被写体の意味（種類）ごとの領域毎に分けて、認識結果として、被写体の意味ごとに分けられた領域の情報を出力する。各領域には、被写体の意味を示すラベルが付与されている。
ＴＳＵ３０は、汎用のプロセッサで構成されており、物体検知部３１の物体検知用のニューラルネットワーク及び意味領域分割部３２の意味領域分割用のニューラルネットワークはソフトウェアによって構成される。このように、特定認識タスク（本実施の形態では、物体検知タスクと意味領域分割タスク）に特化した部分である各認識処理部を汎用プロセッサを用いてソフトウェアによって実現することで、各タスクのためのよりよい新たなニューラルネットワークが得られた場合には、このソフトウェアを更新することで、当該よりよい新たなニューラルネットワークを低コストで採用できる。
即ち、上述のように、共通特徴量を得るための特徴量抽出部２１は、ハードウェア回路で構成されているので、出荷後にニューラルネットワーク構造を変更するはできないが、各特定認識タスクに特化した処理を行う各認識処理部はソフトウェアで構成されているので低コストで更新できる。
図示は省略するが、ＴＳＵ３０は、通信モジュールを含み、あるいは、通信モジュールに接続されていてよい。この場合に、通信モジュールは無線通信を行うものであってよい。物体検知部３１の物体検知用のニューラルネットワーク、及び意味領域分割部３２の意味領域分割用のニューラルネットワークは、それぞれ通信モジュールを介して受信したデータによって、更新され、又は差し替えられてよい。
物体検知部３１及び意味領域分割部３２で得られたそれぞれの認識結果は、アクティブクルーズコントロール（Active Clues Control：ＡＣＣ）の判断処理を行うＡＣＣ判断処理部４１に入力される。また、物体検知部３１及び意味領域分割部３２で得られたそれぞれの認識結果は、自動緊急ブレーキ（Autonomous Emergency Braking：ＡＥＢ）の判断処理を行うＡＥＢ判断処理部４２にも入力される。
ＡＣＣ判断処理部４１は、物体検知の結果と意味領域分割の結果に基づいて車両の制御方針を判断し、車両を制御するための制御値を取得する。また、ＡＥＢ判断処理部４２は、物体検知の結果と意味領域分割の結果に基づいて車両の制御方針を判断し、車両を制御するための制御値を取得する。なお、ＡＣＣ判断処理部４１にて判断された車両の制御方針と、ＡＥＢ判断処理部４２にて判断された車両の制御方針とを総合的に判断して、最終的な車両制御のための制御値を取得する総合判断部がさらに設けられてもよい。
上述のように、物体検知タスクにおける認識結果は、ＡＣＣ判断処理部４１における判断（ＡＣＣ判断）とＡＥＢ判断処理部４２における判断（ＡＥＢ判断）とに用いられるので、物体検知部３１の物体検出用のニューラルネットワークにおいては、ＡＣＣ判断用の重みとＡＥＢ判断用の重みとを用意して、両者を切り替えることで、ＡＣＣ判断用の認識結果とＡＥＢ判断用の認識結果を取得し、それぞれ対応する判断処理部に出力するようにしてもよい。
意味領域分割部３２についても同様に、意味領域分割用のニューラルネットワークにおいて、ＡＣＣ判断用の重みとＡＥＢ判断用の重みとを用意して、両者を切り替えることで、ＡＣＣ判断用の認識結果とＡＥＢ判断用の認識結果を取得し、それぞれ対応する判断処理部に出力するようにしてもよい。
これらの場合には、同一のセンサ値に対してＡＣＣ判断用の重みとＡＥＢ判断用の重みとをそれぞれ適用してＡＣＣ判断用の認識結果とＡＥＢ判断用の認識結果を取得するように重みの切り替えを行ってよく、あるいは、例えば新たなセンサ値が得られるごとに重みの切り替えを行ってもよい。また、複数種類の重みの切り替えは、午前／午後のような時間帯に従って行ってもよく、認識システム１００が用いられる国または地域に応じて行ってもよい。
次に、認識システム１００の構成方法を説明する。図３は、認識システム１００の構成方法を説明する図であり、特に、共通のニューラルネットワーク及び各特定認識タスク用のニューラルネットワーク（本実施の形態では、物体検知用のニューラルネットワーク及び意味領域分割用のニューラルネットワーク）の学習について説明する図である。
本実施の形態の認識システム１００の特定認識タスク（物体検知及び意味領域分割）では、撮影画像データに対してあらかじめ用意された認識結果候補に分類する認識処理を行うため、教師あり学習をする必要がある。
一般に、ニューラルネットワークの教師あり学習では、入力データと当該入力データに対する真値（即ち、理想的な出力データ）とからなる学習データセットを用意する必要がある。学習の際には、学習すべきニューラルネットワークに入力データを入力して得られた出力データと真値との誤差を求めて、誤差を逆伝搬することでニューラルネットワークの重みをチューニングする誤差逆伝搬法が用いられる。
本実施の形態の認識システム１００においても原則的には上記のように学習を行う。通常、真値は人手によるラベリングを必要とする。例えば、人物検知であれば、作業者が画像を見て、人物（歩行者）が映っている箇所を枠で囲う作業が必要であり、意味領域分割（セマンティックセグメンテーション）では、画像上のあらゆる物体の輪郭をなぞる必要がある。このような作業を例えば数万ないし数十万の学習用画像データに対して行わなければならない。このように、教師あり学習のための学習データセットを用意する作業コストは極めて大きい。
また、本実施の形態では、上述のように、共通のニューラルネットワークが複数の特定認識タスクに共有されるので、それぞれの特定認識タスクの学習データセットを用いて共通のニューラルネットワークを学習する必要がある。仮に、複数の特定認識タスクのうちの一部の特定認識タスクの学習データセットしか用意されていない場合には、誤差逆伝搬法によって共通のニューラルネットワークは当該特定認識タスクの精度を向上するように学習されるが、学習データセットが用意されていない特定認識タスクの精度は向上せず、精度が低下することもあり得る。よって、本実施の形態の認識システム１００には、複数の特定認識タスクのすべてについて入力値とそれに対する真値との多数の組み合わせからなる学習データセットが必要となる。
そこで、本実施の形態では、特定認識タスクごとに、学習済みの認識器に入力データを入力することによって出力データを得て、それらの入力データと出力データとを学習データセットとして用いて学習を行う。このために、特定認識タスクごとに学習済みの認識器を用意する。本実施の形態では、物体検知タスクのための学習済みの認識器と、意味領域分割タスクのための学習済みの認識器とを用意する。これらの認識器は、既存のものであればよく、ニューラルネットワークによるもののほか、例えばＳＶＭ（Support Vector Machine）で認識をするものであってもよい。
このように、学習済みの認識器を用いることで、大量の入力データ（画像データ）を用意しさえすれば、それらに対して人手によるラベリングを行わなくても、出力データが得られ、そのような入力データと出力データの組を学習データセットとして学習を行うことができる。また、共通のニューラルネットワークを共有する複数の特定認識タスクのすべてについてそのような学習データセットを用意することも容易となる。このことは、本実施の形態の共通のニューラルネットワークと特定認識タスク用のニューラルネットワークとが直列に接続された認識システム１００を当該学習済みの認識器の精度に近づけることを意味している。
図３に示すように、本実施の形態では、複数の物体検知用の学習用画像と、複数の意味領域分割用の学習用画像とを用意する。なお、物体検知用の学習用と意味領域分割用の学習用とで同じ学習用画像を用いてもよい。
学習すべき特徴量抽出部２１は、物体検知用の学習画像から共通特徴量を抽出し、これを学習すべき物体検知部３１に入力する。この一方で、学習済み物体検知器５１も同じ物体検知用の学習用画像から認識結果（これを真値とみなす）を得る。物体検知学習装置６１は、学習済み物体検知器５１の出力（認識結果）と、物体検知部３１の出力（認識結果）とを比較して、学習済み物体検知器５１の出力に対する物体検知部３１の出力の誤差を求める。物体検知学習装置６１は、この誤差に基づいて、誤差逆伝搬法によって物体検知用のニューラルネットワークを学習する。
同様に、学習すべき特徴量抽出部２１は、意味領域分割用の学習画像から共通特徴量を抽出し、これを学習すべき意味領域分割部３２に入力する。この一方で、学習済み意味領域分割器５２も同じ意味領域分割用の学習用画像から認識結果（これを真値とみなす）を得る。意味領域分割学習装置６２は、学習済み意味領域分割器５２の出力（認識結果）と、意味領域分割部３２の出力（認識結果）とを比較して、学習済み意味領域分割器５２の出力に対する意味領域分割部３２の出力の誤差を求める。意味領域分割学習装置６２は、この誤差に基づいて、誤差逆伝搬法によって意味領域分割用のニューラルネットワークを学習する。
ＧＥＵ学習装置７１は、学習済み物体検知器５１の出力に対する物体検知部３１の出力の誤差、及び学習済み意味領域分割器５２の出力に対する意味領域分割部３２の出力の誤差のいずれも特徴量抽出部２１にも伝搬させることで、共通のニューラルネットワークを学習する。
このように、学習済みの認識器（本実施の形態では、学習済み物体検知器５１及び学習済み意味領域分割器５２）は、それらの出力を真値とみなして、学習データセットを用意するため、これらの学習済み認識器の認識精度は高いことが望ましい。そこで、これらの学習済み認識器に、複数の認識器の認識結果を統合して（例えば、平均を取る、最大値を取る、投票を取る等）、より精度の高い認識結果を得るアンサンブル認識器を採用してもよい。
なお、このように機械的に得られた学習データセットに加えて、人がラベリングすることで用意された学習データセットを用いてもよい。
また、用意された学習データセットによる重みベクトルのチューニングによっても精度が上がらない場合には、共通のニューラルネットワークや各特定認識タスク用のニューラルネットワークの構造を変更する。この場合には、構造変更後の認識システム１００において、入力データに対して得られる認識結果が、学習済みの認識器の入出力関係をよりよく近似できるようにニューラルネットワークの構造を変更する。
具体的には、各特定認識タスクの精度が何れもよくない場合には、共通のニューラルネットワークの構造を変更し、一部の特定認識タスクの精度がよく、他の特定認識タスクの精度がよくない場合には、当該精度がよくない特定認識タスク用のニューラルネットワークの構成を変更する。
以上のように、本実施の形態の認識システム１００によれば、各特定認識タスクを実行するために、特徴量を抽出する処理を行う特徴量抽出部２１と、各特定認識タスクに特化した処理を行って認識結果を得る認識処理部（物体検知器３１及び意味領域分割部３２）とを分けて構成し、特徴量抽出部２１では、各特定認識タスクで共通に用いられる共通特徴量を抽出する構成としたので、認識システム１００を開発する際には、特徴量抽出部２１における共通のニューラルネットワークの開発と、各特定認識タスク用のニューラルネットワークの開発とを分けて、それぞれ並行して進めることができるという開発管理上のメリットが得られる。また、特徴量抽出部２１の共通のニューラルネットワークは、複数種類の特定認識タスクに共有されるため、開発コストを抑えることができる。
また、特徴量抽出部２１が構成されたＧＥＵ２０を、ＳＰＵ１０やＴＳＵ３０とは別体の専用チップで構成し、をハードウェア回路で構成したので、認識タスクの中でも特に演算量の多い特徴量の計算をハードウェア化でき、これによって、消費電力量や発熱量を低く抑えることとができるとともに、高速な特徴量計算も可能となる。なお、共通のニューラルネットワークをハードウェア化することで、頻繁な変更ないし更新はコスト面で不利になるが、ＴＳＵ３０における各認識処理部を汎用プロセッサを用いてソフトウェアで構成することで、頻繁な変更ないし更新に対応できる。
また、共通のニューラルネットワークと各特定認識タスク用のニューラルネットワークとが直列に接続されているで、誤差逆伝搬法等の既存のニューラルネットワークの学習方法を用いたｅｎｄ−ｔｏ−ｅｎｄの学習によって、各ニューラルネットワークの学習を行うことができる。
なお、上記の実施の形態では、センサ１１として、単眼カメラを用いたが、他のセンサのセンサ値に基づく認識処理にも上記と同様の構成を採用できる。他のセンサとしては、例えば、ＧＰＳ信号を受信してセンサ値として位置情報を出力するＧＰＳ受信機、２視点の撮影を行って、センサ値としてステレオ画像を出力するステレオカメラ、ミリ波帯の電波を照射してその反射光をセンシングすることで、センサ値として物体までの距離を出力するミリ波レーダ、レーザを照射してその反射光をセンシングすることで、センサ値として物体の立体形状を出力するレーザスキャナ、超音波を発信して反射してきた超音波を受信することで、センサ値として物体までの距離を出力する超音波センサ、センサ値として角速度を出力するジャイロセンサ、センサ値として気温を出力する温度センサ、センサ値として速度を出力するする速度センサ、センサ値として雨滴の量を出力する雨滴センサ等を採用できる。
また、車両に複数種類のセンサが設けられる場合には、ＳＰＵ１０がセンサごとに構成され、ＧＥＵ２０には、各ＳＰＵ１０にそれぞれ対応する複数の特徴量抽出部２１が構成されていてもよい。さらには、ＧＥＵ２０において、複数種類のセンサからの複数のセンサ値からそれぞれ抽出された特徴量を合成して、それをさらにニューラルネットワークに入力することで、共通特徴量を得てもよい。
また、上記で各認識処理部について説明した重みの切り替えは、ＧＥＵ２０における特徴量抽出部２１においても同様にして行ってよい。
また、ＳＰＵ１０の前処理部１２は、ニューラルネットワークを用いてセンサ値をエンコードしてもよい。
なお、上記の実施の形態の認識システム１００では、同一のセンサ値（撮影画像データ）から抽出された共通特徴量を用いて、特定認識タスクとして、物体検知タスクと意味領域分割タスクという２つの認識タスクを行ったが、同一のセンサ値から抽出された共通特特徴量が３つ以上の認識タスクにおいて共有されるものであってもよい。
本発明は、センサ値に基づいて認識処理を行う認識システム等として有用である。
１０ センサプロセッシングユニット（Sensor Processing Unit：ＳＰＵ）
１１ センサ
１２ 前処理部
２０ 共通特徴量抽出ユニット（Generic-feature Extraction Unit：ＧＥＵ）
２１ 特徴量抽出部
３０ タスク特化ユニット（Task-Specific Units：ＴＳＵ）
３１ 物体検知部
３２ 意味領域分割部
４１ ＡＣＣ判断処理部
４２ ＡＥＢ判断処理部
５１ 学習済み物体検知器
５２ 学習済み意味領域分割器
６１ 物体検知学習装置
６２ 意味領域分割学習装置
７１ ＧＥＵ学習装置
１００ 認識システム

Claims (11)

  1. センシングを行ってセンサ値を出力するセンシングユニットと、
    前記センサ値に基づく第１認識タスクを行う第１認識処理部と、前記センサ値に基づく第２認識タスクを行う第２認識処理部とを含むタスク特化ユニットと、
    前記センシングユニットと前記タスク特化ユニットとの間に配置され、前記センサ値を入力として、前記第１認識処理部及び前記第２認識処理部に共通に入力される共通特徴量を抽出するための共通のニューラルネットワークが構成された共通特徴量抽出ユニットと、
    を備えた認識システムを構成する認識システム構成方法であって、
    前記第１認識タスクを行う学習済みの認識器の入力及び出力のデータ、及び前記第２認識タスクを行う学習済みの認識器の入力及び出力のデータを学習データセットとして用いて前記共通のニューラルネットワークを学習する、認識システム構成方法。
  2. 前記認識器として、複数の認識器の認識結果を統合して前記出力を得るアンサンブル認識器を用いる、請求項１に記載の認識システム構成方法。
  3. 前記共通特徴量抽出ユニットは、前記タスク特化ユニットとは別体の半導体チップに構成する、請求項１又は２に記載の認識システム構成方法。
  4. 前記共通特徴量抽出ユニットにおける前記共通のニューラルネットワークは、前記半導体チップにおいてハードウェアで構成する、請求項３に記載の認識システム構成方法。
  5. 前記共通特徴量抽出ユニットは、前記共通のニューラルネットワークの各層の入力を整数基底に分解する離散器を備えた、請求項１ないし４のいずれかに記載の認識システム構成方法。
  6. 前記共通のニューラルネットワークは、整数の重みをもつ、請求項１ないし４のいずれかに記載の認識システム構成方法。
  7. 前記共通特徴量抽出ユニットは、前記共通のニューラルネットワークの各層の入力を整数基底に分解する離散器を備え、
    前記共通のニューラルネットワークは、
    二値又は三値に離散化された重みを保持し、
    内部の演算の一部ないし全部を論理演算で処理し、
    前記論理演算の結果を非線形活性化関数により変換し、
    前記変換の結果を次の層に渡す、請求項１ないし４のいずれかに記載の認識システム構成方法。
  8. 前記第１認識処理部は、前記共通特徴量抽出ユニットから出力された特徴量を入力とし、前記認識処理の結果を出力とする前記第１認識タスク用のニューラルネットワークを含み、
    前記第１認識タスクを行う学習済みの認識器の入力及び出力のデータを学習データセットとして用いて前記第１認識タスク用のニューラルネットワークを学習する、請求項１に記載の認識システム構成方法。
  9. 前記認識器として、複数の認識器の認識結果を統合して前記出力を得るアンサンブル認識器を用いる、請求項８に記載の認識システム構成方法。
  10. 前記第１認識処理部は、前記共通特徴量抽出ユニットから出力された特徴量を入力とし、前記認識処理の結果を出力とする前記第１認識タスク用のニューラルネットワークを含み、
    前記共通のニューラルネットワークへの入力と前記第１認識タスク用のニューラルネットワークの出力との関係が、前記第１認識タスクを行う学習済みの認識器の入力と出力との関係をよりよく近似し、かつ、前記共通のニューラルネットワークへの入力と前記第２認識タスク用のニューラルネットワークの出力との関係が、前記第２認識タスクを行う学習済みの認識器の入力と出力との関係をよりよく近似するように、前記共通のニューラルネットワークの構造を変更する工程を含む、請求項１に記載の認識システム構成方法。
  11. 前記第１認識処理部は、前記共通特徴量抽出ユニットから出力された特徴量を入力とし、前記認識処理の結果を出力とする前記第１認識タスク用のニューラルネットワークを含み、
    前記共通のニューラルネットワークへの入力と前記第１認識タスク用のニューラルネットワークの出力との関係が、前記第１認識タスクを行う学習済みの認識器の入力と出力との関係をよりよく近似するように、前記第１認識タスク用のニューラルネットワークの構造を変更する工程を含む、請求項１に記載の認識システム構成方法。
JP2017098641A 2017-05-18 2017-05-18 認識システム、共通特徴量抽出ユニット、及び認識システム構成方法 Active JP6802756B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017098641A JP6802756B2 (ja) 2017-05-18 2017-05-18 認識システム、共通特徴量抽出ユニット、及び認識システム構成方法
CN201810124247.2A CN108960405A (zh) 2017-05-18 2018-02-07 识别系统、通用特征值提取单元以及识别系统构成方法
DE102018102791.5A DE102018102791A1 (de) 2017-05-18 2018-02-08 Erkennungssystem, Extraktionseinheit für generische Merkmale und Erkennungssystemkonfiguration
US15/947,009 US10769479B2 (en) 2017-05-18 2018-04-06 Recognition system, generic-feature extraction unit, and recognition system configuration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017098641A JP6802756B2 (ja) 2017-05-18 2017-05-18 認識システム、共通特徴量抽出ユニット、及び認識システム構成方法

Publications (2)

Publication Number Publication Date
JP2018195097A JP2018195097A (ja) 2018-12-06
JP6802756B2 true JP6802756B2 (ja) 2020-12-16

Family

ID=64271849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017098641A Active JP6802756B2 (ja) 2017-05-18 2017-05-18 認識システム、共通特徴量抽出ユニット、及び認識システム構成方法

Country Status (4)

Country Link
US (1) US10769479B2 (ja)
JP (1) JP6802756B2 (ja)
CN (1) CN108960405A (ja)
DE (1) DE102018102791A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741354B2 (en) * 2017-08-25 2023-08-29 Ford Global Technologies, Llc Shared processing with deep neural networks
US20220058428A1 (en) 2018-12-07 2022-02-24 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
US10963709B2 (en) * 2019-01-02 2021-03-30 Zoox, Inc. Hierarchical machine-learning network architecture
US20200242771A1 (en) * 2019-01-25 2020-07-30 Nvidia Corporation Semantic image synthesis for generating substantially photorealistic images using neural networks
JP7240916B2 (ja) 2019-03-22 2023-03-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および情報処理プログラム
CN117234356A (zh) 2019-05-08 2023-12-15 义隆电子股份有限公司 用于触控装置的控制系统及方法
TWI788651B (zh) * 2019-05-08 2023-01-01 義隆電子股份有限公司 用於觸控裝置的控制系統及其方法
JP7289483B2 (ja) * 2019-06-17 2023-06-12 株式会社オレンジテクラボ 情報処理装置、情報処理方法及び情報処理プログラム
CN111062401A (zh) * 2019-09-27 2020-04-24 商汤国际私人有限公司 堆叠物体的识别方法及装置、电子设备和存储介质
CN112785595B (zh) * 2019-11-07 2023-02-28 北京市商汤科技开发有限公司 目标属性检测、神经网络训练及智能行驶方法、装置
CN111839360B (zh) * 2020-06-22 2021-09-14 珠海格力电器股份有限公司 扫地机数据处理方法、装置、设备及计算机可读介质
KR102424538B1 (ko) * 2021-01-26 2022-07-27 삼성전자주식회사 영상 복원 방법 및 장치
KR20220123864A (ko) 2021-03-02 2022-09-13 주식회사 에이치엘클레무브 학습모델 융합 기반 객체검출 장치 및 그 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2601003B2 (ja) * 1990-09-25 1997-04-16 日産自動車株式会社 車両の走行条件認識装置
US8538636B2 (en) * 1995-06-07 2013-09-17 American Vehicular Sciences, LLC System and method for controlling vehicle headlights
JP4220595B2 (ja) * 1998-08-10 2009-02-04 株式会社日立製作所 欠陥の分類方法並びに教示用データ作成方法
US7496547B2 (en) * 2005-06-02 2009-02-24 Microsoft Corporation Handwriting recognition using a comparative neural network
JP4321581B2 (ja) * 2006-11-30 2009-08-26 パナソニック電工株式会社 工作機械総合監視装置
JP5659361B1 (ja) * 2013-07-04 2015-01-28 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路、およびその学習方法
US9202144B2 (en) * 2013-10-30 2015-12-01 Nec Laboratories America, Inc. Regionlets with shift invariant neural patterns for object detection
JP6330385B2 (ja) * 2014-03-13 2018-05-30 オムロン株式会社 画像処理装置、画像処理方法およびプログラム
US9346167B2 (en) * 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US10055850B2 (en) * 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
US9922272B2 (en) * 2014-09-25 2018-03-20 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
JP2016139176A (ja) * 2015-01-26 2016-08-04 シャープ株式会社 画像処理装置、画像処理システム、画像処理方法、およびその画像処理プログラム
US9811756B2 (en) * 2015-02-23 2017-11-07 Mitsubishi Electric Research Laboratories, Inc. Method for labeling images of street scenes
US9786177B2 (en) * 2015-04-10 2017-10-10 Honda Motor Co., Ltd. Pedestrian path predictions
WO2016197303A1 (en) * 2015-06-08 2016-12-15 Microsoft Technology Licensing, Llc. Image semantic segmentation
JP2017059207A (ja) * 2015-09-18 2017-03-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像認識方法
CN106548127B (zh) * 2015-09-18 2022-11-04 松下电器（美国）知识产权公司 图像识别方法
KR102313028B1 (ko) * 2015-10-29 2021-10-13 삼성에스디에스 주식회사 음성 인식 시스템 및 방법
JP6657834B2 (ja) 2015-11-19 2020-03-04 日本電気株式会社 通信システム、通信分析方法および蓄積サーバ

Also Published As

Publication number Publication date
US20180336430A1 (en) 2018-11-22
JP2018195097A (ja) 2018-12-06
DE102018102791A1 (de) 2018-11-22
CN108960405A (zh) 2018-12-07
US10769479B2 (en) 2020-09-08

Similar Documents

Publication Publication Date Title
JP6802756B2 (ja) 認識システム、共通特徴量抽出ユニット、及び認識システム構成方法
US20230081849A1 (en) Acceleration of data processing for object detection
US20180307916A1 (en) System and method for image analysis
WO2020098456A1 (en) Method and system for generating predicted occupancy grid maps
WO2020192431A1 (en) System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor
US11443522B2 (en) Processing sensor information for object detection
US20210064955A1 (en) Methods, apparatuses, and computer program products using a repeated convolution-based attention module for improved neural network implementations
CN117157678A (zh) 用于基于图的全景分割的方法和系统
del Pino et al. Low resolution lidar-based multi-object tracking for driving applications
CN114005149A (zh) 一种目标角度检测模型的训练方法及装置
CN110909656A (zh) 一种雷达与摄像机融合的行人检测方法和系统
Mählisch et al. De-cluttering with integrated probabilistic data association for multisensor multitarget ACC vehicle tracking
CN115588187B (zh) 基于三维点云的行人检测方法、装置、设备以及存储介质
CN111435457A (zh) 对传感器获取的采集进行分类的方法
WO2022127819A1 (en) Sequence processing for a dataset with frame dropping
WO2023159073A1 (en) Methods and systems of sensor fusion in cooperative perception systems
US11988749B2 (en) System and method for hybrid LiDAR segmentation with outlier detection
US11443184B2 (en) Methods and systems for predicting a trajectory of a road agent based on an intermediate space
Kim et al. Real-time object detection using a domain-based transfer learning method for resource-constrained edge devices
Priya et al. Vehicle Detection in Autonomous Vehicles Using Computer Vision Check for updates
CN112257750A (zh) 一种面向复合式探测节点的分布式融合系统
Behera et al. Large Model-assisted Federated Learning for Object Detection of Autonomous Vehicles in Edge
Rodrigues et al. Fully convolutional networks for segmenting images from an embedded camera
Lakshmi Priya et al. Vehicle Detection in Autonomous Vehicles Using Computer Vision
US20230085898A1 (en) Automatic cross-sensor calibration using object detections

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201127

R150 Certificate of patent or registration of utility model

Ref document number: 6802756

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250