JP7079745B2 - 演算装置 - Google Patents

演算装置 Download PDF

Info

Publication number
JP7079745B2
JP7079745B2 JP2019042503A JP2019042503A JP7079745B2 JP 7079745 B2 JP7079745 B2 JP 7079745B2 JP 2019042503 A JP2019042503 A JP 2019042503A JP 2019042503 A JP2019042503 A JP 2019042503A JP 7079745 B2 JP7079745 B2 JP 7079745B2
Authority
JP
Japan
Prior art keywords
sensor data
unit
circuit
classifier
arithmetic unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019042503A
Other languages
English (en)
Other versions
JP2020144755A (ja
Inventor
大智 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to JP2019042503A priority Critical patent/JP7079745B2/ja
Priority to DE112019006526.2T priority patent/DE112019006526T5/de
Priority to US17/428,118 priority patent/US20220129704A1/en
Priority to PCT/JP2019/041348 priority patent/WO2020183776A1/ja
Publication of JP2020144755A publication Critical patent/JP2020144755A/ja
Application granted granted Critical
Publication of JP7079745B2 publication Critical patent/JP7079745B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、データを演算する演算装置に関する。
生物の脳には多数のニューロンと呼ばれる神経細胞が存在する。各ニューロンは、他の多数のニューロンから信号を入力し、他の多数のニューロンへ信号を出力するような動きを行う。このような脳の仕組みをコンピュータで実現しようとしたものがDeep Neural Network(DNN)であり、生物の神経細胞ネットワークの挙動を模倣した工学モデルである。
DNNの一例として,物体認識や行動予測に有効な畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)がある。近年、CNNを車載Electronic Control Unit(ECU)に実装することにより、自動運転を実現する技術の開発が加速している。
特許文献1は、未知入力信号を追加学習入力信号として蓄積する学習処理ニューラルネットワークを有するサーバシステムと、実行処理ニューラルネットワークを有するクライアントシステムと、を開示する。この学習処理ニューラルネットワークを有するサーバシステムは、予め準備された基本学習データに対して学習処理ニューラルネットワークの基本学習を施し、その結合重み係数をネットワークを介して各実行処理ニューラルネットワークを有するクライアントシステムに送る。クライアントシステムは、実行処理ニューラルネットワークに設定し、実行処理を行う。クライアントシステムは、誤答判定された未知入力信号が検出されると、通信ネットワークを介してサーバシステムに送り、追加学習データとして教師信号と対応付け、学習処理ニューラルネットワークの追加学習を行ない、得られた結合重み係数を各クライアントシステムの実行処理ニューラルネットワークに設定し実行処理を行う。
特許文献2は、半教師あり学習によって、効率的にラベル付けを行う学習装置を開示する。この学習装置は、複数のラベル付き画像と複数のラベルなし画像とを入力する入力部と、画像をCNN処理して複数の特徴マップを生成するCNN処理部と、CNN処理部にて生成された複数の特徴マップについて画素毎に求めたエントロピーを合算すると共に、ラベル付き画像Lから生成された複数の特徴マップについては、さらに、画素毎に付された正解ラベルと複数の特徴マップの画素とのクロスエントロピーを合算し、エントロピーからクロスエントロピーを引く処理を、複数のラベル付き画像および複数のラベルなし画像について行って、求めた値を合算して評価値を計算する評価値計算部と、評価値を最小化するようにCNN処理で用いる学習モデルの学習を行う学習部とを備える。
特許文献3は、入力状態の変化前および変化後のいずれ状態であっても、出力を精度の高いものにするニューラルネットワーク学習装置を開示する。このニューラルネットワーク学習装置は、第一状態下に関する入力学習モデルベクトルuに基づきM個の結合荷重Wi(i=1~M)の学習を行い、学習完了したニューラルネットワークに新たにN個のニューロンNi(i=a1~aN)を追加すると共に追加されたN個の結合荷重Wi(i=a1~aN)の学習を行う。この追加の学習を行う際には、ニューラルネットワーク学習装置は、学習完了したM個の結合荷重Wi(i=1~M)を固定すると共に、少なくとも第一状態と異なる第二状態下に関する入力学習モデルベクトルuに基づきN個の結合荷重Wi(i=a1~aN)の学習を行う。
特開2002‐342739号公報 特開2018‐97807号公報 特開2012‐14617号公報
しかしながら、CNNを用いて自動運転向けの外界認知処理を実行した場合、運転シーン(天候、時間帯、地域、認識対象物など)の違いにより、認識精度が不安定となることが課題である。そこで、車載センサより得られたセンサデータおよびそのセンサデータに紐づく正解データを学習データセットとして用いて、その都度運転シーンに応じたCNNの補正を実行することが望ましい。この場合、CNNの補正には数千から数万種類程度のセンサデータに対して人手で正解データを紐づける必要がある。このため、人的コストと作業工数の観点から、運転シーンに応じて学習データセットをその都度生成することは困難である。
本発明は、学習データセットの生成の効率化を図ることを目的とする。
本願において開示される発明の一側面となる演算装置は、認識対象を検出するセンサ群からのセンサデータと、前記認識対象を分類する第1分類器と、を用いて、前記認識対象の認識結果と、前記認識結果の信頼度と、を算出する推論部と、前記推論部によって算出された前記認識結果の信頼度に基づいて、前記センサデータを、前記認識結果が関連付けられる関連対象と、前記認識結果が関連付けられない非関連対象と、のいずれかに分類する分類部と、前記センサデータの集合であるセンサデータ群の各センサデータに関する特徴量ベクトルに基づいて、前記センサデータ群をクラスタ化するクラスタリング部と、前記クラスタリング部によって生成されたクラスタ群から、前記認識結果が関連付けられない非関連対象のセンサデータが所定のデータ数以上の、または相対的に前記非関連対象のセンサデータの数が多い特定のクラスタを選択する選択部と、前記認識対象を分類する第2分類器を学習する学習装置に、前記選択部によって選択された特定のクラスタ内の前記非関連対象のセンサデータを送信する送信部と、を有することを特徴とする。
本発明の代表的な実施の形態によれば、学習データセットの生成の効率化を図ることができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
図1は、学習データセットの生成例を示す説明図である。 図2は、実施例1にかかる学習システムのハードウェア構成例を示すブロック図である。 図3は、CNNの構造例を示す説明図である。 図4は、学習システムにおけるアノテーション例を示す説明図である。 図5は、実施例1にかかる学習システムによる学習処理手順例を示すフローチャートである。 図6は、実施例2にかかる車載装置のハードウェア構成例を示すブロック図である。 図7は、実施例2にかかる車載装置による学習処理手順例を示すフローチャートである。 図8は、実施例3にかかる車載装置のハードウェア構成例を示すブロック図である。 図9は、実施例3にかかる車載装置による学習処理手順例を示すフローチャートである。 図10は、実施例4にかかる学習システムのハードウェア構成例を示すブロック図である。 図11は、実施例4にかかる学習システムによる学習処理手順例を示すフローチャートである。
以下、各実施例にかかる演算装置を添付図面を参照して説明する。各実施例では、演算装置を、たとえば、自動車に搭載された車載ECUとして説明する。なお、以下の各実施例で、「学習」と「訓練」は同義語であり、相互に置換可能である。
<学習データセットの生成例>
図1は、学習データセットの生成例を示す説明図である。自動車100に搭載されたECU101は、カメラ、LiDAR、レーダなどの各種センサによりセンサデータ群102sを取得する。センサデータ群102sは自動車100の外界を認識対象として検出されたセンサデータの集合である。認識対象とは、たとえば、外界である山や海、川、空のほか、当該外界に存在する物体(人物、自動車、ビル、道路などの人工物、犬や猫、森林などの動植物)を含む。なお、図1では、便宜的に1台の自動車100が描かれているが、実際には、複数台の自動車100で以下に示す(A)~(F)を実行する。
(A)各自動車100のECU101は、分類器(以下、ECU101内の分類器を便宜上、「旧分類器」と称す)が適用されたCNNにセンサデータ102を順次入力して、CNNから認識結果とその推論に関する確率(以下、推論確率)を得る。旧分類器は、現在運用されている最新バージョンの分類器を意味する。
実施例1では、例としてCNNを用いているため、分類器は学習モデルを意味する。認識結果とは、たとえば、認識対象がカメラで撮影された外界の画像データとすると、たとえば、山や空といった背景のほか、人や自動車など、その画像データに含まれている特定の被写体画像データである。推論確率は、認識結果の信頼度を示す指標値の一例であり、認識結果の確からしさを示す確率である。
推論確率が所定の確率Aを超えた場合、そのセンサデータ102は、重要度「高」、「中」、「低」の3段階のうち重要度「中」のセンサデータ121(図1中、白丸で表記)として分類される。重要度は、誤認識が発生しやすい確率の高さを示す。センサデータ121は、所定の確率Aを超える推論確率を有するため、誤認識が発生しにくいセンサデータ102である。
(B)各自動車100のECU101は、重要度「中」のセンサデータ121に対し自動で正解データとして認識結果を付与する。このセンサデータ121と認識結果との組み合わせを学習データセットとする。
(C)各自動車100のECU101は、センサデータ群102sの各センサデータ102についてセンサデータ102の特徴量ベクトルを次元圧縮し、次元圧縮後の特徴量の数分の次元の特徴量空間に、センサデータ群102sを配置する。つぎに、ECU101は、センサデータ群102sに対しクラスタリングを実行し、所定の確率A以下の推論確率のセンサデータ122(図1中、黒丸で表記)に、当該推論確率をマッピングする。
そして、ECU101は、クラスタ群を、センサデータ102の個数が所定数B以上である密なクラスタCa(図1中、実線の大丸で表記)と、所定数B未満の疎なクラスタCb(図1中、点線の大丸で表記)とに分類する。すなわち、密なクラスタCaほど、特徴量が類似しあう所定の確率A以下のセンサデータ122が多く存在するため、密なクラスタCa内のセンサデータ122は、出現頻度が高い運転シーンの特徴量をあらわす。
図1では、B=6とした。留意する点としては、クラスタ内にセンサデータ102がB個以上存在しても、所定の確率A以下のセンサデータ122がB個以上存在していなければ、当該クラスタは、疎なクラスタCbとなる。
(D)各自動車100のECU101は、疎なクラスタCb内のセンサデータ122の集合であるセンサデータ群122bの各々のセンサデータ122を重要度「低」のセンサデータ102として廃棄する。すなわち、疎なクラスタCb内には、特徴量が類似しあう所定の確率A以下のセンサデータ122が少ない。すなわち、疎なクラスタCb内のセンサデータ122は、重要度の「高」のセンサデータ122の特徴量よりも出現頻度が低い運転シーンの特徴量をあらわす。このため、ECU101は、重要度が「低」のセンサデータ群122bを廃棄する。
(E)各自動車100のECU101は、密なクラスタCa内のセンサデータ122を重要度「高」のセンサデータ122として選択する。重要度「高」のセンサデータ122の集合を、センサデータ群122aとする。ECU101は、センサデータ群122aの各々のセンサデータ122については、正解データを付与しない。その理由は、ECU101のCNNの推論確率が所定の確率A以下であるため、データセンタ110で人手またはECU101のCNNよりも高性能なCNNで正解データを付与させるためである。
(F)各自動車100のECU101は、(B)の各センサデータ121に正解データとして認識結果が付与されたセンサデータ群121s(学習データセット群)と(E)のセンサデータ群122aとをデータセンタ110に送信する。これにより、データセンタ110では、センサデータ群121sに正解データを付与する必要がない。
(G)データセンタ110は、人手またはECU101のCNNよりも重みの個数や隠れ層の層数が多い高性能な大規模CNNを有する。データセンタ110は、この大規模CNNにより、重要度の「高」のセンサデータ群122aの各センサデータ122に正解データを付与し、学習データセットを生成する。
(H)データセンタ110は、また、ECU101のCNNと同一のCNNを有する。データセンタ110は、このCNNで共訓練を実行する。具体的には、たとえば、データセンタ110は、(F)で送信されてきた正解データ付きのセンサデータ群121sである学習データセットと、(E)で生成された学習データセットと、を混合して、CNNに与える。
データセンタ110は、CNNから出力された認識結果と、学習データセットに付与されている正解データと、の比較結果に応じて、誤差逆伝搬により、CNNの重み、すなわち、旧分類器を更新する。更新後の旧分類器を新分類器と称す。データセンタ110は、新分類器を各自動車100のECU101に配信する。
(I)各自動車100のECU101は、データセンタ110からの新分類器でECU101内の旧分類器を更新し、最新の旧分類器となる。
このように、ECU101は、人手による正解データの関連付けが必要なセンサデータの個数を重要度:「高」のセンサデータ群122a内のセンサデータ122の個数に削減(絞り込み)することが可能となる。また、ECU101は、重要度が「中」のセンサデータについては、人手を介さずに学習データセットを自動生成することが可能である。このような学習データセットを用いることにより、実時間で運転シーンに応じたCNNの補正が可能となる。なお、本技術は深層学習のみならず、Support Vector Machine(SVM)などの古典的な機械学習の分類器にも拡張的に適用することが可能である。
<学習システムのハードウェア構成例>
図2は、実施例1にかかる学習システムのハードウェア構成例を示すブロック図である。学習システム200は、車載装置201と、データセンタ110と、を有する。車載装置およびデータセンタ110は、たとえば、インターネットなどのネットワークにより通信可能に接続される。車載装置は、自動車に実装される。車載装置は、上述したECU101と、センサ群202sと、メモリ203と、を有する。
センサ群202sは、自動車100のような移動体の運転状況を検出可能なセンサ202を含む。たとえば、センサ群202sは、カメラ、LiDAR、レーダなど自動車の外界を認識対象として検出可能なセンサ202の集合である。カメラとしては、たとえば、単眼カメラ、ステレオカメラ、遠赤外線カメラ、RGBDカメラなどが用いられる。
LiDARは、たとえば、対象物までの距離を測定し、かつ、泥の白線を検出する。レーダは、たとえば、ミリ波レーダであり、対象物までの距離を測定する。また、センサ202の一例として超音波ソナーにより対象物までの距離を測定してもよい。また、各種センサ202を組み合わせてセンサフージョンとしてもよい。
このほか、センサ群202sには、GPS衛星からGPS信号を受信して自動車の現在位置を特定する測位センサ、日照時間を計測する日照センサ、温度を計測する温度センサ、電波時計を含んでもよい。
メモリ203は、各種プログラムや旧分類器などの各種データを記憶する非一時的な不揮発性の記録媒体である。
ECU101は、推論回路210と、分類回路211と、次元圧縮/クラスタリング回路213と、選択回路214と、第1送信器215と、第1アノテーション回路212と、第2送信器216と、第1受信器217と、更新回路218と、制御回路219と、を有する演算装置である。これらは、たとえば、Field-Programmable Gate Array(FPGA)やApplication Specific Integrated Circuit(ASIC)のような集積回路で実現される。
推論回路210は、認識対象を検出するセンサ群202sからのセンサデータと、認識対象を分類する旧分類器231と、を用いて、認識対象の認識結果と、認識結果の推論確率と、を算出する。推論回路210は、メモリ203から旧分類器231を読み込み、センサ群202sからのセンサデータが入力されると、センサ群202sの認識対象の認識結果と、認識結果の推論確率と、を算出する。推論回路210は、たとえば、CNNである。
このように、推論確率を用いることで、ブートストラップ法により、分類回路211にセンサデータを分類させることができる。また、ブートストラップ法のほか、半教師有り学習として、半教師有りk-近傍法グラフや半教師有り混合ガウス分布グラフのようなグラフベースアルゴリズムを推論回路210に適用してもよい。
グラフベースアルゴリズムの場合、推論回路210は、すでに生成された学習データセット、即ち、正解データ付きセンサデータ121と、あらたに推論回路210に入力されるセンサデータ102と、が類似度を、信頼度の一例として推論確率の替わりに算出する。類似度は、両センサデータの近さ、具体的には、たとえば、両センサデータの特徴量空間での距離の近さを示す指標値である。
分類回路211は、推論回路210によって算出された認識結果の推論確率に基づいて、センサデータ102を、認識結果が関連付けられる関連対象と、認識結果が関連付けられない非関連対象と、のいずれかに分類する。分類回路211は、入力元からの入力データを複数の出力先のいずれか1つに分類して対応する出力先に分配するデマルチプレクサである。
分類回路211の入力元は、推論回路210である。入力データは、推論回路210に入力されたセンサデータ102と、推論回路210からのセンサ群202sの認識対象の認識結果とその推論確率と、を含む。
複数の出力先は、第1アノテーション回路212と、次元圧縮/クラスタリング回路213である。分類回路211は、所定の確率Aを超える推論確率のセンサデータ121およびセンサ群202sの認識対象の認識結果を、関連対象として、第1アノテーション回路212に出力する(重要度「中」)。また、分類回路211は、所定の確率A以下の推論確率とそのセンサデータ122を一意に特定する識別子とを、非関連対象として、次元圧縮/クラスタリング回路213に出力する。
このように、推論確率を用いることで、ブートストラップ法により、第1アノテーション回路212において、所定の確率Aを超える推論確率のセンサデータ121に、そのセンサ群202sの認識対象の認識結果を正解データとして付与することが可能となる。また、推論回路210にグラフベースアルゴリズムが適用された場合でも、第1アノテーション回路212において、所定の確率Aを超える推論確率のセンサデータ121に、そのセンサ群202sの認識対象の認識結果を正解データとして付与することが可能となる。
第1アノテーション回路212は、分類回路211からの所定の確率Aを超える推論確率のセンサデータ121と、センサ群202sの認識対象の認識結果とを関連付けて、学習データセットとして第1送信器215に出力する。分類回路211から第1アノテーション回路212に入力されるセンサデータは、所定の確率Aを超える推論確率のセンサデータ121であるため、そのセンサ群202sの認識対象の認識結果は、正解データとして信頼度が高い。
したがって、第1アノテーション回路212は、分類回路211からの所定の確率Aを超える推論確率のセンサデータ121と、センサ群202sの認識対象の認識結果とをそのまま関連付けて、学習データセットにする。これにより、信頼性の高い学習データセットの生成効率の向上を図ることができる。
第1送信器215は、たとえば、各自動車100の充電中や給油中、駐車場での駐車中などの停止中などの所定のタイミングで学習データセットをデータセンタ110に送信する。
次元圧縮/クラスタリング回路213は、センサ群202sから順次センサデータ102の入力を受け付け、次元圧縮と、クラスタリングと、を実行する。次元圧縮については、設定により実行可否の選択が可能である。次元圧縮とは、センサデータ102の特徴量ベクトルをより少ない次元の特徴量ベクトルに圧縮する処理である。
具体的には、次元圧縮/クラスタリング回路213は、多変量解析の各手法を用いてセンサデータの持つ特徴量を抽出することで低次元の特徴量ベクトルに線形変換する。たとえば、次元圧縮/クラスタリング回路213は、主成分分析により、センサデータ102の特徴量ごとに寄与率を算出し、寄与率が大きい順から寄与率を加算し、所定の寄与率を超えるまで加算された寄与率の特徴量を残存させ、次元圧縮後の特徴ベクトルとする。
次元圧縮/クラスタリング回路213は、次元圧縮を実行しない場合には入力されたセンサデータ群102sをそのまま、次元圧縮を実行する場合には次元圧縮されたセンサデータ群102sを、クラスタリング対象として、クラスタ化する。具体的には、たとえば、次元圧縮/クラスタリング回路213は、センサデータ102の特徴量ベクトル内の特徴量の数分の次元の特徴量空間に、センサデータ102の特徴量ベクトルをマッピングし、たとえば、k平均法を用いて複数のクラスタを生成する。クラスタ数kはあらかじめ設定される。次元圧縮/クラスタリング回路213は、複数のクラスタを選択回路214に出力する。
センサデータ群102sは、推論確率が所定の確率Aを超えるセンサデータ121と、所定の確率A以下のセンサデータ122と、を含む。したがって、クラスタは、センサデータ121の特徴量も考慮されるため、センサデータ121と、センサデータ121の特徴量に近い特徴量を有するセンサデータ122と、が同一のクラスタに含まれる。
なお、次元圧縮/クラスタリング回路213は、分類回路211から非関連対象(所定の確率A以下の推論確率およびそのセンサ群202sの認識対象の認識結果)の入力を受け付けた場合に、入力されたセンサデータ102を所定の確率A以下の推論確率のセンサデータ122であるとして、次元圧縮と、クラスタリングと、を実行してもよい。
これにより、関連対象に分類された所定の確率Aを超えるセンサデータ121についての次元圧縮やクラスタリングは実行されないため、計算処理の効率化を図ることができる。なお、非関連対象が分類回路211から入力されなかったセンサデータ102は、分類回路211において関連対象に分類されているため、センサ群202sからの後続のセンサデータ102に上書きされる。
また、次元圧縮/クラスタリング回路213は、次元圧縮とクラスタリングとを実行する一体化された回路である必要はなく、次元圧縮を実行する次元圧縮回路と、クラスタリングを実行するクラスタリング回路と、を別々に実装してもよい。
選択回路214は、データセンタ110への送信対象を選択する。具体的には、たとえば、選択回路214は、次元圧縮/クラスタリング回路213からの各クラスタの疎密を判定する。具体的には、たとえば、選択回路214は、クラスタ内の推論確率が所定の確率A以下のセンサデータ122の個数が所定数B以上である場合、そのクラスタは密なクラスタCaであると判定し、所定数B未満である場合、そのクラスタは疎なクラスタCbであると判定する。
密なクラスタCa内の推論確率が所定の確率A以下のセンサデータ122は、重要度が「高」のセンサデータである。疎なクラスタCb内の推論確率が所定の確率A以下のセンサデータ122は、重要度が「低」のセンサデータ122である。選択回路214は、重要度が「高」のセンサデータ群122aを第2送信器216に出力し、重要度が「低」のセンサデータ群122bを廃棄する。
また、選択回路214は、疎密判定に際し、クラスタ内の推論確率が所定の確率A以下のセンサデータ122の個数が全クラスタにおいて相対的に多い場合、そのクラスタは密なクラスタCaであると判定し、相対的に少ない場合、そのクラスタは疎なクラスタCbであると判定してもよい。
たとえば、クラスタの総数をN(>1)とし、密なクラスタCaに判定されるクラスタ数をM(<N)とした場合、選択回路214は、推論確率が所定の確率A以下のセンサデータ122の個数が多い順に上位M番目までのクラスタを密なクラスタCaと判定し、残余のクラスタを疎なクラスタCbと判定してもよい。
第2送信器216は、たとえば、各自動車100の充電中や給油中、駐車場での駐車中などの停止中などの所定のタイミングで選択回路214からのセンサデータ群122aをデータセンタ110に送信する。
第1受信器は、データセンタ110から配信される新分類器232を受信して、更新回路218に出力する。
更新回路218は、メモリ203に格納されている旧分類器231を、第1受信器217で受信された新分類器232で更新する。すなわち、旧分類器231は新分類器232で上書き保存される。
制御回路219は、推論回路210からの推論結果に基づいて、自動車100の行動計画を立案したり、自動車100の動作を制御する。たとえば、制御回路219は、前方の物体までの距離や当該物体が何であるか、物体がどのような行動を取るかといった推論結果が推論回路210から与えられた場合、現在の速度と物体までの距離に応じて減速や停止するよう、自動車100のアクセルやブレーキを制御する。
データセンタ110は、第2受信器221と、第3受信器222と、第2アノテーション回路223と、共訓練回路224と、第3送信器225と、を有する学習装置である。第2受信器221は、各自動車100のECU101の第1送信器215から送信されてくる学習データセットを受信して、共訓練回路224に出力する。第3受信器222は、各自動車100のECU101の第2送信器216から送信されてくる、認識結果が関連付けされていないセンサデータ群122aを受信して、第2アノテーション回路223に出力する。
第2アノテーション回路223は、第3受信器222からのセンサデータ群122aの各センサデータ122に、正解データを関連付ける。具体的には、たとえば、第2アノテーション回路223は、推論回路210のCNNよりも重みの個数や中間層の層数が多い大規模CNNを含む。大規模CNNには学習可能な固有の分類器が適用される。大規模CNNは、第3受信器222からのセンサデータ群122aの各センサデータ122が入力されると、認識結果を出力する。第2アノテーション回路223は、当該センサデータ122と、出力された認識結果と、を関連付けて、学習データセットとして、共訓練回路224に出力する。
第2アノテーション回路223は、当該センサデータ122と、出力された認識結果と、を無条件で関連付けてもよく、条件付きで関連付けてもよい。たとえば、ECU101の分類回路211のように、大規模CNNから出力される推論確率が所定の確率を超えた場合に限り、当該センサデータ122と、出力された認識結果と、を関連付けて、学習データセットとする。なお、第2アノテーション回路223は、生成した学習データセットを用いて再学習し、固有の分類器を更新してもよい。
また、第2アノテーション回路223は、センサデータ122を表示可能に出力し、正解データの入力を受け付けるインタフェースでもよい。この場合、データセンタ110のユーザが、センサデータ122を見て、適切な正解データを入力する。これにより、第2アノテーション回路223は、表示可能に出力されたセンサデータ122と入力された正解データとを関連付けて、学習データセットとする。
なお、この場合、第2アノテーション回路223は、データセンタ110の表示装置に出力し、データセンタ110の入力装置から正解データの入力を受け付ける。また、第2アノテーション回路223は、データセンタ110と通信可能なコンピュータに、センサデータ122を表示可能に送信し、当該コンピュータから正解データを受信してもよい。
共訓練回路224は、第2受信器221からの学習データセットと、第2アノテーション回路223からの学習データセットと、を用いて、旧分類器231を再学習する。具体的には、たとえば、共訓練回路224は、推論回路210と同一のCNNであり、旧分類器231が適用される。第2受信器221からの学習データセットと、第2アノテーション回路223からの学習データセットと、を混合した学習データセット群が入力されると、共訓練回路224は、旧分類器231の再学習結果として新分類器232を出力する。
第3送信器225は、共訓練回路224から出力された新分類器232を各ECU101に配信する。これにより、各車載装置201は、旧分類器231を新分類器232で更新することができる。
<CNNの構造例>
図3は、CNNの構造例を示す説明図である。CNN300は、たとえば、図2に示した推論回路210、共訓練回路224、および第2アノテーション回路223に適用される。CNN300は入力層、1層以上(図3では例として3層)の中間層、および出力層により、n(3は1以上の整数)層の畳み込み演算層を構成する。i(iは2以上n以下の整数)層目の畳み込み演算層では,i-1層目から出力された値を入力とし、この入力値に重みフィルタを畳み込むことで、得られた結果をi+1層目の入力へ出力する。このとき、重みフィルタのカーネル係数(重み係数)をアプリケーションに応じて適切な値に設定すること(学習)で、高い汎化性能を得ることができる。
<アノテーション例>
図4は、学習システムにおけるアノテーション例を示す説明図である。(A)は、カメラが撮影したECU101への入力画像データ400である。入力画像データ400には、画像データ401~403が含まれているものとする。
(B)は、(A)の入力画像データ400をCNN300(推論回路210、第2アノテーション回路223)に与えた場合の推論結果および推論確率を含む入力画像データ400である。たとえば、画像データ401の推論結果は「人」で推論確率は「98%」、画像データ402の推論結果は「車」で推論確率は「97%」、画像データ403の推論結果は「車」で推論確率は「40%」とする。
(C)は、(B)の状態から、自動的にアノテーションを付与する例である(自動アノテーション)。ECU101であれば分類回路211が、データセンタ110であれば第2アノテーション回路223が、各画像データ401~403について、その推論確率が所定の確率A(例として95%)を超える場合に推論結果が正しいと判断されて関連付け対象に分類され(重要度:中)、その推論確率が所定の確率A以下である場合に推論結果が間違っている可能性があると判断されて非関連付け対象に分類される(重要度:高)。本例の場合、画像データ401,402が関連付け対象に分類され、画像データ403が非関連付け対象に分類される。
(D)は、たとえば、第2アノテーション回路223において、(A)の入力画像データ400に人手により正解データとして、画像データ401に「人」、画像データ402に「車」、画像データ403に「車」を付与する例である(手動アノテーション)。
<学習処理手順例>
図5は、実施例1にかかる学習システムによる学習処理手順例を示すフローチャートである。推論回路210は、旧分類器231をメモリ203から読み込み、センサ群202sからセンサデータ102を推論回路210に入力して、認識対象を推論してセンサデータと認識結果と推論確率とを出力する(ステップS501)。
分類回路211は、推論回路210から出力されたセンサデータ102と認識結果と推論確率との入力を受け付け、推論確率が所定の確率Aを超えたか否かを判断する(ステップS502)。推論確率が所定の確率Aを超えた場合(ステップS502:Yes)、分類回路211は、推論確率が所定の確率Aを超えたセンサデータ121およびその認識結果を関連付け対象として第1アノテーション回路212に出力する。第1アノテーション回路212は、推論確率が所定の確率Aを超えたセンサデータ121と、その認識結果と、を関連付けて学習データセットにして(ステップS503)、学習データセットを第1送信器215からデータセンタ110に送信する。
また、ステップS502において推論確率が所定の確率A以下である場合(ステップS502:No)、分類回路211は、所定の確率A以下の推論確率およびそのセンサデータ122の識別子を次元圧縮/クラスタリング回路213に出力してステップS506に移行する。
また、次元圧縮/クラスタリング回路213は、センサ群202sから順次入力されてくるセンサデータ102の特徴量ベクトルを次元圧縮し(ステップS504)、当該次元圧縮後の特徴量ベクトルを特徴量空間にマッピングし、クラスタリングにより複数のクラスタを生成する(ステップS505)。
そして、次元圧縮/クラスタリング回路213は、分類回路211から入力されたセンサデータ122の識別子により、クラスタ内のセンサデータ102を特定し、分類回路211から入力された所定の確率A以下の推論確率を、特定したセンサデータ102にマッピングする(ステップS506)。
選択回路214は、クラスタごとに疎密判定を実行する(ステップS507)。選択回路214は、疎なクラスタであると判定した場合(ステップS507:No)、当該疎なクラスタを廃棄する。選択回路214は、密なクラスタCaであると判定した場合(ステップS507:Yes)、密なクラスタCa内の推論確率が所定の確率A以下であるセンサデータ122をデータセンタ110に送信して、ステップS508に移行する。
データセンタ110は、各ECU101から送信されてきた推論確率が所定の確率A以下であるセンサデータ122を大規模CNN300に与えて推論結果を出力し、当該推論結果を正解データとして、入力された推論確率が所定の確率A以下であるセンサデータ122に関連付け、学習データセットにする(ステップS508)。
データセンタ110は、旧分類器231を読み込み、ステップS503で送信されてきた学習データセット群のセンサデータ群と、ステップS508で生成された学習データセット群のセンサデータ群とを混合して、共訓練を実行する(ステップS509)。具体的には、たとえば、データセンタ110は、旧分類器231が適用されたCNN300に入力して、センサデータ121,122ごとに推論結果を得る。データセンタ110は、推論結果とセンサデータ121,122に関連付けされた正解データとを比較して、不一致であればCNN300に対し誤差逆伝搬を実行することにより、旧分類器231を再学習する。
データセンタ110は、再学習された旧分類器231を新分類器232として各車載装置201に配信する(ステップS510)。各ECU101は、データセンタ110から配信されてきた新分類器232で旧分類器231を更新する(ステップS511)。
このように、実施例1によれば、ECU101は、人手による正解データの関連付けが必要なセンサデータ102の個数を重要度:「高」のセンサデータ群122a内のセンサデータ122の個数に削減(絞り込み)することが可能となる。また、ECU101は、重要度が「中」のセンサデータ121については、人手を介さずに学習データセットを自動生成することが可能である。したがって、学習データセットの生成の効率化を図ることができる。
実施例2は、車載装置201単体で学習データセットを生成して旧分類器231を更新する例1である。実施例1と同一内容については同一符号を付し、その説明を省略する。
<車載装置201のハードウェア構成例>
図6は、実施例2にかかる車載装置201のハードウェア構成例を示すブロック図である。実施例2では、ECU101は、次元圧縮/クラスタリング回路213、選択回路214、第1送信器215、第2送信器216および第1受信器217を有しない。このため、分類回路211の一方の出力は第1アノテーション回路212に接続されるが、他方の出力は、出力先がないため、Hi-Zとなる。
また、実施例2では、ECU101は、データセンタ110と通信する必要がないため、データセンタ110の共訓練回路224に相当する訓練回路600を有する。訓練回路600は、推論回路210と同一構成である。訓練回路600は、第1アノテーション回路212の出力に接続される。また、訓練回路600は、メモリ203から旧分類器231を読み出し可能に接続される。また、訓練回路600は、更新回路218の入力に接続される。
訓練回路600は、第1アノテーション回路212から、所定の確率Aを超える推論確率のセンサデータ121と、センサ群202sの認識対象の認識結果とを関連付けた学習データセットの入力を受け付ける。訓練回路600は旧分類器231を読み込み、学習データセットを用いて訓練を実行する。
具体的には、たとえば、訓練回路600は、旧分類器231が適用されたCNN300に学習データセットのセンサデータ121を入力して、センサデータ121ごとに推論結果を得る。訓練回路600は、推論結果とセンサデータ121に関連付けされた推論結果(正解データ)とを比較して、不一致であればCNN300に対し誤差逆伝搬を実行することにより、旧分類器231を再学習する。訓練回路600は、再学習結果である新分類器232を更新回路218に出力する。
実施例2では、更新回路218は、メモリ203に格納されている旧分類器231を、訓練回路600からの新分類器232で更新する。すなわち、旧分類器231は新分類器232で上書き保存される。
<学習処理手順例>
図7は、実施例2にかかる車載装置201による学習処理手順例を示すフローチャートである。図7では、実施例1のステップS504~S511は実行されない。ステップS502において推論確率が所定の確率A以下である場合(ステップS502:No)、分類回路211は、所定の確率A以下の推論確率のセンサデータを廃棄する。
第1アノテーション回路212が、推論確率が所定の確率Aを超えたセンサデータ121と、その認識結果と、を関連付けて学習データセットにして(ステップS503)、訓練回路に出力すると、訓練回路600は、その学習データセットで旧分類器231を再学習する(ステップS709)。そして、訓練回路600から新分類器232を取得した更新回路218は、新分類器232でメモリ203に格納されている旧分類器231を更新する(ステップS711)。
このように、車載装置201単体で旧分類器231を再学習することができる。したがって、データセンタ110での旧分類器231の再学習が不要となり、データセンタ110の運営コストの低減化を図ることができる。また、データセンタ110と通信する必要がないため、車載装置201は、リアルタイムで旧分類器231の再学習を実行することができる。これにより、車載装置201は、リアルタイムで自動車100の行動計画を立案したり、自動車100の動作を制御することが可能となる。
また、データセンタ110と通信する必要がないため、車載装置201は、通信圏外でも旧分類器231の再学習を実行することができる。これにより、車載装置201は、通信圏外で自動車100の行動計画を立案したり、自動車100の動作を制御することが可能となる。
実施例3は、車載装置201単体で学習データセットを生成して旧分類器231を更新する例2である。実施例1および実施例2と同一内容については同一符号を付し、その説明を省略する。
<車載装置201のハードウェア構成例>
図8は、実施例3にかかる車載装置201のハードウェア構成例を示すブロック図である。実施例3では、実施例2の訓練回路600に替えて、ECU101に縮約/訓練回路800を実装した例である。縮約/訓練回路800は、第1アノテーション回路212からの学習データセットを用いて、再学習に先立って旧分類器231を縮約して、縮約後の旧分類器231を再学習する。
縮約としては、たとえば、旧分類器231内の重みパラメータやバイアスの量子化、しきい値以下の重みパラメータを削除するプルーニング、計算量削減のためのスパース行列分解によるフィルタ行列の低ランク近似、CNN300内のニューロンの結合を削減するための重み共有がある。
縮約/訓練回路800は、第1アノテーション回路212から、所定の確率Aを超える推論確率のセンサデータ121と、センサ群202sの認識対象の認識結果とを関連付けた学習データセットの入力を受け付ける。縮約/訓練回路800は旧分類器231を読み込み、旧分類器231を縮約する。縮約/訓練回路800は、縮約後の旧分類器231で、学習データセットを用いて訓練を実行する。
具体的には、たとえば、縮約/訓練回路800は、縮約後の旧分類器231が適用されたCNN300に学習データセットのセンサデータ121を入力して、センサデータ121ごとに推論結果を得る。縮約/訓練回路800は、得られた推論結果とセンサデータ121に関連付けされた推論結果(正解データ)とを比較して、不一致であればCNN300に対し誤差逆伝搬を実行することにより、旧分類器231を再学習する。縮約/訓練回路800は、再学習結果である新分類器232を更新回路218に出力する。
<学習処理手順例>
図9は、実施例3にかかる車載装置201による学習処理手順例を示すフローチャートである。図9では、実施例1のステップS504~S511は実行されない。ステップS502において推論確率が所定の確率A以下である場合(ステップS502:No)、分類回路211は、所定の確率A以下の推論確率のセンサデータ122を廃棄する。
第1アノテーション回路212が、推論確率が所定の確率Aを超えたセンサデータ121と、その認識結果と、を関連付けて学習データセットにして(ステップS503)、縮約/訓練回路800に出力すると、縮約/訓練回路800は、メモリ203から旧分類器231を読み込み、旧分類器231を縮約する(ステップS908)。そして、縮約/訓練回路800は、その学習データセットで縮約後の旧分類器231を再学習する(ステップS909)。そして、縮約/訓練回路800から新分類器232を取得した更新回路218は、新分類器232でメモリ203に格納されている旧分類器231を更新する(ステップS911)。
このように、車載装置201単体で旧分類器231を縮約するため、旧分類器231の再学習の効率化を図ることができる。また、車載装置201単体で縮約後の旧分類器231を再学習するため、データセンタ110での旧分類器231の再学習が不要となり、データセンタ110の運営コストの低減化を図ることができる。
また、データセンタ110と通信する必要がないため、車載装置201は、リアルタイムで縮約後の旧分類器231の再学習を実行することができる。これにより、車載装置201は、リアルタイムで自動車100の行動計画を立案したり、自動車100の動作を制御することが可能となる。
また、データセンタ110と通信する必要がないため、車載装置201は、通信圏外でも縮約後の旧分類器231の再学習を実行することができる。これにより、車載装置201は、通信圏外で自動車100の行動計画を立案したり、自動車100の動作を制御することが可能となる。
実施例4は、ECU101内での旧分類器231の更新と、データセンタ110での旧分類器231の更新と、を選択的に実行する例である。実施例1と同一内容については同一符号を付し、その説明を省略する。
<学習システムのハードウェア構成例>
図10は、実施例4にかかる学習システムのハードウェア構成例を示すブロック図である。学習システム200は、第1アノテーション回路212に替えて、第1アノテーション回路1012を有し、また、第1アノテーション回路1012と更新回路218との間に訓練回路1000を有する。第1アノテーション回路1012は、第1アノテーション回路212の機能を有する。訓練回路1000は、メモリ203から旧分類器231を読み出し、第1アノテーション回路212からの学習データセットを用いて、旧分類器231を更新する。
第1アノテーション回路1012は、第1アノテーション回路212の機能のほか、学習データセットを、第1送信器215に出力するか、訓練回路1000に出力するかを、判定する判定機能を有する。具体的には、たとえば、この判定機能は、たとえば、センサ群202sの中の日照計で計測された日照度、GPS信号により測位されたECU101の現在位置、計時された時刻や、インターネットから得た天候に基づいて、学習データセットを、第1送信器215に出力するか、訓練回路1000に出力するかを、判定する。
第1アノテーション回路1012は、たとえば、前回の旧分類器231の更新時と日照度や天候、時間帯の少なくともいずれか1つが異なる場合、認識対象の環境変化は軽微な更新条件を充足したと判定し、学習データセットを、訓練回路1000に出力する。この場合、出力される学習データセットは、前回の旧分類器231の更新時で用いられた学習データセットに近似していると考えられる。したがって、訓練回路1000での旧分類器231の更新は軽微になる。
一方、第1アノテーション回路1012は、たとえば、前回の旧分類器231の更新時と現在位置を含む領域が通常領域と異なる場合、軽微な更新条件を充足していないとして、認識対象の環境変化は軽微でないと判定し、学習データセットを、第1送信器215に出力する。通常領域とは、たとえば、ECU101のユーザが自動車100を運転する場合の通常の行動範囲である。たとえば、自動車100による通勤経路は通常の行動範囲であり、休日に通勤経路から外れた行楽地へ走行している場合は通常の行動範囲外となる。
軽微な更新条件を充足していない場合、出力される学習データセットは、前回の旧分類器231の更新時で用いられた学習データセットに近似していないと考えられる。したがって、共訓練回路224での高精度な旧分類器231の更新に用いられる。
なお、前回の旧分類器231の更新時と日照度や天候、時間帯の少なくともいずれか1つが異なり、かつ、前回の旧分類器231の更新時と現在位置を含む領域が異なる場合、後者が優先適用される。すなわち、軽微な更新条件を充足していないとして、第1アノテーション回路1012は、認識対象の環境変化は軽微でないと判定し、学習データセットを、第1送信器215に出力する。
<学習処理手順例>
図11は、実施例4にかかる学習システムによる学習処理手順例を示すフローチャートである。ステップS502:Yesの場合、第1アノテーション回路212は、推論確率が所定の確率Aを超えたセンサデータと、その認識結果と、を関連付けて学習データセットにする(ステップS503)。そして、第1アノテーション回路1012は、軽微な更新条件を充足したか否かを判定する(ステップS1101)。充足していない場合(ステップS1101:No)、ECU101は、学習データセットを第1送信器215からデータセンタ110に送信する。
一方、軽微な更新条件を充足した場合(ステップS1101:Yes)、訓練回路1000は、学習データセットを訓練回路1000に出力し、訓練回路1000は、学習データセットを用いて旧分類器231を再学習して、再学習結果である新分類器232を更新回路218に出力する(ステップS1102)。そして、更新回路218は、メモリ203に格納されている旧分類器231を新分類器232で更新する(ステップS1103)。
このように、実施例5によれば、認識対象の環境変化に応じて再学習の手法を選択的に変更することができる。すなわち、軽微な環境変化であれば、更新回路218で旧分類器231を更新することにより、自動車100の運転シーンの変化に応じて推論回路210から出力される認識結果の最適化を図ることができる。一方、大幅な環境変化であれば、データセンタ110で旧分類器231を更新することにより、更新後の旧分類器231を適用した推論回路210での認識精度の向上を図ることができる。
なお、上述した実施例1~実施例5のECU101の機能は、メモリ203に格納されたプログラムを、ECU101内のプロセッサ実行させることにより実現させてもよい。これにより、ECU101の各機能をソフトウェアにより実行することができる。
Ca 密なクラスタ
Cb 疎なクラスタ
100 自動車
101 ECU(演算装置)
102 センサデータ
110 データセンタ(学習装置)
200 学習システム
201 車載装置
202 センサ
203 メモリ
210 推論回路
211 分類回路
212 第1アノテーション回路
213 次元圧縮/クラスタリング回路
214 選択回路
215 第1送信器
216 第2送信器
217 第1受信器
218 更新回路
219 制御回路
221 第2受信器
222 第3受信器
223 第2アノテーション回路
224 共訓練回路
225 第3送信器
231 旧分類器
232 新分類器
300 CNN
400 入力画像データ
600 訓練回路
800 縮約/訓練回路
1000 訓練回路
1012 第1アノテーション回路

Claims (13)

  1. 認識対象を検出するセンサ群からのセンサデータと、前記認識対象を分類する第1分類器と、を用いて、前記認識対象の認識結果と、前記認識結果の信頼度と、を算出する推論部と、
    前記推論部によって算出された前記認識結果の信頼度に基づいて、前記センサデータを、前記認識結果が関連付けられる関連対象と、前記認識結果が関連付けられない非関連対象と、のいずれかに分類する分類部と、
    前記センサデータの集合であるセンサデータ群の各センサデータに関する特徴量ベクトルに基づいて、前記センサデータ群をクラスタ化するクラスタリング部と、
    前記クラスタリング部によって生成されたクラスタ群から、前記認識結果が関連付けられない非関連対象のセンサデータが所定のデータ数以上の、または相対的に前記非関連対象のセンサデータの数が多い特定のクラスタを選択する選択部と、
    前記認識対象を分類する第2分類器を学習する学習装置に、前記選択部によって選択された特定のクラスタ内の前記非関連対象のセンサデータを送信する送信部と、
    を有することを特徴とする演算装置。
  2. 請求項1に記載の演算装置であって、
    前記センサ群は、移動体の運転状況を検出可能なセンサを含む、
    をことを特徴とする演算装置。
  3. 請求項1に記載の演算装置であって、
    前記推論部は、ブートストラップ法、半教師有りk-近傍法グラフ、または半教師有り混合ガウス分布グラフに基づいて、前記認識結果の信頼度を算出する、
    ことを特徴とする演算装置。
  4. 請求項1に記載の演算装置であって、
    前記分類部は、前記認識結果の信頼度が所定のしきい値を超えた場合、前記センサデータを、前記関連対象に分類し、前記所定のしきい値以下の場合、前記センサデータを、前記非関連対象に分類する、
    ことを特徴とする演算装置。
  5. 請求項1に記載の演算装置であって、
    前記分類部によって前記センサデータが前記関連対象に分類された場合、前記関連対象のセンサデータに前記認識結果を関連付けるアノテーション部と、
    を有することを特徴とする演算装置。
  6. 請求項5に記載の演算装置であって、
    前記送信部は、前記アノテーション部によって前記認識結果が関連付けられた前記関連対象のセンサデータを用いて前記認識対象を分類する第2分類器を学習する学習装置に、前記認識結果が関連付けられた前記関連対象のセンサデータを送信する
    ことを特徴とする演算装置。
  7. 請求項6に記載の演算装置であって、
    前記第2分類器を前記学習装置から受信する受信部と、
    前記受信部によって受信された第2分類器により前記第1分類器を更新する更新部と、
    を有することを特徴とする演算装置。
  8. 請求項1に記載の演算装置であって、
    前記分類部は、前記センサデータが前記非関連対象に分類された場合、前記非関連対象のセンサデータを廃棄する、
    を有することを特徴とする演算装置。
  9. 請求項に記載の演算装置であって、
    前記センサデータに関する特徴量ベクトルを次元圧縮する次元圧縮部を有し、
    前記クラスタリング部は、次元圧縮後の特徴量ベクトルに基づいて、次元圧縮後のセンサデータをクラスタ化する、
    ことを特徴とする演算装置。
  10. 請求項に記載の演算装置であって、
    前記選択部は、前記特定のクラスタ以外の他のクラスタを廃棄する、
    ことを特徴とする演算装置。
  11. 請求項5に記載の演算装置であって、
    前記認識結果が関連付けられた前記関連対象のセンサデータが特定の条件を充足するか否かを判定し、前記特定の条件を充足する場合、前記認識結果が関連付けられた前記関連対象のセンサデータを用いて前記第1分類器を再学習する訓練部と、
    を有することを特徴とする演算装置。
  12. 請求項5に記載の演算装置であって、
    前記認識結果が関連付けられた前記関連対象のセンサデータを用いて前記認識対象を分類する第2分類器を学習する訓練部と、
    前記訓練部から出力された第2分類器により前記第1分類器を更新する更新部と、
    を有することを特徴とする演算装置。
  13. 請求項5に記載の演算装置であって、
    前記認識結果が関連付けられた前記関連対象のセンサデータに関する特徴量ベクトルを縮約し、縮約後のセンサデータを用いて前記認識対象を分類する第2分類器を学習する訓練部と、
    前記訓練部から出力された第2分類器により前記第1分類器を更新する更新部と、
    を有することを特徴とする演算装置。
JP2019042503A 2019-03-08 2019-03-08 演算装置 Active JP7079745B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019042503A JP7079745B2 (ja) 2019-03-08 2019-03-08 演算装置
DE112019006526.2T DE112019006526T5 (de) 2019-03-08 2019-10-21 Rechenvorrichtung
US17/428,118 US20220129704A1 (en) 2019-03-08 2019-10-21 Computing device
PCT/JP2019/041348 WO2020183776A1 (ja) 2019-03-08 2019-10-21 演算装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019042503A JP7079745B2 (ja) 2019-03-08 2019-03-08 演算装置

Publications (2)

Publication Number Publication Date
JP2020144755A JP2020144755A (ja) 2020-09-10
JP7079745B2 true JP7079745B2 (ja) 2022-06-02

Family

ID=72354296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019042503A Active JP7079745B2 (ja) 2019-03-08 2019-03-08 演算装置

Country Status (4)

Country Link
US (1) US20220129704A1 (ja)
JP (1) JP7079745B2 (ja)
DE (1) DE112019006526T5 (ja)
WO (1) WO2020183776A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022130516A1 (ja) * 2020-12-15 2022-06-23 日本電信電話株式会社 アノテーション装置、アノテーション方法およびアノテーションプログラム
TW202232437A (zh) * 2021-02-09 2022-08-16 阿物科技股份有限公司 圖像分類與標示方法及系統
WO2023119664A1 (ja) * 2021-12-24 2023-06-29 富士通株式会社 機械学習プログラム、装置、及び方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010119615A1 (ja) 2009-04-15 2010-10-21 日本電気株式会社 学習データ生成装置、及び固有表現抽出システム
JP2016173782A (ja) 2015-03-18 2016-09-29 エヌ・ティ・ティ・コミュニケーションズ株式会社 故障予測システム、故障予測方法、故障予測装置、学習装置、故障予測プログラム及び学習プログラム
WO2017126046A1 (ja) 2016-01-20 2017-07-27 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2018005413A1 (en) 2016-06-30 2018-01-04 Konica Minolta Laboratory U.S.A., Inc. Method and system for cell annotation with adaptive incremental learning
US20190065901A1 (en) 2017-08-29 2019-02-28 Vintra, Inc. Systems and methods for a tailored neural network detector

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342739A (ja) 2001-05-17 2002-11-29 Kddi Corp 通信ネットワークを介したニューラルネットワーク処理システム及びそのプログラムを格納したプログラム記憶媒体
JP5467951B2 (ja) 2010-07-05 2014-04-09 本田技研工業株式会社 ニューラルネットワーク学習装置
US10213645B1 (en) * 2011-10-03 2019-02-26 Swingbyte, Inc. Motion attributes recognition system and methods
KR101919135B1 (ko) * 2012-02-20 2018-11-15 한국전자통신연구원 센서 네트워크에서 센서 데이터 처리 장치 및 방법
JP2018097807A (ja) 2016-12-16 2018-06-21 株式会社デンソーアイティーラボラトリ 学習装置
US10492704B2 (en) 2017-08-29 2019-12-03 Biosense Webster (Israel) Ltd. Medical patch for simultaneously sensing ECG signals and impedance-indicative electrical signals
US11503757B2 (en) * 2017-12-03 2022-11-22 Seedx Technologies Inc. Systems and methods for sorting of seeds

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010119615A1 (ja) 2009-04-15 2010-10-21 日本電気株式会社 学習データ生成装置、及び固有表現抽出システム
JP2016173782A (ja) 2015-03-18 2016-09-29 エヌ・ティ・ティ・コミュニケーションズ株式会社 故障予測システム、故障予測方法、故障予測装置、学習装置、故障予測プログラム及び学習プログラム
WO2017126046A1 (ja) 2016-01-20 2017-07-27 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2018005413A1 (en) 2016-06-30 2018-01-04 Konica Minolta Laboratory U.S.A., Inc. Method and system for cell annotation with adaptive incremental learning
US20190065901A1 (en) 2017-08-29 2019-02-28 Vintra, Inc. Systems and methods for a tailored neural network detector

Also Published As

Publication number Publication date
US20220129704A1 (en) 2022-04-28
DE112019006526T5 (de) 2021-09-23
WO2020183776A1 (ja) 2020-09-17
JP2020144755A (ja) 2020-09-10

Similar Documents

Publication Publication Date Title
US11480972B2 (en) Hybrid reinforcement learning for autonomous driving
JP7079745B2 (ja) 演算装置
WO2018009552A1 (en) System and method for image analysis
US11366434B2 (en) Adaptive and interchangeable neural networks
US10956807B1 (en) Adaptive and interchangeable neural networks utilizing predicting information
US20210157283A1 (en) Adaptively controlling groups of automated machines
US20210284184A1 (en) Learning point cloud augmentation policies
US11816841B2 (en) Method and system for graph-based panoptic segmentation
US11654934B2 (en) Methods and systems for diversity-aware vehicle motion prediction via latent semantic sampling
US11790646B2 (en) Network for interacted object localization
US11928867B2 (en) Group of neural networks ensuring integrity
CN111874007A (zh) 基于知识与数据驱动的无人车分层决策方法、系统、装置
US20200018611A1 (en) Apparatus and method for collecting user interest information
US20220114458A1 (en) Multimodal automatic mapping of sensing defects to task-specific error measurement
CN112805661A (zh) 交通工具进入检测
US20220188621A1 (en) Generative domain adaptation in a neural network
Priya et al. Vehicle Detection in Autonomous Vehicles Using Computer Vision Check for updates
WO2024093321A1 (zh) 车辆的位置获取方法、模型的训练方法以及相关设备
US11603119B2 (en) Method and apparatus for out-of-distribution detection
WO2023029704A1 (zh) 数据处理方法、装置和系统
US20240112448A1 (en) Methods and systems of generating images utilizing machine learning and existing images with disentangled content and style encoding
Gupta et al. Simulation of Autonomous Car using Deep Learning
CN117034732A (zh) 基于真实与仿真对抗学习的自动驾驶模型训练方法
Lagoutaris et al. Motion Prediction Of Traffic Agents With Hybrid Recurrent-Convolutional Neural Networks
CN117095266A (zh) 神经网络中的生成域自适应

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220523

R150 Certificate of patent or registration of utility model

Ref document number: 7079745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150