JP7079745B2 - 演算装置 - Google Patents
演算装置 Download PDFInfo
- Publication number
- JP7079745B2 JP7079745B2 JP2019042503A JP2019042503A JP7079745B2 JP 7079745 B2 JP7079745 B2 JP 7079745B2 JP 2019042503 A JP2019042503 A JP 2019042503A JP 2019042503 A JP2019042503 A JP 2019042503A JP 7079745 B2 JP7079745 B2 JP 7079745B2
- Authority
- JP
- Japan
- Prior art keywords
- sensor data
- unit
- circuit
- classifier
- arithmetic unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
図1は、学習データセットの生成例を示す説明図である。自動車100に搭載されたECU101は、カメラ、LiDAR、レーダなどの各種センサによりセンサデータ群102sを取得する。センサデータ群102sは自動車100の外界を認識対象として検出されたセンサデータの集合である。認識対象とは、たとえば、外界である山や海、川、空のほか、当該外界に存在する物体(人物、自動車、ビル、道路などの人工物、犬や猫、森林などの動植物)を含む。なお、図1では、便宜的に1台の自動車100が描かれているが、実際には、複数台の自動車100で以下に示す(A)~(F)を実行する。
図2は、実施例1にかかる学習システムのハードウェア構成例を示すブロック図である。学習システム200は、車載装置201と、データセンタ110と、を有する。車載装置およびデータセンタ110は、たとえば、インターネットなどのネットワークにより通信可能に接続される。車載装置は、自動車に実装される。車載装置は、上述したECU101と、センサ群202sと、メモリ203と、を有する。
図3は、CNNの構造例を示す説明図である。CNN300は、たとえば、図2に示した推論回路210、共訓練回路224、および第2アノテーション回路223に適用される。CNN300は入力層、1層以上(図3では例として3層)の中間層、および出力層により、n(3は1以上の整数)層の畳み込み演算層を構成する。i(iは2以上n以下の整数)層目の畳み込み演算層では,i-1層目から出力された値を入力とし、この入力値に重みフィルタを畳み込むことで、得られた結果をi+1層目の入力へ出力する。このとき、重みフィルタのカーネル係数(重み係数)をアプリケーションに応じて適切な値に設定すること(学習)で、高い汎化性能を得ることができる。
図4は、学習システムにおけるアノテーション例を示す説明図である。(A)は、カメラが撮影したECU101への入力画像データ400である。入力画像データ400には、画像データ401~403が含まれているものとする。
図5は、実施例1にかかる学習システムによる学習処理手順例を示すフローチャートである。推論回路210は、旧分類器231をメモリ203から読み込み、センサ群202sからセンサデータ102を推論回路210に入力して、認識対象を推論してセンサデータと認識結果と推論確率とを出力する(ステップS501)。
図6は、実施例2にかかる車載装置201のハードウェア構成例を示すブロック図である。実施例2では、ECU101は、次元圧縮/クラスタリング回路213、選択回路214、第1送信器215、第2送信器216および第1受信器217を有しない。このため、分類回路211の一方の出力は第1アノテーション回路212に接続されるが、他方の出力は、出力先がないため、Hi-Zとなる。
図7は、実施例2にかかる車載装置201による学習処理手順例を示すフローチャートである。図7では、実施例1のステップS504~S511は実行されない。ステップS502において推論確率が所定の確率A以下である場合(ステップS502:No)、分類回路211は、所定の確率A以下の推論確率のセンサデータを廃棄する。
図8は、実施例3にかかる車載装置201のハードウェア構成例を示すブロック図である。実施例3では、実施例2の訓練回路600に替えて、ECU101に縮約/訓練回路800を実装した例である。縮約/訓練回路800は、第1アノテーション回路212からの学習データセットを用いて、再学習に先立って旧分類器231を縮約して、縮約後の旧分類器231を再学習する。
図9は、実施例3にかかる車載装置201による学習処理手順例を示すフローチャートである。図9では、実施例1のステップS504~S511は実行されない。ステップS502において推論確率が所定の確率A以下である場合(ステップS502:No)、分類回路211は、所定の確率A以下の推論確率のセンサデータ122を廃棄する。
図10は、実施例4にかかる学習システムのハードウェア構成例を示すブロック図である。学習システム200は、第1アノテーション回路212に替えて、第1アノテーション回路1012を有し、また、第1アノテーション回路1012と更新回路218との間に訓練回路1000を有する。第1アノテーション回路1012は、第1アノテーション回路212の機能を有する。訓練回路1000は、メモリ203から旧分類器231を読み出し、第1アノテーション回路212からの学習データセットを用いて、旧分類器231を更新する。
図11は、実施例4にかかる学習システムによる学習処理手順例を示すフローチャートである。ステップS502:Yesの場合、第1アノテーション回路212は、推論確率が所定の確率Aを超えたセンサデータと、その認識結果と、を関連付けて学習データセットにする(ステップS503)。そして、第1アノテーション回路1012は、軽微な更新条件を充足したか否かを判定する(ステップS1101)。充足していない場合(ステップS1101:No)、ECU101は、学習データセットを第1送信器215からデータセンタ110に送信する。
Cb 疎なクラスタ
100 自動車
101 ECU(演算装置)
102 センサデータ
110 データセンタ(学習装置)
200 学習システム
201 車載装置
202 センサ
203 メモリ
210 推論回路
211 分類回路
212 第1アノテーション回路
213 次元圧縮/クラスタリング回路
214 選択回路
215 第1送信器
216 第2送信器
217 第1受信器
218 更新回路
219 制御回路
221 第2受信器
222 第3受信器
223 第2アノテーション回路
224 共訓練回路
225 第3送信器
231 旧分類器
232 新分類器
300 CNN
400 入力画像データ
600 訓練回路
800 縮約/訓練回路
1000 訓練回路
1012 第1アノテーション回路
Claims (13)
- 認識対象を検出するセンサ群からのセンサデータと、前記認識対象を分類する第1分類器と、を用いて、前記認識対象の認識結果と、前記認識結果の信頼度と、を算出する推論部と、
前記推論部によって算出された前記認識結果の信頼度に基づいて、前記センサデータを、前記認識結果が関連付けられる関連対象と、前記認識結果が関連付けられない非関連対象と、のいずれかに分類する分類部と、
前記センサデータの集合であるセンサデータ群の各センサデータに関する特徴量ベクトルに基づいて、前記センサデータ群をクラスタ化するクラスタリング部と、
前記クラスタリング部によって生成されたクラスタ群から、前記認識結果が関連付けられない非関連対象のセンサデータが所定のデータ数以上の、または相対的に前記非関連対象のセンサデータの数が多い特定のクラスタを選択する選択部と、
前記認識対象を分類する第2分類器を学習する学習装置に、前記選択部によって選択された特定のクラスタ内の前記非関連対象のセンサデータを送信する送信部と、
を有することを特徴とする演算装置。 - 請求項1に記載の演算装置であって、
前記センサ群は、移動体の運転状況を検出可能なセンサを含む、
をことを特徴とする演算装置。 - 請求項1に記載の演算装置であって、
前記推論部は、ブートストラップ法、半教師有りk-近傍法グラフ、または半教師有り混合ガウス分布グラフに基づいて、前記認識結果の信頼度を算出する、
ことを特徴とする演算装置。 - 請求項1に記載の演算装置であって、
前記分類部は、前記認識結果の信頼度が所定のしきい値を超えた場合、前記センサデータを、前記関連対象に分類し、前記所定のしきい値以下の場合、前記センサデータを、前記非関連対象に分類する、
ことを特徴とする演算装置。 - 請求項1に記載の演算装置であって、
前記分類部によって前記センサデータが前記関連対象に分類された場合、前記関連対象のセンサデータに前記認識結果を関連付けるアノテーション部と、
を有することを特徴とする演算装置。 - 請求項5に記載の演算装置であって、
前記送信部は、前記アノテーション部によって前記認識結果が関連付けられた前記関連対象のセンサデータを用いて前記認識対象を分類する第2分類器を学習する学習装置に、前記認識結果が関連付けられた前記関連対象のセンサデータを送信する、
ことを特徴とする演算装置。 - 請求項6に記載の演算装置であって、
前記第2分類器を前記学習装置から受信する受信部と、
前記受信部によって受信された第2分類器により前記第1分類器を更新する更新部と、
を有することを特徴とする演算装置。 - 請求項1に記載の演算装置であって、
前記分類部は、前記センサデータが前記非関連対象に分類された場合、前記非関連対象のセンサデータを廃棄する、
を有することを特徴とする演算装置。 - 請求項1に記載の演算装置であって、
前記センサデータに関する特徴量ベクトルを次元圧縮する次元圧縮部を有し、
前記クラスタリング部は、次元圧縮後の特徴量ベクトルに基づいて、次元圧縮後のセンサデータをクラスタ化する、
ことを特徴とする演算装置。 - 請求項1に記載の演算装置であって、
前記選択部は、前記特定のクラスタ以外の他のクラスタを廃棄する、
ことを特徴とする演算装置。 - 請求項5に記載の演算装置であって、
前記認識結果が関連付けられた前記関連対象のセンサデータが特定の条件を充足するか否かを判定し、前記特定の条件を充足する場合、前記認識結果が関連付けられた前記関連対象のセンサデータを用いて前記第1分類器を再学習する訓練部と、
を有することを特徴とする演算装置。 - 請求項5に記載の演算装置であって、
前記認識結果が関連付けられた前記関連対象のセンサデータを用いて前記認識対象を分類する第2分類器を学習する訓練部と、
前記訓練部から出力された第2分類器により前記第1分類器を更新する更新部と、
を有することを特徴とする演算装置。 - 請求項5に記載の演算装置であって、
前記認識結果が関連付けられた前記関連対象のセンサデータに関する特徴量ベクトルを縮約し、縮約後のセンサデータを用いて前記認識対象を分類する第2分類器を学習する訓練部と、
前記訓練部から出力された第2分類器により前記第1分類器を更新する更新部と、
を有することを特徴とする演算装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019042503A JP7079745B2 (ja) | 2019-03-08 | 2019-03-08 | 演算装置 |
DE112019006526.2T DE112019006526T5 (de) | 2019-03-08 | 2019-10-21 | Rechenvorrichtung |
US17/428,118 US20220129704A1 (en) | 2019-03-08 | 2019-10-21 | Computing device |
PCT/JP2019/041348 WO2020183776A1 (ja) | 2019-03-08 | 2019-10-21 | 演算装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019042503A JP7079745B2 (ja) | 2019-03-08 | 2019-03-08 | 演算装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020144755A JP2020144755A (ja) | 2020-09-10 |
JP7079745B2 true JP7079745B2 (ja) | 2022-06-02 |
Family
ID=72354296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019042503A Active JP7079745B2 (ja) | 2019-03-08 | 2019-03-08 | 演算装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220129704A1 (ja) |
JP (1) | JP7079745B2 (ja) |
DE (1) | DE112019006526T5 (ja) |
WO (1) | WO2020183776A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022130516A1 (ja) * | 2020-12-15 | 2022-06-23 | 日本電信電話株式会社 | アノテーション装置、アノテーション方法およびアノテーションプログラム |
TW202232437A (zh) * | 2021-02-09 | 2022-08-16 | 阿物科技股份有限公司 | 圖像分類與標示方法及系統 |
WO2023119664A1 (ja) * | 2021-12-24 | 2023-06-29 | 富士通株式会社 | 機械学習プログラム、装置、及び方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010119615A1 (ja) | 2009-04-15 | 2010-10-21 | 日本電気株式会社 | 学習データ生成装置、及び固有表現抽出システム |
JP2016173782A (ja) | 2015-03-18 | 2016-09-29 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 故障予測システム、故障予測方法、故障予測装置、学習装置、故障予測プログラム及び学習プログラム |
WO2017126046A1 (ja) | 2016-01-20 | 2017-07-27 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
WO2018005413A1 (en) | 2016-06-30 | 2018-01-04 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for cell annotation with adaptive incremental learning |
US20190065901A1 (en) | 2017-08-29 | 2019-02-28 | Vintra, Inc. | Systems and methods for a tailored neural network detector |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002342739A (ja) | 2001-05-17 | 2002-11-29 | Kddi Corp | 通信ネットワークを介したニューラルネットワーク処理システム及びそのプログラムを格納したプログラム記憶媒体 |
JP5467951B2 (ja) | 2010-07-05 | 2014-04-09 | 本田技研工業株式会社 | ニューラルネットワーク学習装置 |
US10213645B1 (en) * | 2011-10-03 | 2019-02-26 | Swingbyte, Inc. | Motion attributes recognition system and methods |
KR101919135B1 (ko) * | 2012-02-20 | 2018-11-15 | 한국전자통신연구원 | 센서 네트워크에서 센서 데이터 처리 장치 및 방법 |
JP2018097807A (ja) | 2016-12-16 | 2018-06-21 | 株式会社デンソーアイティーラボラトリ | 学習装置 |
US10492704B2 (en) | 2017-08-29 | 2019-12-03 | Biosense Webster (Israel) Ltd. | Medical patch for simultaneously sensing ECG signals and impedance-indicative electrical signals |
US11503757B2 (en) * | 2017-12-03 | 2022-11-22 | Seedx Technologies Inc. | Systems and methods for sorting of seeds |
-
2019
- 2019-03-08 JP JP2019042503A patent/JP7079745B2/ja active Active
- 2019-10-21 DE DE112019006526.2T patent/DE112019006526T5/de active Pending
- 2019-10-21 WO PCT/JP2019/041348 patent/WO2020183776A1/ja active Application Filing
- 2019-10-21 US US17/428,118 patent/US20220129704A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010119615A1 (ja) | 2009-04-15 | 2010-10-21 | 日本電気株式会社 | 学習データ生成装置、及び固有表現抽出システム |
JP2016173782A (ja) | 2015-03-18 | 2016-09-29 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 故障予測システム、故障予測方法、故障予測装置、学習装置、故障予測プログラム及び学習プログラム |
WO2017126046A1 (ja) | 2016-01-20 | 2017-07-27 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
WO2018005413A1 (en) | 2016-06-30 | 2018-01-04 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for cell annotation with adaptive incremental learning |
US20190065901A1 (en) | 2017-08-29 | 2019-02-28 | Vintra, Inc. | Systems and methods for a tailored neural network detector |
Also Published As
Publication number | Publication date |
---|---|
US20220129704A1 (en) | 2022-04-28 |
DE112019006526T5 (de) | 2021-09-23 |
WO2020183776A1 (ja) | 2020-09-17 |
JP2020144755A (ja) | 2020-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11480972B2 (en) | Hybrid reinforcement learning for autonomous driving | |
JP7079745B2 (ja) | 演算装置 | |
WO2018009552A1 (en) | System and method for image analysis | |
US11366434B2 (en) | Adaptive and interchangeable neural networks | |
US10956807B1 (en) | Adaptive and interchangeable neural networks utilizing predicting information | |
US20210157283A1 (en) | Adaptively controlling groups of automated machines | |
US20210284184A1 (en) | Learning point cloud augmentation policies | |
US11816841B2 (en) | Method and system for graph-based panoptic segmentation | |
US11654934B2 (en) | Methods and systems for diversity-aware vehicle motion prediction via latent semantic sampling | |
US11790646B2 (en) | Network for interacted object localization | |
US11928867B2 (en) | Group of neural networks ensuring integrity | |
CN111874007A (zh) | 基于知识与数据驱动的无人车分层决策方法、系统、装置 | |
US20200018611A1 (en) | Apparatus and method for collecting user interest information | |
US20220114458A1 (en) | Multimodal automatic mapping of sensing defects to task-specific error measurement | |
CN112805661A (zh) | 交通工具进入检测 | |
US20220188621A1 (en) | Generative domain adaptation in a neural network | |
Priya et al. | Vehicle Detection in Autonomous Vehicles Using Computer Vision Check for updates | |
WO2024093321A1 (zh) | 车辆的位置获取方法、模型的训练方法以及相关设备 | |
US11603119B2 (en) | Method and apparatus for out-of-distribution detection | |
WO2023029704A1 (zh) | 数据处理方法、装置和系统 | |
US20240112448A1 (en) | Methods and systems of generating images utilizing machine learning and existing images with disentangled content and style encoding | |
Gupta et al. | Simulation of Autonomous Car using Deep Learning | |
CN117034732A (zh) | 基于真实与仿真对抗学习的自动驾驶模型训练方法 | |
Lagoutaris et al. | Motion Prediction Of Traffic Agents With Hybrid Recurrent-Convolutional Neural Networks | |
CN117095266A (zh) | 神经网络中的生成域自适应 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220523 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7079745 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |