JP6618661B2 - 識別分類装置および識別分類方法 - Google Patents
識別分類装置および識別分類方法 Download PDFInfo
- Publication number
- JP6618661B2 JP6618661B2 JP2019535538A JP2019535538A JP6618661B2 JP 6618661 B2 JP6618661 B2 JP 6618661B2 JP 2019535538 A JP2019535538 A JP 2019535538A JP 2019535538 A JP2019535538 A JP 2019535538A JP 6618661 B2 JP6618661 B2 JP 6618661B2
- Authority
- JP
- Japan
- Prior art keywords
- classification
- side information
- identification
- layer
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
一方、多層ニューラルネットワークを用いた、画像、音声、言語またはセンサデータの識別または分類の性能は飛躍的に向上しているが、100%正解する性能を保証するものではない。
また、ディープラーニングに用いる学習データの質および量に一定の規則があるわけではない。このため、多層ニューラルネットワークを用いて解決すべき問題ごとに、コストおよび従事者の経験を根拠として学習データを収集しているのが現状である。
しかしながら、多層ニューラルネットワークを構築する学習処理は一般に多くの演算が必要であるため、再学習は、計算機の運用コストを上昇させ、さらに、計算機の時間的な拘束も与える。従って、再学習を繰り返すことは、コストと時間の両面で限界がある。
実施の形態1.
図1は、この発明の実施の形態1に係る識別分類装置100の構成を示すブロック図である。識別分類装置100は、識別処理または分類処理を行う装置であって、図1に示すように、サイド情報算出部110および多層ニューラルネットワーク120を備える。
識別分類装置100に入力されたデータの一部または全ては、サイド情報算出部110および多層ニューラルネットワーク120に同じタイミングで入力される。
また、カメラと撮影対象物との間の距離が分かれば、上記画像データから撮影対象物の実サイズを算出することが可能となる。
次式において、空間分解能は、1画素あたりの視野の角度を表しており、カメラごとの特性に基づく値である。画素数は画像上での撮影対象物のサイズである。距離はカメラと撮影対象物との間の距離である。
実サイズ(m)=画素数(ピクセル)×距離(km)×空間分解能(mrad)
例えば、サイド情報算出部110は、視点が異なる複数の画像データに基づいて、三角測量法を用いてカメラと撮影対象物との間の距離を算出する。
また、サイド情報算出部110は、視点が異なる複数の画像データに基づいて、SfM(Structure from Motion)によってカメラと撮影対象物との間の距離を算出してもよい。
例えば、カメラシステムが上記測距センサを備える場合、サイド情報算出部110は、測距センサの検出情報を利用して上記距離を算出する方法を選択する。
また、サイド情報算出部110は、許容算出時間内に上記距離の算出が可能であれば、画像データから上記距離を算出してもよい。
なお、多層ニューラルネットワーク120は、識別処理または分類処理を行うものであればよく、畳み込みニューラルネットワークであってもよい。
多層ニューラルネットワーク120に学習処理を施す学習部は、識別分類装置100が備えてもよいが、識別分類装置100とは別に設けられた外部装置が備えてもよい。
また、出力層30を構成する1または複数のノードには、学習処理によって算出されたバイアスbが付与されている。
例えば、中間層20における最終段の層のノード20l−iが、エッジijによって、出力層30におけるノード30−jと接続されている場合、エッジijには、学習処理によって算出された重みwijが付与されている。また、ノード30−jには、学習処理によって算出されたバイアスbjが付与される。
なお、中間層20における最終段の層はn個のノードを備えるので、iは、1,2,・・・,nのうちのいずれかの値となる。同様に、出力層30はm個のノードを備えるので、jは、1,2,・・・,mのうちのいずれかの値となる。
中間層20における最終段の層に配置されたノード20l−iは、前段の層に配置された複数のノードのそれぞれの出力値を用いて演算を行い、演算結果の出力値xiを出力層30のノード30−jに出力する。
ただし、下記式(1)において、eを底とする指数関数の指数部は、重みwijと出力値xiとの積にバイアスbjを足した値の総和である。Rは、下記式(2)で算出される値である。
そこで、サイド情報算出部110は、撮影画像に写った船がどの程度の大きさであるかという情報を算出して、多層ニューラルネットワーク120に出力する。
例えば、サイド情報算出部110は、撮影画像に写った船の大きさと閾値とを比較して撮影画像における船の大きさが上記閾値よりも小さい場合、船が小型船舶である可能性が高いと判断し、小型船舶を示す情報をサイド情報として出力する。
例えば、サイド情報算出部110は、撮影画像に写った船が小型船舶に分類される確からしさを示す数値、上記船が中型船舶に分類される確からしさを示す数値、および上記船が大型船舶に分類される確からしさを示す数値をそれぞれ算出してサイド情報とする。
処理回路は、専用のハードウェアであっても、メモリ202に記憶されたプログラムを実行するCPU(Central Processing Unit)であってもよい。
図4は、実施の形態1に係る識別分類方法を示すフローチャートである。
なお、図4に示す一連の処理が行われる前に、多層ニューラルネットワーク120は、識別処理または分類処理に関する学習が施されているものとする。
例えば、多層ニューラルネットワーク120は、撮影対象物が分類されるクラスcを示す出力値を出力したときに、撮影対象物がクラスcには分類され得ないというサイド情報をサイド情報算出部110から入力した場合、上記出力値と上記サイド情報との間に齟齬があると判定する。
下記式(4)において、出力層30の前段にある複数のノード(中間層20の最終段のノード)に関連したパラメータは、wicおよびxiである。wicは、多層ニューラルネットワーク120に施された学習処理において算出されたエッジの重みであり、xiは出力層30の前段にあるノードの出力値である。
下記式(5)における重みwicと出力値xiとの積は、上記式(4)における指数関数の指数部にあるので、確率pcの決定に大きく寄与していると言える。
例えば、出力層30の活性化関数はsoftmax関数以外であってもよく、ノードkを特定するための計算式も上記式(4)および上記式(5)以外であってもよい。
多層ニューラルネットワーク120は、ステップST123で特定したノードkの出力値xkをより小さな値に変更して、出力層30で出力値の算出を再度行う(ステップST124)。出力値xkは、従前よりも小さな値であればよいが、以降ではxk=0とした場合を例に挙げて説明する。
出力層30では、下記式(6)および下記式(7)に従って確率p’jが算出される。これにより、出力値の再計算における演算量を削減することができる。
例えば、下記式(8)で特定されたノードの出力値が、撮影対象物が新たなクラスc’に分類されることを示す出力値となる。
クラスc’を示す出力値とサイド情報との間に齟齬がないと判定した場合(ステップST121;NO)、クラスc’を示す出力値を、分類結果として出力する(ステップST122)。
下記式(9)および下記式(10)では、単純にxkとxk’とのそれぞれに0を代入するのではなく、集合Lに含まれるノードの出力値に関わる計算を省くことで、撮影対象物が分類対象となる複数のクラスのそれぞれに分類される確率p’’jを算出することができる。出力層30では、下記式(9)および下記式(10)に従って、確率p’’jが算出される。これにより、出力値の再計算における演算量を削減することができる。
多層ニューラルネットワーク120の出力値とサイド情報との間に齟齬がある場合に、多層ニューラルネットワーク120が、中間層20の複数のノードのうち、後段のノードの出力値の算出に大きく寄与したノードを順に遡って特定し、特定したノードの出力値を変更して識別処理または分類処理を再度行ってもよい。
特定したノードN1の出力値がBである場合、多層ニューラルネットワーク120は、出力層30の前々段のノード(中間層20の最終段の前段のノード)のうち、出力値Bの算出に大きく寄与したノードN2を特定する。
特定したノードN2の出力値がCである場合、多層ニューラルネットワーク120は、出力層30の前々々段のノード(中間層20の最終段の前々段にあるノード)のうち、出力値Cの算出に大きく寄与したノードN3を特定する。
このように後段のノードの出力値の算出に大きく寄与したノードを順に遡って特定することでも、識別処理の識別率または分類処理の分類正解率を向上させることができる。
特に、サイド情報算出部110は、入力データに基づいてサイド情報を算出する。
このように構成することで、学習済みの多層ニューラルネットワーク120を再学習することなく、識別処理の識別率または分類処理の分類正解率を向上させることができる。
特に、多層ニューラルネットワーク120は、中間層20を構成するノードのうち、出力層30を構成するノードの前段のノードから、処理結果の算出に大きく寄与したノードを特定する。このように構成することで、識別処理の識別率または分類処理の分類正解率を向上させることができる。
このように構成することで、識別処理の識別率または分類処理の分類正解率を向上させることができる。
Claims (9)
- 識別処理または分類処理を補助するサイド情報を算出するサイド情報算出部と、
入力層、中間層、および出力層から構成され、前記入力層に入力されたデータを用いた識別処理または分類処理の処理結果と前記サイド情報との間に齟齬がある場合に、前記中間層の出力値を変更して識別処理または分類処理を再度行う多層ニューラルネットワークと
を備えたことを特徴とする識別分類装置。 - 前記サイド情報算出部は、入力データに基づいて前記サイド情報を算出すること
を特徴とする請求項1記載の識別分類装置。 - 前記多層ニューラルネットワークは、前記処理結果と前記サイド情報との間に齟齬がある場合、前記中間層を構成する複数のノードのうち、前記出力層における前記処理結果の算出に大きく寄与したノードを特定し、特定したノードの出力値を変更して前記出力層における前記処理結果の算出を再度行うこと
を特徴とする請求項1記載の識別分類装置。 - 前記多層ニューラルネットワークは、前記中間層を構成する複数のノードのうち、前記出力層の前段のノードから、前記処理結果の算出に大きく寄与したノードを特定すること
を特徴とする請求項3記載の識別分類装置。 - 前記多層ニューラルネットワークは、前記処理結果と前記サイド情報との間に齟齬がある場合、前記中間層を構成する複数のノードのうち、後段のノードの出力値の算出に大きく寄与したノードを順に遡って特定し、特定したノードの出力値を変更して前記処理結果の算出を再度行うこと
を特徴とする請求項1記載の識別分類装置。 - 前記サイド情報算出部は、カメラで撮影された画像データを用いた識別処理または分類処理についての前記サイド情報を算出すること
を特徴とする請求項1記載の識別分類装置。 - 前記サイド情報算出部は、前記カメラと撮影対象物との間の距離情報を算出すること
を特徴とする請求項6記載の識別分類装置。 - 前記サイド情報算出部は、撮影対象物の種別情報を算出すること
を特徴とする請求項6記載の識別分類装置。 - サイド情報算出部が、識別処理または分類処理を補助するサイド情報を算出するステップと、
入力層、中間層、および出力層から構成された多層ニューラルネットワークが、前記入力層に入力されたデータを用いた識別処理または分類処理の処理結果と前記サイド情報との間に齟齬がある場合に、前記中間層の出力値を変更して識別処理または分類処理を再度行うステップと
を備えたことを特徴とする識別分類方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/029086 WO2019030895A1 (ja) | 2017-08-10 | 2017-08-10 | 識別分類装置および識別分類方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6618661B2 true JP6618661B2 (ja) | 2019-12-11 |
JPWO2019030895A1 JPWO2019030895A1 (ja) | 2020-01-16 |
Family
ID=65271728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019535538A Active JP6618661B2 (ja) | 2017-08-10 | 2017-08-10 | 識別分類装置および識別分類方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11475299B2 (ja) |
EP (1) | EP3657401B1 (ja) |
JP (1) | JP6618661B2 (ja) |
CA (1) | CA3069645A1 (ja) |
WO (1) | WO2019030895A1 (ja) |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5150450A (en) | 1990-10-01 | 1992-09-22 | The United States Of America As Represented By The Secretary Of The Navy | Method and circuits for neuron perturbation in artificial neural network memory modification |
JPH1074188A (ja) * | 1996-05-23 | 1998-03-17 | Hitachi Ltd | データ学習装置およびプラント制御装置 |
US5832466A (en) | 1996-08-12 | 1998-11-03 | International Neural Machines Inc. | System and method for dynamic learning control in genetically enhanced back-propagation neural networks |
FR2756073B1 (fr) * | 1996-11-18 | 1999-01-15 | Commissariat Energie Atomique | Procede d'apprentissage generant des reseaux de neurones de petites tailles pour la classification de donnees |
JP5405741B2 (ja) * | 2004-07-26 | 2014-02-05 | オートモーティブ システムズ ラボラトリー インコーポレーテッド | 道路使用弱者保護システム |
JP2007122362A (ja) * | 2005-10-27 | 2007-05-17 | Toyota Motor Corp | ニューラルネットワークを用いた状態推定方法及びニューラルネットワークを用いた状態推定装置 |
US20080089591A1 (en) * | 2006-10-11 | 2008-04-17 | Hui Zhou | Method And Apparatus For Automatic Image Categorization |
JP2015087973A (ja) * | 2013-10-31 | 2015-05-07 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 生成装置、生成方法、およびプログラム |
JP6440303B2 (ja) | 2014-12-02 | 2018-12-19 | エヌ・ティ・ティ・コムウェア株式会社 | 対象認識装置、対象認識方法、およびプログラム |
JP2016146174A (ja) | 2015-02-06 | 2016-08-12 | パナソニックIpマネジメント株式会社 | 決定方法およびプログラム |
JP6732380B2 (ja) * | 2015-09-29 | 2020-07-29 | 太平洋セメント株式会社 | セメントの品質または製造条件の予測方法 |
JP6814981B2 (ja) * | 2016-07-21 | 2021-01-20 | パナソニックIpマネジメント株式会社 | 学習装置、識別装置、学習識別システム、及び、プログラム |
JP2018092489A (ja) * | 2016-12-06 | 2018-06-14 | オムロン株式会社 | 分類装置、分類方法およびプログラム |
-
2017
- 2017-08-10 US US16/624,838 patent/US11475299B2/en active Active
- 2017-08-10 JP JP2019535538A patent/JP6618661B2/ja active Active
- 2017-08-10 WO PCT/JP2017/029086 patent/WO2019030895A1/ja unknown
- 2017-08-10 EP EP17921332.7A patent/EP3657401B1/en active Active
- 2017-08-10 CA CA3069645A patent/CA3069645A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20200117994A1 (en) | 2020-04-16 |
CA3069645A1 (en) | 2019-02-14 |
EP3657401B1 (en) | 2023-09-13 |
WO2019030895A1 (ja) | 2019-02-14 |
EP3657401A4 (en) | 2020-09-02 |
US11475299B2 (en) | 2022-10-18 |
EP3657401A1 (en) | 2020-05-27 |
JPWO2019030895A1 (ja) | 2020-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10769261B2 (en) | User image verification | |
CN110599451A (zh) | 医学图像病灶检测定位方法、装置、设备及存储介质 | |
JP6320649B1 (ja) | 機械学習装置及び画像認識装置 | |
US9842279B2 (en) | Data processing method for learning discriminator, and data processing apparatus therefor | |
JP2017059207A (ja) | 画像認識方法 | |
KR102476022B1 (ko) | 얼굴검출 방법 및 그 장치 | |
JP7086878B2 (ja) | 学習装置、学習方法、プログラムおよび認識装置 | |
EP2293243A2 (en) | Image processing apparatus, image capture apparatus, image processing method, and program | |
EP3745309A1 (en) | Training a generative adversarial network | |
JP7055769B2 (ja) | データ生成装置、データ生成方法およびプログラム | |
CN112749726B (zh) | 目标检测模型的训练方法、装置、计算机设备和存储介质 | |
JP6361775B2 (ja) | 対象姿勢特定の方法および装置 | |
US11640530B2 (en) | Learning device, learning method, computer program product, and recognition device | |
JP2018106618A (ja) | 画像データ分類装置、オブジェクト検出装置及びこれらのプログラム | |
JP2021051589A5 (ja) | ||
JP6618661B2 (ja) | 識別分類装置および識別分類方法 | |
JP5310402B2 (ja) | 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム | |
CN116385369A (zh) | 深度图像质量评价方法、装置、电子设备及存储介质 | |
KR101991186B1 (ko) | 철근 검출 방법 및 그 장치 | |
JP2021135977A (ja) | 情報処理装置及び方法 | |
JP2018005405A (ja) | 情報処理装置および情報処理方法 | |
CN113160199B (zh) | 影像识别方法、装置、计算机设备和存储介质 | |
JP7348945B2 (ja) | 情報処理方法、および、情報処理システム | |
CN110852394B (zh) | 数据处理方法及装置、计算机系统以及可读存储介质 | |
US11881016B2 (en) | Method and system for processing an image and performing instance segmentation using affinity graphs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190911 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190911 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6618661 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |