JPH05282276A - ニューラルネットワーク出力状態の信頼性レベルの決定方法および決定システム - Google Patents

ニューラルネットワーク出力状態の信頼性レベルの決定方法および決定システム

Info

Publication number
JPH05282276A
JPH05282276A JP4352288A JP35228892A JPH05282276A JP H05282276 A JPH05282276 A JP H05282276A JP 4352288 A JP4352288 A JP 4352288A JP 35228892 A JP35228892 A JP 35228892A JP H05282276 A JPH05282276 A JP H05282276A
Authority
JP
Japan
Prior art keywords
neural network
value
network output
highest
output data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4352288A
Other languages
English (en)
Inventor
Oleg Feldgajer
フェルドゲイジャー オゥレッグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NCR International Inc
Original Assignee
NCR International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NCR International Inc filed Critical NCR International Inc
Publication of JPH05282276A publication Critical patent/JPH05282276A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/10Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

(57)【要約】 【目的】複数のニューラルネットワークの出力状態(デ
ータ値)に対する信頼性レベルを決定する方法およびシ
ステムを与える。 【構成】本システムはデータ値を格納するメモリ(格納
済みプログラムを含む)、および最高および準最高のデ
ータ値、ならびに準最高データ値に対する最高データ値
の比を決定するためのプロセッサとを含む。この比はデ
ータ値の分類(認識)の正確さに対する信頼性レベルの
程度を表す。本システムが使用する方法はこの比を計算
するステップと、ニューラルネットワーク出力データ値
にその比を適用して該データ値を誤読データとして拒絶
し、または正しいデータ値として受理するステップとを
含む。この方法は正しいデータ値を拒絶するエラーおよ
び正しくないデータ値を受理するエラーを低減する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は一般的に文字パターンの
分類(認識)におけるニューラルネットワークの使用に
関し、特にそのような分類の信頼性の決定に関する。
【0002】
【従来の技術】ニューラルネットワークはパターンの分
類にかなり使用されている。これについては例えばIE
EEコミュニケーションマガジン誌(Communication Ma
gazine)、1989年11月号に記載されたアール.ピ
ー.リップマン(R. P. Lippman)著の「ニューラルネ
ットワークを使用したパターン分類」と題する記事を参
照されたい。
【0003】ニューラルネットワークは入力されるいろ
いろの入力値(初期入力値および連続的入力値)に対し
「状態応答(state responses)」情報を処理ことがで
きる、高度に並列化されたダイナミックアレイである。
ニューラルネットワークの構造またはトポトジーは、一
般的に、インターコネクトと呼ばれるいろいろの情報チ
ャンネルを介して相互接続される複数の処理エレメント
(ニューロン)から成る。各処理エレメントは多重入力
信号を受信して一の出力信号を発生することができる。
ニューラルネットワークはこれら処理エレメント、その
ネットワークトポロジーおよび学習モデルを特定するこ
とにより完全に記述される。
【0004】パターン分類器(Pattern classifier)た
るネットワークの目標は、入力パターン(x1、x
2、...、xn)で表されるn個の要素を含む静的入力
ベクトルx)をM個(Mは有限数)のクラスのパターン
の一つ(例えば一組または一クラスのうちの一文字ある
いは多重の文字クラスの内の一クラス)に割り当てるこ
と、および入力パターンを最も良く表すクラスを同定す
ることである。(これは入力がノイズその他のプロセス
で崩壊しているときは困難なタスクである)。分類が完
了すると、一般に最も確からしいクラスに対応する出力
のみが強く示唆される。その他の出力はしばしば弱く示
唆される。
【0005】
【発明が解決しようとする課題】分類の過程でエラー
(誤読)が生じることがある。そのようなエラーを正す
ため、システムによっては当該ネットワークのいろいろ
のノードの出力ステータス(出力状態)の信頼性を評価
しそれを累積する。このような信頼性評価は予定しきい
レベルを基準として表される。そのようなシステムの一
例はジェイ.エヌ.デネンバーグに付与された1986
年7月8日付け米国特許第4,599,693号に記載さ
れている。
【0006】しかしながら用途によってはそのようなシ
ステムの誤読の信頼性評価は低すぎる(不正確であ
る)。よって有用かつ必要とされるのはニューラルネッ
トワーク出力ステータスの一層高い(すなわちもっと正
確な)信頼性評価(信頼性レベルを表す値)である。
【0007】そこで本発明はニューラルネットワーク出
力ステータス(データ値)に対する信頼性レベルを正確
に決定するシステムおよび方法を与える。
【0008】
【課題を解決するための手段】本システムは格納された
プログラムを具えたニューラルネットワーク出力データ
値格納用メモリと、該メモリに結合されたプロセッサに
して該格納されたデータに応答して該格納されたプログ
ラムの制御の下に最高ニューラルネットワーク出力デー
タ値と、準最高ニューラルネットワーク出力データ値
と、該準最高ニューラルネットワーク出力データ値に対
する該最高ニューラルネットワーク出力データ値の比を
表す数を決定するプロセッサとを含む。この比は当該ニ
ューラルネットワーク出力データ値に対する信頼性レベ
ルを表す。
【0009】本システムに採用される方法は、ニューラ
ルネットワーク出力値を格納するステップと、該ニュー
ラルネットワーク出力データ値のうちの最高値および準
最高値を決定するステップと、該ニューラルネットワー
ク出力データ値の分類の信頼性を表す比として該準最高
ニューラルネットワーク出力データ値に対する該最高ニ
ューラルネットワーク出力データ値の比を決定するステ
ップと、該データ値を拒絶しあるいは正確値として受理
するため該ニューラルネットワーク出力データ値に該比
を適用することにより正確なデータ値を拒絶するエラー
および不正確データ値を正確値として受理するエラーを
低減することができる該比適用ステップとを含む。
【0010】
【実施例】図1は本発明のシステム11を示す。このシ
ステムは(入力された)入力データを格納するためのラ
ンダムアクセスメモリ(RAM)13と、格納されたプ
ログラムを具えた読み取り専用メモリ(ROM)15
と、前記入力データを処理すると共に信頼性レベルデー
タを発生するため、該格納プログラムの制御の下に動作
するプロセッサ17を含む。
【0011】図2はニューラルネットワークコンフィギ
ュレーションの一例を示す。関連するニューラルネット
ワークの計算を下記の方程式(1)で示す。ニューラル
ネットの計算を行うに当たり、システム11(図1)は
重みデータ(Wij)(例えばホストコンピューターから
与えられる重みデータ)を受信すると、その後のアクセ
スに適した予定のシーケンス(下記表Iに示す)に従っ
てメモリ13内にこの重みデータの一覧表を発生する
(作る)。この表は重み値のアレイ(例えば512×5
12の配列をもつ、メモリ20のロケーション/アドレ
スからなるマトリックス)として表すことができる。
【表 I】 (Wi,j) W1,1 W1,2 W1,3 W1,4 W1,5 W1,6 W1,7 W1,8 W1,9 W1,10 W2,1 W2,2 ・ ・ ・ ・ ・ ・ ・ W2,10 ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ W5,1 W5,2 ・ ・ ・ ・ ・ ・ ・ W5,10
【0012】この表は格納されたデータシーケンスを表
し、n×mオペレーションを行うのに有用である。ここ
にnは入力数(列)(例えば100)を表し、mは出力
数(行)(例えば5)を表す。
【0013】重み値(Wij)がメモリ13内に格納され
た後、入力値すなわち静的入力ベクトル(Xi)がプロ
セッサ17内の局所に格納される。次いでプロセッサ1
7は下記方程式(1)に示される乗算-累積オペレーシ
ョンを行い、各ニューラルネットワーク出力データ値
(Yj)を発生する。 出力値はついでそれが確実に予定値範囲に入るように、
すなわち予定のしきい値条件を満たすように、調節する
ことができる。そのように調節されたときは調節値(Y
1)はYjの関数として次のように表わすことができる。 ニューラルネットワークがパターンの分類に使用される
ときは可能な出力値の範囲を 0.1 - 0.9 に限定ないし
拘束することが通例である。ノードの出力値は一文字あ
るいはクーリエタイプ(Courier type)とかヘルベチカ
タイプ(Helvetica type)等の一クラス(タイプ)の文
字群の認識/分類の程度を表すことができる。出力値
0.9は一クラスに対する入力パターンの一致が最高度
であることを表し、0.1は当該クラスへの入力パター
ンの一致が最悪であることを表す。一般的に、ただ一つ
の出力ユニット(ノード)が最高の出力値(0.9)また
はそれに近い値を発生する。一般に残りの出力ユニット
はすべて、最低出力値(0.1)またはそれに近い値を発
生する。
【0014】出力値の分布(これは選択したしきい値/
予定しきい値に相対的な点としてす)が図3に示されて
いる。ニューラルネットワークは新たに入力されたいろ
いろのデータパターンから学習し出力値の大きさはトレ
ーニングの回数と共に増大する。グラフの点の数は入力
されたパターン(値)の数に対応する。各点はニューラ
ルネットワークから出される最高出力値(すなわちネッ
トワークの最高の出力ノードからの出力)を表す。成功
した認識(分類)は点として表され、誤読は小さな四角
形で表されている。
【0015】出力値の発生に加えて、本発明のニューラ
ルネットワーク利用システムはいろいろの分類の正確さ
の信頼性を表す信頼性係数(レベル)を与える。分類に
対するこの信頼性レベルは準最高値出力値に対する最高
出力値の比として表される。例えばもしも最高出力値が
0.9 であり、準最高値が0.1 であると、得られる最高信
頼性レベルは9(すなわち0.9/0.1 すなわち100%)と
なろう。また、もしも最高出力値が 0.9 であり、準最
高出力値が 0.4 であれば、得られる最高信頼性レベル
は 2.25( 0.9/0.4 すなわち 44%)となろう
【0016】図4はノード出力値の別の分布を示す。こ
れを図3の分布と比較すると最高出力レベル(信頼性レ
ベル)が改善されていることが図4の分布からわかる。
この改善は、適用対象の(入力)データを処理するとき
に(パスからパスへ(例えばパス3からパス18へ)ニ
ューラルネットワークが進行するに伴い)ニューラルネ
ットワークが学習/トレーニングを積むためであるとい
える。これらの図(図3、図4)では最高出力ノードか
ら得られる出力値が、鉛直軸である最高出力軸に対して
プロットされ、準最高出力に対する最高出力の比が水平
軸(信頼性レベル軸)に対してプロットされている。
【0017】入力データの幾つかが誤読されている可能
性が実質的にあるときは(そのような状況は出力レベル
値および比値(信頼性レベル値)が例えば図5の出力値
3.8以下、比 2 以下の領域の出力値(点)に対応する
とき、その値の低さにより証明される)その誤読は拒絶
される。
【0018】低しきい値および低比値(図5の領域19
内の点等)は弱いもしくは低い信頼性レベルを示す(す
なわち入力データパターンを表す出力値の正確さが弱い
ことすなわち信頼性が低いことを示す)。強いすなわち
高い信頼性レベル(すなわち入力データパターンを表す
出力値の正確さに対する高い信頼性)は領域21で示さ
れる。
【0019】図6は前記の比(信頼性レベル)の適用方
法を示す。この信頼性レベルが低い場合すなわち弱い場
合(ブロック23で示す)は、正しく読み取られた(分
類された)ように見えてもすべての入力データが拒絶さ
れ、信頼性レベルが高い場合すなわち強い場合(ブロッ
ク25で示す)は、誤読に見える入力データでもすべて
正しいとされる(翻訳される)。
【0020】
【効果】以上に説明したように本発明のニューラルネッ
トワーク出力値の信頼性評価は最高のデータ値と準最高
データ値の比により入力データの読み取り精度が評価さ
れるので正しい値の拒絶、誤りの値の受容によるエラー
を低減することができる。
【0021】尚、本発明はいろいろの形態に実施可能で
あるが、図面および明細書の説明には好ましい実施例を
示したのであり、本開示は本発明を例示するものであっ
て特定の実施例に限定されるものではないことを了解さ
れたい。
【図面の簡単な説明】
【図1】本発明のシステムを示すブロック線図である。
【図2】図1のシステムによりパターン分類(認識)に
採用されるニューラルネットワークをグラフ表示したも
のである。
【図3】予定のしきい値および選択された比(選択され
た出力値の比)をパラメータとするニューラルネットワ
ーク出力値の分布を示す図である。ただしこれら出力値
は或選択された(第三の)入力データ処理オペレーショ
ン(パス)の過程で発生されるものである。
【図4】予定しきい値および選択された比をパラメータ
とするニューラルネットワーク出力値の分布を示す分布
図である。ただしこれら出力値は第八パスの過程で発生
されたものである。
【図5】ニューラルネットワーク出力値の分布および出
力値の正確さの信頼性が高い(強い)領域と信頼性の低
い(弱い)領域とを示す分布図である。
【図6】正確に読み取られたデータの確認および誤読デ
ータの拒絶を確認するため、強い(高い)信頼性レベル
および弱い(低い)信頼性レベルの適用の方法を示す流
れ図である。
【符号の説明】
11 システム 13 RAM 15 ROM 17 プロセッサ 19 低しきい値および低比値の領域 21 出力値の正確さが高い信頼性をもつ領域

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】複数のニューラルネットワーク出力データ
    値の信頼性レベルを決定するシステムであって、 格納されたプログラムを具えており、ニューラルネット
    ワーク出力値を格納するメモリ手段と、 該メモリ手段に結合された処理手段にして、該格納プロ
    グラムの制御の下に最高ニューラルネットワーク出力デ
    ータ値と、準最高ニューラルネットワーク出力データ値
    と、該ニューラルネットワーク出力データ値の分類の信
    頼性を表す比として該準最高ニューラルネットワーク出
    力データ値に対する該最高ニューラルネットワーク出力
    データ値の比とを決定すると共に、該データ値を拒絶
    し、もしくは正確値として受理することにより、正確な
    データ値を拒絶するエラーおよび不正確データ値を受理
    するエラーを低減する処理手段とを含むことを特徴とす
    るニューラルネットワーク出力状態信頼性レベル決定シ
    ステム。
  2. 【請求項2】複数のニューラルネットワーク出力データ
    値の信頼性レベルを決定する方法であって、 メモリにニューラルネットワーク出力値を格納するステ
    ップと、 該ニューラルネットワーク出力データ値のうちの最高値
    を決定するステップと、 該ニューラルネットワーク出力データ値のうちの準最高
    値を決定するステップと、 該ニューラルネットワーク出力データ値の分類の信頼性
    を表す比として該準最高ニューラルネットワーク出力デ
    ータ値に対する該最高ニューラルネットワーク出力デー
    タ値の比を決定するステップと、 該データ値を拒絶しもしくは正確値として受理するため
    該ニューラルネットワーク出力データ値に該比を適用す
    ることにより、正確なデータ値を拒絶するエラーおよび
    不正確データ値を正確値として受理するエラーを低減す
    ることができる該適用のステップとを含むことを特徴と
    するニューラルネットワーク出力状態の信頼性レベル決
    定方法。
JP4352288A 1991-12-12 1992-12-11 ニューラルネットワーク出力状態の信頼性レベルの決定方法および決定システム Pending JPH05282276A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US80574591A 1991-12-12 1991-12-12
US805745 1991-12-12

Publications (1)

Publication Number Publication Date
JPH05282276A true JPH05282276A (ja) 1993-10-29

Family

ID=25192403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4352288A Pending JPH05282276A (ja) 1991-12-12 1992-12-11 ニューラルネットワーク出力状態の信頼性レベルの決定方法および決定システム

Country Status (2)

Country Link
EP (1) EP0546835A3 (ja)
JP (1) JPH05282276A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6564195B1 (en) 1999-07-22 2003-05-13 Cerebrus Solutions Limited Data classifier output interpretation

Also Published As

Publication number Publication date
EP0546835A3 (en) 1994-07-13
EP0546835A2 (en) 1993-06-16

Similar Documents

Publication Publication Date Title
US10783433B1 (en) Method for training and self-organization of a neural network
Denker et al. Transforming neural-net output levels to probability distributions
US5805731A (en) Adaptive statistical classifier which provides reliable estimates or output classes having low probabilities
US5768422A (en) Method for training an adaptive statistical classifier to discriminate against inproper patterns
US5245696A (en) Evolution and learning in neural networks: the number and distribution of learning trials affect the rate of evolution
JP2009545045A (ja) パターン分類方法
JPH05189401A (ja) データ分類方法および装置
KR20040037180A (ko) 학습 모델 부분들을 사용하는 안면 인식 시스템 및 방법
CN110097123B (zh) 一种快件物流过程状态检测多分类系统
CN110991474A (zh) 一种机器学习建模平台
WO2020086176A1 (en) Artificial neural network and method of training an artificial neural network with epigenetic neurogenesis
JP2000512046A (ja) 統計に基づくパターン識別のための方法及び装置
JPH04305760A (ja) シフト/不変パターン認識を行う受容野ニューラルネットワーク
CN109034280B (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
CN114627338B (zh) 一种船舶类别分类模型训练方法、系统及计算机存储介质
JPH08227408A (ja) ニューラルネットワーク
Lam et al. Combination of multiple classifier decisions for optical character recognition
CN112364974A (zh) 一种基于激活函数改进的YOLOv3算法
US5559929A (en) Method of enhancing the selection of a training set for use in training of a neural network
CN111371611A (zh) 一种基于深度学习的加权网络社区发现方法及装置
CN109034279B (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
US6934405B1 (en) Address reading method
US5479569A (en) Intelligence information processing method
CN114238659A (zh) 智能设计网络安全架构图的方法
CN101266793B (zh) 通过对话回合间上下文关系来减少辨识错误的装置与方法