JP2691022B2 - ニューラルネットを用いた画像認識システム - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、画像認識装置に係わり、特にニユーラルネ
ツトワークを応用した画像認識装置に関する。

〔従来の技術〕

脳の神経回路網を模擬したニユーラルネツトワーク
は、ネツトワークに、入力データとその入力データに対
するネツトワークの出力期待値（以下、教師データと呼
ぶ）を教えるだけで、そのデータから所定のカテゴリー
に分類、識別する認識アルゴンリズムを構築できる能力
を備えている。そのため、画像認識や音声認識などのパ
ターン認識分野への応用が活発に進められている。特
に、画像認識においては、従来認識対象が変わるごとに
画像処理のエキスパートがヒユーリステイツクな手法で
認識アルゴリズムを開発しなければならないのが大きな
問題点であつたが、ニユーラルネツトワークを適用する
と認識対象をニユーラルネツトワークに教えるだけでよ
いため、認識アルゴリズム開発の簡単化及び期間短縮を
図ることができる。

しかし、従来のニユーラルネツトワークは、パーソナ
ルコンピユータやワークステーシヨンにニユーラルネツ
トワークの構造（層数、各層のニユーロン数、など）を
定義するニユーラルネツトワーク定義部とキーボードや
フアイルから読み込んだ学習データ（入力データと教師
データが対となつたデータ）を用いた学習あるいは学習
済みのニユーラルネツトワークを用いた想起を行う演算
部とで実現されていた。この種の装置としては、例え
ば、電子情報通信学会 技術研究報告 PRU88−85や日
経コンピユータ1988.3.14P.103などの記載のものが挙げ
られる。

〔発明が解決しようとする課題〕

上記従来技術は、ニユーラルネツトワークの構造を定
義する部分とニユーラルネツトワークで学習、想起を行
う演算部で構成されていたため、上記従来技術を画像認
識などの具体的なアプリケーションに適用する場合、ニ
ユーラルネツトワークの学習に際しては、学習データ
（入力データと教師データが対になつたデータ）の作成
やその学習データのニユーラルネツトワークへの入力方
法などが十分配慮されておらず、また実用システムとし
て運用する際には学習機能が冗長機能になるという問題
があつた。

本発明の目的は、このような問題点を取り除き、アプ
リケーション毎に異なる学習データを容易に作成、及び
ニューラルネットワークに入力でき、学習が実行でき、
かつ、実用システムへの移行も容易なニューラルネット
を用いた画像認識システムを提供することにある。

〔課題を解決するための手段〕

上記目的を達成するための本発明の特徴は、少なくと
もニューラルネットワークが学習するための学習データ
を作成する学習データ作成手段と、前記学習データによ
り学習を終了した前記ニューラルネットワークを用い
て、ある入力データから出力データを出力する早期手段
とを有して画像認識を行う画像認識装置と、少なくとも
前記学習データ作成手段により作成された学習データを
用いて、学習を実行する学習手段を有する演算装置と、
前記画像認識装置及び前記演算装置間での相互通信を可
能とする通信手段とからなることである。

〔作用〕

パターン認識装置上のニユーラルネツトワーク管理部
は、パターン認識装置で扱う認識対象（数字、英数字、
音声など）に応じたニユーラルネツトワーク構造情報を
作成する。次に、学習データ作成部は、認識対象から学
習に必要なデータを抽出して、そのデータと認識対象の
カテゴリーを示す教師データとを対にして学習データを
作成する。その後、ニユーラルネツトワーク管理部は、
作成したニユーラルネツトワーク構造情報と学習データ
作成部で作成した学習データを通信部及び通信ケーブル
を介して計算機に転送する。

一方、計算機側では、ニユーラルネツトワーク管理部
は、送られてきたニユーラルネツトワーク構造情報と学
習データを学習部に渡す。学習部は、これらのデータを
基に学習を行つて、ニユーロン間の結合の重みを計算し
て、認識対象に適したニユーラルネツトワークを構築す
る。このとき、ニユーラルネツトワーク管理部は、ニユ
ーラルネツトワークの学習状況を、例えば、重みの変化
や学習回数の変化などを表示することができる。

学習が終了した場合、ニユーラルネツトワーク管理部
は、学習部で決定したニユーロン間の重みを通信部及び
通信ケーブルを介してパターン認識装置に転送する。

最後に、パターン認識装置に実現した想起部は、最初
にニユーラルネツトワーク管理部で作成したニユーラル
ネツトワーク構造情報と計算機から転送されてきた重み
を用いて認識対象をカテゴリーに判別、分類する。

このように各部が動作するようにしたので、ニユーラ
ルネツトワークで学習する場合はパターン認識装置と計
算機とを通信で接続することにより学習の高速化が図
れ、また、学習が終了した場合は計算機を切り離してパ
ターン認識装置単独で処理する低価格な実用システムが
実現できる。

〔実施例〕

以下、本発明の一実施例を第１図により説明する。

第１図で、20はパターン認識装置、30は計算機システ
ム、１−１及び１−２はニユーラルネツトワーク管理
部、２は学習部、３は想起部、４−１及び４−２は通信
部、40は通信ケーブル、５は学習データ作成部、10はユ
ーザアプリケーシヨン、６はハードデイスク、フロツピ
ーデイスクなどの記録媒体を示している。また、第１図
で、実現した矢印61,62,63,64,65は学習データやニユー
ラルネツトワークの構造情報などのデータの流れを表し
ている。

第１図は、ニユーラルネツトワークを応用する場合に
必須の基本機能の中で、学習データ作成部５及び想起部
３をパターン認識装置20に、そして学習部を計算機シス
テム30にそれぞれ機能分散し、パターン認識装置20と計
算機システム30を通信ケーブル40で接続した構成を示し
ている。

このような構成によれば、パターン認識装置20と計算
機システム30との間の通信ケーブル40の接続または切り
離しを行うことで、下記に述べる（１）学習フエーズ、
（２）運用フエーズが容易に実現できる。

（１）学習フエーズ…これは、パターン認識装置20のア
プリケーシヨンに適したニユーラルネツトワークを学習
によつて構築するフエーズで、この場合はパターン認識
装置20と計算機システム30を通信ケーブル40で接続す
る。そして、ユーザーアプリケーシヨン10が作成した入
力データを基にパターン認識装置20内の学習データ作成
部５で学習データを作成し、作成した学習データを通信
部４−１から通信ケーブル40を介して計算機システム30
内の通信部４−２に転送する。通信部４−２は、送られ
てきた学習データをニユーラルネツトワーク管理部１−
２に送る。ニユーラルネツトワーク管理部１−２では、
学習データの管理を行うとともに学習データを学習部２
に供給する。学習部２で学習を行つた後決定した荷重係
数は、ニユーラルネツトワーク管理部１−２が通信部４
−２に転送する要求を発光することで通信ケーブル40を
介してパターン認識装置20に転送する。

（２）運用フエーズ…これは、通信ケーブル40を切り離
して、パターン認識装置20単体で（１）の学習フエーズ
で送られてきた荷重係数を用いてニユーラルネツトワー
クで想起、認識を行うフエーズである。

第１図の構成によれば、学習の高速化と実用システム
の低価格化を両立することができる。更に、第１図は、
パターン認識装置20と計算機システム30の１対１の接続
であるが、例えば、第２図に示すように１台の計算機シ
ステム30とｎ台のパターン認識装置20−１〜20−ｎを通
信ネツトワーク50で接続した大規模な機能分散システム
も構築することができる。

また、機能分散の方法も第１図の構成だけでなく、例
えば第３図（ａ）〜（ｃ）の形態が考えられる。第３図
（ａ）は、第１図の構成において計算機システム30に更
に想起部３−１を追加したもので、計算機システム30で
も学習済みのニユーラルネツトワークを用いて想起が実
行できるようにしたものである。次に、第３図（ｂ）
は、第１図のパターン認識装置20内にある想起部３を計
算機システム30側で実現した構成で、本構成では想起も
計算機システム30で実行してその結果のみをパターン認
識装置20に転送するものである。この構成では、計算機
システム30とパターン認識装置20を切り離すことはでき
ないが、学習及び想起の両処理の高速化が可能である。

最後に、第３図（ｃ）は第１図の各部を１つのシステ
ム10にまとめたものである。

第１図，第２図及び第３図（ａ），（ｂ）のシステム
形態を実現するため、例えば第４図に示すデータフオー
マツトに従つてパターン認識装置20と計算機システム30
はデータ交換を行う。第３図（ｃ）についても、同様の
データフオーマツトで管理できる。

第４図で、制御情報としては例えば第５図に示すよう
にデータの種別、転送要求、受信要求及びパターン認識
装置に割付けられたアドレスなどが考えられる。また、
データ領域に格納されるデータとしては、例えば第６図
（ａ）〜（ｄ）に示すような４種類のデータ構成が考え
られる。

第６図（ａ）は、データ領域に学習データを格納した
もので、第１図〜第３図のシステムに共通に用いられ
る。第６図（ｂ）は、学習データにネツトワークの構造
情報を付加したもので、例えば第２図のように複数のア
プリケーシヨンを行うパターン認識装置20−１〜20−ｎ
が共通の計算機システム30を使う場合に用いられ、この
とき計算機システム30はネツトワーク構造情報に基づい
てニユーラルネツトワークを構成し、一緒に送られてき
た学習データで学習する。

次に、第６図（ｃ）は、（ａ），（ｂ）の計算機シス
テム30が学習データで学習した後のニユーラルネツトワ
ークの荷重係数をパターン認識装置に転送する場合に用
いる。（ｂ）の場合の転送先のパターン認識装置は、制
御情報に書かれたアドレスに一致するパターン認識装置
となる。

第６図（ｄ）は、想起に必要な入力データを想起部に
転送する場合に用いる。

最後に、第６図（ｅ）は、第３図（ｂ）の構成の場合
のように第６図（ｄ）で送られてきた入力データに基づ
いて想起した結果をパターン認識装置20に転送する場合
に用いる。

次に、第６図（ａ）〜（ｅ）に示すデータで特に重要
なニユーラルネツトワークの構造情報や学習データをど
のように作成していくかについて、第１図のシステム構
成を例に以下説明する。

第１図で、パターン認識装置20及び計算機30の各シス
テムを管理するのが、ニユーラルネツトワーク管理部１
−1,1−２で、学習部２、想起部３、通信部４−1,4−２
及び学習データ作成部５を制御するとともに、ニユーラ
ルネツトワークの構造の編集や学習の進行状況などのモ
ニタリングなどマンマシンインターフエースの機能も対
話型に実行する。上述した機能を全てニユーラルネツト
ワーク管理部１−１及び１−２に実現する必要はなく、
例えばパターン認識装置20のニユーラルネツトワーク管
理部１−１には学習の進行状況のモニタリングは不要で
ある。しかし、機能をモジユール化しておくことで必要
な機能を取捨選択してニユーラルネツトワーク管理部１
−1,1−２を構成することができるため、以下では全て
の機能がニユーラルネツトワーク管理部１−1,1−２に
実現されている場合を基に説明する。また、以下ではパ
ターン認識装置20は画像認識装置を想定して説明する。

まず、ニユーラルネツトワーク管理部１−1,1−２の
動作の一例を第７図に示す。第７図で、 で示したS1,S3,S4,S6〜S11は、サブルーチン化された機
能モジユールである。以下、第７図の流れを参照して第
１図の各部の動作を説明する。

まず、第１図のシステムの起動指令（例えば、電源の
投入など）が発生すると、ニユーラルネツトワーク管理
部１−1,1−２は第７図の初期設定S1の処理を実行す
る。初期設定S1では、ワークエリアの確保、定数設定な
どの処理を行う。起動指令を受けたときは、終了ではな
いので次に初期画面表示設定処理S3を実行してオペレー
タからのコマンド入力待ち処理S4を行う。初期画面表示
設定処理S3で表示する初期画面の一例として第８図のよ
うな画面が考えられる。画面の上部に矩形のコマンド入
力覧を設け、これを複数に分割して編集、学習、想起あ
るいは終了など次に実行可能な機能を表示する。オペレ
ータは、これらの機能の１つを例えばマウスなどで選択
する。コマンド入力待ち処理S4で、オペレータが終了を
選択したことを検知すると、第１図のニユーラルネツト
ワーク管理部１−1,1−２は、第７図のS5の処理に示す
ように選択された機能に従つて各々の機能モジユールを
実行する。以下、「編集」，「学習」，「想起」の順に
第１図のシステムの動作を説明する。

まず、「編集」が選択されると、ニユーラルネツトワ
ーク管理部１−1,1−２は、編集モード画面表示処理S6
を表示し、例えば第９図に示すような編集モード画面を
表示する。第９図では、編集機能が選択されたことを表
わすためコマンド入力覧の斜線で示した編集の領域の色
を変えるあるいは白黒反転して表示している。そして、
編集モードで行える機能1.ネツトワーク編集,2.学習デ
ータ作成も同時に表示してある。ここに示した機能は、
ニユーラルネツトワークの構造や学習データの作成など
アプリケーシヨン毎に適したニユーラルネツトワーク構
造を構築していく上で必要な機能を上位概念でまとめて
列挙したものであり、何らこれにこだわるものではな
い。例えば、1.ネツトワーク編集,2.学習データ作成を
構成する下位の機能をそのまま表示してもよい。

この「編集」で定義されたニユーラルネツトワークの
構造（層数、層毎のニユーロン数など）や学習データな
どは、第１図のニユーラルネツトワーク管理部１−1,1
−２の管理下に置れ、学習部2,想起部3,通信部４−1,4
−２に供給される。

このニユーラルネツトワークの構造を定義する情報及
び学習データのフオーマツトとしては、例えば第10図及
び第11図に示すものが考えられる。第10図は、ニユーラ
ルネツトワークの構造情報を示したもので、C1は第10図
の構造を持つニユーラルネツトワークの名称を定義する
もので、第８図のコマンド入力覧の「編集」，「学
習」，「想起」は全てこのニユーラルネツトワーク名称
に基づいて行われる。C2は、構築するニユーラルネツト
ワークの型を定義する領域で、ランメルハート型、ポツ
プフイールド型などを指定する。C3は、誤差逆伝播（バ
ツクプロパゲージヨン）による学習演算の繰り返し回数
の上限値を設定する領域である。C4及びC5は、バツクプ
ロパゲーシヨンに使われる学習定数、安定化定数を設定
する領域で、学習定数、安定化定数は文献（合原一幸
著：ニユーラルコンピユータ東京電機大学出版局）p.11
3に記載のニユーロン間の荷重係数の修正量Δω_ij ^VN-1
を表わす式、 で、η（学習定数）及びα（安定化定数）に相当する。
式（１）〜式（４）で、Δω_ij ^NN-1は第（Ｎ−１）層の
第ｊニユーロンと第Ｎ層の第ｉニユーロンとの結合の荷
重係数の修正量を、δ_i ^Nは第Ｎ層第ｉニユーロンの学習
信号を、x_j ^N-1は第（Ｎ−１）層の第ｊニユーロンの出
力データを、δ_i ^Oは出力層の学習信号を、t_iは出力層の
第ｉニユーロンに対する教師データを、O_iは出力層第ｉ
ニユーロンの出力データを、f_iはニユーロンの出力値関
数（（５）式ではシグモイド関数）を示したｆ′_ｉはそ
の微分値を、θ_i ^Nは第Ｎ層第ｉニユーロンのしきい値
を、それぞれ表わす。

また、第10図のC6は、ニユーロン間の荷重係数の初期
値の設定方法を指定する領域で、C7に設定した荷重係数
を全ての荷重係数の初期値とするかあるいはこれらを乱
数で発生させるかなどを指定する。C8は、式（３）中の
しきい値（θ_i ^N）を指定する領域で、ここでは全てのニ
ユーロンのしきい値を同一として扱つているが、各ニユ
ーロン毎のしきい値を設定できるようにしてもよい。C9
は、ニユーラルネツトワークの学習の収束を判定する条
件値を設定する領域で、例えばニユーラルネツトワーク
の出力データと教師データとの２乗誤差あるいはエネル
ギーが指定された条件値より小さくなつたとき収束した
と判断するというように用いる、C10〜C19は、ニユーラ
ルネツトワークの構造を指定する領域で、ニユーラルネ
ツトワークの層数及び各層毎のニユーロン数を指定す
る。そして、C2のネツトワークの型で、ラメルハート型
が指定された場合は、第１層が入力層、第２層以降が中
間層となり層数C10で指定した層数、例えば３層なら第
３層が、５層なら第５層が出力層となり、第１層と第２
層，第２層と第３層のように、第Ｎ層と第（Ｎ＋１）層
のニユーロン間にのみ結合が付与される。一方、ネツト
ワークの型で、ホツプフイールド型が指定された場合
は、層毎のニユーロン間だけでなく層内のニユーロン間
にも結合が付与される。

次に、第11図は学習データのフオーマツトと複数の学
習データを管理するためのテーブル構造を示している。
第11図で、T₁は学習を行うニユーラルネツトワークの名
称を指定する領域である。従つて、そのニユーラルネツ
トワークの構造を同一のニユーラルネツトワーク名称で
第10図のフオーマツトで定義しておく必要がある。T
₂は、第11図のテーブルに接続されている学習データの
個数が設定される領域で、学習データの接続や個数の更
新はシステムが行う。T₃及びT₄は、ラメルハート型のニ
ユーラルネツトワークの入力層及び出力層のニユーロン
の個数を設定する領域で、これらの値は第10図のニユー
ラルネツトワーク構造情報からシステムがコピーする。
T₃及びT₄の値を用いて、学習データｉの格納場所を求め
ることができる。

第10図のニユーラルネツトワーク構造情報及び第11図
の学習データの作成方法を、以下に示す。

まず、第10図のニユーラルネツトワーク構造情報の作
成方法を説明する。この情報は、第９図の「1.ネツトワ
ーク編集」機能を実行することにより作成される。「1.
ネツトワーク編集」機能の選択は、マウスあるいはキー
ボードより行う。本機能が選択されると、例えば第12図
に示す画面を表示する。第12図ではコマンド入力欄の空
白部に「1.ネツトワーク編集」を表示し、階層構造化さ
れたシステムの中でのオペレータの置かれた環境把握の
一助としている。このとき、ネツトワーク名称、入力モ
ード及びプリントアウトの問い合わせを行う。ここでネ
ツトワーク名称欄には編集の対象とするネツトワーク名
を入力する。入力モードで、「キーボード」が選択され
ると新規ネツトワークの作成と見なされ、「フアイル」
が選択されるとフアイルの記録媒体６（ハードデイス
ク、フロツピーデイスク）に記録されているネツトワー
ク構造情報の中から「ネツトワーク名称」の欄に指定さ
れた名称に一致するネツトワーク情報を捜す。また、
「入力モード」で外部装置が選択されると、第１図に示
すシステムと同様な機能を持つた他システムからネツト
ワーク構造情報を入力する。

編集が終了したネツトワーク構造情報のプリント出力
の選択もできる。ネツトワーク表示を「する」を選択す
ると作成したネツトワーク構造情報にもとづいてネツト
ワークを表示できる。

このように、「ネツトワーク名称」，「入力モー
ド」，「プリント出力」、及び「ネツトワーク表示」の
設定が終了したあと、コマンド欄の「実行」を選択する
と、第12図の枠内に第10図に示すネツトワーク構造情報
の各項目を表示し、既に各項目にデータが設定されてい
る場合はその内容も表示する。その後、各項目を修正す
ることができる。ここで、「ネツトワーク表示」で「す
る」を選択してある場合、入力されたネツトワーク構造
情報に基づいて第13図（ａ）に示すようにネツトワーク
を表示することができる。更に、拡大コマンドを選択す
ると例えばマウスで指定された部分の拡大表示（第13図
（ｂ））することができ、このとき、ニユーロン間の荷
重係数やニユーロンのしきい値などを修正することがで
きる。第13図（ｂ）では、ニユーロンが属する層番号
（i,i＋１）と層内の番号（k,j）を表示するようにして
いる。

編集が終了した場合は、「終了」を選択することで第
９図の編集モード初期画面に戻る。このとき、「プリン
ト出力」で「する」を選択してある場合は、編集対象に
したネツトワーク構造情報をプリント出力する。

次に、学習データの作成方法について説明する。学習
データの作成は、第９図の編集モード初期画面で「学習
データ作成」を選択することにより行われる。但し、第
１図では学習データ作成機能が動作するのは画像認識装
置20側だけである。学習データの作成」機能の選択は、
マウスあるいはキーボードより行う。本機能が選択され
ると、例えば第14図に示す画面を表示する。第14図の画
面においても第12図と同様にコマンド入力欄の空白部に
「2.学習データ作成」を表示し、階層構造化されたシス
テムの中でのオペレータの置かれた環境把握の一助とし
ている。

また、このとき「ニユーラルネツトワーク名称」、
「入力モード」及び「プリント出力」のメニユーを表示
して、オペレータの入力を促す。ここで、「ニユーラル
ネツトワーク名称」に入力する名称は、学習の対象とな
るニユーラルネツトワークの名称で既にネツトワークの
構造情報が定義されている必要がある。次に、「入力モ
ード」ではキーボードから入力して学習データを作成す
るかあるいはユーザアプリケーシヨンで作成した学習デ
ータを入力するかを選択する。このユーザアプリケーシ
ヨン（ここでは画像処理）による学習データ作成の一例
を第15図に示す。

第15図（ａ）はユーザーアプリケーシヨン10の構成と
ニユーラルネツトワーク管理部１−１との接続方法の一
例を示した図である。ユーザーアプリケーシヨン10は入
力データ作成部101と認識105から成り、これらはニユー
ラルネツトワーク管理部１−１と共通テーブル（入力デ
ータテーブル200と想起結果テーブル201）を介して接続
するようにしている。

入力データテーブル200や想起結果テーブル201は、学
習データ作成部５や想起部３からアクセスできる。第15
図（ｂ）は、自動車のナンバーから入力データを作成す
る例で、まず、前処理102でナンバープレートを抽出し
て各ナンバーを切り出す、次に切り出されたナンバーか
ら特徴抽出103で特徴量を抽出する。本入力データ作成
部101の特長は、前処理102で切り出したナンバーの画像
データ（２値画像、濃淡画像）やナンバーから抽出した
特徴量だけでなくこれらを混合したデータを入力データ
にできることである。作成した入力データは、ニユーラ
ルネツトワーク管理部１−１内の入力データテーブル20
0に格納されて学習データ作成部５に渡される。学習デ
ータ作成部５で、この入力データに教師データ（オペレ
ータから与えられる）を追加して学習データとして第11
図のように登録する。

また、作成した学習データを第11図に示すフオーマツ
トでプリント出力することもできる。

このように「ニユーラルネツトワーク名称」、「入力
モード」及び「プリント出力」の各項目について説明し
た後、コマンド入力欄の「実行」を選択すると第14図の
画面の中央部の枠内に示すように第11図の学習データテ
ーブルの内容が表示される。枠内の左側にはネツトワー
ク名称、現在の学習データの個数、入力層ニユーロン数
及び出力層ニユーロン数が表示され、右側には既に作成
された学習データの内容とその番号及び新規作成する学
習データを入力するための入力エリアを表示する。これ
らの学習データは、上下方向に任意にスクロールでき、
任意の学習データ番号の学習データの内容を確認するこ
とができる。

ところで、画像認識は通常、次の２つの方式が用いら
れる。すなわち、 （１）認識対象の２次元配列された画像データを標準パ
ターンとして用意し、この標準パターンと入力画像とを
比較し、最も類似度の高い標準パターンを認識結果とす
るパターンマツチング方式 （２）認識対象の画像から、認識対象の特徴量（例え
ば、濃度頻度分布、面積、周囲長、傾き、など）を抽出
し、これらの特徴量から判別木を用いた認識あるいは特
徴軸空間にマツピングして標準パターンとの距離を計算
して最小距離の標準パターンを認識結果とする特徴量方
式 である。一方、ニユーラルネツトワークは、入力層の入
力ニユーロンに２次元配列の画像データを入力すること
によりパターンマツチング方式として動作し、また、特
徴量を入力することにより特徴量方式として動作する。
すなわち、ニユーラルネツトワークは、パターンマツチ
ング方式と特徴量方式の両者の認識方式を合わせ持つと
いう性質を有する。したがつて、この性質を利用して、
ニユーラルネツトワークに２次元配列の画像データと特
徴量を混合したデータを入力することにより、特徴量で
大局的に判断し画像データで局所的に判断して認識する
ことができる。そのため、第１図の学習データ作成部５
に第15図に示すような学習データ作成機構を設ける。第
15図で、100は認識対象（この例では数字）を含んだ入
力画像、101は学習データ作成部である。学習データ作
成部101は、画像の前処理102、特徴抽出103及び混合104
の各機能から成る。

例えば、第15図の入力画像100に対しては次のように
処理されて学習データが作成される。まず、前処理102
を行つて入力画像100から数字のみの画像を作成し、次
に、その画像から特徴抽出103により各数字毎の特徴量
を抽出する。その後、オペレータが指定した制御指令に
基づいて、前処理102で得られた画像データのみ、特徴
抽出103で得られた特徴量のみ、あるいは両者を混合し
たデータを混合部104で選択して出力し、このデータと
オペレータより与えられる教師データを対にして学習デ
ータを作成する。

学習データの作成が終了した後、第14図のコマンド入
力欄の「転送」を選択すると作成した学習データとネツ
トワーク名称、入力層ニユーロン数、出力層ニユーロン
数などの情報を合わせて計算機システム30に転送する。

次に、第８図の初期画面で「学習」を選択すると例え
ば第16図に示すような画面が表示される。ここで、学習
対象のニユーラルネツトワークの名称と学習データの番
号を入力して、コマンド入力欄の「実行」あるいは「再
実行」を選択することで学習が実行される。学習データ
の番号は、複数個指定することができる。「実行」ある
いは「再実行」のコマンドの違いは、学習対象ニユーラ
ルネツトワークのニユーロン間の荷重係数の初期値とし
て次のどれを選ぶかを切り換えることである。

（１） 「実行」…ニユーラルネツトワーク編集で指定
した初期荷重係数設定方法に従つて設定された初期値を
用いる。

（２） 「再実行」…「実行」あるいは「再実行」で学
習して修正された荷重係数を初期値として用いる。

「実行」コマンドを設けたことにより、同一初期荷重
係数を用いて、学習定数、安定化定数などの条件を変え
た場合のニユーラルネツトワークを比較評価することが
できる。

また、学習終了後のニユーラルネツトワークの表示、
学習後の荷重係数のプリント出力及び荷重係数の変化状
態のグラフ表示を制御できる。ニユーラルネツトワーク
を表示した場合は、第13図のように表示され、このとき
ニユーロンの興奮の度合や荷重係数の値に応じて色や濃
淡で表示し、また、興奮度合い及び荷重係数の値の大き
いニユーロンやニユーロン間の接続線をブリンク表示す
る。

コマンド入力欄の「格納」を選択すると学習が終了し
たニユーラルネツトワークの荷重係数をフアイルに退避
すると同時に画像認識装置20に転送する。「終了」を選
択すると「学習」モードを終了して、第８図の初期画面
に戻る。

最後に、第８図の初期画面でコマンド入力欄の「想
起」を選択すると、例えば第17図に示すような画面が表
示される。但し、「想起」を実行するときは、画像認識
装置20にニユーラルネツトワークの荷重係数が転送され
ている必要がある。

想起を行うのに用いるニユーラルネツトワーク名称を
指定し、次に「モード」としてニユーラルネツトワーク
の入力データとしてユーザアプリケーシヨンで作成する
かあるいは既に作成した学習データの中の入力データを
用いるかを選択する。その後、コマンド入力欄の「実
行」を選択するとモードで指定された入力データを用い
て想起の処理が実行され、想起結果が「結果ウインド
ウ」欄に表示される。このとき、「結果のプリント出
力」で「する」が選択されている場合は、想起結果を画
面表示だけでなくプリント出力する。また、「ネツトワ
ーク表示」で「する」が選択されている場合は、第13図
に示すようにニユーラルネツトワークが表示され、学習
時と同様にニユーロンの興奮の度合いに応じて色あるい
は濃淡で表示するとともにブリンク表示する。

本実施例によれば、マンマシン性よくニユーラルネツ
トワークの構築、評価ができる学習環境と、想起結果を
ビジユアルに確認できる実用システムを簡単に構成する
ことができる。

次に、本実施例の−応用として、自動車のナンバー認
識システムの構成を第18図に示す。第18図で、20は画像
認識装置、30はワークステーシヨン、７はTVカメラ、10
は自動車のナンバー認識を行うユーザアプリケーシヨン
である。ユーザアプリケーシヨン10は、前処理102、特
徴抽出103と認識105の３つの手段で構成される。第18図
のシステムの処理は、２つのフエーズに従つて実行され
る。まず、ニユーラルネツトワークで学習する学習フエ
ーズでは、第18図の実線矢印 に従つて処理され、次に、自動車のナンバ認識をオンラ
インで処理する運用フエーズでは、第18図の破線の矢印 に従つて処理される。

学習フエーズでは、TVカメラ７で撮影した画像をユー
ザアプリケーシヨン10で前処理102と特徴抽出103を行つ
て、ナンバープレートからナンバーの切り出し及びその
ナンバーの特徴量を抽出する。そして、その特徴量を学
習データとしてワークステーシヨン30に通信ケーブル40
を介して転送する。ワークステーシヨン30は、転送され
てきた学習データを用いて学習２を実行する。学習が終
了した後、荷重係数を画像認識装置20に転送する。

次に、運用フエーズでは、ワークステーシヨン30を切
り離し、画像認識装置20単独で次のように動作する。TV
カメラ７で撮影した画像をユーザーアプリケーシヨン10
で処理して、ナンバーの特徴量を抽出し、第15図（ａ）
の入力データテーブル200に格納して想起部３に渡す。
想起部３では先に転送されてきた荷重係数を基に想起を
行い、各出力ニユーロンの出力値を想起結果テーブルに
格納する。

そして、認識105でその想起結果テーブル201を参照し
ても最も大きい値を出力したニユーロンから各カテゴリ
ー（本例では‘0'〜‘9'）に分類する。この様子を第19
図に示す。第19図では入力層、中間層及び出力層の３層
から成るニユーラルネツトワークで学習した後、そのニ
ユーラルネツトワークを用いてナンバープレート内のナ
ンバー‘7'の画像から抽出した特徴量で想起３を行つた
ところであり、出力層の‘7'のニユーロンが最大の出力
値を出して興奮している。

第18図のシステムによれば、認識対象すなわち自動車
のナンバーから抽出した特徴量を学習データとしている
ため、ナンバーの２次元配列された画像データ（２値画
像データ、濃淡画像データ）を学習データとして用いる
場合に比べてニユーラルネツトワークを構成するニユー
ロン数を少なくできるため、学習の時間や想起の時間を
高速化できる効果がある。

しかし、２次元配列された画像データを学習データと
して用いると、学習、想起の時間は長くなるが、上記で
述べた特徴量に何を用いるかを考えなくてもよいという
効果があるため、第18図のシステムで学習データ作成部
５の前処理103で切り出したナンバーの画像データ（２
値画像データ、濃淡画像データ）を学習データとする構
成も考えられる。

〔発明の効果〕

本発明によれば、アプリケーション毎に異なる学習デ
ータを容易に作成、及びニユーラルネツトワークに入力
でき、学習が実行でき、かつ、実用システムへの移行も
容易なニューラルネットを用いた画像認識システムを提
供することができる。

【図面の簡単な説明】

第１図は本発明の一実施例を表わすシステム構成図、第
２図は本発明を大規化したシステム構成図、第３図は本
発明の他の実施例を表わすシステム構成図、第４図は本
発明で用いるデータフオーマツトを表わす図、第５図は
第４図の制御情報の内容の一例を示す図、第６図は第５
図の具体例を示す図、第７図は本発明の動作フローチヤ
ートを表わす図、第８図は本発明を起動したときの初期
画面を表わす図、第９図は第８図の編集モードの初期画
面を表わす図、第10図は本発明で用いるニユーラルネツ
トワークの構成情報を示す図、第11図は本発明で用いる
学習データのフオーマツトを表わす図、第12図はニユー
ラルネツトワーク編集モードの画面を表わす図、第13図
はニユーラルネツトワークの表示例を示す図、第14図は
学習データ作成モードの画面を示す図、第15図はユーザ
アプリケーシヨンの例を示す図、第16図は学習モードの
画面を示す図、第17図は想起モードの画面を示す図、第
18図は本発明を自動車のナンバー認識に応用したときの
システム構成を表わす図、第19図は第18図のシステムで
ナンバー‘7'を想起している様子を示す図である。 １−1,1−２……ニユーラルネツトワーク管理部、２…
…学習部、３……想起部、４−1,4−２……通信部、５
……学習データ作成部、20……パターン認識装置、30…
…計算機システム、40……通信ケーブル。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高藤 政雄 茨城県日立市久慈町4026番地 株式会社 日立製作所日立研究所内 (72)発明者 浅田 和佳 茨城県日立市大みか町５丁目２番１号 株式会社日立製作所大みか工場内 (72)発明者 田中 紀夫 茨城県日立市大みか町５丁目２番１号 株式会社日立製作所大みか工場内 (72)発明者 北村 忠明 茨城県日立市久慈町4026番地 株式会社 日立製作所日立研究所内 (72)発明者 菊地 邦行 茨城県日立市大みか町５丁目２番１号 株式会社日立製作所大みか工場内 (56)参考文献 特開 平１−116869（ＪＰ，Ａ) 特開 昭62−73391（ＪＰ，Ａ)

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】少なくともニューラルネットワークが学習
   するための学習データを作成する学習データ作成手段
   と、前記学習データにより学習を終了した前記ニューラ
   ルネットワークを用いて、ある入力データから出力デー
   タを出力する想起手段とを有して画像認識を行う画像認
   識装置と、 少なくとも前記学習データ作成手段により作成された学
   習データを用いて、学習を実行する学習手段を有する演
   算装置と、 前記画像認識装置及び前記演算装置間での相互通信を可
   能とする通信手段と、 少なくとも前記学習または想起に用いたニューラルネッ
   トワークの構成を表示する表示手段とを有し、 前記表示手段によって表示されたニューラルネットワー
   クの構成の所定の部分を拡大表示する拡大表示手段と、
   少なくとも前記拡大表示されたニューラルネットワーク
   に対してニューロンのしきい値の修正、ニューロン間の
   荷重係数の修正及びニューロン間の接続の切断のうち一
   を実行するニューラルネットワーク修正手段を有するこ
   とを特徴とするニューラルネットを用いた画像認識シス
   テム。
2. 【請求項２】少なくともニューラルネットワークが学習
   するための学習データを作成する学習データ作成手段
   と、前記学習データにより学習を終了した前記ニューラ
   ルネットワークを用いて、ある入力データから出力デー
   タを出力する想起手段とを有して画像認識を行う画像認
   識装置と、 少なくとも前記学習データ作成手段により作成された学
   習データを用いて、学習を実行する学習手段を有する演
   算装置と、 前記画像認識装置及び前記演算装置間での相互通信を可
   能とする通信手段と、 少なくとも前記学習または想起に用いたニューラルネッ
   トワークの構成を表示する表示手段とを有し、 少なくともニューロンの興奮の度合いに応じて色または
   明るさを変化させて表示する手段及び前記興奮の度合い
   の大きいニューロンをブリンク表示する表示手段のうち
   一方を有することを特徴とするニューラルネットを用い
   た画像認識システム。
3. 【請求項３】少なくともニューラルネットワークが学習
   するための学習データを作成する学習データ作成手段
   と、前記学習データにより学習を終了した前記ニューラ
   ルネットワークを用いて、ある入力データから出力デー
   タを出力する想起手段とを有して画像認識を行う画像認
   識装置と、 少なくとも前記学習データ作成手段により作成された学
   習データを用いて、学習を実行する学習手段を有する演
   算装置と、 前記画像認識装置及び前記演算装置間での相互通信を可
   能とする通信手段とを有する画像認識システムであっ
   て、 前記画像認識装置は、入力データを作成する入力データ
   作成手段及び前記想起手段による想起結果を用いて認識
   を行う認識手段とから成るユーザアプリケーションと、
   前記ユーザアプリケーションと前記学習データ作成手段
   及び前記想起手段との接続を可能とするインターフェー
   ス手段とを有し、 ナンバープレートを含む自動車を撮影しその画像を入力
   する撮影手段と、前記ユーザアプリケーション内に、前
   記撮影手段により入力された画像からナンバープレート
   を抽出し、この抽出したナンバープレートからナンバー
   を切り出す前処理手段と、前記前処理手段により切り出
   されたナンバーから特徴量を抽出する特徴抽出手段とを
   設け、 前記特徴抽出手段により抽出された特徴量を用いて前記
   学習手段により学習し、且つ前記抽出された特徴量を用
   いて前記想起手段により想起することを特徴とするニュ
   ーラルネットを用いた画像認識システム。
4. 【請求項４】少なくともニューラルネットワークが学習
   するための学習データを作成する学習データ作成手段
   と、前記学習データにより学習を終了した前記ニューラ
   ルネットワークを用いて、ある入力データから出力デー
   タを出力する想起手段とを有して画像認識を行う画像認
   識装置と、 少なくとも前記学習データ作成手段により作成された学
   習データを用いて、学習を実行する学習手段を有する演
   算装置と、 前記画像認識装置及び前記演算装置間での相互通信を可
   能とする通信手段とを有する画像認識システムであっ
   て、 前記画像認識装置は、入力データを作成する入力データ
   作成手段及び前記想起手段による想起結果を用いて認識
   を行う認識手段とから成るユーザアプリケーションと、
   前記ユーザアプリケーションと前記学習データ作成手段
   及び前記想起手段との接続を可能とするインターフェー
   ス手段とを有し、 ナンバープレートを含む自動車を撮影しその画像を入力
   する撮影手段と、前記ユーザアプリケーション内に、前
   記撮影手段により入力された画像からナンバープレート
   を抽出し、この抽出したナンバープレートからナンバー
   を切り出す前処理手段を設け、前記前処理手段による切
   り出されたナンバーの２次元配列データを用いて前記学
   習手段により学習し、且つ前記切り出されたナンバーの
   ２次元配列データを用いて前記想起手段により想起する
   ことを特徴とするニューラルネットを用いた画像認識シ
   ステム。