JPH03113667A - データ処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、ニューラルネットワークの概念を基礎とする
データ処理装置に関する。

〔従来の技術〕

この種のデータ処理装置におけるニューラルネットワー
クは、第６図に示す神経細胞モデル（以下、ニューロン
という）■を、第７図に示すように並列に設けて層状に
構成される。ニューロン１において、外部から入力され
るデータＤｌｌ、０１２、ＤＩ３、・・・ＤＩ、にはそ
れぞれ重みＷｌ、Ｗ２、Ｗ３、・・・Ｗ７が掛けられ、
これらの総和と閾値θとの比較結果に応じたデータＤＯ
が出力される。この比較方法としては種々のものが可能
であるが、例えば、総和が閾値６以上の時出力データＤ
Ｏが「１」となり、またこの総和が閾値θより小さい時
出力データＤＯが「０」となるように定められる。

従来のニューラルネットワークは、このようなニューロ
ンを並列に設けてニューラルレイヤを形成するとともに
、このニューラルレイヤを直列に接続して構成され、各
層のニューロンは隣接する他の層の全てのニューロンに
連結される。

［発明が解決しようとする課題］ ところが各層には多数のニューロンが設けられており、
従来のようにニューロンが隣接する他の層の全てのニュ
ーロンに連結されると、その連結数は膨大なものとなり
、このようなニューラルネットワークを構築したデータ
処理装置は非常に大形になってしまう。

本発明は、このような従来の問題点を解決すべく創案さ
れたもので、ニューロン間の連結数を最小限に抑え、デ
ータ処理装置の小形化を可能ならしめることを目的する
。

〔課題を解決するための手段〕

本発明に係るデータ処理装置は、初段のニューラルレイ
ヤと最終段のニューラルレイヤとの間の途中の層に設け
られたニューロンが隣接する層のニューロンの一部のみ
に連結されることを特徴としている。

〔実施例〕

以下図示実施例により本発明を説明する。

第８図において、データ処理装置は複数のニューラルセ
ルＮＣを有し、これらニューラルセルＮＣは正六角形状
に形成されて、全体としてハニカム状の構成を有してい
る。

通常画像処理においては、画像を複数の単位領域に分割
して処理を行い、その単位領域は、３×３画素等の正方
形または長方形領域である。これは画像を走査する際の
ハードウェアの制約に起因するものであるが、好ましい
単位領域の形態は周囲のより多くの単位領域と等価な条
件で境界を接することである。その意味で前述のハニカ
ム状の構成は有利な処理条件を与える。そして、ニュー
ラルレイヤの構成は画像走査ハードウェアとは無関係に
設定し得るので、このような好ましい単位領域設定を行
い得る。すなわち入力系において単位領域設定を行わず
、ニューラルネット側で単位領域設定を行うことにより
、処理形態を最適化し得る。

データ処理装置には、入力系（図示省略）を介してデジ
タル画素データが入力され、第１図では三角形の図形Ｆ
がデータ処理装置に入力されている。

各ニューラルセルＮＣは複数のニューラルレイヤよりな
り（第９図）、各ニューラルレイヤは複数のニューロン
Ｎを並列に設けて構成されている。

つまり第９図はひとつのニューラルセルの構成を示して
おり、この例において各ニューラルレイヤのニューロン
ＮＲは、隣接するニューラルレイヤノ全てのニューロン
ＮＲに結合されている。すなわち、ｎ番目のニューラル
レイヤの出力は（ｎ＋１）番目のニューラルレイヤの入
力とされ、入力データは順次ニューラルレイヤによって
処理されて最終出力が得られるようになっている。

第１０図はニューラルセルに分割されたニューラルレイ
ヤ１１．１２．１３．１４、およびニューラルセルと後
処理のためのニューラルレイヤ２０（これについては第
１６図を参照して後述する）の関係を模式的に示したも
のである。

第１０図において、複数層のニューラルレイヤ１１．１
２．１３．１４はそれぞれ正六角形のニューラルセルＮ
Ｃ毎に分割されている。すなわち各ニューラルセルＮＣ
は複数層のニューラルレイヤ１１、Ｉ２．１３．１４を
有し、これらのニューラルレイヤはそれぞれ多数のニュ
ーロンを有する。各ニューラルセルＮＣ内において、ニ
ューロ７　ハ隣接するニューラルレイヤのニューロンに
結合スるが、他のニューラルセルＮＣのニューロンには
連結されない。すなわち、各ニューラルセルＮＣどおし
は相互に連結されておらず、データの授受はひとつのニ
ューラルセル内のおいてのみ行われる。なお、データ処
理装置を構成する全てのニューラルレイヤにニューラル
セルＮＣを設ける必要はなく、２Ｎのニューラルレイヤ
のみにニューラルセルＮＣを設けてもよい。

データ処理装置は学習により目的に応じた処理機能を具
備し得るものであるが、ここでは単純な幾何図形の認識
を行う場合について説明する。

まずエツジ抽出を行うニューラルレイヤの例を挙げると
第１１図の通りとなる。第１１図では３×３画素に対す
るＡ−ｒのニューロンが示されており、これらニューロ
ンは高膵度の入力に対して出力ｒ１．を生じるものとす
る。ニューロンＡ〜Ｉの出力をＡ−１とすると、孤立点
以外のエツジ存在は、 Ｅ　（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｆ＋Ｇ＋Ｈ＋１）（Ａ＋Ｂ＋Ｃ
十Ｄ＋Ｆ＋り＋Ｈ＋Ｉ）＝１　　・・・（１）という論
理式で表現し得る。

出力Ａ−ＩはニューロンＮ１に入力され、さらに出力Ａ
−Ｄ、Ｆ〜■はニューロンＮ２に入力されている。また
これらニューロンＮｌ、Ｎ２の出力はニューロンＮ３に
入力されている。ここで、ニューロンＮ１〜Ｎ３の重み
および閾値は例えば表１〜３のように設定される。

表１　ニューロンＮｌの重みおよび闇値（以下余白） 表２ ニューロンＮ２の重みおよび闇値 表３ ニューロンＮ３の重みおよび闇値 （以下余白） 二二にニューロンＮｌは Ｅ（λ十１十で十百十丁十で＋Ｈ＋１　）　　（２）に
対応した処理を行い、ニューロンＮ２はＡ　十Ｂ　＋ｃ
　＋Ｄ　十Ｆ　十〇　＋　Ｈ＋　１　　　　　（３）に
対応した処理を行う。一方ニューロンＮ３は式（２）、
（３）のＡＮＤ論理に対応する。

従ってニューロンＮ３は、ニューロンＥに図形のエツジ
が投影されたときに出力ｒ１．を生じる。

次に第１２図に基づいてコーナ検出を行うニューラルネ
ットワークの例を説明する。このニューラルネットワー
クの入力は第１１図のニューロンＮ３の出力であり、第
１２図では、ニューロンＡ〜Ｉのニューロンに対応する
ニューロンＮ３をＡ′〜Ｆとして示している。コーナ検
出の論理は式（４）に示す通りである。

Ｅ’　　（Ａ’　Ｂ’　＋Ａ’　Ｃ’　＋Ａ’　Ｄ’　
＋Ａ’Ｆ’　十Ａ’　Ｇ’　＋Ａ’　Ｈ’　＋Ｂ’　Ｃ
’　＋Ｂ’　Ｄ’十Ｂ″Ｆ’　＋Ｂ’　Ｇ’　＋Ｂ’　
　ビ十Ｃ″Ｄ’　十Ｃ’　Ｆ’　＋Ｃ’　Ｈ“十Ｃ’　
　Ｉ’　＋Ｄ’　Ｇ’　＋Ｄ’Ｈ’　＋Ｄ’ビ十Ｆ’　
Ｇ’　＋Ｆ’　Ｈ’　＋Ｆ’ビ十〇’　Ｈ”十〇’　　
Ｉ’　十Ｈ’　　！’　）＝１・・・（４）この処理の
ために、ニューロンＮ４０１〜Ｎ４２４およヒＮ４２５
が設けられている。ニューロンＮ４０１〜Ｎ４２４には
Ａ゛〜Ｄ’　、Ｆ’〜ビの出力が表４の組み合わせで入
力され、これらの入力に対する重み、闇値は同表の通り
である。

表４ （以下余白） 一方ニューロンＮ４２５には出力Ｎ４０１〜Ｎ４２４が
入力され、その重み、闇値は表５のとおりである。

表５ これはＯＲ論理と等価である。

さらにニューロンＮ２４５の出力およびＥ′はニューロ
ンＮ２４６に入力され、その重み、闇値は表６のように
設定されている。

表に れはＡＮＤ論理と等価である。

以上の重みの設定はデータ処理装置の学習によって自動
的に実行され、適正な学習により最適な連想を行い得る
ようになるが、各データをいずれのレイヤに入力するか
をあらかじめ人為的に設定しておけばニューロン効率を
高め得る。例えば第５図のニューラルネットワークにお
いて、データＥ′をＡ′〜Ｄ’　、Ｆ’〜ビとともに同
図の第１ニユーラルレイヤに入力しても第１１図と同機
能のニューラルネットワークを構成し得るが（第１３図
）、この場合レイヤ数を１層１！ｆｆ減し得る反面、第
１ニユーラルレイヤのシナプス数が２４個増加し、結線
数の著しい増加を招く。即ち、式（４）において人力Ｅ
°は（Ａ’　Ｂ″＋　−）の論理演算の結果に対して作
用するものであるから、括弧内の演算結果と同レベルの
抽象度を持つものと考えることができ、この抽象度に応
じたレイヤに入力することによりニューロン効率が向上
している。

ここで、データの抽象度について次数という概念を導入
し、以下の定義を考える。

１、　１層のニューラルレイヤの処理により次数は１次
高められる。

２、同一ニューラルレイヤへの入力は同一次数である。

この定義に基づけば、コーナー検出に関しては、ニュー
ラルレイヤは４層（第１１図および第１３図の構成を採
用した場合）または５層（第１１図および第１２図の構
成を採用した場合）必要であり、画素データにューロン
Ａ〜■への入力）の次数を０次とすれば、最終出力の次
数は４次または５次となる。

以上の処理によりニューラルセル毎にエツジ、コーナー
を検出したか否かの判定出力が生じ、この判定出力は第
１４図に示すように、統合のためのニューラルレイヤ群
ＩＮＴに入力される。このニューラルレイヤ群ＩＮＴで
処理されるデータは前述のニューラルレイヤよりも高次
であるということができる。

ニューラルレイヤ群ＩＮＴは複数の処理系ＰＩ〜Ｐ７よ
りなり、各処理系は複数のニューラルレイヤの階層構造
となっている。処理系Ｐ　ｔ　””　Ｐ　ｆｉは例えば
、図形の形状に応じて分類され、ＰＩ　：三角形、Ｐ２
　：四角形、−、Ｐ、：　　（ｎ＋２）角形のように分
類されている。

前述のニューラルセルからの出力はそのニューラルセル
内のエツジの有無を示す信号（以下ＥＳという。）およ
びコーナの有無を示す信号（以下Ｃ５という。）である
が、第１５図に示すように、単純な三角形においても、
図形自体の不整やノイズにより辺の部分に擬似コーナＸ
Ｉ＋Ｘ２が生じることがある。

三角形のための処理系では、このような誤ったコーナ信
号を除去し、かつ実際のコーナＡ、Ｂ、Ｃ１を強調して
その座標値等を出力する。コーナＡ、Ｂ、Ｃの強調およ
び擬似コーナの除去を行うニューラルネットワークとし
ては第１６図を考えることができる。

第１６図のニューラルネットワークは、前記ニューラル
セルＮＣに対応したニューロンを有し、各ニューロンは
、第１θ図におけるニューロン２１のように、全てのニ
ューラルセルＮＣに接続されている。そして各ニューロ
ンの重みは、対応するニューラルセルＣ５の入力に対し
て最大であり、対応ニューラルセル周囲のニューラルセ
ルに対して最も絶対値の大きい負の重みを有し、さらに
、対応ニューラルセルからの距離とともに重みが高めら
れている。この関係を２次元で表現すると第１７図のと
おりとなる。

このような構成により辺の中途に生じた擬似コーナのコ
ーナ信号は弱められ、コーナＡ、Ｂ、Ｃのコーナ信号が
強調されることになる。なお、第１７図のグラフでは、
距離と重みの関係は略２次曲線となっているが、他の単
調増加曲線を採用し得ることはいうまでもない。

なおＲｏｓｅｎｂｌａｔｔのパーセブトロンでは反応層
から連合層へのフィードバック系に抑制性の接続を与え
、発火パターンの輪郭強調を行う構成が提案されている
が、特定図形のコーナ強調のためのフィードフォワード
的抑制性接続については何ら示唆するところはない。

なおニューラルレイヤＩＮＴの各処理系に与えられるデ
ータは、ニューラルセルにおいて抽象化されたデータで
あり、より高次のデータということができる。そして、
コーナやエツジのデータを抽出し得る画像処理システム
を入力系として用いた場合、直接ニューラルレイヤ群Ｉ
ＮＴにデータを入力し得る。また画素データと、コーナ
ーなどの特徴データが混在する場合ミコーナーなどのよ
り高次のデータを後段のニューラルレイヤに入力するこ
とによりニューロン効率を高め得る。また最終的に出力
すべきデータとの次数の差を予め算出しておけば最小限
のニューラルレイヤの層数を求めることができ、確実に
所期の目的を達成し得る。

さて本発明に係るデータ処理装置において、相互に隣接
するニューラルレイヤにおけるニューロン同士は、第１
図〜第４図を参照して後述するように、所定の部分にお
いて結合しておらず、ニューロン同士の連結数、すなわ
ちシナプス数は必要最小限に抑えられている。

第１図（ａ）は第１実施例を示す。この実施例における
データ処理装置は、入力側すなわち前段側にニューラル
セルＮＣＩ〜ＮＣ４を有し、出力側すなわち後段側にニ
ューラルレイヤＬｌ−Ｌ４を有する。ニューラルセルは
、第９図を参照して説明したように複数のニューラルレ
イヤから成り、各ニューラルレイヤにはそれぞれ複数の
ニューロンが設けられる。各ニューラルレイヤのニュー
ロンは隣接するニューラルレイヤの全てのニューロンに
接続しているが、他のニューラルセルを構成するニュー
ロンには接続していない。換言すれば、ニューラルセル
ＮＣＩ〜ＮＣ４同士は相互に分離されており、データの
授受を行わない。

ニューラルセルＮＣＩ〜ＮＣ４は二３−’ＺルレイヤＬ
ｌに接続され、ニューラルレイヤし１〜Ｌ４は、相互に
隣接するもの同士において接続される。ニューラルセル
ＮＣＩ〜ＮＣ４のニューロンはニューラルレイヤＬ１の
一部のニューロンにのみ連結され、ニューラルレイヤＬ
ｌのニューロンはニューラルレイヤＬ２の一部のニュー
ロンのみに連結される。ただし、ニューラルレイヤＬｌ
とニューラルレイヤＬ２との間におけるニューロンの連
結数は、ニューラルセルＮＣＩ〜ＮＣ４とニューラルレ
イヤＬ１との間におけるニューロンの連結数よりも多い
。同様に、ニューラルレイヤＬ２のニューロンはニュー
ラルレイヤＬ３の一部のニューロンのみに連結されるが
、その連結数はニューラルレイヤＬ２、Ｌ３間のニュー
ロンの連結数よりも多い。ニューラルレイヤＬ３のニュ
ーロンはニューラルレイヤＬ４の全てのニューロンに接
続される。しかして各ニューラルレイヤ間におけるニュ
ーロンの連結数は、後段ほど増加している。

このようにニューロンの連結数が後段ほど増加する構成
は、前段のニューラルレイヤにおいては、各ニューロン
から出力されるデータ同士の関連性が薄いが、後段ほど
その関連性が濃くなり隣接するニューラルレイヤの多く
のニューロンに入力される必要がある場合、例えば分離
処理された情報の統合を効率的に行う場合等に効果的で
ある。すなわち、データ処理に影響を及ぼさないニュー
ロン同士の連結は省略されており、これにより連結数を
最小限に抑えることができ、データ処理装置を小形化す
ることが可能になる。

第１図（ｂ）は第２実施例を示し、データ処理装置は、
ニューラルセルを有しておらず、ニューラルレイヤし１
〜Ｌ６から構成される。ニューラルレイヤＬ１のニュー
ロンはニューラルレイヤＬ２の一部のニューロンのみに
連結される。同様に、ニューラルレイヤＬ２のニューロ
ンはニューラルレイヤＬ３の一部のニューロンのみに連
結されるが、その連結数はニューラルレイヤＬ１、Ｌ２
間のニューロンの連結数よりも多い。また、ニューラル
レイヤＬ３のニューロンはニューラルレイヤＬ４の一部
のニューロンのみに連結されるが、この連結数は前段の
各ニューラルレイヤ間の連結数よリモ多い。一方、ニュ
ーラルレイヤＬ４のニューロンはニューラルレイヤＬ５
の全てのニューロンに連結され、またニューラルレイヤ
Ｌ５のニューロンもニューラルレイヤＬ６の全てのニュ
ーロンに連結される。

しかしてこの例においても、各ニューラルレイヤ間にお
けるニューロンの連結数は、後段ほど増加している。

したがって第２実施例も、後段ほどニューロンから出力
されるデータ間の関連性が濃（なる場合に効果的であり
、データ処理に影響を及ぼさないニューロン同士の連結
を省略することにより、連結数を最小限に抑え、データ
処理装置を小形化することが可能になる。

第１図（ｃ）は第３実施例を示し、この実施例における
データ処理装置は、ニューラルセルＮＣ１−ＮＣ４とニ
ューラルレイヤＬｌ−Ｌ３とを有する。ニューラルセル
は、第１図（ａ）とは異なり、他のニューラルセルを構
成するニューロンの一部に連結される。すなわちニュー
ラルセルを構成するニューロンは、初段において他のニ
ューラルセルのニューロンから完全に分離されているが
、後段において他のニューラルセルのニューロンの一部
に連結され、その連結数は後段ほど増加している。

一方、ニューラルレイヤＬｌ−Ｌ３において、各ニュー
ロンは隣接するニューラルレイヤの全てのニューロンに
連結される。

この構成によれば、第１図（ｂ）の構成と同様、ニュー
ラルセルのニューロンが後段において相互に関連性を有
し、連結される構成をとる場合であっても、データ処理
に影響を及ぼさないニューロン同士の連結を省略して、
連結数を最小限に抑えることができ、データ処理装置を
小形化することが可能になる。

第２図（ａ）〜（ｃ）は、第１図（ａ）〜（Ｃ）とは逆
に、″データ処理装置の出力側すなわち後段ほどニュー
ロンの連結数が減少する構成を示す。

第２図（ａ）は第４実施例を示し、この実施例における
データ処理装置は、入力側にニューラルレイヤＬ１〜Ｌ
４を有し、出力側にニューラルセルＮＣＩ〜ＮＣ４を有
する。ニューラルセルは、第１実施例と同様に複数のニ
ューラルレイヤから成す、各ニューラルレイヤのニュー
ロンは隣接スるニューラルレイヤの全てのニューロ・ン
に連結されるが、他のニューラルセルを構成するニュー
ロンには連結されない。

ニューラルレイヤし１〜Ｌ４は相互に隣接するもの同士
において接続され、最も後段のニューラルレイヤＬ４は
ニューラルセルＮＣＩ〜ＮＣ２に接続される。ニューラ
ルレイヤＬ１の各ニューロンは、ニューラルレイヤＬ２
の全てのニューロンに連結されるが、ニューラルレイヤ
Ｌ２のニューロンはニューラルレイヤＬ３の一部のニュ
ーロンのみに連結される。同様に、ニューラルレイヤＬ
３のニューロンはニューラルレイヤＬ４の一部のニュー
ロンのみに連結される。各ニューラルレイヤ間における
ニューロンの連結数は、後段ほど減少している。

このようにニューロンの連結数が後段ほど減少する構成
は、前段のニューラルレイヤにおいては、各ニューロン
から出力され−るデータ同士の関連性が濃いが、後段ほ
どその関連性が薄くなり隣接するニューラルレイヤの多
くのニューロンに入力される必要がない場合、例えばニ
ューラルネットワークにより複数の独立なパラメータを
出力し、これらがそれぞれ別個の制御系に入力される場
合等に効果的である。すなわち、データ処理に影響を及
ぼさないニューロン同士の連結は省略されており、これ
により連結数を最小限に抑えることができ、データ処理
装置を小形化することが可能になる。

第２図（ｂ）は第５実施例を示し、データ処理装置は、
ニューラルセルを有しておらず、ニューラルレイヤし１
〜Ｌ６から構成される。ニューラルレイヤＬ１のニュー
ロンはニューラルレイヤＬ２の全てのニューロンに連結
され、またニューラルレイヤＬ２のニューロンはニュー
ラルレイヤＬ３の全てのニューロンに連結される。しか
し、ニューラルレイヤＬ３のニューロンはニューラルレ
イヤＬ４の一部のニューロンのみに、ニューラルレイヤ
Ｌ４のニューロンはニューラルレイヤＬ５の一部のニュ
ーロンのみに接続され、またニューラルレイヤＬ５のニ
ューロンはニューラルレイヤＬ６の一部のニューロンの
みに接続される。

この例においても、各ニューラルレイヤ間におけるニュ
ーロンの連結数は、後段ほど減少しており、後段ほどニ
ューロンから出力されるデータ間の関連性が薄くなる場
合に効果的である。すなわち、データ処理に影ひを及ぼ
さないニューロン同士の連結を省略することにより、連
結数を最小限に抑え、データ処理装置を小形化すること
が可能になる。第２図（ａ）の実施例に比較し、この実
施例では独立なパラメータの分離が徐々に行われるため
、レイヤ数やシナプス数を節減しつつパラメータの分離
を行い得る。

第２図（ｃ）は第６実施例を示し、この実施例における
データ処理装置は、ニューラルレイヤし１〜Ｌ３とニュ
ーラルセルＮＣＩ〜ＮＣ４とを有する。しかし第２図（
ａ）とは異なり、ニューラルセルヲｔＩ成するニューロ
ンは他のニューラルセルを構成するニューロンの一部に
連結されている。

すなわちニューラルセルのニューロンは、初段において
他のニューラルセルのニューロンに連結すれるが、後段
ほどその連結数が減少し、最終だんにおいては他のニュ
ーラルセルのニューロンとは連結されない。一方、ニュ
ーラルレイヤＬ１〜Ｌ３の各ニューロンは、隣接するニ
ューラルレイヤの全てのニューロンに連結される。

したがって、ニューラルセルのニューロンが前段におい
て連結される構成の場合、本実施例によれば、第２図（
ｂ）の実施例と同様、データ処理に影響を及ぼさないニ
ューロン同士の連結を省略して、連結数を最小限に抑え
ることができ、データ処理装置を小形化することが可能
になる。

第３図（ａ）は第７実施例を示し、この実施例における
データ処理装置は、入力側にニューラルセルＮＣＩ〜Ｎ
Ｃ４、出力側にニューラルセルＮＣ５〜ＮＣ８をそれぞ
れ有し、中間部にニューラルレイヤし１〜Ｌ５を有する
。ニューラルセルＮＣ１〜ＮＣＢは、上記第１および４
実施例と同様な構成を有する。すなわち、ニューラルセ
ルＮＣ１−ＮＣ４は相互に分離されており、その二ニー
ロンは、他のニューラルセルを構成するニューロンには
連結されない。ニューラルセルＮＣ５〜ＮＣ８も相互に
分離されており、そのニューロンは、他のニューラルセ
ルを構成するニューロンには連結されない。

ニューラルセルＮＣＩ〜ＮＣ４はニューラルレイヤＬ　
Ｌに接続され、ニューラルセルＮＣ５〜ＮＣ８はニュー
ラルレイヤＬ５に接続される。ニューラルレイヤし１〜
Ｌ　５は相互に隣接するもの同士において接続される。

ニューラルセルＮＣＩ〜ＮＣ４のニューロンはニューラ
ルレイヤＬｌの一部のニューロンにのみ連結され、ニュ
ーラルレイヤＬ１のニューロンもニューラルレイヤＬ２
の一部のニューロンのみに連結されるが、ニューラルレ
イヤＬ１、Ｌ２間のニューロンの連結数は、ニューラル
セルＮＣＩ〜ＮＣ４とニューラルレイヤＬ１との間のニ
ューロンの連結数よりも多い。同様に、ニューラルレイ
ヤＬ２のニューロンはニューラルレイヤＬ３の一部のニ
ューロンのみに連結され、その連結数はニューラルレイ
ヤＬ１、Ｌ２間のニューロンの連結数よりも多い。

ここまで、ニューロンの連結数は後段ほど増加している
が、ニューラルレイヤＬ３、Ｌ４間のニューロンの連結
数はニューラルレイヤＬ２、Ｌ３間のニューロンの連結
数と同じである。そして、ニューラルレイヤＬ４、Ｌ５
間のニューロンの連結数はニューラルレイヤＬ３、Ｌ４
間のニューロンの連結数よりも少なく、またニューラル
レイヤＬ５とニューラルセルＮＣ５〜ＮＣ８との間のニ
ューロンの連結数はニューラルレイヤＬ４、Ｌ５間のニ
ューロンの連結数よりもさらに少ない。

しかして本実施例において、初段のニューラルレイヤの
近傍におけるニューロンの連結数は、後段ほど増加し、
また最終段のニューラルレイヤの近傍におけるニューロ
ンの連結数は、後段ほど減少している。

このような構成は、初段および最終段において各ニュー
ロンから出力されるデータ同士の関連性が薄い場合に効
果的であり、データ処理に影響を及ぼさないニューロン
同士の連結を極力省略することにより、データ処理装置
の小形化を回ることができる。

第３図（ｂ）は第８実施例を示し、データ処理装置は、
ニューラルセルを有しておらず、ニューラルレイヤＬ１
〜Ｌ８から構成される。ニューラルレイヤＬｌのニュー
ロンはニューラルレイヤＬ２の一部のニューロンのみに
連結される。同様に、ニューラルレイヤＬ２のニューロ
ンはニューラルレイヤＬ３の一部のニューロンのみに、
また、ニューラルレイヤＬ３のニューロンはニューラル
レイヤＬ４の一部のニューロンのみに接続される。

そして各ニューラルレイヤ間におけるニューロンの連結
数は、後段ほど、すなわちニューラルレイヤＬｌからＬ
４に向かうほど増加している。なお、ニューラルレイヤ
Ｌ４のニューロンはニューラルレイヤＬ５の全てのニュ
ーロンに連結される。

一方、ニューラルレイヤＬ５のニューロンはニューラル
レイヤＬ６の一部のニューロンのみに連結すれ、ニュー
ラルレイヤＬ６のニューロンはニューラルレイヤＬ７の
一部のニューロンのみに連結される。ニューラルレイヤ
Ｌ６、Ｌ　７　間のニューロンの連結数は、ニューラル
レイヤＬ５、Ｌ６間のニューロンの連結数よりも減少し
ている。同様に、ニューラルレイヤＬ７のニューロンは
ニューラルレイヤＬ８の一部のニューロンのみに連結さ
れ、そのニューロンの連結数は、ニューラルレイヤＬ６
、Ｌ１間のニューロンの連結数よりも少ない。−しかし
てニューラルレイヤＬ５より後段において、ニューロン
の連結数は後段ほど減少している。

この第８実施例の構成も、初段および最終段において各
ニューロンから出力されるデータ同士の関連性が薄い場
合に、データ処理に影響を及ぼさないニューロン同士の
連結を極力省略して、データ処理装置の小形化を図るこ
とができる。

第３図（ｃ）は第９実施例を示し、この実施例における
データ処理装置は、入力側にニューラルセルＮＣＩ〜Ｎ
Ｃ４、出力側にニューラルセルＮＣ５〜ＮＣ８をそれぞ
れ有し、中間部にニューラルレイヤＬｌ−Ｌ３を有する
。ニューラルセルＮ０１〜ＮＣ４はニューラルレイヤＬ
ｌに接続され、ニューラルセルＮＣ５〜ＮＣ８はニュー
ラルレイヤＬ３に接続される。

ニューラルセルは、第３図（ａ）の実施例とは異なり、
他のニューラルセルを構成するニューロンの一部に連結
される。すなわちニューラルセルＮＣＩ〜ＮＣ４を構成
するニューロンは、初段において他のニューラルセルの
ニューロンから完全に分離されているが、後段において
他のニューラルセルのニューロンの一部に連結され、そ
の連結数は後段ほど増加している。一方、ニューラルセ
ルＮＣ５〜ＮＣ８を構成するニューロンは、最終段にお
いて他のニューラルセルのニューロンから完全に分離さ
れているがζ前段において他のニューラルセルのニュー
ロンの一部に連結され、その連結数は前段ほど増加して
いる。

ニューラルレイヤＬ１〜Ｌ３の各ニューロンハ隣接する
ニューラルレイヤの全てのニューロンに連結される。ニ
ューラルセルＮＣＩ〜ＮＣ４の各ニューロンはニューラ
ルレイヤＬ１の全てのニューロンに、またニューラルセ
ルＮＣ５〜ＮＣ８の各ニューロンはニューラルレイヤＬ
３の全てのニューロンに連結される。

この構成によれば、ニューラルセルＮＣＩ〜ＮＣ４にお
いては後段ほどニューロン間の関連性が増加し、またニ
ューラルセルＮＣ５〜ＮＣＢにおいては後段ほどニュー
ロン間の関連性が減少する場合、データ処理に影響を及
ぼさないニューロン同士の連結を省略して、連結数を最
小限に抑え、これによりデータ処理装置を小形化するこ
とが可能になる。

第４図（ａ）は第１Ｏ実施例を示し、この実施例におけ
るデータ処理装置は、入力側にニューラルレイヤＬｌ〜
Ｌ３、出力側にニューラルレイヤし４〜Ｌ６をそれぞれ
有し、中間部にニューラルセルＮＣＩ〜ＮＣ４を有する
。ニューラルレイヤＬ３はニューラルセルＮＣＩ〜ＮＣ
４に接続され、またニューラルレイヤＬ４もニューラル
セルＮＣ１〜ＮＣ４に接続される。

ニューラルレイヤＬｌのニューロンはニューラルレイヤ
Ｌ２の全てのニューロンに連結されるが、ニューラルレ
イヤＬ２のニューロンはニューラルレイヤＬ３の一部の
ニューロンのみに連結される。

ニューロンの連結Ｇは、ニューラルレイヤＬｌ、Ｌ２間
が最も多く、ニューラルレイヤＬ３とニューラルセルＮ
ＣＩ〜ＮＣ４との間が最も少ない。

すなわちニューラルレイヤＬ１とニューラルセルＮＣＩ
〜ＮＣ４との間において、ニューロンの連結数は後段ほ
ど減少している。

一方、ニューラルセルＮＣＩ〜ＮＣ４のニューロンはニ
ューラルレイヤＬ４の一部のニューロンのみに連結され
、二風−ラルレイヤＬ４（７）ニューロンもニューラル
レイヤＬ５の一部のニューロンのみに連結されるが、そ
の連結数は、ニューラルレイヤＬ４、Ｌ５間の方が多い
。またニューラルレイヤＬ５、Ｌ６間において各ニュー
ロンは相手ノ全テノニューロンに連結される。すなわち
ニューラルセルＮＣＩ〜ＮＣ４とニューラルレイヤＬ６
との間において、ニューロンの連結数は後段ほど増加し
ている。

ニューラルセルＮＣｌ−ＮＣ４は、例えば上記第７実施
例のニューラルセルと同様に、相互に分離されており、
各ニューロンは他のニューラルセルを構成するニューロ
ンには連結されない。

しかして本実施例において、ニューロンの連結数は、初
段と最終段の間の途中のニューラルレイヤにおいて変化
している。

このような構成は、初段と最終段の途中において各ニュ
ーロンから出力されるデータ同士の関連性が薄い場合、
データ処理に影響を及ぼさないニューロン同士の連結を
極力省略することにより、データ処理装置の小形化を回
ることを可能にする。

第４図（ｂ）は第１１実施例を示し、データ処理装置は
、ニューラルセルを有しておらず、ニューラルレイヤし
１〜Ｌ６から構成される。ニューラルレイヤＬ１のニュ
ーロンはニューラルレイヤＬ２の全てのニューロンに連
結される。ニューラルレイヤＬ２のニューロンはニュー
ラルレイヤＬ３の一部のニューロンのみに、また、ニュ
ーラルレイヤＬ３のニューロンはニューラルレイヤし４
の一部のニューロンのみに接続される。そしてこれらの
ニューラルレイヤし１〜Ｌ４におけるニューロンの連結
数は、後段ほど、すなわちニューラルレイヤＬ１からＬ
４に向かうほど減少している。

一方、ニューラルレイヤＬ４のニューロンはニューラル
レイヤＬ５の一部のニューロンのみに連結されるが、そ
の連結数はニューラルレイヤＬ３、Ｌ４間よりも増加し
ている。また、ニューラルレイヤＬ５のニューロンはニ
ューラルレイヤＬ６の全てのニューロンに連結される。

しかしてニューラルレイヤし４〜Ｌ６において、ニュー
ロンの連結数は、後段ほど増加している。

この第１１実施例の構成も、初段と最終段の途中におい
て各ニューロンから出力されるデータ同士の関連性が薄
い場合に、データ処理に影響を及ぼさないニューロン同
士の連結を極力省略して、データ処理装置の小形化を図
ることができる。

第４図（Ｃ）は第１２実施例を示し、この実施例におけ
るデータ処理装置は、入力側にニューラルレイヤＬ１、
Ｌ２、出力側にニューラルレイヤＬ３、Ｌ４をそれぞれ
有し、中間部にニューラルセルＮＣＩ〜ＮＣ４を有する
。ニューラルレイヤＬ１のニューロンはニューラルレイ
ヤＬ２の全てのニューロンに連結され、またニューラル
レイヤＬ２のニューロンもニューラルセルＮＣＩ〜ＮＣ
４の全てのニューロンに連結される。同様に、ニューラ
ルセルＮＣｌ−ＮＣ４のニューロンはニューラルレイヤ
Ｌ３の全てのニューロンに連結され、またニューラルレ
イヤＬ３のニューロンはニューラルレイヤＬ４の全ての
ニューロンに連結される。

ニューラルセルＮＣＩ〜ＮＣ４のニューロンは、第４図
（ａ）の実施例とは異なり、他のニューラルセルを構成
するニューロンの一部に連結される。

すなわちニューラルセルＮＣＩ〜ＮＣ４を構成するニュ
ーロンは、ニューラルレイヤし２側において他のニュー
ラルセルの一部のニューロンに連結され、中段おいて連
結数は最も少ない。そして、後段においてニューロンの
連結数は中段よりも増加している。

この構成によれば、ニューラルセルＮＣＩ〜ＮＣ４にお
いては中段ほどニューロン間の関連性が薄い場合に、デ
ータ処理に影響を及ぼさない二ニーロン同士の連結を省
略して、連結数を最小限に抑え、これによりデータ処理
装置を小形化することが可能になる。

なお、例えば第４図（ａ）の構成において、ニューラル
ネットワークの途中に設けられたニューラルセルＮＣｌ
−ＮＣ４のニューロンから出力データを取り出し、これ
を他のニューラルネットワークに入力してもよい。

第５図は複数のニューラルネットワーク間にニューラル
セルが配設された例を示す。この図において、第１〜第
３のニューラルネットワークＮ１〜Ｎ３のニューロンは
、それぞれ第１〜第３のニューラルセル０１〜Ｃ３のニ
ューロンに連結されまた第１〜第３のニューラルセル０
１〜Ｃ３のニューロンは第４のニューラルネットワーク
Ｎ４に連結される。この例において、各ニューラルネッ
トワークのニューロンは隣接するニューラルレイヤの全
てのニューロンに連結されるが、ニューラルセルＣ１−
Ｃ５は相互に分離されており、ニューロンは他のニュー
ラルセルのニューロンには連結されない。したがってニ
ューロンの連結数が最小限のものとなり、データ処理の
効率化が図られる。

［発明の効果］ 以上のように本発明に係るデータ処理装置は、ニューロ
ンが隣接するニューラルレイヤの全てのニューロンに連
結されるものではなく、ニューロン間の連結数を最小限
に抑えたものであり、したがってデータ処理装置の小形
化が可能になるという効果を奏する。

【図面の簡単な説明】

第１図（ａ）は第１実施例のデータ処理装置を示す概念
図、 第１図（ｂ）は第２実施例のデータ処理装置を示す概念
図、 第１図（Ｃ）は第３実施例のデータ処理装置を示す概念
図、 第２図（ａ）は第４実施例のデータ処理装置を示す概念
図、 第２図（ｂ）は第５実施例のデータ処理装置を示す概念
図、 第２図（ｃ）は第６実施例のデータ処理装置を示す概念
図、 第３図（ａ）は第７実施例のデータ処理装置を示す概念
図、 第３図（ｂ）は第８実施例のデータ処理装置を示す概念
図、 第３図（ｃ）は第９実施例のデータ処理装置を示す概念
図、 第４図（ａ）は第１Ｏ実施例のデータ処理装置を示す概
念図、 第４図（ｂ）は第１１実施例のデータ処理装置を示す概
念図、 第４図（ｃ）は第１２実施例のデータ処理装置を示す概
念図、 第５図はニューラルネットワークとニューラルセルの結
合関係の一例を示す概念図、 第６図は神経細胞モデルを示す概念図、第７図はニュー
ラルレイヤの例を示す概念図、第８図はニューラルセル
を示す概念図、第９図は同ニュー・ラルセルの階層を示
す概念図、第１Ｏ図はニューラルセルの構造および後処
理用ニューラルレイヤの構造を示す概念図、第１１図は
同ニューラルセルにおけるエツジ抽出処理系を示す概念
図、 第１２図は同一ューラルセルにおけるコーナ抽出処理系
を示す概念図、 第１３図は第１１図の変形例を示す概念図、第１４図は
ニューラル処理系の後段の統合処理系を示す概念図、 第１５図は図形の擬偵コーナを示す概念図、第１６図は
ニューロン間の平面的な位置関係を示す概念図、 第１７図はニューロン間の距離と重みとの関係を示すグ
ラフである。 ＮＣ５ＮＣｌ〜ＮＣ８、Ｃ１〜Ｃ３ ・・・ニューラルセル １−１８ °ニューラルレイヤ

Claims (5)

【特許請求の範囲】
1. （１）入力データに対する所定の処理結果に応じたデー
   タを出力するニューロンが設けられた複数層のニューラ
   ルレイヤを有し、各ニューラルレイヤのニューロンを他
   のニューラルレイヤのニューロンに連結して構成される
   データ処理装置において、初段のニューラルレイヤと最
   終段のニューラルレイヤとの間の途中の層に設けられた
   ニューロンが隣接する層のニューロンの一部のみに連結
   されることを特徴とするデータ処理装置。
2. （２）当該層のニューロンと隣接する層のニューロンと
   の連結数が、後段ほど増加することを特徴とする特許請
   求の範囲第１項記載のデータ処理装置。
3. （３）当該層のニューロンと隣接する層のニューロンと
   の連結数が、後段ほど減少することを特徴とする特許請
   求の範囲第１項記載のデータ処理装置。
4. （４）当該層のニューロンと隣接する層のニューロンと
   の連結数が、初段のニューラルレイヤの近傍の複数層の
   ニューラルレイヤにおいて後段ほど増加し、かつ最終段
   のニューラルレイヤの近傍の複数層のニューラルレイヤ
   において後段ほど減少することを特徴とする特許請求の
   範囲第１項記載のデータ処理装置。
5. （５）当該層のニューロンと隣接する層のニューロンと
   の連結数が、初段と最終段の間の途中の複数層のニュー
   ラルレイヤ間において変化することを特徴とする特許請
   求の範囲第１項記載のデータ処理装置。