JPH0447475A - ニューラルネットワークを用いた画像処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、例えばマスキング処理等の画像処理に際して
、ニューラルネットワークを用いた画像処理方式に関し
、詳しくは、前記ニューラルネットワークの小規模化と
そのニューラル素子の結合係数を学習する際の効率化の
両立に関する。

［従来の技術］ 従来では、ニューラルネットワークによる画像処理はほ
とんど行なわれていないというのが実情である。

少ない例の中で、ニューラルネットワークによる画像処
理例では、数字・漢字等の文字認識や画像圧縮処理が試
みられているが、自然画像に対してのニューラルネット
ワークによる処理や、また、その他の空間フィルタリン
グ処理や画像変換に関する検討はまだ行なわれていない
のが現状である。マスキング処理についての検討が、画
像処理電子学会研究会予稿（１９８９年１月３日）に報
告されている。

第２図はその研究会予稿に発表されたマスキング処理の
ためのネットワークの概略ブロック図である。同図にお
いて、入力層にはＹ、Ｍ、Ｃのデータが与えられ、出力
層は同じくマスキング処理後のＹ’　、Ｍ”　、Ｃ’の
出力素子より成り、中間層として２層が設けられている
。その各中間層は１０又は２０個のノードにニューラル
素子）より成る。尚、第２図において、図示の都合上、
中間層は１層のみを示している。

［発明が解決しようとしている課題］ しかしながら、前記の構成では、中間層の素子数が１０
個と多（、しかも２層の中間層より成るので、学習時や
実行時には計算時間も長いものとなっていた。

この点について発明者達は次のような考察を行なった。

即ち、第２図においては、前段の中間層のニューラル素
子と後段のニューラル素子とは対等に結合されている。

また、後段の中間層のニューラル素子と出力層のニュー
ラル素子も対等に結合されている。そのために、結合定
数の学習に際して、中間層のニューラル素子間では差異
がないために、その結合定数の学習の収束に方向性を与
えることができない。

一方、Ｙ、Ｍ、Ｃの画像信号は互いに独立した性質のも
のであり、学習時には、入力層のＹ。

Ｍ、Ｃの各素子には夫々Ｙ、Ｍ、Ｃの学習用画像信号が
与えられ、出力層のＹ’　、Ｍ’　、Ｃ’にはマスキン
グ後のＹ’　、Ｍ’　、Ｃ’の理想信号が与えられる。

換言すれば、互いに独立した性質を有するＹ。

Ｍ、Ｃの学習信号が入力されると、入力層と中間層との
間、前段の中間層と後段の中間層との間の結合定数は、
その結合定数の学習の収束は無秩序であり、従って収束
に時間がかかり、結局、後段の中間層と出力層の素子間
の結合定数のみについてなされた学習結果だけが、互い
に独立した性質を保持しつつマスキング処理に適したネ
ットワークを形成することに寄与することになる。更に
説明すると、中間層の素子と出力層の３素子との結合係
数以外の係数は、Ｙ′、Ｍ′、Ｃ’、ＢＫ’の出力層て
に都合が良いように係数が決まるために、例えば、Ｙ′
の理想出力が精度良くても、他の理想出力が精度良くな
かったり、またその逆であったりして、学習を繰り返し
ても結合係数がある一定幅で振動してしまうことが発生
していたわけである。

そこで、振動幅を小さく抑えて精度良いマスキングを行
なおうとすると、中間層を２層にしたり、各中間層数も
増やさねばならないというジレンマに陥っていた。即ち
、後段の中間層と出力層の素子間でのみマスキング処理
のための学習が実質的に決定されるようになるために、
中間層の数を増やさなければならず、その結果、学習の
収束に時間がかかる結果となってしまうのである。また
、入力層と中間層間の結合定数がマスキング処理に関与
しない結果となるので、マスキング処理の精度は高いも
のとならず、たとえ、中間層の素子数をこれ以上増やし
ても、精度の向上はのぞめない。

尚、このような問題は、本質的には画像信号同志のよう
に、互いに相関が少ない画像信号間に発生するものであ
るから、マスキング処理だけに、また、Ｙ、Ｍ、Ｃの画
像信号を用いるときのみに発生するものではなく、多く
の一般的な画像処理にも発生し得ることである。

そこで本発明は、ニューラルネットワークを用いた画像
処理方式において、ニューラルネットワークの小規模化
とそのニューラル素子の結合係数を学習する際の効率化
の両立を果たした画像処理方式を提案するものである。

［課題を解決するための手段］ 上記課題を達成するための本発明の構成は、入力層、中
間層、出力層とからなるニューラルネットワークを用い
、前記入力層に画像データを入力し、このネットワーク
内で所定の画像処理を行ない、前記出力層から処理され
た画像データを出力する画像処理方式であって、前記中
間層は複数のニューラル素子から構成されているととも
に、この複数のニューラル素子は出力層のニューラル素
子の数と同数のグループに分割され、前記出力層内の各
々のニューラル素子は、上記１つのグループ内のニュー
ラル素子のみと結合されていることを特徴とする。

即ち、出力層の各素子は夫々、独自のグループの中間層
の素子グループのみと結合し、それらは互いに独立して
いるために、学習の収束が速やかになり、その分、学習
精度が高められ、結果的には、速度や精度が向上した分
だけ、中間層を減らすことが可能となる。

［実施例］ 以下添付図面を参照しつつ、本発明のニューラルネット
ワークを用いた画像処理方式を、画像信号Ｙ、Ｍ、Ｃか
らＹ’、Ｍ’、Ｃ’、ＢＫ’を得るマスキング処理に適
用した実施例を説明する。

第１図はこの実施例のネットワークの構成図である。シ
ステム全体での出力はＹ“、Ｍ”、Ｃ’、ＢＫｏの４出
力であり、夫々の出力に対応して互いに全く独立した各
々１つづつの単色処理部がニューラルネットワークによ
り形成されている。

各単色処理部のネットワークの入力層にはＹ。

Ｍ、Ｃに対応する３人力があり、次に中間層がある。中
間層は１層の場合には素子数は多めに与え（例えば１５
）、中間層を２層にする場合には素子数を少なめ（例え
ば各中間層の素子数ｎニア）に与える。出力層の素子数
は１とする。

例えば、２つの中間層を設けた場合、中間層間の結合数
は、各中間層素子数をｎとすると、最大ｎ２となり、従
って、ｎが半分になると、結合数は１／４となる。

又、中間層と入力層、中間層と出力層の結合数も、ｎに
比例する。又、中間層を一層にすることにより、中間層
同士の結合がな（なるために、やはり素子数、結合数が
大幅に減る。

この実施例の特徴は、Ｙ、Ｍ、Ｃ（同様にＢＫも）が互
いに相関の少ない画像信号であることに鑑みて、夫々の
単色処理部を互いに独立したニューラルネットワークで
構成したことにある。本来互いに相関の少ない画像信号
の各々に対応するネットワークを互いに独立したことに
より、ニューラルネットワークの学習の収束速度が向上
する。

換言すれば、収束速度が向上した分だけ中間層のニュー
ラル素子の数を増やすことができ、その結果、学習効率
とマスキング処理精度の両立が図れる。

また、夫々の単色処理部を互いに独立したニューラルネ
ットワークで構成したことにより、即ち、本来互いに相
関の少ない画像信号の各々に対応するネットワークを互
いに独立したことにより、相対的にマスキング処理精度
が向上し、学習効率も向上するように結合定数を決定で
きる。従って、その向上した分だけ、従来例に比して、
中間層の全素子数を相対的に減少させることができるよ
うになる。即ち、装置の小規模性と処理精度及び処理速
度の両立が図れる。

次に、第１図ネットワークシステムのための学習につい
て説明する。この実施例では、学習方法として、所謂バ
ックプロパゲーション法を採用する。

第３Ａ図は学習用の入力画像信号（Ｙ、Ｍ。

Ｃ）を示す図である。また、第３Ｂ図は学習用の理想信
号（Ｙ　’、Ｍ　’、Ｃ’、Ｂ　Ｋ　’）を示す図であ
る。

これらの図中、（ｘ＋　、ｙ＋）は画素位置を示す。

学習の際の入力画像信号及び理想信号のネットワークへ
の入力は、夫々、（ｘ＋　、ｙ＋）で指定されたものを
入力するようにする。

次に、ニューラルネットワークの学習手順の概略を第１
図を用いて説明する。

先ず、学習データとして、第３Ａ図のような学習用の入
力画像信号（Ｙ、Ｍ、Ｃ）と、第３Ｂ図のような理想信
号（Ｙ　’、Ｍ　’、Ｃ’、Ｂ　Ｋ　’）を用意する。

この理想出力信号は教師信号（ｔｅａｃｈ信号）を生成
するために使用される。そして、入力層と中間層間の結
合強度Ｗ、ｌと中間層と出力層間の結合強度ＷＩＩＪを
初期的に適当に決定してから、この初期値に基づいて結
合されたネットワークに入力画像信号（Ｙ、Ｍ、Ｃ）を
入力し、出力のＹ゛Ｍ’、Ｃ’、ＢＫ’　　（＝ｋｏｕ
ｔ；　ｋ＝１〜４）を得る。

この出力と前記理想出力信号とを比較し、この比較から
教師信号（ｔｅａｃｈ）を生成する。この過程を第１図
では、■に）■の過程として示している。この教師信号
から、バックプロパゲーション法により学習しながら、
前記ｗ、、、　ＷｍＪを修正してい（。この過程は、第
１図では、■呻■として示されている。この学習を繰返
すと、結合強度Ｗ、。

Ｗｋ、は、マスキング処理に適切なものとして修正され
ていく。学習の結果として得られた結合強度Ｗ　ｊ　ｉ
　ＨＷ　１１　Ｊはネットワーク内に保持される。

第４Ａ図、第４Ｂ図を用いて学習のための手順を詳細に
説明する。

同図のステップ５４０２では、入力層と中間層の結びつ
きの強さを示す重み係数Ｗ４．、中間層と出力層の結び
つきの強さを示す重み係数Ｗ　ｋ、に初期値を与える部
分である。初期値として、学習過程の収束を考慮して、
−〇、５〜＋０．５の範囲の値を選択する。ステップ５
４０４では、学習用の入力データのなかから、任意（ｘ
＋、ｙい）の注目画素を選択する。ステップ８４０４〜
ステツプ５４０６は、ニューラルネットワークへの入出
力データのセットの手順である。即ち、ステップ５４０
６では、（ｘ　＋　、　ｙ　＋）のＹ、Ｍ、Ｃを、１２
個の入力層のニューラル素子にセットする。ステップ８
４０６では、入力層の各素子を、１ｏｕｔ（ｉ）（ここ
で、ｉ＝１〜１２）で示す。尚、入力層に与える信号は
画像データが８ビツト０〜２５５とすると、２５５で割
った０〜１．０までの値が与えられる。

次に、ステップ５４０８では、理想出力信号としての（
Ｙ　’、Ｍ’、Ｃ’、Ｂ　Ｋ　’）を用意する。尚、ス
テップ８４０８では、出力層の各素子を、１ｄｅａｌｏ
ｕｔ　（ｋ）とで表わし、Ｙ　’、Ｍ　’、Ｃ’、Ｂ　
Ｋ　’に対して、夫々に＝１．２，３．４とする。

ステップ５４１０は、与えられた変換係数に基づき出力
ｋｏｕｔ　（ｋ）を計算する手順を示している。

即ち、入力層からのｉ番目のデータ１ｏｕｔ（ｉ）　　
（１＝１−１２）に中間層の係数Ｗ　Ｊ　ｌを掛け、そ
のｉについての総和Ｓｕｍｒｉを、 ＳｕＩ！１ＦＪ＝Σ、ＷＪＩ　（ｊ、ｉ）　＊　１ｏｕ
ｔ（ｉ）　＝　＝　・・（１）で計算し、次に５番目の
中間層の出力ｊｏｕｔ（］を、０／１に正規化するため
にｓｉｇｍｏｉｄ関数を用いて、 計算する。ここでＳｕｍｙ、のＦは前向き（Ｆｏｒｗａ
ｒｄ）を意味する。同様にして、中間層から出力層への
出力値ｋｏｕｔは次のようにして求める。まず、（１）
と同様に、出力層の係数Ｗう、と中間層からの出力値ｊ
ｏｕｔ（ｊ）とによる積の総和を求めその値Ｓｕｍｒ５
を得る。

Ｓｕｍｒ１１＝ΣＬＪ（ｋ、ｊ）＊ｊｏｕｔ（ｊ）　−
−−−−−（３）次に、Ｏ／１に正規化するためにｓＬ
ｇｍｏｉｄ関数を用いて、 に従って出力層にの出力ｋｏｕｔ　（ｋ）を得る。ここ
で、ｋはに＝１〜４であり、Ｙ’、Ｍ　、Ｃ、ＢＫに対
して、夫々に＝１．２，３．４とする。

こうして、１組のサンプルデータについてのＦＯＲＷＡ
　ＲＤ方向の計算を終了する。以下は、ＢＡＣＫＷＡＲ
Ｄの演算、即ち、上記入力と理想出力の組からなるサン
プルデータからの学習により結合強度を補正するための
手順である。

ステップ５４１２で、初期値（ステップ５４０２でセッ
ト）のＷ　Ｊ　ｌ　、　Ｗ　ｋＪから計算した出力値ｋ
ｏｕｔと、予め用意しである理想出力１ｄｅａｊｏｕｔ
　（ｋ）とを比較する。即ち、この比較により、出力層
の教師信号ｔｅａｃｈ　ｋ（ｋ）を、 ｔｅａｃｈ　ｋ（ｋ）＝　（ｉｄｅａｌ　ｏｕｔ（ｋ）
　−ｋｏｕｔ（ｋ））＊ｋｏｕｔ（ｋ）＊（１−ｋｏｕ
ｔ（ｋ））・・・・・・（５） 計算する。（５）式中のｋｏｕｔ（ｋ）＊（１−ｋｏｕ
ｔ（ｋ））はｓｉｇｍｏｉｄ関数の微分値の意義を有す
る。次に、ステップ５４１４で、出力層の結合度の変化
幅△Ｗ　ｋＪ　（ｋ、ｊ）を求める。即ち、△ｗｉ、Ｊ
（ｋ、、ｉ）＝　　β　傘ｊｏｕｔ（ｊ）傘ｔｅａｃｈ
　　ｋ（ｋ）＋α本△Ｌ、　（ｋ、　ｊ）　　・・・・
・・　（６）を計算する。尚、α、βは固定値の係数で
、この実施例では、０．５とした。ステップ５４１５で
は、この変化幅△Ｌ４（ｋ、ｊ）に基づいて、中間層と
出力相関の結合度ｗｋＪ（＋＜、ｊ）を更新する、即ち
、学習する。

Ｌ７　（ｋ、　ｊ）　＝△ＬＪ（ｋ、ｊ）＋Ｌ＞（ｋ、
ｊ）・・・・・・（７） 次に、ステップ８４１６で、中間層の教師信号ｔｅａｃ
ｈ　ｊ（ｊ）を計算する。即ち、先ず、Ｓｕｍｓ、　　
＝　　Ｊｔｅａｃｈ−ｋ（ｋ）申Ｌ＝（ｋ、ｊ）、　　
、、　　０．　（８。

に基づいて、中間層の各ニューラルにおける、出力層か
らのＢ　Ａ　ＣＫＷＡ　ＲＤ方向の寄与を演算する。そ
して、この寄与を、次式に従ってｓｉｇａ＋ｏＬｄ関数
の微分値を用いて正規化することにより、中間層の教師
信号ｔｅａｃｈ　ｊ（ｊ）を演算する。

ｔｅａｃｈｊ（ｊ）＝　ｊｏｕｔ（ｊ）傘（１−ｊｏｕ
ｔ（ｊ））＊ＳｕｍｓＪ・・・・・・（９） 尚、（９）式のｔｅａｃｈｊ　（ｊ）は中間層における
理想信号としての意義を有する。

次に、ステップ５４１８で、この教師信号ｔｅａｃｈ　
ｊ（ｊ）を用いて、中間層の結合度の変化幅△ＷＪＩ（
ｊ、ｉ）を演算する。即ち、△ＷＪ　ｌ（ｊ、ｉ）＝　
　β＊１ｏｕｔ（ｉｌ中ｔｅａｃｈ　　ｊ（ｊ）＋α傘
△ＷＪ　＋　（ｊ、　ｉ）・・・・・・　（１０）そし
て、ステップ５４２０では結合度Ｗ　Ｊｌ　（Ｊ、　１
）を更新する。即ち、 Ｗ、ｌ（ｊ、　ｉ）　＝　ＷＪ＋　（、＋、１）＋△Ｗ
Ｊ　＋　（Ｊ、’）である。

こうして、１ｏｕｔ（ｉ）としてのＹ、Ｍ、Ｃと、これ
に対応する理想出力データとしてのマスキング処理され
たデータ１ｄｅａｌ　ｏｕｔとから、バックプロパゲー
ション法に基づいて、結合度ＷＪＩとＷｋＪとが一回、
学習された。

ステップ５４２２では、このような操作を、全組のサン
プリング入力データについて行なったかを調べ、全組の
サンプリングデータについて実行するまでステップ８４
０４〜ステツプ５４２０の手順を繰返す。

全組のサンプリングデータについての学習を１回だけ行
なったのでは精度が低いと考えられるので、ステップ５
４２４での判断により、この精度が高（なったと考えら
れるまで、ステップ５４０４〜ステツプ５４２２の処理
を繰返す。

尚、ステップ５４０４で指定されるブロックの位置はシ
ーケンシャルでな（ランダムに指定される方がよい。

以上が、実施例におけるバックプロパゲーション法に基
づいた学習手順の説明である。

尚、学習時゛に与える理想信号及び入力層に与える信号
は、サンプル数を増やし、しかもあらゆる色空間にまん
べんなくサンプルをとることが好ましい。

本発明はその主旨を逸脱しない範囲で種々の変形が可能
である。

例えば、入力層では何も処理しないことを前提にして、
単色処理部の各入力層を共有するように変形すれば、結
果として、各出力層の素子に結合する中間層や、さらに
入力層に至るまで、ニューラルネットワークにより結合
するすべての中間層の素子が、全く共有されていない１
個のニューラルネットワークとしてみなすことが可能で
ある。

また、以下のような変形例を提案する。

前述したように、出力層を１素子とすれば、１間層を２
層にして各素子数を減らしても良いし、中間層を１層に
して素子数を増やしても良い。

特に出力層の理想出力が大きく異なる属性を１する場合
には、上記実施例を適用するとよい。θえば、入力層に
は、ある注目画素とその周囲の姿画素を与える。そして
出力層にはエツジ強調借上を与えて学習や実行を行ない
、別のニューラル博ットワークに対しては、同じ入力に
対して出力層の理想信号としてスムージング（平滑化）
信号令与えると非常に有効である。

さらに上記実施例の中では、全く同じ構成の；ユーラル
ネットワークである単色処理部を４つ４色分）使用して
いるが、各単色処理部毎に中ｒＪ層の素子が数が事なっ
ても構わない。さらに各累子間の結合についても実施例
中では、すべての素子同士の組み合せで結合されいてる
が、中間層のある素子と次のある素子との間に結合がな
い場合があっても良い。

［発明の効果］ 以上説明した本発明の画像処理方式は、入力層、中間層
、出力層とからなるニューラルネットワークを用い、前
記入力層に画像データを入力し、このネットワーク内で
所定の画像処理を行ない、前記出力層から処理された画
像データを出力する画像処理方式であって、前記中間層
は複数のニューラル素子から構成されているとともに、
この複数のニューラル素子は出力層のニューラル素子の
数と同数のグループに分割され、前記出力層内の各々の
ニューラル素子は、上記１つのグループ内のニューラル
素子のみと結合されていることを特徴とする。

即ち、出力層の各素子は夫々、独自のグループの中間層
の素子グループのみと結合しているので、それらは互い
に独立しているために、学習の収束が速やかになり、そ
の分、学習精度が高められ、結果的には、速度や精度が
向上した分だけ、中間層を減らすことが可能となる。即
ち、ニューラルネットワークの小規模化とそのニューラ
ル素子の結合係数を学習する際の効率化の両立が果たさ
れる。

【図面の簡単な説明】

第１図は実施例に用いられるニューラルネットワークの
構成を示す図、 第２図は従来技術の構成を説明する図、第３Ａ図、第３
Ｂ図は第１図実施例のネットワークの学習に用いられる
入力信号データ、理想出力信号データを示す図、 第４Ａ図、第４Ｂ図は実施例の学習のための制御手順の
フローチャートである。 ζニー−ニジ 第 図 Ｘ Σ

Claims (5)

【特許請求の範囲】
1. （１）　入力層、中間層、出力層とからなるニユーラル
   ネツトワークを用い、前記入力層に画像データを入力し
   、このネツトワーク内で所定の画像処理を行ない、前記
   出力層から処理された画像データを出力する画像処理方
   式であって、 前記中間層は複数のニューラル素子から構成されている
   とともに、この複数のニューラル素子は出力層のニュー
   ラル素子の数と同数のグループに分割され、 前記出力層内の各々のニューラル素子は、上記１つのグ
   ループ内のニューラル素子のみと結合されていることを
   特徴とするニューラルネツトワークを用いた画像処理方
   式。
2. （２）　前記出力層の各々のニューラル素子の出力は、
   互いに独立の性質を有する画像信号を表わす事を特徴と
   する請求項の第１項に記載のニューラルネツトワークを
   用いた画像処理方式。
3. （３）　前記中間層の全ニューラル素子の各々と入力層
   の全ニューラル素子の各々との間の全ての結合定数は互
   いに独立に設定されている事を特徴とする請求項の第１
   項に記載のニューラルネツトワークを用いた画像処理方
   式。
4. （４）　前記所定の画像処理はマスキング処理である事
   を特徴とする請求項の第１項に記載のニューラルネツト
   ワークを用いた画像処理方式。
5. （５）　前記ニューラルネツトワークの学習方法として
   バックプロパゲーション法を適用する事を特徴とする請
   求項の第１項に記載のニューラルネツトワークを用いた
   画像処理方式。