JPH0981723A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像処理のためのニューラルネットワークを
安価でハードウェア化する。 【解決手段】 画像処理装置に具備するニューラルネッ
トワークを、画像中の注目画素を含む７×７領域の各画
素の情報が入力されるニューロンを有する入力層と、該
入力層の全ニューロン４９個と結合した１つのニューロ
ンと、前記７×７領域に含まれる５つの３×３領域１ａ
〜ｅのいずれか１つの領域の各画素の情報が入力される
前記入力層のニューロン９個と結合した９個のニューロ
ンのグループ５つとを有する中間層と、該中間層の全ニ
ューロンと結合し、前記注目画素に対する情報を出力す
る１つのニューロンを有する出力層とを具える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば多値画像デ
ータの情報を削減して得られた二値画像データから、元
の多値画像データを復元するような多値画像を二値画像
に変換する処理や、領域が中間調部分であるか文字部分
であるかを判別する処理などの画像処理に関するもので
ある。

【０００２】

【従来の技術】従来、二値画像から多値画像を推定する
方法として、図１０に示されるような平滑フィルタを使
用する方法や、階層型ニューラルネットワークを使用す
る方法が用いられている。

【０００３】

【発明が解決しようとしている課題】しかしながら、平
滑化フィルタでは、中間調部分、文字部分を同時に良好
に多値変換することはできない。例えば、図１０（ａ）
のような小さなウィンドウを用いれば文字は良好に多値
変換するが、中間調部分に粒状性が残る。又、図１０
（ｂ）のような広いウィンドウでは中間調部分は良好に
多値変換するが文字がぼける。このフィルタの欠点を補
うのが、ニューラルネットワークを使用する方法であ
る。ニューラルネットワークによる方法は、入力情報を
増やせば増やすほど良好な多値変換が行える。

【０００４】しかしながら、入力層と中間層との間、中
間層と出力層との間の全てを結合したニューラルネット
ワークは、計算量が膨大なため、ソフトウェアで処理す
ると、かなりの時間を要する。例えば、２５６×２５６
画素３色の画像を入力層４９個、中間層２５個、出力層
１１個のニューラルネットワークで処理すると、約１２
分かかる。そこで、ハードウェア化が望まれるのである
が、現在公開されているニューロチップは高価であり、
実用的ではない。

【０００５】

【課題を解決するための手段】上記課題を解決するため
に、本発明によれば、画像処理装置に、画像中の注目画
素を含む第１の領域の各画素の情報が入力されるニュー
ロンを有する入力層と、該入力層の全ニューロンと結合
した少なくとも１つのニユーロンと、前記第１の領域に
含まれる複数の第２の領域のいずれか１つの領域の各画
素の情報が入力される前記入力層のニューロンと結合し
た複数のニューロンとを有する中間層と、該中間層の全
ニューロンと結合し、前記注目画素に対する情報を出力
する少なくとも１つのニューロンを有する出力層とを具
えたニューラルネットワークを具備する。

【０００６】

【発明の実施の形態】本実施形態のニューラルネットワ
ーク構成について述べる前に、ニューラルネットワーク
の概要を簡単に説明する。

【０００７】ニューラルネットワークとは、人間の細胞
を真似たネットワークで、ネットワークの個々の構成要
素は人間の神経細胞と似た機能をもつ。その要素はニュ
ーロンと呼ばれる。ニューロンは互いに接続していて、
各ニューロンの動作、及びニューロン間の接続形態をう
まく決めることで、パターン認識機能を埋め込むことが
できる。

【０００８】ニューラルネットワークは大きく２種類の
タイプに分かれる。階層型ネットワークと相互結合型ネ
ットワークの２種類である。ここで、多値復元に使用す
るのは前者の階層型ネットワークで、学習により接続形
態（重み係数）を調節するのが特徴であり、学習アルゴ
リズムをバックプロパゲーションと呼ぶ。

【０００９】〔ニューロンの構造〕ニューロンの構造を
図７に示す。構造は単純で、他のニューロンからの入力
を重みを掛けながら受ける部分、入力を一定の規則にし
たがって変換する部分、結果を出力する部分からなる。
この重みは接続されている他のニューロンとの結合の強
さを表している。重み係数が０というのは結合のないこ
とを表す。学習の段階ではこの重み係数は可変である
が、出力誤差が収束して学習を打ち切った時点での重み
係数は定数となり、通常変わることはない。

【００１０】ニューロンは他の複数ニューロンｉからの
信号ｉｎｐｕｔ〔ｉ〕と重みｗ〔ｉ〕の積和を入力値と
する。その入力値をｓｕｍとするとｓｕｍは次の式で表
せる。

【００１１】

【外１】

【００１２】各ニューロンはｓｕｍを関数ｆに適用し、
変換する。この変換には一般的に図８（ａ）のようなし
きい値関数か図８（ｂ）のようなシグモイド関数を使
う。今回のシミュレーションでは（ｂ）のシグモイド関
数を使った。シグモイド関数とは、微分可能な擬似関数
で、

【００１３】

【外２】 で表せる。この関数は０〜１の値を出力する。

【００１４】〔階層型ネットワーク〕階層型ネットワー
クの構成例を図９に示す。

【００１５】入力信号を受け取るだけの入力層のニュー
ロンの数は、入力ベクトルの数と一致し、出力層のニュ
ーロンの数は分類すべきクラスの数だけ必要である。中
間層の数、及び中間層のニューロンの数は原則的にいく
つでも良く、又なくても構わない。学習は以下のステッ
プで行う。

【００１６】入力層・中間層間、中間層・出力層間の
すべての重み係数に乱数で初期値を与える。

【００１７】入力パタンと、その入力のときの理想的
な出力（理想出力）とを用意する。

【００１８】入力パタンを入力層のニューロンに入力
し、ネットワークの構成に従って出力を計算する。

【００１９】出力と理想出力との誤差を求める。

【００２０】誤差から各重み係数の修正量を求め、重
み係数を更新する。

【００２１】誤差が収束するまで〜の処理を繰り
返す。

【００２２】以上のステップにより得られた重み係数が
最終的な定数となる。

【００２３】〔ネットワーク構造〕図３のような７×７
のウインドウを設けた場合のネットワーク構造を図１に
示す。注目画素を中心とした７×７のウインドウ内の各
画素を入力値とするので入力層のニューロンは各画素に
対応する４９個である。前記７×７のウインドウ内に注
目画素を含む３×３の小領域を５つ作成し、中間層の立
場から構造を見て説明する。まず、中間層の最初の１つ
のニューロンは、７×７の領域に含まれる各画素に対応
する入力層のニューロン（すなわち全ニューロン）と結
合している。次の９つのニューロンは、いずれも第１の
小領域１ａに含まれる画素に対応する入力層の９個のニ
ューロンと結合している。次の９つのニューロンは第２
の小領域１ｂに含まれる画素に対応する入力層の９個の
ニューロンと結合している。以下、同様に第３、第４、
第５の小領域（１ｃ，１ｄ，１ｅ）内に含まれる画素に
対応する入力層のニューロンに結合する中間層のニュー
ロンがそれぞれ９個であり、この結果として、中間層の
ニューロンは全部で１＋９×５＝４６個となる。この中
間層のニューロンは全て出力層のニューロンに接続して
いる。図１では接続線、重み係数はグループずつ束にし
て表してあり、数字がその束の数を表している。例えば
小領域１ａ内の画素に対応する入力層のニューロン９個
とそれに接続される中間層のニューロン９個との結線
は、全て接続しあっているので９×９＝８１本あり、重
み係数も８１個ある。

【００２４】〔ハード構成〕以上の構造は、入力層のニ
ューロン４９個、中間層のニューロン４６個、出力層の
ニューロン１個のネットワークで一部の結線がない（重
み係数が０である）ネットワークに等しいが、ランダム
に結線を省くのではなく規則的に省いたことにより、 小領域に対応する入力層のニューロン９個 それに接続される中間層のニューロン９個 その９個の中間層のニューロンと出力層のニューロン
との重み係数９個 は１セットと考えられる。１つのセットは９個の入力か
ら１個の出力を出すブラックボックスと考えられるの
で、９ビットのルックアップテーブルに置き換えること
ができる。１ａ〜１ｅの５つのブラックボックスの様子
を図４に示す。４０１は小領域内の画素に対応する入力
層のニューロンで１ａ〜１ｅに中で重複が存在する。４
０２はそれに接続される中間層のニューロン９個であ
る。４０３はその９個の中間層のニューロンと出力層の
ニューロンとの重み係数９個である。４０１と４０２の
間はすべて結合しており、４０４には４０２からの出力
と４０３の値の積和の値が与えられる。

【００２５】又、一番目の中間層のニューロンは、入力
層の全ニューロン４９個から情報をもらっている。これ
も４９個の結線と重み係数の組を１０＋１０＋１０＋１
０＋９の５つに分けて考えるとルックアップテーブルに
することができる。これを図５に示す。

【００２６】５０１は入力層のニューロン４９個、５０
２は、入力層のニューロンと中間層の１番目のニューロ
ンとの重み係数である。

【００２７】さらにシグモイド関数も、やはりルックア
ップテーブルで処理することにする。

【００２８】従って図１のニューラルネットワークは図
２のようなハード構成となる。

【００２９】図２において、２０１は７ラインバッファ
で、ＦＩＦＯメモリ２０１ａ〜２０１ｇにより構成さ
れ、図示していない画像入力装置によって原稿から読み
取られた画像データが、ＦＩＦＯメモリ２０１ａ〜２０
１ｇに入力される。ＦＩＦＯメモリ２０１ａ〜２０１ｇ
には、画像の垂直方向の連続する７ラインのデータが記
憶され、７ラインの内、水平位置の左端から右端までの
データが順次クロックに同期して出力される。

【００３０】これにより、水平、垂直で７×７の領域内
のデータがデータラッチ２０２にラッチされる。データ
ラッチ２０２にラッチされている４９個のデータは、１
０、１０、１０、１０、９の束に分かれ、５つのルック
アップテーブル２０３にそれぞれ入力される。

【００３１】ルックアップテーブル２０３からの５つの
出力は、アダー２０４で加算される。加算されたデータ
はシグモイド関数のルックアップテーブル２０５に入力
され、シグモイド関数変換されたデータを出力する。

【００３２】一方、ラッチ２０２からの４９個のデータ
のうち、小領域１ａ内の画素に対応するデータはルック
アップテーブル２０６のルックアップテーブル２０６ａ
に入力される。

【００３３】同様に小領域１ｂ〜１ｅ内の画素に対応す
るデータは、ルックアップテーブル２０６ｂ〜２０６ｅ
にそれぞれ入力される。

【００３４】ルックアップテーブル２０５からの出力と
ルックアップテーブル２０６からの５つの出力は、アダ
ー２０７で加算される。加算されたデータは、最終的な
シグモイド関数ルックアップテーブル２０８に入力さ
れ、多値データを出力する。

【００３５】（他の実施形態）以上の実施形態におい
て、入力データ領域は７×７ではなく、５×５でも構わ
ない。それにより、図２のルックアップテーブル２０３
は３つに減り、アダー２０４の負担も軽くなる。入力デ
ータはもちろん、矩形でなくても構わないし、注目画素
を中心とする必要もない。小領域の形もどんな形でも良
いし、もちろん数も限定されない。

【００３６】又、上述の実施形態では、シグモイド関数
を使用したが、しきい値関数でも良いし、その他図６に
示すようなシグモイド関数を近似した関数、その他でも
良い。中間層の数と、ニューロン数もいくつでも構わな
い。

【００３７】又、本発明の利用可能な画像処理も、上述
の２値画像から多値画像への変換に限らず、領域判別、
エッジ強調、ぼけ修復などいろいろな画像処理分野にこ
の構成は応用可能である。さらに拡張すれば、このグル
ープ分けされたネットワークは、画像処理に限らず、あ
らゆる分野に応用可能である。

【００３８】

【発明の効果】以上説明したように、本発明によれば、
画像処理装置に具備するニューラルネットワークを、画
像中の注目画素を含む第１の領域の各画素の情報が入力
されるニューロンを有する入力層と、該入力層の全ニュ
ーロンと結合した少なくとも１つのニューロンと、前記
第１の領域に含まれる複数の第２の領域のいずれか１つ
の領域の各画素の情報が入力される前記入力層のニュー
ロンと結合した複数のニューロンとを有する中間層と、
該中間層の全ニューロンと結合し、前記注目画素に対す
る情報を出力する少なくとも１つのニューロンを有する
出力層とを具えた構成としたので、ニューラルネットワ
ークのハードウェア化が安価に実現でき、これにより、
ニューラルネットワークを利用した画像処理が、リアル
タイムに実行可能となるという効果がある。

【図面の簡単な説明】

【図１】本発明の１実施形態の画像処理装置のネットワ
ーク構成を示す図である。

【図２】本発明の１実施形態の画像処理装置のハードウ
ェア構成を示す図である。

【図３】参照ウィンドウの構成を示す図である。

【図４】小領域のセットのハードウェア構成を示す図で
ある。

【図５】入力層の全てのニューロンと結合した中間層の
ニューロンのハードウェア構成を示す図である。

【図６】シグモイド関数を近似した関数の例を示す図で
ある。

【図７】ニューロンの構造を示す図である。

【図８】ニューロンの入出力の例を示す図である。

【図９】階層型ニューラルネットワークの構成を示す図
である。

【図１０】平滑化フィルタの例を示す図である。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 画像中の注目画素を含む第１の領域の各
   画素の情報が入力されるニューロンを有する入力層と、 該入力層の全ニューロンと結合した少なくとも１つのニ
   ューロンと、前記第１の領域に含まれる複数の第２の領
   域のいずれか１つの領域の各画素の情報が入力される前
   記入力層のニューロンと結合した複数のニューロンとを
   有する中間層と、 該中間層の全ニューロンと結合し、前記注目画素に対す
   る情報を出力する少なくとも１つのニューロンを有する
   出力層とを具えたニューラルネットワークを具備した画
   像処理装置。
2. 【請求項２】 前記入力層に入力される情報が各画素の
   ２値情報であり、前記出力層より出力される情報が前記
   注目画素の多値情報であることを特徴とする請求項１に
   記載の画像処理装置。
3. 【請求項３】 前記ニューラルメットワークを、ＲＯＭ
   で構成された複数のルックアップテーブルと、該複数の
   ルックアップテーブルの一部の出力を加算するアダーと
   を用いて構成したことを特徴とする請求項１に記載の画
   像処理装置。
4. 【請求項４】 前記第２の領域の各々が注目画素を含む
   領域であることを特徴とする請求項１に記載の画像処理
   装置。
5. 【請求項５】 前記第２の領域のすべての合併が前記第
   １の領域と等しくなることを特徴する請求項１に記載の
   画像処理装置。