JPH1070652A - 画像領域属性判別装置 - Google Patents

Abstract

(57)【要約】 【課題】注目領域の画像の種類と注目領域のサイズとの
相互関連に起因する属性の誤判別を可及的になくし、属
性の判別をより正確に行うことを目的とする。 【解決手段】原画像のうちの属性を判別すべき注目領域
に対して、互いにサイズの異なる複数のブロック領域に
対応する画像データを抽出するブロック領域抽出部１１
と、互いにサイズの異なるブロック領域の画像データが
入力され、入力された画像データに基づいて注目領域の
属性をそれぞれ判別するための複数のブロック判別用ニ
ューラルネットワーク１２Ａ，１２Ｂ，１２Ｃと、これ
らブロック判別用ニューラルネットワークから出力され
る各判別結果に基づいて、注目領域の属性を総合的に判
別するための総合判別用ニューラルネットワーク１３と
を有し、ブロック判別用ニューラルネットワークは、ブ
ロック領域のサイズに応じて判別すべき属性の種類が互
いに異なるように構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複写機などにおい
て画像処理を行う際に用いられる画像領域属性判別装置
に関する。

【０００２】

【従来の技術】従来より、複写機においては、原稿の画
像を読み取って得られた多値の画像データに対して、画
像品質の向上を図るために、画像の種類に応じた種々の
画像処理が行われる。例えば、文字画像に対しては文字
を明瞭にするためにエッジ強調処理や２値化処理が行わ
れ、写真画像に対しては階調性を重視した処理が行わ
れ、網点画像に対してはモアレ防止のために平滑化処理
が行われる。

【０００３】さて、複写原稿には、文字画像、写真画
像、網点画像などが混在している場合がある。その場合
には、原稿画像をそれぞれの領域に分割する必要があ
る。領域分割に当たっては、原稿画像の中から注目領域
を順次抽出し、抽出したそれぞれの注目領域についてそ
の属性を判別することが行われる。

【０００４】例えば特開平４−１１４５６０号公報に
は、原稿画像から６４×６４画素の注目領域に対応する
画像データを抽出し、抽出した画像データに基づいてヒ
ストグラム特徴量及び線密度特徴量を抽出し、これをニ
ューラルネットワークに入力して属性を判別することが
提案されている。

【０００５】また、井上らの報告書「ニューラルネット
ワークを利用した画像領域の分離方式」（日本シミュレ
ーション学会第１３回シミュレーション・テクノロジー
・コンファレンス、１９９４年６月）には、８×８画素
の注目領域における平均輝度及び最大濃度差を特徴量と
して抽出し、これをニューラルネットワークに入力して
属性を判別することが提案されている。

【０００６】

【発明が解決しようとする課題】しかし、従来において
は、属性を判別すべき１つの注目領域に対応して画像デ
ータを１つのみ抽出し、その１つの画像データに基づい
て属性の判別を行っているので、注目領域の実際の画像
の種類と注目領域のサイズ（大きさ）との関連で誤判別
の生じることがあり、正確な判別を行えないという問題
があった。

【０００７】例えば、注目領域の画像が網点画像である
場合に、その網点周期に比べて注目領域のサイズが小さ
いときには、画像データの中に網点周期に関する情報が
含まれないために網点画像を写真画像（濃淡画像）と誤
判別してしまう可能性がある。また、注目領域の画像が
文字画像である場合にその文字が大きいとき、網点画像
である場合に網点の線や点が太いときにも、注目領域の
中に文字や網点の特徴が入らないために写真画像と誤判
別してしまう可能性がある。

【０００８】また、上述した従来からの種々の提案にお
いては、ニューラルネットワークとして、入力層、中間
層、及び出力層からなる３層のパーセプトロン、又はそ
の改良型が用いられている。また、ニューラルネットワ
ークに与える入力信号として、ブロック領域の画像デー
タから抽出された種々の特徴量が用いられている。つま
り、従来においては、物理的な意味を有する種々の特徴
量を組み合わせることによって、ニューラルネットワー
クによる属性の判別が行われている。

【０００９】しかし、複写機のように領域属性をリアル
タイムで判別する必要がある場合には、特徴量を抽出す
るための回路が複雑となり、回路を構成すること自体が
困難であるとともに、処理速度、柔軟性、コストの点で
も不利であった。また、種々の複写原稿に対して特徴量
毎に閾値を決定することが極めて困難であり、多くの経
験とノウハウを必要とし、閾値決定のための実験などに
多くの時間と労力を要するものであった。

【００１０】請求項１乃至請求項３の発明は、上述の問
題に鑑みてなされたもので、注目領域の画像の種類と注
目領域のサイズとの相互関連に起因する属性の誤判別を
可及的になくし、属性の判別をより正確に行うことので
きる画像領域属性判別装置を提供することを目的とす
る。

【００１１】請求項２の発明は、さらに、入力された画
像データに基づいてその領域の属性をより正確に且つ容
易に判別することを目的とする。

【００１２】

【課題を解決するための手段】請求項１の発明に係る装
置は、原画像のうちの属性を判別すべき注目領域に対し
て、互いにサイズの異なる複数のブロック領域に対応す
る画像データを抽出するブロック領域抽出手段と、互い
にサイズの異なるブロック領域の画像データが入力さ
れ、入力された画像データに基づいて注目領域の属性を
それぞれ判別するための複数のブロック判別用ニューラ
ルネットワークと、前記ブロック判別用ニューラルネッ
トワークから出力される各判別結果に基づいて、前記注
目領域の属性を総合的に判別するための総合判別用ニュ
ーラルネットワークとを有し、前記ブロック判別用ニュ
ーラルネットワークは、ブロック領域のサイズに応じて
判別すべき属性の種類が互いに異なるように構成されて
なる。

【００１３】請求項２の発明に係る装置は、原画像のう
ちの属性を判別すべき注目領域に対して、互いにサイズ
の異なる複数のブロック領域に対応する画像データを抽
出するブロック領域抽出手段と、互いにサイズの異なる
ブロック領域の画像データが入力され、入力された画像
データに基づいて注目領域の属性をそれぞれ判別するた
めの複数のブロック判別用ニューラルネットワークと、
前記ブロック判別用ニューラルネットワークから出力さ
れる各判別結果に基づいて、前記注目領域の属性を総合
的に判別するための総合判別用ニューラルネットワーク
とを有し、前記各ブロック判別用ニューラルネットワー
クは、少なくとも１つの中間層のニューロン数が入力層
のニューロン数よりも小さく且つ入力層と出力層のニュ
ーロン数が互いに同一であり、恒等写像を学習済の第１
のニューラルネットワークのうちの前記入力層から前記
中間層までで構成される、１つ又は複数の特徴抽出用セ
ンサと、前記特徴抽出用センサからの出力が入力される
ように結合され、前記特徴抽出用センサの入力層に入力
される前記画像データに基づいて、前記注目領域の属性
についての判別結果を出力する第２のニューラルネット
ワークとからなり、前記ブロック判別用ニューラルネッ
トワークは、ブロック領域のサイズに応じて判別すべき
属性の種類が互いに異なるように構成されてなる。

【００１４】請求項３の発明に係る装置は、前記ブロッ
ク領域抽出手段は、前記ブロック領域に対応する画像デ
ータのデータ量を減少させるためのデータ圧縮手段を含
んでなる。

【００１５】ブロック領域抽出手段によって、１つの注
目領域に対して互いにサイズの異なる複数のブロック領
域に対応する画像データが抽出される。例えば、８×８
画素の注目領域に対して、８×８画素、１６×１６画
素、３２×３２画素の３種類のサイズのブロック領域に
対応する画像データが抽出される。

【００１６】データ圧縮手段を有する場合には、データ
の間引き又は代表値の演算などによって画像データの圧
縮が行われ、例えば３種類の各画像データが８×８画素
に圧縮され、これによってデータ量が減少される。デー
タ量が減少されても、それぞれのサイズに含まれていた
画像の特徴は継承される。データ量が減少されることに
よって解像度が低下し、その結果、解像度の異なる３種
類の画像データとなる。

【００１７】ブロック判別用ニューラルネットワーク
は、サイズの異なるブロック領域に対応する画像データ
に基づいて、注目領域の属性をそれぞれ判別する。その
場合に、各ブロック判別用ニューラルネットワークは、
判別する属性の種類が互いに異なる。例えば、８×８画
素のブロック領域に対しては、文字領域、文字背景領
域、写真平坦領域、写真エッジ領域、網点領域の５種類
の属性を判別し、１６×１６画素のブロック領域に対し
ては、文字領域、文字背景領域、写真平坦領域、網点領
域の４種類の属性を判別し、３２×３２画素のブロック
領域に対しては、文字領域、文字背景領域、写真平坦領
域の３種類の属性を判別する。つまり、写真エッジ領域
の属性の判別に当たっては８×８画素の比較的小さいサ
イズのブロック領域のみの画像データを用い、網点領域
の属性の判別に当たっては８×８画素及び１６×１６画
素の比較的小さい方のサイズのブロック領域の画像デー
タを用い、文字領域、文字背景領域、及び写真平坦領域
の３つの属性の判別に当たっては全部のサイズのブロッ
ク領域の画像データを用いる。

【００１８】総合判別用ニューラルネットワークは、各
ブロック判別用ニューラルネットワークの判別結果に基
づいて、当該注目領域についての属性を総合的に判別す
る。請求項２の発明では、特徴抽出用センサによって、
入力される画像データの特徴量が抽出される。この場合
の特徴量は、物理的に明確な意味を持った特徴量ではな
い。例えば、入力として文字画像又は写真画像などの画
像データを入力した場合は、「文字画像らしさ」「写真
画像らしさ」などといった画像の性質を表すようなもの
である。

【００１９】第２のニューラルネットワークからは、学
習によって、特徴抽出用センサにより抽出される特徴量
に対応した出力が得られる。ニューラルネットワークに
よって、入力された画像データに対して、文字領域、文
字背景領域、写真平坦領域、写真エッジ領域、網点領域
などの属性が判別される。

【００２０】

【発明の実施の形態】図１は本発明に係る属性判別装置
１の構成を示すブロック図、図２は原稿ＰＰの注目領域
ＴＡとブロック領域ＢＡ１〜３との関係を説明する図、
図３はブロック判別用ニューラルネットワーク１２Ａの
構成を示す図、図４は特徴抽出用ネットワーク２３の作
成過程を示す図、図５は砂時計型のニューラルネットワ
ークＮＮＡの例を示す図、図６は領域判別用ネットワー
ク２４Ａの例を示す図、図７はブロック判別用ニューラ
ルネットワーク１２Ｂの構成を示す図、図８は領域判別
用ネットワーク２４Ｂの例を示す図、図９はブロック判
別用ニューラルネットワーク１２Ｃの構成を示す図、図
１０は領域判別用ネットワーク２４Ｃの例を示す図、図
１１は総合判別用ニューラルネットワーク１３の構成を
示す図、図１２はブロック判別用ニューラルネットワー
ク１２の作成方法を示すフローチャートである。

【００２１】属性判別装置１は、例えば図示しないデジ
タル式の複写機に組み込まれている。複写機のイメージ
リーダ部が原稿台にセットされた原稿ＰＰを読み取るこ
とによって、原稿ＰＰの画像（原画像）ＰＭについての
多値の画像データＤＭが得られる。イメージリーダ部
は、読み取り密度が例えば４００ｄｐｉのラインセンサ
を備えており、原稿ＰＰを縦方向（副走査方向）に走査
することによって、例えば２５６階調の画像データＤＭ
を得る。属性判別装置１は、得られた画像データＤＭに
基づいて、原画像ＰＭに含まれる注目領域ＴＡについて
の属性ＡＴを判別する。注目領域ＴＡは、例えば８×８
画素の正方形の領域であり、原画像ＰＭに対して各注目
領域ＴＡが互いに重ならないように割り当てられてい
る。

【００２２】図１に示すように、属性判別装置１は、ブ
ロック領域抽出部１１、ブロック判別用ニューラルネッ
トワーク１２Ａ，１２Ｂ，１２Ｃ、及び総合判別用ニュ
ーラルネットワーク１３から構成されている。なお、ブ
ロック判別用ニューラルネットワーク１２Ａ，１２Ｂ，
１２Ｃの全部又は一部を指して「ブロック判別用ニュー
ラルネットワーク１２」と記載することがある。また、
ブロック判別用ニューラルネットワーク１２Ａ，１２
Ｂ，１２Ｃは、それぞれ入力される画像データＤＭａ
１，２，３の解像度が異なるので、それぞれ、第１解像
度用のブロック判別用ニューラルネットワーク１２Ａ、
第２解像度用のブロック判別用ニューラルネットワーク
１２Ｂ、第３解像度用のブロック判別用ニューラルネッ
トワーク１２Ｃと言うことがある。

【００２３】ブロック領域抽出部１１は、入力された画
像データＤＭから、原画像ＰＭのうちの属性ＡＴを判別
すべき注目領域ＴＡについて、互いにサイズの異なる複
数のブロック領域ＢＡ（ＢＡ１，ＢＡ２，ＢＡ３）に対
応する画像データＤＭａ（ＤＭａ１，ＤＭａ２，ＤＭａ
３）を抽出するものである。ブロック領域抽出部１１
は、データ抽出部２１（２１ａ，２１ｂ，２１ｃ）、及
びデータ圧縮部２２（２２ｂ，２２ｃ）からなる。

【００２４】データ抽出部２１ａは、１つの注目領域Ｔ
Ａに対して、その注目領域ＴＡと同一位置で同一サイズ
のブロック領域ＢＡ１の画像データＤＭａ１を抽出す
る。データ抽出部２１ｂは、その注目領域ＴＡに対し
て、縦横とも注目領域ＴＡの２倍のサイズのブロック領
域ＢＡ２の画像データＤＭａａ２を抽出する。データ抽
出部２１ｃは、その注目領域ＴＡに対して、縦横とも注
目領域ＴＡの４倍のサイズのブロック領域ＢＡ３の画像
データＤＭａａ３を抽出する。つまり、各データ抽出部
２１が抽出するブロック領域ＢＡ１，ＢＡ２，ＢＡ３
は、縦横のサイズ比が１対２対４であり、面積比では１
対４対１６である。注目領域ＴＡが８×８画素の領域で
ある場合には、ブロック領域ＢＡ１，ＢＡ２，ＢＡ３
は、それぞれ、８×８画素、１６×１６画素、３２×３
２画素である。したがって、画像データＤＭａ１，ＤＭ
ａａ２，ＤＭａａ３のデータ量比は、１対４対１６であ
る。

【００２５】データ圧縮部２２ｂは、データ抽出部２１
ｂによって抽出された画像データＤＭａａ２を間引いて
データ量を４分の１に減少させ、それを画像データＤＭ
ａ２とする。データの間引き方法として、例えば、主走
査方向に沿って４画素から３画素を間引く。又は、２×
２画素の領域から３画素を間引く。データ圧縮部２２ｃ
は、データ抽出部２１ｃによって抽出された画像データ
ＤＭａａ３を間引いてデータ量を１６分の１に減少さ
せ、画像データＤＭａ３とする。これによって、各ブロ
ック領域ＢＡ１〜３に対応する画像データＤＭａ１，Ｄ
Ｍａ２，ＤＭａ３のデータ量は全て６４（＝８×８）画
素分となる。

【００２６】ブロック判別用ニューラルネットワーク１
２は、ブロック領域抽出部１１から出力される３種類の
各画像データＤＭａ１，ＤＭａ２，ＤＭａ３に基づい
て、注目領域ＴＡの属性ＡＴが、文字領域、文字背景領
域、写真平坦領域、写真エッジ領域、又は網点領域であ
るか否かについての判別結果を出力する。つまり、各サ
イズのブロック領域ＢＡ１〜３毎に、注目領域ＴＡの属
性ＡＴを判別してその結果を出力する。

【００２７】ブロック判別用ニューラルネットワーク１
２は、特徴抽出用ネットワーク２３Ａ，２３Ｂ，２３
Ｃ、及び第２のニューラルネットワークとしての領域判
別用ネットワーク２４Ａ，２４Ｂ，２４Ｃからなってい
る。

【００２８】次に、ブロック判別用ニューラルネットワ
ーク１２の作成方法について図１２を参照して説明す
る。まず、第１解像度用のブロック判別用ニューラルネ
ットワーク１２Ａの特徴抽出用ネットワーク２３Ａの作
成方法について説明する。

【００２９】すなわち、図４に示すように、第１のニュ
ーラルネットワークとしての５個のニューラルネットワ
ークＮＮＡ（ＮＮＡ１〜５）を準備する（ステップ＃
１）。図５に示すように、各ニューラルネットワークＮ
ＮＡは、砂時計型の５層のものであり、第１層（入力
層）から第５層（出力層）までの各ニューロン数が、６
４，６０，１０，６０，６４である。つまり、ニューラ
ルネットワークＮＮＡは、第３層（中間層）のニューロ
ン数が入力層のニューロン数よりも小さく、入力層と出
力層のニューロン数が互いに同一であり、第３層を中心
として左右対称形である。

【００３０】また、各ニューラルネットワークＮＮＡに
おいて、入力層Ｓ、中間層（第３層）Ａｂ、及び出力層
Ｒの応答関数はリニア関数であり、中間層（第２層）Ａ
ａ及び中間層（第４層）Ａｃの応答関数はシグモイド関
数である。第１層から第３層までの部分が特徴抽出用セ
ンサとしてのネットワークＡ１〜５であり、第４層及び
第５層の部分がネットワークＢ１〜５である。

【００３１】これらの各ニューラルネットワークＮＮＡ
に対し、それぞれ特定の分布的特徴を有した入力信号を
入力層に入力してその恒等写像を学習させる（ステップ
＃２）。

【００３２】すなわち、１つ目のニューラルネットワー
クＮＮＡ１には、入力層Ｓに学習用の文字画像を入力
し、入力した文字画像と同じ画像（復元文字画像）を出
力層Ｒから出力するように学習させる。その場合には、
各入力層への入力値と各入力層に対応する各出力層から
の出力値とが等しくなる。

【００３３】２つ目のニューラルネットワークＮＮＡ２
には、入力層Ｓに学習用の文字背景画像を入力し、入力
した文字背景画像と同じ画像（復元文字背景画像）を出
力層Ｒから出力するように学習させる。

【００３４】３つ目のニューラルネットワークＮＮＡ３
には、入力層Ｓに学習用の写真平坦画像を入力し、入力
した写真平坦画像と同じ画像（復元写真平坦画像）を出
力層Ｒから出力するように学習させる。

【００３５】４つ目のニューラルネットワークＮＮＡ４
には、入力層Ｓに学習用の写真エッジ画像を入力し、入
力した写真エッジ画像と同じ画像（復元写真エッジ画
像）を出力層Ｒから出力するように学習させる。

【００３６】５つ目のニューラルネットワークＮＮＡ５
には、入力層Ｓに学習用の網点画像を入力し、入力した
網点画像と同じ画像（復元網点画像）を出力層Ｒから出
力するように学習させる。

【００３７】ニューラルネットワークＮＮＡの学習は、
周知の技術であるバックプロパゲーション法による。学
習においては、文字画像、文字背景画像、写真平坦画
像、写真エッジ画像、及び網点画像の各サンプルを多数
作成し、それらの各サンプルから得られた８×８画素に
ついての画像データを、サンプルデータとして入力層Ｓ
に入力する。各ニューラルネットワークＮＮＡについ
て、サンプル全体に対する平均二乗誤差が小さくなるよ
うに学習を行う。

【００３８】各ニューラルネットワークＮＮＡは、学習
することによって、それぞれの中間層Ａｂに「文字画像
らしさ」「文字背景画像らしさ」「写真平坦画像らし
さ」「写真エッジ画像らしさ」「網点画像らしさ」とい
った各画像の性質を表すような特徴量が取得される。つ
まり、ニューラルネットワークＮＮＡの学習によって、
各画像の特徴量が取得される。但し、この場合の特徴量
は、物理的に明確な意味を持った特徴量ではない。各中
間層Ａｂは各入力層Ｓよりもニューロン数が小さく、し
たがって中間層Ａｂには、入力層Ｓに入力された情報の
特徴が圧縮され又は集約されて現れていると考えること
ができる。なお、ニューラルネットワークの中間層にお
ける特徴量の取得に関しては、入江らの報告書「多層パ
ーセプトロンによる内部表現の獲得」（電子情報通信学
会文誌 Ｖｏｌ．Ｊ７３−Ｄ−II、Ｎｏ．８、Ｐ１１７
３〜８、１９９０年８月）を参照することができる。

【００３９】学習済のニューラルネットワークＮＮＡ１
〜５の各第１層から第３層までの部分（ネットワークＡ
１〜５）を取り出したものが、特徴抽出用ネットワーク
２３Ａである（ステップ＃３）。特徴抽出用ネットワー
ク２３Ａは、各ネットワークＡ１〜５の入力層Ｓ同士は
並列に接続され、６４（＝８×８）個の画像データが各
ネットワークＡ１〜５に同時に入力される。ネットワー
クＡ１〜５における出力層からは、合計５０（＝１０×
５）個のデータが出力される。

【００４０】図６に示すように、領域判別用ネットワー
ク２４Ａは３層のものであり、入力層Ｓ、中間層Ａ、出
力層Ｒの各ニューロン数は、５０，５０，５である。入
力層Ｓの応答関数はリニア関数であり、中間層Ａ及び出
力層Ｒの応答関数はシグモイド関数である。領域判別用
ネットワーク２４Ａの入力層Ｓに、特徴抽出用ネットワ
ーク２３Ａの出力層を接続する（ステップ＃４）。

【００４１】上述のように構成されたブロック判別用ニ
ューラルネットワーク１２Ａに対して、ニューラルネッ
トワークＮＮＡを学習させたのと同じ分布的特徴を有す
る入力信号を入力し、特徴抽出用ネットワーク２３Ａの
結合係数を変更することなく、領域判別用ネットワーク
２４Ａを学習させる（ステップ＃５）。

【００４２】すなわち、ブロック判別用ニューラルネッ
トワーク１２Ａに対して、まず学習用の文字画像を入力
し、領域判別用ネットワーク２４Ａの出力層Ｒのニュー
ロンｒ１の出力が「１」となるように学習させる。次
に、学習用の文字背景画像を入力し、領域判別用ネット
ワーク２４Ａのニューロンｒ２の出力が「１」となるよ
うに学習させる。さらに、学習用の写真平坦画像、写真
エッジ画像、及び網点画像を順次入力し、領域判別用ネ
ットワーク２４Ａのニューロンｒ３，４，５の出力が
「１」となるようにそれぞれ学習させる。この学習過程
において、領域判別用ネットワーク２４Ａの結合係数が
変化する。なお、ブロック判別用ニューラルネットワー
ク１２Ａの学習は、周知の技術であるバックプロパゲー
ション法による。学習に用いられるサンプルは、ニュー
ラルネットワークＮＮＡの学習において用いたサンプル
と同一のものでもよく又は異なるものでもよい。文字画
像、文字背景画像、写真平坦画像、写真エッジ画像、及
び網点画像のそれぞれについて、平均二乗誤差が小さく
なるように学習を行う。

【００４３】このようにして第１解像度用のブロック判
別用ニューラルネットワーク１２Ａが作成される。そし
て、同様な方法で、第２解像度用及び第３解像度用のブ
ロック判別用ニューラルネットワーク１２Ｂ，１２Ｃを
作成する。

【００４４】その際に、第２解像度用のブロック判別用
ニューラルネットワーク１２Ｂについては、図７に示す
ように、文字画像、文字背景画像、写真平坦画像、及び
網点画像の４種類の属性ＡＴのみを判別させ、写真エッ
ジ画像であるか否かの判別はさせない。

【００４５】したがって、特徴抽出用ネットワーク２３
Ｂの作成に当たっては、第１のニューラルネットワーク
として４個のニューラルネットワークＮＮＡ（ＮＮＡ１
〜３，５）のみを準備する。各ニューラルネットワーク
ＮＮＡ１〜３，５に対して、写真エッジ画像を除く４種
類の属性ＡＴについての学習を行わせる。その結果、４
個のニューラルネットワークＮＮＡ１〜３，５から、４
個のネットワークＡ１〜３，５が得られる。４個のネッ
トワークＡ１〜３，５の入力層Ｓ同士を並列に接続した
ものが特徴抽出用ネットワーク２３Ｂであり、６４個の
画像データがそれぞれ同時に入力される。ネットワーク
Ａ１〜３，５における出力層からは、合計４０（＝１０
×４）個のデータが出力される。

【００４６】図８に示すように、領域判別用ネットワー
ク２４Ｂは３層のものであり、入力層Ｓ、中間層Ａ、出
力層Ｒの各ニューロン数は、４０，４０，４である。領
域判別用ネットワーク２４Ｂの入力層Ｓに、特徴抽出用
ネットワーク２３Ｂの出力層を接続する。

【００４７】また、第３解像度用のブロック判別用ニュ
ーラルネットワーク１２Ｃについては、図９に示すよう
に、文字画像、文字背景画像、及び写真平坦画像の３種
類の属性ＡＴのみを判別させ、写真エッジ画像及び網点
画像であるか否かの判別はさせない。

【００４８】したがって、特徴抽出用ネットワーク２３
Ｃの作成に当たっては、第１のニューラルネットワーク
として３個のニューラルネットワークＮＮＡ（ＮＮＡ１
〜３）のみを準備する。各ニューラルネットワークＮＮ
Ａ１〜３に対して、文字画像、文字背景画像、及び写真
平坦画像の３種類の属性ＡＴについての学習を行わせ
る。その結果、３個のニューラルネットワークＮＮＡ１
〜３から、３個のネットワークＡ１〜３が得られる。３
個のネットワークＡ１〜３の入力層Ｓ同士を並列に接続
したものが特徴抽出用ネットワーク２３Ｃであり、６４
個の画像データがそれぞれ同時に入力される。ネットワ
ークＡ１〜３における出力層からは、合計３０（＝１０
×３）個のデータが出力される。

【００４９】図１０に示すように、領域判別用ネットワ
ーク２４Ｃは３層のものであり、入力層Ｓ、中間層Ａ、
出力層Ｒの各ニューロン数は、３０，３０，３である。
領域判別用ネットワーク２４Ｃの入力層Ｓに、特徴抽出
用ネットワーク２３Ｃの出力層を接続する。

【００５０】作成されたブロック判別用ニューラルネッ
トワーク１２Ａ，Ｂ，Ｃに、それぞれサイズの異なるブ
ロック領域ＢＡ１，２，３の画像データＤＭａ１，２，
３が入力される。

【００５１】ブロック判別用ニューラルネットワーク１
２Ａにおいては、各出力層Ｒの５個のニューロンｒ１〜
５から、それぞれ、文字領域、文字背景領域、写真平坦
領域、写真エッジ領域、網点領域に対応する出力ＳＡ
（ＳＡ１〜５）が得られる。つまり、ブロック判別用ニ
ューラルネットワーク１２Ａは、各ネットワークＡ１〜
５の入力層Ｓに入力されたデータに基づいて、注目領域
ＴＡの属性ＡＴをそれぞれ判別し、それが文字領域であ
る場合にはニューロンｒ１の出力ＳＡ１が「１」に近く
なり、文字背景領域である場合にはニューロンｒ２の出
力ＳＡ２が「１」に近くなり、写真平坦領域である場合
にはニューロンｒ３の出力ＳＡ３が「１」に近くなり、
写真エッジ領域である場合にはニューロンｒ４の出力Ｓ
Ａ４が「１」に近くなり、網点領域である場合にはニュ
ーロンｒ５の出力ＳＡ５が「１」に近くなる。

【００５２】ブロック判別用ニューラルネットワーク１
２Ｂにおいては、各出力層Ｒの４個のニューロンｒ１〜
４から、それぞれ、文字領域、文字背景領域、写真平坦
領域、網点領域に対応する出力ＳＢ（ＳＢ１〜４）が得
られる。つまり、ブロック判別用ニューラルネットワー
ク１２Ｂは、各ネットワークＡ１〜３，５の入力層Ｓに
入力されたデータに基づいて、注目領域ＴＡの属性ＡＴ
をそれぞれ判別し、それが文字領域である場合にはニュ
ーロンｒ１の出力ＳＢ１が「１」に近くなり、文字背景
領域である場合にはニューロンｒ２の出力ＳＢ２が
「１」に近くなり、写真平坦領域である場合にはニュー
ロンｒ３の出力ＳＢ３が「１」に近くなり、網点領域で
ある場合にはニューロンｒ４の出力ＳＢ４が「１」に近
くなる。

【００５３】ブロック判別用ニューラルネットワーク１
２Ｃにおいては、各出力層Ｒの３個のニューロンｒ１〜
３から、それぞれ、文字領域、文字背景領域、写真平坦
領域に対応する出力ＳＣ（ＳＣ１〜３）が得られる。つ
まり、ブロック判別用ニューラルネットワーク１２Ｃ
は、各ネットワークＡ１〜３の入力層Ｓに入力されたデ
ータに基づいて、注目領域ＴＡの属性ＡＴをそれぞれ判
別し、それが文字領域である場合にはニューロンｒ１の
出力ＳＣ１が「１」に近くなり、文字背景領域である場
合にはニューロンｒ２の出力ＳＣ２が「１」に近くな
り、写真平坦領域である場合にはニューロンｒ３の出力
ＳＣ３が「１」に近くなる。

【００５４】このようにして、各ブロック判別用ニュー
ラルネットワーク１２Ａ，１２Ｂ，１２Ｃは、各サイズ
のブロック領域ＢＡ１〜３毎に、注目領域ＴＡの属性Ａ
Ｔを判別し、それぞれ出力ＳＡ，ＳＢ，ＳＣを出力す
る。

【００５５】総合判別用ニューラルネットワーク１３
は、ブロック判別用ニューラルネットワーク１２からの
出力ＳＡ，ＳＢ，ＳＣに基づいて、当該注目領域ＴＡの
属性ＡＴを決定する。その際に、文字領域、文字背景領
域、写真平坦領域の各属性ＡＴについては、全部の出力
ＳＡ，ＳＢ，ＳＣに基づいて属性ＡＴが決定されるが、
網点領域の属性ＡＴについては、２つの出力ＳＡ，ＳＢ
のみに基づいて属性ＡＴが決定され、写真エッジ領域の
属性ＡＴについては、１つの出力ＳＡのみに基づいて属
性ＡＴが決定される。

【００５６】つまり、文字領域、文字背景領域、写真平
坦領域の各属性ＡＴについては、サイズの異なる３つの
ブロック領域ＢＡ１〜３の画像データＤＭａ１，２，３
がそのまま用いられ、網点領域の属性ＡＴについては２
つのブロック領域ＢＡ１，２の画像データＤＭａ１，２
が用いられ、写真エッジ領域の属性ＡＴについては最も
狭い領域を見ている１つのブロック領域ＢＡ１の画像デ
ータＤＭａ１のみが用いられる。

【００５７】また、このようにして決定された各注目領
域ＴＡの属性ＡＴに基づいて、モルフォロジーなどによ
る平滑化を行い、これによって注目領域ＴＡ毎の判別結
果を補正し、各領域を大きくして誤判別の低減を行う。
これによって、原画像ＰＭは、文字領域、文字背景画
像、写真平坦領域、写真エッジ領域、網点領域の５つの
領域に分割される。

【００５８】文字領域に対しては、例えばエッジ強調処
理、２値化処理が行われ、写真平坦領域及び写真エッジ
画像に対しては自然な階調性を得るための処理又は特定
の階調を強調する処理が行われ、網点領域に対してはモ
アレ防止のために平滑化処理が行われる。

【００５９】なお、写真画像とは、銀塩写真のように、
原画像ＰＭの読み取り密度に対して充分に画素密度の大
きい濃淡画像のことであり、写真平坦画像はそのうちの
濃度変化の少ない部分、写真エッジ画像はそのうちの濃
度変化の大きい部分である。写真平坦画像は、文字画像
の白地部分である文字背景画像と区別される。例えば、
文字背景画像については白化処理が行われるに対し、写
真平坦画像については階調性を生かした処理が行われ
る。また、網点画像は、網点が細かくなるにしたがって
写真画像との差異が少なくなる。例えば、原画像ＰＭの
読み取り密度が４００ｄｐｉである場合には、網点の密
度が２００線／インチになると、読み取った画像データ
ＤＭは写真画像の場合と異ならない。したがって、その
場合には、２００線／インチ以上の網点画像は写真画像
に含めてもよい。

【００６０】上述の実施形態によると、１つの注目領域
ＴＡに対して３種類のサイズのブロック領域ＢＡ１〜３
に対応する画像データＤＭａ１〜３に基づいて属性ＡＴ
を判別するので、判別対象の画像の種類と注目領域ＴＡ
のサイズとの相互関連に起因する属性ＡＴの誤判別がな
くなり、属性ＡＴの判別を正確に行うことができる。し
たがって、例えば、注目領域ＴＡの画像が網点画像であ
る場合に、２つのブロック領域ＢＡ１，２のいずれかに
は網点周期の情報が適当に含まれることとなり、網点画
像を写真画像と誤判別してしまうおそれがない。また、
文字が大きいとき又は網点の線や点が太いときにも、ブ
ロック領域ＢＡ１〜３又はブロック領域ＢＡ１，２のい
ずれかには文字や網点の特徴に関する情報が含まれ、そ
れらを正確に判別することができる。

【００６１】しかも、ブロック判別用ニューラルネット
ワーク１２Ａ，Ｂ，Ｃは、ブロック領域ＢＡ１，２，３
のサイズに応じて判別すべき属性ＡＴの種類が互いに異
なるように構成されており、それぞれの属性ＡＴに応じ
た良好な判別が行われる。つまり、各属性ＡＴについて
種々のテストを行った結果によると、文字領域、文字背
景画像、写真平坦領域の各領域についてはブロック領域
ＢＡのサイズの大きい方が、写真エッジ領域、網点領域
の各領域についてはブロック領域ＢＡのサイズの小さい
方が、それぞれ良好な判別結果の得られることが判明し
たのである。

【００６２】なお、各ブロック判別用ニューラルネット
ワーク１２Ａ，Ｂ，Ｃにおける判別の対象となる属性Ａ
Ｔの種類は、上述した以外の組み合わせとすることも可
能である。例えば、各ブロック判別用ニューラルネット
ワーク１２Ａ，Ｂ，Ｃにおける判別の対象となる属性Ａ
Ｔが互いに異なるようにしてもよい。

【００６３】上述の実施形態によると、ブロック判別用
ニューラルネットワーク１２に対して、ブロック領域抽
出部１１によって画像データＤＭから抽出した各６４個
の生の画像データＤＭａを入力することにより、各ブロ
ック領域ＢＡの属性ＡＴを判別することができる。つま
り、ブロック判別用ニューラルネットワーク１２への入
力信号として特徴量を与える必要がなく、判別対象とな
る画像データをそのまま入力することができるので、ブ
ロック判別用ニューラルネットワーク１２への入力が容
易である。

【００６４】したがって、従来のように物理的な意味を
持った特徴量を予め抽出しておく必要がなく、そのため
の回路又はプログラムなどが不要であり、回路構成、処
理速度、柔軟性、コストなどの点で有利である。

【００６５】上述の実施形態によると、属性ＡＴの判別
にブロック判別用ニューラルネットワーク１２及び総合
判別用ニューラルネットワーク１３を用いているので、
それらの学習効果によって簡単に属性ＡＴの判別が行わ
れ、確実な属性ＡＴの判別が行われる。

【００６６】因みに、ブロック判別用ニューラルネット
ワーク１２を用いることなく、例えば特徴量である空間
周波数スペクトル成分に応じた閾値によって網点領域で
あるか否かを判別するとした場合には、目の粗い網点画
像は低周波のスペクトル成分が多くなり、目の細かい網
点画像は高周波のスペクトル成分が多くなるため、空間
周波数スペクトル成分の多少に応じて単純に網点画像で
あるか否かを判別することができず、閾値を決定するの
に多くの経験とノウハウを必要とし、しかも誤判別の多
発を免れない。

【００６７】ブロック判別用ニューラルネットワーク１
２を学習させた後では、入力されるデータと学習によっ
て得られた結合係数との積和演算、及び応答関数を表し
たテーブルの検索などによって判別のための処理を行う
ことが可能であるので、演算の処理速度の向上を図るこ
とができる。特に、各ネットワークＡ１〜５の結合係数
は変化しないので、ニューラルネットワークＮＮＡの学
習によって得られた結合係数のみを転用することによっ
て容易に特徴抽出用ネットワーク２３Ａ，Ｂ，Ｃを構成
することができる。しかも演算処理を単純化することが
できるので演算速度が速い。

【００６８】したがって、属性判別装置１を用いた複写
機では、原稿ＰＰの領域分割を正確に行うことができ、
原稿ＰＰから得られた画像データＤＭに対し、その領域
に応じた適切な処理をリアルタイムで行なって明瞭な複
写画像を出力することができる。

【００６９】上述の実施形態においては、８×８画素の
正方形の領域を注目領域ＴＡとしたが、４×４画素、３
×３画素、２×２画素、１６×１６画素、６４×６４画
素など、種々のサイズの領域をブロック領域ＢＡとして
よい。正方形でなくてもよい。注目領域ＴＡのサイズと
ブロック領域ＢＡ１のサイズを同一としたが、ブロック
領域ＢＡ１のサイズを注目領域ＴＡのサイズよりも大き
くしてよい。また、ブロック領域ＢＡ２，３のサイズを
２倍又は４倍としたが、他の倍数、例えば１．５倍、３
倍、９倍などとしてもよい。

【００７０】上述の実施形態においては、データ圧縮部
２２ｂ，２２ｃによって同一のデータ量の画像データＤ
Ｍａ１〜３となるようにしたので、メモリが有効に利用
でき、且つ処理の簡素化が図られ、処理速度が向上す
る。しかし、画像データＤＭａ１〜３のデータ量は必ず
しも同一でなくてもよい。

【００７１】上述の実施形態においては、データ抽出部
２１ａで抽出した画像データＤＭａ１についてはデータ
量を減少させなかったが、データ圧縮部２２を用いてデ
ータ量を減少させてもよい。データ圧縮部２２ｂ，２２
ｃで画像データＤＭａａ２，３を間引くことによってデ
ータ量を減少させたが、画像データＤＭａａ２，ＤＭａ
ａ３のうちの小領域に対応する複数の画像データについ
ての濃度平均値、最大濃度値、最小濃度値、中間濃度値
などを求め、得られた値で小領域を代表することによっ
てデータ量を減少させてもよい。

【００７２】その場合に、例えば次の（１）〜（４）に
示す方法で圧縮処理を行うことができる。 （１）各サイズのブロック領域ＢＡから小領域を抽出す
る。 （２）抽出した各小領域の画像データからそれぞれの濃
度平均値を求める。 （３）求めた濃度平均値（又は最大濃度値、最小濃度
値、中間濃度値）を代表値とする新たな小領域を作成す
る。 （４）新たに作成した小領域から新たなブロック領域を
作成する。

【００７３】上述の実施形態においては、文字領域、文
字背景領域、写真平坦領域、写真エッジ領域、網点領域
の５種類の属性判別を行ったが、４種類以下又は６種類
以上の属性判別を行うように構成してもよい。

【００７４】上述の実施形態において、ブロック領域抽
出部１１は、プログラム及びデータが格納されたメモリ
とプログラムを実行するＣＰＵによってソフト的に実現
される。また、ブロック判別用ニューラルネットワーク
１２は、コンピュータによるシミュレータによって実現
される。したがって、上述したように、ブロック判別用
ニューラルネットワーク１２は、学習済の結合係数と応
答関数を表したテーブル、及びそれらを演算及び検索す
るためのプログラムから実現することが可能である。こ
のような態様も本発明の各ニューラルネットワークに含
まれる。また、各ニューラルネットワークをハードウエ
アで直接実現してもよい。

【００７５】上述の実施形態において、ニューラルネッ
トワークＮＮＡとして５層のものを用いたが、４層以下
又は６層以上のものでもよい。５個のネットワークＡ１
〜５を用いたが、４個以下又は６個以上でもよい。領域
判別用ネットワーク２４Ａ，Ｂ，Ｃとして３層のものを
用いたが、４層、５層、又はそれ以上のものでもよい。
複数のネットワークＡ１〜５に対してそれぞれ１つの領
域判別用ネットワーク２４Ａ，Ｂ，Ｃを結合したが、各
ネットワークＡ１〜５に対応してそれぞれ別個の領域判
別用ネットワークを結合してもよい。各層のニューロン
数、結合係数の有無、応答関数の種類、学習方法など
は、上述した以外に種々変更することができる。その
他、属性判別装置１の各部又は全体の構成、処理内容、
処理順序などは、本発明の主旨に沿って適宜変更するこ
とができる。

【００７６】

【発明の効果】請求項１乃至請求項３の発明によると、
互いにサイズの異なる複数のブロック領域の画像データ
に基づいて注目領域の属性を判別するので、注目領域の
画像の種類と注目領域のサイズとの相互関連に起因する
属性の誤判別を可及的になくし、属性の判別をより正確
に行うことができる。

【００７７】請求項２の発明によると、画像領域におけ
る特徴量を抽出する必要がなく、入力された画像データ
に基づいて注目領域の属性をより正確に且つ容易に判別
することができる。

【００７８】また、ブロック判別用ニューラルネットワ
ーク及び総合判別用ニューラルネットワークを学習させ
た後では、入力されるデータと学習によって得られた結
合係数との積和演算、及び応答関数を表したテーブルの
検索などによって判別のための情報処理を行うことがで
きるので、演算速度の向上を図ることができる。

【００７９】また、特徴抽出用センサの結合係数は、学
習済の第１のニューラルネットワークの結合係数をその
まま転用することが可能であるので、特徴抽出用センサ
を容易に構成することができ、しかも演算処理を単純化
することができるので演算速度の向上を図ることができ
る。

【００８０】請求項３の発明によると、ブロック領域の
サイズの大型化にともなってデータ量が膨大になること
が防止される。

【図面の簡単な説明】

【図１】本発明に係る属性判別装置の構成を示すブロッ
ク図である。

【図２】原稿の注目領域とブロック領域との関係を説明
する図である。

【図３】第１解像度用のブロック判別用ニューラルネッ
トワークの構成を示す図である。

【図４】特徴抽出用ネットワークの作成過程を示す図で
ある。

【図５】砂時計型のニューラルネットワークの例を示す
図である。

【図６】第１解像度用の領域判別用ネットワークの例を
示す図である。

【図７】第２解像度用のブロック判別用ニューラルネッ
トワークの構成を示す図である。

【図８】第２解像度用の領域判別用ネットワークの例を
示す図である。

【図９】第３解像度用のブロック判別用ニューラルネッ
トワークの構成を示す図である。

【図１０】第３解像度用の領域判別用ネットワークの例
を示す図である。

【図１１】総合判別用ニューラルネットワークの構成を
示す図である。

【図１２】ブロック判別用ニューラルネットワークの作
成方法を示すフローチャートである。

【符号の説明】

１ 属性判別装置（画像領域属性判別装置） １１ ブロック領域抽出部（ブロック領域抽出手段） １２Ａ，１２Ｂ，１２Ｃ ブロック判別用ニューラルネ
ットワーク １３ 総合判別用ニューラルネットワーク ２２ データ圧縮部（データ圧縮手段） ２４Ａ，２４Ｂ，２４Ｃ 領域判別用ネットワーク（第
２のニューラルネットワーク） ＮＮＡ ニューラルネットワーク（第１のニューラルネ
ットワーク） Ａ１〜４ ネットワーク（特徴抽出用センサ） ＢＡ１〜３ ブロック領域 ＴＡ 注目領域

フロントページの続き (72)発明者 山本 眞司 愛知県豊橋市王が崎町上原１−３，３− 402 (72)発明者 中村 和明 愛知県豊橋市三本木町字元三本木９−１ スタープラ ザ207

Claims (3)

【特許請求の範囲】
1. 【請求項１】原画像のうちの属性を判別すべき注目領域
   に対して、互いにサイズの異なる複数のブロック領域に
   対応する画像データを抽出するブロック領域抽出手段
   と、 互いにサイズの異なるブロック領域の画像データが入力
   され、入力された画像データに基づいて注目領域の属性
   をそれぞれ判別するための複数のブロック判別用ニュー
   ラルネットワークと、 前記ブロック判別用ニューラルネットワークから出力さ
   れる各判別結果に基づいて、前記注目領域の属性を総合
   的に判別するための総合判別用ニューラルネットワーク
   とを有し、 前記ブロック判別用ニューラルネットワークは、ブロッ
   ク領域のサイズに応じて判別すべき属性の種類が互いに
   異なるように構成されてなる、 ことを特徴とする画像領域属性判別装置。
2. 【請求項２】原画像のうちの属性を判別すべき注目領域
   に対して、互いにサイズの異なる複数のブロック領域に
   対応する画像データを抽出するブロック領域抽出手段
   と、 互いにサイズの異なるブロック領域の画像データが入力
   され、入力された画像データに基づいて注目領域の属性
   をそれぞれ判別するための複数のブロック判別用ニュー
   ラルネットワークと、 前記ブロック判別用ニューラルネットワークから出力さ
   れる各判別結果に基づいて、前記注目領域の属性を総合
   的に判別するための総合判別用ニューラルネットワーク
   とを有し、 前記各ブロック判別用ニューラルネットワークは、 少なくとも１つの中間層のニューロン数が入力層のニュ
   ーロン数よりも小さく且つ入力層と出力層のニューロン
   数が互いに同一であり、恒等写像を学習済の第１のニュ
   ーラルネットワークのうちの前記入力層から前記中間層
   までで構成される、１つ又は複数の特徴抽出用センサ
   と、 前記特徴抽出用センサからの出力が入力されるように結
   合され、前記特徴抽出用センサの入力層に入力される前
   記画像データに基づいて、前記注目領域の属性について
   の判別結果を出力する第２のニューラルネットワークと
   からなり、 前記ブロック判別用ニューラルネットワークは、ブロッ
   ク領域のサイズに応じて判別すべき属性の種類が互いに
   異なるように構成されてなる、 ことを特徴とする画像領域属性判別装置。
3. 【請求項３】前記ブロック領域抽出手段は、 前記ブロック領域に対応する画像データのデータ量を減
   少させるためのデータ圧縮手段を含んでなる、 請求項１又は２記載の画像領域属性判別装置。