JPH1188664A - 画像処理装置、および、そのプログラムを記録した記録媒体 - Google Patents

画像処理装置、および、そのプログラムを記録した記録媒体

Info

Publication number
JPH1188664A
JPH1188664A JP9247335A JP24733597A JPH1188664A JP H1188664 A JPH1188664 A JP H1188664A JP 9247335 A JP9247335 A JP 9247335A JP 24733597 A JP24733597 A JP 24733597A JP H1188664 A JPH1188664 A JP H1188664A
Authority
JP
Japan
Prior art keywords
value
area
image
pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9247335A
Other languages
English (en)
Other versions
JP3512604B2 (ja
Inventor
Yasushi Adachi
靖 安達
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP24733597A priority Critical patent/JP3512604B2/ja
Priority to DE69809164T priority patent/DE69809164T2/de
Priority to EP98116003A priority patent/EP0902585B1/en
Priority to US09/140,745 priority patent/US6111982A/en
Publication of JPH1188664A publication Critical patent/JPH1188664A/ja
Application granted granted Critical
Publication of JP3512604B2 publication Critical patent/JP3512604B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40062Discrimination between different image types, e.g. two-tone, continuous tone

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 画像中の文字領域と写真領域と網点領域とを
確実に識別可能な画像処理装置を実現する。 【解決手段】 第1特徴量演算回路3は、注目画素を中
心とする局所ブロック内で、画素の信号レベルの最大値
と最小値との差を、第1特徴パラメータの特徴量として
出力する。第2特徴量演算回路4は、各方向に沿って、
局所ブロック内の信号レベル差を総和し、最小値を第2
特徴パラメータの特徴量として出力する。第3特徴量演
算回路5は、局所ブロック内の画素を2値化して、主走
査方向に沿って、各ラインの最大連続同一濃度画素数を
係数し、最大値と最小値との差を算出する。さらに、副
走査方向に沿っても同様に、差が算出され、大きい方の
算出値が第3特徴パラメータの特徴値として出力され
る。判定回路6は、各特徴パラメータの特徴量を、多次
元的に分類し、注目画素が存在している領域を識別す
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば、デジタル
複写機やファクシミリ装置など、複数の画素を示す画像
信号を処理する装置に供され、各画素の特性を判定する
画像処理装置、および、そのプログラムを記録した記録
媒体に関するものである。
【0002】
【従来の技術】従来より、デジタル複写機やファクシミ
リなどの画像処理装置は、文字部分、写真部分、または
網点部分が存在する原稿、あるいは、それらの部分が混
在するような原稿を処理している。画像処理装置は、C
CD( Charge Coupled Device)イメージセンサなどを
用いて、上記特徴を有する原稿を読み取って画像信号に
変換する。さらに、画像処理装置では、当該画像信号か
ら得られる記録画像の画質を向上するために、画像処理
が行われる。例えば、画像が文字の場合には、画像のエ
ッジを強調する強調処理が行われ、画像が網点であれ
ば、モアレを防止するために、平滑化処理などが行われ
る。加えて、画像が文字の場合には、画像を文字コード
に変換する処理も広く行われている。
【0003】いずれの場合であっても、画像の種別の毎
に、適切な画像処理が異なっていることが多い。したが
って、記録画像の画質を向上させるためには、当該画像
の種別に応じた画像処理を行うことが望まれる。
【0004】ここで、フィルタ処理を用いて画質向上を
図った従来技術として、例えば、特公平5−21384
号公報に記載の画像処理装置が挙げられる。当該画像処
理装置では、画像信号を平滑化した信号と、画像信号を
強調した信号とを、画像信号のエッジ部検出手段の出力
により混合あるいは選択して出力している。また、例え
ば、特開昭63−246076号公報に記載のフィルタ
処理装置は、エッジ抽出手段によって、画像信号のエッ
ジ部が抽出されないときは、網点成分を除去するフィル
タ処理を行った信号を選択し、エッジ部が抽出されたと
きは、フィルタ処理を行う前の信号を選択している。
【0005】しかしながら、エッジ部を検出するだけで
は、画像の種別を完全に識別したとは言えず、文字領
域、写真領域、および、網点領域の各種領域のうち、い
ずれの画像であるかを識別し、それに応じた画像処理を
行うことが望まれている。
【0006】この種の画質向上を図るための画像識別方
法としては、画像を複数画素からなるブロックに分割
し、各ブロック毎に画像の種別を識別する方法が広く行
われている。ここで、各ブロック毎の画像種別を識別す
る際、パターンマッチングによって識別する場合には、
各ブロックの画像と比較するために、数多くのパターン
を予め用意する必要がある。この結果、当該パターンを
格納するためのメモリ量が増大すると共に、汎用性に乏
しいという問題点を有している。
【0007】したがって、今日では、各ブロックから所
定の手順で特徴パラメータを抽出し、当該特徴パラメー
タに基づいて画像種別を識別する方法が採用されること
が多くなっている。例えば、特開昭61−194968
号公報に開示されている網点写真領域識別方法では、あ
るブロックにおいて、主走査方向に連続する各2つの画
素間の信号レベル変化が計測され、当該ブロックにおけ
る計測値の総和が算出される。また、副走査方向につい
ても同様に、信号レベル変化の総和が算出される。さら
に、両計測量の総和は、それぞれ、予め定められた設定
値と比較され、比較結果に基づいて、当該ブロックの画
像種別が識別される。
【0008】また、特徴パラメータを用いた、その他の
方法として、例えば、特開昭62−147860号公報
では、中間調ファクシミリ信号処理方式が開示されてい
る。当該方式では、あるブロック内の最大信号レベルと
最小信号レベルとのレベル差が求められ、このレベル差
と、所定の第1設定値とが比較される。当該レベル差が
第1設定値よりも小さい場合、当該ブロックは、信号レ
ベル変化が穏やかな部分であるので、写真部分と判定さ
れる。一方、レベル差の方が大きい場合、当該ブロック
は、信号レベル変化が激しい部分であるので、文字、写
真の輪郭、または、網点写真部分を含んでいると判定さ
れる。さらに、当該方式では、予め定められたアクセス
順序に従って、ブロック内の空間的に連続する各2つの
画素間で、信号レベルが変化したか否かを判定し、変化
回数を算出する。当該変化回数は、予め定められた第2
設定値と比較され、変化回数が第2設定値よりも大きい
場合、当該ブロックは、網点部分であると判定される。
一方、上記変化回数の方が小さい場合は、当該ブロック
は、網点部分ではないと判定される。さらに、上記レベ
ル差に基づく判定と、上記変化回数に基づく判定との双
方に基づいて、各ブロックの画像の種別が判定される。
【0009】
【発明が解決しようとする課題】しかしながら、上記従
来の画像識別方法では、識別精度が十分に高いとは言え
ず、画像種別を誤判定する虞れがある。したがって、高
画質化を達成するために、識別精度のさらなる向上が望
まれている。
【0010】ここで、識別精度が低下する原因には、一
般に、特徴パラメータの不適合、すなわち、文字領域、
写真領域、および、網点領域などの各種領域の性質が、
特徴パラメータによって十分表現されていないことが挙
げられる。また、特徴パラメータに基づく、画像種別の
分類方法が不適切であったり、分類する際のしきい値
(上述の各設定値)が適切に選定されていないことも、
誤判定を招来する大きな要因となる。
【0011】具体的には、上記各従来技術では、各特徴
パラメータ毎に、所定のしきい値を設定されている。さ
らに、各特徴パラメータの特徴量と各しきい値とを、そ
れぞれ別に比較して、特徴パラメータ毎に判定が行われ
た後、それぞれの判定結果に基づいて、画素を含むブロ
ックを分類している。この結果、各特徴パラメータ毎に
適切なしきい値を設定することが難しく、特徴パラメー
タの数を増加させても、十分な識別精度を得ることが困
難である。
【0012】また、上述の各従来技術では、各ブロック
毎に領域の種別を判定している。したがって、領域の種
別を誤判断した場合、ブロック内全ての画素に影響を及
ぼし、画質が大きく低下する。加えて、注目画素の持つ
特徴量が限られた画像処理特性にしか反映されないた
め、各注目画素に応じて最適な画像処理を行うことがで
きない。
【0013】これらの問題点を解決するために、例え
ば、特開平8−125857号公報に記載の画像処理装
置は、複数の特徴パラメータの組み合わせに応じて、ブ
ロックの領域種別を判定すると共に、各画素毎に、その
周辺のブロックの領域種別を判定している。この結果、
不適切なしきい値の選定、および、不適切な分類方法に
起因する識別精度の低下は、抑制される。
【0014】しかしながら、当該構成の画像処理装置で
あっても、各特徴パラメータが各種領域の性質を完全に
表現している訳ではなく、さらなる識別精度の向上が求
められている。
【0015】本発明は、上記の問題点を鑑みてなされた
ものであり、その目的は、画像中の文字領域と写真領域
と網点領域とを確実に識別可能な画像処理装置を提供す
ることにある。
【0016】
【課題を解決するための手段】請求項1の発明に係る画
像処理装置は、画像を構成する画素のうちの1つである
注目画素が、文字領域および網点領域を含む各種領域の
うちの、いずれの領域に存在するかを識別するための画
像処理装置であって、上記課題を解決するために、上記
注目画素と、その近傍の複数画素とからなる局所ブロッ
クを示す局所画像データを格納するブロックメモリを備
えていると共に、新たな特徴パラメータを算出するため
に、以下の手段を講じたことを特徴としている。
【0017】すなわち、上記局所ブロック内の画素を所
定のしきい値で2値化した2値画像に対して、連続した
同じ値を持つ画素数の最大値を、当該局所ブロック内で
所定の主方向に沿った主ライン毎に算出し、上記主方向
とは異なる副方向に連続する少なくとも1本の主ライン
毎に算出値の総和を求めて、当該総和の最大値と最小値
との差を求める主方向演算部と、上記2値画像に対し
て、連続した同じ値を持つ画素数の最大値を上記副方向
に沿った副ライン毎に算出し、上記主方向に連続する少
なくとも1本の副ライン毎に算出値の総和を求めて、当
該総和の最大値と最小値との差を求める副方向演算部
と、上記両演算部の出力のうちの最大値を、連結度特徴
パラメータの特徴量として出力する出力部とを有する連
結度特徴量算出手段が設けられている。さらに、上記連
結度特徴パラメータに基づいて、上記注目画素の存在す
る領域が、上記各種領域のいずれであるかを識別するた
めの領域識別情報を出力する識別手段を備えている。
【0018】上記構成において、画像処理装置に入力さ
れた画像信号は、注目画素と、その近傍の複数画素とか
らなる局所ブロックに分割されて、ブロックメモリに格
納される。さらに、上記連結度特徴量算出手段は、当該
局所ブロックの画像データから、当該局所ブロックの特
性を示す連結度特徴パラメータの特徴量を算出する。識
別手段は、連結度特徴パラメータの特徴量に基づいて、
上記注目画像が存在する領域の領域識別情報を出力す
る。
【0019】ところで、上述したように、従来から、上
記各種領域の特徴を表す特徴パラメータとして、あるブ
ロック内における画素の最大信号レベルと最小レベルと
の差、画素の信号レベル間の変化回数などが考案されて
いる。しかしながら、これらの特徴パラメータでは、荒
い網点領域、すなわち、線数が小さな網点領域と、文字
領域との識別が困難になる。すなわち、一般に、網点領
域では、文字領域に比べて、最大信号レベルと最小信号
レベルとの差が小さくなり、信号レベル間の変化回数が
大きくなる傾向にある。ところが、網点の線数が小さく
なるに従って、最大信号レベルと最小信号レベルとの差
が大きくなり、信号レベル間の変化回数が小さくなる。
したがって、上記の特徴パラメータだけでは、線数の小
さい網点領域と文字領域との識別精度が低下する。
【0020】これに対して、請求項1記載の発明に係る
画像処理装置では、新たに、上記各種領域の特徴を表す
特徴パラメータとして、連結度特徴パラメータが用いら
れている。ここで、網点領域では、網点の配置および周
期性によって、各ラインで得られた最大同一濃度連続画
素数の最大値は、文字領域に比べて小さく、かつ、最小
値は、文字領域に比べて大きい。したがって、これらの
最大値と最小値との差に基づいて算出した連結度特徴パ
ラメータを用いることによって、線数の小さな網点領域
と、文字領域とを確実に識別でき、画像処理装置の識別
精度を向上させることができる。
【0021】なお、局所ブロックは、注目画素と、その
近傍の画素とから構成されていればよく、必ずしも、局
所ブロックの中心に注目画素を配する必要はない。ただ
し、識別精度を向上させるためには、注目画素が局所ブ
ロックの中心に位置するように、各注目画素毎に局所ブ
ロックを設定する方が望ましい。
【0022】また、請求項2の発明に係る画像処理装置
は、請求項1記載の発明の構成において、上記局所画像
データに基づいて、当該局所ブロック内の全画素の信号
レベルのうち、最大値と最小値との差を算出し、最大濃
度差特徴パラメータの特徴量として上記識別手段へ与え
る最大濃度差特徴量算出手段を備えていることを特徴と
している。
【0023】当該構成では、識別手段は、最大濃度差特
徴パラメータの特徴量と、連結度特徴パラメータの特徴
量との組み合わせに基づいて、領域識別情報を生成す
る。一般に、網点領域では、最大信号レベルと最小信号
レベルとの差、すなわち、最大濃度差特徴パラメータの
特徴量が、文字領域に比べて小さくなる傾向にあり、こ
の傾向は、網点の線数が大きくなるに伴って顕著にな
る。一方、連結度特徴パラメータを用いることによっ
て、画像処理装置は、線数の小さな網点領域と、文字領
域とを確実に識別できる。この結果、画像処理装置は、
線数の大きさに拘わらず、網点領域と文字領域とを確実
に識別可能となり、識別精度を向上できる。
【0024】一方、請求項3の発明に係る画像処理装置
は、請求項1または2記載の発明の構成において、上記
局所画像データに基づいて、当該局所ブロック内で上記
主方向に連続する2つの画素間の信号レベル差を算出
し、当該局所ブロック内における信号レベル差の総和を
求め、かつ、上記副方向に連続する画素間についても信
号レベル差の総和を求めると共に、上記各方向の総和の
うちの最小値を繁雑度特徴パラメータの特徴量として上
記識別手段へ与える繁雑度特徴量算出手段を備えている
ことを特徴とする請求項1または2記載の画像処理装
置。上記各方向の総和のうちの最小値を繁雑度特徴パラ
メータの特徴量として算出する繁雑度特徴量算出手段を
備えていることを特徴としている。
【0025】当該構成では、識別手段は、繁雑度特徴パ
ラメータの特徴量と、連結度特徴パラメータの特徴量と
の組み合わせに基づいて、領域識別情報を生成する。一
般に、網点領域では、隣接する画素間の濃度が、文字領
域に比べて頻繁に変化するので、繁雑度特徴パラメータ
の特徴量が、文字領域に比べて大きくなる傾向にある。
この傾向は、網点の線数が大きく伴って顕著になる。一
方、連結度特徴パラメータを用いることによって、画像
処理装置は、線数の小さな網点領域と、文字領域とを確
実に識別できる。この結果、画像処理装置は、線数の大
きさに拘わらず、網点領域と文字領域とを確実に識別可
能となり、識別精度を向上できる。
【0026】なお、写真領域は、文字領域や網点領域に
比べて、最大濃度差および繁雑度特徴パラメータの双方
が小さい。したがって、画像処理装置が、最大濃度差、
繁雑度および連結度の各特徴量算出手段を備え、識別手
段が、最大濃度差、繁雑度、および連結度特徴パラメー
タ全ての組み合わせに基づいて、上記領域識別情報を生
成する場合、画像処理装置は、文字領域、網点領域に加
えて、写真領域をも識別可能な領域識別情報を生成でき
る。
【0027】さらにまた、請求項4の発明に係る画像処
理装置は、請求項3記載の発明の構成において、上記主
方向および副方向は、互いに略直交しており、上記繁雑
度特徴量算出手段は、さらに、上記主方向および副方向
の双方と異なる斜め方向に連続する画素についても、信
号レベル差の総和を算出し、上記主方向、副方向、およ
び斜め方向の総和のうちの最小値を出力することを特徴
としている。
【0028】上記構成では、局所ブロックにおいて、主
方向および副方向のエッジ成分が含まれている場合だけ
ではなく、斜め方向のエッジ成分が含まれている場合で
あっても、繁雑度特徴パラメータの特徴量が増大する。
この結果、斜め方向のエッジ成分を持つ文字領域の識別
精度が、さらに向上する。
【0029】なお、上記斜め方向は、上記主方向および
副方向の両方向と異なっていればよく、斜め方向の数
や、両方向に対する傾きを問わない。ただし、斜め方向
として、右斜め45°方向と、左斜め45°との双方を
用いれば、エッジ成分を検出する方向が均等に配される
ので、文字領域の識別精度をさらに向上できる。
【0030】ところで、1本の主ラインおよび副ライン
に基づいて、連結度特徴パラメータの特徴量を算出した
場合、特徴量の大きさは、各ラインの長さによって制限
される。この結果、文字領域と網点領域との間で特徴量
の差が小さくなるので、両領域を誤って識別する可能性
が高くなりがちである。
【0031】これに対して、請求項5の発明に係る画像
処理装置は、請求項1、2、3または4記載の発明の構
成において、上記主方向演算部は、2本以上の上記副ラ
イン毎に上記算出値の総和を求めると共に、上記副方向
演算部は、2本以上の上記主ライン毎に上記算出値の総
和を求めることを特徴としている。
【0032】一般に、画像の解像度が向上するに伴い、
文字の太さや線画の太さは、2画素以上になることが多
くなる。この場合、連続するラインの最大連続同一濃度
画素数は、互いに同じ傾向を持つことが多い。
【0033】したがって、連続する複数ラインに基づい
て連結度特徴パラメータの特徴量を算出することによっ
て、1本のラインに基づいて連結度特徴パラメータの特
徴量を算出する場合に比べて、文字領域における連結度
特徴パラメータの特徴量と、網点領域における特徴量と
の差を拡大できる。この結果、両領域を区別しやすくな
り、画像処理装置の識別精度をさらに向上できる。
【0034】ところで、例えば、特開昭62−1478
60号公報などでは、複数の特徴パラメータの特徴量に
基づいて、注目画素が存在する領域を識別する際、各特
徴パラメータに対して、予め一定のしきい値が設定され
ており、画像処理装置は、各特徴量と、上記しきい値と
をそれぞれ別に比較して特徴量を分類している。このよ
うに、各特徴パラメータ毎に、各特徴量の分類を分類し
た場合、誤って分類する虞れが高い。また、各特徴パラ
メータ毎に適切なしきい値を設定することも難しい。こ
れらの結果、特徴パラメータの数を増加させても、十分
な識別精度を得ることが困難である。
【0035】これに対して、請求項6の発明に係る画像
処理装置は、請求項2、3、4または5記載の発明の構
成において、上記識別手段は、入力される上記各特徴パ
ラメータを軸とする多次元空間上で非線型な特性を含む
境界を設けて上記各種領域を選定し、当該各特徴パラメ
ータの各特徴量に基づいて、上記領域識別情報を出力す
ることを特徴としている。
【0036】当該構成では、識別手段は、複数の特徴パ
ラメータを用いて、多次元的に領域を識別する。したが
って、各特徴パラメータ毎に特徴量を分類する場合に比
べて、識別精度を向上できる。
【0037】なお、識別手段では、文字領域および網点
領域を含む各種領域が、入力される上記特徴パラメータ
を軸とする多次元空間上で、非線形な特性を含む境界を
設けることによって選定されている。これらの境界は、
非線形であり、かつ、予め数式で表現することは極めて
困難である。
【0038】これに対して、請求項7の発明に係る画像
処理装置は、請求項6記載の発明の構成において、上記
識別手段は、上記各特徴パラメータの各特徴量を入力す
れば、それに応じた領域識別情報を出力するように予め
学習されている神経回路網を備えていることを特徴とし
ている。
【0039】一般に、神経回路網は、入力の数が複数
で、所望の入出力特性が非線型かつ数式で表現できない
場合であっても、学習を繰り返すことによって、比較的
容易に、所望の入出力特性に調整できる。この結果、上
記境界を示す式を予め特定する場合に比べて、非常に高
精度な識別手段を、比較的容易に実現できる。
【0040】なお、特に、画像処理装置の処理速度が要
求される場合には、請求項6記載の発明の構成におい
て、上記神経回路網に代えて、上記識別手段に、上記各
特徴パラメータの特徴量の組み合わせに応じた領域識別
情報を示す値が、予め格納されたルックアップテーブル
を設ければよい。当該ルックアップテーブルに格納され
る値は、例えば、予め学習された神経回路網の入出力特
性などに基づいて決定される。この構成では、上記各特
徴パラメータの各特徴量の組み合わせに応じた領域識別
情報を示す値が、ルックアップテーブルに予め格納され
ている。したがって、識別手段は、各特徴量の組み合わ
せに基づき、ルックアップテーブルを参照することによ
って、極めて高速に領域識別情報を出力できる。この結
果、画像処理装置は、高精度の識別処理をリアルタイム
に実行できる。
【0041】また、請求項8の発明に係る画像処理装置
は、請求項1、2、3、4、5、6または7記載の発明
の構成において、上記識別手段は、上記各種領域毎に、
上記注目画素が存在する確からしさを算出し、例えば、
文字領域らしさ、および網点領域らしさなど、それぞれ
の領域らしさを示す値を上記領域識別情報として出力す
ることを特徴としている。なお、各種領域らしさは、例
えば、神経回路網や、当該神経回路網の入出力特性を反
映させたルックアップテーブルなどを用いることによっ
て、比較的精度よく、かつ、容易に数値として算出でき
る。
【0042】上記構成によれば、識別手段は、各注目画
素が、どの程度、文字領域らしいかおよび、網点領域ら
しいかなどを出力する。この結果、識別手段は、例え
ば、空間フィルタリングを行う手段など、当該識別手段
の後段に配され、かつ、入力された画像をさらに処理す
る手段へ、より細かな指示を与えることができる。
【0043】したがって、後段の手段は、各種領域らし
さに応じて各種係数を調整でき、各画素に応じた細かな
画像処理が可能となる。また、当該手段は、いずれの領
域に分類することが困難であるという情報に基づいて、
例えば、強調処理と平滑処理を組み合わせた処理など、
識別不可能な画素に応じた処理を選択でき、誤識別によ
る画質劣化を防止できる。これらの結果、より高画質な
画像処理装置を実現できる。
【0044】一方、請求項9の発明に係る画像処理装置
は、請求項1、2、3、4、5、6または7記載の発明
の構成において、上記識別手段は、上記注目画素が存在
する領域が、上記各種領域のうちのいずれの領域である
かを選択し、上記領域識別情報として、選択された領域
を示す識別信号を出力することを特徴としている。
【0045】上記構成では、識別手段は、いずれの領域
であるかを選択すればよいので、請求項8の構成に比べ
て簡単な回路で実現できる。また、後段の手段も、識別
信号によって、画像の処理内容を選択すればよい。した
がって、請求項8の構成に比べて、処理が迅速な画像処
理装置を実現できる。
【0046】ところで、請求項10の発明に係る画像処
理装置は、請求項1、2、3、4、5、6、7、8また
は9記載の発明の構成において、さらに、上記領域識別
情報に基づいて、上記注目画素に対して、空間フィルタ
リング処理を行うフィルタリング手段を備えていること
を特徴としている。
【0047】上記構成では、識別手段の識別精度が極め
て高いので、フィルタリング手段は、誤識別を考慮せず
にすみ、各種領域に最適なフィルタ係数にて、各画素を
空間フィルタリングできる。この結果、画像処理装置が
出力する画像を高画質化できる。
【0048】なお、フィルタリング手段のフィルタ係数
は、種々の方法で設定できる。例えば、上記識別手段
は、上記注目画素が存在する領域が、上記各種領域のう
ちのいずれの領域であるかを選択し、上記領域識別情報
として、選択された領域を示す識別信号を出力すると共
に、上記フィルタリング手段は、予め定められた各種フ
ィルタ係数のうちから、当該識別信号に基づいて選択し
たフィルタ係数にて、空間フィルタリング処理してもよ
い。上記構成では、識別手段の識別精度が極めて高いの
で、フィルタリング手段は、誤識別を考慮せずにすみ、
各種領域に最適なフィルタ係数を選択して、各画素を空
間フィルタリングできる。この結果、画像処理装置が出
力する画像を十分に高画質化できる。
【0049】ただし、さらに画質を向上させるために
は、以下の構成を備えていることが望ましい。すなわ
ち、請求項11の発明に係る画像処理装置は、請求項1
0記載の発明の構成において、上記識別手段は、上記各
種領域毎に、上記注目画素が存在する確からしさを算出
し、例えば、文字領域らしさ、および写真領域らしさな
ど、各種領域らしさを示す値を上記領域識別情報として
出力すると共に、上記フィルタリング手段は、上記各種
領域らしさを示す値に基づいて算出したフィルタリング
係数にて、フィルタリング処理することを特徴としてい
る。
【0050】上記構成では、フィルタリング手段は、各
種領域らしさを示す領域識別情報に基づいて、フィルタ
リング係数を調整できる。この結果、各注目画素に応じ
た細かな画像処理が可能となる。特に、フィルタリング
手段は、各種領域らしさが同程度の場合など、注目画素
が含まれる領域を、いずれの領域にも分類しにくい場合
には、例えば、強調処理と平滑処理とを組み合わせたフ
ィルタ処理など、識別不可能な画素に適したフィルタ処
理を行うことができる。したがって、誤識別による画質
劣化を防止できる。これらの結果、上記画像の画質をさ
らに向上できる。
【0051】一方、請求項12の発明に係る記録媒体
は、画像を構成する画素のうちの1つである注目画素
が、文字領域および網点領域を含む各種領域のうちの、
いずれの領域に存在するかを識別するための識別情報を
算出するプログラムを記録した記録媒体であって、上記
課題を解決するために、以下の工程を実行するプログラ
ムが記録されていることを特徴としている。
【0052】すなわち、上記局所ブロック内の画素を所
定のしきい値で2値化した2値画像に対して、連続した
同じ値を持つ画素数の最大値を上記主方向に沿った主ラ
イン毎に算出し、上記副方向に連続する少なくとも1本
の主ライン毎に算出値の総和を求めて、当該総和の最大
値と最小値との差を求める第1工程と、上記2値画像に
対して、連続した同じ値を持つ画素数の最大値を上記副
方向に沿った副ライン毎に算出し、上記主方向に連続す
る少なくとも1本の副ライン毎に算出値の総和を求め
て、当該総和の最大値と最小値との差を求める第2工程
と、上記第1工程および第2工程で求めた差のうちの最
大値を、連結度特徴パラメータの特徴量として算出する
第3工程と、当該連結度特徴パラメータに基づいて、上
記注目画素が存在する領域の領域識別情報を算出する第
4工程とを実行するプログラムが記録されている。
【0053】上記プログラムが実行されると、連結度特
徴パラメータの特徴量に基づいて、注目画素が含まれる
領域の領域識別情報が算出される。この結果、線数の小
さな網点領域と、文字領域とを確実に識別でき、注目画
素の識別精度を向上させることができる。
【0054】
【発明の実施の形態】
〔第1の実施形態〕本発明の一実施形態について図1な
いし図10に基づいて説明すると以下の通りである。す
なわち、本実施形態に係る画像処理装置は、ある注目画
素が、文字領域、写真領域、あるいは網点領域のいずれ
の領域に存在するかを判定するものであり、図1に示す
ように、画像信号が入力される入力端子1と、当該画像
信号に基づいて、注目画素近傍に位置する各画素の情報
を格納するブロックメモリ2と、ブロックメモリ2に格
納された情報に基づいて、第1ないし第3の特徴パラメ
ータP1 ないしP3 の各特徴量を算出する第1ないし第
3特徴量演算回路3・4・5と、各特徴量演算回路3・
4・5の出力値に基づいて、当該注目画素が含まれる領
域を判定する判定回路6と、判定結果を出力する出力端
子7とを備えている。上記各回路3・4・5・6は、例
えば、論理回路、あるいは、演算回路などを組み合わせ
て構成してもよいし、例えば、CPU(Central Proces
sing Unit)が所定のプログラムを実行することで実現し
てもよい。
【0055】なお、上記第1特徴量演算回路3が、特許
請求の範囲に記載の最大濃度差特徴量算出手段に対応
し、上記第2および第3特徴量演算回路4・5が、繁雑
度特徴量算出手段および連結度特徴量算出手段にそれぞ
れ対応している。また、上記判定回路6は、識別手段に
対応している。
【0056】上記入力端子1に入力される画像信号は、
種々の画像信号が考えられるが、ここでは、一例とし
て、デジタル複写機やファクシミリ装置などにおいて、
CCD( Charge Coupled Device)イメージセンサを有
する画像読み取り部(図示せず)が原稿を読み取ること
によって、画像信号が得られる場合を例にして説明す
る。当該CCDイメージセンサは、光強度を電気信号に
変換するものであって、少なくとも1つの画素の濃度を
画像信号に変換できる。上記画像読み取り部は、原稿を
読み取る際、当該CCDイメージセンサを一方向(以下
では、主走査方向と称する)へ移動させ、原稿の1ライ
ン分または複数ライン分の画像信号を取得する。なお、
画像読み取り部が一回の主走査方向への走査で取得可能
なライン数は、CCDイメージセンサが一度に読み取り
可能な画素数によって決定される。続いて、CCDイメ
ージセンサは、主走査方向に直交する方向(副走査方
向)に移動して、次の1ライン分または複数ライン分の
原稿を走査する。この動作を繰り返すことによって、画
像読み取り部は、原稿全体の画像信号を取得できる。な
お、この画像信号は、複数レベルの濃度を持つ画素が2
次元に配されている画像を示す信号であれば、どのよう
な画像信号でもよい。
【0057】当該ブロックメモリ2には、上記入力端子
1から入力された複数ライン分の画像信号を、各画素2
56レベル(8ビット)で格納する記憶領域が設けられ
ている。これにより、ブロックメモリ2は、注目画素
と、その近傍の複数画素からなる局所ブロックの画素信
号を格納できる。なお、上記CCDイメージセンサが1
回の主走査方向の走査で取得可能な副走査方向の画素数
が、局所ブロックの副走査方向の画素数に満たない場合
は、例えば、複数回の主走査方向の走査で得られる画像
信号を蓄積すれば、局所ブロック全体の画像信号を格納
できる。
【0058】一方、上記第1特徴量演算回路3には、上
記ブロックメモリ2に格納されている画像信号に基づい
て、上記局所ブロック内の最大信号レベルを算出する最
大値検出回路31と、上記画像信号に基づいて、上記局
所ブロック内の最小信号レベルを算出する最小値検出回
路32と、当該最大値検出回路31の出力値から、最小
値検出回路32の出力値を減算する減算器33とが設け
られている。これにより、第1特徴量演算回路3は、第
1特徴パラメータP1 の特徴量(第1特徴量)として、
上記最大信号レベルと最小信号レベルとの差を出力でき
る。
【0059】また、上記第2特徴量演算回路4には、上
記ブロックメモリ2に格納されている画像信号に基づい
て、主走査方向および副走査方向の各方向毎に、連続す
る2個の画素間の差分値を順次加算する主走査方向差分
値総和算出回路41aおよび副走査方向差分値総和算出
回路41bと、各方向の差分値総和算出回路41a・4
1bの出力を比較する比較器42とが設けられている。
【0060】上記主走査方向差分値総和算出回路41a
は、ブロックメモリ2を参照して、上記局所ブロック内
において、主走査方向に連続する2個の画素間の差分値
を順次加算する。これにより、上記局所ブロック内にお
ける主走査方向の差分値の総和を算出できる。同様に、
副走査方向差分値総和算出回路41bは、ブロックメモ
リ2を参照して、上記局所ブロック内における副走査方
向の差分値の総和を算出できる。
【0061】一方、比較器42は、各方向の差分値総和
算出回路41a・41bの出力のうち、最小値を出力で
きる。なお、各方向の差分値の個数が異なる場合は、比
較器42は、それぞれの差分値の個数に応じて正規化
し、各正規化された差分値の総和のうち、最小の値を出
力すればよい。これにより、第2特徴量演算回路4は、
第2特徴パラメータP2 の特徴量(第2特徴量)とし
て、局所ブロック内における各方向の差分値総和のうち
の最小値を出力できる。
【0062】さらに、本実施形態に係る第3特徴量演算
回路5には、主走査方向に関連する主方向演算部とし
て、主走査方向最大連続同一濃度画素数最大値算出回路
51aと、主走査方向最大連続同一濃度画素数最小値算
出回路52aと、減算器53aとが設けられており、副
方向に関連する副方向演算部として、副走査方向最大連
続同一濃度画素数最大値算出回路51bと、副走査方向
最大連続同一濃度画素数最小値算出回路52bと、減算
器53bとが設けられている。さらに、第3特徴量演算
回路5は、両減算器53a・53bの出力を比較して、
大きい方の値を出力する比較器(出力部)54を備えて
いる。
【0063】上記主走査方向最大連続同一濃度画素数最
大値算出回路51aは、上記ブロックメモリ2を参照し
て、局所ブロック内の各画素を、所定のしきい値で2値
化する。さらに、主走査方向に沿った主ライン毎に、2
値のうちの同一値の画素が連続する数のうち最大値(最
大連続同一濃度画素数)C1を算出する。さらに、主走
査方向最大連続同一濃度画素数最大値算出回路51a
は、局所ブロック内の各主ラインにて算出された値C1
のうちから、最大値C3を求める。なお、局所ブロック
内の主ラインの数は、副走査方向の画素数と同じであ
り、例えば、局所ブロックが7×7画素の場合、主ライ
ンの数は、7本となる。また、本実施形態では、一例と
して、2値のうち、黒を示す値の画素が連続する数を数
え、最大連続黒画素数を求めている。
【0064】一方、主走査方向最大連続同一濃度画素数
最小値算出回路52aは、同様に局所ブロック内の各主
ライン毎に最大連続同一濃度画素数C1を算出し、その
最小値C4を求める。さらに、減算器53aは、上記値
C3とC4との差を、主走査方向最大連続同一濃度画素
数最大値C5として出力する。
【0065】同様にして、副走査方向に関連して設けら
れた副走査方向最大連続同一濃度画素数最大値算出回路
51bは、上記ブロックメモリ2を参照して、局所ブロ
ック内の各画素を、所定のしきい値で2値化する。さら
に、副走査方向に沿った副ライン毎に、最大連続同一濃
度画素数C1を算出し、局所ブロック内の各副ラインに
て算出された値C1のうちから、最大値C6を求める。
また、副走査方向最大連続同一濃度画素数最小値算出回
路52bは、局所ブロック内の各副ライン毎に最大連続
同一濃度画素数C1を算出し、その最小値C7を求め
る。さらに、減算器53bは、上記値C6とC7との差
を、副走査方向最大連続同一濃度画素数最大値C8とし
て出力する。以下では、副ラインあるいは主ラインを問
わず、一方向に連続する画素をラインと総称する。
【0066】なお、上記では、各算出回路51a・51
b・52a・52b自体が、ブロックメモリ2を参照
し、各画素の信号レベルを2値化する場合を例にして説
明したが、これに限るものではない。例えば、画像信号
から2値化した画像を生成し、各算出回路51a・51
b・52a・52bに入力されてもよい。2値化された
画像に基づいて、上記各値C3・C4・C6・C7を算
出するものであれば、同様の効果が得られる。
【0067】さらに、比較器54は、減算器53aの出
力値C5と、減算器53bの出力値C8とを比較する。
さらに、両出力値C5・C8のうち、大きい方の値(最
大値)は、第3特徴パラメータP3 の特徴量(第3特徴
量)として、上記第1特徴量演算回路3が出力する第1
特徴パラメータP1 の特徴量(第1特徴量)、および、
上記第2特徴量演算回路4が出力する第2特徴パラメー
タP2 の特徴量(第2特徴量)と共に、判定回路6に出
力される。
【0068】ここで、上記第1特徴パラメータP1 と、
第2特徴パラメータP2 と、第3特徴パラメータP3
を軸とした3次元空間上において、文字領域、写真領
域、および網点領域の各種領域の画素が持つ特徴量は、
例えば、図2に示すように分布している。さらに、図2
に示す特徴量分布は、第1特徴パラメータP1 と第2特
徴パラメータP2 とを軸とする2次元へ投影すると、図
3に示すようになる。同様に、図4は、第1および第3
特徴パラメータP1 ・P3 の平面へ投影した2次元投影
図であり、図5は、第2および第3特徴パラメータP2
・P3 の平面へ投影した2次元投影図である。
【0069】より詳細に説明すると、当該3次元空間上
において、写真領域は、残余の領域(文字領域および網
点領域)に比べ、第1および第2特徴パラメータP1
2の双方が小さくなっている。さらに、第3特徴パラ
メータP3 は、残余の領域に比べて、比較的広く分布し
ている。したがって、上記3次元空間上において、写真
領域と残余の領域とを識別するための境界線または境界
面は、比較的容易に設定できる。なお、以下では、境界
線と境界面とを特に区別せず、境界と称する。
【0070】一方、文字領域と網点領域を識別するため
の境界は、写真領域の場合に比べて設定しにくい。すな
わち、網点領域は、文字領域に比べると、第1特徴パラ
メータP1 が小さくなる傾向にあり、第2特徴パラメー
タP2 が大きくなる傾向にある。ところが、網点領域の
線数が少なくなるに従って、第1特徴パラメータP1
大きくなり、かつ、第2特徴パラメータP2 が小さくな
る。したがって、図3に示すように、第1および第2特
徴パラメータP1 ・P2 を軸とする平面上では、線数が
少ない網点領域と、文字領域とが隣接あるいは重複し、
両領域を識別可能な境界を設定しにくい。
【0071】例えば、比較的細かい200線網点からな
る領域の特徴量は、図3中、1点鎖線で示す位置Aに分
布し、比較的荒い85線網点からなる領域の特徴量は、
破線で示す位置Bに分布する。一方、比較的大きな20
級文字からなる領域の特徴量は、2点鎖線で示す位置C
に分布し、比較的小さな7級文字からなる領域の特徴量
は、85線網点からなる領域の特徴量と重なる位置Dに
分布する。したがって、第1および第2特徴パラメータ
1 ・P2 のみに基づいて領域を識別する場合、荒い網
点(85線網点)と小さい文字(7級文字)とを識別で
きない。
【0072】ここで、網点領域は、文字領域と比較し
て、画素の配置が決まっており、画素の濃度に周期性が
現れやすい。この結果、網点領域の分布は、図2に示す
ように、網点領域の線数に拘わらず、第3特徴パラメー
タP3 が小さくなる傾向にある。したがって、図3に示
すように、第1および第2特徴パラメータP1 ・P2
軸とする平面上では、両領域を識別可能な境界を設定し
にくい場合であっても、図4または図5に示すように、
第3特徴パラメータP3 を追加することによって確実に
境界を設定できる。これにより、例えば、85線網点の
ように荒い網点と、例えば、7級文字のように小さい文
字との識別が可能となり、画像処理装置の識別精度を向
上できる。
【0073】本実施形態に係る判定回路6は、上記各特
徴量演算回路3・4・5から、注目画素の各特徴パラメ
ータP1 ・P2 ・P3 の特徴量が出力されると、上記3
次元空間における分類処理を行って、当該注目画素が存
在する領域(局所ブロック)の特徴に応じた領域識別情
報を出力する。
【0074】当該領域識別情報は、後述する識別信号O
aのように、文字領域、写真領域および網点領域の各種
領域のうち、いずれの領域に注目画素が存在しているか
を明確に区別するものでもよいし、後述する出力値Ob
のように、注目画素が存在する領域がいずれの種類の領
域らしいかを示す数値であってもよい。
【0075】上記構成において、記録画像の領域識別処
理の流れを、図6に示すフローチャートに基づいて説明
すると以下の通りである。すなわち、ステップ1(以下
では、S1のように略称する)において、CCDイメー
ジセンサを含む画像読み取り部が原稿を走査するなどし
て得られた画像信号を、図1に示す画像処理装置の入力
端子1に入力すると、ブロックメモリ2には、注目画素
を中心とした局所ブロックの画像信号が格納される。さ
らに、S2において、第1ないし第3特徴量演算回路3
・4・5は、ブロックメモリ2を参照して、当該局所ブ
ロック内における第1ないし第3特徴パラメータP1
2 ・P3 の各特徴量を算出する。さらに、判定回路6
は、S3において、上記の各特徴量に基づいて、当該局
所ブロックの特徴を分類し、S4にて、領域識別情報を
出力する。これにより、注目画素が存在する領域(局所
ブロック)が、上記各種領域のうち、いずれの種類の領
域であるか、すなわち、注目画素が、上記各種領域のう
ちのいずれに存在しているかが識別される。上記S2な
いしS4の処理は、画像処理装置に入力される画像信号
に含まれる全ての画素に対して逐次行われる。
【0076】ここで、従来のように、予めブロックを設
定し、かつ、ブロック毎に領域を識別する場合、ある画
素の特徴量は、当該画素が含まれるブロックの特徴量を
分類する際にしか反映されない。したがって、隣接する
画素間にブロックの境界が引かれれば、一方の画素の特
徴量は、他方の画素が存在する領域を識別する際に使用
されない。
【0077】これに対して、本実施形態に係る画像処理
装置は、各画素毎に、上記S2ないしS4の処理を行っ
ているので、各画素を注目画素とする毎に、当該画素を
中心とする新たな局所ブロックが設定されている。した
がって、予めブロックを設定する場合に比べて、識別精
度が向上し、各注目画素に応じた最適な領域識別情報を
生成できる。この結果、当該領域識別情報を使用すれ
ば、各注目画素に応じて最適な画像処理を行うといった
細かな処理を行うことができる。
【0078】以下では、判定回路6の具体的な構成例と
して、上記注目画素の存在する領域が、文字領域、写真
領域、あるいは、網点領域の各種領域の、いずれである
かを判定回路6が選択する場合、すなわち、領域識別情
報として、各種領域に応じた識別信号Oaを出力する場
合について、図7ないし図9を参照して説明する。
【0079】ここで、局所ブロックのサイズおよび各画
素の信号レベル数の例として、ブロックサイズが7画素
×7画素であり、かつ、各画素の信号レベルが256レ
ベル(8ビット)で表現されるとする。
【0080】この場合、第1特徴パラメータP1 は、最
大信号レベルと最小信号レベルの差であるので、0〜2
55までの値をとり、8ビットあれば表現できる。実際
には、第1特徴パラメータP1 が8ビット中の上位7ビ
ット目までで飽和し、下位の7ビット分が有効となる。
さらに、第1特徴パラメータP1 は、当該7ビット中、
下位の2ビット分が切り捨てられ、5ビットの入力信号
00〜I04として、図7に示す判定回路6aに入力され
る。
【0081】また、第2特徴パラメータP2 は、画素間
の信号レベル差の総和である。したがって、最も小さい
場合は0で、最も大きい場合、255×6×7=107
10となるので、14ビットあれば表現できる。この1
4ビット中、上位10ビット目までで飽和、さらに、下
位4ビット分が切り捨てられ、6ビットの入力信号I10
〜I15が判定回路6aに入力される。
【0082】さらに、第3特徴パラメータP3 は、最大
連続同一濃度画素数の最大値と最小値との差なので、0
〜7の間の値をとり、4ビットで表現できる。この4ビ
ット中の上位3ビット目までで飽和するので、判定回路
6aには、下位の3ビット分の入力信号I20〜I22が入
力される。
【0083】一方、図7に示す判定回路6aは、文字領
域であるか、写真領域であるか、あるいは、網点領域で
あるかの3通りを識別できるように、2ビットの識別信
号Oaを出力する。例えば、判定結果が文字領域であれ
ば、判定回路6aは、Oa00=0、かつ、Oa01=0の
識別信号Oaとして、文字領域を示す識別値”0”を出
力する。同様に、写真領域の場合、識別値”1”(Oa
00=0、かつ、Oa01=1)が出力され、網点領域の場
合、識別値”2”(Oa00=1、かつ、Oa01=0)が
出力される。
【0084】上記判定回路6aは、例えば、入出力特性
が予め神経回路網により決められたルックアップテーブ
ル、もしくは、神経回路網そのものにより実現される。
この場合の神経回路網の例としては、図8に示すよう
に、4層のパーセプトロンが挙げられる。当該神経回路
網61の入力層では、上記第1特徴パラメータP1 を正
規化した値が、I1 に入力される。同様に、第2特徴パ
ラメータP2 を正規化した値がI2 に、第3特徴パラメ
ータP3 を正規化した値がI3 に入力される。一方、神
経回路網61の出力層では、文字領域らしさを表す数値
がOc 、写真領域らしさを表す数値がOp 、網点領域ら
しさを示す数値がOs に出力される。各入力層は、中間
層の全ての神経素子の入力に接続されており、各中間層
の出力は、出力層の全ての神経素子の入力に接続されて
いる。各神経素子は、図9に示すように、多入力1出力
の素子であり、各神経素子への入力値をxi 、各重み係
数をwij、出力値をyj とすると、各神経素子は、下記
の式(1)に示す積和演算を行い、その積和演算結果X
j を下記の式(2)に示すシグモイド関数の入力として
用いて、yj を出力する。
【0085】
【数1】
【0086】既に良く学習された上記神経回路網61で
は、文字領域で得られた上記各特徴パラメータP1 ない
しP3 が入力されたとき、出力層では、Oc が“1”
に、Op が”0”に、Os が”0”に、それぞれ近い値
を出力する。同様に、写真領域で得られた上記各特徴パ
ラメータP1 ないしP3 が入力されたとき、出力層で
は、Oc が“0”に、Op が”1”に、Os が”0”
に、それぞれ近い値を出力し、網点領域で得られた上記
各特徴パラメータP1 ないしP3 が入力されたとき、出
力層では、Oc が“0”に、Op が”0”に、Os が”
1”に、それぞれ近い値を出力する。
【0087】図7に示す判定回路6aでは、上記神経回
路網61の出力層Oc 、Op およびOs から得られた各
値に基づいて、識別値、すなわち、Oa00およびOa01
の各値が求められる。例えば、Oc が最大値の場合、O
00=0、Oa01=0となり、Op が最大値の場合、O
00=0、Oa01=1となり、Os が最大値の場合、O
00=1、Oa01=0となる。
【0088】ここで、判定回路6aをルックアップテー
ブルにて実現する場合には、上記神経回路網61の入出
力特性がルックアップテーブルに反映される。具体的に
は、ルックアップテーブル(図示せず)は、例えば、R
AM( Random access Memory )やROM( Read-Only
Memory )などの記憶装置によって実現されている。当
該記憶装置には、上記各特徴パラメータP1 ないしP3
の組み合わせに対応する記憶領域が設けられており、各
記憶領域には、識別値が格納されている。さらに、ルッ
クアップテーブルは、各特徴パラメータP1 ないしP3
が入力されると、その組み合わせに対応した記憶領域を
参照し、格納された識別値を出力する。上記ルックアッ
プテーブルに格納される識別値は、上記神経回路網61
の入出力特性を反映したものであり、例えば、ある組み
合わせの特徴パラメータP1 ないしP3 が入力されたと
きに、当該神経回路網61が、ある識別値を出力する場
合、この組み合わせに対応する記憶領域には、当該識別
値が格納される。
【0089】一方、判定回路6aを神経回路網61その
もので実現する場合には、図8に示す神経回路網61
と、当該神経回路網61の出力層Oc 、Op およびOs
から得られた値から、識別値をエンコードするエンコー
ダ(図示せず)などとによって構成される。
【0090】次に、図1に示す判定回路6の他の構成例
として、注目画素が存在する領域の文字領域らしさ、写
真領域らしさおよび網点領域らしさを示す領域識別情報
を出力する場合について、図10に基づき説明する。
【0091】すなわち、本構成例に係る判定回路6bに
は、図7に示す判定回路6aと同様に、第1特徴パラメ
ータP1 を示す入力信号I00〜I04と、第2特徴パラメ
ータP2 を示す入力信号I10〜I15と、第3特徴パラメ
ータP3 を示す入力信号I20〜I22が入力される。一
方、判定回路6bの出力は、上記判定回路6aと異なっ
ており、8ビットの出力値Obのうち、文字領域らしさ
を示す出力値にOb00〜Ob02の3ビットが使用され、
写真領域らしさを示す出力値に2ビット(Ob10〜Ob
11)、網点領域らしさを示す出力値に3ビット(Ob20
〜Ob22)がそれぞれ割り当てられている。なお、出力
値Ob全体のビット数や、各種領域に割り当てられた各
ビット数は、上述の例に限るものではなく、種々の値を
適用できる。ただし、図2ないし図5に示すように、写
真領域は、文字領域および網点領域に比べて判定しやす
い。したがって、出力値Ob全体のビット数を削減する
ことが要求される場合には、写真領域に対して、残余の
領域よりも少ないビット数を割り当てる方が良い。
【0092】当該判定回路6bは、上記判定回路6aと
略同様に、図8に示す構成の神経回路網61そのもの、
あるいは、当該神経回路網61の入出力特性を反映した
ルックアップテーブルによって実現できる。ただし、出
力層Oc 、Op およびOs と、出力値Obとの対応が上
記判定回路6aと異なっている。具体的には、判定回路
6bでは、出力層Oc で得られた値を3ビットに変換し
て、Ob00〜Ob02の値が求められる。以下では、Ob
00〜Ob02が示す値をOb1 と称する。また、出力層O
p で得られた値を2ビットに変換して、Ob10〜Ob11
の値Ob2 が求められ、出力層Os で得られた値を3ビ
ットに変換して、Ob20〜Ob22の値Ob3 が求められ
る。
【0093】なお、上記各判定回路6a・6bの入力ビ
ット数は、上述したビット数に限定されるものではな
く、用途に応じて任意のビット数を選択できる。ただ
し、入力ビット数を多くすれば、判定精度が向上する一
方で、処理速度の低下やコスト高を招来する。したがっ
て、これらの条件を考慮して、最適なビット数を選択す
ることが望ましい。また、神経回路網の形態は、図8に
示す構成に限定されるものではない。すなわち、神経回
路網の中間層数および中間層の神経素子数は任意であ
り、他の形態の神経回路網を用いてもよい。
【0094】ところで、上述の説明では、図1に示す第
3特徴量演算回路5が第3特徴パラメータP3 の特徴量
を算出する際、局所ブロック内のライン毎に、最大連続
同一濃度画素数C1を求め、C1自体の最大値(C3、
C6)と最小値(C4,C7)との差(C5、C8)を
算出している。
【0095】しかしながら、上記値C1は、ライン方向
の画素数以下であるため、最大値と最小値との差(C
5、C8)も、当該画素数を越えることができない。こ
こで、第3特徴パラメータP3 は、主走査方向の差C5
と副走査方向の差C8とのうちの最大値として算出され
るので、当該第3特徴パラメータP3 の値も上記画素数
を越えることがない。
【0096】このように、上述の算出方法では、第3特
徴パラメータP3 の大きさが、局所ブロックにおける各
ライン方向の画素数以下に制限されている。この結果、
第3特徴パラメータP3 に関して、文字領域における特
徴量と網点領域における特徴量との差が小さくなるの
で、識別精度の向上が制限される虞れがある。
【0097】これに対して、以下に説明する第3特徴量
演算回路5aは、上記最大連続同一濃度画素数C1に代
えて、連続する複数ラインにおけるC1の和C2に基づ
いて、第3特徴パラメータP3 を算出している。
【0098】具体的には、主走査方向最大連続同一濃度
画素数最大値算出回路51aに代えて設けられる主走査
方向最大連続同一濃度画素数最大値算出回路56aは、
主ライン毎に、最大連続同一濃度画素数C1を算出し、
副走査方向に連続する複数ライン分の和C2を算出す
る。さらに、主走査方向最大連続同一濃度画素数最大値
算出回路56aは、局所ブロック内におけるC2の最大
値をC3として出力する。例えば、局所ブロックにおい
て、主ラインの数が7本で、上記複数ラインの本数を2
本とすると、1つの局所ブロック内で6つのC2が算出
され、その最大値がC3として出力される。同様にし
て、主走査方向最大連続同一濃度画素数最小値算出回路
52aに代えて設けられた主走査方向最大連続同一濃度
画素数最小値算出回路57aは、局所ブロック内におけ
るC2の最小値C4を出力する。
【0099】一方、副走査方向に関しても同様であり、
両算出回路51b・52bに代えて設けられた副走査方
向最大連続同一濃度画素数最大値算出回路56bおよび
副走査方向最大連続同一濃度画素数最小値算出回路57
bは、各副ライン毎に最大連続同一濃度画素数C1を算
出し、主走査方向に連続する複数の副ライン分の和C2
を求める。そして、両算出回路56b・57bは、各C
2の最大値C6および最小値C7を出力する。
【0100】ここで、画素の解像度によっては、文字や
網点を構成する線の太さが2画素以上になることがあ
る。この場合、連続する複数ライン間では、画素の信号
レベルは、同様の傾向を示すことが多い。なお、画素の
解像度は、例えば、CCDイメージセンサを含む画像読
み取り部が原稿を走査することによって画像信号を生成
する場合、読み取りの解像度によって決定される。
【0101】したがって、1ラインにおける値C1の代
わりに、連続する複数ライン分の和C2を用いて、第3
特徴パラメータP3 の特徴量を算出することにより、局
所ブロックの特徴を十分表現しながら、かつ、第3特徴
パラメータP3 の値を増加させることができる。言い換
えると、第3特徴パラメータP3 の分解能が向上する。
したがって、第3特徴パラメータP3 に関して、文字領
域における特徴量と網点領域における特徴量との差は、
さらに大きくなり、判定回路6の識別精度を向上でき
る。
【0102】〔第2の実施形態〕上記画像処理装置で
は、第2特徴量演算回路4が、主走査方向差分値総和算
出回路41aと副走査方向差分値総和算出回路41bと
を備え、主走査方向および副走査方向の両方向に関し
て、差分値総和を算出する場合を例にして説明してい
る。
【0103】これに対して、本実施形態では、差分値総
和を算出する方向が2つ増加されている。具体的には、
図11に示すように、本実施形態に係る第2特徴量演算
回路4aには、上記第2特徴量演算回路4の構成に加え
て、右斜め45°方向と、左斜め45°方向との2つの
方向に関して、それぞれ差分値総和を算出する右斜め4
5°方向差分値総和算出回路41cと、左斜め45°方
向差分値総和算出回路41dとが設けられている。さら
に、比較器42は、各差分値総和算出回路41aないし
41dの出力のうちの最小値を、第2特徴パラメータP
2 の特徴量として出力する。
【0104】上記構成では、斜め方向の両差分値総和算
出回路41c・41dによって、斜め方向のエッジ成分
が検出される。したがって、局所ブロックが主走査方向
および副走査方向のエッジ成分を含んでいる場合だけで
はなく、斜め方向のエッジ成分を含んでいる場合であっ
ても、第2特徴パラメータP2 の特徴量が増大する。こ
の結果、斜め方向のエッジ成分を持つ文字領域の識別精
度が、さらに向上する。
【0105】なお、本実施形態では、斜め方向として、
右斜め45°と左斜め45°との2つを採用している
が、当該斜め方向は、上記主走査方向および副走査方向
の双方と異なっていればよく、斜め方向の数や傾きを問
わない。ただし、斜め方向として、右斜め45°方向
と、左斜め45°との双方を用いれば、エッジ成分を検
出する方向が均等に配されるので、文字領域の識別精度
をさらに向上できる。
【0106】〔第3の実施形態〕上記第1および第2実
施形態では、画像処理装置が、各画素が存在する領域の
領域識別情報を出力する場合について説明している。こ
れに対して、本実施形態では、上記領域識別情報に基づ
いて行われる画像処理の一例として、画像処理装置が、
さらに、空間フィルタリング処理を行う場合について説
明する。
【0107】具体的には、図12に示すように、本実施
形態に係る画像処理装置には、図11に示す構成に加え
て、判定回路6の指示に応じて、画像信号を空間フィル
タリングするフィルタ処理回路(フィルタリング手段)
8が加えられている。なお、図12では、図11に示す
構成にフィルタ処理回路8を加えた場合を図示している
が、図1に示す構成に、フィルタ処理回路8を付加して
も略同様の効果が得られる。
【0108】上記構成の画像処理装置の動作について、
図13に示すフローチャートに基づいて簡単に説明す
る。本実施形態では、図6に示すステップS4の後に、
新たなステップS5が付加されている。図6と同様に、
S2において、注目画素を中心とする局所ブロックに関
して、第1ないし第3特徴パラメータP1 ないしP3
各特徴量が算出されると、S3では、各特徴量に基づい
て、注目画素の識別処理が行われる。さらに、新たに設
けられたS5において、フィルタ処理回路8は、判定回
路6の出力値(S4にて求めた領域識別情報)により、
使用するフィルタを変更して、画像信号をフィルタリン
グ処理する。
【0109】上記S2ないしS5の各ステップは、各注
目画素毎に逐次行われる。この結果、予めブロックを設
定する場合に比べて、識別精度が向上し、各注目画素に
応じて、最適なフィルタリング処理を行うことができ
る。
【0110】以下では、フィルタ処理回路8で使用され
るフィルタ係数、および、フィルタ係数の設定方法につ
いて、さらに詳細に説明する。例えば、図7に示す判定
回路6aのように、識別信号Oaを出力する場合、すな
わち、文字領域、写真領域および網点領域の各種領域の
うち、いずれの種類の領域に注目画素が存在するかを、
判定回路6aが択一的に選択する場合には、以下に示す
フィルタ処理回路8aが用いられる。
【0111】具体的には、注目画素が文字領域であるこ
とを示す識別信号Oaが出力された場合、フィルタ処理
回路8aは、例えば、図14に示すフィルタ係数を有す
る強調フィルタで、画像信号を強調処理する。これによ
り、画像のエッジが強調され、文字、線画などが鮮明に
なる。また、識別信号Oaが網点領域を示している場
合、例えば、図15に示すフィルタ係数を有する平滑フ
ィルタで、画像信号を平滑処理する。上記フィルタ係数
は、網点周波数成分を抑制するように設定されている。
これにより、網点領域において、モアレの発生を抑制で
きる。さらに、識別信号Oaが写真領域を示している場
合、画像信号をそのまま出力する。
【0112】なお、フィルタ処理回路8aは、上述のフ
ィルタ係数を有する平滑フィルタと、強調フィルタとを
用意して、識別信号Oaに基づいて切り換えてもよい。
また、CPUが所定のプログラムを実行することによっ
てフィルタ処理回路8aを実現した場合など、フィルタ
処理回路8aがフィルタ係数を変更できれば、識別信号
Oaに基づいて選択されたフィルタ係数を設定してもよ
い。識別信号Oaに基づいて、フィルタ処理回路8aが
画像信号をフィルタリングする際のフィルタ係数を切り
換えることができれば、同様の効果が得られる。
【0113】一方、例えば、図10に示す判定回路6b
の場合には、フィルタ処理回路8として、以下に示すよ
うにフィルタ係数を切り換えるフィルタ処理回路8bが
使用される。すなわち、判定回路6bが、注目画素の存
在する領域を文字領域と判定した場合、文字領域らしさ
を示す出力値Ob1 は、大きく、写真領域らしさを示す
出力値Ob2 および網点領域らしさを示す出力値Ob3
は小さい。フィルタ処理回路8bは、上記出力値Ob1
が予め設定された値よりも大きく、かつ、上記両出力値
Ob2 ・Ob3 が予め設定された値よりも小さいとき、
注目画素が含まれる領域は、文字領域であると判定し、
図14に示すフィルタ係数を持つ強調フィルタにて、画
像信号を強調処理する。これにより、画像のエッジが強
調され、文字、線画などを鮮明にできる。
【0114】また、上記判定回路6bにおいて、網点領
域と識別されたとき、すなわち、網点領域らしさを示す
出力値Ob3 が、予め設定された値よりも大きく、か
つ、残余の両出力値Ob1 ・Ob2 が、予め設定された
値よりも小さいときには、図15に示すフィルタ係数を
有する平滑化フィルタにて、画像信号を平滑処理する。
これにより、画像の網点領域において、モアレの発生を
抑制できる。
【0115】さらに、写真領域と識別された場合、すな
わち、写真領域らしさを示す出力値Ob3 が、予め設定
された値よりも大きく、かつ、残余の両出力値Ob1
Ob2 が、予め設定された値よりも小さい場合には、フ
ィルタ処理回路8bは、画像信号をそのまま出力する。
【0116】加えて、判定回路6bでは、注目画素の存
在する領域が、いずれの領域とも判定し難い場合、すな
わち、誤判定しやすい場合、各領域らしさを示す出力値
Ob1 ないしOb3 には、あまり差がなくなる。この場
合、フィルタ処理回路8bは、画像信号をそのまま出力
する。あるいは、この場合、フィルタ処理回路8bは、
例えば、図16に示すフィルタ係数を有するフィルタ、
すなわち、強調作用と平滑作用とが混合されたフィルタ
にて、画像信号をフィルタリングする。このように、フ
ィルタ処理回路8bは、誤判定を起こしやすい場合を識
別して、誤判定しても余り影響がないフィルタ係数を選
択する。これにより、誤判定による画質への悪影響を回
避でき、画質を向上できる。なお、上記図14ないし図
16に示すフィルタ係数は、一例であり、用途に応じ
て、任意のマスクサイズやフィルタ係数を持つフィルタ
を使用できる。
【0117】ところで、上記の説明では、判定回路6が
出力する領域識別情報に応じて、フィルタ処理回路8
が、予め用意されたフィルタ係数のうちの1つを選択す
る場合について説明している。
【0118】しかしながら、図10に示す判定回路6b
のように、判定回路6が各種領域らしさを示す数値Ob
を出力する場合、すなわち、領域識別情報が、文字領域
らしさ、写真領域らしさ、および、網点領域らしさを示
している場合には、フィルタ処理回路8として、以下に
示すフィルタ処理回路8cを用いれば、注目画素に最適
なフィルタ係数を求めてフィルタリング処理できる。
【0119】具体的には、フィルタ処理回路8cにおい
て、強調フィルタの重み係数We および平滑フィルタの
重み係数Ws は、それぞれ下記の式(3)および式
(4)で求められる。
【0120】We =g1 (Oc ) ・・・(3) Ws =g2 (Os ) ・・・(4) なお、上式(3)、式(4)において、Oc は、文字領
域らしさを表す数値であり、Os は、網点領域らしさを
表す数値であり、上記の各出力値Oc ・Os は0〜1に
規格化されているものとする。
【0121】ここでは、一例として、下記の式(5)に
より、上記We およびWs を求める。
【0122】
【数2】
【0123】上記のWe 、Ws を入力とした空間フィル
タf1 により、式(6)のように入力画像信号Iに対し
て空間フィルタリング処理が行われ、処理値Oが出力さ
れる。
【0124】 O=f1 (We ,Ws ,I) ・・・(6) ここでは、空間フィルタf1 の一例として、式(7)に
て示されるフィルタを挙げる。
【0125】
【数3】
【0126】なお、上式(7)中の“[ ]・I”は、
オペレータ“[ ]”と画像信号Iとの畳み込み演算を
示している。
【0127】上記構成では、フィルタ処理回路8cは、
各種領域らしさを示す領域識別情報に基づいて、フィル
タリング係数を調整する。この結果、各注目画素に最適
なフィルタリング係数で、画像信号をフィルタリングで
きる。この結果、より確実に画質を向上可能な画像処理
装置を実現できる。
【0128】さらに、上記フィルタ処理回路8cでは、
各種領域らしさが同程度の場合、すなわち、注目画素が
含まれる領域を、いずれの領域にも分類しにくい場合に
は、例えば、強調作用と平滑作用とを混合したフィルタ
係数に調整される。したがって、誤識別による画質劣化
を防止できる。これらの結果、上記画像の画質をさらに
向上できる。
【0129】なお、上式(5)に示す関数g1 およびg
2 に代えて、他の関数を用いてもよいし、フィルタf1
において、任意のマスクサイズや係数を使用してもよ
い。フィルタ処理回路8が、各種領域らしさを示す領域
識別情報に基づいて、フィルタ係数を変更するものであ
れば、本実施形態と同様の効果が得られる。
【0130】また、上記第1ないし第3実施形態に係る
画像処理装置は、第1ないし第3特徴量演算回路3・4
・5(5a)を備え、判定回路6(6a)が3つの特徴
パラメータP1 からP3 の特徴量の組み合わせに基づい
て、文字領域、写真領域および網点領域を識別するため
の領域識別信号を出力しているが、これに限るものでは
ない。判定回路6(6a)が、少なくとも第3特徴パラ
メータP3 の特徴量に基づいて、領域識別信号を生成す
れば、効果が得られる。
【0131】例えば、上記各特徴量演算回路3・4(4
a)・5(5a)のうち、第3特徴量算出回路5(5
a)のみを備え、判定回路6が第3特徴パラメータP3
の特徴量に基づいて、領域識別信号を出力してもよい。
上述した図2に示すように、網点領域の分布は、網点領
域の線数に拘わらず、第3特徴パラメータP3 が小さく
なる傾向にある。したがって、第3特徴パラメータP3
のみに基づいて識別することによって、図3ないし図5
に示すように、荒い網点からなる領域と小さな文字から
なる領域とを確実に区別することができる。
【0132】ただし、第3特徴パラメータP3 の特徴量
のみに基づいて識別する場合、大きい文字からなる領域
を網点領域と誤識別したり、細かい網点からなる領域を
文字領域と誤識別したりする虞れがある。したがって、
上記各実施形態に示すように、第1特徴量算出回路3あ
るいは第2特徴量算出回路4(4a)を加えると共に、
判定回路6(6a)が第1特徴パラメータP1 の特徴
量、あるいは、第2特徴パラメータP2 の特徴量と第3
特徴パラメータP3 の特徴量に基づいて、領域識別信号
を生成した方が、画像処理装置の識別精度をさらに向上
できる。
【0133】詳細に説明すると、第3特徴パラメータP
3 は、2値化された局所ブロックの画像に基づいて算出
されている。したがって、細かい網点からなる領域のよ
うに、コントラストが低い場合には、隣接する画素が2
値化によって同一値となる虞れがある。さらに、画像に
濃度勾配が存在すれば、例えば、上半分など、局所ブロ
ックの一部では、全ての画素が2値の一方となり、残余
の部分では、全ての画素が2値の他方となる。この場
合、当該領域が網点領域であるにも拘わらず、第3特徴
パラメータP3 が大きくなり、文字領域と区別しにくく
なる。
【0134】これに対して、第1特徴パラメータP
1 は、細かい網点領域のように、コントラストが低い領
域で小さくなる。したがって、図4に示すように、第1
および第3特徴パラメータP1 ・P3 の組み合わせに基
づいて、判定回路6(6a)が領域識別信号を生成する
ことによって、網点の細かさに拘わらず、文字領域と網
点領域とをより正確に識別できる。
【0135】同様に、第2特徴パラメータP2 は、細か
い網点領域のように、頻繁に濃度が変化する領域で大き
くなる。したがって、図5に示すように、第2および第
3特徴パラメータP2 ・P3 の組み合わせに基づいて、
判定回路6(6a)が領域識別信号を生成することによ
って、網点の細かさに拘わらず、文字領域と網点領域と
を、さらに正確に識別できる。
【0136】また、第3特徴パラメータP3 は、主走査
方向の連結度と副走査方向の連結度とに基づいて算出さ
れているので、斜め線からなる文字を網点領域と誤識別
する虞れが比較的高い。この誤識別は、文字の大きさが
大きくなるに従って現れやすくなる。したがって、第2
の実施形態に示すように、第2特徴量算出回路4aが斜
め方向の差分値総和算出回路41c(41d)を備える
ことによって、大きい文字からなる領域の誤識別を、さ
らに確実に防止できる。
【0137】加えて、図2ないし図5を参照して上述し
たように、写真領域は、文字領域および網点領域に比べ
て、第1特徴パラメータP1 の特徴量と、第2特徴パラ
メータP2 の特徴量との双方が低くなる傾向がある。し
たがって、第1ないし第3特徴パラメータP1 〜P3
各特徴量全ての組み合わせに基づいて、判定回路6(6
a)が領域識別信号を生成した場合、写真領域と文字領
域と網点領域との識別が可能になる。
【0138】なお、上記第1ないし第3実施形態では、
画像信号が原稿を走査して得られる場合を想定して説明
しているが、これに限るものではない。例えば、デジタ
ルカメラなど場合のように、画像信号は、一括して取得
されるものでもよいし、記憶装置や通信装置から送られ
た画像信号でもよい。複数レベルの濃度を持つ画素が2
次元に配されている画像を示す画像信号が入力される画
像処理装置であれば、本発明を適用できる。
【0139】ただし、本発明は、近隣の画素からなる局
所ブロック内の最大濃度差、煩雑度や連結度に基づい
て、各特徴パラメータの各特徴量を算出しているので、
離れた画素の画像信号を参照することなく、識別精度を
向上できる。この結果、原稿を走査して得られる画像信
号のように、近隣の画素の画像信号が連続して与えられ
る場合であっても、離れた画素の画像信号が与えられる
まで、注目画素の画像信号を格納する必要がない。した
がって、大きな記憶容量を必要とすることなく、原稿を
走査して得られる画像信号の領域を識別できる。
【0140】
【発明の効果】請求項1の発明に係る画像処理装置は、
以上のように、局所ブロック内の画素を所定のしきい値
で2値化した2値画像に対して、連続した同じ値を持つ
画素数の最大値を主方向に沿った主ライン毎に算出し、
副方向に連続する少なくとも1本の主ライン毎に算出値
の総和を求めて、当該総和の最大値と最小値との差を求
める主方向演算部と、上記2値画像に対して、連続した
同じ値を持つ画素数の最大値を上記副方向に沿った副ラ
イン毎に算出し、上記主方向に連続する少なくとも1本
の副ライン毎に算出値の総和を求めて、当該総和の最大
値と最小値との差を求める副方向演算部と、上記両演算
部の出力のうちの最大値を、連結度特徴パラメータの特
徴量として出力する出力部とを有する連結度特徴量算出
手段が設けられていると共に、上記連結度特徴パラメー
タに基づいて、上記注目画素の存在する領域が、上記各
種領域のいずれであるかを識別するための領域識別情報
を出力する識別手段を備えている構成である。
【0141】上記構成では、各種領域の特徴を表す特徴
パラメータとして、連結度特徴パラメータが算出され
る。ここで、網点領域では、網点の配置および周期性に
よって、各ラインで得られた最大同一濃度連続画素数の
最大値が文字領域に比べて小さく、かつ、最小値が文字
領域に比べて大きくなる。したがって、線数の小さな網
点領域と、文字領域とを確実に識別でき、画像処理装置
の識別精度を向上できるという効果を奏する。
【0142】請求項2の発明に係る画像処理装置は、以
上のように、請求項1記載の発明の構成において、上記
局所画像データに基づいて、当該局所ブロック内の全画
素の信号レベルのうち、最大値と最小値との差を算出
し、最大濃度差特徴パラメータの特徴量として上記識別
手段へ与える最大濃度差特徴量算出手段を備えている構
成である。
【0143】当該構成では、識別手段は、最大濃度差特
徴パラメータの特徴量と、連結度特徴パラメータの特徴
量との組み合わせに基づいて、領域識別情報を生成す
る。この結果、画像処理装置は、線数の大きさに拘わら
ず、網点領域と文字領域とを確実に識別可能となり、識
別精度を向上できるという効果を奏する。
【0144】請求項3の発明に係る画像処理装置は、以
上のように、請求項1または2記載の発明の構成におい
て、上記局所画像データに基づいて、当該局所ブロック
内で上記主方向に連続する2つの画素間の信号レベル差
を算出し、当該局所ブロック内における信号レベル差の
総和を求め、かつ、上記副方向に連続する画素間につい
ても信号レベル差の総和を求めると共に、上記各方向の
総和のうちの最小値を繁雑度特徴パラメータの特徴量と
して上記識別手段へ与える繁雑度特徴量算出手段を備え
ていることを特徴とする請求項1または2記載の画像処
理装置。上記各方向の総和のうちの最小値を繁雑度特徴
パラメータの特徴量として算出する繁雑度特徴量算出手
段を備えている構成である。
【0145】当該構成では、識別手段は、繁雑度特徴パ
ラメータの特徴量と、連結度特徴パラメータの特徴量と
の組み合わせに基づいて、領域識別情報を生成する。こ
の結果、画像処理装置は、線数の大きさに拘わらず、網
点領域と文字領域とを確実に識別可能となり、識別精度
を向上できるという効果を奏する。
【0146】請求項4の発明に係る画像処理装置は、以
上のように、請求項3記載の発明の構成において、上記
主方向および副方向は、互いに略直交しており、上記繁
雑度特徴量算出手段は、さらに、上記主方向および副方
向の双方と異なる斜め方向に連続する画素についても、
信号レベル差の総和を算出し、上記主方向、副方向、お
よび斜め方向の総和のうちの最小値を出力する構成であ
る。
【0147】上記構成では、局所ブロックにおいて、主
方向および副方向のエッジ成分が含まれている場合だけ
ではなく、斜め方向のエッジ成分が含まれている場合で
あっても、繁雑度特徴パラメータの特徴量が増大する。
この結果、斜め方向のエッジ成分を持つ文字領域の識別
精度を、さらに向上できるという効果を奏する。
【0148】請求項5の発明に係る画像処理装置は、以
上のように、請求項1、2、3または4記載の発明の構
成において、上記主方向演算部は、2本以上の上記副ラ
イン毎に上記算出値の総和を求めると共に、上記副方向
演算部は、2本以上の上記主ライン毎に上記算出値の総
和を求める構成である。
【0149】上記構成によれば、文字領域における連結
度特徴パラメータの特徴量と、網点領域における特徴量
との差を拡大できる。この結果、両領域を区別しやすく
なり、画像処理装置の識別精度をさらに向上できるとい
う効果を奏する。
【0150】請求項6の発明に係る画像処理装置は、以
上のように、請求項2、3、4または5記載の発明の構
成において、上記識別手段は、入力される上記各特徴パ
ラメータを軸とする多次元空間上で非線型な特性を含む
境界を設けて上記各種領域を選定し、当該各特徴パラメ
ータの各特徴量に基づいて、上記領域識別情報を出力す
る構成である。
【0151】当該構成では、識別手段は、複数の特徴パ
ラメータを用いて、多次元的に領域を識別する。したが
って、各特徴パラメータ毎に特徴量を分類する場合に比
べて、識別精度を向上できるという効果を奏する。
【0152】請求項7の発明に係る画像処理装置は、以
上のように、請求項6記載の発明の構成において、上記
識別手段は、上記各特徴パラメータの各特徴量を入力す
れば、それに応じた領域識別情報を出力するように予め
学習されている神経回路網を備えている構成である。
【0153】一般に、神経回路網は、入力の数が複数
で、所望の入出力特性が非線型かつ数式で表現できない
場合であっても、学習を繰り返すことによって、比較的
容易に、所望の入出力特性に調整できる。この結果、上
記境界を示す式を予め特定する場合に比べて、非常に高
精度な識別手段を、比較的容易に実現できるという効果
を奏する。
【0154】請求項8の発明に係る画像処理装置は、以
上のように、請求項1、2、3、4、5、6または7記
載の発明の構成において、上記識別手段は、上記各種領
域毎に、上記注目画素が存在する確からしさを算出し、
それぞれの領域らしさを示す値を上記領域識別情報とし
て出力する構成である。
【0155】上記構成によれば、識別手段は、当該識別
手段の後段に配され、かつ、入力された画像をさらに処
理する手段へ、より細かな指示を与えることができる。
特に、いずれの領域に分類することも困難である場合
に、識別不可能な画素に応じた処理を指示できる。この
結果、より高画質な画像処理装置を実現できるという効
果を奏する。
【0156】請求項9の発明に係る画像処理装置は、以
上のように、請求項1、2、3、4、5、6または7記
載の発明の構成において、上記識別手段は、上記注目画
素が存在する領域が、上記各種領域のうちのいずれの領
域であるかを選択し、上記領域識別情報として、選択さ
れた領域を示す識別信号を出力する構成である。
【0157】上記構成では、識別手段は、いずれの領域
であるかを選択すればよいので、処理が迅速な画像処理
装置を実現できるという効果を奏する。
【0158】請求項10の発明に係る画像処理装置は、
以上のように、請求項1、2、3、4、5、6、7、8
または9記載の発明の構成において、さらに、上記領域
識別情報に基づいて、上記注目画素に対して、空間フィ
ルタリング処理を行うフィルタリング手段を備えている
構成である。
【0159】上記構成では、識別手段の識別精度が極め
て高いので、フィルタリング手段は、誤識別を考慮せず
にすみ、各種領域に最適なフィルタ係数にて、各画素を
空間フィルタリングできる。この結果、画像処理装置が
出力する画像を高画質化できるという効果を奏する。
【0160】請求項11の発明に係る画像処理装置は、
以上のように、請求項10記載の発明の構成において、
上記識別手段は、上記各種領域毎に、上記注目画素が存
在する確からしさを算出し、例えば、文字領域らしさ、
および写真領域らしさなど、各種領域らしさを示す値を
上記領域識別情報として出力すると共に、上記フィルタ
リング手段は、上記各種領域らしさを示す値に基づいて
算出したフィルタリング係数にて、フィルタリング処理
する構成である。
【0161】上記構成では、フィルタリング手段は、各
種領域らしさを示す領域識別情報に基づいて、フィルタ
リング係数を調整できる。この結果、各注目画素に応じ
た細かな画像処理が可能となる。この結果、上記画像の
画質をさらに向上できるという効果を奏する。
【0162】請求項12の発明に係る記録媒体は、以上
のように、上記局所ブロック内の画素を所定のしきい値
で2値化した2値画像に対して、連続した同じ値を持つ
画素数の最大値を上記主方向に沿った主ライン毎に算出
し、上記副方向に連続する少なくとも1本の主ライン毎
に算出値の総和を求めて、当該総和の最大値と最小値と
の差を求める第1工程と、上記2値画像に対して、連続
した同じ値を持つ画素数の最大値を上記副方向に沿った
副ライン毎に算出し、上記主方向に連続する少なくとも
1本の副ライン毎に算出値の総和を求めて、当該総和の
最大値と最小値との差を求める第2工程と、上記第1工
程および第2工程で求めた差のうちの最大値を、連結度
特徴パラメータの特徴量として算出する第3工程と、当
該連結度特徴パラメータに基づいて、上記注目画素が存
在する領域の領域識別情報を算出する第4工程とを実行
するプログラムを記録している構成である。
【0163】上記プログラムが実行されると、連結度特
徴パラメータの特徴量に基づいて、注目画素が含まれる
領域の領域識別情報が算出される。この結果、線数の小
さな網点領域と、文字領域とを確実に識別でき、注目画
素の識別精度を向上させることができるという効果を奏
する。
【図面の簡単な説明】
【図1】本発明の一実施形態を示すものであり、画像処
理装置の要部構成を示すブロック図である。
【図2】第1ないし第3特徴パラメータを軸として、特
徴量の分布例を示す説明図である。
【図3】特徴量分布例を示すものであり、第1および第
2特徴パラメータを軸とする平面へ、図2に示す特徴量
分布を投影した2次元投影図である。
【図4】特徴量分布例を示すものであり、第1および第
3特徴パラメータを軸とする平面へ、図2に示す特徴量
分布を投影した2次元投影図である。
【図5】特徴量分布例を示すものであり、第2および第
3特徴パラメータを軸とする平面へ、図2に示す特徴量
分布を投影した2次元投影図である。
【図6】上記画像処理装置の動作を示すフローチャート
である。
【図7】上記画像処理装置において、判定回路の一例を
示す構成図である。
【図8】上記判定回路に用いられた神経回路網を示す構
成図である。
【図9】上記神経回路網において、神経素子を示す構成
図である。
【図10】上記画像処理装置において、判定回路の他の
例を示す構成図である。
【図11】本発明の他の実施形態を示すものであり、画
像処理装置の要部構成を示すブロック図である。
【図12】本発明のさらに他の実施形態を示すものであ
り、画像処理装置の要部構成を示すブロック図である。
【図13】上記画像処理装置の動作を示すフローチャー
トである。
【図14】上記画像処理装置において、強調処理を行う
場合に、フィルタ処理回路で使用されるフィルタ係数の
一例を示す説明図である。
【図15】上記画像処理装置において、平滑処理を行う
場合に、フィルタ処理回路で使用されるフィルタ係数の
一例を示す説明図である。
【図16】上記画像処理装置において、強調平滑処理を
行う場合に、フィルタ処理回路で使用されるフィルタ係
数の一例を示す説明図である。
【符号の説明】
2 ブロックメモリ 3 第1特徴量演算回路(最大濃度差特
徴量算出手段) 4・4a 第2特徴量演算回路(繁雑度特徴量
算出手段) 5・5a 第3特徴量演算回路(連結度特徴量
算出手段) 6・6a・6b 判定回路(識別手段) 8・8a・8b・8c フィルタ処理回路(フィルタリ
ング手段) 51a 主走査方向最大連続同一濃度画素数最大値算出
回路(主方向演算部) 52a 主走査方向最大連続同一濃度画素数最小値算出
回路(主方向演算部) 53a 減算器(主方向演算部) 51b 副走査方向最大連続同一濃度画素数最大値算出
回路(副方向演算部) 52b 副走査方向最大連続同一濃度画素数最小値算出
回路(副方向演算部) 53b 減算器(副方向演算部) 54 比較器(出力部) 56a 主走査方向最大連続同一濃度画素数最大値算出
回路(主方向演算部) 57a 主走査方向最大連続同一濃度画素数最小値算出
回路(主方向演算部) 56b 副走査方向最大連続同一濃度画素数最大値算出
回路(副方向演算部) 57b 副走査方向最大連続同一濃度画素数最小値算出
回路(副方向演算部) P1 第1特徴パラメータ(最大濃度差特徴パラメー
タ) P2 第2特徴パラメータ(繁雑度特徴パラメータ) P3 第3特徴パラメータ(連結度特徴パラメータ)

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】画像を構成する画素のうちの1つである注
    目画素が、文字領域および網点領域を含む各種領域のう
    ちの、いずれの領域に存在するかを識別するための画像
    処理装置であって、 上記注目画素と、その近傍の複数画素とからなる局所ブ
    ロックを示す局所画像データを格納するブロックメモリ
    を備え、 上記局所ブロック内の画素を所定のしきい値で2値化し
    た2値画像に対して、連続した同じ値を持つ画素数の最
    大値を、当該局所ブロック内で所定の主方向に沿った主
    ライン毎に算出し、上記主方向とは異なる副方向に連続
    する少なくとも1本の主ライン毎に算出値の総和を求め
    て、当該総和の最大値と最小値との差を求める主方向演
    算部と、 上記2値画像に対して、連続した同じ値を持つ画素数の
    最大値を上記副方向に沿った副ライン毎に算出し、上記
    主方向に連続する少なくとも1本の副ライン毎に算出値
    の総和を求めて、当該総和の最大値と最小値との差を求
    める副方向演算部と、 上記両演算部の出力のうちの最大値を、連結度特徴パラ
    メータの特徴量として出力する出力部とを有する連結度
    特徴量算出手段が設けられていると共に、 上記連結度特徴パラメータに基づいて、上記注目画素の
    存在する領域が、上記各種領域のいずれであるかを識別
    するための領域識別情報を出力する識別手段を備えてい
    ることを特徴とする画像処理装置。
  2. 【請求項2】上記局所画像データに基づいて、当該局所
    ブロック内の全画素の信号レベルのうち、最大値と最小
    値との差を算出し、最大濃度差特徴パラメータの特徴量
    として上記識別手段へ与える最大濃度差特徴量算出手段
    を備えていることを特徴とする請求項1記載の画像処理
    装置。
  3. 【請求項3】上記局所画像データに基づいて、当該局所
    ブロック内で上記主方向に連続する2つの画素間の信号
    レベル差を算出し、当該局所ブロック内における信号レ
    ベル差の総和を求め、かつ、上記副方向に連続する画素
    間についても信号レベル差の総和を求めると共に、上記
    各方向の総和のうちの最小値を繁雑度特徴パラメータの
    特徴量として上記識別手段へ与える繁雑度特徴量算出手
    段を備えていることを特徴とする請求項1または2記載
    の画像処理装置。
  4. 【請求項4】上記主方向および副方向は、互いに略直交
    しており、 上記繁雑度特徴量算出手段は、さらに、上記主方向およ
    び副方向の双方と異なる斜め方向に連続する画素につい
    ても、信号レベル差の総和を算出し、上記主方向、副方
    向、および斜め方向の総和のうちの最小値を出力するこ
    とを特徴とする請求項3記載の画像処理装置。
  5. 【請求項5】上記主方向演算部は、2本以上の上記副ラ
    イン毎に上記算出値の総和を求めると共に、上記副方向
    演算部は、2本以上の上記主ライン毎に上記算出値の総
    和を求めることを特徴とする請求項1、2、3または4
    記載の画像処理装置。
  6. 【請求項6】上記識別手段は、入力される上記各特徴パ
    ラメータを軸とする多次元空間上で非線型な特性を含む
    境界を設けて上記各種領域を選定し、当該各特徴パラメ
    ータの各特徴量に基づいて、上記領域識別情報を出力す
    ることを特徴とする請求項2、3、4または5記載の画
    像処理装置。
  7. 【請求項7】上記識別手段は、上記各特徴パラメータの
    各特徴量を入力すれば、それに応じた領域識別情報を出
    力するように予め学習されている神経回路網を備えてい
    ることを特徴とする請求項6記載の画像処理装置。
  8. 【請求項8】上記識別手段は、上記各種領域毎に、上記
    注目画素が存在する確からしさを算出し、それぞれの領
    域らしさを示す値を上記領域識別情報として出力するこ
    とを特徴とする請求項1、2、3、4、5、6または7
    記載の画像処理装置。
  9. 【請求項9】上記識別手段は、上記注目画素が存在する
    領域が、上記各種領域のうちのいずれの領域であるかを
    選択し、上記領域識別情報として、選択された領域を示
    す識別信号を出力することを特徴とする請求項1、2、
    3、4、5、6または7記載の画像処理装置。
  10. 【請求項10】さらに、上記領域識別情報に基づいて、
    上記注目画素に対して、空間フィルタリング処理を行う
    フィルタリング手段を備えていることを特徴とする請求
    項1、2、3、4、5、6、7、8または9記載の画像
    処理装置。
  11. 【請求項11】上記識別手段は、上記各種領域毎に、上
    記注目画素が存在する確からしさを算出し、それぞれの
    領域らしさを示す値を上記領域識別情報として出力する
    と共に、 上記フィルタリング手段は、上記各種領域らしさを示す
    値に基づいて算出したフィルタリング係数にて、フィル
    タリング処理することを特徴とする請求項10記載の画
    像処理装置。
  12. 【請求項12】画像を構成する画素のうちの1つである
    注目画素が、文字領域および網点領域を含む各種領域の
    うちの、いずれの領域に存在するかを識別するための識
    別情報を算出するプログラムを記録した記録媒体であっ
    て、 上記局所ブロック内の画素を所定のしきい値で2値化し
    た2値画像に対して、連続した同じ値を持つ画素数の最
    大値を上記主方向に沿った主ライン毎に算出し、上記副
    方向に連続する少なくとも1本の主ライン毎に算出値の
    総和を求めて、当該総和の最大値と最小値との差を求め
    る第1工程と、 上記2値画像に対して、連続した同じ値を持つ画素数の
    最大値を上記副方向に沿った副ライン毎に算出し、上記
    主方向に連続する少なくとも1本の副ライン毎に算出値
    の総和を求めて、当該総和の最大値と最小値との差を求
    める第2工程と、 上記第1工程および第2工程で求めた差のうちの最大値
    を、連結度特徴パラメータの特徴量として算出する第3
    工程と、 当該連結度特徴パラメータに基づいて、上記注目画素が
    存在する領域の領域識別情報を算出する第4工程とを実
    行するプログラムを記録した記録媒体。
JP24733597A 1997-09-11 1997-09-11 画像処理装置、および、そのプログラムを記録した記録媒体 Expired - Fee Related JP3512604B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP24733597A JP3512604B2 (ja) 1997-09-11 1997-09-11 画像処理装置、および、そのプログラムを記録した記録媒体
DE69809164T DE69809164T2 (de) 1997-09-11 1998-08-25 Verfahren und Vorrichtung zur Bildverarbeitung
EP98116003A EP0902585B1 (en) 1997-09-11 1998-08-25 Method and apparatus for image processing
US09/140,745 US6111982A (en) 1997-09-11 1998-08-26 Image processing apparatus and recording medium recording a program for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24733597A JP3512604B2 (ja) 1997-09-11 1997-09-11 画像処理装置、および、そのプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JPH1188664A true JPH1188664A (ja) 1999-03-30
JP3512604B2 JP3512604B2 (ja) 2004-03-31

Family

ID=17161884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24733597A Expired - Fee Related JP3512604B2 (ja) 1997-09-11 1997-09-11 画像処理装置、および、そのプログラムを記録した記録媒体

Country Status (4)

Country Link
US (1) US6111982A (ja)
EP (1) EP0902585B1 (ja)
JP (1) JP3512604B2 (ja)
DE (1) DE69809164T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009033534A (ja) * 2007-07-27 2009-02-12 Canon Inc 画像処理装置及び方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3639452B2 (ja) * 1999-02-12 2005-04-20 シャープ株式会社 画像処理装置
ATE398888T1 (de) * 1999-03-05 2008-07-15 Seiko Epson Corp Korrigiervorrichtung für bilddaten, korrigierverfahren für bilddaten, träger auf welchem ein bilddatenkorrigierprogramm aufgezeichnet ist.
JP2000333014A (ja) * 1999-05-20 2000-11-30 Minolta Co Ltd 画像処理装置および画像処理方法並びに画像処理手順を記憶したコンピュータ読み取り可能な記憶媒体
JP3611742B2 (ja) 1999-05-31 2005-01-19 シャープ株式会社 画像処理装置
JP3625160B2 (ja) 1999-10-14 2005-03-02 シャープ株式会社 画像処理装置
JP2002247025A (ja) * 2001-02-22 2002-08-30 Hitachi Ltd 情報処理装置
US6903782B2 (en) * 2001-03-28 2005-06-07 Koninklijke Philips Electronics N.V. System and method for performing segmentation-based enhancements of a video image
US6690828B2 (en) * 2001-04-09 2004-02-10 Gary Elliott Meyers Method for representing and comparing digital images
CN100405388C (zh) * 2004-05-14 2008-07-23 欧姆龙株式会社 特定被摄体检测装置
US20060165287A1 (en) * 2005-01-27 2006-07-27 Destiny Technology Corporation Photo and text discriminating method
JP4135752B2 (ja) * 2006-06-12 2008-08-20 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR101214772B1 (ko) * 2010-02-26 2012-12-21 삼성전자주식회사 문자의 방향성을 기반으로 한 문자 인식 장치 및 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4554593A (en) * 1981-01-02 1985-11-19 International Business Machines Corporation Universal thresholder/discriminator
US4907285A (en) * 1984-08-24 1990-03-06 Hitachi, Ltd. Image understanding system
JPS61141264A (ja) * 1984-12-14 1986-06-28 Canon Inc 画像処理装置
GB2170373B (en) * 1984-12-28 1989-03-15 Canon Kk Image processing apparatus
DE3686821T2 (de) * 1985-01-10 1993-04-01 Nippon Telegraph & Telephone Halbtonbildverarbeitungseinrichtung.
JPS63246076A (ja) * 1987-03-31 1988-10-13 Fuji Xerox Co Ltd フイルタ処理装置
JP2702928B2 (ja) * 1987-06-19 1998-01-26 株式会社日立製作所 画像入力装置
US5001767A (en) * 1987-11-30 1991-03-19 Kabushiki Kaisha Toshiba Image processing device
JPH0286369A (ja) * 1988-09-22 1990-03-27 Toshiba Corp 画像処理装置
JP2513002B2 (ja) * 1988-10-31 1996-07-03 富士ゼロックス株式会社 中間調画像生成装置
EP0392701B1 (en) * 1989-04-10 1995-11-08 Canon Kabushiki Kaisha Image reduction apparatus
US5195147A (en) * 1989-05-02 1993-03-16 Ricoh Company, Ltd. Image forming apparatus
US5668646A (en) * 1990-02-06 1997-09-16 Canon Kabushiki Kaisha Apparatus and method for decoding differently encoded multi-level and binary image data, the later corresponding to a color in the original image
JP3437226B2 (ja) * 1993-10-20 2003-08-18 キヤノン株式会社 画像処理方法及び装置
JP3373008B2 (ja) * 1993-10-20 2003-02-04 オリンパス光学工業株式会社 画像像域分離装置
JP3636332B2 (ja) * 1993-12-24 2005-04-06 セイコーエプソン株式会社 画像処理方法および画像処理装置
JP3215768B2 (ja) * 1994-03-24 2001-10-09 株式会社東芝 画像処理装置
US5587808A (en) * 1994-05-31 1996-12-24 Nec Corporation Image processing apparatus for identifying character, photo and dot images in image area
JP3207690B2 (ja) * 1994-10-27 2001-09-10 シャープ株式会社 画像処理装置
US5729627A (en) * 1994-11-16 1998-03-17 Mita Industrial Co., Ltd. Apparatus for and method of judging dotted image area

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009033534A (ja) * 2007-07-27 2009-02-12 Canon Inc 画像処理装置及び方法

Also Published As

Publication number Publication date
US6111982A (en) 2000-08-29
EP0902585A3 (en) 1999-12-08
EP0902585B1 (en) 2002-11-06
EP0902585A2 (en) 1999-03-17
JP3512604B2 (ja) 2004-03-31
DE69809164T2 (de) 2003-07-24
DE69809164D1 (de) 2002-12-12

Similar Documents

Publication Publication Date Title
JP3207690B2 (ja) 画像処理装置
US7746505B2 (en) Image quality improving apparatus and method using detected edges
JP4053345B2 (ja) 画像処理方法および画像処理装置、それを備える画像形成装置ならびにプログラムおよび記録媒体
US7411699B2 (en) Method and apparatus to enhance digital image quality
US5754708A (en) Dotted image area detecting apparatus and dotted image area detecting method
JP3558893B2 (ja) 画像処理装置および画像処理方法
JPH05227425A (ja) 自動画像セグメンテーションの改良
JPH05252388A (ja) ノイズ除去装置
JP3512604B2 (ja) 画像処理装置、および、そのプログラムを記録した記録媒体
JPH1056569A (ja) 画像処理方法および装置
JPH09186877A (ja) 画像処理装置
JP2001274990A (ja) 画像処理方法及び装置
US6272249B1 (en) Image processing device
JP3330826B2 (ja) 画像処理装置
JPH10294862A (ja) 画像処理装置
JP3479161B2 (ja) 画像処理装置
US7379210B2 (en) Image processing apparatus, image forming apparatus, and image processing method
JP3789243B2 (ja) 画像処理装置および方法
JP3854060B2 (ja) 画像処理装置、画像形成装置、画像処理方法及び記録媒体
JPS60136478A (ja) 画調識別方法
KR100514734B1 (ko) 디지털 화질 개선방법 및 장치
JP3880958B2 (ja) 画像処理装置および画像処理方法
JPH05292312A (ja) 網点領域分離装置
KR100484170B1 (ko) 디지털 화질 개선방법 및 장치
JP3555005B2 (ja) 画像縮小変換装置および方法、並びにそのプログラムを記録した記録媒体

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100116

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110116

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees