JPH11150655A - 領域抽出方法及び情報処理装置 - Google Patents

領域抽出方法及び情報処理装置

Info

Publication number
JPH11150655A
JPH11150655A JP9317453A JP31745397A JPH11150655A JP H11150655 A JPH11150655 A JP H11150655A JP 9317453 A JP9317453 A JP 9317453A JP 31745397 A JP31745397 A JP 31745397A JP H11150655 A JPH11150655 A JP H11150655A
Authority
JP
Japan
Prior art keywords
area
band
image
processing
specific image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9317453A
Other languages
English (en)
Other versions
JP3884845B2 (ja
Inventor
Yukari Toda
ゆかり 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP31745397A priority Critical patent/JP3884845B2/ja
Priority to EP98309325A priority patent/EP0917349B1/en
Priority to DE69836065T priority patent/DE69836065T2/de
Priority to US09/191,533 priority patent/US6175662B1/en
Publication of JPH11150655A publication Critical patent/JPH11150655A/ja
Application granted granted Critical
Publication of JP3884845B2 publication Critical patent/JP3884845B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40062Discrimination between different image types, e.g. two-tone, continuous tone

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Storing Facsimile Image Data (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Character Input (AREA)

Abstract

(57)【要約】 【課題】特定の画像領域を抽出するのに全ての画像信号
がメモリに格納されるのを待つことなく、しかも、不要
な画像領域をメモリに格納せずに少量のメモリで高速に
画像信号から必要な領域を抽出する。 【解決手段】エッジ検出回路102は、多値画像データ
を入力し、入力されたラインから所定条件を満足する部
分を抽出し、その座標をエッジ座標記憶部103に記憶
する。結合処理回路105は、入力された多値画像デー
タの複数のラインについて、エッジ座標記憶部103に
記憶された抽出部分から、所定の近さにあ抽出部分を結
合して矩形領域を生成し、領域情報記憶部104に記憶
する。そして、結合処理回路105は、生成された矩形
領域が特定画像を含むか否かを判定する。2値メモリ1
07には、特定画像を含むと判定された矩形領域を含む
バンドが保持される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像信号から必要な
領域を抽出する領域抽出方法及び情報処理装置に関する
ものである。
【0002】
【従来の技術】近年の複写機はインテリジェント化が進
んでおり、複数の原稿を1枚にレイアウトしたり、両面
コピーしたりなど、いろいろな機能がある。さらに、A
DF(Auto Document Feeder)の充
実により、自動化、高速化も進んでいる。特に、複数の
原稿を1枚の記録用紙にレイアウトして複写する際に
は、方向を自動判別することは重要である。例えば、ユ
ーザがADFを利用して全20枚の原稿を2枚づつ1枚
の記録用紙上にレイアウトし10枚に出力する場合、原
稿の方向が自動的に判別できればユーザが全ての原稿を
上向きにそろえておく必要がなくなる。
【0003】このように入力原稿の方向を判別する複写
機においては、読み取った原稿画像から文字領域を抽出
し、抽出した領域に対してOCR処理を施して方向の判
定を行なっている。一般に、画像信号から必要な領域を
抽出するには、画像信号をそのまま(多値信号のま
ま)、または2値化してメモリに格納し、メモリ内に存
在する全画像信号に対してフィルタなどの信号処理、ま
たは輪郭線追跡などの処理を行うことにより、必要な領
域を抽出したり、領域を分離したり、解析したりしてい
た。
【0004】
【発明が解決しようとする課題】しかしながら上記の手
法では、次のような問題が生じる。
【0005】第1に、領域抽出のために、画像信号全部
を格納するメモリが必要となる。領域抽出を目的として
画像データが2値化されたものであるとはいえ、画像全
体のデータを保持するには大容量のメモリが必要であ
る。このように、領域抽出処理という用途に特化された
大容量メモリを備えることは装置の低下価格化、小型化
を妨げる要因となる。
【0006】第2に、画像信号全部を格納するまで領域
抽出処理を開始することが出来ないことにより処理時間
の遅れが生ずる。
【0007】本発明は上記の問題に鑑みてなされたもの
であり、特定の画像領域を抽出するのに全ての画像信号
がメモリに格納されるのを待つことなく、しかも、不要
な画像領域をメモリに格納せずに少量のメモリで高速に
画像信号から必要な領域を抽出することを可能とするこ
とにある。
【0008】
【課題を解決するための手段】上記の目的を達成する本
発明の情報処理装置は、画像データをライン単位で入力
し、入力されたラインから所定条件を満足する部分を抽
出する抽出手段と、前記画像データの複数のラインにつ
いて、前記抽出手段で抽出された部分のうち、所定の近
さにあるもの同士を結合して結合領域を生成する生成手
段と、前記生成手段で生成された結合領域が特定画像を
含むか否かを判定する判定手段と、前記判定手段によっ
て特定画像を含むと判定された結合領域を表す領域情報
を保持するとともに、画像データをバンド単位で格納す
る記憶手段に、該特定画像の領域であると判定された結
合領域を含むバンドを保持する保持手段とを備える。
【0009】また、上記の目的を達成する本は詰めの領
域抽出方法は、画像データをライン単位で入力し、入力
されたラインから所定条件を満足する部分を抽出する抽
出工程と、前記画像データの複数のラインについて、前
記抽出工程で抽出された部分のうち、所定の近さにある
もの同士を結合して結合領域を生成する生成工程と、前
記生成工程で生成された結合領域が特定画像を含むか否
かを判定する判定工程と、前記判定工程によって特定画
像を含むと判定された結合領域を表す領域情報を保持す
るとともに、画像データをバンド単位で格納する記憶手
段に、該特定画像の領域であると判定された結合領域を
含むバンドを保持する保持工程とを備える。
【0010】
【発明の実施の形態】以下、添付の図面を参照して本発
明の好適な実施形態を説明する。
【0011】本実施形態では、入力原稿の方向を判別す
る機能を具備した複写機システムを本発明の一実施形態
として説明する。図1は、本実施形態によるディジタル
複写機の構成を表すブロック図である。図1において1
はディジタル複写機を表す。2は、光学系であり、原稿
用紙を照射するためのランプ、原稿用紙からの反射光を
受光部3のCCDセンサに導くレンズ系等を備える。3
は受光部であり、光学系2よりの原稿画像の反射光をC
CDセンサによって読み取り、電気信号に変換する。
【0012】4は画像処理部であり、受光部3からの原
稿画像に対応する電気信号をA/D変換してディジタル
画像信号を得、このディジタル画像信号に種々の処理を
加え、印字用のデータを生成する。5はプリント部であ
り、例えばレーザビーム方式によって、画像処理部4よ
り出力される印字データに基づいて記録紙への画像形成
を行なう。なお、画像処理部4は、複数枚の原稿を1枚
の記録紙上にレイアウトする機能を有する。
【0013】100は方向判定部であり、画像処理部4
におけるA/D変換によって得られたディジタル信号に
基づいて原稿の方向を判定し、その結果を画像処理部4
に返す。画像処理部4では、複数枚の原稿を1枚の記録
紙上にレイアウトする際に、原稿の方向判定結果を参照
し、原稿の向きがそろうように画像を回転する等の処理
を行なう。
【0014】さて、方向判定部100では、文字領域を
抽出し、抽出した文字領域に対してOCR処理を行うこ
とにより方向判別を実現する。図2は本実施形態による
方向判定部100の構成を示すブロック図である。図2
において、1Aの矩形で囲まれた内部の処理構成が文字
抽出を行なうものであり、本実施形態の特徴的な構成で
もある。
【0015】図2において、101はしきい値決定回路
であり、入力回路(本実施形態では図1の画像処理部
4)からの多値画素データを入力し、2値化処理のため
の2値化しきい値、およびエッジ検出のためのエッジ検
出しきい値を決定する。102はエッジ検出回路であ
り、多値画素データとしきい値決定回路101からの出
力であるエッジ検出しきい値を入力し、クロックに同期
して高周波検出処理を行う。103はエッジ座標記憶部
であり、エッジ検出回路102により検出されたエッジ
座標を格納する。
【0016】104は領域情報記憶部であり、検出され
たエッジ座標を結合した結果作成される領域情報を格納
する。105は結合処理回路であり、エッジ座標記憶部
103内の座標と領域情報記憶部104内の座標とを比
較し、必要に応じて領域情報記憶部104に記憶された
領域とエッジ座標記憶部103に記憶されたエッジ部分
を結合して新たな領域情報を得て、その結果を領域情報
記憶部104に格納する。106は2値化回路であり、
多値画素データとしきい値決定回路101の出力である
2値化しきい値を入力し、多値画素データを2値化し、
2値データを出力する。
【0017】111はバンドメモリコントローラであ
り、エッジ検出回路102からの情報および結合処理回
路105の領域結合情報を利用して2値メモリ107の
バンド情報を作成して2値メモリ107のアドレスを出
力する。107は2値メモリであり、2値化回路106
により2値化された2値データをバンドメモリコントロ
ーラ111からのアドレスの入力に従って格納する。
【0018】108はCPUであり、領域情報記憶部1
04の領域情報(座標情報)および2値メモリ107に
格納された2値画像データを利用して、文字認識処理を
行い方向認識結果を出力する。109はRAMであり、
文字認識処理を行う上でのワークメモリとなる。110
はROMであり、文字認識プログラムのコードを格納す
る。
【0019】なお、本実施形態では、領域情報記憶部1
04と2値メモリ107はダブルの構成となっており、
各々が原稿の1ページ分のデータを保持する構成となっ
ている。CPU108は、領域情報記憶部104に格納
された領域情報に基づいて文字領域を位置を認識する。
そして、これに基づいて2値メモリ107から文字領域
の2値化データを読み出し、この2値化データに対して
例えば0度、90度、180度、270度の各方向につ
いて文字認識を行って文書の方向を判別する。なお、本
実施形態では、後述のように、2値メモリ107はバン
ド単位で2値データを記憶し、しかも文字領域を含むバ
ンドのみが格納される。そして、その格納状態はメモリ
バンドコントローラ111によって管理される。従っ
て、CPU108は、領域情報記憶部104から領域情
報を得て、これをメモリコントローラ111に渡す。メ
モリコントローラ111は渡された領域情報から対応す
る2値データのアドレスを発生し、要求された領域の2
値データを2値メモリ107からCPU108へ与え
る。ただし、2値メモリ107はダブルであり、片方は
入力多値画像をリアルタイムに2値化したものが書き込
まれ、もう片方はCPUからの要求により、前のページ
の2値データを読み出す形になるので、バンドメモリコ
ントローラ111から2値メモリへの信号をダブルで持
つか、またはぶつからないように調停する必要がある。
【0020】次に、しきい値決定回路101の処理手順
について説明する。図3はしきい値決定回路101によ
る処理手順の一例を示すフローチャートである。
【0021】まず、しきい値決定回路101による処理
の概要を説明すると次の通りである。1ライン分の画素
データについて、上位3ビット分の値を用いてヒストグ
ラムを取る(ステップS201〜S205)。次に、レ
ベルが隣り合うヒストグラムの合計値が1ラインの全画
素数の75%以上となる部分を探し、そのヒストグラム
が指す輝度が原稿の下地であるとする(ステップS20
6〜S208、S211、S212)。このようにして
原稿の下地の輝度が決定されたら、エッジ検出回路10
2にわたすエッジ検出しきい値(THR_MAXMIN)および2
値化回路106に渡す2値化しきい値(BI_THRE)を決
定する(ステップS209、S210)。なお、8ビッ
ト画素データは0が黒で255が白の輝度データとする
が、これに限られるものではない。また、ヒストグラム
を作成する際に用いた「上位3ビット」、下地であるか
否かの判定に用いた「75%」などの数値は一例であ
り、これに限定されるものではない。
【0022】以下、図3のフローチャートについて詳細
に説明をする。
【0023】ステップステップS201ではヒストグラ
ムバッファhistgnd[8]を0にリセットしている。すなわ
ち、8個のヒストグラムバッファhistgnd[0]〜histgnd
[7]の全てにゼロを書き込む。次に、ステップS202
では画素数カウンタiを0にリセットしている。画素数
カウンタiは1ライン分の画素データのヒストグラムを
作成する際に、1ライン分の画素を処理したか否かを判
定するのに用いる。
【0024】ステップS203では、i番目の画素デー
タimage[i]を右に5ビットシフトして(この処理によ
り、画素データの上位3ビットのみが残る)、その値に
対応するhistgnd[]をインクリメントしている。ステッ
プS204では画素数カウンタiをインクリメントして
いる。ステップS205では1ライン終了したかどうか
チェックして、終了していたら206に進み、終了して
いなかったら203に戻る。以上ステップS203から
ステップS205の処理を繰り返すことによって、1ラ
イン分の画素データの各々がhistgnd[0]〜histgnd[7]の
何れかのレベルに振り分けられ、その数がhistgnd[0]〜
histgnd[7]に格納される。すなわち、画素データ1ライ
ン分の上位3ビットのヒストグラムを取ることができ
る。
【0025】次に、ステップS206以降の処理によ
り、2値化しきい値(BI_THRE)及びエッジ検出しきい
値(THR_MAXMIN)を決定する。
【0026】まず、ステップS206ではヒストグラム
の番号を示すKを3にリセットしている。そして、ステ
ップS207において、K番目のレベルとK+1番目の
レベルの隣り合ったヒストグラム値を足しあわせ、ステ
ップS208でその値が1ラインの画素数の75%を越
えるか否かを判定する。
【0027】ここで、Kの値を0でなく3としているの
は、ヒストグラムのレベル0〜2といった黒よりの下地
を検出しても、その下地上には文字がないことが比較的
多く、また文字であっても白抜き文字の可能性が高いの
でレベル0〜2を対象外としたためである。なお、白抜
き文字処理(2値化の際、反転するなど)を行ってもよ
い。
【0028】ステップS207では隣り合ったヒストグ
ラムを足し合わせているが、例えばK=3であれば、hi
stgnd[3]+histgnd[4]であり、これは8ビットの画素値
で96(2進01100000)から159(2進10
011111)までの間に存在した画素数を示す。この
加算の結果がhistaddに代入される。
【0029】また、ステップS208では、ステップS
207で得られたhistaddが1ライン中の全画素数の7
5%を占めているかどうかチェックし、75%以上だっ
たら当該レベルが下地であるとしてステップS209に
進み、しきい値を決定する。一方、75%以下だったら
ステップS211に進み、Kを1つ増加させて次のレベ
ルについてチェックを行なう。
【0030】ステップS209ではエッジ検出しきい値
であるTHR_MAXMINにKを左5ビットシフトした数を代入
する。この結果、エッジ検出しきい値には、histgnd[K]
がカバーする画素値の範囲の下限値が設定される。続い
て、ステップS210では、2値化しきい値BI_THREに
(K+1)を左4ビットシフトした数を代入し、処理を
終了する。この結果、2値化しきい値には、histgnd[K+
1]がカバーする画素値の範囲の下限値の1/2の値が設
定される。
【0031】一方、ステップS211ではKをインクリ
メントする。そして、ステップS212でKが7以下だ
ったらばステップS207に戻リ、上記処理を繰返す。
一方、Kが7以上だったらば、本処理を終了する。この
結果、エッジ検出しきい値及び2値化しきい値は前回の
結果が保持されることになる。
【0032】以上のようなしきい値決定回路101を持
ちTHR_MAXMINを変動させることにより、色紙に印刷され
た文字なども良好に抽出することが可能となる。
【0033】次に、エッジ検出回路102の処理手順を
説明する。図4〜図6はエッジ検出回路102の処理手
順を説明するフローチャートである。なお、図3で説明
したしきい値決定回路101の処理と図4〜図6に示し
たエッジ検出回路102の処理は同時に行われ、図3内
に記述してあるエッジしきい値THR_MAXMINは常に変動し
ている。なお、この場合、決定されたしきい値は次のラ
インの処理に適用されることになる。
【0034】エッジ検出回路102の動作の概要を説明
すると次のようである。まず、エッジ検出は1ラインよ
り連続するSAMPLE_PIXEL個の画素を取り出し、取り出さ
れた画素の最大値と最小値との差に基づいて、当該取り
出し部分がエッジ部分であるかどうかを判定する(ステ
ップS301〜S308)。この判定の結果に基づい
て、エッジの開始位置と終了位置の検出、隣接するエッ
ジの結合、エッジの個数の計数等を行なう(ステップS
311〜S317、S321〜S326)。以上の処理
を、SAMPLE_PIXEL/2画素ずつ重複させて1ラインに渡
って実行し、得られたエッジ情報をエッジ座標記憶部へ
書き込む(ステップS309、S310、S330)。
例えば、SAMPLE_PIXEL=8とすれば、0〜7番目の画素
についてエッジ検出を行ない、次に4〜11番目、次に
8〜15番目という具合に、取り出す画素を重複させな
がら処理を進める。以下、図4〜図6に従って、詳細に
説明する。
【0035】ステップS301では1行中の画素をカウ
ントするiと抽出エッジ数をカウントするcountを0に
リセットする。ステップS302ではエッジ抽出中か否
かを示すフラグflagをOFFにリセットする。
【0036】ステップS303ではmaxdataに0をセッ
トし、mindataに255をセットする。ステップS30
4からステップS306では、i番目の画素から始まっ
てSAMPLE_PIXEL分の画素を見て、その中の最大値をmaxd
ataに格納し、最小値をmindataに格納する処理をしてい
る。そして、ステップS307において、最大値maxdat
aと最小値mindataの差をdiffに代入する。
【0037】ステップS308ではdiffがしきい値決定
回路101により決定されたTHR_MAXMINより大きいかど
うかチェックする。大きい場合はA(図5のステップS
311)に進み、それ以外の場合はB(図5のステップ
S321)に進む。A,Bでそれぞれの処理を行ったあ
と、Cに戻り、ステップS309で、iをSAMPLE_PIXEL
/2だけ進める。そして、ステップS310では1ライ
ン終了したかどうかチェックし、終了していたらステッ
プS330でエッジ座標記憶部103にエッジ情報を書
き込み、本処理を終了する。一方、まだ終了していなけ
れば、ステップS303に戻リ、上述の処理を繰返す。
【0038】さて、ステップS308においてdiffがTH
R_MAXMINよりも大きければ、図5のステップS311に
処理が進む。
【0039】ステップS311ではエッジ抽出中がどう
かを示すフラグflagがOFFかどうかチェックする。fl
agがOFFであれば、エッジの開始であるとしてステッ
プS312に進み、エッジ開始処理(ステップS312
〜ステップS314)を実行する。一方、flagがONで
あれば、エッジ抽出中であるので、エッジ開始処理を行
なわずにステップS315に進む。
【0040】エッジ開始処理において、まずステップS
312でエッジ抽出中か否かを示すフラグflagをONに
セットする。ステップS313では当該エッジ(count
番目のエッジ)の開始座標を示すstartx[count]にiを
代入する。この結果、count番目のエッジの開始座標が
当該SAMPLE_PIXEL個の画素の先頭画素に設定される。次
に、ステップS314では当該エッジ(count番目のエ
ッジ)のエッジ数を示すedgenum[count]を0にリセット
する。
【0041】ステップS315ではcount番目のエッジ
の終了座標を示すendx[count]にi+SAMPLE_PIXEL/2
を代入する。そして、ステップS316ではcount番目
のエッジのエッジ数を示すedgenum[count]をインクリメ
ントする。続いて、ステップS317では、横方向のス
ペース数をカウントするspace_countを0にリセットす
る。このspace_countは、以下に説明するステップS3
21〜S326の処理において、横方向にエッジのない
小領域がしきい値以下存在しても、おなじエッジとする
(すなわち、横方向に近接するエッジ部分を結合する)
ために用いられる。これは後で説明する結合処理の負担
を軽減するためである。
【0042】一方、図4のステップS308においてdi
ff≦THR_MAXMINであった場合は、図6のステップS32
1に処理が進む。
【0043】ステップS321ではエッジ抽出中かどう
かを示すフラグflagがONかどうかチェックし、ONな
らばエッジの終了である可能性があるのでステップS3
22に進む。一方、flagがOFFの場合は何もせずにC
(ステップS309)に進む。ステップS322ではsp
acecountをインクリメントする。ステップS323で
は、spacecountがあらかじめ決めてあるspace_limit以
上かどうか、または、iが(画像の横幅width−SAMPLE_
PIXEL)より大きいかどうかをチェックし、いずれかに
当てはまったらステップS324に進む。この条件を満
たさない場合は、そのままC(ステップS309)に戻
る。ステップS323における前者の条件は、エッジの
ない小領域が限度値(space_limit)以上存在した場合
に、そのエッジが終了したと判断するためのもので、こ
の条件によりエッジ部分の結合が実現される。また、後
者の条件は、ラスターの画像幅(width)分の処理が終
り、そのエッジを終了させなければいけない場合を示
す。
【0044】ステップS323において、エッジの終了
と判定されると、ステップS324でエッジ抽出中かど
うかを示すフラグflagをOFFにする。そして、ステッ
プS325でエッジ数を示すcountをインクリメントす
る。ステップS326ではcountがCOUNT_LIMITに達した
かどうかチェックし、YESのときはエッジ座標記憶部
103の記憶領域のオーバーフローを防ぐためENDに
進む。ステップS326における判定の結果がNOであ
れば、C(ステップS309)に進む。
【0045】図7は、エッジ検出処理におけるオーバー
ラップ例を説明する図である。上述の最大値最小値抽出
処理は、例えばSAMPLE_PIXELを8とすると、図7に示す
ように、まず0番目から7番目の画素まで見て最大値最
小値を求め、ステップS307からS310までの処理
を行い、次は4番目から11番目までの画素を見て最大
値最小値を求め、307からS310までの処理を行
い、その次は8番目から15番目までの画素を見て最大
値最小値を求め、というように、オーバーラップして処
理を進める。
【0046】300dpiで画像を読み取った結果に関
し、SAMPLE_PIXELを16として、上記の如くオーバーラ
ップして以下に説明する文字抽出処理を行うと、7ポイ
ントから32ポイントまでの文字を万遍なく抽出するこ
とができる。但し、SAMPLE_PIXELの値やオーバーラップ
の量は上述したものに限定されない。すなわち、SAMPLE
_PIXELの値は適宜選択可能であるし、エッジ検出処理時
のオーバーラップの仕方はSAMPLE_PIXEL/2でなくても
よいし、オーバーラップさせなくてもよい。
【0047】図8は、SAMPLE_PIXEL=8、space_limit
=2の場合のエッジ座標検出処理の結果例を説明する図
である。図8では、処理したSAMPLE_PIXEL個の画素を含
む小領域においてdiff>THR_MAXMINとなった場合を○
で、diff≦THR_MAXMINとなった場合を×で示してある。
【0048】i=0、4、8の各小領域では、diff≦TH
R_MAXMINであり、ステップS308でNO側に分岐し、
ステップS321でもNO側に分岐するので、何のエッ
ジ情報も生じない。
【0049】i=12の小領域ではdiff>THR_MAXMINで
あり、S308でYESに分岐する。この時点でflag=
OFF、count=0であるから、ステップS311にお
いてYESに分岐し、flagがONになり、startx[0]に
i=12が代入される(ステップS312〜S31
3)。edgenum[0]はステップS314で0にリセットさ
れるが、その後のステップS316でインクリメントさ
れるので1になる。また、ステップS315でendx[0]
にはi+SAMPLE_PIXEL=16が代入される。
【0050】次に、i=16の小領域も同様にdiff>TH
R_MAXMINであるので、ステップS308でステップS3
11に進む。ステップS311において、今回はflagが
すでにONであるのでステップS315に処理を進め
る。ステップS315では、endx[0]にi+SAMPLE_PIXE
L=20が代入される。また、ステップS316で、edg
_num[0]がインクリメントされ2になる。
【0051】i=20の小領域においては、diff≦THR_
MAXMINであるので、ステップS308からステップS3
21へ進む。ステップS321において、flagがONで
あるのでステップS322に進み、spacecountがインク
リメントして1になる。ステップS323では、どちら
の条件も満たさないのでそのままステップS309に進
む(本例では、space_limit=2である)。
【0052】i=24の小領域においては、再びdiff>
THR_MAXMINとなるので、ステップS308からステップ
S311に進む。ステップS311では、flag=ONで
あるので、NOに分岐し、endx[0]に28を代入し、edg
enum[0]がインクリメントされて3になり、spacecount
が0にリセットされる。
【0053】以上のようにして各小領域についての処理
が進み、i=52の小領域が処理されると、diff≦THR_
MAXMINなのでステップS308からステップS321へ
処理が進む。ステップS321ではflagがONであるの
でステップS322に進み、spacecountがインクリメン
トされて3になる。この結果、ステップS323では、
spacecount>space_limitとなるので処理はS324に
進み、flagがOFFになる。そして、countがインクリ
メントされて1になる。ステップS326ではNOとな
りステップS309に進む。
【0054】以上のように、ある程度近接しているもの
を結合しながら、横方向のエッジ抽出処理がおこなわれ
る。
【0055】実際は離れているエッジを結合するメリッ
トを以下に説明する。エッジ検出処理の時点で離れてい
ても近接するものを結合しながら行うことによって、エ
ッジ座標記憶部103の記憶領域、および領域情報記憶
部104の記憶領域の上限を小さく抑えることができ
る。それにより、記憶領域の削減というメリットと、そ
の後の結合処理の時間が少なくてするというメリットが
生じる。
【0056】例えば、A3原稿の大きさ(主走査方向約
30cm×副走査方向約42cm)を300ddpiで
記録する場合に、sample_pixelを「8」とし、図7に示
すようなオーバーラップ処理をしない場合、発生するエ
ッジ情報の最大値は3543/16=221(space_li
mit=0)となる。また、副走査方向のエッジ検出処理
も、8ライン毎に行った場合4960/16=310と
なる。
【0057】ハードウエアにて実現する場合、エッジ座
標記憶部103及び領域情報記憶部104の容量は最初
に決定しなければならない。その時、必要な最大値を持
つとすると、エッジ座標記憶部103に221個、領域
情報記憶部104に221×310=68510個必要
となる。この場合の結合処理は、221×6850=1
5140710の組み合わせとなる。これは、時間的に
よ容量的にも不可能なので、エッジ座標記憶部103及
び領域情報記憶部104共に128個程度にとどめた
い。しかし、その場合、データ(エッジ情報または領域
情報)のオーバーフローが発生してしまう。これを防ぐ
ために、space_limitに3を設定すると、エッジ座標記
憶部103に必要な最大値は、3543/32=110
となり、小さく抑えることができる。また、領域情報記
憶部104を深さ128としたときのオーバーフローも
少なくすることが可能となる。
【0058】次に結合処理回路105について説明す
る。図9は結合処理回路106の処理手順の一例を示す
フローチャートである。結合処理回路106は、エッジ
座標記憶部103に記憶された新しいエッジ情報と、領
域情報記憶部104に記憶された領域情報とに基づい
て、結合処理、フィックス処理、バンド処理等を施し、
領域情報を順次更新していく。
【0059】ここで、領域情報記憶部104に格納され
ている領域情報について説明する。図13は、領域情報
記憶部104に記憶される領域情報の一例を示す図であ
る。validは、その領域情報が有効か無効かを示す1ビ
ットの情報である。fixは、その領域情報がフイックス
しているかどうかを示す1ビットの情報である。startx
は、矩形データのX軸開始点である。最大原稿をA3と
して、エッジ検出処理のサンプリング数を8とすると9
ビットで済む計算になる。startyは、矩形データのY軸
開始点である。最大原稿をA3として、エッジ検出処理
の処理間隔を4とすると11ビットで済む計算になる。
endxは、矩形データのX軸終了点である。最大原稿をA
3として、エッジ検出処理のサンプリング数を8とする
と9ビットで済む計算になる(3543÷8=44
2)。endyは、矩形データのY軸終了点である。最大原
稿をA3として、エッジ検出処理の処理間隔を4とする
と11ビットで済む計算になる(4960÷4=127
0)。max_edgenumは、バンド内でのその矩形データの
エッジ量を示す。たとえばMAXMINしきい値にひっ
かかった最大数を保持するとするとXの最大値以上には
ならないので9ビットで済む計算になる。
【0060】pre_delは、その矩形データが直前のバン
ドで文字判定で文字でないとなったか否かを示す1ビッ
トの情報である。seriesは、その矩形データが直前のバ
ンドから続いているか否かを示す1ビットの情報であ
る。remainは、その矩形データはそれ以前のバンドで文
字であると判定されたか否かを示す1ビットの情報であ
る。上記、pre_del、series、remainはバンド処理によ
り発生してくる情報である。上述した領域情報は、結合
処理回路105で作成される。
【0061】まず、ステップS601において、エッジ
検出回路102により検出されてエッジ座標記憶部10
3に格納されたエッジ座標(エッジ開始点startx[]、エ
ッジ終了点endx[])と、領域情報記憶部104に格納さ
れた領域情報との結合処理を行う。
【0062】図10は結合処理を説明する図である。図
10の701〜704、712は領域情報記憶部104
に格納されている領域情報によって示される領域の一例
である。一方、705〜708、713はエッジ検出回
路102により検出され、エッジ座標記憶部103に記
憶されたエッジ情報によって示されるエッジ部分の一例
である。
【0063】ここで、領域情報記憶部104に記憶され
ている情報には、上述のように矩形開始座標(startx,
starty)、矩形終了座標(endx,endy)および最大エッ
ジ数(max_edgenum),その矩形がフイックスしている
かどうかを示すフラグ(fix)が含まれている。但し、
領域情報の構成は上記例に限られるものではなく、領域
は矩形でなくてもよい。またエッジ座標記憶部103に
記憶されているエッジ情報は開始点(startx)と終了点
(endx)とエッジ数(edge_num)である。
【0064】結合処理回路105は、領域情報記憶部1
04に記憶されている領域701とエッジ座標記憶部1
03に記憶されたエッジ領域705の位置関係から、両
者を結合すべしと判断し、結果として709の領域情報
を作成し、領域情報記憶部104の領域701の領域情
報を上書きする。その際、最大エッジ数は領域701の
max_edgenumと、エッジ領域705のedge_numのどちら
か大きい方となる。こうして、領域701に関る矩形開
始座標(startx,starty)、矩形終了座標(endx,end
y)および最大エッジ数(max_edgenum)が更新され、矩
形709を示す領域情報となる。ここで、領域情報記憶
部104に記憶されている領域とエッジ情報記憶部に記
憶されているエッジ領域とを結合するかどうかの判断
は、両領域のx座標が重複し、かつ両領域のy座標の最
小間隔がspace_limit_h以下であることを条件としてな
され、この条件を満足した場合に結合が行われる。
【0065】同様に、領域702に対してエッジ領域7
06および707が結合すべしと判断され、結果として
領域710の領域情報を作成し、領域情報記憶部の領域
702の領域情報を上書きする。また、最大エッジ数
は、領域702のmax_edgenumとエッジ領域706と7
07のedge_numを足した数のどちらか大きい方となる。
【0066】また、エッジ領域708は、領域703、
704の両方に対して結合するので、結果として領域7
11の領域情報が作成される。そして、この作成された
領域情報で領域情報記憶部104の領域703の領域情
報を上書きし、領域704の領域情報は削除される。そ
の際、最大エッジ数は領域703のmax_edgenumと領域
704のmax_edgenumを足した数と、エッジ領域708
のedge_numのどちらか大きい方となる。
【0067】図9の説明に戻る。以上のようにして、領
域の結合を終えると、ステップS602において矩形が
閉じた領域情報を抽出し、フィックス処理を行う。フィ
ックス処理を図10を利用して説明する。領域情報記憶
部104に格納されている領域712は、領域712の
下方space_limit_hの範囲に、結合すべきエッジ領域が
存在しないので、この領域情報の矩形は閉じたとしてフ
ィックス処理が行われる。フィックス処理では、当該領
域が文字領域であるかどうかを判定する。
【0068】まず、そのmax_edgenumがr_width=(endx
−endy)に対して、大きい場合、すなわち、 max_edgenum/r_width>THR_EDGE_RATE(あらかじめ決
められた値) を満足し、かつ、 r_width>THR_WIDTH(あらかじめ決められた値) かつ r_height=(starty−endy)>THR_HEIGHT(あらかじめ
決められた値) の全てを満足するとき、そこは文字領域であると判定す
る。そして、fixフラグをONにする。一方、上記条件
を満足しなかったときは、当該領域は文字領域でないと
して、その領域情報は削除される。なお上記の条件は一
例であり、いろいろな条件が考えられる。例えば、面積
とエッジ数の比を調べてもよいし、r_widthによってTHR
_EDGE_RATEの値を変えてもよい。
【0069】space_limitが横方向の多少離れた近傍の
エッジを結合するか否かを決定するのに対して、space_
limit_hは縦方向の多少離れたエッジを結合するか否か
を決定するのに用いられる。このように結合を行うこと
で、領域情報記憶部104の記憶領域を小さくすること
が出来る。また、文字を行単位でなく、ブロック単位で
抽出することが可能となる。
【0070】再び、図9の説明に戻る。ステップS60
3において、バンド処理を行うか否かを判定する。たと
えば、縦軸方向に64画素(即ち64ライン)の倍数を
トリガにしてバンド処理を行う。その場合64ライン毎
に、ステップS604に進みバンド処理を行うことにな
る。一方、バンド処理を行なうタイミングでなければ、
そのまま当該ラインの処理を終了する。
【0071】次に、バンド処理を説明する。図11はバ
ンド処理の概要を説明する図である。図11の(a)は
処理する原稿を示している。図11の(b)はバンド処
理により画像がバンド分けされる様子を示す。上述のよ
うに、バンド処理は縦方向に64画素ごと(300dp
iで5ミリくらい)程度で行うと良好な結果が得られる
が、図11では説明のために画像を8分割したものを示
す。図11の(c)は(a)の画像の文字領域を示す図
である。太い矩形で囲まれた部分が抽出された文字領域
である。図11の(d)は2値メモリの実メモリ空間に
おける画像の保持のされ方を示している。文字の存在し
ないバンドは、一旦メモリに書き込まれるものの、バン
ド内に文字が存在しないと判断されると、新たなバンド
によって上書きされる。この結果、文字が存在しないバ
ンドが抜かされてメモリに格納されることになる。
【0072】図11の例では実画像空間に8個、メモリ
空間にも8個のバンドが格納され得る。メモリ容量の削
減を実現するには、メモリ空間のバンド数を実画像空間
のバンド数より少なく設定する。たとえば、実画像空間
のバンド数が64でメモリ空間のバンド数を16とする
といったように設定される。
【0073】図12は、画像のバンドとメモリのバンド
に関る情報を説明する図である。図12の(a)は画像
のバンド番号とメモリのバンド番号を対応させる情報で
ある。その情報の名前をmem_no_for_band[]とする。上
述した図11の(d)がメモリへの格納結果であるとす
ると、最終的なmem_no_for_band[8]は{0,8,2,
1,8,4,3,8}となる。ここで8という数値は、
0オリジンで8個のメモリバンドを有するメモリ空間
(0−7)には存在しない数値なので、2値メモリ上に
存在しないバンドであることを示す。例えば、図12に
おいて上から2番目のバンドは、mem_no_for_band[1]=
8であり、2値メモリには格納されていないことがわか
る。
【0074】また、図12の(b)はメモリの各バンド
内にいくつの文字領域が存在するかを示す情報である。
その情報の名前をregion_in_band[]とする。図11の
(d)がメモリへの格納結果であるすると、最終的なre
gion_in_band[8]は{2,1,1,1,1,0,0,
0}となる。たとえば、一番上のバンドには、文字領域
が2つ存在している。
【0075】上記の情報mem_no_for_band[]とregion_in
_band[]は、バンドメモリコントローラ111によって
作成され、2値メモリのアドレスを作成するのに利用さ
れる。詳細は後述する。
【0076】図14はバンド処理の手順を説明するフロ
ーチャートである。ステップS701において、当該バ
ンド内に結合処理等によって得られた矩形領域が存在す
るかどうかを判定する。矩形領域があれば、ステップS
702に進み、一つの領域を選択する。
【0077】ステップS703では、選択した領域が当
該バンド内において文字を含むか否かを判定する。この
判定はいろいろ考えられるが、一例としては、上述した
ステップS602の処理と同様の条件で行うことが考え
られる。当該領域が文字を含むと判定されればステップ
S704、そうでなければステップS705へそれぞれ
進む。
【0078】ステップS704では、領域情報のremain
をONに、pre_delをOFFにそれぞれ設定する。一
方、ステップS705では、「pre_del=ON&remain
=OFF&seriese=ON」を満足するかどうかを判定
する。この条件を満足する場合、当該矩形領域が2つの
バンドに渡って存在しており、いずれのバンドにおいて
も文字が存在していないことを表す。従って、当該矩形
領域のこの2つのバンドの部分は不要であると判断し、
ステップS706において、領域情報のstartyを次のバ
ンドの先頭を示すように更新する。このように処理する
ことで、矩形領域のうち、文字の存在しない部分をバン
ド単位で切り捨てることができる。その後、処理はステ
ップS711へ進む。
【0079】ステップS705の条件が満足されない場
合は、ステップS707へ進み、「pre_del=ON&rem
ain=ON&seriese=ON」が満足されるかどうかを判
定する。この条件が満足される場合は、当該矩形が文字
を含むと一度判定されたものの、最近の2バンドには文
字が含まれていないという場合である。従って、ステッ
プS708においてendyを2つ前のバンドの最終ライン
を示すように更新し、当該矩形の最近の2つのバンドの
部分(この部分には文字は存在しない)をカットする。
更に、ステップS709において当該矩形をフィックス
させる。この処理により、文字の存在しない不要な部分
をカットすることができる。ステップS709の処理を
終えたならば、当該矩形はフィックスされるので、次の
領域について処理を行なうべくステップS701に戻
る。
【0080】ステップS707の条件も満足していない
場合は、ステップS710へ進み、pre_delにONをセ
ットしてステップS711へ進む。
【0081】ステップS711では、当該矩形領域が次
のバンドへ続くか否かを判定し、続くのであればステッ
プS712において当該矩形領域の領域情報におけるse
riesをONにセットする。そして、ステップS701へ
戻り、次の矩形領域の処理を実行する。ステップS70
1において、未処理の矩形領域がなくなれば本処理を終
了する。
【0082】以上説明したバンド処理を図15、図16
の2つの原稿例を用いて説明する。図15、図16はバ
ンド処理の一例を説明する図である。
【0083】まず図15のイラストの下に文字が続く原
稿を処理する場合を説明する。この画像はバンド処理を
行わないと、イラストと文字すべてを含んだ矩形を抽出
してしまうものである。図15(a)は1番上のバンド
1401を処理するときの様子である。バンド1401
に対するバンド処理の段階では、エッジ検出、および結
合処理によって、1402のような矩形が抽出されてい
る。そしてその矩形情報のうちの(pre_del,series,rem
ain)は、そのバンド内で始まった矩形であるので(OF
F,OFF,OFF)の状態である。その矩形情報内のエッジ量
を示すmax_edgenumはイラスト部分であるため非常に小
さく、文字判定のしきい値を超えない。したがって、そ
の1401のバンドでの矩形1402の文字判定は「文
字でない」となり、また、当該矩形領域は次のバンドへ
継続されるので、矩形情報(pre_del,series,remain)
は(ON,ON,OFF)となる。
【0084】図15(b)は2番目のバンド1403を
処理するときの様子である。バンド1403のバンド処
理の段階では、バンド1404のような矩形が抽出され
ている。そしてその矩形情報(pre_del,series,remai
n)はバンド1401のバンド処理の結果から(ON,ON,O
FF)の状態である。さて、その矩形情報内のエッジ量を
示すmax_edgenumはイラスト部分であるため非常に小さ
く、文字判定のしきい値を超えない。したがって、バン
ド1403のバンドにおける矩形1404の文字判定は
「文字でない」となる。
【0085】ここで、文字判定が文字でなく、pre_del
がON、seriesがON、remainがOFFの場合は、Star
tyを遅らす処理(ステップS706)を実行する。矩形
情報に保管されているstartyはバンド1401内に存在
する点であるが、バンド1403のバンド処理の段階
で、「文字判定が文字でなく、Pre_delがON、series
がON、remainがOFF」の場合、次のバンドの先頭ま
でstartyを遅らす。そして矩形情報(pre_del,Series,r
emain)は(ON,ON,OFF)となる。
【0086】図15(c)は3番目のバンド1405を
処理するときの様子である。バンド1405のバンド処
理の段階では、矩形1406のような矩形が抽出されて
いる。そしてその矩形情報(pre_del,series,remain)
はバンド1403のバンド処理の結果から(ON,ON,OF
F)の状態である。さて、その矩形情報内のエッジ量を
示すmax_edgenumは文字部分であるため非常に大きく、
文字判定のしきい値を超える。したがって、バンド14
03での矩形1404の文字判定は「文字である」とな
り、矩形情報(pre_del,series,remain)は(OFF,ON,O
N)となる。
【0087】図15(d)は4番目のバンド1407内
で矩形が閉じた時の様子を示している。上器バンド処理
の結果、矩形1408のような矩形が抽出され、そこで
その矩形は閉じる(それ以上続かない)。閉じた段階
で、その矩形情報(pre_del,series,remain)はバンド
1405のバンド処理の結果から(OFF,ON,ON)の状態
である。さて、その矩形情報内のエッジ量を示すmax_ed
genumは文字部分であるため非常に大きく、文字判定の
しきい値を超える。したがって、その閉じた矩形140
4のバンド1407内での文字判定は「文字である」と
なる。したがって、その矩形は文字矩形として保持され
る。ちなみに、バンド1407内での文字判定が文字で
ないとなったとしても、remainがONなので、その矩形
は文字矩形として保持される。
【0088】次に図16の文字の下にイラストが続く原
稿を処理する場合を説明する。この画像はバンド処理を
行わないと、文字とイラストすべてを含んだ矩形を抽出
してしまうものである。
【0089】図16(a)は1番上のバンド1501を
処理するときの様子である。バンド1501のバンド処
理の段階では、エッジ検出、および結合処理によって、
1502のような矩形が抽出されている。そしてその矩
形情報の(pre_del,series,remain)は、そのバンド内
で始まった矩形であるので(OFF,OFF,OFF)の状態であ
る。その矩形情報内のエッジ量を示すmax_edgenumは文
字部分であるため非常に大きく、文字判定のしきい値を
超える。したがって、バンド1501での矩形1502
の文字判定は「文字である」となり、矩形情報(pre_de
l,series,remain)は(OFF,ON,ON)となる。
【0090】図16(b)は2番目のバンド1503を
処理するときの様子である。バンド1503のバンド処
理の段階では、1504のような矩形が抽出されてい
る。そしてその矩形情報(pre_del,series,remain)は
バンド1501に対するバンド処理の結果から(OFF,O
N,ON)の状態である。さて、その矩形情報内のエッジ量
を示すmax_edgenumはイラスト部分であるため非常に小
さく、文字判定のしきい値を超えない。したがって、バ
ンド1503での矩形1504の文字判定は「文字でな
い」となる。そして矩形情報(pre_del,series,remai
n)は(ON,ON,ON)となる。
【0091】図16(c)は3番目のバンド1505を
処理するときの様子である。バンド1505のバンド処
理の段階では、1506のような矩形が抽出されてい
る。そしてその矩形情報(pre_del,series,remain)は
バンド1503に対するバンド処理の結果から(ON,ON,
ON)の状態である。さて、矩形1506のバンド150
5内のエッジ量を示すmax_edgenumはイラスト部分であ
るため非常に小さく、文字判定のしきい値を超えない。
したがって、その1503のバンドでの矩形1504の
文字判定は「文字でない」となる。ここで、文字判定が
文字でなく、Pre_delがON、seriesがON、remainが
ONの場合は、endyを早めて閉じる処理をする。現時点
で矩形情報に保管されているendyはバンド1505の最
終ラインであるが、バンド処理の段階で、「文字判定が
文字でなく、Pre_delがON、seriesがON、remainが
ONの場合」は、2つ前のバンドの最終ラインまでendy
を早める。そしてその矩形を閉じて、フィックスする。
【0092】図16(d)は最終的に得られた文字矩形
1507の様子を示している。なお、矩形1506が更
に次のバンドに続く場合は、次のバンドにおける結合処
理により新たな矩形が誕生することになる。
【0093】次にバンドメモリコントローラ111の保
持する情報mem_no_for_band[]とregion_in_band[]の作
成の仕方を説明する。mem_no_or_band[]には処理中のバ
ンドmのメモリNOおよび、処理中のバンドの次のバン
ドm+1のメモリNOを決める。たとえば、一番最初
(0番目)のバンドを処理する前に、mem_no_for_band
[0]=0,mem_no_for_band[1]=1と代入しておく。
【0094】一方、region_in_band[mem_no_for_band
[m]]は、初期値を0として、 (1)エッジ検出回路で新エッジが一つ検出される毎
に、処理中のバンドmの矩形数をインクリメントする。
これは、ステップS316でedgenum(count)がインクリ
メントされる毎に、region_in_band[mem_no_for_band
[m]]をインクリメントすれば良い。 (2)結合処理回路でバンド処理のときに有効な矩形情
報(validがONの矩形情報)が1つにつき処理中のバ
ンドの次のバンドm+1の矩形数をインクリメントする
(region_in_band[mem_no_for_band[m+1]]をインクリメ
ントする)。 (3)結合処理回路で結合される時、Startyが小さい矩
形が存在するバンドのregion_in_band[]をデクリメン
ト。
【0095】図17は結合処理による矩形数の変化を説
明する図である。結合処理によって矩形数が変化するの
が理解されよう。なお、例えば、図15(a)〜(d)
へと処理が進みにつれて、バンド1401、1403に
は矩形が存在しなくなる。この場合、バンド1401、
1403の矩形数region_in_band[]がゼロとなった時点
で、新たな次のバンドを上書きするように制御する。図
16(a)〜(d)においても、バンド1503、15
05の矩形数region_in_band[]はゼロとなり、上書きの
対象となる。この結果、文字の存在しないバンドが効率
良く除去され、2値メモリのメモリ容量を低減させるこ
とになる。
【0096】図17におけるmem_no_for_band[]の変化
を説明すれば次のようになる。いま、図17の上から4
番目のバンドの処理(結合処理)を終えた時点で、有効
な領域情報の数「4」が、上から5番目のバンドの有効
領域数を表すregion_in_band[mem_no_for_band[5]]に書
き込まれているとする。続いて、上から5番目のバンド
におけるエッジ検出処理において、領域1605、16
06、1607、1608が発生すると、順次region_i
n_band[mem_no_for_band[5]]の値に1が加算され、最終
的にregion_in_band[mem_no_for_band[5]]に「8」が書
き込まれることになる。
【0097】以上のエッジ検出処理を終えて、結合処理
を行うと、region_in_band[mem_no_for_band[5]]の内容
は次のように変化する。 領域1605を領域1601に結合する。region_i
n_band[mem_no_for_band[5]]の内容が8から7へ変化す
る。 領域1606を領域1602に結合する。region_i
n_band[mem_no_for_band[5]]の内容が7から6へ変化す
る。 領域1607をでできた領域に結合する。region
_in_band[mem_no_for_band[5]]の内容が6から5へ変化
する。 領域1608を領域1603に結合する。region_i
n_band[mem_no_for_band[5]]の内容が5から4へ変化す
る。 で更新された領域1608に領域1601を結合
する。region_in_band[mem_no_for_band[5]]の内容が4
から3へ変化する。
【0098】図18はバンドメモリコントローラ111
の処理手順を説明するフローチャートである。同図にお
いて、ステップS811では、処理すべきバンド番号を
表す変数mにゼロを代入する。ステップS812では、
mem_no_for_band[0]に0を、mem_no_for_band[1]に1を
代入する。即ち、画像データの最初の2つのバンドは、
まず、メモリ空間中の第0番目と第1番目のバンドに格
納されることになる。
【0099】ステップS813では、画像データのm番
目のバンドの2値化データを、mem_no_for_band[m]番目
のバンドへ書き込み始めるべく2値メモリ107のアド
レスを制御する。続いて、ステップS814では、領域
情報に基づいて、既に2値メモリに格納されたバンドの
矩形数、すなわちregion_in_band[mem_no_for_band
[0]]〜region_in_band[mem_no_for_band[m-1]]に格納
されている矩形数を更新する。ここで、上述の結合処
理、バンド処理による処理結果が反映されることにな
る。
【0100】ステップS815では、region_in_band
[mem_no_for_band[0]]〜region_in_band[mem_no_for_
band[m-1]]の中に、0のものがあるかどうか、すなわち
矩形の存在しないバンドが存在するかどうかを判定す
る。矩形の存在しないバンドが存在し、そのバンドがメ
モリ空間の第k番目のバンドであれば、ステップS81
6でmem_no_for_band[m+2]にkをセットする。一方、矩
形の存在しないバンドがなければ、mem_no_for_band[m+
2]に未使用のバンドの番号をセットする。
【0101】ステップS818では、変数mをインクリ
メントし、画像データの次のバンドの処理へと移る(ス
テップS819を介してステップS813へ戻る)。こ
こで、画像データの全てのバンドについて処理を終えた
ならば本処理を終了する(ステップS819)。
【0102】以上の処理を行うことにより、良好な文字
抽出をバッファを必要とせずに行うことができる。以上
のようにして1ページ分のデータについて文字領域の抽
出を終えると、原稿方向を判定するための文字認識処理
を開始する。文字認識処理においては、領域情報記憶部
104に格納された領域情報を用いて2値メモリをアク
セスして文字領域画像を獲得する。この際、2値メモリ
にはイメージデータがバンド単位で格納されるが、その
順序はmem_no_for_band[]によって管理される。従っ
て、CPU108はバンドメモリコントローラ111に
対して必要な領域を通知し、バンドメモリコントローラ
111は2値メモリ107の対応する領域のデータをC
PU108に返すよう制御する。
【0103】以上説明したエッジ検出処理102を例え
ば入力された行の4ライン毎に行い、結合処理回路10
5によるエッジ座標記憶部103と領域情報記憶部10
4の結合処理は残りの3ラインで行うことによって、行
単位で入力画素を止めることなく、リアルタイムでの処
理が可能となる。なお、3ラインで間に合わない場合は
領域情報記憶部をダブルで所有することによって4ライ
ン分の時間を確保することが出来る。また、4という数
字は一例であり、5でも、6でも8でも16でも構わな
い。
【0104】以上の文字抽出を方向認識に利用する場合
のタイムチャートを図19に示す。図19において、8
01はスキャナ(CCD)からの画像の入力であり、8
02はスキャナから入力された多値画像の二値化処理を
示す。803は上述した文字抽出部1Aによる文字抽出
処理であり、スキャナからの入力に同期してリアルタイ
ムで文字抽出を行なう。804はOCR処理であり、文
字抽出処理803により抽出された文字領域について4
方向でOCR処理を行い、文書の方向、および縦書き
か、横書きかなどを識別する。OCR処理804ではタ
イマを利用して、時間内の判定をめざし、判定が出来な
かったときはUNKNOWNとして自信度0を返す。
【0105】図20は、一般的な文字方向判別処理のタ
イミングを説明する図である。CCDによる原稿の読取
と2値化処理はリアルタイムで進行するが、文字領域の
抽出及びOCRによる方向判定は、1ページ分の画像を
読み取った後でなければ開始できない。
【0106】これに対して、第1の実施形態によれば、
図19で説明したように、CCDによる読み取りを停止
させず、リアルタイムで方向認識が可能となる。また、
OCR処理でタイマを使用しない場合は時間オーバーが
考えられるが、それでも図20の場合と比較して高速な
方向判別処理が可能となる。
【0107】なお、図19の例では2値メモリ107が
ダブルで必要になるが、ダブルで持たない構成としては
図21のようなタイミングで処理を行なえばよい。すな
わち、文字抽出処理903によって文字が抽出されたら
即座にOCR処理を開始する。その場合、多少CCDを
停止させなければいけない可能性がある。ただし、図1
9と同様にタイマによって制限時間を設け、制限時間内
に方向が判別できなかった場合はUNKNOWNを返す
ようにすればCCDを停止する必要はなくなる。なお、
2ページ目の例が示すように、次のページの開始までに
方向が判別できる可能性もある。
【0108】なお、上記の実施形態ではラスター画像の
横方向だけを見て高周波領域を検出したがその限りでな
く、2次元的に高周波領域を抽出してもよい。その際、
図4のフローチャートで示したような画素最大値と画素
最小値の差でエッジを判定する場合、最大値と最小値を
画像横画素数/SAMPLE_PIXEL(横)分保持するレジスタ
が必要となる。2次元的に見ることによって、従来抽出
することが困難であった「ー」や「二」などの横方向に
高周波成分を持たない文字も検出可能となる。
【0109】また、エッジ検出回路でなにも検出されな
かった行や、抽出された領域がfix処理で削除とな
り、ほかに領域がない場合など、2値メモリ107のア
ドレスをインクリメントせずに(バンド単位のインクリ
メントを行わずに)前行に上書きすることによって2値
メモリ107の容量を更に倹約することが出来、コスト
の削減が可能となる。なお、fix処理では、最終的に
抽出された領域を、領域の大きさを基準に破棄する処理
を行う。
【0110】さらに、方向を判別することが目的の場
合、方向判別を行なえるだけの文字領域が抽出できれば
良い。従って、抽出量をモニタし、抽出量が所定値に達
した時点で2値化データの保持を終了させるようにして
もよい。このようにすれば、さらにメモリを小さくする
ことが可能となる。
【0111】また、上記の実施形態ではエッジ検出に最
大値最小値の差を利用したがその限りでなく、たとえ
ば、周波数変換を行い、高周波部を検出してもよい。更
に、上記実施形態において、エッジ検出数が所定数以上
の領域を文字領域として検出したが、エッジ検出数が所
定数以下の領域を写真領域として検出するように構成し
てもよい。
【0112】以上説明したように上記実施形態によれ
ば、画像の2値化結果を待つことなく、多値画像からリ
アルタイムで文字領域の抽出処理が行なえるので、CC
Dの駆動を止めることなくリアルタイムな処理が可能と
なる。
【0113】また、高周波検出処理を所定ライン数毎に
行うことによりページ単位でなく、行単位でもCCDを
停止させずにリアルタイムで文字抽出することが可能と
なる。
【0114】さらに、コストを抑えたい場合は、多値画
像からバッファを必要とせずに入力画素から順番にリア
ルタイムで文字抽出を行うことが可能なので、文字が存
在しなかった領域(バンド)は、メモリのアドレスをイ
ンクリメントしない(バンド単位のメモリアドレスのイ
ンクリメントを行わない)ことにより前のバンドに上書
きすることができ、メモリの節約ができる。この結果、
メモリを1ページ全面分持つ必要がなくなりコスト削減
が可能となる。
【0115】なお、本発明は、複数の機器(例えばホス
トコンピュータ,インタフェイス機器,リーダ,プリン
タなど)から構成されるシステムに適用しても、一つの
機器からなる装置(例えば、複写機,ファクシミリ装置
など)に適用してもよい。
【0116】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
【0117】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
【0118】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク,ハードディス
ク,光ディスク,光磁気ディスク,CD−ROM,CD
−R,磁気テープ,不揮発性のメモリカード,ROMな
どを用いることができる。
【0119】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
【0120】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【0121】
【発明の効果】以上説明したように本発明によれば、特
定の画像領域を抽出するのに全ての画像信号がメモリに
格納されるのを待つことなく、しかも、不要な画像領域
をメモリに格納せずに少量のメモリで高速に画像信号か
ら必要な領域を抽出することができる。
【0122】
【図面の簡単な説明】
【図1】本実施形態によるディジタル複写機の構成を表
すブロック図である。
【図2】本実施形態による方向判定部100の構成を示
すブロック図である。
【図3】しきい値決定回路101による処理手順の一例
を示すフローチャートである。
【図4】エッジ検出回路102の処理手順を説明するフ
ローチャートである。
【図5】エッジ検出回路102の処理手順を説明するフ
ローチャートである。
【図6】エッジ検出回路102の処理手順を説明するフ
ローチャートである。
【図7】エッジ検出処理におけるオーバーラップ例を説
明する図である。
【図8】SAMPLE_PIXEL=8、space_limit=2の場合の
エッジ座標検出処理の結果例を説明する図である。
【図9】結合処理回路106の処理手順の一例を示すフ
ローチャートである。
【図10】結合処理を説明する図である。
【図11】バンド処理の概要を説明する図である。
【図12】画像のバンドとメモリのバンドに関る情報を
説明する図である。
【図13】領域情報記憶部104に記憶される領域情報
の一例を示す図である。
【図14】バンド処理の手順を説明するフローチャート
である。
【図15】バンド処理の一例を説明する図である。
【図16】バンド処理の一例を説明する図である。
【図17】結合処理によるバンド毎の矩形数の変化を説
明する図である。
【図18】バンドメモリコントローラ111の処理手順
を説明するフローチャートである。
【図19】文字抽出を方向認識に利用する場合のタイム
チャートを示す図である。
【図20】一般的な文字方向判別処理のタイミングを説
明する図である。
【図21】2値メモリをダブルで設けずに、文字抽出を
方向認識に利用する場合のタイムチャートを示す図であ
る。

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 画像データをライン単位で入力し、入力
    されたラインから所定条件を満足する部分を抽出する抽
    出手段と、 前記画像データの複数のラインについて、前記抽出手段
    で抽出された部分のうち、所定の近さにあるもの同士を
    結合して結合領域を生成する生成手段と、 前記生成手段で生成された結合領域が特定画像を含むか
    否かを判定する判定手段と、 前記判定手段によって特定画像を含むと判定された結合
    領域を表す領域情報を保持するとともに、画像データを
    バンド単位で格納する記憶手段に、該特定画像の領域で
    あると判定された結合領域を含むバンドを保持する保持
    手段とを備えることを特徴とする情報処理装置。
  2. 【請求項2】 前記抽出手段は、所定条件を満足する部
    分が近接する場合、それらを結合して一つの部分とする
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 【請求項3】 前記抽出手段は、1ラインの画像データ
    を所定幅で区切って得られる部分についてエッジが存在
    するか否かを判定し、エッジが存在する所定幅の部分を
    抽出することを特徴とする請求項1に記載の情報処理装
    置。
  4. 【請求項4】 前記抽出手段は、前記所定幅部分の一部
    を重複させながら所定幅部分を順次切り出してエッジが
    存在するか否かを判定し、エッジが存在する所定幅部分
    を抽出することを特徴とする請求項3に記載の情報処理
    装置。
  5. 【請求項5】 前記判定手段は、前記結合領域について
    前記バンド毎に前記特定画像を含むか否かを判定し、 前記判定手段の判定結果に基づいて、前記保持手段で保
    持された当該結合領域に関する領域情報を更新する更新
    手段を更に備えることを特徴とする請求項1に記載の情
    報処理装置。
  6. 【請求項6】 前記更新手段は、前記判定手段の判定結
    果に基づき、前記結合領域から特定画像を含まない部分
    をバンドを単位として削除することを特徴とする請求項
    5に記載の情報処理装置。
  7. 【請求項7】 前記更新手段は、前記結合領域中の連続
    する2つのバンドにおいて前記特定画像が含まれていな
    い場合、当該2つのバンドの分を削減することを特徴と
    する請求項6に記載の情報処理装置。
  8. 【請求項8】 前記更新手段によって結合領域が削減さ
    れた結果、前記記憶手段に結合領域の存在しないバンド
    が生じた場合、当該バンドのデータを前記記憶手段より
    消去する消去手段を更に備えることを特徴とする請求項
    5乃至7のいずれかに記載の情報処理装置。
  9. 【請求項9】 前記特定画像が文字画像であることを特
    徴とする請求項1に記載の情報処理装置。
  10. 【請求項10】 前記特定画像が写真画像であることを
    特徴とする請求項1に記載の情報処理装置。
  11. 【請求項11】 前記保持手段によって保持された領域
    情報とバンド単位で格納された画像データに基づいて文
    字認識を行ない、原稿方向を判定する方向判定手段を更
    に備えることを特徴とする請求項1に記載の情報処理装
    置。
  12. 【請求項12】 画像データをライン単位で入力し、入
    力されたラインから所定条件を満足する部分を抽出する
    抽出工程と、 前記画像データの複数のラインについて、前記抽出工程
    で抽出された部分のうち、所定の近さにあるもの同士を
    結合して結合領域を生成する生成工程と、 前記生成工程で生成された結合領域が特定画像を含むか
    否かを判定する判定工程と、 前記判定工程によって特定画像を含むと判定された結合
    領域を表す領域情報を保持するとともに、画像データを
    バンド単位で格納する記憶手段に、該特定画像の領域で
    あると判定された結合領域を含むバンドを保持する保持
    工程とを備えることを特徴とする領域抽出方法。
  13. 【請求項13】 前記抽出工程では、前記所定条件を満
    足する部分が近接する場合、それらを結合しながら部分
    の抽出を行なうことを特徴とする請求項12に記載の領
    域抽出方法。
  14. 【請求項14】 前記抽出工程では、1ラインの画像デ
    ータを所定幅で区切って得られる部分についてエッジが
    存在するか否かを判定し、エッジが存在する該所定幅の
    部分を抽出することを特徴とする請求項12に記載の領
    域抽出方法。
  15. 【請求項15】 前記抽出工程は、前記所定幅部分の一
    部を重複させながら所定幅部分を順次切り出して,エッ
    ジが存在するか否かを判定し、エッジが存在する所定幅
    分を抽出することを特徴とする請求項14に記載の領域
    抽出方法。
  16. 【請求項16】 前記判定工程は、前記結合領域につい
    て前記バンド毎に前記特定画像を含むか否かを判定し、 前記判定工程の判定結果に基づいて、前記保持工程で保
    持された当該結合領域に関する領域情報を更新する更新
    工程を更に備えることを特徴とする請求項12に記載の
    領域抽出方法。
  17. 【請求項17】 前記更新工程は、前記判定工程の判定
    結果に基づき、前記結合領域から特定画像を含まない部
    分をバンドを単位として削除することを特徴とする請求
    項16に記載の領域抽出方法。
  18. 【請求項18】 前記更新工程は、前記結合領域中の連
    続する2つのバンドにおいて前記特定画像が含まれてい
    ない場合、当該2つのバンドの分を削減することを特徴
    とする請求項17に記載の領域抽出方法。
  19. 【請求項19】 前記更新工程によって結合領域が削減
    された結果、前記記憶手段に結合領域の存在しないバン
    ドが生じた場合、当該バンドのデータを前記記憶手段よ
    り消去する消去工程を更に備えることを特徴とする請求
    項16乃至18のいずれかに記載の領域抽出方法。
  20. 【請求項20】 入力された画像データから特定画像を
    含む領域を抽出するための制御プログラムを格納するコ
    ンピュータ可読メモリであって、該制御プログラムが、 画像データをライン単位で入力し、入力されたラインか
    ら所定条件を満足する部分を抽出する抽出工程のコード
    と、 前記画像データの複数のラインについて、前記抽出工程
    で抽出された部分のうち、所定の近さにあるもの同士を
    結合して結合領域を生成する生成工程のコードと、 前記生成工程で生成された結合領域が特定画像を含むか
    否かを判定する判定工程のコードと、 前記判定工程によって特定画像を含むと判定された結合
    領域を表す領域情報を保持するとともに、画像データを
    バンド単位で格納する記憶手段に、該特定画像の領域で
    あると判定された結合領域を含むバンドを保持する保持
    工程のコードとを含むことを特徴とするコンピュータ可
    読メモリ。
JP31745397A 1997-11-18 1997-11-18 情報処理装置及び方法 Expired - Fee Related JP3884845B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP31745397A JP3884845B2 (ja) 1997-11-18 1997-11-18 情報処理装置及び方法
EP98309325A EP0917349B1 (en) 1997-11-18 1998-11-13 Document image data processing for detecting, extracting and coupling of regions with same characteristics
DE69836065T DE69836065T2 (de) 1997-11-18 1998-11-13 Verarbeitung von Bilddokumentdaten zum Detektieren, Herauslesen und Koppeln von Bildgebieten gleicher Eigenschaften
US09/191,533 US6175662B1 (en) 1997-11-18 1998-11-13 Region extraction method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31745397A JP3884845B2 (ja) 1997-11-18 1997-11-18 情報処理装置及び方法

Publications (2)

Publication Number Publication Date
JPH11150655A true JPH11150655A (ja) 1999-06-02
JP3884845B2 JP3884845B2 (ja) 2007-02-21

Family

ID=18088402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31745397A Expired - Fee Related JP3884845B2 (ja) 1997-11-18 1997-11-18 情報処理装置及び方法

Country Status (4)

Country Link
US (1) US6175662B1 (ja)
EP (1) EP0917349B1 (ja)
JP (1) JP3884845B2 (ja)
DE (1) DE69836065T2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7339703B2 (en) 2002-06-28 2008-03-04 Canon Kabushiki Kaisha Image processing apparatus and method thereof
JP2008085713A (ja) * 2006-09-28 2008-04-10 Brother Ind Ltd 画像読取装置、複写装置及び画像読取方法
JP2013211807A (ja) * 2012-03-30 2013-10-10 Brother Ind Ltd 画像処理装置およびプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778297B1 (en) * 1999-04-12 2004-08-17 Minolta Co., Ltd. Image processing apparatus, method, and computer program product
US7486297B2 (en) * 2003-09-22 2009-02-03 Ati Technologies, Inc. Method and apparatus for image processing in a handheld device
US7822277B2 (en) 2005-08-31 2010-10-26 Ati Technologies Ulc Method and apparatus for communicating compressed video information
JP4577421B2 (ja) * 2008-07-10 2010-11-10 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5077811A (en) * 1990-10-10 1991-12-31 Fuji Xerox Co., Ltd. Character and picture image data processing system
JP3630705B2 (ja) * 1993-08-02 2005-03-23 コニカミノルタビジネステクノロジーズ株式会社 デジタル複写装置
US5987171A (en) * 1994-11-10 1999-11-16 Canon Kabushiki Kaisha Page analysis system
JP3727971B2 (ja) * 1995-02-01 2005-12-21 キヤノン株式会社 文書処理装置、及び文書処理方法
US5978519A (en) * 1996-08-06 1999-11-02 Xerox Corporation Automatic image cropping

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7339703B2 (en) 2002-06-28 2008-03-04 Canon Kabushiki Kaisha Image processing apparatus and method thereof
JP2008085713A (ja) * 2006-09-28 2008-04-10 Brother Ind Ltd 画像読取装置、複写装置及び画像読取方法
JP4626598B2 (ja) * 2006-09-28 2011-02-09 ブラザー工業株式会社 画像読取装置、複写装置及び画像読取方法
US8035866B2 (en) 2006-09-28 2011-10-11 Brother Kogyo Kabushiki Kaisha Image reading device, copy apparatus, and image reading method
JP2013211807A (ja) * 2012-03-30 2013-10-10 Brother Ind Ltd 画像処理装置およびプログラム

Also Published As

Publication number Publication date
EP0917349A2 (en) 1999-05-19
EP0917349B1 (en) 2006-10-04
US6175662B1 (en) 2001-01-16
DE69836065D1 (de) 2006-11-16
DE69836065T2 (de) 2007-02-22
JP3884845B2 (ja) 2007-02-21
EP0917349A3 (en) 2000-03-22

Similar Documents

Publication Publication Date Title
US5677776A (en) Image reader for processing an image of a document
EP1510963A2 (en) Image processing apparatus, image processing method, program and storage medium
JPH05122532A (ja) 画像処理装置
JPH11150655A (ja) 領域抽出方法及び情報処理装置
US6807301B1 (en) Image production controlling device, image producing device, image production controlling method, and a storage medium
US5784501A (en) Image processing method and apparatus
US5144682A (en) Method and an apparatus for isolating an area corresponding to a character or word
US5463476A (en) Image processing system
JP7301529B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP3774502B2 (ja) 画像処理装置およびその方法
EP0341850A2 (en) Document reading devices
US5583955A (en) Image processing apparatus
JP2001218044A5 (ja)
JP3814547B2 (ja) 画像処理装置及びその方法
JP2991761B2 (ja) 行切出し方法
KR100420065B1 (ko) 이치화된 혼재 이미지에서 글씨영역과 그림영역을 구분하는 방법
JPS641827B2 (ja)
JP2001101412A (ja) 情報処理装置及びその方法、コンピュータ可読メモリ
JP2872757B2 (ja) 行方向判定装置
JPH11313182A (ja) 画像形成装置
JPH08147313A (ja) 画像記憶検索装置及び方法
JPS6214263A (ja) 文書画像処理方式
JPH089141A (ja) マーカー消去装置
JPH09218938A (ja) 画像処理方法及び装置
JPS6353585B2 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040527

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20040527

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061120

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees