JP3003261B2 - カラー画像認識装置 - Google Patents
カラー画像認識装置Info
- Publication number
- JP3003261B2 JP3003261B2 JP3109184A JP10918491A JP3003261B2 JP 3003261 B2 JP3003261 B2 JP 3003261B2 JP 3109184 A JP3109184 A JP 3109184A JP 10918491 A JP10918491 A JP 10918491A JP 3003261 B2 JP3003261 B2 JP 3003261B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- block
- document
- blocks
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 239000003086 colorant Substances 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 description 22
- 238000006243 chemical reaction Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 8
- 239000003550 marker Substances 0.000 description 7
- 238000012546 transfer Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000009966 trimming Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Electrophotography (AREA)
- Control Or Security For Electrophotography (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
わり、特に原稿を読み取った画像データから当該原稿が
カラー原稿か、白黒原稿かを判別するようにしたカラー
画像認識装置に関するものである。
カラー複写機等においては、フルカラーコピーが高価な
ものであるため、プリスキャン時に原稿の画像データを
読み取り、読み取った画像データよりカラー原稿か、白
黒原稿かを判別してそれに応じてカラーコピーを実行す
るか白黒コピーを実行するかのモード選択を行うように
している。
3画素ブロック単位に有彩色、無彩色を判定し、全画素
数に対する無彩色の比率に応じてカラー原稿か、白黒原
稿かを判別するようにしている(特開平2−24936
5号公報)。また、各画素毎に与えられる白、無彩色お
よび有彩色を識別して白黒原稿か、カラー原稿を判定
し、この判定結果に基づいてカラー原稿の色情報を判別
するものも提案されている(特開平2−144566号
公報)。
案されている自動カラー選択方式はカラー画像の認識処
理が複雑でハードウェア構成が複雑になり、処理時間も
多くかかると共に、低彩度の色識別に難点があり、例え
ばこげ茶色等の黒っぽい色を色識別するのが困難である
という問題があった。また、色識別部分の面積が小さい
時に精度よく色識別を行うことが困難であった。
で、簡単なハードウェア構成でかつ処理時間も短縮し、
低彩度における色識別、小さいカラー部分の色識別を精
度よく認識することができるカラー画像認識装置を提供
することもを目的とする。
読み取り、読み取ったカラー画像データより原稿色を判
別するカラー画像認識装置において、画像読取手段と、
読み取ったカラー画像データを輝度および色差で色を表
示する座標系のデータに変換する色表示座標系変換手段
と、輝度データおよび色差データより各画素毎に画素色
を判定する画素色判定手段と、複数画素からなるブロッ
ク毎に色画素と黒画素の数を比較し、ブロック色を判定
するブロック色判定手段と、原稿面全体にわたりカラー
ブロック数をカウントし、カラーブロック数がスレッシ
ョールド値を超えたとき原稿色はカラーであると判定す
る原稿色判定手段とを備えたことを特徴とする。
角形または多角形の領域を設定し、読み取った画像デー
タの色差が該領域内にあるか否かにより画素色を判定す
ること、検出した色差平面上に領域を設定し、読み取っ
た画像データの色差が該領域内にあるか否かにより画素
色を判定すると共に、該領域の大きさを輝度Lに応じて
変えるようにしたことを特徴とする。
黒画素数との差が所定値以上のブロックについては多数
決により、色画素数と黒画素数の差が所定値に満たない
ブロックは、複数の近傍ブロックの色画素数と黒画素数
とでブロック内の色画素数と黒画素数に重み付けして比
較し、比較結果によりブロック色判定を行うことを特徴
とする。
プリスキャン開始から所定ライン以降に読み取ったカラ
ーブロック数により原稿色を判定すること、カラーブロ
ックカウンタのカウント値を読み取り用のレジスタに格
納すること、ブロック色判定結果よりカラーブロックヒ
ストグラムを作成するヒストグラム作成回路を有し、さ
らに該作成回路で作成されたヒストグラムの最大頻度の
カラーブロック数と2番目の頻度のカラーブロック数と
の差が所定値より大きいか否かにより画像処理モードを
選択する選択回路とを備えたこと、カラーブロックに彩
度に応じた重み付けを行って有彩色ブロックをカウント
する有彩色ブロックカウント回路を備えたこと、モノカ
ラー、2色、3色または4色の形でカラー画像を認識す
ること、複数ブロックからなる中ブロック単位で原稿色
を判定し、少なくとも1つの中ブロック単位でカラーと
認識することを条件にカラー画像と判定すること、カラ
ーブロックと黒ブロックの差、およびカラーブロック数
により原稿色を判定すること、カラーブロック数が所定
値以上か否か判定するためのスレッショールド値を黒ブ
ロック数に応じて変えるようにしたこと、原稿色を判定
する領域信号で規定される領域内のブロック色をカウン
トすることにより原稿色を判定すること、カラーブロッ
ク数が所定値に達するまで原稿面についてのカラーブロ
ックを計数し、所定値に達した時カウントを停止するこ
とを特徴とする。
画像データを色表示座標系変換手段により輝度および色
差信号からなるL,a,bに変換し、検出した画素がa
−b平面の矩形領域内に入るか否かにより色画素か、黒
画素かを判定する。この場合、矩形領域を多角形にする
ことにより判別の自由度を拡げることも可能である。さ
らにこの色判別する領域を輝度データLに応じて変え、
例えば暗い場合は領域の大きさを大きくし、明るい場合
は小さくすることにより、より精度良く色検出を行うこ
とができる。このように画素単位で色画素か、白黒画素
かを判定し、複数画素からなるブロックの色を判定する
時は白画素を除き、色画素と黒画素とにより判定する。
白画素を除くことにより色画素がその占める比率が大き
くなるので、精度のよい検出が可能となる。次いでブロ
ック単位に色ブロックか、黒ブロックかを判別する。こ
の判別はブロック内の色画素数と黒画素数の差より行
う。このような多数決によりブロック色を判定するが、
黒画素数と色画素数がほぼ同数の場合には近傍のブロッ
クの判定結果を参照し、近傍ブロック内のカラーブロッ
ク数、黒ブロック数の重みを掛算して再度多数決を行う
ようにする。
全体にわたって色ブロック数をカウントし、そのカウン
ト値が所定値以上であるか否かにより原稿色を判定す
る。この際、読み取り時間を短縮するために、プリスキ
ャンのスピードを上げたり、あるいはバックスキャン時
にカラー画像データを検出するため、スキャン開始時に
は読取装置の振動の影響で正確なデータを取り込むこと
ができない。そこで、スキャン開始から所定ラインシン
ク分だけのカラーブロックのカウントは停止し、それ以
降についてのカウント値で原稿色を判定するようにす
る。
読み取り可能なレジスタに格納し、原稿サイズ等に応じ
ても原稿色判定の適切なスレッショールド値が設定でき
るようにし、また、ブロック色判定結果よりカラーブロ
ックヒストグラムを作成し、最大頻度のカラーブロック
数と2番目の頻度のカラーブロック数との差に応じて、
例えば差が大きい時は、原稿は最大頻度のカラーブロッ
ク色であると識別し、そのモードを選択するようにす
る。また、カラーブロックの彩度に応じた重み付けを行
って有彩色ブロックをカウントし、また、単にフルカラ
ーかモノカラーかではなく、モノカラー、2色または3
色または4色の形でカラー画像を認識する。また、複数
ブロックからなる中ブロック単位で原稿色を判定し、少
なくとも1つの中ブロック単位でカラーと認識した場
合、カラー画像と判定し、カラー部が小さい場合の検出
精度を良くする。また、カラーブロック数と黒ブロック
数の差、およびカラーブロック数により原稿色を判定し
て検出精度を向上させる。また、カラーブロック数が所
定値以上か否か判定するためのスレッショールド値を黒
ブロック数に応じて変えるようにしたり、原稿色を判定
する領域信号で規定される領域内のブロック色をカウン
トすることにより原稿色を判定することにより、不要な
判定を行わないようにする。また、カラーブロック数が
所定値に達するまで原稿面についてのカラーブロックを
計数し、所定値に達した時カウントを停止するようにす
る。
成を示す図、図2は本発明が適用される複写機の装置構
成を示す図、図3は読み取った画像データの処理を説明
するブロック図、図4は色編集処理部の説明図である。
する。
ー複写機の全体の構成例を示す図である。
30が、上面に原稿を載置するプラテンガラス31、イ
メージ入力ターミナル(IIT)32、電気系制御収納
部33、イメージ出力ターミナル(IOT)34、用紙
トレイ35、ユーザインタフェース(U/I)36から
構成され、オプションとして、エディットパッド61、
オートドキュメントフィーダ(ADF)62、ソータ6
3、及びフィルムプロジェクタ(F/P)64とミラー
ユニット(M/U)65からなるフィルム画像読取装置
を備えたものである。
ングユニット37、それを駆動するためのワイヤ38、
駆動プーリ39等からなり、イメージングユニット37
内のカラーフィルタで光の原色B(青)、G(緑)、R
(赤)に色分解してCCDラインセンサを用いて読み取
ったカラー原稿の画像情報を多階調のデジタル画像信号
BGRに変換してイメージ処理システムに出力するもの
である。イメージ処理システムは、電気系制御収納部3
3に収納され、BGRの画像信号を入力して色や階調、
精細度その他画質、再現性を高めるために各種の変換、
補正処理、さらには編集処理等の種々の処理を行うもの
であり、トナーの原色Y(イエロー)、M(マゼン
タ)、C(シアン)、K(黒)へ変換し、プロセスカラ
ーの階調トナー信号をオン/オフの2値化トナー信号に
変換してイメージ出力ターミナル34に出力するもので
ある。イメージ出力ターミナル34は、スキャナ40、
感材ベルト41を有し、レーザ出力部40aにおいて画
像信号を光信号に変換し、ポリゴンミラー40b、F/
θレンズ40c及び反射ミラー40dを介して感材ベル
ト41上に原稿画像に対応した潜像を形成させ、用紙ト
レイ35から搬送した用紙に画像を転写しカラーコピー
を排出するものである。
ト41が駆動プーリ41aによって駆動され、その周囲
にクリーナ41b、帯電器41c、YMCKの各現像器
41d、及び転写器41eが配置され、この転写器41
eに対向して転写装置42が設けられている。そして、
用紙トレイ35から用紙搬送路35aを経て送られてく
る用紙をくわえ込み、4色フルカラーコピーの場合に
は、転写装置42を4回転させて用紙にYMCKの各潜
像を転写させた後、用紙を転写装置42から真空搬送装
置43を経て定着器45で定着させ排出する。SSI
(シングルシートインサータ)35bは、用紙搬送路3
5aに手差しで用紙を選択的に供給できるするものであ
る。
望の機能を選択してその実行条件を指示するものであ
り、カラーディスプレイ51とハードコントロールパネ
ル52を備え、さらに赤外線タッチボード53を組み合
せて画面のソフトボタンで直接指示できるようにしてい
る。
入力ターミナル32、イメージ出力ターミナル34、ユ
ーザインタフェース36、イメージ処理システム、フィ
ルムプロジェクタ64等の各処理単位毎に分けて構成さ
れた複数の制御基板、さらには、イメージ出力ターミナ
ル34、自動原稿送り装置62、ソータ63等の機構の
動作を制御するためのMCB基板(マシンコントロール
ボード)、これら全体を制御するSYS基板を収納する
ものである。
体構成を示すブロック図である。
配置されたR,G,B3本のラインセンサからなる縮小
型センサを有し、タイミング生成回路12からのタイミ
ング信号に同期して走査されて画像読み取りを行ってい
る。読み込まれた画像データは、シェーディング補正回
路11でシェーディング補正された後、ギャップ補正回
路13で各ラインセンサ間のギャップ補正が行われる。
このギャップ補正は、FIFO14でギャップに相当す
る分だけ読み取った画像データを遅延させ、同一位置の
R,G,B画像信号が同一時刻に得られるようにするた
めのものである。ENL(Equivalnt Neu
tral Lightness)15は、グレイバラン
スを行うためのものであり、また、後述する編集処理部
400からのネガポジ反転信号により、画素毎にグレー
のとり方を逆にしてネガポジ反転し、例えば、或る指定
領域のみネガポジを反転できるようになっている。グレ
イバランスさせたR,G,B画像信号は、編集処理部4
00からの制御信号によりマトリッスク回路16aで
L,a,b画像信号に変換される。R,G,BからL,
a,bへの変換は、計算機等外部とのインターフェース
を取り易くするためのものである。セレクタ17は、編
集処理部400からの信号により制御されてマトリック
ス回路16aの出力、または外部の計算機とのインター
フェースであるメモリシステム200からの画像データ
を選択的に取り出すためのものである。下地除去回路1
8は、プリスキャンで原稿の最低濃度、最高濃度を記憶
し、最低濃度以下の濃度の画素については飛ばして新聞
等のようなかぶった原稿に対するコピー品質を良くする
ためのものである。原稿検知回路19は、黒いプラテン
の裏面と原稿との境界を検出し、走査方向に真っ直ぐ置
かれていさえすれば原稿の置かれた位置に関係なく原稿
サイズを検出して記憶しておくためのものである。編集
処理部400で色編集した画像信号はマトリックス回路
16bでL,a,bからY,M,Cのトナー色に変換
し、下色除去回路21ですみばんを生成してY,M,
C,Kを生成する。同時に色編集した画像信号は、絵文
字分離回路20で色文字か黒文字か絵柄かが判別され
る。下色除去回路21では文字データか絵柄かに応じて
色相信号と現像色信号Y,M,C,KがそれぞれFIF
O22a、22bに一旦記憶される。そしてセレクタ2
3で選択されて読みだされ、データリセット回路24で
は、黒文字の場合にはY,M,Cのデータをリセット
し、色文字または絵柄の場合にはそのまま素通りさせる
処理を行う。縮拡回路25aは、縮小拡大があった場合
にも色編集領域と通常コピー領域がずれないようにする
ためのもので、縮拡情報はエリアデーコーダ26でデコ
ードされて各部の処理に供される。縮拡回路25bで縮
小または拡大された画像データはフィルタ27でモアレ
除去、エッジ強調がされ、乗算器28では各色成分に対
する係数を適宜選択することにより、色文字、黒文字、
絵柄に対しての色調整、濃度調整が行われる。TRC2
9はIOTの特性に合わせて濃度調整をするためのもの
であり、この画像データはメモリシステム200に記憶
されるか、ROS300で画像として出力される。
のブロック図である。
するためのものであり、セレクタ17からの画像信号
L,a,bは、LUT415aで色編集、色変換がし易
いようにL,a,bからL,C,Hに変換され、このと
き後段の色変換&パレット413のメモリ容量を減らす
ために画像データ24ビットを20ビットに変換してい
る。色変換&パレット413は色編集で使用する色を3
2種類のパレットに持っており、色変換する領域の画像
データのみが色変換&パレット413に入力され、それ
以外の領域の画像データは直接セレクタ416へ送られ
て前述のマトリックス回路16bへ送られる。色変換さ
れたL,C,H信号は、再度LUT415bでL,a,
bに変換されて24ビットデータに戻され、セレクタ4
16へ送られる。色変換&パレット413からのマーカ
色(3色)と閉領域信号の4ビット信号は密度変換・領
域生成回路405へ送られる。このとき、FIFO41
0a、410b、410cを用いて4×4のウインドウ
で、16画素の中で黒画素が所定数以上であれば「1」
とする2値化処理を行って400spiから100sp
iへの密度変換が行われる。密度変換・領域生成回路4
05はこのようにして生成したマーカ信号(閉ループ及
びマーカ・ドット)をプレーンメモリ403へ書き込
み、また、小さなゴミなどをマーカとして誤検知しない
ようにマーカ・ドット信号についてはFIFO408に
より9ライン分遅延させて9×9ウインドウでマーカ・
ドット検出を行い、マーカ・ドットの座標値を生成して
RAM406に記憶させる。なお、マーカ・ドットにつ
いてはプレーンメモリにも記憶されるが、誤検知を防止
するためにこの処理を行っている。
ての領域を発生するためのメモリであり、例えばエディ
タパッドからも領域を書き込むことができる。すなわ
ち、エディタパッドで指定した座標データはCPUバス
を通してグラフィックコントローラ401に転送され、
グラフィックコントローラ401からのアドレス信号に
よりDRAMコントローラ402を介してプレーンメモ
リ403に領域が書き込まれる。プレーンメモリ403
は4面からなっており、プレーンメモリからの領域の読
み出しを4面同時に行って0〜15までの16種類の領
域生成を行うことができるようになっている。
は、閉ループ曲線がギザギザにならないように密度変換
・領域生成回路405はFIFO409a、409bで
4ライン分遅延させ、データ補間を行って100spi
から400spiへの密度変換を行っている。色編集し
たデータは、ディレイ回路411a、411b、1MF
IFOによりタイミング調整が行われ、画像入力部で読
み込んだ画像データとのタイミングが合わされるように
なっている。
る。
読み取り、R,G,B画像データをマトリックスからな
る色表示座標系変換手段2により輝度および色差で表示
するL,a、b色表示座標系に変換する。L,a,b表
示系(L,a,bを規格化したL* ,a* ,b* も勿論
含まれる)においては、a−b平面上で原点からの距離
により無彩色か否か判定することができ、従来提案され
ている装置では、図5(a)に示すようにa−b平面上
で所定半径の円を描き、この範囲内にあれば無彩色、範
囲外であれば有彩色というような判定をしていたが、こ
の円領域内にあるか否かの判定には二乗項の計算が必要
となってハードウェアの構成が複雑となり、かつこれを
全画素について行うため非常に多くの処理時間を要して
しまうという問題があったが、本発明では図5(b)に
示すように、判定領域を例えば四角形に設定する。この
ような四角形の設定によりaおよびbについて最大値、
最小値を設定し、ウインドウコンパレータを使用して容
易に領域内にあるか否か判定することができるので、ハ
ードウェア構成が極めて簡単になると共に、処理時間を
大幅に短縮することが可能である。
ものである。この判定回路は4つのウインドウコンパレ
ータ426〜429とANDゲート430〜432にお
いて、検出したa* ,b* (a,bを規格化したもの)
が、図6(b)に示すように、矩形領域内にあれば出力
「1」、矩形領域外であれば「0」出力を、画素色判定
回路434のA入力に出力する。一方画素色判定回路4
34の他方の入力端子BにはL* (Lを規格化したも
の)がコンパレータ433でレジスタ433aに設定さ
れたスレッショールド値より大きいか否か比較されて、
「1」出力がB入力に取り込まれる。画素色判定回路4
34では、図示するように入力A,Bが(H,H)の時
黒画素(01)を、A,Bが(H,L)の時は白画素
(00)を、またA,Bが(L,X)の時色画素(1
0)をそれぞれ出力する。
29の比較入力にはセレクタ422〜425よりそれぞ
れのレジスタ422a,422b,423a,423
b,424a,424b,425a,425bに設定さ
れたスレッショールド値を輝度L* がレジスタ421に
設定された値より大きいか否かをコンパレータ420で
比較し、低輝度でA入力が「0」の場合には各セレクタ
の出力Qは「1」となって端子1に接続されたレジスタ
が選択され、一方、L* がスレッショールド値より大き
くてA入力が「1」のときは、Q=2となって端子2に
接続されたレジスタが選択され、図6(b)の矩形領域
の大きさを低輝度では小さく、高輝度では大きくするよ
うに設定し、明るい場合と暗い場合とで色画素検出精度
を変えるようにして正確な色検出ができるようにしてい
る。
要はなく、図7に示すように多角形の領域を設定するよ
うにすれば画素色判定の自由度を大きくすることがで
き、また輝度の大きさによる領域の大きさの変更は従来
のようなa−b平面で領域を円形に設定する場合にも適
用可能である。
と、次に図1のブロック色判定出力4により複数画素、
例えば4×8画素についてブロック色を判定する。ブロ
ック色の判定の具体的構成は図8に示すようなものであ
る。
力は色画素カウンタ441、黒画素カウンタ442でそ
れぞれカウントされる。色画素カウンタ441では、入
力されるデータのうち(10)を色画素としてカウント
し、黒画素カウンタ442では(01)を黒画素として
カウントする。なお、白画素についてはカウントしな
い。
素カウント値と黒画素カウント値とを比較し、色画素カ
ウント値の方が大きい場合には当該ブロックは色ブロッ
クであるとしてカウンタ444でその値をカウントし、
黒画素値の方が大きければ当該ブロックは白黒ブロック
であるとしてカウンタ444ではカウントしない。
を計数し、図1の原稿色判定手段5に相当する図8の原
稿色判定回路445では、レジスタ445bに設定され
たスレッショールド値と色ブロックカウント値をコンパ
レータ445aで比較し、色ブロック数がスレッショー
ルド値を超えた時に原稿色はカラーであると判定してレ
ジスタ446に登録する。一方、色ブロック数がスレッ
ショールド値より小さければ白黒原稿であるとしてレジ
スタ446を「0」に設定する。
で、色画素数と黒画素数とが離れている場合には多数決
でブロック色判定を行うことができるが、両者の差が小
さい場合には多数決では必ずしも正しいブロック色判定
結果が得られない。そこで、このような場合には、図9
に示すように注目ブロック450の近傍の4つのブロッ
クA,B,C,Dの類型を参照して4つの近傍ブロック
内のカラーブロック数をN、4つの近傍ブロック内の白
黒ブロック数をMとし、注目ブロック450内の色画素
数をCC、注目ブロック内黒画素数をBCとした時、C
C×(N/4)とBC×(M/4)を比較し、近傍ブロ
ックの判定結果で重み付けをしてブロック色を判定すれ
ば妥当な判定結果を得ることができる。
めるため、通常、データの取り込みやプリスキャン時の
バックスキャンで行っている。しかし、データ取り込み
用のセンサが折り返す時センサ部は振動を生じ、白黒原
稿をカラー原稿と誤認識する可能性が生ずる。そこで、
取り込まれた画像データをブロック毎に白黒かカラーか
を判定し、そのうちのカラーと判定されたブロックをカ
ウンタでカウントする際、振動領域はカウンタの動作を
停止させ、誤認識を防止するようにする。
ロックカウンタ444のカウントを制御するためのカラ
ーブロックカウンタ用イネーブルカウンタ451を設
け、予めレジスタ451aに所定値を設定し、プリスキ
ャンを開始してから所定カウント値まではカラーブロッ
クカウンタに対してイネーブル信号を出さないように
し、センサの振動がおさまる程度のラインシンクにいた
ってからイネーブル信号を出してカウントするようにす
る。
は可変であり、適宜必要に応じて値を変更するようにす
ればよい。また、このカラーブロックカウンタの値をレ
ジスタ452に格納し、そのカウント値を読めるように
する。例えば、A3の原稿と葉書サイズのような小さな
原稿では、色ブロック数が同じカウントでも原稿に対す
るカラー領域の比が異なる。そのため、小さい原稿の時
は、たとえカラー領域の示す割合が大きくても白黒と判
定してしまう可能性があり、また判定結果のデータだけ
では色識別の機能デバッグやパラメータの設計が複雑で
あるので、カラーブロックカウンタのカウント値を参照
できるようにすることによりデバッグやパラメータ設計
の複雑さを軽減することができ、またA3以下のあらゆ
る原稿に対し適切なスレッショールド値を設定できるよ
うになり、詳細な色識別を行うことが可能となる。
なモノカラー原稿をフルカラーコピーした場合、ランニ
ングコストがかかってしまい、このようなモード設定を
マニュアルでいちいちモード指定するのは不便である。
そこで、図11(a)に示すように画素色判定回路46
1で画素色を判定すると共に、ブロック色判定回路46
2でブロック色を判定した後、カラーブロックヒストグ
ラム作成回路463において、図11(b)に示すよう
に、Y,M,C,B,G,R,Kのように各色別のヒス
トグラムを作成する。そして最大頻度のカラーブロック
数、図ではMと2番目の頻度のカラーブロック数、図で
はKとの差を取り、その差が所定値より大きければ最大
頻度のカラーブロック色によるモノカラーコピーモード
とすれば自動的にモード設定することができる。従っ
て、カラーブロックヒストグラム作成回路463の出力
結果からコピーモード選択回路464でモード指定を行
うようにする。
ョールド値と比較して4色モードか、あるいは1色(K
単色)モードかを選択する場合には、特に原稿の面積が
小さい場合には判定エラーを生ずる可能性がある。そこ
で、ブロック単位での判定結果を「0」、「1」でな
く、「0」、「1」、「2」…というように多値化し、
彩度が高いものについては重み付けをすることにより原
稿の色部分の面積が狭くても重み付けによりカウント値
が増大するので、スレッショールド値をそれほど小さく
しなくても、充分検出可能になる。
構成を示し、まずa* −b* 面で、図12(b)に示す
ように彩度c*を算出回路472で求めると共に、平均
値算出回路473でc* の平均値を求め、一方L* の平
均値を算出回路471で求め、これらの値からブロック
色判定処理回路474でブロック色判定をすると共に、
ブロック色判定処理で有彩色ブロックを、例えば1,
2,3のようにランク付けし、有彩色ブロック3に対し
ては重み付け回路475で3倍、有彩色ブロック2に対
しては2倍、有彩色ブロック1に対しては1倍というよ
うな重み付けを行って有彩色ブロックカウント回路47
6でカウントする。このカウント結果により原稿色識別
回路477で識別することにより色面積が狭いような場
合でもスレッショールド値をそれほど小さくせず、その
ため誤判定の生ずる可能性を小さくし、検出精度をあげ
ることができる。
R,G,Bの2次色でも4色モードと判定してしまうの
はコスト生産性の上で問題であるので、原稿色判別結果
を4色モードか、モノカラーかではなく、4色、3色、
2色、1色の形で求めるようにすることが望ましい。そ
のために、スキャン時の読取データからカラーと判定し
た部分の色検出出力の値およびバランスを見て、1色モ
ード、2色モード、あるいは3色モードでよいか否かを
判定するようにすれば、ビジネス文書等ではカラーが1
次色あるいは2次色である場合が多いので有用である。
たのでは小さなロゴ等が色と判定されないケースが起こ
る。例えば、図13(a)に示すように色ずれによるカ
ラーブロックの場合も、図13(b)に示すような小さ
いカラー部分もカラーと判定されずに同一判定結果とな
る可能性がある。そこで、図13(c)(d)に示すよ
うに、16×16ブロック程度を1つのブロックとした
中ブロック単位で判定し、原稿画面上1つでも中ブロッ
ク単位で判定結果が色と出た場合には色であると判定
し、さらに中ブロック単位での判定結果が全て白黒と出
た場合であっても、前述したような4×8画素程度のブ
ロックカウント法による結果が色であれば色モードと
し、いずれでもない場合にのみ1色モードと判定するこ
とにより、例えば、図13(c)のような色ずれの場合
は白黒と判定され、図13(d)に示すような小さなカ
ラー部分はカラーと判定されて、識別面積が小さいこと
による検出精度の低下を防止して検出精度を上げること
ができる。
ブロック色判定処理回路482で判定した処理結果によ
りカラーブロックカウンタ483でカラーブロックをカ
ウントすると共に、ブラックブロックカウンタ484で
ブラックブロックをカウントし、減算器485により両
者の差をとり、コンパレータ486でカラーブロック数
が所定値より大きくかつカラーブロック数と黒ブロック
数との差が所定値以上の時のみ原稿色判定回路488で
カラーと判定する。このような処理により、例えば白黒
原稿をセンサの色ずれによってカラーと検出しても、カ
ラーブロック数と黒ブロック数の差をとることによりこ
れらのカラーはキャンセルされるので、色ずれがある場
合等にも正確な判定を行うことができる。
ー原稿判定のスレッショールド値を変更するようにした
もので、カウンタ484の出力値でレジスタ489の設
定値を変え、例えば黒ブロック数が大きい程スレッショ
ールド値を大きくする。
ンエリア全面に対して実施すると、例えばトリミングが
指定されてい場合等に、そのトリミング領域内は白黒原
稿で、それ以外にカラーイメージがあったとすると判定
結果はカラーとなるが、トリミング領域外は色編集は不
要であるので不都合を生ずることになる。そこで、原稿
色判定の実施、未実施を領域指定し、前述のようなトリ
ミング指定がある場合には、それ以外の領域については
判定を行わないようにすることにより、前述の不都合を
解消することができる。
路490に対してラインシンクと同時にACS(原稿色
判定)制御信号を入力し、原稿色判定の領域指定をする
ことにより取り込む画像信号を制限するようにし、その
限られたデータでACS回路491で原稿色判定を行う
ようにする。また、カラーブロックをカウントしてカラ
ー判定うする場合に、原稿全面について判定せずにある
一定数以上カラーブロックが存在すればカラー原稿と判
断しても差支えない。すなわち、スキャンサイズ全てを
カウントできるようにするが必要なく、カラー原稿と判
断できるスレッショールド値までのカウントができれば
良いことになる。このようにすれば最小限のビット数の
カウンタで原稿色判定のカラーブロックカウンタを構成
し、カウンタがフルカウントになった場合はカウンタを
ディスエイブルにしてカウントを中止すれば良い。ま
た、カウンタがオーバーフローした場合は最大カウント
値にカウンタ値をホールドするようにしておけば良い。
ードウェア構成で色画素、黒画素の判定を行うことがで
き、処理時間を短縮することができると共に、色検出精
度を向上させ、また濃度に応じて無彩色か、有彩色かの
判定基準を変えられるので、より正確な判定を行うこと
が可能となる。
す図である。
す図である。
る。
する図である。
る。
方法を説明する図である。
明する図である。
明する図である。
ク数を用いる原稿色判定法を説明する図である。
定のスレッショールド値う変更する原稿色判定方法を説
明する図である。
する図である。
素色判定手段、4…ブロック色判定手段、5…原稿色判
定手段。
Claims (14)
- 【請求項1】 カラー画像を読み取り、読み取ったカラ
ー画像データより原稿色を判別するカラー画像認識装置
において、画像読取手段と、読み取ったカラー画像デー
タを輝度および色差で色を表示する座標系のデータに変
換する色表示座標系変換手段と、輝度データおよび色差
データより各画素毎に画素色を判定する画素色判定手段
と、複数画素からなるブロック毎に色画素と黒画素の数
を比較し、ブロック色を判定するブロック色判定手段
と、原稿面全体にわたりカラーブロック数をカウント
し、カラーブロック数がスレッショールド値を超えたと
き原稿色はカラーであると判定する原稿色判定手段とを
備えたことを特徴とするカラー画像認識装置。 - 【請求項2】 前記画素色判定手段は、色差平面上で四
角形または多角形の領域を設定し、読み取った画像デー
タの色差が該領域内にあるか否かにより画素色を判定す
ることを特徴とする請求項1記載のカラー画像認識装
置。 - 【請求項3】 前記画素色判定手段は、検出した色差平
面上に領域を設定し、読み取った画像データの色差が該
領域内にあるか否かにより画素色を判定すると共に、該
領域の大きさを輝度Lに応じて変えるようにしたことを
特徴とする請求項1記載のカラー画像認識装置。 - 【請求項4】 前記ブロック色判定手段は、色画素数と
黒画素数との差が所定値以上のブロックについては多数
決により、色画素数と黒画素数の差が所定値に満たない
ブロックは、複数の近傍ブロックの色画素数と黒画素数
とでブロック内の色画素数と黒画素数に重み付けして比
較し、比較結果によりブロック色判定を行うことを特徴
とする請求項1記載のカラー画像認識装置。 - 【請求項5】 前記原稿色判定手段は、画像読み取りの
プリスキャン開始から所定ライン以降に読み取ったカラ
ーブロック数により原稿色を判定することを特徴とする
請求項1記載のカラー画像認識装置。 - 【請求項6】 前記原稿色判定手段は、カラーブロック
カウンタのカウント値を読み取り用のレジスタに格納す
ることを特徴とする請求項1記載のカラー画像認識装
置。 - 【請求項7】 前記原稿色判定手段は、ブロック色判定
結果よりカラーブロックヒストグラムを作成するヒスト
グラム作成回路を有し、さらに該作成回路で作成された
ヒストグラムの最大頻度のカラーブロック数と2番目の
頻度のカラーブロック数との差が所定値より大きいか否
かにより画像処理モードを選択する選択回路とを備えた
ことを特徴とする請求項1記載のカラー画像認識装置。 - 【請求項8】 前記原稿色判定手段は、カラーブロック
に彩度に応じた重み付けを行って有彩色ブロックをカウ
ントする有彩色ブロックカウント回路を備えたことを特
徴とする請求項1記載のカラー画像認識装置。 - 【請求項9】 前記原稿色判定手段は、モノカラー、2
色、3色または4色の形でカラー画像を認識することを
特徴とする請求項1記載のカラー画像認識装置。 - 【請求項10】 前記原稿色判定手段は、複数ブロック
からなる中ブロック単位で原稿色を判定し、少なくとも
1つの中ブロック単位でカラーと認識することを条件に
カラー画像と判定することを特徴とする請求項1記載の
カラー画像認識装置。 - 【請求項11】 前記原稿色判定手段は、カラーブロッ
クと黒ブロックの差、およびカラーブロック数により原
稿色を判定することを特徴とする請求項1記載のカラー
画像認識装置。 - 【請求項12】 前記原稿色判定手段は、カラーブロッ
ク数が所定値以上か否か判定するためのスレッショール
ド値を黒ブロック数に応じて変えるようにしたことを特
徴とする請求項1記載のカラー画像認識装置。 - 【請求項13】 前記原稿色判定手段は、原稿色を判定
する領域信号で規定される領域内のブロック色をカウン
トすることにより原稿色を判定することを特徴とする請
求項1記載のカラー画像認識装置。 - 【請求項14】 前記原稿色判定手段は、カラーブロッ
ク数が所定値に達するまで原稿面についてのカラーブロ
ックを計数し、所定値に達した時カウントを停止するこ
とを特徴とする請求項1記載のカラー画像認識装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3109184A JP3003261B2 (ja) | 1991-05-14 | 1991-05-14 | カラー画像認識装置 |
| US07/882,128 US5287204A (en) | 1991-05-14 | 1992-05-13 | Image recognition apparatus for judging between monochromic and color originals |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3109184A JP3003261B2 (ja) | 1991-05-14 | 1991-05-14 | カラー画像認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04336876A JPH04336876A (ja) | 1992-11-25 |
| JP3003261B2 true JP3003261B2 (ja) | 2000-01-24 |
Family
ID=14503778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3109184A Expired - Lifetime JP3003261B2 (ja) | 1991-05-14 | 1991-05-14 | カラー画像認識装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5287204A (ja) |
| JP (1) | JP3003261B2 (ja) |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5239383A (en) * | 1989-05-10 | 1993-08-24 | Canon Kabushiki Kaisha | Image processing apparatus capable of image editing |
| JPH07101917B2 (ja) * | 1991-05-14 | 1995-11-01 | 富士ゼロックス株式会社 | 領域制御装置 |
| JPH07322080A (ja) * | 1994-05-26 | 1995-12-08 | Fuji Xerox Co Ltd | カラー画像読取装置 |
| JP3364813B2 (ja) * | 1994-07-19 | 2003-01-08 | 三菱電機株式会社 | 色逆変換処理装置及び映像信号処理装置 |
| US6118895A (en) * | 1995-03-07 | 2000-09-12 | Minolta Co., Ltd. | Image forming apparatus for distinguishing between types of color and monochromatic documents |
| JP3533016B2 (ja) * | 1995-05-30 | 2004-05-31 | 株式会社リコー | 電子写真装置 |
| JP3471135B2 (ja) * | 1995-08-02 | 2003-11-25 | 株式会社リコー | 電子写真装置 |
| JPH0980858A (ja) * | 1995-09-07 | 1997-03-28 | Ricoh Co Ltd | 画像形成装置 |
| US6108098A (en) * | 1995-12-28 | 2000-08-22 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| JP3380831B2 (ja) * | 1996-03-08 | 2003-02-24 | シャープ株式会社 | 画像形成装置 |
| JPH09270928A (ja) * | 1996-04-02 | 1997-10-14 | Canon Inc | 画像処理装置及び方法 |
| KR100209412B1 (ko) * | 1996-05-10 | 1999-07-15 | 전주범 | 비디오 신호의 유호 색차 성분 부호화 방법 |
| US5778160A (en) * | 1996-09-24 | 1998-07-07 | Xerox Corporation | Liquid ink printing system having region-dependent image processing |
| US6038340A (en) * | 1996-11-08 | 2000-03-14 | Seiko Epson Corporation | System and method for detecting the black and white points of a color image |
| JPH10336466A (ja) * | 1997-05-29 | 1998-12-18 | Toshiba Corp | 画像形成装置および画像処理装置 |
| JP3304858B2 (ja) * | 1997-11-28 | 2002-07-22 | 富士ゼロックス株式会社 | 画像送信装置および画像送信方法 |
| JPH11331626A (ja) * | 1998-03-09 | 1999-11-30 | Minolta Co Ltd | 画像処理装置 |
| US6249592B1 (en) | 1998-05-22 | 2001-06-19 | Xerox Corporation | Multi-resolution neutral color detection |
| US6377703B1 (en) | 1998-11-10 | 2002-04-23 | Seiko Epson Corporation | Apparatus and method for determining an area encompassing an image for scanning the image |
| JP3711770B2 (ja) * | 1998-11-27 | 2005-11-02 | コニカミノルタホールディングス株式会社 | 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体 |
| JP2000270257A (ja) * | 1999-01-12 | 2000-09-29 | Sony Corp | 情報処理装置および方法、並びに提供媒体 |
| US6868183B1 (en) * | 1999-04-01 | 2005-03-15 | Kabushiki Kaisha Toshiba | Image processing apparatus, image forming apparatus, and image processing method depending on the type of original image |
| JP4101983B2 (ja) * | 1999-08-19 | 2008-06-18 | 東芝テック株式会社 | 画像処理装置 |
| JP3440897B2 (ja) | 1999-09-17 | 2003-08-25 | ミノルタ株式会社 | 画像判定装置および画像形成装置 |
| US6718878B2 (en) * | 1999-09-29 | 2004-04-13 | Xerox Corporation | Automatic detection of black and white pages in a color document stream |
| FR2802376B1 (fr) * | 1999-12-10 | 2004-03-05 | Sagem | Procede de commande d'un scanner noir-blanc et couleur et scanner pour la mise en oeuvre du procede |
| US6771386B1 (en) | 2000-09-14 | 2004-08-03 | Kabushiki Kaisha Toshiba | Image forming system |
| US6980327B2 (en) * | 2001-05-21 | 2005-12-27 | Kabushiki Kaisha Toshiba | Image processing apparatus |
| US7116443B2 (en) * | 2002-05-02 | 2006-10-03 | Xerox Corporation | Neutral pixel detection using color space feature vectors wherein one color space coordinate represents lightness |
| US20040234134A1 (en) * | 2003-05-19 | 2004-11-25 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
| US7307759B2 (en) * | 2003-05-29 | 2007-12-11 | Kabushiki Kaisha Toshiba | Method and equipment for automatically performing color/monochrome judging of an original |
| US7400748B2 (en) * | 2003-12-16 | 2008-07-15 | Xerox Corporation | Method for assisting visually impaired users of a scanning device |
| US7936919B2 (en) * | 2005-01-18 | 2011-05-03 | Fujifilm Corporation | Correction of color balance of face images depending upon whether image is color or monochrome |
| US7529007B2 (en) * | 2005-06-10 | 2009-05-05 | Lexmark International, Inc. | Methods of identifying the type of a document to be scanned |
| KR100914515B1 (ko) * | 2006-06-23 | 2009-09-02 | 주식회사 칼라짚미디어 | 색상 기반 이미지 코드의 색상 판별 방법 |
| JP4329797B2 (ja) * | 2006-09-06 | 2009-09-09 | 村田機械株式会社 | 画像色判定装置、画像色判定方法及びプログラム |
| US7898705B2 (en) * | 2006-09-29 | 2011-03-01 | Xerox Corporation | Color status detection in color binary domain |
| US7925083B2 (en) * | 2007-07-09 | 2011-04-12 | Eastman Kodak Company | Method for digital image class detection |
| US8339662B2 (en) * | 2007-09-27 | 2012-12-25 | Xerox Corporation | HLC images from a color scanning system |
| KR101296681B1 (ko) * | 2008-09-24 | 2013-08-16 | 삼성전자주식회사 | 영상 처리 방법 및 이를 이용한 화상형성장치 |
| US8751411B2 (en) * | 2008-10-07 | 2014-06-10 | Xerox Corporation | System and method for determining a billing structure for documents based on color estimations in an image path |
| JP5077413B2 (ja) * | 2010-09-30 | 2012-11-21 | ブラザー工業株式会社 | 画像処理装置、画像処理方法、画像読取装置及び画像処理プログラム |
| JP5522024B2 (ja) | 2010-12-27 | 2014-06-18 | ブラザー工業株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP5333873B2 (ja) | 2011-08-31 | 2013-11-06 | ブラザー工業株式会社 | 画像処理装置、及び、画像処理プログラム |
| US8937749B2 (en) | 2012-03-09 | 2015-01-20 | Xerox Corporation | Integrated color detection and color pixel counting for billing |
| TWI501754B (zh) * | 2012-10-19 | 2015-10-01 | Univ Nat Taiwan Science Tech | 影像辨識方法及影像辨識系統 |
| JP6112880B2 (ja) * | 2013-01-28 | 2017-04-12 | キヤノン株式会社 | カラー量を判定する画像処理装置、画像処理方法及びプログラム。 |
| JP2014099742A (ja) * | 2012-11-14 | 2014-05-29 | Canon Inc | カラーモノクロ判定 |
| KR102076085B1 (ko) * | 2012-11-20 | 2020-02-11 | 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. | 인쇄 제어 단말장치, 화상형성장치 및 이를 이용한 인쇄 제어 방법 |
| KR101835508B1 (ko) * | 2013-08-05 | 2018-03-08 | 에스프린팅솔루션 주식회사 | 화상독취장치, 칼라 판별 방법 및 컴퓨터 판독가능 기록매체 |
| JP6410482B2 (ja) * | 2014-06-11 | 2018-10-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP6503755B2 (ja) * | 2015-01-21 | 2019-04-24 | 株式会社リコー | 画像処理装置、画像形成装置および画像処理方法 |
| JP2021157322A (ja) * | 2020-03-25 | 2021-10-07 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置および誤り検出方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5130935A (en) * | 1986-03-31 | 1992-07-14 | Canon Kabushiki Kaisha | Color image processing apparatus for extracting image data having predetermined color information from among inputted image data and for correcting inputted image data in response to the extracted image data |
| JP3048158B2 (ja) * | 1988-10-04 | 2000-06-05 | キヤノン株式会社 | カラー画像処理装置 |
| JPH02144566A (ja) * | 1988-11-26 | 1990-06-04 | Konica Corp | カラー画像処理装置 |
| JPH0344272A (ja) * | 1989-07-12 | 1991-02-26 | Konica Corp | カラー画像処理装置 |
| US5189523A (en) * | 1989-11-27 | 1993-02-23 | Canon Kabushiki Kaisha | Image processing apparatus |
| US5177603A (en) * | 1990-04-27 | 1993-01-05 | Matsushita Electric Industrial Co., Ltd. | Image copying apparatus having means for deleting color portions of an original image |
-
1991
- 1991-05-14 JP JP3109184A patent/JP3003261B2/ja not_active Expired - Lifetime
-
1992
- 1992-05-13 US US07/882,128 patent/US5287204A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04336876A (ja) | 1992-11-25 |
| US5287204A (en) | 1994-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3003261B2 (ja) | カラー画像認識装置 | |
| US5434683A (en) | Color image editing apparatus | |
| JP3256982B2 (ja) | 画像処理装置 | |
| US5768403A (en) | Image-area identifying system for a color image processing apparatus | |
| JP4158332B2 (ja) | カラー画像処理装置 | |
| JP3082289B2 (ja) | 画像処理装置 | |
| JP2600515B2 (ja) | 画像処理方法 | |
| JPH07170420A (ja) | カラー画像処理装置 | |
| JPH05145735A (ja) | はめ込み合成機能を備えた画像処理装置 | |
| US5260804A (en) | Image processing apparatus having frame erasure capability | |
| JP2998278B2 (ja) | カラー画像記録装置におけるモノカラー編集方法及び装置 | |
| US5481372A (en) | Area control system for image processing apparatus | |
| JP3067304B2 (ja) | カラー画像処理装置のパターン発生方式 | |
| JP3302041B2 (ja) | 画像処理装置 | |
| JPH04336868A (ja) | 画像処理装置 | |
| JP2002223369A (ja) | 画像処理方法および画像処理装置ならびに画像形成装置 | |
| JP3226224B2 (ja) | 画像処理装置 | |
| JP3079630B2 (ja) | 画像処理装置 | |
| JP3316077B2 (ja) | 地肌濃度レベル検出装置 | |
| JP3077241B2 (ja) | 画像処理装置 | |
| JP3441001B2 (ja) | 画像処理装置 | |
| JPH1042151A (ja) | 画像処理装置及び方法 | |
| JP2862280B2 (ja) | 画像処理装置及び方法 | |
| JPH07123251A (ja) | 画像処理装置 | |
| JPH07123278B2 (ja) | 文字合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 12 |