JP3809404B2 - 画像処理方法、装置およびシステム - Google Patents
画像処理方法、装置およびシステム Download PDFInfo
- Publication number
- JP3809404B2 JP3809404B2 JP2002218739A JP2002218739A JP3809404B2 JP 3809404 B2 JP3809404 B2 JP 3809404B2 JP 2002218739 A JP2002218739 A JP 2002218739A JP 2002218739 A JP2002218739 A JP 2002218739A JP 3809404 B2 JP3809404 B2 JP 3809404B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- edge
- gray level
- segmentation threshold
- processing means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4092—Edge or detail enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10008—Still image; Photographic image from scanner, fax or copier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30176—Document
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法および装置ならびに画像処理システムに関し、より詳細には、画像内のエッジを検出するための方法、装置およびシステム、および記憶媒体に関する。
【０００２】
【従来の技術】
スキャナまたはデジタル・カメラなど、入力デバイスからの入力画像を高品質で再生できることがしばしば望まれている。高品質のデジタル品質を作り出すため、適切な画像処理を入力画像上で実行する必要がある。現在のデジタル画像処理技術によれば、高品質の画像を生成することができる。
【０００３】
しかし、従来技術の画像処理技術には課題がある。一般に、入力画像は、文字部分、写真部分およびドット部分に分割することができる。ドット画像を、フィルタリング法を使用して処理すると、サンプリングレートおよびピクセルの影響により、入力画像がしばしばぼやける。他方、ドット画像、文字画像および写真画像を含むファイルを処理する場合、生成された画像にはしばしば望ましくないドットがその文字部分に含まれ、文字のエッジが不明瞭となる。
【０００４】
エッジ検出はデジタル画像処理において大変重要である。一般に、画像内のエッジは、画像内の物体の形状を示すことができ、これは物体の表示および画像の解析のために重要である。したがって、エッジ検出は、デジタル画像処理の分野における多数の複雑な課題を解決するためのキーとなっている。
【０００５】
たとえば、特開平６−１５００５９号公報は、画像分離方法および分離装置を開示しており、ここでは画像エリアの分離精度が、画像における格子および線の集中部分を文字部分として決定することによって向上される。この公報によれば、画像が、それぞれ複数のピクセルを含むブロックに分割され、画像のタイプがパターン・マッチングによって認識され、複数の参照画像パターンが事前設定され、入力画像のタイプが、画像を参照パターンと比較することによって決定される。
【０００６】
加えて、特開平８−１４９２９７号公報は、観察されるピクセルがドット画像部分に含まれているかどうかを決定するための方法を開示しており、ここではドット画像における線の画像データの周期性が、ドット画像の画像データの周期性を使用して検出される。
【０００７】
さらに、特開昭６１−１９４９６８号公報は、ドット画像エリアを認識するための方法を開示しており、ここでは観察されるピクセルがドット画像エリアの一部にあるか否かが、メイン走査方向およびサブ走査方向において異なる信号レベルを有するブロック内におけるピクセルを測定することによって決定される。
【０００８】
グレーレベル画像では、エッジが、グレーレベルが大幅に変化する位置に現れるピクセルからなる。このようなグレーレベルの変化は、導関数の方法を使用して検出することができる。Zhang,Yujin著の「Image Segmentation」（Scientific Book Series in Images and Graphics、Science Press、2000年、ISBN 7-03-007241-3）では、１次導関数を使用して画像内のエッジを検出するためのもっとも頻繁に使用される方法のいくつかを論じている。これらにおいては、Roberts演算子、Sobel演算子、Prewitt演算子などが用いられる。ピクセルでの画像のグレーレベルの計算された導関数が、予め設定されたしきい値（画像エッジ検出しきい値）より大きかった場合、ピクセルは画像のエッジ・ピクセルとして決定される。
【０００９】
米国特許第６，１９２，１５３Ｂ１号は、画像処理方法および装置を開示している。これはピクセル毎の処理を、検出される画像の各画像エリアのタイプを正確に識別することによって実行する。米国特許第６，１９２，１５３Ｂ１号の画像処理装置は、画像内のエッジにあるピクセルを、エリアにおける各画像信号とフィルタ係数の積を計算することによって検出するための画像エッジ検出手段を含み、このエリアはターゲット・ピクセル、およびターゲット・ピクセルを取り囲む複数のピクセルを含み、この装置はさらに、ターゲット・ピクセルを含む画像エリアを、エッジ検出の結果に従ってラベル付けするためのラベリング手段を含む。また、米国特許第６，１９２，１５３Ｂ１号の画像処理方法は以下のステップを含む。すなわち、デジタル画像信号を入力するステップ、デジタル画像を反転させるステップ、画像内のエッジを検出するステップ、各ピクセルの特性に従って、各ピクセルを写真ピクセルおよび非写真ピクセルに分類するステップ、非写真ピクセルを分類するステップ、および写真ピクセルを、得られた画像信号を出力するように平滑化するステップを含む。
【００１０】
米国特許第５，５８３，６５９号は、ローカル画像特性を使用して画像をしきい値処理するためのマルチウィンドウ技術を開示し、これは、ローカル画像の輝度変化、および画像ピクセルの勾配の変化などの特徴を使用し、画像のノイズを削減し、画像内のエッジでのブラー（ぼやけ）を、マルチウィンドウ技術を使用して低減する。米国特許第５，５８３，６５９号の方法では、画像内のエッジが、Sobel演算子および所定の固定エッジ基準しきい値を使用して検出される。
【００１１】
【発明が解決しようとする課題】
実際には、エッジ基準しきい値を、処理される画像の間の差異に基づいて調節して、できる限り完全にエッジを抽出し、かつ抽出された画像における大量のノイズ生成を回避した良好なエッジ検出結果を得るようにする必要がある。従来技術では、上述の２件の米国特許のように、固定しきい値がエッジ基準について使用されるので、満足のいく結果を得ることができない。
【００１２】
したがって、本発明の目的は、特定の画像に適した画像エッジ基準しきい値を、画像の特徴に基づいた自己適応的な形で高速かつ効果的に計算し、それにより、その基準を使用して画像における画像エッジを検出するための画像処理方法、画像処理装置および画像処理システムを提供することである。
【００１３】
さらに、本発明の目的は、新しい画像処理方法、新しい画像処理装置および新しい画像処理システムを提供することである。
【００１４】
【課題を解決するための手段】
上記の目的を達成するための本発明の画像処理方法は、
記憶手段に記憶された画像を読み出し、当該画像内のエッジを検出するように画像処理装置が有する処理手段を制御する画像処理方法であって、
前記処理手段が、前記記憶手段に記憶された画像のグレーレベルの頻度を計算するグレーレベル統計ステップと、
前記処理手段が、前記画像を、前記計算された頻度に基づいて分類する画像分類ステップと、
前記処理手段が、前記画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記画像分類ステップの結果に基づいて決定するセグメント化しきい値決定ステップと、
前記処理手段が、前記画像の前記フォアグラウンドおよび前記バックグラウンドにおけるピクセルの前記グレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算ステップと、
前記処理手段が、前記画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出ステップとを備える。
【００１５】
さらに、上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
元の画像内のエッジを検出するための画像形成装置であって、
前記元の画像のグレーレベルの頻度を計算するグレーレベル統計手段と、
前記元の画像を前記計算された頻度に基づいて分類する画像分類手段と、
前記元の画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記画像分類手段による前記分類の結果に基づいて決定するセグメント化しきい値決定手段と、
前記元の画像の前記フォアグラウンドおよび前記バックグラウンドにおけるピクセルの前記グレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算手段と、
前記元の画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出手段とを備える。
【００１７】
さらに、本発明によれば、記憶手段に記憶された画像を読み出して当該画像内のエッジを検出する検出処理をコンピュータに実行させるプログラム・コードを格納したコンピュータ読取可能な記憶媒体が提供される。ここで、前記検出処理は、
コンピュータの処理手段が、前記画像のグレーレベルの頻度を計算するグレーレベル統計ステップと、
前記処理手段が、前記画像を、前記計算された頻度に基づいて分類する画像分類ステップと、
前記処理手段が、前記画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記画像分類の結果に基づいて決定するセグメント化しきい値決定ステップと、
前記処理手段が、前記画像の前記フォアグラウンドおよび前記バックグラウンドにおけるピクセルの前記グレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算ステップと、
前記処理手段が、前記画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出ステップとを含む。
【００１８】
さらに、本発明の他の態様による画像処理方法は、
記憶手段に記憶された画像を読み出し、当該画像におけるエッジを検出するように画像処理装置が有する処理手段を制御する画像処理方法であって、
前記処理手段が、前記記憶手段に記憶された画像のグレーレベルの頻度を計算するグレーレベル統計ステップと、
前記処理手段が、前記画像から、黒ブロックに対応する画像エリアを検出する黒ブロック検出ステップと、
前記処理手段が、前記検出された黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度を、前記グレーレベル統計ステップにおいて計算された前記グレーレベルの頻度から除去する黒ブロック・ピクセル除去ステップと、
前記処理手段が、前記黒ブロック・ピクセル除去ステップで除去された後の頻度に基づいて、前記画像を分類する画像分類ステップと、
前記処理手段が、前記画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記画像分類ステップの結果に基づいて決定するセグメント化しきい値決定ステップと、
前記処理手段が、前記黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度が除去された、前記画像のフォアグラウンドおよびバックグラウンドにおけるピクセルのグレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算ステップと、
前記処理手段が、前記画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出ステップとを備える。
【００１９】
さらに、本発明の他の態様による画像処理装置は以下の構成を備える。即ち、
元の画像における画像エッジを検出するための画像処理装置であって、
前記元の画像のグレーレベルの頻度を計算するグレーレベル統計手段と、
前記元の画像から、黒ブロックに対応する画像エリアを検出する黒ブロック検出手段と、
前記検出された黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度を、前記グレーレベル統計手段によって計算された前記グレーレベルの頻度から除去する黒ブロック・ピクセル除去手段と、
前記黒ブロック・ピクセル除去手段で除去された後の頻度に基づいて、前記元の画像を分類する画像分類手段と、
前記元の画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記分類の結果に基づいて決定するセグメント化しきい値決定手段と、
前記黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度が除去された、前記画像のフォアグラウンドおよびバックグラウンドにおけるピクセルのグレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算手段と、
前記画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出手段とを備える。
【００２０】
さらに、本発明によれば、記憶手段に記憶された画像を読み出して当該画像内のエッジを検出する検出処理をコンピュータに実行させるプログラム・コードを格納したコンピュータ読取可能な記憶媒体が提供される。ここで、前記検出処理は、
コンピュータの処理手段が、前記画像のグレーレベルの頻度を計算するグレーレベル統計ステップと、
前記処理手段が、前記画像から、黒ブロックに対応する画像エリアを検出する黒ブロック検出ステップと、
前記処理手段が、前記検出された黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度を、前記グレーレベル統計ステップで計算された前記グレーレベルの頻度から除去する黒ブロック・ピクセル除去ステップと、
前記処理手段が、前記黒ブロック・ピクセル除去ステップで除去された後の頻度に基づいて、前記画像を分類する画像分類ステップと、
前記処理手段が、前記画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記画像分類ステップの結果に基づいて決定するセグメント化しきい値決定ステップと、
前記処理手段が、前記黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度が除去された、前記画像のフォアグラウンドおよびバックグラウンドにおけるピクセルのグレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算ステップと、
前記処理手段が、前記画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出ステップとを含む。
【００２１】
本発明の画像エッジを抽出するための方法は、元の画像の画像タイプの変化に従ってエッジ基準を動的に決定することができ、これは、元の画像のフォアグラウンドおよびバックグラウンドを分割するためのセグメント化しきい値を、元の画像のグレーレベル頻度分布に基づいて変更して、正確なエッジ抽出を実行することによって行う。
【００２２】
本発明の他の目的および利点は、以下の本発明の好ましい実施形態の説明から、添付の図面を参照して明らかになり、図面では同じ参照番号が同じあるいは類似の部分について使用され、図面は本発明の原理を説明するための本願の明細書の一部を形成する。
【００２３】
【発明の実施の形態】
本発明の好ましい実施形態を、以下に添付の図面を参照して記載する。
【００２４】
＜第１の実施形態＞
システム構成
図１は、本発明の第１の実施形態による画像エッジ検出システムの構造ブロック図を示す。
【００２５】
インク・ジェット・プリンタなどのプリンタ１０５、およびモニタ１０６は、ホスト・コンピュータ１００に接続される。
【００２６】
ホスト・コンピュータ１００は、文書処理プログラム、スケーリング・プログラム、インターネット・ブラウザなどのアプリケーション・プログラム１０１、ＯＳ（オペレーティング・システム）１０２、プリンタ・ドライバ・プログラム１０３、モニタ・ドライバ１０４を有する。プリンタ・ドライバ・プログラム１０３は、アプリケーション・プログラム１０１によってＯＳ１０２に発行された様々な描画コマンド（画像描画コマンド、レター描画コマンド、グラフィックス描画コマンド）を処理し、印刷データを生成する。また、モニタ・ドライバ１０４は、アプリケーション・プログラム１０１によって発行された様々な描画コマンドを処理し、データをモニタ１０６に表示する。
【００２７】
参照番号１１２は命令入力デバイスを示し、１１３はそのデバイス・ドライバを示す。たとえば、マウスが接続され、これはモニタ１０６に表示された様々な情報をポイントして、様々な命令をＯＳ１０２に発行する。なお、トラッキング・ボール、ペン、タッチ・パネルなどの他のポインティング・デバイスをマウスの代わりに使用することができる。
【００２８】
ホスト・コンピュータ１００は、これらのプログラムを実行することができる様々なハードウェアとして、ＣＰＵ（中央処理装置）１０８、ハード・ディスク（ＨＤ）１０７、ランダム・アクセス・メモリ（ＲＡＭ）１０９、読み取り専用メモリ（ＲＯＭ）１１０などを含む。
【００２９】
図１に示す画像エッジ検出システムの一実施例としては、ＭｉｃｒｏｓｏｆｔＣｏｒｐ．から入手可能なＷｉｎｄｏｗｓ ９８（登録商標）が、ＩＢＭ Ｃｏｒｐ．から入手可能なＰＣ−ＡＴ互換パーソナル・コンピュータにＯＳとしてインストールされ、更に印刷を実施するために必要なアプリケーション・プログラムがインストールされ、モニタおよびプリンタがパーソナル・コンピュータに接続されたものが挙げられる。
【００３０】
ホスト・コンピュータ１００において、各アプリケーション１０１が出力画像のデータを、テキストに分類される文字などのテキスト・データ、グラフィック・データに分類される図などのグラフィック・データ、および自然画像などに分類される画像データなどを使用して生成する。プリンタが画像データを印刷するとき、アプリケーション１０１が印刷要求をＯＳ１０２に発行する。このとき、アプリケーション１０１が描画コマンドのグループをＯＳ１０２に送信する。この描画コマンドのグループはグラフィック・データに対応するグラフィック描画コマンドおよび画像データに対応する画像描画コマンドを含む。
【００３１】
ＯＳ１０２が、アプリケーション１０１からの印刷要求を受信した後、描画コマンド・グループを、プリンタに対応するプリンタ・ドライバ１０３に発行する。プリンタ・ドライバ１０３は、ＯＳ１０２からの印刷要求および描画コマンド・グループを処理し、プリンタ１０５が印刷することができる印刷データを生成し、印刷データをプリンタ１０５に転送する。プリンタ１０５がラスタライズ方式プリンタであった場合、プリンタ・ドライバ１０３はＯＳ１０２からの描画コマンドについてのイメージコレクション処理を実行し、次いでコマンドを順次ＲＧＢ２４ビット・ページ・メモリ上でラスタライズする。すべての描画コマンドのラスタライズが完了すると、プリンタ・ドライバ１０３はＲＧＢ２４ビット・ページ・メモリのコンテンツを、プリンタ１０５が印刷することができるデータ・フォーマット、たとえばＣＭＹＫデータに変換し、変換されたデータをプリンタ１０５に転送する。
【００３２】
ホスト・コンピュータ１００をイメージスキャナ１１１に接続することができる。なお、イメージスキャナ１１１は対象の画像を検知してＲＧＢ画像データを生成し、検知された画像データをＨＤ１０７にロードかつ格納することができる。また、イメージスキャナ１１１によって検知された画像データがＢＭＰによって符号化されることにも留意されたい。検知された画像データを、プリンタ・ドライバ１０３によって復号した後、画像データとしてプリンタ１０５に転送することができる。
【００３３】
ホスト・コンピュータ１００はさらに、画像内のエッジを検出するための画像エッジ検出装置１１４を含む。ＨＤ１０７に格納された画像データが画像エッジ検出装置１１４によって読み出され、処理される。最初に、確定された画像エッジが検出される。次いで、ＯＳ１０２の制御により、画像内において検出されたエッジがプリンタ１０５またはモニタ１０６によって出力される。
【００３４】
画像エッジ検出装置
図２Ａは、本発明の第１の実施形態による画像エッジ検出装置の構成を示すブロック図である。
【００３５】
本実施形態の画像エッジ検出装置は、画像読み取り手段２０１、画像グレーレベル統計手段２０２、画像分類手段２０３、セグメント化しきい値決定手段２０４、画像エッジ基準決定手段２０５および画像エッジ抽出手段２０６を含む。
【００３６】
スキャナなど、画像入力デバイスは、入力側の元の画像を元の原稿から光電的に読み取る。元の画像を示すアナログ信号はデジタル画像信号に変換される。このデジタル画像信号はＨＤ１０７またはＲＡＭ１０９などの記憶装置に格納される。
【００３７】
画像エッジ検出装置１１４では、読み取り手段２０１が最初に、ＲＡＭ１０９などの記憶装置に格納されたデジタル画像信号を読み取り、読み取られた画像信号を画像グレーレベル統計手段２０２に供給する。
【００３８】
画像グレーレベル統計手段２０２は、カラーの画像、Ｔｉｆｆ画像など、読み取り手段２０１によって読み取られる様々な画像をグレーレベル画像に変換し、異なるグレーレベルを有するピクセルの出現頻度を示すグレーレベル・ヒストグラムを計算する。
【００３９】
画像グレーレベル統計手段２０２によって計算されたグレーレベル・ヒストグラムに従って、画像分類手段２０３は、グレーレベル・ヒストグラムにおいてフォアグラウンドおよびバックグラウンドをセグメント化するための初期セグメント化しきい値を計算する。
【００４０】
本実施形態では、グレーレベル・ヒストグラムの特徴に従って、処理される画像がタイプ０、タイプＩおよびタイプＩＩの３つのカテゴリのうち１つに分類される。
【００４１】
タイプ０の画像は標準の画像であり、初期セグメント化しきい値を使用して、画像をフォアグラウンドおよびバックグラウンドへ適切にセグメント化することができる。このとき、画像のフォアグラウンドは、文字、図表、線など、画像と共に示される様々な情報を含み、画像のバックグラウンドは、画像の基調色など、画像のフォアグラウンドを修飾あるいは引き立てるための情報を含む。図８Ａに示す画像８００Ａは、タイプ０の画像の一実施例である。
【００４２】
タイプＩの画像は、初期セグメント化しきい値を使用してフォアグラウンドおよびバックグラウンドにセグメント化されるときに不正確なフォアグラウンドを有することになる画像である。すなわち、初期セグメント化しきい値を使用してセグメント化を実行すると、そのフォアグラウンドの一部がそのバックグラウンドにセグメント化される可能性が高い。
【００４３】
タイプＩＩの画像は、初期セグメント化しきい値を使用してフォアグラウンドおよびバックグラウンドにセグメント化されるときに不正確なバックグラウンドを有することになる画像である。すなわち、初期セグメント化しきい値を使用してセグメント化を実行すると、そのバックグラウンドの一部がそのフォアグラウンドにセグメント化される可能性が高い。
【００４４】
図９Ａおよび図１０Ａは、それぞれタイプＩの画像９００ＡおよびタイプＩＩの画像１０００Ａを示す。
【００４５】
図２Ａに戻ると、画像分類手段２０３が、読み取られた元の画像を３つの画像タイプ０、ＩおよびＩＩのうち１つに分類する。
【００４６】
その後、タイプ０の画像として決定された画像について、画像分類手段２０３が、画像のグレーレベル・ヒストグラムをフォアグラウンドおよびバックグラウンドに分割するための初期セグメント化しきい値をエッジ基準決定手段２０５に供給し、エッジ基準決定手段２０５が画像のフォアグラウンドおよびバックグラウンドのグレーレベル統計平均値を決定する。この処理の詳細については以下で記載する。
【００４７】
一方、タイプＩまたはタイプＩＩの画像として分類される画像については、画像のグレーレベル・ヒストグラムのバックグラウンドおよびフォアグラウンドを分割するための初期セグメント化しきい値が、セグメント化しきい値決定手段２０４によって調節されて、画像のフォアグラウンドおよびバックグラウンドを分割するための適切なセグメント化しきい値が決定される。この処理についての詳細は以下で記載する。次いで、エッジ基準決定手段２０５が、画像のバックグラウンドおよびフォアグラウンドのグレーレベル統計平均値を、決定された画像のフォアグラウンドおよびバックグラウンドのセグメント化しきい値に基づいて計算する。計算されたフォアグラウンドおよびバックグラウンドのグレーレベル統計平均値に基づいて、エッジ基準決定手段２０５が画像エッジ基準を決定する。この処理についても、詳細は以下で説明する。
【００４８】
最後に、画像エッジ抽出手段２０６が、エッジ基準決定手段２０５によって計算された画像エッジ基準に基づいて、画像における各ピクセルがエッジ・ピクセルであるかどうかを決定し、決定されたエッジ・ピクセルに基づいてエッジ画像を得て、得られたエッジ画像をモニタ１０５またはプリンタ１０４などの出力デバイスへ供給する。この処理についても詳細は以下で説明する。
【００４９】
画像エッジ検出処理
図３Ａは、本発明の第１の実施形態による、画像エッジ検出の処理を示すフローチャートである。画像内のエッジを検出するための処理を以下で詳細に、図３Ａおよび図８Ａを参照して記載する。図８Ａは元の画像の一実施例であり、これは新聞の画像であり、この画像についてエッジ検出が行われる。この画像は、画像スキャナ、デジタル・カメラなどの画像入力デバイスによって読み取られた多値画像であり、ＲＯＭ１１０、ＨＤ１０７またはＲＡＭ１０９などの記憶装置の所定の位置に格納される。一般に、読み取られた画像を、３２ビット・フル・カラー画像など、種々の方法を使用して格納することができる。加えて、画像をＢＭＰ、ＪＰＥＧまたはＴＩＦＦなど、種々のフォーマットで格納することができる。入力された元の画像を処理する前に、元の画像が、たとえば、０から２５５までのグレーレベルを有するグレーレベル画像に変換される。
【００５０】
図３Ａにおいて、最初にステップＳ３１で、読み取り手段２０１が、エッジが抽出される元の画像８００Ａにおける各ピクセルのグレーレベルを読み出す。元の画像８００Ａが、ＪＰＥＧなどを使用して符号化されたものである場合は、読み取り手段２０１が画像データを読み取る前に復号する。もちろん、元の画像の各列におけるピクセルのグレーレベルを同時あるいは順次に読み取ることができる。
【００５１】
ステップＳ３１の後、フローはステップＳ３２に進み、画像グレーレベル統計手段２０２が、画像読み取り手段２０１によって読み取られた元の画像８００Ａの各ピクセルのグレーレベルについて統計処理を実行し、元の画像８００Ａの各グレーレベル値におけるピクセルの数を計算する。各グレーレベル値で計算されたピクセルの数に基づいて、元の画像８００Ａの画像ピクセル・グレーレベル・ヒストグラム８００Ｂが生成される。これを図８Ｂに示す。図８Ｂでは、Ｘ座標がピクセルのグレーレベルを示し、Ｙ座標がピクセルの数を示す。
【００５２】
ステップＳ３２の後、フローはステップＳ３３に進む。ステップＳ３３において、画像分類手段２０３は、ステップＳ３２において決定された元の画像８００Ａの画像ピクセル・グレーレベル・ヒストグラムに基づいて、グレーレベル・ヒストグラム８００Ｂの幅、画像のフォアグラウンドおよびバックグラウンドを分割するための初期セグメント化しきい値、およびグレーレベル統計平均値などの画像の特徴を決定する。そして、これらの特徴に基づいて、画像分類手段２０３が元の画像を上述のタイプ０の画像、タイプＩの画像またはタイプＩＩの画像のうちの１つに分類する。画像を分類するための処理を以下でより詳細に、図４を参照して記載する。
【００５３】
図４は、画像を分類する処理を示すフローチャートである。
【００５４】
図８Ａに示す元の画像８００Ａを分類するための処理を詳細に、図４を参照して記載する。
【００５５】
図４に示すように、ステップＳ４１で、元の画像８００Ａにおけるフォアグラウンドおよびバックグラウンドをセグメント化するための初期セグメント化しきい値Ｔｈｉが、ステップＳ３２で決定された元の画像８００Ａのグレーレベル・ヒストグラムに従って計算される。初期セグメント化しきい値Ｔｈｉは、Otsu法、NiBlack法、最小誤差法または最大エントロピー法などの、いかなる既知の方法を使用して計算してもよい。この実施形態ではOtsu法を使用する。Otsu法については、「A Threshold Selection Method from Gray-level Histograms」、IEEE Trans.On System、Man,and Cybernetics、Vol.SMC-9、No.1、pp.62〜66、1979年1月を参照されたい。
【００５６】
この実施形態では、図８Ｂに示すヒストグラムより、初期セグメント化しきい値Ｔｈｉ＝１１４が算出されたものとする。
【００５７】
ステップＳ４１の後、フローはステップＳ４２に進み、元の画像８００Ａのヒストグラムにおける各ピクセルのグレーレベルの統計平均値Ａｖが計算される。この実施形態では、図８に示す元の画像８００Ａの統計平均グレーレベルＡｖ＝１３８が算出されたものとする。
【００５８】
次いで、フローはステップＳ４３に進み、グレーレベル・ヒストグラム８００Ｂにおける開始点のグレーレベルＳＴおよび終了点のグレーレベルＥＮＤが決定される。これら開始点及び終了点により、グレーレベル・ヒストグラム８００Ｂの前部および後部におけるグレーレベルが除去される。これらのグレーレベルは全体のパラメータの計算に渡って有意な影響を与えないが、エッジ基準の計算には望ましくない影響を与えるものである。
【００５９】
図８Ｂに示すように、開始点ＳＴおよび終了点ＥＮＤを以下のように決定することができる。
Ｋ＝Ｔ1/2／ａ （１）
【００６０】
ただし、Ｋは、ヒストグラムの開始点のグレーレベルＳＴまたは終了点のグレーレベルＥＮＤに対応するピクセル数であり、Ｔは元の画像のピクセルの総数であり、ａは５０など、所定の値である。ａの値は、２０〜１５０の範囲で選択することができる。
【００６１】
この実施形態では、元の画像８００Ａにおけるピクセルの総数が１５０８６１２であり、ａの値として５０が選択されている。したがって、ヒストグラム８００Ｂにおける開始点のグレーレベルＳＴおよび終了点のグレーレベルＥＮＤに対応するピクセル数Ｋは２４に決定される。
【００６２】
図８Ｂを参照すると、各グレーレベル値に対応するピクセルの数を、グレーレベル値の上昇する方向において、式（１）を使用して決定されたパラメータＫと比較することによって、Ｋ以上のピクセル数を有する第１のグレーレベル値を決定することができる。この実施例では、開始点のグレーレベルＳＴが１３に決定されたものとする。
【００６３】
また、グレーレベルの下降する方向に関しても類似の方法が適用され、終了点が決定される。本例では、ヒストグラム８００Ｂの終了点のグレーレベルが２１９に決定されたものとする。
【００６４】
ステップＳ４３の後、フローはステップＳ４４に進み、第１の決定率Ｒ０、第２の決定率Ｒ１および第３の決定率Ｒ２が、元の画像８００Ａおよびその対応するグレーレベル・ヒストグラムのピクセル数に基づいて計算される。
【００６５】
第１の決定率Ｒ０は以下の式（２）によって与えられる。
Ｒ０＝Ｔ１／Ｔ０ （２）
【００６６】
ただし、Ｔ０は元の画像のピクセルの総数、すなわち、０から２５５までのグレーレベルの範囲内のピクセルの総数を示し、Ｔ１は、０からグレーレベル統計平均値Ａｖまでの範囲に含まれたピクセルの数を示す。
【００６７】
加えて、第２の決定率Ｒ１は以下の式（３）によって与えられる。
Ｒ１＝Ｔ３／Ｔ２ （３）
【００６８】
ただし、Ｔ２は、０からヒストグラムの初期セグメント化しきい値Ｔｈｉまでのグレーレベルの範囲に含まれたピクセルの数を示し、Ｔ３は、初期セグメント化しきい値Ｔｈｉからヒストグラムのグレーレベル統計平均値Ａｖまでの範囲に含まれたピクセルの数を示す。
【００６９】
さらに、第３の決定率Ｒ２は以下の式（４）によって与えられる。
Ｒ２＝Ｔ２／Ｔ０ （４）
【００７０】
ただし、Ｔ２は、０からヒストグラムの初期セグメント化しきい値Ｔｈｉまでのグレーレベルの範囲に含まれたピクセルの数を示し、Ｔ０は、元の画像のピクセルの総数、すなわち、０から２５５までのグレーレベルの範囲内のピクセルの総数を示す。
【００７１】
上記から、第１、第２および第３の決定率Ｒ０、Ｒ１およびＲ２の計算において、ピクセルの数のカウントがすべて０のグレーレベルから開始することがわかる。同様に、一実施形態では、ピクセルの数のカウントが開始点のグレーレベルＳＴから開始する可能性もある。同様に、２５５で終了するすべてのピクセル・カウントを、終了点のグレーレベルＥＮＤで終了するカウントで置き換えることができる。
【００７２】
この例示的画像では、Ｔ０＝１５０８６１２、Ｔ１＝５３４２９９、Ｔ２＝４６６４２３、Ｔ３＝７０３８４であり、したがって第１の決定率Ｒ０＝０．３５４、第２の決定率Ｒ１＝０．１５１、かつ第３の決定率Ｒ２＝０．３０９となる。
【００７３】
ステップＳ４４の後、フローはステップＳ４５へ進み、以下の比較式（５）が満たされるかどうかが判定される。
Ｒ１＞Ｌ０
Ａｖ＞Ｔｈｉ
Ｒ０＜Ｌ１ または Ｒ０＞Ｌ２ （５）
【００７４】
ただし、Ｒ０は第１の決定率であり、Ｒ１は第２の決定率であり、Ａｖはすべてのピクセルのグレーレベル統計平均値を示し、Ｔｈｉは初期セグメント化しきい値であり、Ｌ０は第１の事前設定値であり、Ｌ１は第２の事前設定値であり、Ｌ２は第３の事前設定値である。
【００７５】
ステップＳ４５で、上の比較式（５）が満たされた場合、画像がタイプＩの画像であると決定される（ステップＳ４７）。一方、比較式（５）が満たされないと判定された場合は、フローはステップＳ４６に進む。
【００７６】
なお、この実施形態において、第１の事前設定値Ｌ０の好ましい範囲は２〜５であり、Ｌ０の特に好ましい値は３．５である。また、Ｌ１の好ましい範囲は０．３５〜０．５であり、Ｌ１の特に好ましい値は０．４５である。また、Ｌ２の好ましい範囲は０．５〜０．６５であり、Ｌ２の特に好ましい値は０．５５である。例示した画像８００Ａでは、第２の決定率Ｒ１が第１の事前設定値Ｌ０よりも小さいので、元の画像８００ＡはタイプＩの画像ではないと決定される。
【００７７】
図４のステップＳ４５において元の画像がタイプＩの画像でないと決定されるので、フローはステップＳ４６へ進み、以下の比較式が満たされるかどうかが判断される。
Ｒ１＜Ｌ３
Ｒ２＞Ｌ４
Ｌｓ／２５６＜Ｌ５ （６）
【００７８】
ただし、Ｒ１は第２の決定率であり、Ｒ２は第３の決定率であり、Ｌｓは、ヒストグラムにおける終了点のグレーレベルＥＮＤと開始点のグレーレベルＳＴの間の差である。Ｌ３、Ｌ４およびＬ５はそれぞれ第４、第５および第６の定義された値である。
【００７９】
ステップＳ４６で、上の比較式（６）が満たされると判断された場合、エッジが抽出される画像はタイプＩＩの画像であると決定される（ステップＳ４８）。ステップＳ４６で上の比較式（６）が満たされないと決定された場合、フローはステップＳ４９に進む。
【００８０】
この実施形態では、第４の事前設定値Ｌ３の好ましい範囲は０．２〜１であり、Ｌ３の特に好ましい値は０．７である。また、第５の事前設定値Ｌ４の好ましい範囲は０．２〜０．５であり、Ｌ４の特に好ましい値は０．３５である。また、第６の事前設定値Ｌ５の好ましい範囲は０．５〜０．８５であり、Ｌ５の特に好ましい値は０．８である。例示的な元の画像８００Ａでは、Ｒ２がＬ４より小さく、そのため上の比較式（６）は満たされない。したがって、元の画像８００ＡはタイプＩＩの画像ではないとして決定される。そのため、フローはステップＳ４９へ進む。
【００８１】
ステップＳ４９で、エッジが抽出される元の画像８００Ａがタイプ０の画像であることが決定される。すなわち、画像を明確にフォアグラウンド部およびバックグラウンド部に、初期セグメント化しきい値を使用して分割することができる。
【００８２】
図３ＡのステップＳ３３に戻り、エッジが抽出される元の画像８００Ａのタイプを決定した後、フローはステップＳ３４に進む。ステップＳ３４では、元の画像をフォアグラウンドおよびバックグラウンドに分割するためのセグメント化しきい値が計算される。タイプＩの画像またはタイプＩＩの画像については、初期セグメント化しきい値を用いたのではフォアグラウンドおよびバックグランドに適切に分割されないので、初期セグメント化しきい値を調節する必要がある。
【００８３】
本例の元の画像８００Ａはタイプ０の画像であるので、その初期セグメント化しきい値Ｔｈｉを使用してこれをフォアグラウンドおよびバックグランドに適切に分割することができる。従って、元の画像８００Ａに関して初期セグメント化しきい値を調節する必要はない。
【００８４】
図５は、元の画像をフォアグラウンドおよびバックグラウンドに分割するためのセグメント化しきい値を決定するための処理を示すフローチャートである。図５を参照すると、元の画像８００Ａはタイプ０の画像であるので、そのためステップＳ４１で計算された初期セグメント化しきい値Ｔｈｉが、この画像をフォアグラウンドおよびバックグラウンドに分割するためのセグメント化しきい値Ｔｈｆとして使用される。すなわち、元の画像８００Ａの適切なセグメント化しきい値は１１４である。
【００８５】
図３ＡのステップＳ３４に戻ると、ステップＳ３４の後、フローはステップＳ３５に進み、元の画像８００Ａにおけるエッジが、ステップＳ３４で計算されたセグメント化しきい値Ｔｈｆを使用して抽出される。図８Ｂを参照すると、グレーレベル・ヒストグラム８００Ｂにおいて、そのセグメント化しきい値Ｔｈｆ＝Ｔｈｉに従って、元の画像８００Ａにおいてそれぞれがセグメント化しきい値Ｔｈｆ（この実施例では１１４に等しい）より小さいグレーレベルを有するすべてのピクセルのグレーレベル統計平均値Ａｖ１を計算することができる。類似の方法で、元の画像８００Ａにおいてそれぞれがセグメント化しきい値（この実施例では１１４に等しい）より大きいグレーレベルを有するすべてのピクセルのグレーレベル統計平均値Ａｖ２を計算することができる。この実施例では、Ａｖ２＝１７７かつＡｖ１＝５０である。
【００８６】
次いで、画像のエッジ基準が決定される。元の画像のエッジ基準は、画像をフォアグラウンドおよびバックグランドに分割するためのセグメント化しきい値の両側におけるピクセルのグレーレベル統計平均値の差（Ａｖ２−Ａｖ１）として取ることができる。この元の画像８００Ａの実施例では、エッジ基準は（Ａｖ２−Ａｖ１）＝１２７である。
【００８７】
ステップＳ３５に戻ると、ステップＳ３５の後、フローはステップＳ３６に進み、元の画像８００Ａにおける各ピクセルがエッジ・ピクセルであるかどうかが、上記の如く得られた画像のエッジ基準に従って決定される。Sobel演算子、Prewitt演算子、Roberts Cross演算子などの演算子を、画像内のエッジ・ピクセルの決定において使用することができる。この実施形態ではSobel法を、画像内のエッジ・ピクセルの決定において使用する。
【００８８】
図１１は、３ｘ３ Sobel勾配演算子のテンプレートを示す図である。
【００８９】
画像において、エッジは、グレーレベル関数またはその導関数が急に変化するところに存在し、したがってグレーレベル・エッジを、１次または２次導関数を使用して検出することができる。式（７）は、画像内のエッジを、図１１に示すような３ｘ３ Sobel勾配演算子テンプレートに基づいた１次導関数を使用して、すなわちSobel演算子を使用して検出するための方法を提供する。
【００９０】
ただし、f(x,y)は、画像のグレーレベル関数であり、g(x,y)は、画像の(x,y)でのグレーレベルの勾配の最大値であり、gx(x,y)およびgy(x,y)は、それぞれｘおよびｙ方向のグレーレベルの勾配の成分である。
【００９１】
式（７）を使用して、元の画像８００Ａにおける各ピクセルでのグレーレベルの勾配の最大値が決定され、この最大値が、ステップＳ３５で決定された画像エッジ基準と比較される。画像エッジ基準より大きいグレーレベル勾配の最大値を有するピクセルが、エッジ・ピクセルとして決定される。たとえば、図８Ａでは、ピクセルＡがグレーレベル勾配＝１４６を有し、これは画像エッジ基準＝１２７より大きく、そのためピクセルＡは画像のエッジ・ピクセルとして決定される。他方では、ピクセルＢはグレーレベル勾配＝７５を有し、これは画像エッジ基準＝１２７より小さく、そのためピクセルＢはエッジ・ピクセルとして決定されない。
【００９２】
元の画像８００Ａにおけるすべてのエッジ・ピクセルを決定した後、そのエッジ画像を抽出することができ、それにより図８Ｃに示すようなエッジ画像８００Ｃが得られる。エッジ画像８００Ｃは、ＲＡＭ１０９など、記憶装置において対応する位置に格納され、これがモニタまたはプリンタなどの出力デバイスに出力できるようになる。
【００９３】
この実施形態によれば、セグメント化しきい値の両側のグレーレベル統計平均値の差（Ａｖ１−Ａｖ２）が直接画像エッジ基準として用いられたが、本発明はこれに限定されないことに留意されたい。本発明の精神および範囲から逸脱することなく、画像エッジ基準を増減することができる。たとえば、画像エッジ基準を、係数が乗算された（Ａｖ１−Ａｖ２）より取得することができる。
【００９４】
図８Ｃは、本発明の第１の実施形態による、図８Ａに示す元の画像８００Ａにおいて画像エッジ抽出が実行された結果を示す。図８Ｃからわかるように、エッジ基準として、元の画像をフォアグラウンドおよびバックグラウンドに分割するためのセグメント化しきい値の２つの両側におけるグレーレベル統計平均値の間の差を取ることによって、写真および文字画像を含む元の画像８００Ａにおけるエッジが正確に抽出され、これによりエッジ画像８００Ｃが得られる。図８Ａの画像が、スキャナを使用して通常の新聞を走査することによって得られたものであることに留意されたい。
【００９５】
タイプＩの画像の画像エッジ抽出
次に、本実施形態による、タイプＩの画像として決定された元の画像についての画像エッジ抽出処理について記載する。すなわち、第１の実施形態の図５のステップＳ５０３の処理を詳細に記載する。
【００９６】
図９Ａは、エッジが検出される元の画像のもう１つの実施例を示す図である。図９Ａにおいて、元の画像９００Ａは、スキャナなどの画像入力装置を使用して走査することによって得られた財務表の用紙の画像である。もちろんこれを、デジタル・カメラなど、他のデジタル・デバイスを使用して画像エッジ検出システムに入力することもでき、これがＨＤ１０７またはＲＡＭ１０９など、記憶装置の位置に格納される。
【００９７】
図９Ａに示す元の画像９００Ａについてのエッジ抽出は、図３Ａに示すフローチャートの処理を使用して実行される。
【００９８】
図３Ａを参照すると、元の画像９００Ａについて、ステップＳ３１で、元の画像９００Ａの各ピクセルのグレーレベルが読み取られる。次いで、処理はステップＳ３２に進み、元の画像９００Ａにおける各グレーレベルでのピクセルの数がカウントされ、ヒストグラム９００Ｂが生成される。このヒストグラムを図９Ｂに示す。図９Ｂで、Ｘ座標がピクセルのグレーレベルを示し、Ｙ座標がピクセルの数を示す。
【００９９】
次いで、フローはステップＳ３３に進み、元の画像９００Ａが、グレーレベル・ヒストグラム９００Ｂの幅、画像におけるフォアグラウンドおよびバックグラウンドを分割するための初期セグメント化しきい値などに基づいて分類される。分類処理の詳細を図４に示す。
【０１００】
図４を参照すると、ステップＳ４１で、Otsu法を使用することにより、図９Ｂに示すヒストグラムの初期セグメント化しきい値Ｔｈｉとして、１５１が算出される。
【０１０１】
次いで、ステップＳ４２で、元の画像９００Ａのヒストグラムにおけるピクセルのグレーレベル統計平均値Ａｖが計算され、Ａｖ＝１８０が得られる。
【０１０２】
次に、ステップＳ４３で、グレーレベルの開始点ＳＴおよびグレーレベルの終了点ＥＮＤがそれぞれ３０および２５５と決定される。
【０１０３】
ステップＳ４３の後、流れがステップＳ４４に進行し、第１の決定率Ｒ０、第２の決定率Ｒ１および第３の決定率Ｒ２および他のパラメータが、元の画像９００Ａのピクセル数およびその対応するグレーレベル・ヒストグラム９００Ｂに基づいて計算される。計算されたデータを表１に示す。
【表１】
【０１０４】
ステップＳ４４の後、フローはステップＳ４５に進み、図９Ｂに示すヒストグラム９００Ｂが比較式（５）を満たすかどうかが決定される。表１からわかるように、Ｒ１＞Ｌ０、Ａｖ＞ＴｈｉかつＲ０＜Ｌ１なので、比較式（５）が満たされる。したがって、元の画像９００ＡがタイプＩの画像として決定される。
【０１０５】
タイプＩの画像については、初期セグメント化しきい値Ｔｈｉを使用して決定されるフォアグラウンドが少ないので、図５のステップＳ５０３に示すように、その初期セグメント化しきい値を調節することが必要である。調節処理の詳細について図６を参照して説明する。
【０１０６】
図６は、タイプＩの元画像をフォアグラウンドおよびバックグラウンドに分割するための、初期セグメント化しきい値を調節するための処理を示すフローチャートである。
【０１０７】
図６を参照すると、処理の開始の後、ステップＳ６０１で、セグメント化しきい値の新しい範囲が定義される。この新たに定義された範囲は、ステップＳ４１で得られた初期セグメント化しきい値Ｔｈｉを開始点グレーレベルに有する。なお終了点グレーレベルは不変である。この実施例では、新しい開始点グレーレベルが１５１であり、終了点グレーレベルがそのまま２５５となる。
【０１０８】
次いで、流れがステップＳ６０２に進行し、新しいセグメント化しきい値が決定される。新しい開始点グレーレベルから終了点グレーレベルまでの範囲において、NiBlack法を使用して、新しいセグメント化しきい値Ｔｈｍ＝１７５が得られる。なお、NiBlack法についての詳細は、「Goal-direction Evaluation of Binarization Methods」、IEEE Transactions on Pattern Analysis and Machine Intelligence、Vol.17、No.12、1995年12月、1191〜1201ページで見ることができる。もちろん、平均値法、最小誤差法および最大エントロピー法など、他の方法を使用することもできる。
【０１０９】
ステップＳ６０２の後、フローはステップＳ６０３に進み、パラメータＴ２、Ｔ３、Ｒ１およびＲ２が再決定される。これらパラメータを表２に示す。
【表２】
【０１１０】
次いで、フローはステップＳ６０４に進み、以下の比較式が満たされるかどうかが決定される。
Ｒ１＞Ｌ０ または
Ｒ１＜Ｌ３ （８）
【０１１１】
ただし、Ｒ１は第２の決定率であり、Ｌ０は第１の事前設定値を示し、Ｌ３は第４の事前設定値を示す。
【０１１２】
比較式（８）が満たされると判定された場合、これは新しいセグメント化しきい値が適切であることを意味し、フローはステップＳ６０８に進む。ステップＳ６０８では、新しいセグメント化しきい値Ｔｈｍが、元の画像をフォアグラウンドおよびバックグラウンドに分割するためのセグメント化しきい値Ｔｈｆとして用いられる。一方、比較式（８）が満たされなかった場合は、フローはステップＳ６０５に進む。
【０１１３】
ステップＳ６０５で、セグメント化しきい値の範囲が再決定される。すなわち、図６のステップＳ６０５で、開始点グレーレベルＳＴは不変のまま保たれ、終了点のグレーレベルＥＮＤは新しいセグメント化しきい値Ｔｈｍで置き換えられる。
【０１１４】
次いで、フローはステップＳ６０６に進み、新しいセグメント化しきい値Ｔｈｍを決定するためのサイクルの数が、４などの所定の数を超えるかどうかが決定される。
【０１１５】
サイクルの数が所定の数を超えなかった場合、サイクルの数が１だけ増分され、流れがステップＳ６０２に戻る。
【０１１６】
この実施例では、上記表２に示したように、第１の決定率Ｒ１が比較式（８）を満たさないので、新たに得られたセグメント化しきい値Ｔｈｍ（＝１７５）を再調節する必要があり、そのためフローがステップＳ６０５に進行する。
【０１１７】
新しいサイクルのパラメータの変化を表３に示す。
【表３】
【０１１８】
表３から、新しいパラメータＲ１が比較式（８）を満たすことがわかるので、フローはステップＳ６０８に進む。ステップＳ６０８では、このように計算されたしきい値Ｔｈｍ＝１６６がセグメント化しきい値Ｔｈｆとして取られ、Ｔｈｆ＝１６６となる。
【０１１９】
次いで、図３Ａに戻り、ステップＳ３４の後、フローはステップＳ３５に進み、エッジ基準が、ステップＳ３４で得られたセグメント化しきい値Ｔｈｆに基づいて決定される。この処理の詳細は図８Ａの実施例により記載したものと同じであるので説明は省略する。画像９００Ａでは、Ａｖ１＝１８６、Ａｖ２＝１４１と計算され、したがって画像のエッジ基準は（Ａｖ２−Ａｖ１）＝４５に決定される。
【０１２０】
次いで、フローはステップＳ３６に進み、元の画像９００Ａにおけるピクセルがエッジ・ピクセルであるかどうかが決定される。この決定の詳細は、元の画像８００Ａについて上述したものと同様であるので、再度の説明は省略する。ステップＳ３６の処理により、元の画像のエッジ画像９００Ｃが抽出される。
【０１２１】
図９Ｃは、本発明の第１の実施形態による、図９Ａに示す元の画像９００Ａの画像エッジ抽出の結果を示す。図９Ｃからわかるように、適切なエッジ・セグメント化しきい値が決定されるので、財務表を含む元の画像９００Ａのエッジ画像が正確に抽出され、そのため適切なエッジ画像９００Ｃが得られる。
【０１２２】
タイプＩＩの元の画像の画像エッジ抽出
次に、タイプＩＩの画像として決定された、元の画像内のエッジを抽出するための方法を以下に説明する。
【０１２３】
図１０Ａは、画像エッジが検出される元の画像のもう１つの実施例を示す。図１０Ａにおいて、元の画像１０００Ａもまた、スキャナなどの画像入力装置を使用して走査することによって得られた財務表を含む画像である。もちろんこれを、デジタル・カメラなど、他のデジタル・デバイスを使用して画像エッジ検出システムに入力することもできる。元の画像の画像データはＨＤ１０７またはＲＡＭ１０９など、記憶装置の位置に格納される。
【０１２４】
図１０Ａに示す元の画像１０００Ａについてのエッジ抽出も、図３Ａに示すフローチャートの処理を使用して実行される。
【０１２５】
図３Ａを参照すると、元の画像１０００Ａについて、ステップＳ３１で、元の画像１０００Ａの各ピクセルのグレーレベルが読み取られる。次いで、処理はステップＳ３２に進み、元の画像１０００Ａにおける各グレーレベルでのピクセルの数がカウントされ、ヒストグラム１０００Ｂが生成される。ヒストグラム１０００Ｂを図１０Ｂに示す。なお、図１０Ｂにおいて、Ｘ座標がピクセルのグレーレベルを示し、Ｙ座標がピクセルの数を示す。
【０１２６】
次いで、流れがステップＳ３３に進行し、元の画像１０００Ａが、グレーレベル・ヒストグラム１０００Ｂの幅、画像におけるフォアグラウンドおよびバックグラウンドを分割するための初期セグメント化しきい値などに基づいて分類される。分類処理の詳細を図４に示す。
【０１２７】
図４を参照すると、ステップＳ４１で、Otsu法を使用して、図１０Ｂに示すヒストグラムの初期セグメント化しきい値Ｔｈｉが計算される。本例では、Ｔｈｉ＝１５３が算出されたものとする。
【０１２８】
次いで、ステップＳ４２で、元の画像１０００Ａのヒストグラムにおけるピクセルのグレーレベル統計平均値Ａｖが計算される。本例ではＡｖ＝１５６が算出されたものとする。
【０１２９】
次に、ステップＳ４３で、ヒストグラム１０００Ｂにおけるグレーレベルの開始点ＳＴおよびグレーレベルの終了点ＥＮＤが、それぞれ５７および１９９と決定される。
【０１３０】
ステップＳ４３の後、フローはステップＳ４４に進み、第１の決定率Ｒ０、第２の決定率Ｒ１および第３の決定率Ｒ２および他のパラメータが、元の画像１０００Ａのピクセル数およびその対応するグレーレベル・ヒストグラム１０００Ｂに基づいて計算される。特定されたデータを表４に示す。
【表４】
【０１３１】
ステップＳ４４の後、フローはステップＳ４５に進行し、図１０Ｂに示すヒストグラム１０００Ｂが比較式（５）を満たすかどうかが決定される。表４からわかるように、Ｒ１＜Ｌ０なので、比較式（５）が満たされない。そのためフローはステップＳ４６に進み、ヒストグラム１０００Ｂが比較式（６）を満たすかどうかが決定される。表４から、Ｒ１＜Ｌ３、Ｒ２＞Ｌ４であり、Ｌｓ／２６５＝０．５７が第６の事前設定値より小さいことがわかる。すなわち比較式（６）は満たされる。したがって、元の画像１０００ＡがタイプＩＩの画像として決定される。
【０１３２】
タイプＩＩの画像では、初期セグメント化しきい値Ｔｈｉを使用してセグメント化すると、バックグラウンドが少なくなるので、図５のステップＳ５０３に示すように、その初期セグメント化しきい値Ｔｈｉを調節することが必要である。調節処理の詳細を、図７を参照して記載する。
【０１３３】
図７は、タイプＩＩの画像の画像セグメント化しきい値を調節するための処理を示すフローチャートである。
【０１３４】
図７に示す処理によって新しいセグメント化しきい値が決定される。本処理が開始されると、まずステップＳ７０１において、ステップＳ４１で得られた初期セグメント化しきい値Ｔｈｉを新しい終了点グレーレベルとし、開始点グレーレベルをそのまま不変に保つ。この実施例では、開始点グレーレベルが５６となり、新しい終了点グレーレベルが１５３となる。
【０１３５】
次いで、処理はステップＳ７０２に進み、新しいセグメント化しきい値Ｔｈｍが再決定される。開始点グレーレベルから新しい終了点グレーレベルまでの範囲について、NiBlack法を使用して、新しいセグメント化しきい値Ｔｈｍ＝１２１が得られる。
【０１３６】
ステップＳ７０２の後、処理はステップＳ７０３に進み、パラメータＴ２、Ｔ３、Ｒ１およびＲ２が再決定される。これらパラメータを表５に示す。
【表５】
【０１３７】
次いで、フローはステップＳ７０４に進み、以下の比較式（９）が満たされるかどうかが判定される。
Ｒ１＞Ｌ０ または Ｒ１＜Ｌ３
Ｒ２＜Ｌ４ （９）
【０１３８】
ただし、Ｒ０は第１の決定率であり、Ｒ１は第２の決定率であり、Ｒ２は第３の決定率であり、Ａｖはすべてのピクセルのグレーレベル統計平均値を示し、Ｔｈｉは初期セグメント化しきい値であり、Ｌ０は第１の事前設定値であり、Ｌ１は第２の事前設定値であり、Ｌ２は第３の事前設定値である。
【０１３９】
比較式（９）が満たされると判定された場合、これは新しいセグメント化しきい値が適切なしきい値であることを意味するので、処理はステップＳ７０８に進み、新しいセグメント化しきい値Ｔｈｍがセグメント化しきい値Ｔｈｆとして採用される。一方、比較式（９）が満たされないと判定された場合は、処理はステップＳ７０５に進む。
【０１４０】
ステップＳ７０５では、セグメント化しきい値を決定するための新しい範囲が決定される。図７に示されるように、ステップＳ７０５において、終了点グレーレベルＥＮＤは不変のまま保ち、セグメント化しきい値Ｔｈｍが新しい開始点のグレーレベルＳＴとして用いられる。
【０１４１】
次いで、フローはステップＳ７０６に進み、新しいセグメント化しきい値を決定する回数が事前設定数を超えるかどうかが判定される。本実施形態では、事前設定数として例えば４が設定される。
【０１４２】
回数が事前設定値を超えなかった場合、これが１だけ増分され、フローはステップＳ７０２に戻る。
【０１４３】
この実施例では、表５に示すように、表５におけるパラメータＲ１が比較式（９）を満たすので、新しいセグメント化しきい値Ｔｈｍ＝１２１が最初のループで決定され、これがセグメント化しきい値Ｔｈｆとして用いられる。
【０１４４】
次いで、ステップＳ３４の後、フローは図３ＡのステップＳ３５に進み、エッジ基準が、ステップＳ３４で得られたセグメント化しきい値Ｔｈｆに基づいて決定される。エッジ基準を得る詳細は元の画像８００Ａを参照して記載したものと類似しており、ここでは再度説明をしない。画像１０００Ａでは、Ａｖ１＝１５９、Ａｖ２＝９９と計算され、そのため画像のエッジ基準は｜Ａｖ２−Ａｖ１｜＝６０である。
【０１４５】
次いで、処理はステップＳ３６に進み、元の画像１０００Ａにおけるピクセルがエッジ・ピクセルであるかどうかが、エッジ基準に基づいて決定される。エッジ・ピクセルを決定するための処理の詳細は、元の画像８００Ａについて説明したものと同じであり、ここでは説明を繰り返さない。ステップＳ３６で、元の画像のエッジ画像１０００Ｃを抽出することができる。
【０１４６】
図１０Ｃは、本発明の第１の実施形態による、図１０Ａに示す元の画像１０００Ａにおいて実行された画像エッジ抽出の結果を示す。図１０Ｃからわかるように、適切なエッジ・セグメント化基準、財務表を含む元の画像１０００Ａにおけるエッジが正確に抽出され、適切なエッジ画像１０００Ｃが得られる。
【０１４７】
第２の実施形態
植字など、実際の応用例における必要性により、画像は時として、図１２Ａに示すような１つまたは複数の大きいタイル・ブロックを含む可能性があり、さらに、画像はいくつかの反転された文字（すなわち、黒いバックグラウンドにおける白い文字）を含む可能性がある。このようなブロックは、図１２Ｂに示すものなど、ヒストグラムにおいて無関係なピークとして表れ、したがってフォアグラウンドおよびバックグラウンドの分布が変化し、適切なエッジ基準の発見において望ましくない効果が生じる結果となる。
【０１４８】
このような問題を解決するため、第２の実施形態ではヒストグラムを修正するためのステップが、図３Ａに示した一実施形態の処理に追加される。これを図３Ｂのフローチャートに示す。
【０１４９】
第２の実施形態による画像エッジ検出システムが第１の実施形態によるシステム（すなわち、図１に示すシステム）と異なるのは、第１の実施形態による画像エッジ検出装置１１４が第２の実施形態による画像エッジ検出装置１１４’で置き換えられることのみである。システムの残りの部分は同じであり、その記載は省略する。
【０１５０】
図２Ｂは、第２の実施形態による画像エッジ検出装置１１４’の構造のブロック図を示し、これは画像読み取りユニット２０１、画像グレーレベル統計手段２０２、黒ブロック発見手段２１１、黒ブロック・ピクセル頻度除去手段２１２、画像分類手段２０３、セグメント化しきい値決定手段２０４、画像エッジ基準決定手段２０５および画像エッジ抽出手段２０６を含む。
【０１５１】
第２の実施形態について、図１２Ａに示す元の画像１２００Ａを参照して、以下に詳細に説明する。
【０１５２】
図３Ｂを参照すると、ステップＳ３１で、画像読み取り手段２０１が、エッジが抽出される元の画像１２００Ａの各ピクセルのグレーレベルを読み出す。
【０１５３】
次いで、ステップＳ３２で、画像グレーレベル統計手段２０２が、画像読み取り手段２０１によって読み取られた元の画像１２００Ａの各ピクセルのグレーレベルについて統計処理を実行し、元の画像１２００Ａにおける各グレーレベル値に対応するピクセルの数を決定する。各グレーレベルでのピクセルの数に従って、画像ピクセル・グレーレベル・ヒストグラム１２００Ｂが元の画像１２００Ａについて生成され、これを図１２Ｂに示す。図１２Ｂでは、Ｘ座標がピクセルのグレーレベルを表し、Ｙ座標がピクセルの数を表す。
【０１５４】
次いで、ステップＳ３Ａ１で、黒ブロック発見手段２１１は、画像１２００Ａにおける黒ブロックを発見する。具体的な方法として、画像が最初に、それぞれ２４×２４ピクセルからなるサブブロックなど、小さいサブブロックに分割され、次いで各サブブロックが、それが黒ブロックであるかどうか判定される。
【０１５５】
黒ブロックを決定するための具体的な方法として、まず、相対的に小さいしきい値を画像全体について選択する。このしきい値は、Otsu法など、いかなる周知の２値化法を使用して得ることもできる。そして、１つのサブブロックにおいてしきい値より小さいグレーレベルを有するピクセルの数が事前設定数を超えた場合、このサブブロックが黒ブロックとして決定される。
【０１５６】
次いで、エリア接続が、それぞれ黒ブロックとして決定されたサブブロックについて実行される。これは混合エリア拡大法など、いずれかの単純なエリア拡大法によって行われる（混合エリア拡大法の詳細は、Wang,Runsheng著の「Image Analysis」、ISBN:7-81024-3136のセクション3.6,2で見ることができるが、接続される基本単位としてのピクセルが、本実施形態では小さい黒ブロックで置き換えられる）。エリア接続については２つの主な基準がある。すなわち、第１の基準は、統合黒ブロックであるかどうかが決定される２つの部分の空間的な近さであり、第２の基準は、統合黒ブロックであるかどうかが決定される２つの部分の内部特徴（各部分における黒いピクセルの率など）が一貫性を有するかどうかである。最後に、画像におけるすべての黒ブロックの位置の連鎖表が得られる。
【０１５７】
ステップＳ３Ａ２で、黒ブロック・ピクセル頻度除去手段２１２は、画像１２００Ａの黒ブロックのカウントを、図１２Ｂのヒストグラム１２００Ｂから除去する。具体的な方法として、ステップＳ３Ａ２で得られた黒ブロックの位置の連鎖表におけるすべての黒ブロックの全体のヒストグラムが、この連鎖表に基づいて計算され、次いでこの計算された全体のヒストグラムが、ステップＳ３２で得られた画像全体についての画像グレーレベル・ヒストグラム１２００Ｂから差し引かれる。こうして、修正されたヒストグラム１２００Ｃが得られ、これを図１２Ｃに示す。図１２Ｃからわかるように、黒ブロックが除去されるので、図１２Ｂの左側のピークが下げられる。
【０１５８】
ステップＳ３３〜Ｓ３６は第１の実施形態のものと類似しており、そのためこれらを簡単に記載するが、これらのより特定の詳細は、上の第１の実施形態についての記載において与えられた対応する記載を参照することによって理解することができる。
【０１５９】
ステップＳ３３で、ステップＳ３Ａ２において得られた元の画像１２００Ａの画像ピクセル・グレーレベル・ヒストグラム１２００Ｃに従って、画像分類手段２０３が、グレーレベル・ヒストグラムの幅、画像のフォアグラウンドおよびバックグラウンドを分割するための初期セグメント化しきい値、およびグレーレベル統計平均値などを含む画像の特徴を決定し、黒ブロックが除去された元の画像を、これらの特徴に基づいて、上記のようなタイプ０の画像、タイプＩの画像またはタイプＩＩの画像のいずれかに分類する。画像分類の処理の詳細は、図４およびその関連する記載から理解することができよう。
【０１６０】
ステップＳ３４で、黒ブロックが除去された元の画像１２００Ａをフォアグラウンドおよびバックグラウンドに分割するためのセグメント化しきい値が決定される。ステップＳ３３で、黒ブロックが除去されている画像１２００Ａがタイプ０の画像ではないと決定された場合、セグメント化しきい値を調節する必要がある。これは初期セグメント化しきい値が画像を、タイプＩの画像またはタイプＩＩの画像について、フォアグラウンドおよびバックグランドに適切に分割することができないためである。
【０１６１】
ステップＳ３５で、元の画像１２００Ａにおけるエッジが、ステップＳ３４で得られたセグメント化しきい値Ｔｈｆに従って抽出される。図１２Ｃを参照すると、グレーレベル・ヒストグラム１２００Ｃにおいて、Ｔｈｆ＝Ｔｈｉに従って、それぞれがセグメント化しきい値Ｔｈｆより小さいグレーレベルを有するすべてのピクセルのグレーレベル統計平均値Ａｖ１が計算される。類似の方法で、それぞれがセグメント化しきい値Ｔｈｆより大きいグレーレベルを有するすべてのピクセルのグレーレベル統計平均値Ａｖ２が計算され、したがってエッジ基準（Ａｖ２−Ａｖ１）が得られる。
【０１６２】
ステップＳ３６で、上のように得られた画像エッジ基準に基づいて、画像１２００Ａにおけるピクセルがエッジ・ピクセルであるかどうかが決定される。画像エッジは、Sobel演算子、Prewitt演算子またはRoberts Cross演算子などを使用して決定することができる。この実施形態ではSobel法を、画像内のエッジの抽出において使用する。
【０１６３】
元の画像１２００Ａにおけるすべてのエッジ・ピクセルを決定すると、元の画像１２００Ａのエッジ画像を抽出することができ、それにより図１２Ｅに示すようなエッジ画像１２００Ｅが得られる。エッジ画像１２００ＥをＲＡＭ１０９などの記憶装置の位置に格納することができ、あるいはこれをディスプレイまたはプリンタなどの出力デバイスに出力することができる。
【０１６４】
この実施形態によれば、セグメント化しきい値の両側のグレーレベル統計平均値の差（Ａｖ１−Ａｖ２）が直接画像エッジ基準として取られるが、本発明はこれに限定されないことに留意されたい。本発明の精神および範囲から逸脱することなく、画像エッジ基準を増減することができる。たとえば、係数によって乗算された（Ａｖ１−Ａｖ２）を画像エッジ基準として用いることができる。
【０１６５】
図１２Ｄは、本発明の第１の（すなわち、図３Ａのフローチャートを使用する）実施形態による、図１２Ａに示す元の画像１２００Ａの画像エッジ抽出の結果を示す。図１２Ｅおよび図１２Ｄを比較することによって、黒ブロックが画像の分類前に除去されているので、セグメント化しきい値決定における黒ブロックの影響をなくすことができることがわかる。すなわち、図１２Ｅに示すように改善されたエッジ画像を得る画像のエッジ検出のために、得られたセグメント化しきい値をより適切にすることができることがわかる。図１２Ｅから明らかにわかるように、図１２Ｄにおいて失われている文字のエッジが正しく検出される。
【０１６６】
本発明を、複数のデバイス（たとえば、ホスト・コンピュータ、インターフェイス・デバイス、リーダ、プリンタ、スキャナなど）によって形成されたシステム、または単一の装置（たとえば、コピー機、ファクシミリ機など）を含む装置に適用できることに留意されたい。
【０１６７】
本発明の目的はまた、上の実施形態の機能を実施することができるソフトウェア・プログラムのプログラム・コードを記録した記憶媒体を供給すること、および、この記憶媒体に格納されたプログラム・コードを、システムまたは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）を使用して読み出し、実行することによって達成することもできる。このような場合、記憶媒体から読み出されたプログラム・コード自体が上の実施形態の機能を実施し、このプログラム・コードを格納した記憶媒体が本発明を構成する。
【０１６８】
プログラム・コードを供給するための記憶媒体としては、たとえば、フロッピー・ディスク、ハード・ディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性メモリ、ＲＯＭなどを使用することができる。
【０１６９】
上の実施形態の機能は、コンピュータによるプログラム・コードの実行によって実施することができるだけでなく、このプログラム・コードの指示に基づいて、コンピュータ上で稼動しているＯＳ（オペレーティング・システム）によって実際の処理動作の一部または全部を実行することによって実施することもできる。
【０１７０】
上記からわかるように、本発明の方法はエッジ検出のための効率的な手法を提供し、得られたしきい値を特定の条件に従って変更することができ、したがって本発明の方法を幅広い範囲の応用例に適用することができ、より幅広い適応可能性を有する。画像内のエッジは画像処理にとても重要であり、そのため正確にエッジを得るためのソリューションには、２値化、ＯＣＲ（光学文字認識）、エンジニアリングの画像の正確な位置付けなどにおいて幅広い応用例を有する。
【０１７１】
さらに、記憶媒体から読み出されたプログラム・コードが、コンピュータに挿入された機能拡張カード、またはコンピュータに接続された機能拡張ユニットにおいて提供されたメモリに書き込まれた後、機能拡張カードに含まれたＣＰＵなどが処理の一部または全部をプログラム・コードのコマンドに従って実行し、上の実施形態の機能を実現する状況も、本発明に含まれる。
【０１７２】
本発明が上の記憶媒体に適用される状況では、記憶媒体が、実施形態の記載において記載されたフローチャート（図３Ａ、図３Ｂおよび図４ないし図７）に対応するプログラム・コードを格納する。
【０１７３】
多数の明らかに幅広く異なる実施形態を、本発明の精神および範囲から逸脱することなく行うことができるので、本発明は特定の実施形態に限定されず、付属の特許請求の範囲によってのみ定義されることを理解されたい。
【図面の簡単な説明】
【図１】本発明の第１および第２の実施形態の画像エッジ検出システムのハードウェア構成を示すブロック図である。
【図２Ａ】本発明の第１の実施形態の画像エッジ検出装置の構成を示すブロック図である。
【図２Ｂ】本発明の第２の実施形態の画像エッジ検出装置の構成を示すブロック図である。
【図３Ａ】本発明の第１の実施形態による、画像エッジ検出処理を示すフローチャートである。
【図３Ｂ】本発明の第２の実施形態による処理を示すフローチャートであり、図３Ａのフローチャートの変更であり、黒ブロック検出ステップおよび黒ブロック除去ステップが追加されたフローチャートである。
【図４】画像を分類するための処理を示すフローチャートである。
【図５】元の画像をフォアグラウンドおよびバックグラウンドに分割するためのセグメント化しきい値を計算するための処理を示すフローチャートである。
【図６】タイプＩの画像についての画像セグメント化しきい値を調節するための処理を示すフローチャートである。
【図７】タイプＩＩの画像についての画像セグメント化しきい値を調節するための処理を示すフローチャートである。
【図８Ａ】画像エッジが検出される元の画像の一実施例を示す図である。
【図８Ｂ】エッジが検出される画像のヒストグラムを示す図である。
【図８Ｃ】本発明の第１の実施形態による、図８Ａに示す元の画像についての画像エッジ検出の結果を示す図である。
【図９Ａ】エッジ検出が実行される元の画像のもう１つの実施例を示す図である。
【図９Ｂ】図９Ａに示す画像のヒストグラムを示す図である。
【図９Ｃ】本発明の第１の実施形態による、図９Ａに示す画像の画像エッジ検出の結果を示す図である。
【図１０Ａ】エッジ検出が実行される元の画像のもう１つの実施例を示す図である。
【図１０Ｂ】図１０Ａに示す画像のヒストグラムを示す図である。
【図１０Ｃ】本発明の第１の実施形態による、図１０Ａに示す画像の画像エッジ検出の結果を示す図である。
【図１１】グレーレベルの勾配を計算するための３ｘ３ Ｓｏｂｅｌ勾配演算子を例示する図である。
【図１２Ａ】図３Ｂに示すフローチャートを使用して検出される、元の画像の一実施例を示す図である。
【図１２Ｂ】図１２Ａに示す元の画像のヒストグラムの図である。
【図１２Ｃ】黒ブロックにおけるピクセルを、図１２Ａに示す元の画像から除去することによって得られたヒストグラムの図である。
【図１２Ｄ】図３Ａのフローチャートにより、図１２Ａの元の画像から得られたエッジ検出の結果の図である。
【図１２Ｅ】図３Ｂのフローチャートにより、図１２Ａの元の画像から得られたエッジ検出の結果の図である。
【発明の属する技術分野】
本発明は、画像処理方法および装置ならびに画像処理システムに関し、より詳細には、画像内のエッジを検出するための方法、装置およびシステム、および記憶媒体に関する。
【０００２】
【従来の技術】
スキャナまたはデジタル・カメラなど、入力デバイスからの入力画像を高品質で再生できることがしばしば望まれている。高品質のデジタル品質を作り出すため、適切な画像処理を入力画像上で実行する必要がある。現在のデジタル画像処理技術によれば、高品質の画像を生成することができる。
【０００３】
しかし、従来技術の画像処理技術には課題がある。一般に、入力画像は、文字部分、写真部分およびドット部分に分割することができる。ドット画像を、フィルタリング法を使用して処理すると、サンプリングレートおよびピクセルの影響により、入力画像がしばしばぼやける。他方、ドット画像、文字画像および写真画像を含むファイルを処理する場合、生成された画像にはしばしば望ましくないドットがその文字部分に含まれ、文字のエッジが不明瞭となる。
【０００４】
エッジ検出はデジタル画像処理において大変重要である。一般に、画像内のエッジは、画像内の物体の形状を示すことができ、これは物体の表示および画像の解析のために重要である。したがって、エッジ検出は、デジタル画像処理の分野における多数の複雑な課題を解決するためのキーとなっている。
【０００５】
たとえば、特開平６−１５００５９号公報は、画像分離方法および分離装置を開示しており、ここでは画像エリアの分離精度が、画像における格子および線の集中部分を文字部分として決定することによって向上される。この公報によれば、画像が、それぞれ複数のピクセルを含むブロックに分割され、画像のタイプがパターン・マッチングによって認識され、複数の参照画像パターンが事前設定され、入力画像のタイプが、画像を参照パターンと比較することによって決定される。
【０００６】
加えて、特開平８−１４９２９７号公報は、観察されるピクセルがドット画像部分に含まれているかどうかを決定するための方法を開示しており、ここではドット画像における線の画像データの周期性が、ドット画像の画像データの周期性を使用して検出される。
【０００７】
さらに、特開昭６１−１９４９６８号公報は、ドット画像エリアを認識するための方法を開示しており、ここでは観察されるピクセルがドット画像エリアの一部にあるか否かが、メイン走査方向およびサブ走査方向において異なる信号レベルを有するブロック内におけるピクセルを測定することによって決定される。
【０００８】
グレーレベル画像では、エッジが、グレーレベルが大幅に変化する位置に現れるピクセルからなる。このようなグレーレベルの変化は、導関数の方法を使用して検出することができる。Zhang,Yujin著の「Image Segmentation」（Scientific Book Series in Images and Graphics、Science Press、2000年、ISBN 7-03-007241-3）では、１次導関数を使用して画像内のエッジを検出するためのもっとも頻繁に使用される方法のいくつかを論じている。これらにおいては、Roberts演算子、Sobel演算子、Prewitt演算子などが用いられる。ピクセルでの画像のグレーレベルの計算された導関数が、予め設定されたしきい値（画像エッジ検出しきい値）より大きかった場合、ピクセルは画像のエッジ・ピクセルとして決定される。
【０００９】
米国特許第６，１９２，１５３Ｂ１号は、画像処理方法および装置を開示している。これはピクセル毎の処理を、検出される画像の各画像エリアのタイプを正確に識別することによって実行する。米国特許第６，１９２，１５３Ｂ１号の画像処理装置は、画像内のエッジにあるピクセルを、エリアにおける各画像信号とフィルタ係数の積を計算することによって検出するための画像エッジ検出手段を含み、このエリアはターゲット・ピクセル、およびターゲット・ピクセルを取り囲む複数のピクセルを含み、この装置はさらに、ターゲット・ピクセルを含む画像エリアを、エッジ検出の結果に従ってラベル付けするためのラベリング手段を含む。また、米国特許第６，１９２，１５３Ｂ１号の画像処理方法は以下のステップを含む。すなわち、デジタル画像信号を入力するステップ、デジタル画像を反転させるステップ、画像内のエッジを検出するステップ、各ピクセルの特性に従って、各ピクセルを写真ピクセルおよび非写真ピクセルに分類するステップ、非写真ピクセルを分類するステップ、および写真ピクセルを、得られた画像信号を出力するように平滑化するステップを含む。
【００１０】
米国特許第５，５８３，６５９号は、ローカル画像特性を使用して画像をしきい値処理するためのマルチウィンドウ技術を開示し、これは、ローカル画像の輝度変化、および画像ピクセルの勾配の変化などの特徴を使用し、画像のノイズを削減し、画像内のエッジでのブラー（ぼやけ）を、マルチウィンドウ技術を使用して低減する。米国特許第５，５８３，６５９号の方法では、画像内のエッジが、Sobel演算子および所定の固定エッジ基準しきい値を使用して検出される。
【００１１】
【発明が解決しようとする課題】
実際には、エッジ基準しきい値を、処理される画像の間の差異に基づいて調節して、できる限り完全にエッジを抽出し、かつ抽出された画像における大量のノイズ生成を回避した良好なエッジ検出結果を得るようにする必要がある。従来技術では、上述の２件の米国特許のように、固定しきい値がエッジ基準について使用されるので、満足のいく結果を得ることができない。
【００１２】
したがって、本発明の目的は、特定の画像に適した画像エッジ基準しきい値を、画像の特徴に基づいた自己適応的な形で高速かつ効果的に計算し、それにより、その基準を使用して画像における画像エッジを検出するための画像処理方法、画像処理装置および画像処理システムを提供することである。
【００１３】
さらに、本発明の目的は、新しい画像処理方法、新しい画像処理装置および新しい画像処理システムを提供することである。
【００１４】
【課題を解決するための手段】
上記の目的を達成するための本発明の画像処理方法は、
記憶手段に記憶された画像を読み出し、当該画像内のエッジを検出するように画像処理装置が有する処理手段を制御する画像処理方法であって、
前記処理手段が、前記記憶手段に記憶された画像のグレーレベルの頻度を計算するグレーレベル統計ステップと、
前記処理手段が、前記画像を、前記計算された頻度に基づいて分類する画像分類ステップと、
前記処理手段が、前記画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記画像分類ステップの結果に基づいて決定するセグメント化しきい値決定ステップと、
前記処理手段が、前記画像の前記フォアグラウンドおよび前記バックグラウンドにおけるピクセルの前記グレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算ステップと、
前記処理手段が、前記画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出ステップとを備える。
【００１５】
さらに、上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
元の画像内のエッジを検出するための画像形成装置であって、
前記元の画像のグレーレベルの頻度を計算するグレーレベル統計手段と、
前記元の画像を前記計算された頻度に基づいて分類する画像分類手段と、
前記元の画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記画像分類手段による前記分類の結果に基づいて決定するセグメント化しきい値決定手段と、
前記元の画像の前記フォアグラウンドおよび前記バックグラウンドにおけるピクセルの前記グレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算手段と、
前記元の画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出手段とを備える。
【００１７】
さらに、本発明によれば、記憶手段に記憶された画像を読み出して当該画像内のエッジを検出する検出処理をコンピュータに実行させるプログラム・コードを格納したコンピュータ読取可能な記憶媒体が提供される。ここで、前記検出処理は、
コンピュータの処理手段が、前記画像のグレーレベルの頻度を計算するグレーレベル統計ステップと、
前記処理手段が、前記画像を、前記計算された頻度に基づいて分類する画像分類ステップと、
前記処理手段が、前記画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記画像分類の結果に基づいて決定するセグメント化しきい値決定ステップと、
前記処理手段が、前記画像の前記フォアグラウンドおよび前記バックグラウンドにおけるピクセルの前記グレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算ステップと、
前記処理手段が、前記画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出ステップとを含む。
【００１８】
さらに、本発明の他の態様による画像処理方法は、
記憶手段に記憶された画像を読み出し、当該画像におけるエッジを検出するように画像処理装置が有する処理手段を制御する画像処理方法であって、
前記処理手段が、前記記憶手段に記憶された画像のグレーレベルの頻度を計算するグレーレベル統計ステップと、
前記処理手段が、前記画像から、黒ブロックに対応する画像エリアを検出する黒ブロック検出ステップと、
前記処理手段が、前記検出された黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度を、前記グレーレベル統計ステップにおいて計算された前記グレーレベルの頻度から除去する黒ブロック・ピクセル除去ステップと、
前記処理手段が、前記黒ブロック・ピクセル除去ステップで除去された後の頻度に基づいて、前記画像を分類する画像分類ステップと、
前記処理手段が、前記画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記画像分類ステップの結果に基づいて決定するセグメント化しきい値決定ステップと、
前記処理手段が、前記黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度が除去された、前記画像のフォアグラウンドおよびバックグラウンドにおけるピクセルのグレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算ステップと、
前記処理手段が、前記画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出ステップとを備える。
【００１９】
さらに、本発明の他の態様による画像処理装置は以下の構成を備える。即ち、
元の画像における画像エッジを検出するための画像処理装置であって、
前記元の画像のグレーレベルの頻度を計算するグレーレベル統計手段と、
前記元の画像から、黒ブロックに対応する画像エリアを検出する黒ブロック検出手段と、
前記検出された黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度を、前記グレーレベル統計手段によって計算された前記グレーレベルの頻度から除去する黒ブロック・ピクセル除去手段と、
前記黒ブロック・ピクセル除去手段で除去された後の頻度に基づいて、前記元の画像を分類する画像分類手段と、
前記元の画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記分類の結果に基づいて決定するセグメント化しきい値決定手段と、
前記黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度が除去された、前記画像のフォアグラウンドおよびバックグラウンドにおけるピクセルのグレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算手段と、
前記画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出手段とを備える。
【００２０】
さらに、本発明によれば、記憶手段に記憶された画像を読み出して当該画像内のエッジを検出する検出処理をコンピュータに実行させるプログラム・コードを格納したコンピュータ読取可能な記憶媒体が提供される。ここで、前記検出処理は、
コンピュータの処理手段が、前記画像のグレーレベルの頻度を計算するグレーレベル統計ステップと、
前記処理手段が、前記画像から、黒ブロックに対応する画像エリアを検出する黒ブロック検出ステップと、
前記処理手段が、前記検出された黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度を、前記グレーレベル統計ステップで計算された前記グレーレベルの頻度から除去する黒ブロック・ピクセル除去ステップと、
前記処理手段が、前記黒ブロック・ピクセル除去ステップで除去された後の頻度に基づいて、前記画像を分類する画像分類ステップと、
前記処理手段が、前記画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記画像分類ステップの結果に基づいて決定するセグメント化しきい値決定ステップと、
前記処理手段が、前記黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度が除去された、前記画像のフォアグラウンドおよびバックグラウンドにおけるピクセルのグレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算ステップと、
前記処理手段が、前記画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出ステップとを含む。
【００２１】
本発明の画像エッジを抽出するための方法は、元の画像の画像タイプの変化に従ってエッジ基準を動的に決定することができ、これは、元の画像のフォアグラウンドおよびバックグラウンドを分割するためのセグメント化しきい値を、元の画像のグレーレベル頻度分布に基づいて変更して、正確なエッジ抽出を実行することによって行う。
【００２２】
本発明の他の目的および利点は、以下の本発明の好ましい実施形態の説明から、添付の図面を参照して明らかになり、図面では同じ参照番号が同じあるいは類似の部分について使用され、図面は本発明の原理を説明するための本願の明細書の一部を形成する。
【００２３】
【発明の実施の形態】
本発明の好ましい実施形態を、以下に添付の図面を参照して記載する。
【００２４】
＜第１の実施形態＞
システム構成
図１は、本発明の第１の実施形態による画像エッジ検出システムの構造ブロック図を示す。
【００２５】
インク・ジェット・プリンタなどのプリンタ１０５、およびモニタ１０６は、ホスト・コンピュータ１００に接続される。
【００２６】
ホスト・コンピュータ１００は、文書処理プログラム、スケーリング・プログラム、インターネット・ブラウザなどのアプリケーション・プログラム１０１、ＯＳ（オペレーティング・システム）１０２、プリンタ・ドライバ・プログラム１０３、モニタ・ドライバ１０４を有する。プリンタ・ドライバ・プログラム１０３は、アプリケーション・プログラム１０１によってＯＳ１０２に発行された様々な描画コマンド（画像描画コマンド、レター描画コマンド、グラフィックス描画コマンド）を処理し、印刷データを生成する。また、モニタ・ドライバ１０４は、アプリケーション・プログラム１０１によって発行された様々な描画コマンドを処理し、データをモニタ１０６に表示する。
【００２７】
参照番号１１２は命令入力デバイスを示し、１１３はそのデバイス・ドライバを示す。たとえば、マウスが接続され、これはモニタ１０６に表示された様々な情報をポイントして、様々な命令をＯＳ１０２に発行する。なお、トラッキング・ボール、ペン、タッチ・パネルなどの他のポインティング・デバイスをマウスの代わりに使用することができる。
【００２８】
ホスト・コンピュータ１００は、これらのプログラムを実行することができる様々なハードウェアとして、ＣＰＵ（中央処理装置）１０８、ハード・ディスク（ＨＤ）１０７、ランダム・アクセス・メモリ（ＲＡＭ）１０９、読み取り専用メモリ（ＲＯＭ）１１０などを含む。
【００２９】
図１に示す画像エッジ検出システムの一実施例としては、ＭｉｃｒｏｓｏｆｔＣｏｒｐ．から入手可能なＷｉｎｄｏｗｓ ９８（登録商標）が、ＩＢＭ Ｃｏｒｐ．から入手可能なＰＣ−ＡＴ互換パーソナル・コンピュータにＯＳとしてインストールされ、更に印刷を実施するために必要なアプリケーション・プログラムがインストールされ、モニタおよびプリンタがパーソナル・コンピュータに接続されたものが挙げられる。
【００３０】
ホスト・コンピュータ１００において、各アプリケーション１０１が出力画像のデータを、テキストに分類される文字などのテキスト・データ、グラフィック・データに分類される図などのグラフィック・データ、および自然画像などに分類される画像データなどを使用して生成する。プリンタが画像データを印刷するとき、アプリケーション１０１が印刷要求をＯＳ１０２に発行する。このとき、アプリケーション１０１が描画コマンドのグループをＯＳ１０２に送信する。この描画コマンドのグループはグラフィック・データに対応するグラフィック描画コマンドおよび画像データに対応する画像描画コマンドを含む。
【００３１】
ＯＳ１０２が、アプリケーション１０１からの印刷要求を受信した後、描画コマンド・グループを、プリンタに対応するプリンタ・ドライバ１０３に発行する。プリンタ・ドライバ１０３は、ＯＳ１０２からの印刷要求および描画コマンド・グループを処理し、プリンタ１０５が印刷することができる印刷データを生成し、印刷データをプリンタ１０５に転送する。プリンタ１０５がラスタライズ方式プリンタであった場合、プリンタ・ドライバ１０３はＯＳ１０２からの描画コマンドについてのイメージコレクション処理を実行し、次いでコマンドを順次ＲＧＢ２４ビット・ページ・メモリ上でラスタライズする。すべての描画コマンドのラスタライズが完了すると、プリンタ・ドライバ１０３はＲＧＢ２４ビット・ページ・メモリのコンテンツを、プリンタ１０５が印刷することができるデータ・フォーマット、たとえばＣＭＹＫデータに変換し、変換されたデータをプリンタ１０５に転送する。
【００３２】
ホスト・コンピュータ１００をイメージスキャナ１１１に接続することができる。なお、イメージスキャナ１１１は対象の画像を検知してＲＧＢ画像データを生成し、検知された画像データをＨＤ１０７にロードかつ格納することができる。また、イメージスキャナ１１１によって検知された画像データがＢＭＰによって符号化されることにも留意されたい。検知された画像データを、プリンタ・ドライバ１０３によって復号した後、画像データとしてプリンタ１０５に転送することができる。
【００３３】
ホスト・コンピュータ１００はさらに、画像内のエッジを検出するための画像エッジ検出装置１１４を含む。ＨＤ１０７に格納された画像データが画像エッジ検出装置１１４によって読み出され、処理される。最初に、確定された画像エッジが検出される。次いで、ＯＳ１０２の制御により、画像内において検出されたエッジがプリンタ１０５またはモニタ１０６によって出力される。
【００３４】
画像エッジ検出装置
図２Ａは、本発明の第１の実施形態による画像エッジ検出装置の構成を示すブロック図である。
【００３５】
本実施形態の画像エッジ検出装置は、画像読み取り手段２０１、画像グレーレベル統計手段２０２、画像分類手段２０３、セグメント化しきい値決定手段２０４、画像エッジ基準決定手段２０５および画像エッジ抽出手段２０６を含む。
【００３６】
スキャナなど、画像入力デバイスは、入力側の元の画像を元の原稿から光電的に読み取る。元の画像を示すアナログ信号はデジタル画像信号に変換される。このデジタル画像信号はＨＤ１０７またはＲＡＭ１０９などの記憶装置に格納される。
【００３７】
画像エッジ検出装置１１４では、読み取り手段２０１が最初に、ＲＡＭ１０９などの記憶装置に格納されたデジタル画像信号を読み取り、読み取られた画像信号を画像グレーレベル統計手段２０２に供給する。
【００３８】
画像グレーレベル統計手段２０２は、カラーの画像、Ｔｉｆｆ画像など、読み取り手段２０１によって読み取られる様々な画像をグレーレベル画像に変換し、異なるグレーレベルを有するピクセルの出現頻度を示すグレーレベル・ヒストグラムを計算する。
【００３９】
画像グレーレベル統計手段２０２によって計算されたグレーレベル・ヒストグラムに従って、画像分類手段２０３は、グレーレベル・ヒストグラムにおいてフォアグラウンドおよびバックグラウンドをセグメント化するための初期セグメント化しきい値を計算する。
【００４０】
本実施形態では、グレーレベル・ヒストグラムの特徴に従って、処理される画像がタイプ０、タイプＩおよびタイプＩＩの３つのカテゴリのうち１つに分類される。
【００４１】
タイプ０の画像は標準の画像であり、初期セグメント化しきい値を使用して、画像をフォアグラウンドおよびバックグラウンドへ適切にセグメント化することができる。このとき、画像のフォアグラウンドは、文字、図表、線など、画像と共に示される様々な情報を含み、画像のバックグラウンドは、画像の基調色など、画像のフォアグラウンドを修飾あるいは引き立てるための情報を含む。図８Ａに示す画像８００Ａは、タイプ０の画像の一実施例である。
【００４２】
タイプＩの画像は、初期セグメント化しきい値を使用してフォアグラウンドおよびバックグラウンドにセグメント化されるときに不正確なフォアグラウンドを有することになる画像である。すなわち、初期セグメント化しきい値を使用してセグメント化を実行すると、そのフォアグラウンドの一部がそのバックグラウンドにセグメント化される可能性が高い。
【００４３】
タイプＩＩの画像は、初期セグメント化しきい値を使用してフォアグラウンドおよびバックグラウンドにセグメント化されるときに不正確なバックグラウンドを有することになる画像である。すなわち、初期セグメント化しきい値を使用してセグメント化を実行すると、そのバックグラウンドの一部がそのフォアグラウンドにセグメント化される可能性が高い。
【００４４】
図９Ａおよび図１０Ａは、それぞれタイプＩの画像９００ＡおよびタイプＩＩの画像１０００Ａを示す。
【００４５】
図２Ａに戻ると、画像分類手段２０３が、読み取られた元の画像を３つの画像タイプ０、ＩおよびＩＩのうち１つに分類する。
【００４６】
その後、タイプ０の画像として決定された画像について、画像分類手段２０３が、画像のグレーレベル・ヒストグラムをフォアグラウンドおよびバックグラウンドに分割するための初期セグメント化しきい値をエッジ基準決定手段２０５に供給し、エッジ基準決定手段２０５が画像のフォアグラウンドおよびバックグラウンドのグレーレベル統計平均値を決定する。この処理の詳細については以下で記載する。
【００４７】
一方、タイプＩまたはタイプＩＩの画像として分類される画像については、画像のグレーレベル・ヒストグラムのバックグラウンドおよびフォアグラウンドを分割するための初期セグメント化しきい値が、セグメント化しきい値決定手段２０４によって調節されて、画像のフォアグラウンドおよびバックグラウンドを分割するための適切なセグメント化しきい値が決定される。この処理についての詳細は以下で記載する。次いで、エッジ基準決定手段２０５が、画像のバックグラウンドおよびフォアグラウンドのグレーレベル統計平均値を、決定された画像のフォアグラウンドおよびバックグラウンドのセグメント化しきい値に基づいて計算する。計算されたフォアグラウンドおよびバックグラウンドのグレーレベル統計平均値に基づいて、エッジ基準決定手段２０５が画像エッジ基準を決定する。この処理についても、詳細は以下で説明する。
【００４８】
最後に、画像エッジ抽出手段２０６が、エッジ基準決定手段２０５によって計算された画像エッジ基準に基づいて、画像における各ピクセルがエッジ・ピクセルであるかどうかを決定し、決定されたエッジ・ピクセルに基づいてエッジ画像を得て、得られたエッジ画像をモニタ１０５またはプリンタ１０４などの出力デバイスへ供給する。この処理についても詳細は以下で説明する。
【００４９】
画像エッジ検出処理
図３Ａは、本発明の第１の実施形態による、画像エッジ検出の処理を示すフローチャートである。画像内のエッジを検出するための処理を以下で詳細に、図３Ａおよび図８Ａを参照して記載する。図８Ａは元の画像の一実施例であり、これは新聞の画像であり、この画像についてエッジ検出が行われる。この画像は、画像スキャナ、デジタル・カメラなどの画像入力デバイスによって読み取られた多値画像であり、ＲＯＭ１１０、ＨＤ１０７またはＲＡＭ１０９などの記憶装置の所定の位置に格納される。一般に、読み取られた画像を、３２ビット・フル・カラー画像など、種々の方法を使用して格納することができる。加えて、画像をＢＭＰ、ＪＰＥＧまたはＴＩＦＦなど、種々のフォーマットで格納することができる。入力された元の画像を処理する前に、元の画像が、たとえば、０から２５５までのグレーレベルを有するグレーレベル画像に変換される。
【００５０】
図３Ａにおいて、最初にステップＳ３１で、読み取り手段２０１が、エッジが抽出される元の画像８００Ａにおける各ピクセルのグレーレベルを読み出す。元の画像８００Ａが、ＪＰＥＧなどを使用して符号化されたものである場合は、読み取り手段２０１が画像データを読み取る前に復号する。もちろん、元の画像の各列におけるピクセルのグレーレベルを同時あるいは順次に読み取ることができる。
【００５１】
ステップＳ３１の後、フローはステップＳ３２に進み、画像グレーレベル統計手段２０２が、画像読み取り手段２０１によって読み取られた元の画像８００Ａの各ピクセルのグレーレベルについて統計処理を実行し、元の画像８００Ａの各グレーレベル値におけるピクセルの数を計算する。各グレーレベル値で計算されたピクセルの数に基づいて、元の画像８００Ａの画像ピクセル・グレーレベル・ヒストグラム８００Ｂが生成される。これを図８Ｂに示す。図８Ｂでは、Ｘ座標がピクセルのグレーレベルを示し、Ｙ座標がピクセルの数を示す。
【００５２】
ステップＳ３２の後、フローはステップＳ３３に進む。ステップＳ３３において、画像分類手段２０３は、ステップＳ３２において決定された元の画像８００Ａの画像ピクセル・グレーレベル・ヒストグラムに基づいて、グレーレベル・ヒストグラム８００Ｂの幅、画像のフォアグラウンドおよびバックグラウンドを分割するための初期セグメント化しきい値、およびグレーレベル統計平均値などの画像の特徴を決定する。そして、これらの特徴に基づいて、画像分類手段２０３が元の画像を上述のタイプ０の画像、タイプＩの画像またはタイプＩＩの画像のうちの１つに分類する。画像を分類するための処理を以下でより詳細に、図４を参照して記載する。
【００５３】
図４は、画像を分類する処理を示すフローチャートである。
【００５４】
図８Ａに示す元の画像８００Ａを分類するための処理を詳細に、図４を参照して記載する。
【００５５】
図４に示すように、ステップＳ４１で、元の画像８００Ａにおけるフォアグラウンドおよびバックグラウンドをセグメント化するための初期セグメント化しきい値Ｔｈｉが、ステップＳ３２で決定された元の画像８００Ａのグレーレベル・ヒストグラムに従って計算される。初期セグメント化しきい値Ｔｈｉは、Otsu法、NiBlack法、最小誤差法または最大エントロピー法などの、いかなる既知の方法を使用して計算してもよい。この実施形態ではOtsu法を使用する。Otsu法については、「A Threshold Selection Method from Gray-level Histograms」、IEEE Trans.On System、Man,and Cybernetics、Vol.SMC-9、No.1、pp.62〜66、1979年1月を参照されたい。
【００５６】
この実施形態では、図８Ｂに示すヒストグラムより、初期セグメント化しきい値Ｔｈｉ＝１１４が算出されたものとする。
【００５７】
ステップＳ４１の後、フローはステップＳ４２に進み、元の画像８００Ａのヒストグラムにおける各ピクセルのグレーレベルの統計平均値Ａｖが計算される。この実施形態では、図８に示す元の画像８００Ａの統計平均グレーレベルＡｖ＝１３８が算出されたものとする。
【００５８】
次いで、フローはステップＳ４３に進み、グレーレベル・ヒストグラム８００Ｂにおける開始点のグレーレベルＳＴおよび終了点のグレーレベルＥＮＤが決定される。これら開始点及び終了点により、グレーレベル・ヒストグラム８００Ｂの前部および後部におけるグレーレベルが除去される。これらのグレーレベルは全体のパラメータの計算に渡って有意な影響を与えないが、エッジ基準の計算には望ましくない影響を与えるものである。
【００５９】
図８Ｂに示すように、開始点ＳＴおよび終了点ＥＮＤを以下のように決定することができる。
Ｋ＝Ｔ1/2／ａ （１）
【００６０】
ただし、Ｋは、ヒストグラムの開始点のグレーレベルＳＴまたは終了点のグレーレベルＥＮＤに対応するピクセル数であり、Ｔは元の画像のピクセルの総数であり、ａは５０など、所定の値である。ａの値は、２０〜１５０の範囲で選択することができる。
【００６１】
この実施形態では、元の画像８００Ａにおけるピクセルの総数が１５０８６１２であり、ａの値として５０が選択されている。したがって、ヒストグラム８００Ｂにおける開始点のグレーレベルＳＴおよび終了点のグレーレベルＥＮＤに対応するピクセル数Ｋは２４に決定される。
【００６２】
図８Ｂを参照すると、各グレーレベル値に対応するピクセルの数を、グレーレベル値の上昇する方向において、式（１）を使用して決定されたパラメータＫと比較することによって、Ｋ以上のピクセル数を有する第１のグレーレベル値を決定することができる。この実施例では、開始点のグレーレベルＳＴが１３に決定されたものとする。
【００６３】
また、グレーレベルの下降する方向に関しても類似の方法が適用され、終了点が決定される。本例では、ヒストグラム８００Ｂの終了点のグレーレベルが２１９に決定されたものとする。
【００６４】
ステップＳ４３の後、フローはステップＳ４４に進み、第１の決定率Ｒ０、第２の決定率Ｒ１および第３の決定率Ｒ２が、元の画像８００Ａおよびその対応するグレーレベル・ヒストグラムのピクセル数に基づいて計算される。
【００６５】
第１の決定率Ｒ０は以下の式（２）によって与えられる。
Ｒ０＝Ｔ１／Ｔ０ （２）
【００６６】
ただし、Ｔ０は元の画像のピクセルの総数、すなわち、０から２５５までのグレーレベルの範囲内のピクセルの総数を示し、Ｔ１は、０からグレーレベル統計平均値Ａｖまでの範囲に含まれたピクセルの数を示す。
【００６７】
加えて、第２の決定率Ｒ１は以下の式（３）によって与えられる。
Ｒ１＝Ｔ３／Ｔ２ （３）
【００６８】
ただし、Ｔ２は、０からヒストグラムの初期セグメント化しきい値Ｔｈｉまでのグレーレベルの範囲に含まれたピクセルの数を示し、Ｔ３は、初期セグメント化しきい値Ｔｈｉからヒストグラムのグレーレベル統計平均値Ａｖまでの範囲に含まれたピクセルの数を示す。
【００６９】
さらに、第３の決定率Ｒ２は以下の式（４）によって与えられる。
Ｒ２＝Ｔ２／Ｔ０ （４）
【００７０】
ただし、Ｔ２は、０からヒストグラムの初期セグメント化しきい値Ｔｈｉまでのグレーレベルの範囲に含まれたピクセルの数を示し、Ｔ０は、元の画像のピクセルの総数、すなわち、０から２５５までのグレーレベルの範囲内のピクセルの総数を示す。
【００７１】
上記から、第１、第２および第３の決定率Ｒ０、Ｒ１およびＲ２の計算において、ピクセルの数のカウントがすべて０のグレーレベルから開始することがわかる。同様に、一実施形態では、ピクセルの数のカウントが開始点のグレーレベルＳＴから開始する可能性もある。同様に、２５５で終了するすべてのピクセル・カウントを、終了点のグレーレベルＥＮＤで終了するカウントで置き換えることができる。
【００７２】
この例示的画像では、Ｔ０＝１５０８６１２、Ｔ１＝５３４２９９、Ｔ２＝４６６４２３、Ｔ３＝７０３８４であり、したがって第１の決定率Ｒ０＝０．３５４、第２の決定率Ｒ１＝０．１５１、かつ第３の決定率Ｒ２＝０．３０９となる。
【００７３】
ステップＳ４４の後、フローはステップＳ４５へ進み、以下の比較式（５）が満たされるかどうかが判定される。
Ｒ１＞Ｌ０
Ａｖ＞Ｔｈｉ
Ｒ０＜Ｌ１ または Ｒ０＞Ｌ２ （５）
【００７４】
ただし、Ｒ０は第１の決定率であり、Ｒ１は第２の決定率であり、Ａｖはすべてのピクセルのグレーレベル統計平均値を示し、Ｔｈｉは初期セグメント化しきい値であり、Ｌ０は第１の事前設定値であり、Ｌ１は第２の事前設定値であり、Ｌ２は第３の事前設定値である。
【００７５】
ステップＳ４５で、上の比較式（５）が満たされた場合、画像がタイプＩの画像であると決定される（ステップＳ４７）。一方、比較式（５）が満たされないと判定された場合は、フローはステップＳ４６に進む。
【００７６】
なお、この実施形態において、第１の事前設定値Ｌ０の好ましい範囲は２〜５であり、Ｌ０の特に好ましい値は３．５である。また、Ｌ１の好ましい範囲は０．３５〜０．５であり、Ｌ１の特に好ましい値は０．４５である。また、Ｌ２の好ましい範囲は０．５〜０．６５であり、Ｌ２の特に好ましい値は０．５５である。例示した画像８００Ａでは、第２の決定率Ｒ１が第１の事前設定値Ｌ０よりも小さいので、元の画像８００ＡはタイプＩの画像ではないと決定される。
【００７７】
図４のステップＳ４５において元の画像がタイプＩの画像でないと決定されるので、フローはステップＳ４６へ進み、以下の比較式が満たされるかどうかが判断される。
Ｒ１＜Ｌ３
Ｒ２＞Ｌ４
Ｌｓ／２５６＜Ｌ５ （６）
【００７８】
ただし、Ｒ１は第２の決定率であり、Ｒ２は第３の決定率であり、Ｌｓは、ヒストグラムにおける終了点のグレーレベルＥＮＤと開始点のグレーレベルＳＴの間の差である。Ｌ３、Ｌ４およびＬ５はそれぞれ第４、第５および第６の定義された値である。
【００７９】
ステップＳ４６で、上の比較式（６）が満たされると判断された場合、エッジが抽出される画像はタイプＩＩの画像であると決定される（ステップＳ４８）。ステップＳ４６で上の比較式（６）が満たされないと決定された場合、フローはステップＳ４９に進む。
【００８０】
この実施形態では、第４の事前設定値Ｌ３の好ましい範囲は０．２〜１であり、Ｌ３の特に好ましい値は０．７である。また、第５の事前設定値Ｌ４の好ましい範囲は０．２〜０．５であり、Ｌ４の特に好ましい値は０．３５である。また、第６の事前設定値Ｌ５の好ましい範囲は０．５〜０．８５であり、Ｌ５の特に好ましい値は０．８である。例示的な元の画像８００Ａでは、Ｒ２がＬ４より小さく、そのため上の比較式（６）は満たされない。したがって、元の画像８００ＡはタイプＩＩの画像ではないとして決定される。そのため、フローはステップＳ４９へ進む。
【００８１】
ステップＳ４９で、エッジが抽出される元の画像８００Ａがタイプ０の画像であることが決定される。すなわち、画像を明確にフォアグラウンド部およびバックグラウンド部に、初期セグメント化しきい値を使用して分割することができる。
【００８２】
図３ＡのステップＳ３３に戻り、エッジが抽出される元の画像８００Ａのタイプを決定した後、フローはステップＳ３４に進む。ステップＳ３４では、元の画像をフォアグラウンドおよびバックグラウンドに分割するためのセグメント化しきい値が計算される。タイプＩの画像またはタイプＩＩの画像については、初期セグメント化しきい値を用いたのではフォアグラウンドおよびバックグランドに適切に分割されないので、初期セグメント化しきい値を調節する必要がある。
【００８３】
本例の元の画像８００Ａはタイプ０の画像であるので、その初期セグメント化しきい値Ｔｈｉを使用してこれをフォアグラウンドおよびバックグランドに適切に分割することができる。従って、元の画像８００Ａに関して初期セグメント化しきい値を調節する必要はない。
【００８４】
図５は、元の画像をフォアグラウンドおよびバックグラウンドに分割するためのセグメント化しきい値を決定するための処理を示すフローチャートである。図５を参照すると、元の画像８００Ａはタイプ０の画像であるので、そのためステップＳ４１で計算された初期セグメント化しきい値Ｔｈｉが、この画像をフォアグラウンドおよびバックグラウンドに分割するためのセグメント化しきい値Ｔｈｆとして使用される。すなわち、元の画像８００Ａの適切なセグメント化しきい値は１１４である。
【００８５】
図３ＡのステップＳ３４に戻ると、ステップＳ３４の後、フローはステップＳ３５に進み、元の画像８００Ａにおけるエッジが、ステップＳ３４で計算されたセグメント化しきい値Ｔｈｆを使用して抽出される。図８Ｂを参照すると、グレーレベル・ヒストグラム８００Ｂにおいて、そのセグメント化しきい値Ｔｈｆ＝Ｔｈｉに従って、元の画像８００Ａにおいてそれぞれがセグメント化しきい値Ｔｈｆ（この実施例では１１４に等しい）より小さいグレーレベルを有するすべてのピクセルのグレーレベル統計平均値Ａｖ１を計算することができる。類似の方法で、元の画像８００Ａにおいてそれぞれがセグメント化しきい値（この実施例では１１４に等しい）より大きいグレーレベルを有するすべてのピクセルのグレーレベル統計平均値Ａｖ２を計算することができる。この実施例では、Ａｖ２＝１７７かつＡｖ１＝５０である。
【００８６】
次いで、画像のエッジ基準が決定される。元の画像のエッジ基準は、画像をフォアグラウンドおよびバックグランドに分割するためのセグメント化しきい値の両側におけるピクセルのグレーレベル統計平均値の差（Ａｖ２−Ａｖ１）として取ることができる。この元の画像８００Ａの実施例では、エッジ基準は（Ａｖ２−Ａｖ１）＝１２７である。
【００８７】
ステップＳ３５に戻ると、ステップＳ３５の後、フローはステップＳ３６に進み、元の画像８００Ａにおける各ピクセルがエッジ・ピクセルであるかどうかが、上記の如く得られた画像のエッジ基準に従って決定される。Sobel演算子、Prewitt演算子、Roberts Cross演算子などの演算子を、画像内のエッジ・ピクセルの決定において使用することができる。この実施形態ではSobel法を、画像内のエッジ・ピクセルの決定において使用する。
【００８８】
図１１は、３ｘ３ Sobel勾配演算子のテンプレートを示す図である。
【００８９】
画像において、エッジは、グレーレベル関数またはその導関数が急に変化するところに存在し、したがってグレーレベル・エッジを、１次または２次導関数を使用して検出することができる。式（７）は、画像内のエッジを、図１１に示すような３ｘ３ Sobel勾配演算子テンプレートに基づいた１次導関数を使用して、すなわちSobel演算子を使用して検出するための方法を提供する。
ただし、f(x,y)は、画像のグレーレベル関数であり、g(x,y)は、画像の(x,y)でのグレーレベルの勾配の最大値であり、gx(x,y)およびgy(x,y)は、それぞれｘおよびｙ方向のグレーレベルの勾配の成分である。
【００９１】
式（７）を使用して、元の画像８００Ａにおける各ピクセルでのグレーレベルの勾配の最大値が決定され、この最大値が、ステップＳ３５で決定された画像エッジ基準と比較される。画像エッジ基準より大きいグレーレベル勾配の最大値を有するピクセルが、エッジ・ピクセルとして決定される。たとえば、図８Ａでは、ピクセルＡがグレーレベル勾配＝１４６を有し、これは画像エッジ基準＝１２７より大きく、そのためピクセルＡは画像のエッジ・ピクセルとして決定される。他方では、ピクセルＢはグレーレベル勾配＝７５を有し、これは画像エッジ基準＝１２７より小さく、そのためピクセルＢはエッジ・ピクセルとして決定されない。
【００９２】
元の画像８００Ａにおけるすべてのエッジ・ピクセルを決定した後、そのエッジ画像を抽出することができ、それにより図８Ｃに示すようなエッジ画像８００Ｃが得られる。エッジ画像８００Ｃは、ＲＡＭ１０９など、記憶装置において対応する位置に格納され、これがモニタまたはプリンタなどの出力デバイスに出力できるようになる。
【００９３】
この実施形態によれば、セグメント化しきい値の両側のグレーレベル統計平均値の差（Ａｖ１−Ａｖ２）が直接画像エッジ基準として用いられたが、本発明はこれに限定されないことに留意されたい。本発明の精神および範囲から逸脱することなく、画像エッジ基準を増減することができる。たとえば、画像エッジ基準を、係数が乗算された（Ａｖ１−Ａｖ２）より取得することができる。
【００９４】
図８Ｃは、本発明の第１の実施形態による、図８Ａに示す元の画像８００Ａにおいて画像エッジ抽出が実行された結果を示す。図８Ｃからわかるように、エッジ基準として、元の画像をフォアグラウンドおよびバックグラウンドに分割するためのセグメント化しきい値の２つの両側におけるグレーレベル統計平均値の間の差を取ることによって、写真および文字画像を含む元の画像８００Ａにおけるエッジが正確に抽出され、これによりエッジ画像８００Ｃが得られる。図８Ａの画像が、スキャナを使用して通常の新聞を走査することによって得られたものであることに留意されたい。
【００９５】
タイプＩの画像の画像エッジ抽出
次に、本実施形態による、タイプＩの画像として決定された元の画像についての画像エッジ抽出処理について記載する。すなわち、第１の実施形態の図５のステップＳ５０３の処理を詳細に記載する。
【００９６】
図９Ａは、エッジが検出される元の画像のもう１つの実施例を示す図である。図９Ａにおいて、元の画像９００Ａは、スキャナなどの画像入力装置を使用して走査することによって得られた財務表の用紙の画像である。もちろんこれを、デジタル・カメラなど、他のデジタル・デバイスを使用して画像エッジ検出システムに入力することもでき、これがＨＤ１０７またはＲＡＭ１０９など、記憶装置の位置に格納される。
【００９７】
図９Ａに示す元の画像９００Ａについてのエッジ抽出は、図３Ａに示すフローチャートの処理を使用して実行される。
【００９８】
図３Ａを参照すると、元の画像９００Ａについて、ステップＳ３１で、元の画像９００Ａの各ピクセルのグレーレベルが読み取られる。次いで、処理はステップＳ３２に進み、元の画像９００Ａにおける各グレーレベルでのピクセルの数がカウントされ、ヒストグラム９００Ｂが生成される。このヒストグラムを図９Ｂに示す。図９Ｂで、Ｘ座標がピクセルのグレーレベルを示し、Ｙ座標がピクセルの数を示す。
【００９９】
次いで、フローはステップＳ３３に進み、元の画像９００Ａが、グレーレベル・ヒストグラム９００Ｂの幅、画像におけるフォアグラウンドおよびバックグラウンドを分割するための初期セグメント化しきい値などに基づいて分類される。分類処理の詳細を図４に示す。
【０１００】
図４を参照すると、ステップＳ４１で、Otsu法を使用することにより、図９Ｂに示すヒストグラムの初期セグメント化しきい値Ｔｈｉとして、１５１が算出される。
【０１０１】
次いで、ステップＳ４２で、元の画像９００Ａのヒストグラムにおけるピクセルのグレーレベル統計平均値Ａｖが計算され、Ａｖ＝１８０が得られる。
【０１０２】
次に、ステップＳ４３で、グレーレベルの開始点ＳＴおよびグレーレベルの終了点ＥＮＤがそれぞれ３０および２５５と決定される。
【０１０３】
ステップＳ４３の後、流れがステップＳ４４に進行し、第１の決定率Ｒ０、第２の決定率Ｒ１および第３の決定率Ｒ２および他のパラメータが、元の画像９００Ａのピクセル数およびその対応するグレーレベル・ヒストグラム９００Ｂに基づいて計算される。計算されたデータを表１に示す。
【表１】
ステップＳ４４の後、フローはステップＳ４５に進み、図９Ｂに示すヒストグラム９００Ｂが比較式（５）を満たすかどうかが決定される。表１からわかるように、Ｒ１＞Ｌ０、Ａｖ＞ＴｈｉかつＲ０＜Ｌ１なので、比較式（５）が満たされる。したがって、元の画像９００ＡがタイプＩの画像として決定される。
【０１０５】
タイプＩの画像については、初期セグメント化しきい値Ｔｈｉを使用して決定されるフォアグラウンドが少ないので、図５のステップＳ５０３に示すように、その初期セグメント化しきい値を調節することが必要である。調節処理の詳細について図６を参照して説明する。
【０１０６】
図６は、タイプＩの元画像をフォアグラウンドおよびバックグラウンドに分割するための、初期セグメント化しきい値を調節するための処理を示すフローチャートである。
【０１０７】
図６を参照すると、処理の開始の後、ステップＳ６０１で、セグメント化しきい値の新しい範囲が定義される。この新たに定義された範囲は、ステップＳ４１で得られた初期セグメント化しきい値Ｔｈｉを開始点グレーレベルに有する。なお終了点グレーレベルは不変である。この実施例では、新しい開始点グレーレベルが１５１であり、終了点グレーレベルがそのまま２５５となる。
【０１０８】
次いで、流れがステップＳ６０２に進行し、新しいセグメント化しきい値が決定される。新しい開始点グレーレベルから終了点グレーレベルまでの範囲において、NiBlack法を使用して、新しいセグメント化しきい値Ｔｈｍ＝１７５が得られる。なお、NiBlack法についての詳細は、「Goal-direction Evaluation of Binarization Methods」、IEEE Transactions on Pattern Analysis and Machine Intelligence、Vol.17、No.12、1995年12月、1191〜1201ページで見ることができる。もちろん、平均値法、最小誤差法および最大エントロピー法など、他の方法を使用することもできる。
【０１０９】
ステップＳ６０２の後、フローはステップＳ６０３に進み、パラメータＴ２、Ｔ３、Ｒ１およびＲ２が再決定される。これらパラメータを表２に示す。
【表２】
次いで、フローはステップＳ６０４に進み、以下の比較式が満たされるかどうかが決定される。
Ｒ１＞Ｌ０ または
Ｒ１＜Ｌ３ （８）
【０１１１】
ただし、Ｒ１は第２の決定率であり、Ｌ０は第１の事前設定値を示し、Ｌ３は第４の事前設定値を示す。
【０１１２】
比較式（８）が満たされると判定された場合、これは新しいセグメント化しきい値が適切であることを意味し、フローはステップＳ６０８に進む。ステップＳ６０８では、新しいセグメント化しきい値Ｔｈｍが、元の画像をフォアグラウンドおよびバックグラウンドに分割するためのセグメント化しきい値Ｔｈｆとして用いられる。一方、比較式（８）が満たされなかった場合は、フローはステップＳ６０５に進む。
【０１１３】
ステップＳ６０５で、セグメント化しきい値の範囲が再決定される。すなわち、図６のステップＳ６０５で、開始点グレーレベルＳＴは不変のまま保たれ、終了点のグレーレベルＥＮＤは新しいセグメント化しきい値Ｔｈｍで置き換えられる。
【０１１４】
次いで、フローはステップＳ６０６に進み、新しいセグメント化しきい値Ｔｈｍを決定するためのサイクルの数が、４などの所定の数を超えるかどうかが決定される。
【０１１５】
サイクルの数が所定の数を超えなかった場合、サイクルの数が１だけ増分され、流れがステップＳ６０２に戻る。
【０１１６】
この実施例では、上記表２に示したように、第１の決定率Ｒ１が比較式（８）を満たさないので、新たに得られたセグメント化しきい値Ｔｈｍ（＝１７５）を再調節する必要があり、そのためフローがステップＳ６０５に進行する。
【０１１７】
新しいサイクルのパラメータの変化を表３に示す。
【表３】
表３から、新しいパラメータＲ１が比較式（８）を満たすことがわかるので、フローはステップＳ６０８に進む。ステップＳ６０８では、このように計算されたしきい値Ｔｈｍ＝１６６がセグメント化しきい値Ｔｈｆとして取られ、Ｔｈｆ＝１６６となる。
【０１１９】
次いで、図３Ａに戻り、ステップＳ３４の後、フローはステップＳ３５に進み、エッジ基準が、ステップＳ３４で得られたセグメント化しきい値Ｔｈｆに基づいて決定される。この処理の詳細は図８Ａの実施例により記載したものと同じであるので説明は省略する。画像９００Ａでは、Ａｖ１＝１８６、Ａｖ２＝１４１と計算され、したがって画像のエッジ基準は（Ａｖ２−Ａｖ１）＝４５に決定される。
【０１２０】
次いで、フローはステップＳ３６に進み、元の画像９００Ａにおけるピクセルがエッジ・ピクセルであるかどうかが決定される。この決定の詳細は、元の画像８００Ａについて上述したものと同様であるので、再度の説明は省略する。ステップＳ３６の処理により、元の画像のエッジ画像９００Ｃが抽出される。
【０１２１】
図９Ｃは、本発明の第１の実施形態による、図９Ａに示す元の画像９００Ａの画像エッジ抽出の結果を示す。図９Ｃからわかるように、適切なエッジ・セグメント化しきい値が決定されるので、財務表を含む元の画像９００Ａのエッジ画像が正確に抽出され、そのため適切なエッジ画像９００Ｃが得られる。
【０１２２】
タイプＩＩの元の画像の画像エッジ抽出
次に、タイプＩＩの画像として決定された、元の画像内のエッジを抽出するための方法を以下に説明する。
【０１２３】
図１０Ａは、画像エッジが検出される元の画像のもう１つの実施例を示す。図１０Ａにおいて、元の画像１０００Ａもまた、スキャナなどの画像入力装置を使用して走査することによって得られた財務表を含む画像である。もちろんこれを、デジタル・カメラなど、他のデジタル・デバイスを使用して画像エッジ検出システムに入力することもできる。元の画像の画像データはＨＤ１０７またはＲＡＭ１０９など、記憶装置の位置に格納される。
【０１２４】
図１０Ａに示す元の画像１０００Ａについてのエッジ抽出も、図３Ａに示すフローチャートの処理を使用して実行される。
【０１２５】
図３Ａを参照すると、元の画像１０００Ａについて、ステップＳ３１で、元の画像１０００Ａの各ピクセルのグレーレベルが読み取られる。次いで、処理はステップＳ３２に進み、元の画像１０００Ａにおける各グレーレベルでのピクセルの数がカウントされ、ヒストグラム１０００Ｂが生成される。ヒストグラム１０００Ｂを図１０Ｂに示す。なお、図１０Ｂにおいて、Ｘ座標がピクセルのグレーレベルを示し、Ｙ座標がピクセルの数を示す。
【０１２６】
次いで、流れがステップＳ３３に進行し、元の画像１０００Ａが、グレーレベル・ヒストグラム１０００Ｂの幅、画像におけるフォアグラウンドおよびバックグラウンドを分割するための初期セグメント化しきい値などに基づいて分類される。分類処理の詳細を図４に示す。
【０１２７】
図４を参照すると、ステップＳ４１で、Otsu法を使用して、図１０Ｂに示すヒストグラムの初期セグメント化しきい値Ｔｈｉが計算される。本例では、Ｔｈｉ＝１５３が算出されたものとする。
【０１２８】
次いで、ステップＳ４２で、元の画像１０００Ａのヒストグラムにおけるピクセルのグレーレベル統計平均値Ａｖが計算される。本例ではＡｖ＝１５６が算出されたものとする。
【０１２９】
次に、ステップＳ４３で、ヒストグラム１０００Ｂにおけるグレーレベルの開始点ＳＴおよびグレーレベルの終了点ＥＮＤが、それぞれ５７および１９９と決定される。
【０１３０】
ステップＳ４３の後、フローはステップＳ４４に進み、第１の決定率Ｒ０、第２の決定率Ｒ１および第３の決定率Ｒ２および他のパラメータが、元の画像１０００Ａのピクセル数およびその対応するグレーレベル・ヒストグラム１０００Ｂに基づいて計算される。特定されたデータを表４に示す。
【表４】
ステップＳ４４の後、フローはステップＳ４５に進行し、図１０Ｂに示すヒストグラム１０００Ｂが比較式（５）を満たすかどうかが決定される。表４からわかるように、Ｒ１＜Ｌ０なので、比較式（５）が満たされない。そのためフローはステップＳ４６に進み、ヒストグラム１０００Ｂが比較式（６）を満たすかどうかが決定される。表４から、Ｒ１＜Ｌ３、Ｒ２＞Ｌ４であり、Ｌｓ／２６５＝０．５７が第６の事前設定値より小さいことがわかる。すなわち比較式（６）は満たされる。したがって、元の画像１０００ＡがタイプＩＩの画像として決定される。
【０１３２】
タイプＩＩの画像では、初期セグメント化しきい値Ｔｈｉを使用してセグメント化すると、バックグラウンドが少なくなるので、図５のステップＳ５０３に示すように、その初期セグメント化しきい値Ｔｈｉを調節することが必要である。調節処理の詳細を、図７を参照して記載する。
【０１３３】
図７は、タイプＩＩの画像の画像セグメント化しきい値を調節するための処理を示すフローチャートである。
【０１３４】
図７に示す処理によって新しいセグメント化しきい値が決定される。本処理が開始されると、まずステップＳ７０１において、ステップＳ４１で得られた初期セグメント化しきい値Ｔｈｉを新しい終了点グレーレベルとし、開始点グレーレベルをそのまま不変に保つ。この実施例では、開始点グレーレベルが５６となり、新しい終了点グレーレベルが１５３となる。
【０１３５】
次いで、処理はステップＳ７０２に進み、新しいセグメント化しきい値Ｔｈｍが再決定される。開始点グレーレベルから新しい終了点グレーレベルまでの範囲について、NiBlack法を使用して、新しいセグメント化しきい値Ｔｈｍ＝１２１が得られる。
【０１３６】
ステップＳ７０２の後、処理はステップＳ７０３に進み、パラメータＴ２、Ｔ３、Ｒ１およびＲ２が再決定される。これらパラメータを表５に示す。
【表５】
次いで、フローはステップＳ７０４に進み、以下の比較式（９）が満たされるかどうかが判定される。
Ｒ１＞Ｌ０ または Ｒ１＜Ｌ３
Ｒ２＜Ｌ４ （９）
【０１３８】
ただし、Ｒ０は第１の決定率であり、Ｒ１は第２の決定率であり、Ｒ２は第３の決定率であり、Ａｖはすべてのピクセルのグレーレベル統計平均値を示し、Ｔｈｉは初期セグメント化しきい値であり、Ｌ０は第１の事前設定値であり、Ｌ１は第２の事前設定値であり、Ｌ２は第３の事前設定値である。
【０１３９】
比較式（９）が満たされると判定された場合、これは新しいセグメント化しきい値が適切なしきい値であることを意味するので、処理はステップＳ７０８に進み、新しいセグメント化しきい値Ｔｈｍがセグメント化しきい値Ｔｈｆとして採用される。一方、比較式（９）が満たされないと判定された場合は、処理はステップＳ７０５に進む。
【０１４０】
ステップＳ７０５では、セグメント化しきい値を決定するための新しい範囲が決定される。図７に示されるように、ステップＳ７０５において、終了点グレーレベルＥＮＤは不変のまま保ち、セグメント化しきい値Ｔｈｍが新しい開始点のグレーレベルＳＴとして用いられる。
【０１４１】
次いで、フローはステップＳ７０６に進み、新しいセグメント化しきい値を決定する回数が事前設定数を超えるかどうかが判定される。本実施形態では、事前設定数として例えば４が設定される。
【０１４２】
回数が事前設定値を超えなかった場合、これが１だけ増分され、フローはステップＳ７０２に戻る。
【０１４３】
この実施例では、表５に示すように、表５におけるパラメータＲ１が比較式（９）を満たすので、新しいセグメント化しきい値Ｔｈｍ＝１２１が最初のループで決定され、これがセグメント化しきい値Ｔｈｆとして用いられる。
【０１４４】
次いで、ステップＳ３４の後、フローは図３ＡのステップＳ３５に進み、エッジ基準が、ステップＳ３４で得られたセグメント化しきい値Ｔｈｆに基づいて決定される。エッジ基準を得る詳細は元の画像８００Ａを参照して記載したものと類似しており、ここでは再度説明をしない。画像１０００Ａでは、Ａｖ１＝１５９、Ａｖ２＝９９と計算され、そのため画像のエッジ基準は｜Ａｖ２−Ａｖ１｜＝６０である。
【０１４５】
次いで、処理はステップＳ３６に進み、元の画像１０００Ａにおけるピクセルがエッジ・ピクセルであるかどうかが、エッジ基準に基づいて決定される。エッジ・ピクセルを決定するための処理の詳細は、元の画像８００Ａについて説明したものと同じであり、ここでは説明を繰り返さない。ステップＳ３６で、元の画像のエッジ画像１０００Ｃを抽出することができる。
【０１４６】
図１０Ｃは、本発明の第１の実施形態による、図１０Ａに示す元の画像１０００Ａにおいて実行された画像エッジ抽出の結果を示す。図１０Ｃからわかるように、適切なエッジ・セグメント化基準、財務表を含む元の画像１０００Ａにおけるエッジが正確に抽出され、適切なエッジ画像１０００Ｃが得られる。
【０１４７】
第２の実施形態
植字など、実際の応用例における必要性により、画像は時として、図１２Ａに示すような１つまたは複数の大きいタイル・ブロックを含む可能性があり、さらに、画像はいくつかの反転された文字（すなわち、黒いバックグラウンドにおける白い文字）を含む可能性がある。このようなブロックは、図１２Ｂに示すものなど、ヒストグラムにおいて無関係なピークとして表れ、したがってフォアグラウンドおよびバックグラウンドの分布が変化し、適切なエッジ基準の発見において望ましくない効果が生じる結果となる。
【０１４８】
このような問題を解決するため、第２の実施形態ではヒストグラムを修正するためのステップが、図３Ａに示した一実施形態の処理に追加される。これを図３Ｂのフローチャートに示す。
【０１４９】
第２の実施形態による画像エッジ検出システムが第１の実施形態によるシステム（すなわち、図１に示すシステム）と異なるのは、第１の実施形態による画像エッジ検出装置１１４が第２の実施形態による画像エッジ検出装置１１４’で置き換えられることのみである。システムの残りの部分は同じであり、その記載は省略する。
【０１５０】
図２Ｂは、第２の実施形態による画像エッジ検出装置１１４’の構造のブロック図を示し、これは画像読み取りユニット２０１、画像グレーレベル統計手段２０２、黒ブロック発見手段２１１、黒ブロック・ピクセル頻度除去手段２１２、画像分類手段２０３、セグメント化しきい値決定手段２０４、画像エッジ基準決定手段２０５および画像エッジ抽出手段２０６を含む。
【０１５１】
第２の実施形態について、図１２Ａに示す元の画像１２００Ａを参照して、以下に詳細に説明する。
【０１５２】
図３Ｂを参照すると、ステップＳ３１で、画像読み取り手段２０１が、エッジが抽出される元の画像１２００Ａの各ピクセルのグレーレベルを読み出す。
【０１５３】
次いで、ステップＳ３２で、画像グレーレベル統計手段２０２が、画像読み取り手段２０１によって読み取られた元の画像１２００Ａの各ピクセルのグレーレベルについて統計処理を実行し、元の画像１２００Ａにおける各グレーレベル値に対応するピクセルの数を決定する。各グレーレベルでのピクセルの数に従って、画像ピクセル・グレーレベル・ヒストグラム１２００Ｂが元の画像１２００Ａについて生成され、これを図１２Ｂに示す。図１２Ｂでは、Ｘ座標がピクセルのグレーレベルを表し、Ｙ座標がピクセルの数を表す。
【０１５４】
次いで、ステップＳ３Ａ１で、黒ブロック発見手段２１１は、画像１２００Ａにおける黒ブロックを発見する。具体的な方法として、画像が最初に、それぞれ２４×２４ピクセルからなるサブブロックなど、小さいサブブロックに分割され、次いで各サブブロックが、それが黒ブロックであるかどうか判定される。
【０１５５】
黒ブロックを決定するための具体的な方法として、まず、相対的に小さいしきい値を画像全体について選択する。このしきい値は、Otsu法など、いかなる周知の２値化法を使用して得ることもできる。そして、１つのサブブロックにおいてしきい値より小さいグレーレベルを有するピクセルの数が事前設定数を超えた場合、このサブブロックが黒ブロックとして決定される。
【０１５６】
次いで、エリア接続が、それぞれ黒ブロックとして決定されたサブブロックについて実行される。これは混合エリア拡大法など、いずれかの単純なエリア拡大法によって行われる（混合エリア拡大法の詳細は、Wang,Runsheng著の「Image Analysis」、ISBN:7-81024-3136のセクション3.6,2で見ることができるが、接続される基本単位としてのピクセルが、本実施形態では小さい黒ブロックで置き換えられる）。エリア接続については２つの主な基準がある。すなわち、第１の基準は、統合黒ブロックであるかどうかが決定される２つの部分の空間的な近さであり、第２の基準は、統合黒ブロックであるかどうかが決定される２つの部分の内部特徴（各部分における黒いピクセルの率など）が一貫性を有するかどうかである。最後に、画像におけるすべての黒ブロックの位置の連鎖表が得られる。
【０１５７】
ステップＳ３Ａ２で、黒ブロック・ピクセル頻度除去手段２１２は、画像１２００Ａの黒ブロックのカウントを、図１２Ｂのヒストグラム１２００Ｂから除去する。具体的な方法として、ステップＳ３Ａ２で得られた黒ブロックの位置の連鎖表におけるすべての黒ブロックの全体のヒストグラムが、この連鎖表に基づいて計算され、次いでこの計算された全体のヒストグラムが、ステップＳ３２で得られた画像全体についての画像グレーレベル・ヒストグラム１２００Ｂから差し引かれる。こうして、修正されたヒストグラム１２００Ｃが得られ、これを図１２Ｃに示す。図１２Ｃからわかるように、黒ブロックが除去されるので、図１２Ｂの左側のピークが下げられる。
【０１５８】
ステップＳ３３〜Ｓ３６は第１の実施形態のものと類似しており、そのためこれらを簡単に記載するが、これらのより特定の詳細は、上の第１の実施形態についての記載において与えられた対応する記載を参照することによって理解することができる。
【０１５９】
ステップＳ３３で、ステップＳ３Ａ２において得られた元の画像１２００Ａの画像ピクセル・グレーレベル・ヒストグラム１２００Ｃに従って、画像分類手段２０３が、グレーレベル・ヒストグラムの幅、画像のフォアグラウンドおよびバックグラウンドを分割するための初期セグメント化しきい値、およびグレーレベル統計平均値などを含む画像の特徴を決定し、黒ブロックが除去された元の画像を、これらの特徴に基づいて、上記のようなタイプ０の画像、タイプＩの画像またはタイプＩＩの画像のいずれかに分類する。画像分類の処理の詳細は、図４およびその関連する記載から理解することができよう。
【０１６０】
ステップＳ３４で、黒ブロックが除去された元の画像１２００Ａをフォアグラウンドおよびバックグラウンドに分割するためのセグメント化しきい値が決定される。ステップＳ３３で、黒ブロックが除去されている画像１２００Ａがタイプ０の画像ではないと決定された場合、セグメント化しきい値を調節する必要がある。これは初期セグメント化しきい値が画像を、タイプＩの画像またはタイプＩＩの画像について、フォアグラウンドおよびバックグランドに適切に分割することができないためである。
【０１６１】
ステップＳ３５で、元の画像１２００Ａにおけるエッジが、ステップＳ３４で得られたセグメント化しきい値Ｔｈｆに従って抽出される。図１２Ｃを参照すると、グレーレベル・ヒストグラム１２００Ｃにおいて、Ｔｈｆ＝Ｔｈｉに従って、それぞれがセグメント化しきい値Ｔｈｆより小さいグレーレベルを有するすべてのピクセルのグレーレベル統計平均値Ａｖ１が計算される。類似の方法で、それぞれがセグメント化しきい値Ｔｈｆより大きいグレーレベルを有するすべてのピクセルのグレーレベル統計平均値Ａｖ２が計算され、したがってエッジ基準（Ａｖ２−Ａｖ１）が得られる。
【０１６２】
ステップＳ３６で、上のように得られた画像エッジ基準に基づいて、画像１２００Ａにおけるピクセルがエッジ・ピクセルであるかどうかが決定される。画像エッジは、Sobel演算子、Prewitt演算子またはRoberts Cross演算子などを使用して決定することができる。この実施形態ではSobel法を、画像内のエッジの抽出において使用する。
【０１６３】
元の画像１２００Ａにおけるすべてのエッジ・ピクセルを決定すると、元の画像１２００Ａのエッジ画像を抽出することができ、それにより図１２Ｅに示すようなエッジ画像１２００Ｅが得られる。エッジ画像１２００ＥをＲＡＭ１０９などの記憶装置の位置に格納することができ、あるいはこれをディスプレイまたはプリンタなどの出力デバイスに出力することができる。
【０１６４】
この実施形態によれば、セグメント化しきい値の両側のグレーレベル統計平均値の差（Ａｖ１−Ａｖ２）が直接画像エッジ基準として取られるが、本発明はこれに限定されないことに留意されたい。本発明の精神および範囲から逸脱することなく、画像エッジ基準を増減することができる。たとえば、係数によって乗算された（Ａｖ１−Ａｖ２）を画像エッジ基準として用いることができる。
【０１６５】
図１２Ｄは、本発明の第１の（すなわち、図３Ａのフローチャートを使用する）実施形態による、図１２Ａに示す元の画像１２００Ａの画像エッジ抽出の結果を示す。図１２Ｅおよび図１２Ｄを比較することによって、黒ブロックが画像の分類前に除去されているので、セグメント化しきい値決定における黒ブロックの影響をなくすことができることがわかる。すなわち、図１２Ｅに示すように改善されたエッジ画像を得る画像のエッジ検出のために、得られたセグメント化しきい値をより適切にすることができることがわかる。図１２Ｅから明らかにわかるように、図１２Ｄにおいて失われている文字のエッジが正しく検出される。
【０１６６】
本発明を、複数のデバイス（たとえば、ホスト・コンピュータ、インターフェイス・デバイス、リーダ、プリンタ、スキャナなど）によって形成されたシステム、または単一の装置（たとえば、コピー機、ファクシミリ機など）を含む装置に適用できることに留意されたい。
【０１６７】
本発明の目的はまた、上の実施形態の機能を実施することができるソフトウェア・プログラムのプログラム・コードを記録した記憶媒体を供給すること、および、この記憶媒体に格納されたプログラム・コードを、システムまたは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）を使用して読み出し、実行することによって達成することもできる。このような場合、記憶媒体から読み出されたプログラム・コード自体が上の実施形態の機能を実施し、このプログラム・コードを格納した記憶媒体が本発明を構成する。
【０１６８】
プログラム・コードを供給するための記憶媒体としては、たとえば、フロッピー・ディスク、ハード・ディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性メモリ、ＲＯＭなどを使用することができる。
【０１６９】
上の実施形態の機能は、コンピュータによるプログラム・コードの実行によって実施することができるだけでなく、このプログラム・コードの指示に基づいて、コンピュータ上で稼動しているＯＳ（オペレーティング・システム）によって実際の処理動作の一部または全部を実行することによって実施することもできる。
【０１７０】
上記からわかるように、本発明の方法はエッジ検出のための効率的な手法を提供し、得られたしきい値を特定の条件に従って変更することができ、したがって本発明の方法を幅広い範囲の応用例に適用することができ、より幅広い適応可能性を有する。画像内のエッジは画像処理にとても重要であり、そのため正確にエッジを得るためのソリューションには、２値化、ＯＣＲ（光学文字認識）、エンジニアリングの画像の正確な位置付けなどにおいて幅広い応用例を有する。
【０１７１】
さらに、記憶媒体から読み出されたプログラム・コードが、コンピュータに挿入された機能拡張カード、またはコンピュータに接続された機能拡張ユニットにおいて提供されたメモリに書き込まれた後、機能拡張カードに含まれたＣＰＵなどが処理の一部または全部をプログラム・コードのコマンドに従って実行し、上の実施形態の機能を実現する状況も、本発明に含まれる。
【０１７２】
本発明が上の記憶媒体に適用される状況では、記憶媒体が、実施形態の記載において記載されたフローチャート（図３Ａ、図３Ｂおよび図４ないし図７）に対応するプログラム・コードを格納する。
【０１７３】
多数の明らかに幅広く異なる実施形態を、本発明の精神および範囲から逸脱することなく行うことができるので、本発明は特定の実施形態に限定されず、付属の特許請求の範囲によってのみ定義されることを理解されたい。
【図面の簡単な説明】
【図１】本発明の第１および第２の実施形態の画像エッジ検出システムのハードウェア構成を示すブロック図である。
【図２Ａ】本発明の第１の実施形態の画像エッジ検出装置の構成を示すブロック図である。
【図２Ｂ】本発明の第２の実施形態の画像エッジ検出装置の構成を示すブロック図である。
【図３Ａ】本発明の第１の実施形態による、画像エッジ検出処理を示すフローチャートである。
【図３Ｂ】本発明の第２の実施形態による処理を示すフローチャートであり、図３Ａのフローチャートの変更であり、黒ブロック検出ステップおよび黒ブロック除去ステップが追加されたフローチャートである。
【図４】画像を分類するための処理を示すフローチャートである。
【図５】元の画像をフォアグラウンドおよびバックグラウンドに分割するためのセグメント化しきい値を計算するための処理を示すフローチャートである。
【図６】タイプＩの画像についての画像セグメント化しきい値を調節するための処理を示すフローチャートである。
【図７】タイプＩＩの画像についての画像セグメント化しきい値を調節するための処理を示すフローチャートである。
【図８Ａ】画像エッジが検出される元の画像の一実施例を示す図である。
【図８Ｂ】エッジが検出される画像のヒストグラムを示す図である。
【図８Ｃ】本発明の第１の実施形態による、図８Ａに示す元の画像についての画像エッジ検出の結果を示す図である。
【図９Ａ】エッジ検出が実行される元の画像のもう１つの実施例を示す図である。
【図９Ｂ】図９Ａに示す画像のヒストグラムを示す図である。
【図９Ｃ】本発明の第１の実施形態による、図９Ａに示す画像の画像エッジ検出の結果を示す図である。
【図１０Ａ】エッジ検出が実行される元の画像のもう１つの実施例を示す図である。
【図１０Ｂ】図１０Ａに示す画像のヒストグラムを示す図である。
【図１０Ｃ】本発明の第１の実施形態による、図１０Ａに示す画像の画像エッジ検出の結果を示す図である。
【図１１】グレーレベルの勾配を計算するための３ｘ３ Ｓｏｂｅｌ勾配演算子を例示する図である。
【図１２Ａ】図３Ｂに示すフローチャートを使用して検出される、元の画像の一実施例を示す図である。
【図１２Ｂ】図１２Ａに示す元の画像のヒストグラムの図である。
【図１２Ｃ】黒ブロックにおけるピクセルを、図１２Ａに示す元の画像から除去することによって得られたヒストグラムの図である。
【図１２Ｄ】図３Ａのフローチャートにより、図１２Ａの元の画像から得られたエッジ検出の結果の図である。
【図１２Ｅ】図３Ｂのフローチャートにより、図１２Ａの元の画像から得られたエッジ検出の結果の図である。
Claims (13)
- 記憶手段に記憶された画像を読み出し、当該画像内のエッジを検出するように画像処理装置が有する処理手段を制御する画像処理方法であって、
前記処理手段が、前記記憶手段に記憶された画像のグレーレベルの頻度を計算するグレーレベル統計ステップと、
前記処理手段が、前記画像を、前記計算された頻度に基づいて分類する画像分類ステップと、
前記処理手段が、前記画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記画像分類ステップの結果に基づいて決定するセグメント化しきい値決定ステップと、
前記処理手段が、前記画像の前記フォアグラウンドおよび前記バックグラウンドにおけるピクセルの前記グレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算ステップと、
前記処理手段が、前記画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出ステップとを備えることを特徴とする画像処理方法。 - 前記画像分類ステップにおいて、前記処理手段が、前記画像を、
標準の画像に対応する第１の画像タイプと、
不明瞭なフォアグラウンドを有する画像に対応する第２の画像タイプと、
不明瞭なバックグラウンドを有する画像に対応する第３の画像タイプとのうちの１つに分類することを特徴とする請求項１に記載の画像処理方法。 - 前記セグメント化しきい値決定ステップは、
前記処理手段が、前記第１の画像タイプに対する処理によって初期セグメント化しきい値を計算する計算ステップと、
前記処理手段が、前記初期セグメント化しきい値および前記画像分類ステップの前記結果に従って、調節されたセグメント化しきい値を得る調節ステップとを含むことを特徴とする請求項２に記載の画像処理方法。 - 前記画像分類ステップにおいて前記第１の画像タイプに分類される画像は、前記初期セグメント化しきい値に従って決定される前記画像のフォアグラウンドが不適当なものとなる画像であることを特徴とする請求項２に記載の画像処理方法。
- 前記画像分類ステップにおいて前記第２の画像タイプに分類される画像は、前記初期セグメント化しきい値に従って決定される前記画像のバックグラウンドが不適当なものとなる画像であることを特徴とする請求項２に記載の画像処理方法。
- 前記セグメント化しきい値決定ステップにおいて、前記処理手段は、前記第２の画像タイプまたは前記第３の画像タイプであると前記画像分類ステップで分類された画像について、前記セグメント化しきい値を、前記初期セグメント化しきい値から前記グレーレベル統計平均値までの前記ピクセルの数に基づいて決定することを特徴とする、請求項４または５に記載の画像処理方法。
- 前記エッジ基準計算ステップにおいて、前記処理手段は、前記セグメント化しきい値より小さいピクセルのグレーレベルの統計平均値、および前記セグメント化しきい値より大きいピクセルのグレーレベルの統計平均値を計算した結果に基づいて、前記エッジ基準を計算することを特徴とする請求項１または３に記載の画像処理方法。
- 前記エッジ基準計算ステップで計算されるエッジ基準は、前記セグメント化しきい値より小さいピクセルのグレーレベルの前記統計平均値と、前記セグメント化しきい値より大きいピクセルのグレーレベルの前記統計平均値との間の差に依存することを特徴とする請求項７に記載の画像処理方法。
- 元の画像内のエッジを検出するための画像形成装置であって、
前記元の画像のグレーレベルの頻度を計算するグレーレベル統計手段と、
前記元の画像を前記計算された頻度に基づいて分類する画像分類手段と、
前記元の画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記画像分類手段による前記分類の結果に基づいて決定するセグメント化しきい値決定手段と、
前記元の画像の前記フォアグラウンドおよび前記バックグラウンドにおけるピクセルの前記グレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算手段と、
前記元の画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出手段とを備えることを特徴とする画像形成装置。 - 記憶手段に記憶された画像を読み出して当該画像内のエッジを検出する検出処理をコンピュータに実行させるプログラム・コードを格納したコンピュータ読取可能な記憶媒体であって、前記検出処理が、
コンピュータの処理手段が、前記画像のグレーレベルの頻度を計算するグレーレベル統計ステップと、
前記処理手段が、前記画像を、前記計算された頻度に基づいて分類する画像分類ステップと、
前記処理手段が、前記画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記画像分類の結果に基づいて決定するセグメント化しきい値決定ステップと、
前記処理手段が、前記画像の前記フォアグラウンドおよび前記バックグラウンドにおけるピクセルの前記グレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算ステップと、
前記処理手段が、前記画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出ステップとを含むことを特徴とする、コンピュータ読取可能な記憶媒体。 - 記憶手段に記憶された画像を読み出し、当該画像におけるエッジを検出するように画像処理装置が有する処理手段を制御する画像処理方法であって、
前記処理手段が、前記記憶手段に記憶された画像のグレーレベルの頻度を計算するグレーレベル統計ステップと、
前記処理手段が、前記画像から、黒ブロックに対応する画像エリアを検出する黒ブロック検出ステップと、
前記処理手段が、前記検出された黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度を、前記グレーレベル統計ステップにおいて計算された前記グレーレベルの頻度から除去する黒ブロック・ピクセル除去ステップと、
前記処理手段が、前記黒ブロック・ピクセル除去ステップで除去された後の頻度に基づいて、前記画像を分類する画像分類ステップと、
前記処理手段が、前記画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記画像分類ステップの結果に基づいて決定するセグメント化しきい値決定ステップと、
前記処理手段が、前記黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度が除去された、前記画像のフォアグラウンドおよびバックグラウンドにおけるピクセルのグレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算ステップと、
前記処理手段が、前記画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出ステップとを備えることを特徴とする画像処理方法。 - 元の画像における画像エッジを検出するための画像処理装置であって、
前記元の画像のグレーレベルの頻度を計算するグレーレベル統計手段と、
前記元の画像から、黒ブロックに対応する画像エリアを検出する黒ブロック検出手段と、
前記検出された黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度を、前記グレーレベル統計手段によって計算された前記グレーレベルの頻度から除去する黒ブロック・ピクセル除去手段と、
前記黒ブロック・ピクセル除去手段で除去された後の頻度に基づいて、前記元の画像を分類する画像分類手段と、
前記元の画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記分類の結果に基づいて決定するセグメント化しきい値決定手段と、
前記黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度が除去された、前記画像のフォアグラウンドおよびバックグラウンドにおけるピクセルのグレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算手段と、
前記画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出手段とを備えることを特徴とする画像処理装置。 - 記憶手段に記憶された画像を読み出して当該画像内のエッジを検出する検出処理をコンピュータに実行させるプログラム・コードを格納したコンピュータ読取可能な記憶媒体であって、前記検出処理が、
コンピュータの処理手段が、前記画像のグレーレベルの頻度を計算するグレーレベル統計ステップと、
前記処理手段が、前記画像から、黒ブロックに対応する画像エリアを検出する黒ブロック検出ステップと、
前記処理手段が、前記検出された黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度を、前記グレーレベル統計ステップで計算された前記グレーレベルの頻度から除去する黒ブロック・ピクセル除去ステップと、
前記処理手段が、前記黒ブロック・ピクセル除去ステップで除去された後の頻度に基づいて、前記画像を分類する画像分類ステップと、
前記処理手段が、前記画像のフォアグラウンドおよびバックグラウンドを分割するために使用されるセグメント化しきい値を、前記画像分類ステップの結果に基づいて決定するセグメント化しきい値決定ステップと、
前記処理手段が、前記黒ブロックの画像エリアにおけるピクセルのグレーレベルの頻度が除去された、前記画像のフォアグラウンドおよびバックグラウンドにおけるピクセルのグレーレベルについての統計値を計算し、該統計値に基づいてエッジ基準を計算するエッジ基準計算ステップと、
前記処理手段が、前記画像内のエッジを、前記計算されたエッジ基準に従って抽出するエッジ抽出ステップとを含むことを特徴とする、コンピュータ読取可能な記憶媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN01124725.8 | 2001-07-26 | ||
| CNB011247258A CN1184796C (zh) | 2001-07-26 | 2001-07-26 | 图象处理方法和设备以及图象处理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003132358A JP2003132358A (ja) | 2003-05-09 |
| JP3809404B2 true JP3809404B2 (ja) | 2006-08-16 |
Family
ID=4665793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002218739A Expired - Fee Related JP3809404B2 (ja) | 2001-07-26 | 2002-07-26 | 画像処理方法、装置およびシステム |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7054485B2 (ja) |
| EP (1) | EP1310912B1 (ja) |
| JP (1) | JP3809404B2 (ja) |
| KR (1) | KR100512831B1 (ja) |
| CN (1) | CN1184796C (ja) |
| DE (1) | DE60215440D1 (ja) |
Families Citing this family (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10301898A1 (de) * | 2003-01-17 | 2004-08-05 | Robert Bosch Gmbh | Verfahren zur Einstellung eines Bildsensors |
| DE10326035B4 (de) * | 2003-06-10 | 2005-12-22 | Hema Electronic Gmbh | Verfahren zur adaptiven Fehlererkennung auf einer strukturierten Oberfläche |
| DE10326031B4 (de) * | 2003-06-10 | 2005-12-22 | Hema Electronic Gmbh | Verfahren zur adaptiven Kantenerkennung |
| DE10326033B4 (de) * | 2003-06-10 | 2005-12-22 | Hema Electronic Gmbh | Verfahren zur adaptiven Fehlererkennung auf einer inhomogenen Oberfläche |
| CN100337463C (zh) * | 2003-07-21 | 2007-09-12 | 宇东科技股份有限公司 | 影像黑白交界的搜寻方法 |
| CN1296865C (zh) * | 2003-09-29 | 2007-01-24 | 致伸科技股份有限公司 | 单色文字增强方法 |
| CN1305008C (zh) * | 2003-12-22 | 2007-03-14 | 中国科学院自动化研究所 | 弥散张量核磁成像脑缺血病灶区的自动分割方法 |
| US7450754B2 (en) * | 2004-03-23 | 2008-11-11 | Microsoft Corporation | Radiometric calibration from a single image |
| JP4598426B2 (ja) * | 2004-03-30 | 2010-12-15 | 富士通株式会社 | 境界抽出方法、プログラムおよびこれを用いた装置 |
| CN100363941C (zh) * | 2004-11-18 | 2008-01-23 | 致伸科技股份有限公司 | 图文分离方法 |
| CN100353372C (zh) * | 2004-11-19 | 2007-12-05 | 致伸科技股份有限公司 | 数字影像数据的图文分离方法 |
| US7359552B2 (en) * | 2004-12-15 | 2008-04-15 | Mitsubishi Electric Research Laboratories, Inc. | Foreground detection using intrinsic images |
| CN1797429A (zh) * | 2004-12-29 | 2006-07-05 | 鸿富锦精密工业（深圳）有限公司 | 二维图像分析处理系统及方法 |
| CN100378751C (zh) * | 2005-01-21 | 2008-04-02 | 致伸科技股份有限公司 | 用以分辨图、文的辨析系统以及方法 |
| JP4646797B2 (ja) * | 2005-02-01 | 2011-03-09 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム |
| JP4556813B2 (ja) * | 2005-09-08 | 2010-10-06 | カシオ計算機株式会社 | 画像処理装置、及びプログラム |
| CN100442308C (zh) * | 2005-12-02 | 2008-12-10 | 佳能株式会社 | 文档图像的二值化方法和设备 |
| US7720283B2 (en) * | 2005-12-09 | 2010-05-18 | Microsoft Corporation | Background removal in a live video |
| CN100371944C (zh) * | 2006-03-03 | 2008-02-27 | 清华大学 | 基于反射或透射光强分布特性的灰度图像分割方法 |
| CN100409658C (zh) * | 2006-09-08 | 2008-08-06 | 南京大学 | 图像缩放器中抗边缘锯齿噪声的方法 |
| US7706592B2 (en) * | 2006-09-20 | 2010-04-27 | Primax Electronics Ltd. | Method for detecting a boundary of a monetary banknote within an image |
| US8150110B2 (en) * | 2006-11-22 | 2012-04-03 | Carestream Health, Inc. | ROI-based rendering for diagnostic image consistency |
| KR100850561B1 (ko) | 2007-01-03 | 2008-08-06 | (주)폴리다임 | 디지털 이미지 내의 픽셀 윤곽 가로선 제거 방법 |
| KR100846513B1 (ko) | 2007-01-15 | 2008-07-17 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| KR100873638B1 (ko) | 2007-01-16 | 2008-12-12 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| US20080174607A1 (en) * | 2007-01-24 | 2008-07-24 | Ali Iranli | Systems and methods for reducing power consumption in a device through a content adaptive display |
| JP5367241B2 (ja) * | 2007-07-06 | 2013-12-11 | 株式会社Ｐｆｕ | 画像読取処理装置、画像読取装置、および、画像読取処理方法 |
| JP5159226B2 (ja) * | 2007-09-25 | 2013-03-06 | 株式会社東芝 | 画像データ処理システム |
| US8094951B2 (en) * | 2008-02-22 | 2012-01-10 | Himax Technologies Limited | Coding system and method for a bit-plane |
| KR101089902B1 (ko) | 2010-08-06 | 2011-12-05 | 동아대학교 산학협력단 | 디지털 이미지의 에지 영역 판단 장치 및 방법 |
| CN101923653B (zh) * | 2010-08-17 | 2013-03-06 | 北京大学 | 一种基于多层次内容描述的图像分类方法 |
| US20120075440A1 (en) * | 2010-09-28 | 2012-03-29 | Qualcomm Incorporated | Entropy based image separation |
| US10102619B1 (en) | 2011-03-28 | 2018-10-16 | Hermes Microvision, Inc. | Inspection method and system |
| US8928781B2 (en) | 2011-11-30 | 2015-01-06 | Microsoft Corporation | Response function determination by rank minimization |
| US9861040B2 (en) * | 2012-02-10 | 2018-01-09 | Deere & Company | Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle |
| CN102843492A (zh) * | 2012-08-10 | 2012-12-26 | 北京航空航天大学 | 一种基于透射扫描的重叠扫描与图像分离方法 |
| US20140327796A1 (en) * | 2013-05-02 | 2014-11-06 | National Chung Cheng University | Method for estimating camera response function |
| JP6221656B2 (ja) * | 2013-11-08 | 2017-11-01 | 株式会社リコー | 情報処理装置、情報処理方法およびプログラム |
| CN103606153B (zh) * | 2013-11-19 | 2016-04-13 | 华中科技大学 | 一种从粪便显微图像中提取细胞的方法 |
| US9747673B2 (en) * | 2014-11-05 | 2017-08-29 | Dolby Laboratories Licensing Corporation | Systems and methods for rectifying image artifacts |
| CN104462381B (zh) * | 2014-12-11 | 2019-03-19 | 中细软移动互联科技有限公司 | 商标图像检索方法 |
| WO2016095081A1 (en) * | 2014-12-15 | 2016-06-23 | Qualcomm Incorporated | Line-of-sight searching using raster scan information |
| JP6635763B2 (ja) * | 2015-11-16 | 2020-01-29 | キヤノンメディカルシステムズ株式会社 | 画像処理装置及び画像処理プログラム |
| US9710911B2 (en) * | 2015-11-30 | 2017-07-18 | Raytheon Company | System and method for generating a background reference image from a series of images to facilitate moving object identification |
| CN106612431A (zh) * | 2016-01-29 | 2017-05-03 | 四川用联信息技术有限公司 | 一种基于hevc平台对深度图像和彩色图像的编码压缩方法 |
| DE102016225349A1 (de) * | 2016-12-16 | 2018-06-21 | Robert Bosch Gmbh | Verfahren zum Überprüfen einer Gültigkeit von Bilddaten |
| US10958807B1 (en) * | 2018-02-08 | 2021-03-23 | Digimarc Corporation | Methods and arrangements for configuring retail scanning systems |
| US11995511B2 (en) | 2018-02-08 | 2024-05-28 | Digimarc Corporation | Methods and arrangements for localizing machine-readable indicia |
| US10880451B2 (en) | 2018-06-08 | 2020-12-29 | Digimarc Corporation | Aggregating detectability metrics to determine signal robustness |
| CN110046646B (zh) * | 2019-03-07 | 2023-06-30 | 深圳先进技术研究院 | 图像处理方法、系统、计算设备及存储介质 |
| CN110349530B (zh) * | 2019-06-12 | 2021-07-23 | 北海惠科光电技术有限公司 | 文字边界的处理方法、显示面板及计算机可读存储介质 |
| US11282209B2 (en) * | 2020-01-10 | 2022-03-22 | Raytheon Company | System and method for generating contours |
| CN113311440B (zh) * | 2020-02-26 | 2024-06-14 | 苏州佳世达电通有限公司 | 用于改善超声波影像质量的方法及其探测系统 |
| CN111369557B (zh) * | 2020-03-31 | 2023-09-15 | 浙江华感科技有限公司 | 图像处理方法、装置、计算设备和存储介质 |
| CN111583272B (zh) * | 2020-04-17 | 2023-03-03 | 西安工程大学 | 一种联合最大熵的改进Niblack红外图像分割方法 |
| CN112053377A (zh) * | 2020-08-28 | 2020-12-08 | 常州码库数据科技有限公司 | 一种药物合成过程控制方法及系统 |
| CN113298812B (zh) * | 2021-04-22 | 2023-11-03 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 图像分割方法、装置、系统、电子设备及可读存储介质 |
| CN113269800B (zh) * | 2021-05-25 | 2023-05-12 | 华能海南发电股份有限公司澄迈光伏电站 | 一种太阳能光伏组件红外图像分割方法 |
| US20230094787A1 (en) * | 2021-09-30 | 2023-03-30 | Adobe Inc. | Utilizing machine-learning based object detection to improve optical character recognition |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58215882A (ja) * | 1982-06-07 | 1983-12-15 | インタ−ナシヨナル ビジネス マシ−ンズ コ−ポレ−シヨン | ドキユメント分類方法 |
| EP0187724B1 (en) * | 1985-01-10 | 1992-09-30 | Nippon Telegraph And Telephone Corporation | Halftone picture processing apparatus |
| JPH0666884B2 (ja) | 1985-02-23 | 1994-08-24 | 日本電信電話株式会社 | 網点写真領域識別方法 |
| US5150433A (en) * | 1989-12-01 | 1992-09-22 | Eastman Kodak Company | Histogram/variance mechanism for detecting presence of an edge within block of image data |
| JP3118484B2 (ja) * | 1992-09-03 | 2000-12-18 | 富士通株式会社 | 画像の領域分割方式 |
| JPH06150002A (ja) * | 1992-11-12 | 1994-05-31 | Hitachi Ltd | 画像セグメンテーション方法及びシェーディング補正方法 |
| JP3336046B2 (ja) | 1992-11-16 | 2002-10-21 | 株式会社リコー | 像域分離装置 |
| US5379130A (en) * | 1992-12-02 | 1995-01-03 | Industrial Technology Research Institute | Text/image separation method |
| JPH06259553A (ja) * | 1993-03-10 | 1994-09-16 | Nippon Telegr & Teleph Corp <Ntt> | 物体抽出しきい値の決定装置 |
| JPH07296171A (ja) * | 1994-04-25 | 1995-11-10 | Sony Corp | 画像領域分割方法 |
| US5583659A (en) * | 1994-11-10 | 1996-12-10 | Eastman Kodak Company | Multi-windowing technique for thresholding an image using local image properties |
| JP3426746B2 (ja) | 1994-11-22 | 2003-07-14 | 京セラミタ株式会社 | 網点領域検索装置 |
| US5754312A (en) * | 1994-11-22 | 1998-05-19 | Mita Industrial Co., Ltd. | Method of and apparatus for detecting pixels constituting dotted image area utilizing distance between change points of pixel values |
| JPH09107466A (ja) * | 1995-10-09 | 1997-04-22 | Sharp Corp | 領域判別装置 |
| JP3568732B2 (ja) * | 1997-04-18 | 2004-09-22 | シャープ株式会社 | 画像処理装置 |
| US6094508A (en) * | 1997-12-08 | 2000-07-25 | Intel Corporation | Perceptual thresholding for gradient-based local edge detection |
| JP3717357B2 (ja) * | 2000-01-07 | 2005-11-16 | 理想科学工業株式会社 | ２値化閾値算出方法および装置 |
| KR100499121B1 (ko) * | 2000-03-03 | 2005-07-04 | 삼성전자주식회사 | 자동 문턱치화 기술을 이용한 영상분할 장치 및 그 방법 |
| KR20020027679A (ko) * | 2000-10-04 | 2002-04-15 | 박종섭 | 3-레벨 임계 알고리듬을 이용한 에지 발견 방법 |
-
2001
- 2001-07-26 CN CNB011247258A patent/CN1184796C/zh not_active Expired - Fee Related
-
2002
- 2002-07-12 US US10/193,262 patent/US7054485B2/en not_active Expired - Fee Related
- 2002-07-23 DE DE60215440T patent/DE60215440D1/de not_active Expired - Lifetime
- 2002-07-23 EP EP02255149A patent/EP1310912B1/en not_active Expired - Lifetime
- 2002-07-25 KR KR10-2002-0043881A patent/KR100512831B1/ko not_active IP Right Cessation
- 2002-07-26 JP JP2002218739A patent/JP3809404B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003132358A (ja) | 2003-05-09 |
| KR20030010530A (ko) | 2003-02-05 |
| US7054485B2 (en) | 2006-05-30 |
| US20030063802A1 (en) | 2003-04-03 |
| CN1400807A (zh) | 2003-03-05 |
| EP1310912B1 (en) | 2006-10-18 |
| CN1184796C (zh) | 2005-01-12 |
| EP1310912A3 (en) | 2004-09-15 |
| EP1310912A2 (en) | 2003-05-14 |
| DE60215440D1 (de) | 2006-11-30 |
| KR100512831B1 (ko) | 2005-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3809404B2 (ja) | 画像処理方法、装置およびシステム | |
| JP3833153B2 (ja) | 画像処理方法及び装置 | |
| JP3768052B2 (ja) | カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体 | |
| JP4118749B2 (ja) | 画像処理装置、画像処理プログラムおよび記憶媒体 | |
| JP2004529404A (ja) | 画像を分析するための方法及び装置 | |
| JP2009535899A (ja) | 走査されたカラー画像からの複調画像の生成 | |
| JP4350778B2 (ja) | 画像処理装置、画像処理プログラムおよび記録媒体 | |
| US20100054587A1 (en) | Image processing apparatus and image processing method | |
| JP2002199206A (ja) | メッセージ埋込並びに抽出方法、装置および媒体 | |
| JP3985928B2 (ja) | 画像処理方法、画像処理装置、文字認識装置及び記憶媒体 | |
| JP4001446B2 (ja) | 画像背景色特定のための方法、装置及びコンピュータ読み取り可能な記録媒体 | |
| EP1310904A9 (en) | Method for processing document, recorded medium on which document processing program is recorded and document processor | |
| JP3830350B2 (ja) | カラー画像処理方法、カラー画像処理装置、プログラム、及び記録媒体 | |
| RU2520407C1 (ru) | Способ и система улучшения текста при цифровом копировании печатных документов | |
| US8125691B2 (en) | Information processing apparatus and method, computer program and computer-readable recording medium for embedding watermark information | |
| Konya et al. | Adaptive methods for robust document image understanding | |
| JP4049296B2 (ja) | カラー画像情報処理方法、該方法の実行に用いるプログラム、及びカラー画像情報処理装置 | |
| JP4324532B2 (ja) | 画像処理装置および記憶媒体 | |
| CN112053275B (zh) | 抗打印扫描攻击的pdf文档水印方法及装置 | |
| JP4005243B2 (ja) | 画像処理装置 | |
| JP2010218106A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2008219086A (ja) | 情報埋め込み装置、情報抽出装置及び情報埋め込みシステム | |
| JP2005208981A (ja) | 特徴量抽出装置および特徴量抽出方法、ならびに文書ファイリング装置 | |
| JP2000331118A (ja) | 画像処理装置及び記録媒体 | |
| JP3277977B2 (ja) | 文字認識方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060509 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060522 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130526 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |