JP4535584B2 - ディジタル画像処理方法 - Google Patents
ディジタル画像処理方法 Download PDFInfo
- Publication number
- JP4535584B2 JP4535584B2 JP2000265229A JP2000265229A JP4535584B2 JP 4535584 B2 JP4535584 B2 JP 4535584B2 JP 2000265229 A JP2000265229 A JP 2000265229A JP 2000265229 A JP2000265229 A JP 2000265229A JP 4535584 B2 JP4535584 B2 JP 4535584B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- digital image
- boundary
- data
- bins
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Input (AREA)
- Facsimile Scanning Arrangements (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、一般に、背景ブリード（にじみ）が著しく存在している状況下での画像入力デバイスのプラテン上に置かれた数枚のドキュメントの特定画像の検出に係り、より詳細には、孤立した画像、線形回帰アルゴリズム、及び同一線上(collinearity)検出子を結合する技術を用いて、プラテン上に置かれた一連の画像の自動検出及びセグメンテーションに関する。
【０００２】
【従来の技術】
特にディジタル複写機及びスキャナにおいて、走査システムの使用の容易性を高めるためには、入力スキャナのプラテン上で走査されたオブジェクト（例えば、ハードコピードキュメント）を自動的に検出しセグメント化することが望ましい。この自動検出とセグメンテーションを容易にするには、オブジェクトの位置、形状、及び回転角を識別する必要がある。このような能力によって、ドキュメントの走査に要する時間を減少することにより生産性を高めることができ、複数の画像を効率的に走査することが可能となり、ドキュメント送りメカニズム上にドキュメントを正確に配置する必要性を減少させることできる。
【０００３】
【発明が解決しようとする課題】
本発明は、一連のドキュメントの走査された画像内の複数のオブジェクトの境界を自動的に決定するように意図されたシステムに関する。本発明の目的は、多数の図形と画像処理技術を組合わせて自動化されたシステムを生成し、これによって、ディジタル複写機と走査システムの生産性を向上させることにある。
【０００４】
【課題を解決するための手段】
本発明は、１）入力画像内の各オブジェクトを検索し、２）識別されたオブジェクトの形状（例：矩形）をモデリングし、３）ディジタル画像内に予め定められた位置でこのオブジェクトを配置する、ことによって上記の目的を達成する。
【０００５】
本発明の一つの態様は、オブジェクトの複数の表示のうちの少なくとも一つを含むディジタル画像を受け取るステップと、このディジタル画像の複数の画像のうちの少なくとも一つになるようにこのディジタル画像を処理するステップと、を備え、この処理ステップがこのディジタル画像のこれら複数の画像の各々を構成する複数のエッジポイントを有する複数のビンを定義付けるステップを含む、検出された画像のエッジのブリードを低減する、画像形成入力デバイスを用いたディジタル画像処理方法である。
【０００６】
本発明の一つの態様は、９０度に接近するエッジを有するビンを識別するステップと、この９０度のエッジに接近するビンにフィットする矩形画像をモデリングするステップと、を備える、エッジの輪郭を決定して境界ボックスを生成することによって、検出された画像のエッジのブリードを低減する、画像形成入力デバイスを用いたディジタル画像処理方法である。
【０００７】
本発明の一つの態様は、オブジェクトの複数の表示のディジタル画像を受け取るステップとこのディジタル画像を表す複数の画像へこのディジタル画像を処理するステップとを備えるディジタル画像処理方法である。
【０００８】
本発明の一つの態様は、９０度に接近するエッジを有するエッジ輪郭上でビンを識別するステップと、これらの識別されたビン毎に矩形画像をモデリングするステップと、を備える、エッジの輪郭を決定して境界ボックスを生成することによって、検出された画像のエッジのブリードを低減する、画像形成入力デバイスを用いたディジタル画像処理方法である。
【０００９】
本明細書中に記載されている技術によって、ユーザが、ドキュメントや他のオブジェクトを臨機応変に走査し、ディジタル画像内のドキュメントの形状を自動認識し、このオブジェクトを取り込んだディジタルドキュメントを作り上げることが可能となる。
【００１０】
上記の技術は、著しいブリードの存在下にあっても、走査プロセスの効率性を高めるので有利である。
【００１１】
【発明の実施の形態】
本発明を全般的に理解してもらうために図面を参照されたい。図中、全体を通して、同一の構成要素を示すために同様の参照番号が付されている。本発明を説明するために、記載中に以下の用語が用いられている。
【００１２】
用語「データ」とは、本明細書中では、情報を示すか又は情報を含む物理的な信号をいう。データのアイテムが多数の代替可能データの一つを示すことができる場合、このデータのアイテムは多数の「値」のうちの一つを有する。例えば、「ビット」とも呼ばれるデータのバイナリ（２進）アイテムは、「１」と「０」や「オン」と「オフ」又は、「ハイ」と「ロー」と呼ばれる互換性のある二つの値のうちの一つを有する。二つのビットが異なる値を有するならば、一つのビットは他のビットの「逆」である。Ｎビットのデータのアイテムは、２×Ｎ個の値のうちの一つを有する。データの「マルチビット」アイテムは、一つより多くのビットを含むデータのアイテムである。
【００１３】
「メモリ回路」又は「メモリ」は、データを記憶することができる任意の回路であり、局所及び遠隔メモリ並びに入力／出力デバイスを含んでいてもよい。例としては、半導体ＲＯＭ、ＲＡＭ、及びこれらがアクセスできるデータ記憶媒体を有する記憶媒体アクセスデバイス、が含まれる。「メモリセル」は、ビット、他のｎ個のアレイディジットやアナログ値等の単一ユニットのデータを記憶することができるメモリ回路である。
【００１４】
信号は、代替信号のセットのうちの表示された信号を発生させる場合、これらの代替信号のセットのうちの一つを「表示」又は「選択」する。例えば、一つの信号は一連のビットセットのうちの一つのビットセットを演算に使用するように表示することができ、この場合、この信号は表示されたビットセットを演算で使用させるようにする。
【００１５】
画像は、文字や単語やテキスト以外に図形等の他の特徴を含んでいてもよい。テキストは、ドキュメントのページにおける画像のような一つ以上のセットの画像内に含まれていてもよい。画像は、各々が画像である、画像内の特色を識別するために処理されてもよい。
【００１６】
「ビン」は、略同一線上のエッジポイントのリストである。エッジポイントのリストは境界を直線として表す一連のビンに変換される。
【００１７】
オブジェクトは、任意のサイズ及び形状のオブジェクトであってもよいし、限定はされないが、位置、形状及び配向を含む「物理的な属性」又は特徴を有している。例えば、オブジェクトはドキュメントであってもよく、その際、ドキュメントは画像入力デバイスのプラテン上に置かれ、このプラテンの領域はその表示を発生するためにディジタル化される。
【００１８】
データのアイテムは、このデータのアイテムが画像生成するために十分な情報を含んでいる時、画像を「定義付ける」。例えば、２次元のアレイは、アレイ内のデータの各アイテムが画像の各ロケーションのカラーを示す値を提供することによって、画像の全部又は任意の部分を定義付けることができる。
【００１９】
データのアイテムは、このデータのアイテムが十分な情報を含み、セット内の全ての画像を生成する時、画像セットを「定義付ける」。
【００２０】
画像内の各ロケーションは画素と呼ばれてもよい。データの各アイテムが値を提供する、画像を定義付けるアレイにおいて、一つのロケーションのカラーを表す各値は「画素値」と呼ばれてもよい。各画素値は、「バイナリ形態」の画像におけるビット、「グレースケール形態」の画像におけるビット、又は「色座標形態」の画像における色空間座標のセットであり、バイナリ形態、グレースケール形態、及び色座標形態はそれぞれ画像を定義付ける２次元アレイである。
【００２１】
ある演算は、画像の部分に対応するデータのアイテム上で動作する時、「画像処理」を実行すると呼ばれる。
【００２２】
画素は、他の画素がこれらの画素間に介在せず、これらの画素が隣り合うための適正基準を満たしている時、画像内で「近隣」又は「近傍」の画素である。画素が矩形で２次元画像内で行と列に現れるならば、各画素は、使用する基準に応じて、４個又は８個の近傍画素を有する。
【００２３】
二つの近傍画素がその間でのエッジの発生に対する適正基準に従って十分に異なる画素値を有する時、画像内に「エッジ」が発生する。用語「エッジ画素」又は「境界画素」は、エッジが発生する二つの近傍画素のうちの一つ又は両方に用いてもよい。
【００２４】
「画像特徴」又は「特徴」は画像の測定可能な属性である。演算は、画像を定義付けるデータを使って特徴を表すデータを生成することによって、この特徴を「測定」することができる。特徴が発生する度に略同じ結果を生じるように特徴が測定される場合、「画像に対して」特徴が測定されると呼ばれる。
【００２５】
第１の画像の「バージョン」とは、この第１の画像を定義付けるデータのアイテムを使って生成された第２の画像である。この第２の画像は、第１の画像と同一の場合もあるし、解像度のロス、第１の画像を定義付けるデータの変更、若しくは、第１の画像の画素値を変更する結果をもたらす他のプロセスによって、変更される場合もある。
【００２６】
「画像入力デバイス」は、画像を受け取り、この画像のバージョンを定義付けるデータのアイテムを提供することができるデバイスである。「スキャナ」は、ドキュメントを走査する等の走査（スキャニング）動作によって画像を受け取る画像入力デバイスである。スキャナは、走査中に、ドキュメントを支持するために透明の表面（プラテン）又は等価の手段を有していてもよい。他の周知の画像入力デバイスは、ディジタルカメラ、ファクシミリマシン、及びビデオレコーダ、又は、そのデバイスが向けられるオブジェクトの表面から反射した光の強度を表すデータ信号を記憶するための能力を有する任意の画像記憶デバイス、を有する。画像生成プログラムを有する汎用コンピュータが画像入力デバイスであってもよい。
【００２７】
「画像出力デバイス」は、画像を定義付けるデータのアイテムを受け取り、出力としての画像を提供又は作成することができるデバイスである。「ディスプレイ」とは、人間がビューできる形態で出力画像を提供する画像出力デバイスであり、「プリンタ」とは、人間がビューできる、ハードコピーの形態で出力画像を作成する画像出力デバイスである。
【００２８】
図１及び図２を参照すると、本発明に用いられるディジタルプリントシステム２０が示されている。
【００２９】
例えば、システム２０は、Xerox DocuColor（登録商標）４０ディジタルカラープリントシステム、又はXerox 5775（登録商標）ディジタルカラーコピアであってもよい。システム２０は、スキャナ２６のプラテン上に置かれたオリジナルドキュメント２４の画像を表すディジタルデータを受け取ることができるコンピュータ又はデータ処理ユニット２２（図２）を有する。コンピュータ２２は、最初に、スキャナ２６からのディジタル入力データを、画像が順次アクセスされるメモリ５２（例えば、ＲＡＭ又は磁気ディスク記憶装置）に記憶する。ディジタルデータ以外に、メモリ５２は、本明細書中に記載される発明に従ってプロセッサに画像処理動作を実行するように指示するのに好適なオブジェクトコードを記憶するプログラムメモリをも含んでいてよい。コンピュータ２２はユーザインタフェース（Ｕ／Ｉ）２８に連携しており、このユーザインタフェース２８は、キーボード、キーパッド、マウス、トラックボール、スタイラス又は同等のポインティングデバイス等の一つ以上のユーザ入力デバイス３０を有する。
【００３０】
システム２０の一部は、市場において入手可能な多数のプリンタに見られるようなレーザ駆動のゼログラフィック（電子写真）印刷エンジンを含み得る、プリンタ３４等のカラー画像出力デバイスである。好ましい実施の形態において、システム２０は、プロセッサ５０内で実行される画像処理ソフトウェアを使って、スキャナ２６からの入力として受け取られるディジタル画像データを処理するために用いられ、これにより、プリンタ３４によって描画され、メモリ５０内に記憶され、及び／又はネットワーク４０を介して他のデバイスに転送され得る出力ファイルを生成する。図１において、システム２０は一体化されたユニットとして描かれているが、複数の独立しているが相互接続されているユニットを備えてもよいことが理解されよう。図３によれば、システム２０内のスキャナプラテン上に置かれたドキュメントがレジストレーションエッジ２５に沿って正確に見当合わせされてはいないかもしれないことが理解されよう。例えば、以下に記述される特定の実施の形態は、図３に示されているように、スキャナ２６のプラテン上の中央の位置に置かれた単一ドキュメントオブジェクトＯである。本発明によれば、オブジェクトＯの位置、形状及び回転角を自動的に識別することが望ましい。走査ニップを通して、ドキュメントを送るために一組のローラを使ったファクシミリ転送システムにおいては、ディジタル化処理中、ドキュメントはスキューされることになり、本発明のアプリケーションがこのようなシステムに特に適用され得ることが理解されよう。
【００３１】
走査プラテンを走査することによって生成された入力画像が与えられると、本発明は、少なくともオブジェクトの位置、形状、及び配向角度を自動的に識別する。図４のフローチャートに示されているように、入力画像の処理中、コンピュータ２２によって実行される処理は、３つの一般的なステップを有する。第１に、ステップ１００において、画像内のオブジェクトが検索され、このオブジェクトの境界が一般的に識別される。オブジェクトが検索されると、ステップ２００において、このオブジェクトの形状がモデリングされる。オブジェクトを検索しその形状をモデリングした後で、構造化された画像、又はその中で画像とオブジェクトを示す同様のディジタルドキュメントフォーマットは、ステップ３００で示されるように生成され得る。この構造化された画像は、好ましくは、画像データそれ自体を表すデータのみならず、オブジェクトの位置、形状、若しくは配向、又はこれらのいくつかの組合せを表すデータを含む。或いは、出力は、ページ記述言語フォーマット、又はこれと同等のフォーマットであって、画像情報を検索可能な形状で記憶するのに適したものであってもよい。
【００３２】
本発明の実施の形態において、走査された入力画像（又はその低解像度のバージョン）はメモリフレームバッファ（ＲＡＭ）へロードされ、そこで、予め記述されたステップに従って解析される。以下の詳細な記述では、オブジェクトが画像の背景（例えば、プラテンカバー）と区別でき、また、画像の背景は連続していると仮定する。これらの簡略化のための仮定は、本発明を説明するためにのみに意図されており、本発明を限定するものではない。明細書中に記載されている発明がこのような仮定の範囲内のみに動作が限定されるものではないことは当業者に理解されよう。
【００３３】
図５及び図６のフローチャートによって示されているように、オブジェクト検索ステップ１００は、最初に入力画像の背景領域を識別し（ステップ１０２）、背景領域を特徴付け（ステップ１０４）、次に背景領域の特徴をシードとして使用して、適応シードフィル（塗潰し）アルゴリズムを用いて背景領域を表す全ての画素を識別する（ステップ１０６）ことによって実行される。背景画素はいかなるオブジェクトにも対応付けられない画素、即ち、より簡単に言えば、これらの背景画素はオブジェクトの外側の領域を表す画素であり、これらの画素の値は、走査中にオブジェクトが置かれる「背景」（例えば、プラテンカバーの裏面）によって、調整される。ある実施の形態は、走査された画像の上部左手コーナーにおける小さな領域の平均カラーを、背景カラーの初期推定値として用いる。或いは、例えば、米国特許第5,282,091号 のFarrelによる"A Programmable Apparatus for Determining Document Background Level"（ドキュメントの背景レベルを決定するプログラマブルデバイス）に記述されているように、背景カラーを決定するために他の標本化（サンプリング）動作が用いられてもよい。
【００３４】
ステップ１０４において背景カラーが特徴付けられると、好ましくは、適応アルゴリズムが背景カラーをモニターしこれらのオブジェクトを正確に識別するために用いられる。本発明の使用に適したシードフィルアルゴリズムの例は、１９９０年のGraphics Gems Ｉ, A. Glassner Ed., Academic Press （２７５〜２７７頁）に記載されており、本明細書中に参照することによって組込まれている。適応シードフィルアルゴリズムは、背景画素がプラテンの面積全体を覆うイルミネーションのばらつきからかなり大きな色のばらつきを生じ得ることから、必要となる。この適応シードフィルアルゴリズムは、背景、例えば、画像の上部左側コーナーによって特徴付けられる最初のシードポイントを用いて、走査されたカラー画像データに適用される。一般に、適応シードフィルアルゴリズムは、背景画素として識別される全ての連続画素を示すマスクによってバイナリフレームバッファを塗潰す。ステップ１１２によって示される単純な実施の形態において、カラーが現在の平均背景画素値の小さい距離εの範囲内にある場合、画素は背景画素であると考えられる。この距離は、レッド、グリーン、ブルー（ＲＧＢ）色空間のユークリッド距離として次のように計算される。
【００３５】
ｄ＝ＳＱＲＴ（（Ｐr−ＡｄＡｖｇr）2＋（Ｐg−ＡｄＡｖｇg）2＋（Ｐb−ＡｄＡｖｇb）2）
ここで、ＰkとＡｄＡｖｇkはそれぞれテスト中の画素のＲＧＢ成分と平均背景値であり、ｄは距離の測定値である。一つの実施の形態において、εの値は固定され、経験的に決定される。ステップ１１２で行われるテストは：
ｄ＜εの場合、画素Ｐは背景画素であり、そうでなければ、画素Ｐは前景画素である、というものである。
【００３６】
ステップ１１４では、背景として分類された最新のＮ個の画素の平均値を取ることによって平均背景カラーが順応して変更される。効率化のため、システムは好ましくは以下の式を使って適応平均値を計算する。
【００３７】
ＡｄＡｖｇ’＝（Ｎ*ＡｄＡｖｇ−ＡｄＡｖｇ＋ＬａｓｔＶａｌ）/Ｎ
ここで、ＡｄＡｖｇ’は変更された平均値であり、ＡｄＡｖｇはその前の適応平均値であり、ＬａｓｔＶａｌは背景として識別された最新画素の値であり、Ｎは平均化ウィンドウである。明らかに、これは、真に現在の平均値ではないが、現在の平均値を十分にトラック（追跡）しており、厳格な現在の平均値計算より演算上は効率的である。或いは、εの値は適応するように変更される。例えば、εは、背景等として識別された最新のいくつかの画素の標準偏差に基く場合もある。
【００３８】
背景領域の検出のために他の方法が用いられてもよく、また、背景からオブジェクトを区別するバイナリマップを得るプロセスを、背景カラーに基いた簡素化された閾値演算を使って、達成してもよいことが理解されよう。好ましい実施の形態において、背景カラーは、プラテンカバー（例えば、白いカバー）の色の関数であってもよい。更なる例としては、ディジタルカラー生成システムが、分光反射型の、又は、他の識別可能なプラテンカバーを用いてもよく、これによって、背景カラーが検出されると共に、背景カラーがオブジェクトとは区別される。
【００３９】
背景画素を識別しオブジェクトの境界の表示を行った後で、ノイズのあるエッジが、例えば、形態学的フィルタリング法を使って選択的に円滑化される。引き続いて、ステップ１２２において、連続する前景領域が検索され、これによって、オブジェクトを識別する。適応シードフィル動作（ステップ１０６）によって生成された背景マスクを走査することによってオブジェクトが識別される。上部左側の画素から始めて、マスクは背景画素としてこのマスク内で分類されない画素に対する走査ライン傾向を探索し、これによって、前景オブジェクトに対応付けられる画素を識別する。背景を識別するための適応シードフィルアルゴリズムの使用によって前景オブジェクトが囲まれることが確実とされる。即ち、完全な境界がオブジェクトの周辺付近に形成される。
【００４０】
ステップ１２４において、そのエッジを追跡することによってオブジェクトの境界が識別される。前景のオブジェクトの境界は単純８連結エッジ横断演算子を使って追跡され、この単純８連結エッジ横断演算子はオブジェクトのエッジを追跡するポイントの順序セットを提供する。このようなエッジ横断演算子には輪郭追跡演算が用いられ、単語や文字ベース認識システムと同様にチェーンコードを生成する。R. Bozinovic他の"Off-Line Cursive Script Word Recognition"（IEEEの会報）では、例えば、Pattern Analysis and Machine Intelligence, Vol. 11, No. 1(1989年１月)において、８連結プロセスについて記述している。複数のオブジェクトを検出する状況においては好ましくは一つの主要なオブジェクトが任意の多数の技術を用いて選択される。例えば、オブジェクトの選択は最大の周囲長のオブジェクトを記憶することによって又はオブジェクトのロケーションに基いて達成することができる。
【００４１】
ステップ１００に関して記述したようにして、オブジェクトが検索されると、次のステップ２００において、オブジェクトの形状がモデリングされる。簡略化の為に、以下の記述は矩形のオブジェクトを取り扱うが、本発明の説明が、他の多角形や曲線（例えば、円形又は楕円形のオブジェクト）によって表される部分を有する形状にも広げて適用できることが理解されよう。ステップ１００から生じる結果又は出力は、好ましくは、リンクされたリストの形状で編成された、境界画素のセット又はエッジトレースのセットである。これらの画素又はトレースはオブジェクトを抽出するために使用され得るが、配向は未定である。オブジェクトの抽出の品質を高めるために、オブジェクトのトレースはモデル形状にフィットされる。オブジェクトの配向情報及び他の特徴はフィットされたパラメータから抽出されてもよい。
【００４２】
図７のステップ４００において、ステップ１００の「ビン」又は結果、即ち、リンクされたリストの形態での境界画素のセット又はエッジトレースのセットが定義付けられる。ステップ４１０において、データセットが削減されなければならない。というのは、ステップ４００で定義付けられたリンクされたリストは大き過ぎ、実際、データポイントが約１０００以上であり得る。そこで、これら１０００以上のデータポイントのデータ量を低減する必要がある。このデータ削減はデータポイントの合計になるように除算可能な係数Ｎを使うことによって実行される。一般的に、係数は値５の近辺であるか、１００〜２００ポイントのボーダーを可能とする他の係数であってもよい。例えば、１０００個のデータポイントがあるとすれば、このようなデータセットを１００〜２００ポイントになるように削減するには、係数は５と１０の間でなければならない。これにより、データセットは１００から２００ポイントのセットへ削減される。
【００４３】
データ削減後、図６のステップ４２０において、輪郭上に残留している各ポイントを通過する線の角度が推定される。図７に示されるように、データポイントのセットによって決定された輪郭上に残留している各ポイントを通過する線の角度を推定するために、各ポイントにセンタリングされる特定のウィンドウ（Ｗ）内の修正された線形回帰が実行される。最初に、修正された線形回帰はポイント（Ａ）にセンタリングされた小さなウィンドウ上で行われる。このポイント（Ａ）で各線形回帰は一連の加算、乗算、及び逆正接計算を必要とする。
【００４４】
特に、標準回帰アルゴリズムはデータをラインｙ＝ｍｘ＋ｋにフィットさせる。しかし、これらの機能を実行するために標準回帰アルゴリズムを使うことによって、ラインが垂直になるにつれて不規則な結果を導くことになる。従って、本発明において、アルゴリズムはこれらの不規則な結果を解決するために修正される。図８に示されるように、そこに示された四つの四角形の各々において、標準回帰は、−４５゜から＋４５゜の傾斜を有する二つの四角形内のより水平なラインのために使用される。傾斜が識別された角度範囲外にある時、即ち、これらのラインが、より垂直に近い４５゜よりも大きい傾斜を有し、他の二つの四角形の中にある場合、逆の線形方程式 x＝1/ny-k/m に基いた逆線形回帰が実行される。傾斜角度は以下の等式から決定される。
【００４５】
より垂直に近い傾斜である時、
【００４６】
傾斜計算が実行されると、図６のステップ４３０において、１つの角度に対応付けられる各ポイントは、ビン類別演算を実行することによって類別されて一連のビンを生成する。例えば、図９に示されているように、ビンＢ１、Ｂ２、Ｂ３、及びＢ４．．．は、各ポイントに対応付けられた一連の角度から生成される。ステップ４３０の目的は、隣接する境界ポイントのグループを類別することである。要するに、これらの隣接する境界ポイントのグループは、共通の傾斜を分かち合い、即ち、境界ポイントのリストを、直線セグメントのセットから構成される画像の境界を生成するように各ビンが同一線上ポイントのセットから成る、一連のビン（Ｂ１、Ｂ２、Ｂ３．．．）へ変換する。
【００４７】
上記のラインセグメントを生成する際、先行ポイントの境界ポイントの角度は現在ポイントの角度とは相当量異なっている。例えば、境界ポイントの角度が特定量Ｅより少ない量で直前のポイントと異なる場合、ポイントが現在ビンに加算される。境界ポイントの角度が特定の量Ｅより多い量で直前のポイントと異なる場合、このポイントは新しいビンへ割当てられる。各ビン（Ｂ１、Ｂ２、Ｂ３．．．）はエッジに沿った同一線上のセットを示す。
【００４８】
ビンの類別が完成して、各ポイントが適切なビンに対して割当てられると、いくつかのビンはデータポイントを殆ど含まないビンとして類別される。従って、図７のステップ４４０において、データポイントを殆ど含まないか又は最小数よりも少ないデータポイントしか含まないビンを除去する必要がある。一般的に、この除去はデータポイントが約５個存在している時に実行される。図１０に示されるこの除去の例としては、５つより少ないデータポイントしか含まない小さい方のビンＡ、Ｂ、及びＣが除去される。
【００４９】
小さい方のビンのビンの除去後、ステップ４５０において、残留しているビンの各々の内部のポイントの平均角度が決定される。上記と同様に変更された回帰はこれらの残留しているビンへ新たに適用され、残っているビン毎に平均傾斜及び平均傾斜角の計算が行われる。
【００５０】
次に、ステップ４６０において、共通の角度を分かち合う残留ビンが結合される。これらの残留ビンは以前は互いに隣接していなかったが、ステップ４４０において、非隣接ビン同士の間で発見された小さなビンを除去することによって隣接することになった。これらの非隣接ビン同士の間のビンが除去されると、残留し現在は隣接しているビンは、しばしば同一線上にある。従って、各ビンの角度がチェックされ、隣接するビンが同一線上である場合、ステップ４６０において、これらのビンは単一ビンになるように結合される。このような手順は図１１に示されており、この手順において、ＡＬ−ＡＲによって定義されたビンとＢＬ−ＢＲによって定義された他のビンが互いに比較される。各ポイントＡＭ／ＢＭの中間点が計算され、セグメントＡＢの傾斜が決定され、各ビンの傾斜と比較される。これらの傾斜角が１０゜以内である場合、その量はＥと称され、次いで、以下の計算が実行される。
【００５１】
（傾斜（ＡＢ）−傾斜（Ａ））＜Ｅ＆（傾斜（ＡＢ）−傾斜（Ｂ））＜Ｅ
ここで、Ｅは約１０゜である。傾斜の計算が短いビンにおいてノイズを受けやすい例もいくつかあり、ビンのうちの一つが他のビンより非常に短くなるように決定される場合は値が変更される。
【００５２】
最終的に、ステップ４７０においては、各ビンと次のビンの交差部が計算される。中間点ｘ、ｙと各ビンの傾斜角は二つのビンの間の交差部ｘｙを計算するために使用される。
【００５３】
【数１】
【００５４】
交差部の角度は交点から中間点までを指し示すベクトル間のベクトル積から計算される。
【００５５】
【数２】
【００５６】
処理手順のこの段階において、エッジの境界は少数のビンへ削減されたことになる。次のステップにおいて、矩形画像に対してはビンの最終数が通常４個なので、認識アルゴリズムを用いる。しかしながら、矩形画像が四つより多い場合もあり、その場合も認識アルゴリズムを適用する必要がある。これは、スマートプラテン(Smart Platen)が背景画像から常に容易に区別される領域を有することが原因であり、検出された画像の境界は背景画像内へにじみだす（ブリードする）。このブリードの為に、検出された境界がいくつかのロケーションにおいて整合しないことがある。従って、境界は実際の画像をフィットし損ない、従って、これらの境界を特定画像にフィットさせるように更なる処理手順を用いる必要がある。
【００５７】
図１２のステップ５００において、隣接するビンとの交差角度が９０゜を有するビン、又は隣接するビンとの交差角度が９０゜に近似するビンを識別するために生成されるビンのリストをブラウジングする。交差角度が９０゜であると確信できるビンがある場合、プラテンエッジに対して位置合わせ誤りされた画像から角度が形成される場合が多いのでこれらの角度を有するビンは見過ごされる。従って、ビンが直角であるとわかり、このビンがプラテンエッジで位置合わせされた画像から生成されたものとは異なる場合は廃棄されなければならない。更に、これらの角度が画像のコーナーに対応していることもあるので、全ての直角即ち約９０゜を探索する必要がある。直角であると考えられるものはビンが８５゜〜９５゜の範囲内になければならない。前に示したように、図７のステップ４７０において交差角度が計算され、この交差角度はステップ５００においてこの交差角度が直角であるか否かを判断するために使用される。
【００５８】
図１２に示されるように、ステップ５３０において、一旦直角が識別されると、矩形が構築され、境界へテストフィットされ得るか否かを決定する。矩形を構築するため、図１３のフローチャートに示された以下のステップが実行される。
【００５９】
図１３のステップ７００において、ビンの直角の傾斜角として矩形の回転角度が推定される。次に、ステップ７１０において、矩形の境界上の全てのポイントが、ステップ７００で見出された回転角度に従って回転される。ステップ７２０においては、軸方向に位置合わせされた境界ボックスが計算される。この軸方向に位置合わせされた境界ボックスのコーナー座標はステップ７３０では回転されない。フローチャートは次に図１２のステップ５４０へ進む。
【００６０】
図１２のステップ５４０において、類似度測定又は類似度フィットのテストは、直角を成すと共にこのビン内のポイント総数によって除算され得られた境界ボックスの３画素の測定値範囲内にある、二つのビンの各々における境界ポイント数を計算することによって実行される。類似度測定値が.９未満である場合、矩形テストが良好な整合であると考えられ、フローチャートは終了まで進む。類似度テストが.９未満である場合、結果が得られず、フローチャートはステップ５００へ進み、ビンの別のペアを捜すためにステップ５４５へ進む。次の直角を成すビンのペアが見つかるまでこのルーチンが繰り返される。角度に類似性がない場合、フローチャートはステップ５５０へ進み、最終探索後にビンが残らなくなるまで探索を続行する。
【００６１】
次に、ステップ５６０においては、最長ビンが探索され、フローチャートは、境界へテストフィットされるように矩形が構築され得るか否かを決定するために進む。矩形を構築するためには、図１３に示されるように、以下のステップが必要である。最初に、ステップ７００において、回転又は角度が推定され、次いで、ステップ７１０において、全てのポイントが回転され、ステップ７２０において、軸方向に位置合わせされた境界ボックスが計算され、軸方向に位置合わせされた境界ボックスのコーナー座標は回転されない。フローチャートは次いでステップ５８０へ進む。ステップ５８０において、矩形テストフィットが実行され、テストフィット類似度測定値が.９より大きい場合は矩形テストフィットが良好であると見なされ、良好な整合が行われる。類似度測定値が.９より小さい場合は、フローチャートがステップ５６０へ戻り、次の最長ビンを探す処理が繰り返される。テストフィット類似度テストが再度失敗した場合、最終探索後にビンが残らなくなるまでビンを探索するステップ６００に進む。フローチャートは、ステップ６１０へ進み、最長ビンが探索される。次いで、ステップ６２０において、この最長ビンから矩形が構築される。
【００６２】
この時点で、境界ボックスはその回転角度に沿って識別されている。次のステップは、境界ボックスの実際の境界に対して決定されない境界を取除くことにある。境界矩形のアスペクト比が１５：１より大きく又は０．０７５：１未満である場合、境界が境界ボックスの境界と一致しているとは考えられず、従って、拒絶される。実際の幅又は高さが５画素未満である場合、境界は再び望ましくないと考えられ、拒絶される。
【００６３】
最後に、ブリードが過剰である場合は、単一画像が二つ以上の境界として現れることがあり得る。この場合、封じ込めアルゴリズムが、境界が他の境界に含まれるか否かをテストするのに用いられる。二つの境界間に２５％以上のオーバーラップがあるか否かを調べるために各境界が全ての他の境界に対してテストされる。そのようなオーバーラップが発生する場合、二つの境界が結合され、境界矩形が再び計算される（ステップ５００へ進む）。
【００６４】
境界を構成するポイントは一般に多面体の多角形の垂直部分である。図１４に示されるように封じ込めテストは二つの多角形Ｐ１とＰ２の間のオーバーラップを計算するための処理手順である。
【００６５】
先ず、図１５に示されるように、Ｐ１とＰ２のｙの最小値と最大値（ステップ８００）が多角形毎に求められる。スマートプラテンの場合、これらの値は既に知られており、再度計算する必要はない。次に、多角形において全ての可能性のあるｙの値に対して二つの整数を記憶するのに十分なだけの大きさを有するアレイを各多角形毎に割当てる（ステップ８１０）。例えば、ｙの値が１から３３２に及ぶ場合、３３２個のポインタのアレイを二つの整数に割当てる必要がある。第３に、頂角を介して走査し、各ｙの値に対してｘの最大値と最小値を求めることによってｘの値が求められる（ステップ８２０）。しかしながら、頂角はｙ値毎に存在しておらず、従って、ｙ値を補間しなければならない。例としては、ｙ２−ｙ１＝ｋである、（ｘ１、ｙ１）と（ｘ２、ｙ２）によって付与される二つの頂角を考える。ｘのｋ−１値、ｙの各値ごとに１を補間する必要がある。ｘを補間するアルゴリズムは以下に示される。
【００６６】
【数３】
【００６７】
多角形毎にｘの最小値と最大値を含むアレイがステップ８１０で生成されると、ステップ８４０において、オーバーラップの測定値が求められる。
【００６８】
ステップ８４０において、ｙの最小値がｙの最大値よりも大きいか否かの垂直オーバーラップテストが行われる。オーバーラップしていない場合、ステップ８８０へ進む。Ｐ１のｙの最大値がＰ２のＹの最小値より少ない場合、オーバーラップがないので、ステップ８８０へ進む。しかしながら、Ｐ１とＰ２が互いにオーバーラップしている場合のｙ値に対しては、水平のオーバーラップが合計されて、以下のチェックが行われる。最初に、Ｐ１のｘの最小値がＰ２のｘの最大値より大きい場合、フローチャートはステップ８６０へ進む。次に、Ｐ１のｘの最大値がＰ２のｘの最小値より小さい場合、フローチャートはステップ８７０へ進み、このｙ値のオーバーラップの推定は以下のように行われる。
【００６９】
【数４】
【００７０】
上記の決定は二つの多角形の間にオーバーラップを返す。本発明のプラテンに適用されるとき、二つのボーダーの小さい方の値によって除算することによって戻されたオーバーラップ領域を正規化する。オーバーラップの結果が２５％を超えた場合、小さい方の境界が孤立した境界又は大きい方の境界の一部であると考えられ、これらの二つの境界が併合されて、新しい境界矩形が計算される。
【００７１】
【発明の効果】
上記のステップを実行することによって、良好な境界矩形が識別される。ファイル抽出などの更なる技術も、受け取られたデータを更に処理するために適用可能である。他の種類の処理ステップも非矩形オブジェクト、オーバーラップした矩形オブジェクト等を検出するために実行される。
【図面の簡単な説明】
【図１】本発明の実施の形態として作用するディジタルカラープリントシステムを例示する図である。.
【図２】図１のシステムを備える種々の構成要素のブロック図である。
【図３】図１で示されたスキャナのプラテン上にドキュメントオブジェクトを置いたときの図である。
【図４】本発明による、図１及び図２のシステム上で実行される一般的な処理ステップを示すフローチャートである。
【図５】画像の「シード」を最初に決定するために実行される一連の処理ステップを示す詳細なフローチャートである。
【図６】画像の「シード」を決定するステップを示すより詳細なフローチャートである。
【図７】本発明に従って実行された一連の処理ステップを示す詳細なフローチャートである。
【図８】本発明によるライン推定を示すグラフである。
【図９】本発明によるビン類別を示す図である。
【図１０】図１０（ａ）〜（ｃ）は、本発明によるビン除去動作を示す図である。
【図１１】本発明によるビン同士間の中間点平均化を示す図である。
【図１２】本発明による図６のフローチャートのステップを詳細に示すフローチャートである。
【図１３】本発明による図６のフローチャートのステップを詳細に示すフローチャートである。
【図１４】本発明による画像のオーバーラップ部の検出を示す図である。
【図１５】図１４に示されたオーバーラップ部の検出を示すフローチャートである。
【符号の説明】
２０： プリントシステム
２２： データ処理ユニット
２４： ドキュメント
２６： スキャナ
２８： ユーザインタフェース（Ｕ／Ｉ）
３０： ユーザ入力デバイス３０
５２： メモリ
【発明の属する技術分野】
本発明は、一般に、背景ブリード（にじみ）が著しく存在している状況下での画像入力デバイスのプラテン上に置かれた数枚のドキュメントの特定画像の検出に係り、より詳細には、孤立した画像、線形回帰アルゴリズム、及び同一線上(collinearity)検出子を結合する技術を用いて、プラテン上に置かれた一連の画像の自動検出及びセグメンテーションに関する。
【０００２】
【従来の技術】
特にディジタル複写機及びスキャナにおいて、走査システムの使用の容易性を高めるためには、入力スキャナのプラテン上で走査されたオブジェクト（例えば、ハードコピードキュメント）を自動的に検出しセグメント化することが望ましい。この自動検出とセグメンテーションを容易にするには、オブジェクトの位置、形状、及び回転角を識別する必要がある。このような能力によって、ドキュメントの走査に要する時間を減少することにより生産性を高めることができ、複数の画像を効率的に走査することが可能となり、ドキュメント送りメカニズム上にドキュメントを正確に配置する必要性を減少させることできる。
【０００３】
【発明が解決しようとする課題】
本発明は、一連のドキュメントの走査された画像内の複数のオブジェクトの境界を自動的に決定するように意図されたシステムに関する。本発明の目的は、多数の図形と画像処理技術を組合わせて自動化されたシステムを生成し、これによって、ディジタル複写機と走査システムの生産性を向上させることにある。
【０００４】
【課題を解決するための手段】
本発明は、１）入力画像内の各オブジェクトを検索し、２）識別されたオブジェクトの形状（例：矩形）をモデリングし、３）ディジタル画像内に予め定められた位置でこのオブジェクトを配置する、ことによって上記の目的を達成する。
【０００５】
本発明の一つの態様は、オブジェクトの複数の表示のうちの少なくとも一つを含むディジタル画像を受け取るステップと、このディジタル画像の複数の画像のうちの少なくとも一つになるようにこのディジタル画像を処理するステップと、を備え、この処理ステップがこのディジタル画像のこれら複数の画像の各々を構成する複数のエッジポイントを有する複数のビンを定義付けるステップを含む、検出された画像のエッジのブリードを低減する、画像形成入力デバイスを用いたディジタル画像処理方法である。
【０００６】
本発明の一つの態様は、９０度に接近するエッジを有するビンを識別するステップと、この９０度のエッジに接近するビンにフィットする矩形画像をモデリングするステップと、を備える、エッジの輪郭を決定して境界ボックスを生成することによって、検出された画像のエッジのブリードを低減する、画像形成入力デバイスを用いたディジタル画像処理方法である。
【０００７】
本発明の一つの態様は、オブジェクトの複数の表示のディジタル画像を受け取るステップとこのディジタル画像を表す複数の画像へこのディジタル画像を処理するステップとを備えるディジタル画像処理方法である。
【０００８】
本発明の一つの態様は、９０度に接近するエッジを有するエッジ輪郭上でビンを識別するステップと、これらの識別されたビン毎に矩形画像をモデリングするステップと、を備える、エッジの輪郭を決定して境界ボックスを生成することによって、検出された画像のエッジのブリードを低減する、画像形成入力デバイスを用いたディジタル画像処理方法である。
【０００９】
本明細書中に記載されている技術によって、ユーザが、ドキュメントや他のオブジェクトを臨機応変に走査し、ディジタル画像内のドキュメントの形状を自動認識し、このオブジェクトを取り込んだディジタルドキュメントを作り上げることが可能となる。
【００１０】
上記の技術は、著しいブリードの存在下にあっても、走査プロセスの効率性を高めるので有利である。
【００１１】
【発明の実施の形態】
本発明を全般的に理解してもらうために図面を参照されたい。図中、全体を通して、同一の構成要素を示すために同様の参照番号が付されている。本発明を説明するために、記載中に以下の用語が用いられている。
【００１２】
用語「データ」とは、本明細書中では、情報を示すか又は情報を含む物理的な信号をいう。データのアイテムが多数の代替可能データの一つを示すことができる場合、このデータのアイテムは多数の「値」のうちの一つを有する。例えば、「ビット」とも呼ばれるデータのバイナリ（２進）アイテムは、「１」と「０」や「オン」と「オフ」又は、「ハイ」と「ロー」と呼ばれる互換性のある二つの値のうちの一つを有する。二つのビットが異なる値を有するならば、一つのビットは他のビットの「逆」である。Ｎビットのデータのアイテムは、２×Ｎ個の値のうちの一つを有する。データの「マルチビット」アイテムは、一つより多くのビットを含むデータのアイテムである。
【００１３】
「メモリ回路」又は「メモリ」は、データを記憶することができる任意の回路であり、局所及び遠隔メモリ並びに入力／出力デバイスを含んでいてもよい。例としては、半導体ＲＯＭ、ＲＡＭ、及びこれらがアクセスできるデータ記憶媒体を有する記憶媒体アクセスデバイス、が含まれる。「メモリセル」は、ビット、他のｎ個のアレイディジットやアナログ値等の単一ユニットのデータを記憶することができるメモリ回路である。
【００１４】
信号は、代替信号のセットのうちの表示された信号を発生させる場合、これらの代替信号のセットのうちの一つを「表示」又は「選択」する。例えば、一つの信号は一連のビットセットのうちの一つのビットセットを演算に使用するように表示することができ、この場合、この信号は表示されたビットセットを演算で使用させるようにする。
【００１５】
画像は、文字や単語やテキスト以外に図形等の他の特徴を含んでいてもよい。テキストは、ドキュメントのページにおける画像のような一つ以上のセットの画像内に含まれていてもよい。画像は、各々が画像である、画像内の特色を識別するために処理されてもよい。
【００１６】
「ビン」は、略同一線上のエッジポイントのリストである。エッジポイントのリストは境界を直線として表す一連のビンに変換される。
【００１７】
オブジェクトは、任意のサイズ及び形状のオブジェクトであってもよいし、限定はされないが、位置、形状及び配向を含む「物理的な属性」又は特徴を有している。例えば、オブジェクトはドキュメントであってもよく、その際、ドキュメントは画像入力デバイスのプラテン上に置かれ、このプラテンの領域はその表示を発生するためにディジタル化される。
【００１８】
データのアイテムは、このデータのアイテムが画像生成するために十分な情報を含んでいる時、画像を「定義付ける」。例えば、２次元のアレイは、アレイ内のデータの各アイテムが画像の各ロケーションのカラーを示す値を提供することによって、画像の全部又は任意の部分を定義付けることができる。
【００１９】
データのアイテムは、このデータのアイテムが十分な情報を含み、セット内の全ての画像を生成する時、画像セットを「定義付ける」。
【００２０】
画像内の各ロケーションは画素と呼ばれてもよい。データの各アイテムが値を提供する、画像を定義付けるアレイにおいて、一つのロケーションのカラーを表す各値は「画素値」と呼ばれてもよい。各画素値は、「バイナリ形態」の画像におけるビット、「グレースケール形態」の画像におけるビット、又は「色座標形態」の画像における色空間座標のセットであり、バイナリ形態、グレースケール形態、及び色座標形態はそれぞれ画像を定義付ける２次元アレイである。
【００２１】
ある演算は、画像の部分に対応するデータのアイテム上で動作する時、「画像処理」を実行すると呼ばれる。
【００２２】
画素は、他の画素がこれらの画素間に介在せず、これらの画素が隣り合うための適正基準を満たしている時、画像内で「近隣」又は「近傍」の画素である。画素が矩形で２次元画像内で行と列に現れるならば、各画素は、使用する基準に応じて、４個又は８個の近傍画素を有する。
【００２３】
二つの近傍画素がその間でのエッジの発生に対する適正基準に従って十分に異なる画素値を有する時、画像内に「エッジ」が発生する。用語「エッジ画素」又は「境界画素」は、エッジが発生する二つの近傍画素のうちの一つ又は両方に用いてもよい。
【００２４】
「画像特徴」又は「特徴」は画像の測定可能な属性である。演算は、画像を定義付けるデータを使って特徴を表すデータを生成することによって、この特徴を「測定」することができる。特徴が発生する度に略同じ結果を生じるように特徴が測定される場合、「画像に対して」特徴が測定されると呼ばれる。
【００２５】
第１の画像の「バージョン」とは、この第１の画像を定義付けるデータのアイテムを使って生成された第２の画像である。この第２の画像は、第１の画像と同一の場合もあるし、解像度のロス、第１の画像を定義付けるデータの変更、若しくは、第１の画像の画素値を変更する結果をもたらす他のプロセスによって、変更される場合もある。
【００２６】
「画像入力デバイス」は、画像を受け取り、この画像のバージョンを定義付けるデータのアイテムを提供することができるデバイスである。「スキャナ」は、ドキュメントを走査する等の走査（スキャニング）動作によって画像を受け取る画像入力デバイスである。スキャナは、走査中に、ドキュメントを支持するために透明の表面（プラテン）又は等価の手段を有していてもよい。他の周知の画像入力デバイスは、ディジタルカメラ、ファクシミリマシン、及びビデオレコーダ、又は、そのデバイスが向けられるオブジェクトの表面から反射した光の強度を表すデータ信号を記憶するための能力を有する任意の画像記憶デバイス、を有する。画像生成プログラムを有する汎用コンピュータが画像入力デバイスであってもよい。
【００２７】
「画像出力デバイス」は、画像を定義付けるデータのアイテムを受け取り、出力としての画像を提供又は作成することができるデバイスである。「ディスプレイ」とは、人間がビューできる形態で出力画像を提供する画像出力デバイスであり、「プリンタ」とは、人間がビューできる、ハードコピーの形態で出力画像を作成する画像出力デバイスである。
【００２８】
図１及び図２を参照すると、本発明に用いられるディジタルプリントシステム２０が示されている。
【００２９】
例えば、システム２０は、Xerox DocuColor（登録商標）４０ディジタルカラープリントシステム、又はXerox 5775（登録商標）ディジタルカラーコピアであってもよい。システム２０は、スキャナ２６のプラテン上に置かれたオリジナルドキュメント２４の画像を表すディジタルデータを受け取ることができるコンピュータ又はデータ処理ユニット２２（図２）を有する。コンピュータ２２は、最初に、スキャナ２６からのディジタル入力データを、画像が順次アクセスされるメモリ５２（例えば、ＲＡＭ又は磁気ディスク記憶装置）に記憶する。ディジタルデータ以外に、メモリ５２は、本明細書中に記載される発明に従ってプロセッサに画像処理動作を実行するように指示するのに好適なオブジェクトコードを記憶するプログラムメモリをも含んでいてよい。コンピュータ２２はユーザインタフェース（Ｕ／Ｉ）２８に連携しており、このユーザインタフェース２８は、キーボード、キーパッド、マウス、トラックボール、スタイラス又は同等のポインティングデバイス等の一つ以上のユーザ入力デバイス３０を有する。
【００３０】
システム２０の一部は、市場において入手可能な多数のプリンタに見られるようなレーザ駆動のゼログラフィック（電子写真）印刷エンジンを含み得る、プリンタ３４等のカラー画像出力デバイスである。好ましい実施の形態において、システム２０は、プロセッサ５０内で実行される画像処理ソフトウェアを使って、スキャナ２６からの入力として受け取られるディジタル画像データを処理するために用いられ、これにより、プリンタ３４によって描画され、メモリ５０内に記憶され、及び／又はネットワーク４０を介して他のデバイスに転送され得る出力ファイルを生成する。図１において、システム２０は一体化されたユニットとして描かれているが、複数の独立しているが相互接続されているユニットを備えてもよいことが理解されよう。図３によれば、システム２０内のスキャナプラテン上に置かれたドキュメントがレジストレーションエッジ２５に沿って正確に見当合わせされてはいないかもしれないことが理解されよう。例えば、以下に記述される特定の実施の形態は、図３に示されているように、スキャナ２６のプラテン上の中央の位置に置かれた単一ドキュメントオブジェクトＯである。本発明によれば、オブジェクトＯの位置、形状及び回転角を自動的に識別することが望ましい。走査ニップを通して、ドキュメントを送るために一組のローラを使ったファクシミリ転送システムにおいては、ディジタル化処理中、ドキュメントはスキューされることになり、本発明のアプリケーションがこのようなシステムに特に適用され得ることが理解されよう。
【００３１】
走査プラテンを走査することによって生成された入力画像が与えられると、本発明は、少なくともオブジェクトの位置、形状、及び配向角度を自動的に識別する。図４のフローチャートに示されているように、入力画像の処理中、コンピュータ２２によって実行される処理は、３つの一般的なステップを有する。第１に、ステップ１００において、画像内のオブジェクトが検索され、このオブジェクトの境界が一般的に識別される。オブジェクトが検索されると、ステップ２００において、このオブジェクトの形状がモデリングされる。オブジェクトを検索しその形状をモデリングした後で、構造化された画像、又はその中で画像とオブジェクトを示す同様のディジタルドキュメントフォーマットは、ステップ３００で示されるように生成され得る。この構造化された画像は、好ましくは、画像データそれ自体を表すデータのみならず、オブジェクトの位置、形状、若しくは配向、又はこれらのいくつかの組合せを表すデータを含む。或いは、出力は、ページ記述言語フォーマット、又はこれと同等のフォーマットであって、画像情報を検索可能な形状で記憶するのに適したものであってもよい。
【００３２】
本発明の実施の形態において、走査された入力画像（又はその低解像度のバージョン）はメモリフレームバッファ（ＲＡＭ）へロードされ、そこで、予め記述されたステップに従って解析される。以下の詳細な記述では、オブジェクトが画像の背景（例えば、プラテンカバー）と区別でき、また、画像の背景は連続していると仮定する。これらの簡略化のための仮定は、本発明を説明するためにのみに意図されており、本発明を限定するものではない。明細書中に記載されている発明がこのような仮定の範囲内のみに動作が限定されるものではないことは当業者に理解されよう。
【００３３】
図５及び図６のフローチャートによって示されているように、オブジェクト検索ステップ１００は、最初に入力画像の背景領域を識別し（ステップ１０２）、背景領域を特徴付け（ステップ１０４）、次に背景領域の特徴をシードとして使用して、適応シードフィル（塗潰し）アルゴリズムを用いて背景領域を表す全ての画素を識別する（ステップ１０６）ことによって実行される。背景画素はいかなるオブジェクトにも対応付けられない画素、即ち、より簡単に言えば、これらの背景画素はオブジェクトの外側の領域を表す画素であり、これらの画素の値は、走査中にオブジェクトが置かれる「背景」（例えば、プラテンカバーの裏面）によって、調整される。ある実施の形態は、走査された画像の上部左手コーナーにおける小さな領域の平均カラーを、背景カラーの初期推定値として用いる。或いは、例えば、米国特許第5,282,091号 のFarrelによる"A Programmable Apparatus for Determining Document Background Level"（ドキュメントの背景レベルを決定するプログラマブルデバイス）に記述されているように、背景カラーを決定するために他の標本化（サンプリング）動作が用いられてもよい。
【００３４】
ステップ１０４において背景カラーが特徴付けられると、好ましくは、適応アルゴリズムが背景カラーをモニターしこれらのオブジェクトを正確に識別するために用いられる。本発明の使用に適したシードフィルアルゴリズムの例は、１９９０年のGraphics Gems Ｉ, A. Glassner Ed., Academic Press （２７５〜２７７頁）に記載されており、本明細書中に参照することによって組込まれている。適応シードフィルアルゴリズムは、背景画素がプラテンの面積全体を覆うイルミネーションのばらつきからかなり大きな色のばらつきを生じ得ることから、必要となる。この適応シードフィルアルゴリズムは、背景、例えば、画像の上部左側コーナーによって特徴付けられる最初のシードポイントを用いて、走査されたカラー画像データに適用される。一般に、適応シードフィルアルゴリズムは、背景画素として識別される全ての連続画素を示すマスクによってバイナリフレームバッファを塗潰す。ステップ１１２によって示される単純な実施の形態において、カラーが現在の平均背景画素値の小さい距離εの範囲内にある場合、画素は背景画素であると考えられる。この距離は、レッド、グリーン、ブルー（ＲＧＢ）色空間のユークリッド距離として次のように計算される。
【００３５】
ｄ＝ＳＱＲＴ（（Ｐr−ＡｄＡｖｇr）2＋（Ｐg−ＡｄＡｖｇg）2＋（Ｐb−ＡｄＡｖｇb）2）
ここで、ＰkとＡｄＡｖｇkはそれぞれテスト中の画素のＲＧＢ成分と平均背景値であり、ｄは距離の測定値である。一つの実施の形態において、εの値は固定され、経験的に決定される。ステップ１１２で行われるテストは：
ｄ＜εの場合、画素Ｐは背景画素であり、そうでなければ、画素Ｐは前景画素である、というものである。
【００３６】
ステップ１１４では、背景として分類された最新のＮ個の画素の平均値を取ることによって平均背景カラーが順応して変更される。効率化のため、システムは好ましくは以下の式を使って適応平均値を計算する。
【００３７】
ＡｄＡｖｇ’＝（Ｎ*ＡｄＡｖｇ−ＡｄＡｖｇ＋ＬａｓｔＶａｌ）/Ｎ
ここで、ＡｄＡｖｇ’は変更された平均値であり、ＡｄＡｖｇはその前の適応平均値であり、ＬａｓｔＶａｌは背景として識別された最新画素の値であり、Ｎは平均化ウィンドウである。明らかに、これは、真に現在の平均値ではないが、現在の平均値を十分にトラック（追跡）しており、厳格な現在の平均値計算より演算上は効率的である。或いは、εの値は適応するように変更される。例えば、εは、背景等として識別された最新のいくつかの画素の標準偏差に基く場合もある。
【００３８】
背景領域の検出のために他の方法が用いられてもよく、また、背景からオブジェクトを区別するバイナリマップを得るプロセスを、背景カラーに基いた簡素化された閾値演算を使って、達成してもよいことが理解されよう。好ましい実施の形態において、背景カラーは、プラテンカバー（例えば、白いカバー）の色の関数であってもよい。更なる例としては、ディジタルカラー生成システムが、分光反射型の、又は、他の識別可能なプラテンカバーを用いてもよく、これによって、背景カラーが検出されると共に、背景カラーがオブジェクトとは区別される。
【００３９】
背景画素を識別しオブジェクトの境界の表示を行った後で、ノイズのあるエッジが、例えば、形態学的フィルタリング法を使って選択的に円滑化される。引き続いて、ステップ１２２において、連続する前景領域が検索され、これによって、オブジェクトを識別する。適応シードフィル動作（ステップ１０６）によって生成された背景マスクを走査することによってオブジェクトが識別される。上部左側の画素から始めて、マスクは背景画素としてこのマスク内で分類されない画素に対する走査ライン傾向を探索し、これによって、前景オブジェクトに対応付けられる画素を識別する。背景を識別するための適応シードフィルアルゴリズムの使用によって前景オブジェクトが囲まれることが確実とされる。即ち、完全な境界がオブジェクトの周辺付近に形成される。
【００４０】
ステップ１２４において、そのエッジを追跡することによってオブジェクトの境界が識別される。前景のオブジェクトの境界は単純８連結エッジ横断演算子を使って追跡され、この単純８連結エッジ横断演算子はオブジェクトのエッジを追跡するポイントの順序セットを提供する。このようなエッジ横断演算子には輪郭追跡演算が用いられ、単語や文字ベース認識システムと同様にチェーンコードを生成する。R. Bozinovic他の"Off-Line Cursive Script Word Recognition"（IEEEの会報）では、例えば、Pattern Analysis and Machine Intelligence, Vol. 11, No. 1(1989年１月)において、８連結プロセスについて記述している。複数のオブジェクトを検出する状況においては好ましくは一つの主要なオブジェクトが任意の多数の技術を用いて選択される。例えば、オブジェクトの選択は最大の周囲長のオブジェクトを記憶することによって又はオブジェクトのロケーションに基いて達成することができる。
【００４１】
ステップ１００に関して記述したようにして、オブジェクトが検索されると、次のステップ２００において、オブジェクトの形状がモデリングされる。簡略化の為に、以下の記述は矩形のオブジェクトを取り扱うが、本発明の説明が、他の多角形や曲線（例えば、円形又は楕円形のオブジェクト）によって表される部分を有する形状にも広げて適用できることが理解されよう。ステップ１００から生じる結果又は出力は、好ましくは、リンクされたリストの形状で編成された、境界画素のセット又はエッジトレースのセットである。これらの画素又はトレースはオブジェクトを抽出するために使用され得るが、配向は未定である。オブジェクトの抽出の品質を高めるために、オブジェクトのトレースはモデル形状にフィットされる。オブジェクトの配向情報及び他の特徴はフィットされたパラメータから抽出されてもよい。
【００４２】
図７のステップ４００において、ステップ１００の「ビン」又は結果、即ち、リンクされたリストの形態での境界画素のセット又はエッジトレースのセットが定義付けられる。ステップ４１０において、データセットが削減されなければならない。というのは、ステップ４００で定義付けられたリンクされたリストは大き過ぎ、実際、データポイントが約１０００以上であり得る。そこで、これら１０００以上のデータポイントのデータ量を低減する必要がある。このデータ削減はデータポイントの合計になるように除算可能な係数Ｎを使うことによって実行される。一般的に、係数は値５の近辺であるか、１００〜２００ポイントのボーダーを可能とする他の係数であってもよい。例えば、１０００個のデータポイントがあるとすれば、このようなデータセットを１００〜２００ポイントになるように削減するには、係数は５と１０の間でなければならない。これにより、データセットは１００から２００ポイントのセットへ削減される。
【００４３】
データ削減後、図６のステップ４２０において、輪郭上に残留している各ポイントを通過する線の角度が推定される。図７に示されるように、データポイントのセットによって決定された輪郭上に残留している各ポイントを通過する線の角度を推定するために、各ポイントにセンタリングされる特定のウィンドウ（Ｗ）内の修正された線形回帰が実行される。最初に、修正された線形回帰はポイント（Ａ）にセンタリングされた小さなウィンドウ上で行われる。このポイント（Ａ）で各線形回帰は一連の加算、乗算、及び逆正接計算を必要とする。
【００４４】
特に、標準回帰アルゴリズムはデータをラインｙ＝ｍｘ＋ｋにフィットさせる。しかし、これらの機能を実行するために標準回帰アルゴリズムを使うことによって、ラインが垂直になるにつれて不規則な結果を導くことになる。従って、本発明において、アルゴリズムはこれらの不規則な結果を解決するために修正される。図８に示されるように、そこに示された四つの四角形の各々において、標準回帰は、−４５゜から＋４５゜の傾斜を有する二つの四角形内のより水平なラインのために使用される。傾斜が識別された角度範囲外にある時、即ち、これらのラインが、より垂直に近い４５゜よりも大きい傾斜を有し、他の二つの四角形の中にある場合、逆の線形方程式 x＝1/ny-k/m に基いた逆線形回帰が実行される。傾斜角度は以下の等式から決定される。
【００４５】
より垂直に近い傾斜である時、
傾斜計算が実行されると、図６のステップ４３０において、１つの角度に対応付けられる各ポイントは、ビン類別演算を実行することによって類別されて一連のビンを生成する。例えば、図９に示されているように、ビンＢ１、Ｂ２、Ｂ３、及びＢ４．．．は、各ポイントに対応付けられた一連の角度から生成される。ステップ４３０の目的は、隣接する境界ポイントのグループを類別することである。要するに、これらの隣接する境界ポイントのグループは、共通の傾斜を分かち合い、即ち、境界ポイントのリストを、直線セグメントのセットから構成される画像の境界を生成するように各ビンが同一線上ポイントのセットから成る、一連のビン（Ｂ１、Ｂ２、Ｂ３．．．）へ変換する。
【００４７】
上記のラインセグメントを生成する際、先行ポイントの境界ポイントの角度は現在ポイントの角度とは相当量異なっている。例えば、境界ポイントの角度が特定量Ｅより少ない量で直前のポイントと異なる場合、ポイントが現在ビンに加算される。境界ポイントの角度が特定の量Ｅより多い量で直前のポイントと異なる場合、このポイントは新しいビンへ割当てられる。各ビン（Ｂ１、Ｂ２、Ｂ３．．．）はエッジに沿った同一線上のセットを示す。
【００４８】
ビンの類別が完成して、各ポイントが適切なビンに対して割当てられると、いくつかのビンはデータポイントを殆ど含まないビンとして類別される。従って、図７のステップ４４０において、データポイントを殆ど含まないか又は最小数よりも少ないデータポイントしか含まないビンを除去する必要がある。一般的に、この除去はデータポイントが約５個存在している時に実行される。図１０に示されるこの除去の例としては、５つより少ないデータポイントしか含まない小さい方のビンＡ、Ｂ、及びＣが除去される。
【００４９】
小さい方のビンのビンの除去後、ステップ４５０において、残留しているビンの各々の内部のポイントの平均角度が決定される。上記と同様に変更された回帰はこれらの残留しているビンへ新たに適用され、残っているビン毎に平均傾斜及び平均傾斜角の計算が行われる。
【００５０】
次に、ステップ４６０において、共通の角度を分かち合う残留ビンが結合される。これらの残留ビンは以前は互いに隣接していなかったが、ステップ４４０において、非隣接ビン同士の間で発見された小さなビンを除去することによって隣接することになった。これらの非隣接ビン同士の間のビンが除去されると、残留し現在は隣接しているビンは、しばしば同一線上にある。従って、各ビンの角度がチェックされ、隣接するビンが同一線上である場合、ステップ４６０において、これらのビンは単一ビンになるように結合される。このような手順は図１１に示されており、この手順において、ＡＬ−ＡＲによって定義されたビンとＢＬ−ＢＲによって定義された他のビンが互いに比較される。各ポイントＡＭ／ＢＭの中間点が計算され、セグメントＡＢの傾斜が決定され、各ビンの傾斜と比較される。これらの傾斜角が１０゜以内である場合、その量はＥと称され、次いで、以下の計算が実行される。
【００５１】
（傾斜（ＡＢ）−傾斜（Ａ））＜Ｅ＆（傾斜（ＡＢ）−傾斜（Ｂ））＜Ｅ
ここで、Ｅは約１０゜である。傾斜の計算が短いビンにおいてノイズを受けやすい例もいくつかあり、ビンのうちの一つが他のビンより非常に短くなるように決定される場合は値が変更される。
【００５２】
最終的に、ステップ４７０においては、各ビンと次のビンの交差部が計算される。中間点ｘ、ｙと各ビンの傾斜角は二つのビンの間の交差部ｘｙを計算するために使用される。
【００５３】
【数１】
交差部の角度は交点から中間点までを指し示すベクトル間のベクトル積から計算される。
【００５５】
【数２】
処理手順のこの段階において、エッジの境界は少数のビンへ削減されたことになる。次のステップにおいて、矩形画像に対してはビンの最終数が通常４個なので、認識アルゴリズムを用いる。しかしながら、矩形画像が四つより多い場合もあり、その場合も認識アルゴリズムを適用する必要がある。これは、スマートプラテン(Smart Platen)が背景画像から常に容易に区別される領域を有することが原因であり、検出された画像の境界は背景画像内へにじみだす（ブリードする）。このブリードの為に、検出された境界がいくつかのロケーションにおいて整合しないことがある。従って、境界は実際の画像をフィットし損ない、従って、これらの境界を特定画像にフィットさせるように更なる処理手順を用いる必要がある。
【００５７】
図１２のステップ５００において、隣接するビンとの交差角度が９０゜を有するビン、又は隣接するビンとの交差角度が９０゜に近似するビンを識別するために生成されるビンのリストをブラウジングする。交差角度が９０゜であると確信できるビンがある場合、プラテンエッジに対して位置合わせ誤りされた画像から角度が形成される場合が多いのでこれらの角度を有するビンは見過ごされる。従って、ビンが直角であるとわかり、このビンがプラテンエッジで位置合わせされた画像から生成されたものとは異なる場合は廃棄されなければならない。更に、これらの角度が画像のコーナーに対応していることもあるので、全ての直角即ち約９０゜を探索する必要がある。直角であると考えられるものはビンが８５゜〜９５゜の範囲内になければならない。前に示したように、図７のステップ４７０において交差角度が計算され、この交差角度はステップ５００においてこの交差角度が直角であるか否かを判断するために使用される。
【００５８】
図１２に示されるように、ステップ５３０において、一旦直角が識別されると、矩形が構築され、境界へテストフィットされ得るか否かを決定する。矩形を構築するため、図１３のフローチャートに示された以下のステップが実行される。
【００５９】
図１３のステップ７００において、ビンの直角の傾斜角として矩形の回転角度が推定される。次に、ステップ７１０において、矩形の境界上の全てのポイントが、ステップ７００で見出された回転角度に従って回転される。ステップ７２０においては、軸方向に位置合わせされた境界ボックスが計算される。この軸方向に位置合わせされた境界ボックスのコーナー座標はステップ７３０では回転されない。フローチャートは次に図１２のステップ５４０へ進む。
【００６０】
図１２のステップ５４０において、類似度測定又は類似度フィットのテストは、直角を成すと共にこのビン内のポイント総数によって除算され得られた境界ボックスの３画素の測定値範囲内にある、二つのビンの各々における境界ポイント数を計算することによって実行される。類似度測定値が.９未満である場合、矩形テストが良好な整合であると考えられ、フローチャートは終了まで進む。類似度テストが.９未満である場合、結果が得られず、フローチャートはステップ５００へ進み、ビンの別のペアを捜すためにステップ５４５へ進む。次の直角を成すビンのペアが見つかるまでこのルーチンが繰り返される。角度に類似性がない場合、フローチャートはステップ５５０へ進み、最終探索後にビンが残らなくなるまで探索を続行する。
【００６１】
次に、ステップ５６０においては、最長ビンが探索され、フローチャートは、境界へテストフィットされるように矩形が構築され得るか否かを決定するために進む。矩形を構築するためには、図１３に示されるように、以下のステップが必要である。最初に、ステップ７００において、回転又は角度が推定され、次いで、ステップ７１０において、全てのポイントが回転され、ステップ７２０において、軸方向に位置合わせされた境界ボックスが計算され、軸方向に位置合わせされた境界ボックスのコーナー座標は回転されない。フローチャートは次いでステップ５８０へ進む。ステップ５８０において、矩形テストフィットが実行され、テストフィット類似度測定値が.９より大きい場合は矩形テストフィットが良好であると見なされ、良好な整合が行われる。類似度測定値が.９より小さい場合は、フローチャートがステップ５６０へ戻り、次の最長ビンを探す処理が繰り返される。テストフィット類似度テストが再度失敗した場合、最終探索後にビンが残らなくなるまでビンを探索するステップ６００に進む。フローチャートは、ステップ６１０へ進み、最長ビンが探索される。次いで、ステップ６２０において、この最長ビンから矩形が構築される。
【００６２】
この時点で、境界ボックスはその回転角度に沿って識別されている。次のステップは、境界ボックスの実際の境界に対して決定されない境界を取除くことにある。境界矩形のアスペクト比が１５：１より大きく又は０．０７５：１未満である場合、境界が境界ボックスの境界と一致しているとは考えられず、従って、拒絶される。実際の幅又は高さが５画素未満である場合、境界は再び望ましくないと考えられ、拒絶される。
【００６３】
最後に、ブリードが過剰である場合は、単一画像が二つ以上の境界として現れることがあり得る。この場合、封じ込めアルゴリズムが、境界が他の境界に含まれるか否かをテストするのに用いられる。二つの境界間に２５％以上のオーバーラップがあるか否かを調べるために各境界が全ての他の境界に対してテストされる。そのようなオーバーラップが発生する場合、二つの境界が結合され、境界矩形が再び計算される（ステップ５００へ進む）。
【００６４】
境界を構成するポイントは一般に多面体の多角形の垂直部分である。図１４に示されるように封じ込めテストは二つの多角形Ｐ１とＰ２の間のオーバーラップを計算するための処理手順である。
【００６５】
先ず、図１５に示されるように、Ｐ１とＰ２のｙの最小値と最大値（ステップ８００）が多角形毎に求められる。スマートプラテンの場合、これらの値は既に知られており、再度計算する必要はない。次に、多角形において全ての可能性のあるｙの値に対して二つの整数を記憶するのに十分なだけの大きさを有するアレイを各多角形毎に割当てる（ステップ８１０）。例えば、ｙの値が１から３３２に及ぶ場合、３３２個のポインタのアレイを二つの整数に割当てる必要がある。第３に、頂角を介して走査し、各ｙの値に対してｘの最大値と最小値を求めることによってｘの値が求められる（ステップ８２０）。しかしながら、頂角はｙ値毎に存在しておらず、従って、ｙ値を補間しなければならない。例としては、ｙ２−ｙ１＝ｋである、（ｘ１、ｙ１）と（ｘ２、ｙ２）によって付与される二つの頂角を考える。ｘのｋ−１値、ｙの各値ごとに１を補間する必要がある。ｘを補間するアルゴリズムは以下に示される。
【００６６】
【数３】
多角形毎にｘの最小値と最大値を含むアレイがステップ８１０で生成されると、ステップ８４０において、オーバーラップの測定値が求められる。
【００６８】
ステップ８４０において、ｙの最小値がｙの最大値よりも大きいか否かの垂直オーバーラップテストが行われる。オーバーラップしていない場合、ステップ８８０へ進む。Ｐ１のｙの最大値がＰ２のＹの最小値より少ない場合、オーバーラップがないので、ステップ８８０へ進む。しかしながら、Ｐ１とＰ２が互いにオーバーラップしている場合のｙ値に対しては、水平のオーバーラップが合計されて、以下のチェックが行われる。最初に、Ｐ１のｘの最小値がＰ２のｘの最大値より大きい場合、フローチャートはステップ８６０へ進む。次に、Ｐ１のｘの最大値がＰ２のｘの最小値より小さい場合、フローチャートはステップ８７０へ進み、このｙ値のオーバーラップの推定は以下のように行われる。
【００６９】
【数４】
上記の決定は二つの多角形の間にオーバーラップを返す。本発明のプラテンに適用されるとき、二つのボーダーの小さい方の値によって除算することによって戻されたオーバーラップ領域を正規化する。オーバーラップの結果が２５％を超えた場合、小さい方の境界が孤立した境界又は大きい方の境界の一部であると考えられ、これらの二つの境界が併合されて、新しい境界矩形が計算される。
【００７１】
【発明の効果】
上記のステップを実行することによって、良好な境界矩形が識別される。ファイル抽出などの更なる技術も、受け取られたデータを更に処理するために適用可能である。他の種類の処理ステップも非矩形オブジェクト、オーバーラップした矩形オブジェクト等を検出するために実行される。
【図面の簡単な説明】
【図１】本発明の実施の形態として作用するディジタルカラープリントシステムを例示する図である。.
【図２】図１のシステムを備える種々の構成要素のブロック図である。
【図３】図１で示されたスキャナのプラテン上にドキュメントオブジェクトを置いたときの図である。
【図４】本発明による、図１及び図２のシステム上で実行される一般的な処理ステップを示すフローチャートである。
【図５】画像の「シード」を最初に決定するために実行される一連の処理ステップを示す詳細なフローチャートである。
【図６】画像の「シード」を決定するステップを示すより詳細なフローチャートである。
【図７】本発明に従って実行された一連の処理ステップを示す詳細なフローチャートである。
【図８】本発明によるライン推定を示すグラフである。
【図９】本発明によるビン類別を示す図である。
【図１０】図１０（ａ）〜（ｃ）は、本発明によるビン除去動作を示す図である。
【図１１】本発明によるビン同士間の中間点平均化を示す図である。
【図１２】本発明による図６のフローチャートのステップを詳細に示すフローチャートである。
【図１３】本発明による図６のフローチャートのステップを詳細に示すフローチャートである。
【図１４】本発明による画像のオーバーラップ部の検出を示す図である。
【図１５】図１４に示されたオーバーラップ部の検出を示すフローチャートである。
【符号の説明】
２０： プリントシステム
２２： データ処理ユニット
２４： ドキュメント
２６： スキャナ
２８： ユーザインタフェース（Ｕ／Ｉ）
３０： ユーザ入力デバイス３０
５２： メモリ
Claims (1)
- 受付手段が、形状が矩形の少なくとも１つのドキュメントが存在する領域を走査して得られたディジタル画像を画像入力デバイスから受け取るステップと、
抽出手段が、前記ディジタル画像から前記ドキュメントのディジタル画像のみを抽出するステップと、
を備え、
前記抽出するステップでは、
前記受け取られたディジタル画像において、前記ドキュメントのディジタル画像の部分と前記走査された領域で前記ドキュメント以外のディジタル画像の部分との境界線と想定される複数の境界想定線を想定するステップと、
前記検出された複数の境界想定線から、交差角度が９０°又は９０°に近い角度の２つの境界想定線の複数の組を決定するステップと、
前記決定された境界想定線の複数の組に基づいて、複数の矩形を構築するステップと、
前記構成された複数の矩形の内、重なり合う複数の矩形を検出するステップと、
前記検出された重なり合う複数の矩形各々の境界想定線が前記検出された重なり合う他の矩形に一定以上の割合で重なっているか否かを判断するステップと、
前記境界想定線が前記他の矩形に一定以上の割合で重なっていると判断された場合、前記他の矩形と、前記他の矩形に一定以上の割合で重なっていると判断された境界想定線を有する矩形とを合成することにより、１つの矩形を再構成するステップと、
を備えたディジタル画像処理方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/389,112 US6704456B1 (en) | 1999-09-02 | 1999-09-02 | Automatic image segmentation in the presence of severe background bleeding |
| US389112 | 1999-09-02 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001101426A JP2001101426A (ja) | 2001-04-13 |
| JP4535584B2 true JP4535584B2 (ja) | 2010-09-01 |
Family
ID=23536859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000265229A Expired - Fee Related JP4535584B2 (ja) | 1999-09-02 | 2000-09-01 | ディジタル画像処理方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6704456B1 (ja) |
| EP (1) | EP1081648B1 (ja) |
| JP (1) | JP4535584B2 (ja) |
| DE (1) | DE60020038T2 (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6839466B2 (en) | 1999-10-04 | 2005-01-04 | Xerox Corporation | Detecting overlapping images in an automatic image segmentation device with the presence of severe bleeding |
| JP3922859B2 (ja) * | 1999-12-28 | 2007-05-30 | 株式会社リコー | 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US6898316B2 (en) * | 2001-11-09 | 2005-05-24 | Arcsoft, Inc. | Multiple image area detection in a digital image |
| JP3845045B2 (ja) * | 2002-07-23 | 2006-11-15 | 株式会社リコー | 画像処理装置、画像処理方法、画像形成装置、印刷装置及びホストｐｃ |
| US7606417B2 (en) | 2004-08-16 | 2009-10-20 | Fotonation Vision Limited | Foreground/background segmentation in digital images with differential exposure calculations |
| US7680342B2 (en) | 2004-08-16 | 2010-03-16 | Fotonation Vision Limited | Indoor/outdoor classification in digital images |
| US7689037B2 (en) * | 2004-10-22 | 2010-03-30 | Xerox Corporation | System and method for identifying and labeling fields of text associated with scanned business documents |
| KR100777462B1 (ko) * | 2005-01-19 | 2007-11-21 | 삼성전자주식회사 | 스캐닝장치, 그것을 구비하는 스캐닝시스템 및 스캐닝방법 |
| US20060224953A1 (en) * | 2005-04-01 | 2006-10-05 | Xiaofan Lin | Height-width estimation model for a text block |
| US7483179B2 (en) * | 2005-04-28 | 2009-01-27 | Xerox Corporation | Method and system for sending material |
| US20070071324A1 (en) * | 2005-09-27 | 2007-03-29 | Lexmark International, Inc. | Method for determining corners of an object represented by image data |
| US7692696B2 (en) | 2005-12-27 | 2010-04-06 | Fotonation Vision Limited | Digital image acquisition system with portrait mode |
| JP4085337B2 (ja) * | 2006-02-13 | 2008-05-14 | コニカミノルタビジネステクノロジーズ株式会社 | 画像形成装置 |
| IES20060559A2 (en) | 2006-02-14 | 2006-11-01 | Fotonation Vision Ltd | Automatic detection and correction of non-red flash eye defects |
| JP2007221282A (ja) * | 2006-02-15 | 2007-08-30 | Konica Minolta Business Technologies Inc | 画像処理装置 |
| IES20060564A2 (en) | 2006-05-03 | 2006-11-01 | Fotonation Vision Ltd | Improved foreground / background separation |
| US7856142B2 (en) * | 2007-01-26 | 2010-12-21 | Sharp Laboratories Of America, Inc. | Methods and systems for detecting character content in a digital image |
| US8200022B2 (en) * | 2008-03-24 | 2012-06-12 | Verint Systems Ltd. | Method and system for edge detection |
| TWI405145B (zh) * | 2008-11-20 | 2013-08-11 | Ind Tech Res Inst | 以圖素之區域特徵為基礎的影像分割標記方法與系統，及其電腦可記錄媒體 |
| KR101189003B1 (ko) | 2011-03-30 | 2012-10-08 | 케이오씨엠(주) | 만화콘텐츠 이미지파일을 모바일용 이미지파일로 변환하는 방법 |
| CN103996189B (zh) * | 2014-05-05 | 2017-10-03 | 小米科技有限责任公司 | 图像分割方法及装置 |
| US9633444B2 (en) | 2014-05-05 | 2017-04-25 | Xiaomi Inc. | Method and device for image segmentation |
| GB201516953D0 (en) * | 2015-09-25 | 2015-11-11 | Umajin Ltd | Ghost hands |
| CN111275696B (zh) * | 2020-02-10 | 2023-09-15 | 腾讯医疗健康(深圳)有限公司 | 一种医学图像处理的方法、图像处理的方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0975146A1 (en) * | 1998-07-24 | 2000-01-26 | Xerox Corporation | Locating the position and orientation of multiple objects with a smart platen |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1986003866A1 (en) | 1984-12-14 | 1986-07-03 | Sten Hugo Nils Ahlbom | Image processing device |
| US5220398A (en) | 1990-09-28 | 1993-06-15 | Massachusetts Institute Of Technology | Analog VLSI microchip for object position and orientation |
| US5440403A (en) * | 1992-07-24 | 1995-08-08 | Minolta Camera Kabushiki Kaisha | Image reading means for reading a document including a plurality of images and space |
| US5418574A (en) | 1992-10-12 | 1995-05-23 | Matsushita Electric Industrial Co., Ltd. | Video signal correction apparatus which detects leading and trailing edges to define boundaries between colors and corrects for bleeding |
| US5253765A (en) | 1993-01-14 | 1993-10-19 | L.M.B. Electronics, Inc. | Sorting and grading system |
| US5313570A (en) | 1993-03-31 | 1994-05-17 | Miles, Inc. | Method for determining color boundaries for correcting for plate misregistration in color printing |
| US5485568A (en) | 1993-10-08 | 1996-01-16 | Xerox Corporation | Structured image (Sl) format for describing complex color raster images |
| US5528387A (en) | 1994-11-23 | 1996-06-18 | Xerox Corporation | Electronic image registration for a scanner |
| US5974169A (en) | 1997-03-20 | 1999-10-26 | Cognex Corporation | Machine vision methods for determining characteristics of an object using boundary points and bounding regions |
| US6360021B1 (en) * | 1998-07-30 | 2002-03-19 | The Regents Of The University Of California | Apparatus and methods of image and signal processing |
| US6088473A (en) * | 1998-02-23 | 2000-07-11 | Arch Development Corporation | Method and computer readable medium for automated analysis of chest radiograph images using histograms of edge gradients for false positive reduction in lung nodule detection |
| US6240208B1 (en) * | 1998-07-23 | 2001-05-29 | Cognex Corporation | Method for automatic visual identification of a reference site in an image |
-
1999
- 1999-09-02 US US09/389,112 patent/US6704456B1/en not_active Expired - Fee Related
-
2000
- 2000-08-29 EP EP00307387A patent/EP1081648B1/en not_active Expired - Lifetime
- 2000-08-29 DE DE60020038T patent/DE60020038T2/de not_active Expired - Lifetime
- 2000-09-01 JP JP2000265229A patent/JP4535584B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0975146A1 (en) * | 1998-07-24 | 2000-01-26 | Xerox Corporation | Locating the position and orientation of multiple objects with a smart platen |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1081648A3 (en) | 2002-01-02 |
| JP2001101426A (ja) | 2001-04-13 |
| DE60020038D1 (de) | 2005-06-16 |
| DE60020038T2 (de) | 2005-10-20 |
| US6704456B1 (en) | 2004-03-09 |
| EP1081648A2 (en) | 2001-03-07 |
| EP1081648B1 (en) | 2005-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4535584B2 (ja) | ディジタル画像処理方法 | |
| JP2001109895A (ja) | 複数のディジタル画像の処理方法 | |
| US5892854A (en) | Automatic image registration using binary moments | |
| US6738154B1 (en) | Locating the position and orientation of multiple objects with a smart platen | |
| JP3950777B2 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
| US5452374A (en) | Skew detection and correction of a document image representation | |
| JP5008572B2 (ja) | 画像処理方法、画像処理装置およびコンピュータ可読媒体 | |
| US5889886A (en) | Method and apparatus for detecting running text in an image | |
| EP0764308B1 (en) | System and method for automatic page registration and automatic zone detection during forms processing | |
| KR101737338B1 (ko) | 주석이 달린 문서 이미지들로부터 클린 문서를 복원하기 위한 시스템 및 방법 | |
| EP1211640A2 (en) | Image processing methods and apparatus for detecting human eyes, human face and other objects in an image | |
| JP3904840B2 (ja) | 多値画像から罫線を抽出する罫線抽出装置 | |
| JPH11288465A (ja) | カラー画像処理装置及びパターン抽出装置 | |
| JPH03201866A (ja) | 圧縮形態のデータを含むデータから画像スキュー角度を決定する方法 | |
| EP1017011A2 (en) | Block selection of table features | |
| JP4772819B2 (ja) | 画像検索装置および画像検索方法 | |
| JP4630777B2 (ja) | デジタル文書を変更する方法、装置、コンピュータプログラム及び記憶媒体 | |
| KR101377910B1 (ko) | 화상 처리 방법 및 화상 처리 장치 | |
| US6360006B1 (en) | Color block selection | |
| JP4977448B2 (ja) | イメージオブジェクト用の多角形境界定義を生成するための方法およびシステム | |
| EP0975146B1 (en) | Locating the position and orientation of multiple objects with a smart platen | |
| CN114550062A (zh) | 图像中运动对象的确定方法、装置、电子设备和存储介质 | |
| Konya et al. | Adaptive methods for robust document image understanding | |
| JPH0896072A (ja) | ページ傾き検出方法 | |
| EP0974931A1 (en) | Method and apparatus for identifying a plurality of sub-images in an input image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070827 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100413 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100518 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100615 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |