JP3907433B2 - 背景トレーニングを用いるデジタルイメージング装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は全般に自動画像解析に関し、より詳細には対象の領域と背景とを区別することに関する。
【０００２】
【従来の技術】
イメージスキャナは、ドキュメントまたは写真上、あるいは透明媒体の画像上の視認可能な画像を、コンピュータによって複製、格納あるいは処理するのに適した電子形式に変換する。イメージスキャナは個別の装置の場合、あるいは複写機の一部、ファクシミリ装置の一部または多目的装置の一部をなす場合がある。反射型のイメージスキャナは典型的には制御式の光源を備えており、光がドキュメントの表面から光学系を通して光検出装置のアレイに反射される。光検出装置は、受光した光の強度を電子信号に変換する。透過型のイメージスキャナでは、光が、透明画像、たとえば写真のポジスライドから光学系を通して、光検出装置のアレイ上に到達する。本発明は、たとえば、ドキュメントをイメージング（画像化）するために構成されたデジタルカメラにも適用することができる。
【０００３】
イメージングされるドキュメントあるいは他の対象物は典型的には、イメージスキャナの視界全体を占めることはない。典型的には、走査された画像は、対象の画像（たとえば、ドキュメントあるいは写真）と背景部分とを含む。たとえば、自動ドキュメントフィーダを備える反射型のスキャナの場合、その背景は、自動ドキュメントフィーダ機構の一部を含む場合がある。第２の例の場合、机上のドキュメントを見下ろすカメラが、対象のドキュメント、机の一部、そしておそらく少なくとも部分的に視界内にある他の物体の一部をイメージングする場合がある。一般的に、走査される画像の残りの部分から対象の画像を抽出する必要がある。
【０００４】
背景から画像を抽出するために知られている方法の中には、わかっている対照的な背景を利用するものがある。米国特許第４，８２３，３９５号では、背景が黒色であり、原稿上の白色の余白がエッジ検出のための対照的なエッジを提供する。同様に、米国特許第５，８１８，９７６号では、背景の光学的な特性が、走査されるページの光学的な特性と対照的であり、その対照的な背景には、灰色の陰、ある対称的な色、あるいは線または点のパターンが用いられる場合がある。米国特許第５，９０１，２５３号では、走査される画像が背景の基準走査線と比較される。米国特許第５，８８０，８５８号では、ドキュメントを用いずに走査することにより、背景画像が取得され、その後、ドキュメントを含む走査される画像において、背景に対応する画素が除去される。米国特許第５，９７８，５１９号では、画像が可変の強度レベルを含むように切り取られ、一様な強度レベルを有する部分が、その切り取られた画像から除去される。
【０００５】
他の方法は、対象の画像と重複する物体の画像を除去することに向けられる。たとえば、米国特許第５，３７７，０１９号および第６，０１１，６３５号では、開いた本を見下ろしているカメラを用いてイメージングし、本を開いた状態に保持する人の指がページの画像と重複する場合がある。指は、対照的な色、および対照的な形状（曲線状のエッジ）によって本から区別される。
【０００６】
一般に、走査装置は、ある所定の背景が存在することを想定することができない。たとえば、着脱式の自動ドキュメントフィーダについて考えてみる。フィーダは存在する場合もあれば、存在しない場合もある。別法では、自動ドキュメントフィーダの代わりに、スライドアダプタが用いられる場合がある。背景が走査するたびに変動することがある場合、背景から対象の画像を抽出することができる画像処理システムが必要とされる。１つのアプローチは、蓋およびアダプタ上に固有の識別子を設けることである。しかしながら、スキャナが製造された後に、新しい装置が導入される場合には、新しい装置を認識するために、ハードウエアおよびソフトウエアのいずれかが更新されなければならない。別のアプローチは、対象の画像を走査する前に必ず背景画像を走査することである。しかしながら、全ての走査前に背景を走査することにより、走査に時間がかかるようになる。
【０００７】
さらに、走査装置は、ある走査から次の走査までに背景が静止しているものと仮定することはできない。たとえば、装置が取り外され、置き換えられる場合には、機械的な位置合わせの再現性には、装置位置がある時間から別の時間までの間にわずかに変動することが含まれる場合がある。別法では、装置の中には手でスキャナに搭載されるものもあり、その場合には位置の精度が非常に悪くなる。
【０００８】
背景が走査毎に変動する場合、新しい背景が用いられる場合、および知られている背景が２次元内で移動する場合に、その背景から対象の画像を抽出することができる画像処理システムが必要とされる。
【０００９】
【発明が解決しようとする課題】
したがって、本発明の目的は、デジタルイメージング装置において、対象の画像と背景とを区別することができる方法を提供することである。
【００１０】
【課題を解決するための手段】
種々の背景、形状およびテンプレートが走査され、特徴が抽出され、その特徴がメモリに格納される。複合的な画像（対象の画像と背景部分とを合わせたもの）が走査されるとき、その複合的な画像から特徴が抽出される。複合的な画像内の特徴は、格納される背景の特徴と相関をとられ、どの背景が存在するかが特定される。必要ならば、メモリからの背景の特徴を、背景の変位を調整するために２次元内で移動させる。その背景に対応する画像データが、複合的な画像から削除される。本発明は、空白の用紙に書き込まれた情報を抽出することにも適用することができる。
【００１１】
【発明の実施の形態】
図１は、自動ドキュメントフィーダ１０２を備えるイメージスキャナ１００を示す。図１のスキャナは、例示するための一例にすぎず、本特許出願は多くの他の構成のイメージスキャナに適用することができる。図１のスキャナでは、走査されるドキュメント、写真あるいは他のアイテムが、入力トレイ１０４内に配置され、透明プラテン１０６上に走査される面を下にして給送され、走査後には、出力トレイ１０８に戻される。スキャナ１００は、プラテン１０６上のアイテムをイメージングするための光学アセンブリ１１０を備える。光学アセンブリ１１０は、たとえば、照明源１１２、光路を折り返すための多数のミラー（１１４、１１６、１１８）、対物レンズ１２０、光センサアレイ１２２を備える。図１の光学構成要素のサイズは、例示を容易にするために誇張されていることに留意されたい。レンズ１２０は、プラテン１０２の表面上の１本のラインを、光センサアレイ１２２の一行の光センサ上に集光する。典型的には、走査光学系１１０の視界の深さによって、プラテンの表面から数ｃｍ上側にある場合があるアイテムに焦点を合わせて走査できるようになる。多数の行の光センサが用いられる場合もある。
【００１２】
図２は、ドキュメントを搭載していない、自動ドキュメントフィーダ１０２の走査画像を示す。自動ドキュメントフィーダは、プラテンを通してスキャナの走査光学系が視認することができる、ローラ（図１には示されない）あるいは他の機械的な構成要素またはラインを備える場合がある。図２では、長方形２００がプラテン（図１の１０６）の外周であり、長方形２０２が自動ドキュメントフィーダ（図１の１０２）の底面上で視認可能なラインであり、長方形２０４〜２１０が自動ドキュメントフィーダの底面付近にある視認可能なローラである。
【００１３】
図３は、写真３００の走査画像を示しており、図２において視認可能な自動ドキュメントフィーダの部分が図３においても視認可能である。具体的には、ライン２０２の一部、ローラ２０４および２０６の一部が写真の境界の外側において視認することができ、ローラ２０８および２１０は全て視認することができる。
【００１４】
図１〜図３に示される自動ドキュメントフィーダ１０２は着脱可能な場合があり、他の蓋あるいは機構がスキャナに取り付けられる場合がある。例としては、透明アダプタ、写真アダプタ、スライドアダプタ、および多数の写真あるいは名刺を保持するためのテンプレートがある。自動ドキュメントフィーダが取り外され、その後、再度取り付けられる場合には、図３における要素２０２〜２１０の絶対位置がわずかに移動する場合がある。別法では、小さなスライドアダプタが単に手でプラテン上に配置され、配置の精度が非常に悪い場合がある。本発明の１つの目的は、図２の要素２０２〜２１０のような背景から、図３の写真３００のような対象の画像を区別することである。さらに別の目的は、背景の要素が移動する場合であっても、対象の画像を区別することである。したがって、何度も用いられることが予想される多数の背景がイメージングされ、その背景画像の特徴が格納される。その後、対象の画像が、その背景とともに走査されるとき、知られている背景が存在するか否かを確認するために、その複合画像の特徴が格納された特徴と比較される。知られている背景が存在する場合には、その背景部分がその複合画像から削除され、対象の画像のみが残される。また、本発明は用紙にも適用することができる。すなわち、背景として、空白の用紙を走査することができる。その後、背景の用紙を、記入されている用紙に書き込まれている情報から削除することができる。
【００１５】
画像解析を用いて画像から抽出することができる１つのよく知られている特徴はエッジである。以下は、エッジ検出アルゴリズムの一例である。以下のように８個の最も近くに隣接する画像によって取り囲まれる画素Ｐ（ｉ，ｊ）について考えてみる。
【表１】

【００１６】
Ｐ（ｉ，ｊ）とその８個の最も近くに隣接する画素との間の差の絶対値の和が閾値より大きい場合、すなわち以下の式が成り立つ場合には、画素Ｐ（ｉ，ｊ）はエッジ画素と呼ばれる。
【数１】
Σ｜Ｐ（ｉ，ｊ）−Ｐ（隣接画素）｜＞閾値
【００１７】
たとえば、８ビットの強度値の場合、デフォルトの閾値１００が、多くの画像に適したエッジの識別を与える。その閾値は、比較的均一な背景あるいは比較的不均一な背景に相応しいように手動で、あるいは自動で調整することができる。その後、以下のように、バイナリエッジマップを作成することができる。ある画素がエッジ画素と呼べる場合には、値「１」が割り当てられ、エッジ画素と呼べない場合には、値「０」を割り当てることができる。上記のアルゴリズムを用いるとき、生成されたエッジラインの幅（値「１」を有する面積）は比較的広くなる傾向がある。しかしながら、一般に、走査毎のラインは完全には一致しない場合があるので、以下に記載される画像解析の場合、広いエッジラインが望ましい場合がある。必要なら、ラインのエッジに沿って画素を繰返し除去することにより、広いエッジラインを「狭くする」ことができる。
【００１８】
バイナリエッジマップは記憶するためのメモリをほとんど必要としないことに留意されたい。さらに、本発明の目的上、背景のエッジマップは高解像度である必要はなく、背景を低解像度で走査することから導出することができる。また、本発明の目的上、エッジラインは連続である必要はなく、エッジラインの破断も許容することができる。
【００１９】
低解像度バイナリエッジマップは、予想される各背景に対して計算され、格納されることができる。また、低解像度バイナリエッジマップは、複合画像に対して計算することもできる。その後、複合画像のバイナリエッジマップと格納される各背景のバイナリエッジマップとの間で、２次元相互相関を実行することができる。エッジを含まない領域は無視することができる。すなわち、計算時間を短縮するために、背景内のエッジを含む領域のみを相互相関のために用いることが好ましい。たとえば、図２および図３では、相互相関計算は、長方形２０２によって画定される領域に限定することができる。相関の組に対して最も高いピーク相関値が、どの背景が複合画像に含まれる可能性が最も高いかを示すであろう。相関のピークに、２次元相関結果の中心からのオフセットがあれば、それは走査間の背景の位置の移動を示す。
【００２０】
背景の一致と、相互相関からの位置の移動とを与えると、適切な背景エッジマップを移動し、その後、複合画像エッジマップと比較することができる。以下に記載する例示的な比較方法では、「Ａ」が複合エッジマップ内の画素であり、「Ｂ」が背景エッジマップ内の画素であり、「結果（ＲＥＳＵＬＴ）」が比較から生じるエッジマップであるとものとする。第１の比較方法は以下のマッピングである（ＡＢバー）。
【表２】

【００２１】
第２の比較方法は以下のマッピングである（排他的論理和）
【表３】

【００２２】
第１の比較方法の場合、画素は、（ａ）複合エッジマップにおいてバイナリ１に設定され、かつ（ｂ）背景エッジマップにおいてバイナリ１に設定されない場合にのみ、生成されたエッジマップにおいてバイナリ１に設定される。第２の比較方法では、画素は、複合エッジマップあるいは背景エッジマップのいずれかにおいてバイナリ１に設定される場合にのみ、生成されたエッジマップにおいてバイナリ１に設定されるが、両方が１の場合には０に設定される。さらに以下に説明するように、第１の比較方法はエッジマップの場合に特に有用であり、第２の比較方法は用紙あるいはテンプレートから情報を抽出する場合に特に有用である。
【００２３】
図４は、図２および図３に示される画像のエッジマップに対して、第１の比較方法を適用する場合を示す。図４では、背景の部分は視認されない。図４では、エッジラインの小さな隙間が明らかではなく、背景エッジマップ内のエッジラインが交差しているため、その写真のためのエッジライン内の画素が０にマッピングされる。図３では、写真３００は、白色の余白（縁取り）と白色ではない写真とを有するものとして示される。写真が、白色のエッジに沿った領域を有する場合には、内部長方形のある部分が、エッジ画素にマッピングされない場合がある。しかしながら、外側長方形は、小さな隙間を有する場合であっても、対象の画像の領域を示すのに十分であろう。
【００２４】
第１の比較方法の結果は、写真（図３の３００）のエッジを明瞭に示すことになるが、ノイズの小領域も含むであろう。１つのノイズ源は、部分的にエッジを含む画素である。たとえば、白色の背景上に黒色領域があるものと仮定する。いくつかの画素は全て黒色、いくつかの画素は全て白色であるが、黒色から白色への境界上で部分的に照明された数個の画素は灰色になる場合がある。特に走査間で位置に偏差がある場合には、どの画素が部分的に照明されるかは、走査毎に変化する場合がある。ノイズを除去するための１つの方法は、背景エッジマップ内のエッジに隣接する、生成された比較画像内のバイナリ１を削除することである。ノイズを除去するための別の方法は、最小サイズより小さい、バイナリ１の全ての領域を削除することである。すなわち、たとえば４個以下の１を有する連続したバイナリ１の全ての領域が削除される場合がある。
【００２５】
一旦ノイズが除去されたなら、比較計算から生成された小さな隙間を埋めることが望ましい場合がある。隙間埋込み方法は、スミアリング（smearing）としても知られており、特に光学式文字認識の場合に知られている。たとえば、F.M. Wahl、K.Y. Wong、R.G. Caseyによる「Block Segmentation and Text Extraction in Mixed Text/ Image Documents」（Computer Graphics and Image Processing, v20, n4, Dec 1982, p375-390）を参照されたい。
【００２６】
図５〜図７は、本発明の別の例示的な応用形態を示す。図５は、４枚のスライド、たとえば、厚紙あるいはプラスチックフレーム内に取り付けられる３５ｍｍスライドのためのホルダを示す。そのホルダは、たとえば、外周５００と長方形開口部５０２とを有する窪んだ領域を備える場合がある。図６は、４枚のスライドを保持した状態の、図５のホルダを示す。厚紙あるいはプラスチックフレームは、図５の開口部５０２の周辺を覆い隠す。図７は、図５および図６に示される画像のエッジマップに第１の比較方法を適用する結果を示す。図７では、対応するエッジが両方のエッジマップ内に現れるので、外側長方形（図５および図６の５００）は削除されることに留意されたい。また、外側長方形の場合、幅広のエッジラインが適しており、比較後に残される全てのノイズ画素は、上記のように、背景エッジマップ内のエッジに近いバイナリ１を削除することにより、あるいは領域をフィルタリングすることにより削除できることにも留意されたい。
【００２７】
図８は、予め印刷されたテキスト（図示せず）を含む場合もある、空白の用紙の画像を示す。図９は、対象のテキスト９００を記入して空欄を埋めた、図８の用紙の画像を示す。エッジマップは、対象の画像がラインによって画定される場合に、対象の画像を特定するのに適しているが、テキストの領域を特定することにはあまり適していない。したがって、用紙あるいはテンプレートの場合に、エッジマップを用いて背景用紙あるいはテンプレートを特定することができるが、対象の画像の抽出の場合には、第２の比較方法が好ましく、第２の方法は、エッジマップにではなく、図８および図９に示される画像に直接適用される。図１０は、図８および図９の画像に第２の方法を適用した結果を示す（ノイズは適切に除去されている）。
【００２８】
図４および図７では、生成されたエッジマップが、対象の画像を含む領域を示す。図１０では、エッジマップを用いて、ドキュメントの外側の領域、たとえば図２および図３に示されるような自動ドキュメントフィーダローラを削除することができ、その後、対象のドキュメント領域を与えると、対象のテキスト情報が、エッジマップを使用することなく、直接抽出される。
【００２９】
図１１Ａおよび図１１Ｂは、本発明による方法の流れ図である。図１１Ａでは、ステップ１１００において、背景のラスタ走査された画像が得られる。ステップ１１０２では、背景が用紙あるいはテンプレートである場合には、背景画像はセーブされる（ステップ１１０４）。ステップ１１０６では、背景画像のエッジマップが計算され、かつセーブされる。ステップ１１００〜１１０６は、予想される対象の背景のライブラリを構築するのに必要とされる回数だけ繰り返される場合がある。別法では、ステップ１１００〜１１０６は、１つの新しい背景のためのデータを取得することを示す場合がある。
【００３０】
図１１Ｂでは、ステップ１１０８において、背景および対象の画像からなる複合画像のラスタ走査された画像が得られる。ステップ１１１０では、複合画像のエッジマップが計算される。ステップ１１１２では、複合画像のエッジマップが、格納される各背景エッジマップについて、２次元相互相関を用いて相互相関をとられる。最も高いピークを有する相互相関が、どの背景が最も可能性が高いかを示す。２次元相互相関内のピークの位置が、背景が走査間でシフトしたか否かを示す。ステップ１１１４において、対象物が用紙（あるいはテンプレート）である場合には、ステップ１１１６において、必要に応じて（ステップ１１１２中に判定される）背景画像が変換され、シフトされた背景画像が、複合画像から削除される（たとえば、排他的論理和（ＸＯＲ）関数を用いて行われる）。対象物が用紙でない場合には、ステップ１１２０において、必要に応じて背景エッジマップが変換され、ステップ１１２２において、複合エッジマップ内で視認可能な全ての背景エッジが削除される（たとえば、上記の第１の比較方法を用いる）。生成されたエッジマップ内の残りのエッジは、１つあるいは複数の対象の画像を特定するために用いられる。
【００３１】
図１１Ａおよび図１１Ｂにおいて、ステップ１１０２および１１１４は、作業者が決定するためのユーザインターフェースの一部の場合があることに留意されたい。別法では、ステップ１１０２において、いくつかの背景が作業者によって用紙として特定され、その特定情報が格納され、かつ背景エッジマップに関連付けられ、その後、ステップ１１１２において、背景が特定されるときに、システムが、ある背景を用紙として自動的に特定することができる。
【００３２】
ラスタ走査された画像を取得するための装置の一例を示すために、図１においては、フラットベッド型イメージスキャナが用いられたことに留意されたい。しかしながら、本発明は、シートフィードスキャナ、携帯スキャナ、デジタルカメラ、および複数の予想される背景を含む場合があるラスタ画像を取得するために用いられる任意の他の装置に、同様に適用することができる。しかしながら、イメージング装置が露光間で移動することがある場合、たとえば、静止しているものに取り付けられていないデジタルカメラの場合には、画像の付加的な予備処理が必要とされる場合がある。たとえば、背景エッジマップは、２つの異なる距離で行われた２つの露光を補償するために、スケーリングされなければならない場合があるか、あるいは２つの異なる角度で行われた２つの露光を補償するために、曲げられなければならない場合がある。
【００３３】
本発明の上記の記載は、例示および説明の目的で与えられている。開示される正確な形態で全てを網羅している、すなわちその形態に本発明を限定するつもりはなく、上記の教示内容に鑑みて、他の変更形態および変形形態が実現可能な場合がある。その実施形態は、本発明の原理およびその実用的な応用形態を最もわかりやすく説明し、それにより、当業者が、考慮される特定の使用形態に適するように、本発明の種々の実施形態および種々の変更形態を最も容易に利用できるようにするために、選択および記載された。添付の請求の範囲は、従来技術によって制限される場合を除いて、本発明の他の代替形態を含むものと解釈されることを意図している。
【００３４】
【発明の効果】
上記のように、本発明によれば、デジタルイメージング装置において、対象の画像と背景とを区別することができる方法を実現することができる。
【００３５】
以下に本発明の実施態様の例を列挙する。
【００３６】
〔実施態様１〕 背景（図２、図５、図８）から対象の画像（図４、図７、図１０）を区別する方法であって、
背景画像を形成するために、複数の背景を走査するステップ（１１００）と、
前記背景画像それぞれの特徴を抽出するステップ（１１０６）と、
前記背景画像それぞれの前記特徴をメモリにセーブするステップと、
前記対象の画像と、前記複数の背景画像のうちの１つの少なくとも一部の画像とを含む複合画像（図３、図６、図９）を走査するステップ（１１０８）と、
前記複合画像の特徴を抽出するステップ（１１１０）と、
前記複合画像の前記特徴と、前記メモリ内の前記背景画像のうちの１つの前記特徴とを比較し、相関をとるステップ（１１１２）と、
前記メモリ内の前記背景画像のうちの１つの特徴と一致する特徴を有する前記複合画像の部分を削除するステップ（１１１８、１１２２）とを有する方法。
〔実施態様２〕 前記背景画像それぞれの特徴を抽出するステップはさらに、前記背景画像それぞれのエッジを検出するステップを含む実施態様１に記載の方法。
〔実施態様３〕 前記複合画像の特徴を抽出するステップはさらに、前記複合画像のエッジを検出するステップを含む実施態様１に記載の方法。
〔実施態様４〕 前記複合画像の前記特徴と、前記メモリ内の前記背景画像のうちの１つの前記特徴とを比較し、相関をとるステップの前に、前記背景画像のうちの１つを少なくとも１次元に変換するステップ（１１１６、１１２０）をさらに含む実施態様１に記載の方法。
〔実施態様５〕 前記背景画像のうちの少なくとも１つをメモリにセーブするステップ（１１０４）をさらに含む実施態様１に記載の方法。
【図面の簡単な説明】
【図１】着脱式の自動ドキュメントフィーダを備えるイメージスキャナを一部破断して示す側面図である。
【図２】図１の自動ドキュメントフィーダの底面の走査される画像を示す図である。
【図３】写真の走査画像と、図１および図２の自動ドキュメントフィーダの一部とを示す図である。
【図４】背景を除去するために画像解析した後の図３の画像のエッジマップを示す図である。
【図５】スライドホルダの走査画像を示す図である。
【図６】スライドを備えた図４のスライドホルダの走査画像を示す図である。
【図７】背景を除去するために画像解析した後の図６の画像のエッジマップを示す図である。
【図８】空白用紙の走査画像を示す図である。
【図９】情報を書き込んだ図８の用紙の走査画像を示す図である。
【図１０】背景を除去するために画像解析した後の図９の画像を示す図である。
【図１１Ａ】本発明による方法の流れ図である。
【図１１Ｂ】本発明による方法の流れ図である。

Claims (5)

1. 背景から対象の画像を区別する方法であって、
   背景画像を形成するために、複数の背景を走査するステップと、
   前記背景画像それぞれの特徴を抽出するステップと、
   前記背景画像それぞれの前記特徴をメモリにセーブするステップと、
   前記対象の画像と、前記複数の背景画像のうちの１つの少なくとも一部の画像とを含む複合画像を走査するステップと、
   前記複合画像の特徴を抽出するステップと、
   前記複合画像の前記特徴と、前記メモリ内の前記背景画像のうちの１つの前記特徴とを比較し、相関をとるステップと、
   前記メモリ内の前記背景画像のうちの１つの特徴と一致する特徴を有する前記複合画像の部分を削除するステップと
   を有する方法。
2. 前記背景画像それぞれの特徴を抽出するステップはさらに、前記背景画像それぞれのエッジを検出するステップを含む請求項１に記載の方法。
3. 前記複合画像の特徴を抽出するステップはさらに、前記複合画像のエッジを検出するステップを含む請求項１に記載の方法。
4. 前記複合画像の前記特徴と、前記メモリ内の前記背景画像のうちの１つの前記特徴とを比較し、相関をとるステップの前に、前記背景画像のうちの１つを少なくとも１次元に変換するステップをさらに含む請求項１に記載の方法。
5. 前記背景画像のうちの少なくとも１つをメモリにセーブするステップをさらに含む請求項１に記載の方法。

Images