JP4236116B2 - 画像特徴抽出方法及び装置 - Google Patents

Description

本発明は、文書画像データベース検索などに好適な画像特徴抽出技術に関する。

低コスト、大容量の文書画像記憶装置が増加したため、量的にも種類においても絶えず増加し続ける文書を、これまでのようにハードコピーの形で保管するのではなく、オンライン電子情報として保存できるようになった。このような記憶装置技術の革新によって、文書の記憶コストは下がったが、その一方で、膨大なオンライン文書からユーザが関心のある特定の文書を見つけ出すための、より効率のよい検索方法が必要になってきた。

関心のある文書を見つけ出す方法は色々とあるが、どうみても不完全であった。一般的に、これらの方法では、文書がスキャンされてコンピュータに取り込まれ、光学的文字認識（ＯＣＲ）プログラムで、その画像をテキストファイルに変換する。次に、ある形式のキーワード一致検索が行われ、システムは全文書のテキスト全体をスキャンするか、あるいは、文書を最初に分類した人間によって文書を表すものとして注意深く選択されたキーワードの集合をスキャンする。この１番目の方法の問題点は、大量の文書を全体にわたってスキャンするため、検索コストが高いことである。２番目の方法の難点は、人によって、ファイリング及び検索のためのカテゴリーが違ってくることである。データベース内の文書の種類が増加するに従って、これら従来の検索方法の信頼性は悪化する。

文書の画像部分の情報内容を利用することの有利性に気づき、文書中の小画像のマッチングによって文書を検索する試みがいろいろとなされてきた。例えば、M．Y．Jaisimha，A Bruce及びT．Nguyenは、彼らの著作“DocBrows：A system for Textual and Graphical Querying on Degraded Document Iamage Data”において、レターヘッド中の会社ロゴを利用して文書を検索するシステムについて述べている。D．Doermann らは、“Development of a General Framework for Intelligent Document Retrieval”において、文書の低レベルの特徴及び高レベルの構造を記述する画像記述子の生成及びマッチングに基づいた文書のマッチングシステムについて概説している。しかし、残念ながら、この方法は、強力な画像情報処理を必要し、このことが一般的な市販アプリケーションへの利用を非常に難しくしている。

以上の方法は、画像の特徴ベクトルの要素マッチングによる文書検索の手段を提供するが、大規模な文書画像データベースを編成するための有効な方法を提供するものではない。このような欠点から分かることは、文書画像データベースの効率的な検索方法及び装置と、そのような効率的な検索のための文書画像データベースの編成方法及び装置こそが必要とされるものである。同時に、そのための文書画像などの特徴抽出方法及び装置が必要とされる。

本発明の目的は、画像の特徴ベクトルの要素マッチングによる文書画像データベース検索などに好適な画像特徴抽出方法及び装置を提供することにある。ただし、本発明の画像特徴抽出方法及び装置の適用は文書画像データベース検索に限定されない。

本発明の画像特徴抽出方法及び装置は、文書画像をウェーブレット圧縮アルゴリズムによって、低周波画像情報と高周波画像情報とに分離する機能と、前記分離された前記低周波画像情報から画素値の平均と分散を生成する機能と、前記分離された高周波画像情報から画素の連結成分を検出し、該連結成分に基づき、ワード数、絵の数及びコラムの数を生成する機能と、前記画素値の平均と分散、ワード数、絵の数及びコラムの数を統合して特徴ベクトルを生成する機能とを有する。

本発明によれば、文書画像から効率よく特徴情報を抽出することができ、画像の特徴マッチングによる文書画像データベース検索やその他の、広範囲の利用が可能である。

以下、添付図面を参照し、本発明の実施の形態を説明する。
［本発明の実施に適した典型的なシステム構成］
本発明は専用のハードウェアによって実施することも可能であることは当然であるが、通常、本発明は、図１に示すような基本的なサブシステムからなるコンピュータシステム上で実施されるであろう。

図１において、コンピュータシステム１０はバス１２を含み、このバス１２は主要なサブシステム、例えば中央プロセッサ１４、システムメモリ１６、入出力（Ｉ／Ｏ）コントローラ１８、パラレルポート２２を介してプリンタなどの外部装置２０、ディプレイアダプタ２６を介してディスプレイ２４、シリアルポート２８、キーボード３０、固定ディスクドライブ３２、フロッピーディスク３３Ａを挿入して動作可能なフロッピーディスクドライブ３３を相互に接続する。その他、多くのデバイスを接続可能であり、例えば、外部インターフェース３６を介してスキャナ装置３４を接続でき、シリアルポート２８を介してマウス３８を接続でき、タッチスクリーン４０を直接接続できる。これ以外に、多くのデバイスあるいはサブシステム（不図示）を同様の方法で接続してもよい。また、後述のように、図１に示した全てのデバイスが必ずしも本発明の実施のために必要なわけではない。また、システムの動作を損なわない限り、デバイス及びサブシステムの相互接続を図１に示した方法と異なった方法で行っても構わない。図１に示すようなコンピュータシステムの動作は、当該技術分野では自明であるので、ここでは詳述しない。本発明を実行するためのソースコードは、システムメモリ１６に動作可能に配置されるか、あるいは、固定ディスク（３２）やフロッピーディスク３３Ａなどの記録媒体に格納されであろう。また、画像データベースも固定ディスク（３２）に格納されるであろう。

ディスプレイ２４は、ＣＲＴディスプレイつまりモニタを採用したパソコン、ワークステーション、メインフレームコンピュータなどの一般的なコンピュータに使用されるものと同様なものである。様々な種類のユーザ入力デバイスを本発明に使用できる。例えば、ユーザの手の動きに従ってディスプレ２４の画面上に表示されたポインタを移動させることができるマウス３８は、標準的なユーザ入力デバイスである。マウスは表面に１つ又はそれ以上のボタンがあり、ユーザはマウスを動かして画面上のオブジェクトを指し示し、マウスの１つ又はそれ以上のボタンを押すことにより、そのオブジェクトを選択し、あるいは起動することができる。あるいは、タッチスクリーン４０を用いれば、ユーザは、画面上でオブジェクトを指し示すことにより１つのオブジェクトを選択し、その選択されたオブジェクトをポインティング操作によって画面上の別の位置へ移動させることができる。マウス又はタッチスクリーンを利用して起動させるための様々なボタンやコントロールを、画面に表示できる。固定ディスクドライブ３２は、ハードディスクドライブ又は光ディスクドライブ、あるいは、文書画像データベースの格納に適した任意の媒体である。

［画像データベースに対して行われる照会動作の概要］
本発明の一実施例の独特かつ革新的な特徴の一つは、直観的に理解できるやり方で、データベース中の文書に対し画像ベースの検索を行うことができ、また、検索を高速化するため、文書画像の視覚的特徴によってデータベースを編成することである。また、従来技術で必要とされたような代表文書画像をユーザが作る必要がない。この点に関しては、例えば本出願人が特願平９−２３４２９号（特開平９−２３７２８２号）で既に提案した文書画像データベース検索方法では、「模範文書」をユーザが用意もしくは生成しなければならない。

本発明の一実施例によるデータベース検索編成処理手順が図２に示されている。この実施例においては、ＯＣＲスキャンニングによって、文書のテキスト成分が文書画像から抽出され、それがデータベース内で利用可能とされる。このデータベースは、コンピュータシステム内の固定ディスク（３２）やシステムメモリ１６など、任意の１つまたは複数の記憶媒体に置かられる。

検索手続きは最初の照会ステップ１０２から始まる。この照会ステップ１０２において、ユーザは、キーボード３０などの入力デバイスとディスプレイ２４を利用して、１つ又はそれ以上のキーワード（すなわち、文字列又は文字列の組合せ）をシステムに入力する。

データベース中の文書のテキスト成分に含まれる前記文字列を探すための検索が、テキスト・ベース検索ステップ１０４で行われる。このテキスト・ベース検索で、ユーザが関心を持っている文書が見つかった場合には、ユーザは、ステップ１０６で、それ以上の処理を停止させることができる。関心を持っている文書が見つからなかった場合には、前記文字列を含んでいる文書が画像ベース検索のための基礎になる。好適な実施例においては、文書画像の圧縮画像から抽出された特徴がデータベース内に用意されている。テキスト・ベース検索の条件を満たした文書は、分類ステップ１０８において、各文書画像から抽出された特徴の類似度に基づいて分類され、複数のクラスタが生成される。ステップ１１０において、分類ステップ１０８で生成された各文書画像クラスタ毎に、１つの代表文書画像が選択される。

表示ステップ１１２で、代表文書画像がディスプレイ２４によってユーザに表示される。好適な実施例においては、図１２に示すように、ウェブ・ブラウザー１００４をユーザインターフェースとして利用して、各代表文書画像の圧縮表現がアイコン１００６として表示される。関連した実施例では、圧縮されない代表文書画像を表示する。好適な実施例においては、ユーザは、あるクラスタをさらなる検索のための基礎として選択でき、この選択は、ステップ１１４で、マウス３８又は他の入力デバイスを使って、さらなる検索の基礎とすべきクラスタの代表文書アイコンを指示することによって行う。

選択された文書クラスタに分類ステップを適用することによって検索を続行し、当該クラスタを新しい１組のクラスタに分割する（ステップ１０８）。その各クラスタは新しい１つの代表文書画像を持つ。検索は、文書が見つかるまで（ステップ１０６）、あるいはユーザが検索の停止を選択するまで（ステップ１１６）継続する。

本発明の他の実施例によるデータベース検索編成処理手順が図３にフローチャートとして示されている。この例では、各文書画像の圧縮表現がデータベース内に用意される。これらの圧縮表現から特徴が抽出されるが、この抽出のステップ１０７は文書完了ステップ１０６と分類ステップ１０８の間に挿入される。検索は、図２に関連して説明した例におけると同様に分類ステップ１０８に進む。関連した実施例では、図示しないが、分類ステップ１０８を最初に適用する前に、あるいはデータベースのナビゲーション中、分類ステップ１０８を新たに適用する前に随時、ユーザが希望するクラスタ数を選択できるようにするステップも含む。

本発明によるもう一つの実施例によるデータベース検索編成処理手順が図４に示されている。この実施例においても、前述の実施例と同様、文書画像の圧縮画像から抽出された特徴をデータベース内に用意しておくのが望ましい。分類ステップ２０８で、文書は各文書画像から抽出された特徴の類似度に基づいて分類され、クラスタを生成する。分類ステップ２０８で生成された各文書画像クラスタ毎に、ステップ２１０で１つの代表文書画像が選択される。代表文書画像は、表示ステップ２１２で、ディスプレイ２４によってユーザに表示される。好適な実施例においては、ステップ２１４で、システムはユーザから入力パラメータを受け入れる。この入力パラメータに基づいて、さらに検索が続けられる。検索は、ユーザが停止を選択するまで（ステップ２１６）続く。

関連した実施例を図５に示す。この実施例では、各文書画像の圧縮表現がデータベース内に用意される。分類ステップ２０８の前の抽出ステップ２０７で、これらの圧縮表現から特徴が抽出される。検索は、図４に関連して説明した実施例と同様、分類ステップ２０８に進む。

もう一つの関連実施例は、分類ステップ２０８を最初に適用する前に、あるいはデータベースのナビゲーション中、分類ステップ２０８を新たな適用する前に随時、ユーザが希望するクラスタ数を選択できるようにするステップも含む。

図６乃至図１１は、検索技術の基礎をなす画像処理技術の利用について説明する図である。特に図６乃至図１０は本発明の画像特徴抽出技術の実施例を説明する図で、図６は画像圧縮、図７、図８、図９及び図１０は特徴抽出の説明図である。図１１は分類の説明図である。図１２は、表示及びユーザインターフェースの部分を実現するためのウェブ・ブラウザーの利用法を示すものである。

［圧縮技術］
圧縮により、データベースの大量の文書画像の記憶コストが削減される。各文書画像は、圧縮技術によって、例えば、ウェーブレット圧縮（IEEE Data Compression Conference，CREW：Compression with Reversible Embedded Wavelets，March 1995 を参照。これは、ここに引用によって本出願に全面的に編入される）や、従来から知られている任意の圧縮技術によって圧縮される。

図６はウェーブレット圧縮を説明するものである。ウェーブレット圧縮の処理では、画像データ４０２にピラミッド変換を再帰的に適用し、画像を４分の１の大きさの高周波情報４０４，４０６，４０８と４分の１の大きさの低周波情報４１０に分割する。本出願において、ＣＲＥＷはいくつかの利点がある。すなわち、ＣＲＥＷは、かなり高速に、画像をハイパス成分とローパス成分に分解する。ＣＲＥＷは、目立ちやすい画像劣化を最小に押さえて、２０：１のロッシー圧縮が可能である。最終的に、低周波領域の左上コーナーにローパス・サブバンド画像４１２が生成される。このサブバンド画像４１２は、文書の内容確認が可能なアイコン表現を提供する。このような文書の視覚的に確認可能な表現は、効率よくアクセス可能であり、文書情報のインデックスとして便利である。

［文書画像の圧縮から特徴抽出までの処理の流れ］
図７は、本発明の一実施例の２値形式の文書画像の圧縮から特徴抽出までの処理フローの一例を図示したものである。

２値形式の文書画像５００が、処理ステップ５０１で、５×５のガウシアン平滑フィルタによって処理され、文書画像の濃淡表現５０２が生成される。文書画像が濃淡画像として記憶されている場合には、この処理ステップ５０１は不要である。

なお、多くのシステムは文書画像の記憶に２値画像表現を採用している。
２値画像の利点はコンピュータの記憶媒体の比較的小さい領域しか占有しないことである。これに対し、濃淡画像の主たる利点は、縮小されても文書画像の認識可能な構造が維持されることである。濃淡画像の主な欠点は、その記憶のための記憶媒体のコストであった。しかし、デジタル媒体のコストが下がるにつれ、この欠点は以前より重要でなくなった。また、圧縮技術の進歩により、画像の記憶容量の差を打ち消すのに十分な高い圧縮率で濃淡画像を記憶することが可能になっている。

この濃淡表現５０２は、ウェーブレット圧縮アルゴリズム５０３によって、圧縮表現５０４に変換される。ローパスフィルタ・ステップ５０５で、圧縮表現５０４から低周波画像情報（ローパス画像）５０６が分離される。同じように、ハイパスフィルタ・ステップ５０９で、圧縮表現５０４から高周波画像情報（ハイパス画像）５１０が分離される。特徴抽出ステップ５０７が低周波画像情報５０６に対し実行され、画像の画素値の統計的モーメントとして、画素値の平均と分散という特徴５０８が生成される。同様に、特徴抽出ステップ５１１が高周波画像情報５１０に対し実行され、ワード数、絵の数及びコラムの数という特徴５１２が生成される。これらの低周波特徴情報５０８と高周波特徴情報５１２はステップ５１３で併合されて、特徴ベクトル５１４が作られる。

［特徴抽出］
圧縮ステップで得られた低周波画像情報に対する特徴抽出（図７のステップ８０７に相当）によって、図８に示すように画像の画素値の統計的モーメントを生成する。本発明のある実施例においては、図７に関連して述べたように、その統計的モーメントとして、画素値の平均(Ｘmean)６０２と分散(Ｘvariance)６０４が、図８中に示し計算式によって計算される。ただし、Ｘj（ｊ＝1，2，．．．，N）は、低周波画像中の各画素の値である。

図９及び図１０は、圧縮ステップで得られた高周波画像情報に対し適用される特徴抽出（図７のステップ５１１に相当）を説明するものである。高周波画像情報に対する特徴抽出は、連結成分を検出することによってなされる。処理の最初のステップはヒストグラム平準化を行うことであり、濃淡値の最小値と最大値が計算され、濃淡値の範囲が０と２５５の間の値をとるように調整される。ヒストグラム平準化は当業者に周知の標準的な画像処理技術の一つである。最終的に連結成分アルゴリズムが、好適な実施例では４連結成分アルゴリズムが、適用される。

４連結成分アルゴリズムによれば、連結成分を探索する際に、ある特定の画素の上下左右を観察し同様の濃淡レベルを持つ他の画素を探す。注目している画素の上下左右のいずれかにある隣接画素が統合されて１つの連結成分が作られる。一方、８連結成分アルゴリズムでは、連結成分の探索の際に、画素の上下左右だけでなく、画素の４つの頂点のどれかに隣接する画素も調べることになる。

本発明のある実施例では、連結成分が確認されたならば、その連結成分情報から、前述のようにテキスト・ワード７０２、絵７０４及びテキスト・コラム８０２の総数などの特徴が抽出される。テキスト・ワードの総数という特徴は、あるしきい値サイズ未満の連結成分の総数を調べることによって決定される。このしきい値は、テキストに属している連結成分と絵に関係した連結成分領域を識別するために設定される。しきい値未満の連結成分の個数がワード数である。しきい値を超える連結成分の個数が絵の個数である。

図１０は、テキスト・カラム数の決定の基礎となる処理を表している。図１０のグラフ８０４に、連結成分（ｙ軸）対位置（ｘ軸）のプロットが示されている。図１０のプロット８０２は、グラフ８０４の遷移数（ｙ軸）対連結成分数（ｘ軸）を表している。プロット８０２において、遷移数は画像中のカラムの個数を示す。

グラフ８０２中の主要な台地部を観測することにより、文書中の主要なカラム数を判断できる。グラフ８０２の場合、大きな絵があるために大勢としては１コラムの文書と判断される。しかし、第２の台地部分が、その文書中に３つのコラムもまた存在することを示す。かなり大きい数でピークが検出されたが、これはワード境界のノイズを示し、この点を超えたところでは、もうカラム情報は検出できない。

ある実施例においては、前述の如く、抽出された特徴を統合して「特徴ベクトル」を作る。この特徴ベクトルを文書データベース内の対応した文書画像の検索に利用できる。

［文書画像のクラスタへの分類］
文書画像は特徴情報に基づいて分類され、文書画像のクラスタが作られる。各クラスタには類似した特徴を有する文書画像が含まれる。分類を行う方法の一つは、ｋ−平均アルゴリズムを利用することである。図１１に示す本発明の一実施例によれば、図１１に示すように、キーワード検索などで絞り込まれた複数の文書画像９００は、予め選んだ個数のクラスタ（グループ）、例えば３個のクラスタ９０２，９０４，９０６に分類される。検索の細かさと、混乱することなく追跡可能なクラスタ数との兼ね合いをユーザが判断して、望ましいクラスタ数をユーザが選ぶようにしてもよい。任意のクラスタ内の文書に対し分類を再帰的に行うことにより、データベース内に階層構造を作ることができる。

［代表文書画像の表示］
ユーザに表示するための代表文書画像は、システムによって自動的に各文書画像クラスタから選び出される。本発明の一実施例においては、分類ステップで生成された各クラスタについて、中心が計算され、その中心に最も近い画像が特性画像、すなわち代表文書画像としてラベル付けされる。

本発明の好適な実施例においては、ウェブ・ブラウザーをユーザ・インターフェースとして利用して、代表文書画像を表示し、どの文書画像クラスタをさらなる検索の基礎とすべきかユーザが指示できるようにする。図１２（ａ）に示すようなウェブ・ブラウザー１００４をユーザ・インターフェースとして利用し、図１２（ｂ）に示すように、ある検索の段階における文書画像クラスタそれぞれの代表文書画像の圧縮表現がアイコン１００６としてウェブ・ブラウザー１００４に表示される。関連した実施例では、圧縮しない代表文書画像が表示される。好適な実施例では、ユーザが、ある特定のクラスタをさらなる検索の基礎として選択することができ、この選択は、ユーザがマウス３８又はその他の入力デバイスを用いて、さらなる検索の基礎としようとするクラスタの代表文書アイコン１００６をシステムに指示することによって行う。検索が続けられ、選択された文書クラスタに対し分類ステップを適用し、このクラスタを新たな１組のクラスタに分割するが、その各クラスタに１つの代表文書画像がある。図１２（ｃ）に示すように、それら代表文書画像の圧縮表現がアイコン１００８として表示される。他の実施例では、これら代表文書画像は圧縮されないものがウェブ・ブラウザー１００４に表示される。

［ワールド・ワイド・ウェブからの文書画像検索］
関連した実施例においては、ワールド・ワイド・ウェブの検索エンジン、例えばAltavistaやInfoseekより引き出された文書が、本発明の方法により閲覧される。通常、ユーザは、単純なテキスト・ベースの照会に対し返された、様々なソースからの多数の文書を受信する。どの文書が実際に関心のあるものか、判断が難しい。しかし、外観から区別可能な特定の種類の文書、例えば、大抵は２コラムのテキストを含む科学論文を求めているユーザは、本発明の技術を利用すれば、そのような文書だけを素早く手に入れることができる。

特定の実施例に関連して本発明を説明した。それ以外の実施例も当業者には明かになろう。したがって、特許請求の範囲の各請求項によって指摘されたこと以外、本発明は限定されるべきではない。

本発明の実施に適した典型的なコンピュータシステムを示すブロック図である。 本発明の一実施例によるデータベース検索編成処理手順を示すフローチャートである。 本発明の他の実施例によるデータベース検索編成処理手順を示すフローチャートである。 本発明の別の実施例によるデータベース検索編成処理を示すフローチャートである。 本発明の他の実施例によるデータベース検索編成処理を示すフローチャートである。 文書画像のウェーブレット圧縮の説明図である。 本発明の一実施例の２値形式の文書画像の圧縮から特徴抽出までの流れを説明する図である。 低周波画像情報からの特徴抽出の説明図である。 高周波画像情報からのワード及び絵の連結成分の抽出の説明図である。 高周波画像情報からのコラムの連結成分の抽出の説明図である。 文書画像のクラスタリングの説明図である。 ユーザ・インターフェースのためのウェブ・ブラウザーの利用を説明するための図である。

符号の説明

１０ コンピュータシステム
１４ 中央プロセッサ
１６ システムメモリ
２４ ディスプレイ
３０ キーボード
３２ 固定ディスクドライブ
３３Ａ フロッピーディスク
３８ マウス
１００４ ウェブ・ブラウザー
１００６，１００８ 代表文書画像のアイコン
５００ 文書画像
５０４ 圧縮表現
５０６ 低周波画像情報
５０８ 低周波特徴情報
５１０ 高周波画像情報
５１２ 高周波特徴情報

Claims (2)

1. 文書画像から特徴を抽出する画像特徴抽出方法であって、
   前記文書画像をウェーブレット圧縮アルゴリズムによって、低周波画像情報と高周波画像情報とに分離するステップと、
   前記分離された前記低周波画像情報から画素値の平均と分散を生成するステップと、
   前記分離された高周波画像情報から画素の連結成分を検出し、該連結成分に基づき、ワード数、絵の数及びコラムの数を生成するステップと、
   前記画素値の平均と分散、ワード数、絵の数及びコラムの数を統合して特徴ベクトルを生成するステップと、
   を有することを特徴とする画像特徴抽出方法。
2. 文書画像から特徴を抽出する画像特徴抽出装置であって、
   前記文書画像をウェーブレット圧縮アルゴリズムによって、低周波画像情報と高周波画像情報とに分離する手段と、
   前記分離された前記低周波画像情報から画素値の平均と分散を生成する手段と、
   前記分離された高周波画像情報から画素の連結成分を検出し、該連結成分に基づき、ワード数、絵の数及びコラムの数を生成する手段と、
   前記画素値の平均と分散、ワード数、絵の数及びコラムの数を統合して特徴ベクトルを生成する手段と、
   を有することを特徴とする画像特徴抽出装置。

Images