JP6151802B2 - 文書の可視オブジェクト検索のためのプレフィルタリング - Google Patents

Description

本発明は、一般に、コンピュータ化された検索に関し、より詳細には、文書の可視オブジェクト検索のための、色およびサイズベースのプレフィルタリングのための方法に関する。

情報の作成、配布、および管理は、ビジネスの中核をなす機能である。情報またはコンテンツは、ワード・プロセッシング文書、スプレッドシート、グラフィックス、写真、設計図、建築計画などを含む、様々な異なる様態で提示され得る。電子形態において、これらは、一般に、文書と呼ばれ、それらの文書に特有のコンピュータ・ソフトウェア・アプリケーションによって生成され、操作されることが可能である。企業における通常のワークフローには、そのような文書を協力して作成し、点検し、さらに／または編集する、しばしば、別々の地理的場所にわたる、様々なスタッフが関与する。

多種多様なオペレーティング・システム、アプリケーション・プログラム、ならびに処理能力およびグラフィック表示能力を有する、異なる多くのコンピューティング・プラットフォームの存在のため、デバイスに依存せず、解像度に依存しないファイル・フォーマットが、そのような交換を円滑にするのに必要であることが当業者によって認識されてきた。この必要性に応えて、競合するフォーマットの中でもとりわけ、ＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）が開発された。

ＰＤＦ標準は、簡略化されたＰｏｓｔＳｃｒｉｐｔインタプリタ・サブシステム、フォント埋め込みサブシステム、およびストレージ・サブシステムを含む、いくつかの技術の組合せである。当業者には認識されるとおり、ＰｏｓｔＳｃｒｉｐｔは、文書のレイアウトおよびグラフィックスを生成するためのページ記述言語である。さらに、ＰＤＦストレージ・サブシステムの要件に則って、本明細書でひとまとめにしてグラフィック要素と呼ばれる、テキスト、ベクトル・グラフィックス、およびラスタ（ビットマップ）グラフィックスを含む、その文書のすべての要素が、単一のファイルの中にカプセル化される。グラフィック要素は、特定のオペレーティング・システム、ソフトウェア・アプリケーション、またはハードウェアに対して符号化されるのではなく、そのようなデータを書き込む、または読み取るシステムと関係する特定性にかかわらず同一の様態でレンダリングされるように設計される。ＰＤＦのクロスプラットフォーム能力は、ＰＤＦの幅広い採用を助け、今や、事実上の文書交換標準である。当初はプロプライエタリであったが、ＰＤＦは、ＩＳＯ／ＩＥＣ３２００−１：２００８として国際標準化機構（ＩＳＯ）によって公開されたオープン標準としてリリースされている。現在、ＰＤＦは、主としてテキストからなるもの、および主としてベクトル・グラフィックスおよびラスタ・グラフィックスからなるものを含む、多種多様な文書タイプを符号化するのに利用される。ＰＤＦの多機能性および汎用性のため、ＰＤＦフォーマットのファイルの方が、しばしば、特定のアプリケーションのより専用化されたファイル・フォーマットより選好される。その汎用性および一般性に起因して、ＰＤＦフォーマットのファイルは、特定のアプリケーションのより特定的なされたファイル・フォーマットよりも好ましいことが多い。そのため、文書がＰＤＦフォーマットへ変換されることが多い。

ＰＤＦフォーマットの電子文書などの電子文書で作業することの有意な利点のうちの１つは、短時間で大量の情報を検索する能力である。非電子文書または紙の文書を用いる場合、ある情報を検索することは、たとえ最良のカタログツールおよび他のインデックスツールを用いても、困難で骨の折れるプロセスであることが分かっている。一般に、従来の
電子文書の検索は、ユーザが単純な単語クエリを入力し、そのクエリされた１つまたは複数の単語が見つかる場所が識別されるテキストベースの方法に限定されてきた。書式設定などの付加的な検索パラメータも特定され得る。ブール検索技法および自然言語検索技法も知られているが、典型的には、文書のデータベースや、ワールドワイドウェブのウェブページなどを検索するために利用される。しかしながら、結局のところ、これらはテキストベースのクエリを伴う。

ＰＤＦファイルに格納され、ＰＤＦファイルとして交換される情報／主題は、より複雑になりつつあり、幅広い文書が、ペーパーレスオフィス化傾向の一環としてデジタル化されている。実際に、エンジニアリング図、建設計画、配線図などは、ＰＤＦ文書に保存され、ＰＤＦ文書を介して共有されることが多い。文書において、特に、上記に挙げられたタイプの文書において、グラフィックの使用がますます増加するにつれて、そのような要素についてのクエリは、望ましい機能である。例えば、建築図面は、その図面からは即座に分からない関連する参照情報、その図面または文書の他の部分へのリンクなどを、見る人に様々に提供する記号を含む。記号に関連付けられるそのようなリンクはアクティブにされる場合があり、または特定の記号を数えることが必要になる場合がある。現在、これは手動で行われており、非常に時間がかかる。

グラフィック自体のコンテンツを検索するよりもむしろ、別の従来の技法は、メタデータをグラフィックと関連付け、メタデータのテキストベースの検索を使用することを伴う。主題またはコンテンツのキーワード、カテゴリのキーワード、場所のキーワードなどの多様な情報が、メタデータにおいて特定され得る。種々の画像またはグラフィックのカタログにおいて、そのようなテキストメタデータ検索は、適切であり得る。しかし、ある大きな文書中のあらゆるグラフィックをカタログ化することは、特に、その文書のデータ構造がカタログ化に順応しない場合には、不可能であり得る。

人間が、ある文書上の特定のグラフィック情報の発生を検索する場合、そのグラフィックのフィーチャ・セットに基づく記述が、直感的に形成される。これらのフィーチャは、典型的には、対象物のサイズ、形状、および色、ならびに当該対象物と文書内に含まれる他のグラフィックとの間の関係である。一般にテンプレートと呼ばれる、フィーチャの記述は、一致する候補を識別するために、文書の種々のセグメントと比較される。そのような一見したところ直感的であるが複雑な精神的プロセスを、データプロセッサによって実行され得る別個のプロセスとして実装することに関連付けられる、有意な課題が存在する。様々な技法およびアルゴリズムが開発されてきたが、それらは大量のデータに対する数学的な集約的演算を伴う傾向がある。したがって、改善された精度および速度における重要な要因は、生データの処理能力における改善に起因する。

視覚的な検索のための１つの技法は、本願譲受人にも譲渡され、その開示の全体が本願明細書に全て援用される、「Ａ ｍｅｔｈｏｄ ｆｏｒ ｍｕｌｔｉｐｌｅ ｐａｓｓ ｓｙｍｂｏｌ ａｎｄ ｃｏｍｐｏｎｅｎｔｓ−ｂａｓｅｄ ｖｉｓｕａｌ ｏｂｊｅｃｔ ｓｅａｒｃｈｉｎｇ ｆｏｒ ｄｏｃｕｍｅｎｔｓ」と題された同時係属中の米国特許出願第１３／０１８，２９９号
において想定される。この技法は、文書が検索されるラスタテンプレートの選択および定義を伴う。文書ラスタ画像表現が生成され、一致する候補は、連続的な詳細レベルで生成および縮小される。

人間の精神は、ある省略または遮蔽された詳細部を補うことができるため、たとえ部分的に隠されている場合でも、グラフィック要素を識別することが可能である。しかしながら、前述のラスタ画像ベースの検索のいくつかの使用例においては、このような部分的に隠されたグラフィック要素が識別されないことがある。建築業界、エンジニアリング業界
、および建設業界において、生成される典型的なＰＤＦ文書は、いくつかの重複する情報の層を含み得る。さらに、これらの産業界は、複数のユーザが文書にコメントし、様々な注釈（アノテーション）を付ける、高度に協調的なワークフロープロセスを伴う傾向がある。文書のラスタ化画像の検索は、そのような遮蔽されたコンテンツをうまく識別し得ない。また、このような複雑な文書は、前述の視覚検索モダリティを減速させる傾向がある、データ集約的なラスタ画像を生み出す傾向がある。

したがって、本技術分野においては、改善された速度および精度を有する、文書の可視オブジェクト検索のための、色およびサイズベースのプレフィルタリングのための方法の必要がある。

様々な実施形態によれば、可視オブジェクトのコンピュータ化された検索のために文書上の可視オブジェクトをプレフィルタリングする方法が開示される。前処理動作は、検索速度および結果の品質を実質的に改善するために想定される。なぜならば、特に、文書がベクトル成分からなる場合には、後続のラスタベースの視覚検索のためのデータセットが低減されるからである。さらに、多数のオーバーレイを有する複雑な文書であっても、一致するものの正確な識別が可能である。

本方法の第１の実施形態は、文書のサブセクションからのテンプレート可視オブジェクトの選択を受け取る工程を含むことができる。テンプレート可視オブジェクトは、１つまたは複数のオブジェクト構成要素によって定義され得る。これに加えて、テンプレート可視オブジェクトのフィーチャ・セットを得る工程が存在してもよい。フィーチャ・セットは、前記オブジェクト構成要素を定義する色の色リストと、前記オブジェクト構成要素の境界定義と、補助ラスタ成分交差フラグとのうちの少なくとも１つを含み得る。これらの全てがフィーチャ・セットを構成するにもかかわらず、様々な実施形態では、１つのみを有し得る。本方法は、文書上の可視オブジェクトから、プレフィルタリングされた可視オブジェクトのサブセットを生成する工程をさらに備えてよい。プレフィルタリングされた可視オブジェクトは、フィーチャ・セットの色リストと、前記境界定義と、前記補助ラスタ成分交差フラグとのうちの少なくとも１つに基づく所定の基準のうちの少なくとも１つに一致し得る。この場合においても、異なる実施形態では、これらのうちの１つのみが所定の基準の基礎となる可能性も想定される。また、文書からプレフィルタリングされた文書ラスタ画像を生成する工程が存在してもよい。プレフィルタリング文書ラスタ画像は、隣接する画素の１つまたは複数の連結されたシーケンスからなる画素セットを含み得る。画素セットは、プレフィルタリングされた可視オブジェクトのサブセットに対応し得る。

本開示の第２の実施形態では、文書上の可視オブジェクトのコンピュータ化された検索のために、可視オブジェクトをプレフィルタリングする方法も想定される。この方法は、文書のサブセクションからのテンプレート可視オブジェクト領域の選択を受け取る工程を含み得る。テンプレート可視オブジェクト領域は、連結された画素の１つまたは複数のシーケンスによって定義され、画素は各々色値を有し得る。この方法は、テンプレート可視オブジェクト領域内の画素の各々からの色値のヒストグラムを生成する工程に続いてもよい。これに加えて、文書からプレフィルタリングされた文書ラスタ画像を生成する工程が存在してもよい。プレフィルタリングされた文書ラスタ画像は、隣接する画素の１つまたは複数の連結されたシーケンスからなる画素セットを含み得る。さらにまた、プレフィルタリングされた文書ラスタ画像における画素は、色値のピークの所定の範囲内に存在し得る。１より多くのピークが特定されてもよいことが理解される。

前述の方法は、データ処理装置によって実行可能な一連の工程として実装され、非一時的なプログラム記憶媒体において具現化され得る。現在想定される実施形態は、添付の図面と共に読まれる場合、以下の詳細な説明を参照することによって、最も良く理解されるであろう。

本明細書において開示される様々な実施形態のこれらおよび他の特徴および利点は、以下の説明および図面に関してより良く理解されるであろう。

ディスプレイ・デバイスを含む、本発明の態様と共に使用するための機能を実行することが可能であり得る例示的なコンピュータ・システムの図。 図１の例示的なコンピュータ・システムのシステム構成要素のブロック図。 可視オブジェクトをプレフィルタリングする想定される方法の様々な態様を実装する文書レビュー・ソフトウェア・アプリケーションの例示的なユーザ・インタフェースの図。 テンプレート可視オブジェクトと文書可視オブジェクトがベクトルデータを含む文書上の可視オブジェクトをプレフィルタリングするための方法の第１の実施形態を例示するフローチャート。 テンプレート可視オブジェクト領域のビットマップデータが使用される文書上の可視オブジェクトをプレフィルタリングするための方法の第２の実施形態を例示するフローチャート。 例示的なテンプレート可視オブジェクトのベクトルをグラフで表現した図。 図５に示される、ベクトルをグラフで表現した図のデータ構造図。 図５に示される例示的なテンプレート可視オブジェクトと均等な簡略化されたラスタをグラフで表現した図。 本開示の様々な実施形態に係るフィーチャ・セットのデータ構造図。 例示的なプレフィルタリングされた文書ラスタ画像の図。 色に基づくプレフィルタリング方法の実行前の例の図。 色に基づくプレフィルタリング方法の実行後の例の図。 サイズに基づくプレフィルタリング方法の実行前の例の図。 サイズに基づくプレフィルタリング方法の実行後の例の図。 補助ラスタ成分交差フラグに基づくプレフィルタリング方法の実行後の例を示す図。 ベクトル空間色選択機能を実証するためのテンプレート可視オブジェクトを定義する文書からの別の選択領域を示す図。 テンプレート可視オブジェクトの異なる色がプレフィルタリングのために選択される色選択ダイアログウィンドウのインスタンスの図。 テンプレート可視オブジェクトの異なる色がプレフィルタリングのために選択される色選択ダイアログウィンドウのインスタンスの図。 テンプレート可視オブジェクトの異なる色がプレフィルタリングのために選択される色選択ダイアログウィンドウのインスタンスの図。 図７に示されるラスタ画像の画素色値と対応する個数とを描く例示的なヒストグラム。 プレフィルタリング方法の第２の実施形態の適用後の、例示的なプレフィルタリングされた文書ラスタ画像の図。 ヒストグラム操作インタフェースを含む色選択ダイアログウィンドウの別のインスタンスの図。

図面および詳細な説明の全体を通じて、同じ要素を示すために共通の参照符号が使用さ
れる。
添付の図面に関連して以下に示される詳細な説明は、コンピュータ化された検索のプレフィルタリング方法の現在好適な実施形態の説明として意図されるものであり、本方法が開発または利用され得る唯一の形態を表すことを意図されるものではない。本説明は、例示される実施形態に関連して本発明を開発および動作させるための機能および工程のシーケンスを示す。しかしながら、同じまたは均等な機能およびシーケンスは、異なる実施形態によって達成されることができ、当該異なる実施形態も、本発明の精神および範囲内に包含されることが意図されることが理解されるべきである。第１、第２などの関係後の使用は、ある実体と別の実体との間の実際のそのような関係または順序を必ずしも要求または暗示することなく、ある実体を別の実体と区別するためだけに使用されることがさらに理解される。

図１は、文書管理および文書配置の企図される方法の様々な態様が実施され得る例示的なハードウェア環境を示す。一般に、システム・ユニット１２と、ディスプレイ・デバイス１４とを有するコンピュータ・システム１０が存在する。ディスプレイ・デバイス１４は、システム・ユニット１２によって実行されたデータ処理動作からのグラフィック出力をもたらした。例えば、キーボード１６およびマウス１８を含む入力デバイスが、データ処理動作に対する対応する入力を生成するようにユーザによって操作されることが可能であり、ポート２０を介してシステム・ユニット１２に接続される。他の様々な入力デバイスおよび出力デバイスが、システム・ユニット１２に接続されることが可能であり、様々な相互接続モードが、当技術分野において知られている。

図２のブロック図に示されるとおり、システム・ユニット１２は、任意の従来のタイプであり得るプロセッサ（ＣＰＵ）２２を含む。システム・メモリ（ＲＡＭ）２４が、ＣＰＵ２２によって実行されたデータ処理動作の結果を一時的に記憶し、通常、専用のメモリ・チャネル２６を介してＣＰＵ２２と互いに接続される。システム・ユニット１２は、入出力（Ｉ／Ｏ）バス３０を介してＣＰＵ２２とやはり通信状態にある、ハード・ドライブ２８などの永久ストレージ・デバイスをさらに含み得る。グラフィックス・モジュール３２が、ビデオ・バス３４を介してＣＰＵ２２にやはり接続されることが可能であり、表示データを表す信号をディスプレイ・デバイス１４に送信する。前段で示されるとおり、キーボード１６およびマウス１８が、ポート２０を介してシステム・ユニット１２に接続される。ポート２０がＵＳＢタイプである実施形態において、ポート２０を介して接続された外部周辺装置のために、ＣＰＵ２２に対するデータおよび命令、ならびにＣＰＵ２２からのデータおよび命令を変換するＵＳＢコントローラ３６が存在することが可能である。プリンタ、マイクロフォン、スピーカなどのさらなるデバイスが、ポート２０によってシステム・ユニット１２に接続され得る。

一実施形態によれば、ユーザは、コンピュータ・システム１０、および、特に、ディスプレイ・デバイス１４上に生成されるグラフィックと、マウス１８を介して対話することができる。ディスプレイ・デバイス１４上に生成されるカーソルの動きは、マウス１８の動きに結び付けられ、さらなる対話は、マウスボタンからの入力により提供される。キーボード１６からの入力も、コンピュータ・システム１０との対話を提供する。本開示のいくつかの特徴は、そのような入力能力および出力能力を有するコンピュータ・システムに関して説明されるが、その詳細は、例として提示されるに過ぎず、限定として提示されない。例えば、以下の説明は、マウスボタンを「クリックすること」、カーソルを「合わせること」、画面上のオブジェクトを「ドラッグする」ためにマウスボタンを「押さえること」などに言及する。そのような用語は、本明細書において示される例示的なユーザ・インタフェースとの対話に関連する、充分に理解されている意味を有する。ただし、タッチ・インタフェースおよびペン／デジタイザ・インタフェースなどの、任意の代替的なグラフィカル・ユーザ・インタフェースが、代わりに使用されてもよい。それらの機能の類似
物は、同じ機能性を実現しつつ、これらの代替的なインタフェースに順応するための適切な変形と共に、容易に認識されるであろう。

このような方向に沿って、前述のコンピュータ・システム１０は、本開示の態様を実装するのに適切な多くの他の装置のうちの１つの例示的な装置のみを表し、コンピュータ・システム１０の構成要素のうちの最も基本的なもののみが説明されている。コンピュータ・システム１０は、本明細書において説明されない付加的な構成要素を含んでもよく、異なる構成およびアーキテクチャを有してもよいことが理解されるべきである。そのようないかなる代替物も、本開示の範囲内にあるとみなされる。

ここで図３を参照すると、プレフィルタリングする方法の様々な実施形態が実装され得る文書編集ソフトウェア・アプリケーションの例示的なグラフィカル・ユーザ・インタフェース３８が示されている。本明細書において、文書という用語は、対応する文書レビュー・ソフトウェア・アプリケーションによって、開かれ、レンダリングされ、および／または編集され得る電子ファイルまたはデータのスタンドアロン表現をいう。したがって、文書は、その要素が一貫してレンダリングされ得るように、特定の手法で書式設定および構築され得る。本明細書において議論される例示的な実施形態において、文書レビュー・ソフトウェア・アプリケーションはＰＤＦ文書を取扱い、コンピュータ化された検索方法の以下の説明はＰＤＦ文書に関連するであろう。しかしながら、任意の他のソフトウェア・アプリケーションを用いて編集可能な任意の他のフォーマットの文書が代わりに使用されてもよいことが、当業者によって認識されるであろう。ソフトウェア・アプリケーションは、ウィンドウシステム上で実行され、したがって、ウィンドウシステムのためのアプリケーションに共通する多数のインタフェース要素を有する。

グラフィカル・ユーザ・インタフェース３８の機能的な、対話フィーチャは、メインウィンドウ４０を様々に最小化し、最大化し、閉じる基本ウィンドウ制御４４と共にタイトルバー４２を含むメインウィンドウ４０内に含まれる。また、メインウィンドウ４０は、メニューバー４６を含み、このメニューバー４６からは、文書編集ソフトウェア・アプリケーションの様々な機能がプルダウンメニューを介して呼び出され得る。ファイルを開くこと、現在開かれているファイルに対する変更を保存することなどの、よく利用される機能が容易にアクセス可能となるように、ツールバー４８も存在する。メインウィンドウ４０内にはワークスペースウィンドウ５０が存在し、ワークスペースウィンドウ５０は、開かれている文書ファイルの名前「ｅｘａｍｐｌｅ．ｐｄｆ」と、基本ウィンドウ制御４４とを有するサブタイトルバー５２を含む。

ワークスペースウィンドウ５０内にレンダリングされる文書５４が存在する。図示の例において、文書５４は、様々なグラフィック要素５６から成る建築図面である。図面の一部として、または文書５４に添付されるものとして、いくつかのオーバーレイされるアノテーション・オブジェクト５８が存在し得る。具体的には、特に、第１のアノテーション５８ａ、第２のアノテーション５８ｂ、および第３のアノテーション５８ｃが存在する。例として、第１のアノテーション５８ａは、第１のアノテーション５８ａによって囲まれるグラフィック要素５６へ注意を向けるコールアウトクラウドであると理解される。第２のアノテーション５８ｂは、第１のアノテーション５８ａのさらなる説明として付加されたテキストコメントであり得る。第３のアノテーション５８ｃは、その下にあるグラフィック要素５６を部分的に遮蔽する。

グラフィック要素５６およびアノテーション５８は、一般に、文書５４の可視オブジェクト６０として同様に呼ばれ得る。各可視オブジェクト６０は、文書５４内に配置される特定のロケーションに対応する関連付けられる位置値を有すると理解される。位置値は、文書５４に参照される座標に関連し得る。さらに、可視オブジェクト６０は、ラスタビッ
トマップ、すなわち、画素値のセットだけでなく、開始点座標と終了点座標とを有するベクトル成分の観点からも定義され得る。本開示の様々な実施形態は、改善された検索のために、いくつかの可視オブジェクト６０のプレフィルタリングを想定する。可視オブジェクト６０の特定の外観およびコンテンツは、例として提示されるに過ぎず、文書５４内に含まれ得る多くの他のタイプの可視オブジェクト６０が存在することが認識されるであろう。

メインウィンドウ４０は、ワークスペースウィンドウ５０の右側に位置するツールパネルウィンドウ６２も含む。本開示の一実施形態に従って検索機能も想定され、そのため、ツールパネル６２は、双眼鏡を描くアイコンによって示されるように、検索機能固有のタブ６４を有する。他の機能は、異なるタブを介してアクセス可能であり得るが、簡潔さのために、そのような他のタブは図示されない。従来の文書レビュー・ソフトウェア・アプリケーションと同様に、テキストベースの検索が可能である。第１のラジオボタン６６を選択することにより、そのようなテキストベース検索機能がアクティブ化され、文書５４において検索されるテキストは、テキストボックス６８内に入力される。第２のラジオボタン７０を選択することにより、以下にさらに詳細に説明されるような可視オブジェクトベース検索が呼び出される。

第１のラジオボタン６６（テキストベース検索）または第２のラジオボタン７０（可視オブジェクトベース検索）のいずれかの選択により、付加的な検索パラメータが特定され得る。第１のプルダウンメニュー７２は、検索対象の文書５４の選択を可能にする。図３は、このパラメータを現在の文書に設定されるものとして例示し、これは、ワークスペースウィンドウ５０において現在レビューされている文書に検索を限定する。多くの文書がソフトウェア・アプリケーションにおいて一度に開かれ得ることが想定されるため、このパラメータの別の設定は、文書を全て開くように設定され得る。

ソフトウェア・アプリケーションにおいて開かれるファイルを超えて、ファイルシステムに記憶される複数の文書を検索するオプションも存在する。第１のプルダウンメニュー７２において、このオプションは「フォルダ」と称され得る。検索されるべき最上位のディレクトリは、パス入力テキストボックス７４において特定される。他のグラフィカル・ユーザ・インタフェースにおいて実装されるように、ファイルシステムを視覚的にナビゲートするためのダイアログボックスを呼び出すファイルシステムブラウザボタン７６が存在する。チェックボックス７８は、選択された最上位のディレクトリのサブディレクトリが検索されるべきかを特定する。パス入力テキストボックス７４およびチェックボックス７８は、複数の文書を検索するオプションが選択される場合、つまり、第１のプルダウンメニュー７２が「フォルダ」に設定される場合には、アクティブであると理解される。他の場合には、パス入力テキストボックス７４、ファイルシステムブラウザボタン７６、チェックボックス７８、およびその関連付けられる説明文は、薄暗くされ、非アクティブにされ得る。

プレフィルタリングする方法は１つの文書を検索することに言及するが、本方法は複数の文書に同様に適用可能であることが理解される。そのような複数文書のプレフィルタリングおよび後続の検索は、そのためのパラメータを上述されたように設定することによって呼び出され得る。

いくつかある目的の中でも、本開示は、視覚検索において操作される無関係なデータを最小化し、そのような視覚検索に付随するラスタ化工程に先立って、部分的または全体的に遮蔽される可視（ビジュアル）文書を識別することを可能とするために、文書５４上の可視オブジェクトをプレフィルタリングすることを想定する。上述されたように、ＰＤＦ標準は、文書５４のコンテンツ、すなわち、可視オブジェクト６０の記憶および提示を、
オブジェクトのオブジェクトタイプ、色、連結成分の座標値などを含む、可視オブジェクトの特性を定義するベクトルデータのセットとして収容する。プレフィルタリング方法の第１の実施形態は、そのようなベクトルデータを伴い、プレフィルタリング方法の第１の実施形態の工程は、図４Ａのフローチャートに示される。代替的に、ＰＤＦ標準は、可視オブジェクト６０、および、実際には、文書５４全体の記憶も、各々が色値を有する画素の多次元のアレイによって定義されるラスタまたはビットマップとして収容する。また、プレフィルタリング方法の第２の実施形態は、そのようなラスタデータを伴い、プレフィルタリング方法の第２の実施形態の工程は、図４Ｂのフローチャートに示される。これらの実施形態の両方は、順番に議論されるであろう。

両実施形態は、可視オブジェクトのテンプレートをキャプチャする工程を想定する。図４Ａのフローチャートに示されるように、ベクトルデータを伴う、プレフィルタリング方法の第１の実施形態は、テンプレート可視オブジェクトの選択を受け取る工程３００を想定する。同様に、図４Ｂのフローチャートに示されるように、ラスタデータを伴う、プレフィルタリング方法の第２の実施形態は、テンプレート可視オブジェクト領域の選択を受け取る工程４００を含む。

図３に示される文書レビュー・ソフトウェア・アプリケーションを利用すると、両方の場合において、これは、ツールパネルウィンドウ６２の選択ボタン８０をアクティブ化することを含み得る。次に、カーソル８２が、第１の位置８４から第２の位置８６までドラッグされ得、これによって、可視オブジェクト６０、つまり、トイレを描くグラフィック要素５６を取り囲む選択領域８８を定義する。テンプレート可視オブジェクト９０が選択される特定の技法が説明されたが、本開示の範囲から逸脱することなく、異なるインタフェースを伴う他の技法が代わりに使用されてもよいことが認識されるであろう。

プレフィルタリング方法の第１の実施形態において、この選択された可視オブジェクト６０は、テンプレート可視オブジェクト９０とも呼ばれるであろう。図５を参照すると、このグラフィック要素５６は、（属性の中でも）特定の大きさ、位置、および色を有する、数学的に定義される一連の幾何プリミティブまたはオブジェクト構成要素９２として表現され得る。図示される例においては、第１の長方形９２ａ、第２の長方形９２ｂ、正方形９２ｃ、第１の斜線９２ｄ、および第２の斜線９２ｅが存在する。これらの構造は、例として提示されるに過ぎず、一連の直線および曲線などの任意の他の適切な定義も利用され得る。図６のデータ構造図に示されるように、各オブジェクト構成要素９２は、オブジェクトタイプ属性９３ａ、色属性９３ｂ、および座標属性９３ｃを含む、１つまたは複数の属性９３によって定義される。これらの属性９３の各々と他の属性とが、対応するオブジェクト構成要素９２の視覚的外観および位置を定義し、オブジェクト構成要素９２は、組み合わされると、テンプレート可視オブジェクト９０の視覚的外観および位置を定義する。したがって、工程３００に従った、可視オブジェクト６０の選択は、各オブジェクト構成要素９２の様々な属性９３を一時記憶装置に収めるものと理解される。

他方では、プレフィルタリング方法の第２の実施形態における、前述された同じ対話は、文書５４のサブセクションである領域を選択するものと理解される。図７は、前述の選択領域８８のラスタ表現を例示する。文書５４の全体、または文書５４の少なくとも関連する部分は、複数の行９６および複数の列９８において配列される画素９４の多次元のアレイによって定義される。選択領域８８、および、したがって、テンプレート可視オブジェクト領域１００は、グラフィック要素５６を構成する画素９４を含む。各画素９４は、様々な色強度値または画素強度値を有すると理解される。同様の強度を有し互いに隣接する画素９４は、１つの連結されたシーケンスにグループ化され得る。本明細書においては、第１の画素と第２の画素とが直接隣接し、または、上方向、下方向、左方向、もしくは右方向の関係において少なくとも所定の距離内で隣接し、かつ、所定の閾値未満であるそ
れぞれの強度における差を有する場合、第１の画素は第２の画素に連結されている。これにしたがって、連結画素のチェーンまたはシーケンスが定義され得る。任意の所与のテンプレート可視オブジェクト９０について、隣接する画素の１つまたは複数の連結されたシーケンスからなるセットが存在し得る。このため、テンプレート可視オブジェクト領域１００の選択を受け取る工程４００は、画素強度および座標値の各々を一時記憶装置内にコピーすることを伴う。

ベクトル形式かラスタ形式かは、テンプレートとして指定され、ツールパネルウィンドウ６２のテンプレートプレビュー１０２が更新される。テンプレートプレビュー１０２は、工程３００または４００において予め選択されたテンプレート可視オブジェクト９０またはテンプレート可視オブジェクト領域１００のいずれかの表現であると理解される。この点について、プレフィルタリングおよび／または検索を開始することに先立って、そのパラメータを見ることができる。

可視オブジェクトをプレフィルタリングする方法は、ツールパネルウィンドウ６２の検索ボタン１０４をアクティブ化すると、継続し得る。図４Ａのフローチャートを参照すると、本方法の第１の実施形態は、テンプレート可視オブジェクト９０のフィーチャ・セットを得る工程３０２に続く。図８のデータ構造図に最も良く示されるように、フィーチャ・セット１０６は、テンプレート可視オブジェクト９０のテンプレート・オブジェクト構成要素９２の各々の色属性９３ｂを含む、色リスト１１０を含み得る。例えば、グラフィック要素５６が、黒色のテンプレート・オブジェクト構成要素９２と灰色のテンプレート・オブジェクト構成要素９２とから成る場合、黒色および灰色が、色リスト１１０に載せられる。以下にさらに詳細に説明されるように、プレフィルタリングの目的の１つは、色リスト１１０に載せられた色属性を有する可視オブジェクトのみが保持の候補となり得るように、テンプレート可視オブジェクト９０と類似しない、いかなる可視オブジェクト６０も除去することである。

フィーチャ・セット１０６は、テンプレート可視オブジェクト９０のサイズに関連する境界定義１１２も含み得る。正確な数値は、テンプレート可視オブジェクト９０のオブジェクト構成要素９２の各々の座標値９３ｃから計算され得る。さらに詳細には、境界定義１１２は、境界の全ての高さおよび幅のうちで最大である最大長１１４を設定する。文書５４上で回転される可能性がある可視オブジェクト６０に順応するために、最大長は、回転許容係数１１６によって乗算され得る。随意的であるが、好適には、回転許容係数１１６は、１．５である。入力された選択領域８８におけるテンプレート可視オブジェクト９０のサイズはより小さくなり得るため、境界定義１１２は、入力された選択領域８８と同等である必要はないことが理解される。この場合も、プレフィルタリングの目的の１つは、テンプレート可視オブジェクト９０と非類似のいかなる可視オブジェクト６０も除去することであり、境界定義１１２によって定義されるものと等しいか、または境界定義１１２によって定義されるものよりも小さいもののみが保持される。

フィーチャ・セット１０６の別の考え得る部分は、補助ラスタ成分交差フラグ１１８である。これは、選択されたテンプレート可視オブジェクト９０と交差する任意のラスタ成分またはビットマップ成分が存在するかを判定するものと理解される。「ビットマップ状の（ｂｉｔｍａｐ ｌｉｋｅ）」データとは、ビットマップ、すなわち、個々の画素のアレイとして定義される任意の他の可視オブジェクト６０、または、そのようなビットマップを含むアノテーションをいう。

再び図４Ａのフローチャートおよび図９のブロック図を参照する。フィーチャ・セット１０６が得られると、本方法は、文書５４上の可視オブジェクト６０からプレフィルタリングされた可視オブジェクトのサブセットを生成する工程３０４に続き得る。これは、フ
ィーチャ・セット１０６の前述の部分のうちの１つまたは複数に基づく所定の基準を使用して生成される。上記に示されるように、これらの基準のうちの１つは、関連付けられる色リスト１１０において示されるような、テンプレート可視オブジェクト９０の色と一致する任意の可視オブジェクト６０の色である。この基準は、色によるフィルタリングとも称され得る。別の基準は、境界定義１１２において特定される最大長以下である、任意の可視オブジェクト６０の大きさ／長さであり、任意の可視オブジェクト６０の長さは、その可視オブジェクト６０の高さと幅とのうちの大きい方として定義される。この基準は、サイズによるフィルタリングとも称され得る。また別の基準は、可視オブジェクト６０上にオーバーレイされるビットマップ状の情報の存在である。

ユーザは、フィルタ基準のうちのどの１つまたは複数を適用すべきかを選択することができ、任意の１つまたは複数が、本開示の実施形態に従って選択され得る。言い換えれば、プレフィルタリングされた可視オブジェクトは、色に関してのみ、サイズに関してのみ、補助ラスタ成分交差フラグ１１８に関してのみ、またはこれらの任意の組み合わせに関して、テンプレート可視オブジェクト９０と一致し得る。

図３に最も良く例示されるように、そのような選択は、ツールパネルウィンドウ６２のオプションサブパネル１２０を介して可能である。色によってフィルタリングするための色チェックボックス１２２が存在し、サイズによってフィルタリングするためのサイズチェックボックス１２４が存在し、両方が、上述された色リスト１１０と境界定義１１２との得られたフィーチャ・セットに従っている。この実施形態においては、補助ラスタ成分交差フラグに基づくフィルタリングを選択し、または選択を解除するためのオプションは、最初に指定される選択領域８８の特性に主に基づくため、存在しないことが理解される。色チェックボックス１２２は初期設定で設定され、サイズチェックボックス１２４も同様である。

チェックボックス１２２、１２４の選択は、検索ボタン１０４をアクティブ化することによって工程３０２を呼び出す前に行われるため、プレフィルタリング方法は、プレフィルタリングされた可視オブジェクトのサブセットを生成するために使用されるフィーチャ・セット１０６の部分のみを得ることができる。例えば、色チェックボックス１２２のみが選択される場合、境界定義１１２を得る必要はないことがある。なぜならば、境界定義１１２は、サイズフィルタ基準の一部とならないためである。しかしながら、前述の工程３０２は、どのフィルタ基準が設定されるかにかかわらず、フィーチャ・セット１０６の各部分を得ることを含むことができ、そのような選択は、ラスタ画像が生成される後続の工程への到達時に関連することが当業者によって認識されるであろう。

本方法は、上記に示された所定の基準を満たすプレフィルタリングされた可視オブジェクトのサブセットのプレフィルタリングされた文書ラスタ画像を生成する工程３０６に続く。ラスタ画像は、隣接する画素の１つまたは複数の連結されたシーケンスからなる画素セットを含み、これらの画素は、示された基準を満たすプレフィルタリングされた可視オブジェクト６０に対応すると理解される。したがって、現在想定されるプレフィルタリング方法は、選択されたテンプレート可視オブジェクト９０と同様の特性を有する可視オブジェクト６０のみをラスタ化する。プレフィルタリングされた可視オブジェクト６０に対応しない他の全ての画素は、取り除かれ、そもそもラスタ化されず、または、そうでない場合、結果として得られるプレフィルタリングされた文書ラスタ画像上に存在しない。これは、後続のラスタ画像ベースの視覚検索方法において操作されるデータセットを減少させるものと理解される。

プレフィルタリング方法の別の態様によれば、プレフィルタリングされた文書ラスタ画像を生成する上述された工程は、膨張（ｄｉｌａｔｉｏｎ）操作をさらに含み得る。随意
的であるが、好適には、膨張では、３×３演算子を利用する。当業者は、膨張とは、拡張対象となる可視オブジェクト６０の輪郭を拡張する基本的なモルフォロジー演算であることを認識するであろう。したがって、差異を考慮するために、若干異なるオフセットを用いて可視オブジェクト６０を複数回ラスタ化する必要がない。さらに、アンチエイリアシングに由来する誤差も低減され得る。上記に示されるように、プレフィルタリング方法の目的の１つは、視覚検索のために文書ラスタ画像を生成することである。テンプレート可視オブジェクト９０も、この目的のためにラスタ化され、そのため、同じ膨張操作が、テンプレート可視オブジェクト９０に適用され得る。

一般に、視覚検索方法は、文書５４上の可視オブジェクト６０の一致候補サブセットと、より詳細には、プレフィルタリングされた可視オブジェクトのみが残っているプレフィルタリングされた文書ラスタ画像とを生成することを伴う。これは、ラスタ化されたテンプレート可視オブジェクト９０とプレフィルタリングされた文書ラスタ画像との比較に基づき得る。この点について、プレフィルタリング方法は、テンプレート可視オブジェクトのラスタ画像を生成する工程３０８も含み得る。この工程は、プレフィルタリングされた文書ラスタ画像を生成することの前または後に発生し得る。ただし、いずれの場合においても、工程３００においてテンプレート可視オブジェクト９０の選択が受け取られた後のどこかの時点である。プレフィルタリング方法の様々な実施形態の全ての工程が規定の順序に従って説明されてきたが、これは例に過ぎず、限定ではない。当業者は、ある工程の詳細が別の工程からのデータまたは他の要素に依存する場合の順序を考慮しつつ、種々の工程が異なる手法で順序付けられ得ることを認識するであろう。

視覚検索の精度をさらに改善するために、各々がわずかな角度オフセットを有する、複数のバージョンのテンプレート可視オブジェクト９０がラスタ化され得る。一実施形態において、角度オフセットは、４５度、９０度、１３５度、１８０度、２２５度、２７０度、および３１５度における、異なるバージョンのテンプレート可視オブジェクト９０が存在するように、４５度ずつインクリメントされ得る。また、反転操作だけでなく、ミラーリング操作も、テンプレート可視オブジェクト９０に適用され得る。この機能は、文書５４上の回転された可視オブジェクト６０を検出するものと理解される。このプロセスは計算の必要性を増加させるため、当該プロセスは、複数の回転を検索チェックボックス１２５を介してアクティブ化または非アクティブ化され得るオプションである。

図３に示される例示的な文書５４について続けると、トイレを描く、３つのインスタンスのグラフィック要素５６ａ〜５６ｃが存在し、これらの各々は、黒色に着色され得る。青色に着色される線状のグラフィック要素５６ｄなどの他の可視オブジェクト６０が存在してもよい。図９に示されるように、テンプレート可視オブジェクト９０の選択が、いかなるビットマップ状のオーバーレイも含まないトイレのグラフィック要素５６である場合、３つのインスタンスのグラフィック要素５６ａ〜５６ｃの全ては、プレフィルタリングされた可視オブジェクト６０であり、そのため、プレフィルタリングされた文書ラスタ画像１２６にラスタ化される。テンプレート可視オブジェクト９０から得られるフィーチャ・セット１０６は、例として黒色を示すため、前述の青色の線状のグラフィック要素５６ｄなどの任意の他の要素は存在しない。さらに、境界定義１１２もテンプレート可視オブジェクト９０のものであり、任意の他のより大きな可視オブジェクト６０も同様に省略されている。フィーチャ・セット１０６の補助ラスタ成分交差フラグ１１８が設定されないため、不透明な、さもなければ、第１のインスタンスのグラフィック要素５６ａ上にオーバーレイされるマークアップも不在である。

また、色フィルタリング機能を例示するために、より簡略化された例が、図１０Ａおよび図１０Ｂに示される。黒色に着色された第１の長方形のグラフィック要素１２８ａと、白色に着色された第２の円形のグラフィック要素１２８ｂと、白色でも黒色でもない中間
色に着色された第３の円形のグラフィック要素１２８ｃと、黒色に着色された第４の円形のグラフィック要素１２８ｄとが存在する。円形で黒色のテンプレート可視オブジェクト９０を用いると、色に基づくプレフィルタリング方法の適用は、図１０Ｂに示されるプレフィルタリングされた文書ラスタ画像１２６をもたらす。図示されるように、黒色によって定義されるものは第１の長方形のグラフィック要素１２８ａおよび第４の円形のグラフィック要素１２８ｄのみであるため、第１の長方形のグラフィック要素１２８ａおよび第４の円形のグラフィック要素１２８ｄのみが残存する。色のみの基準は、クエリされている可視オブジェクト６０がより大きなオブジェクトのサブ部分である場合に有益である。

図１０Ａ〜図１０Ｂに類似する図１１Ａ〜図１１Ｂの簡略化された例は、サイズフィルタリング機能を実証するために参照されるであろう。この場合も、黒色に着色された第１の長方形のグラフィック要素１２８ａと、白色に着色された第２の円形のグラフィック要素１２８ｂと、白色でも黒色でもない中間色に着色された第３の円形のグラフィック要素１２８ｃと、黒色に着色された第４の円形のグラフィック要素１２８ｄとが存在する。さらに、テンプレート可視オブジェクト９０は円形で黒色である。プレフィルタリングする方法の実行の後に結果として得られるプレフィルタリングされた文書ラスタ画像１２６は、色にかかわらず、同様のサイズを有する円形のグラフィック要素１２８ｂ〜１２８ｃのみを有する図１１Ｂに示される。このサイズのみの基準は、クエリされている可視オブジェクト６０が異なる色を有する場合に有益である。

図１２に示される例は、色フィルタとサイズフィルタとの両方が非アクティブ化され、補助ラスタ成分交差フラグ１１８のみに基づいてフィルタリングされた結果を例示する。文書５４は、図３に示されるものと同じであり、テンプレート可視オブジェクト９０も同様である。テンプレート可視オブジェクト９０上にはオーバーレイされるビットマップデータが存在しないため、得られたフィーチャ・セット１０６の対応する補助ラスタ成分交差フラグ１１８は設定されない。そのため、遮蔽的な第３のアノテーション５８ｃは、プレフィルタリングされた文書ラスタ画像１２６には現れない。

図３の文書５４をなお参照すると、いくつかの場合において、第２の選択領域１３０と同様に、第２のアノテーション５８ｂおよびグラフィック要素５６ｅなどの、同様のサイズの複数の可視オブジェクト６０が存在する。この例において、第２のアノテーション５８ｂは、グラフィック要素５６ｅとは異なる色を有し得る。例えば、グラフィック要素５６ｅがピンク色に着色される一方で、第２のアノテーション５８ｂは黒色に着色され得る。本開示の様々な実施形態によれば、フィーチャ・セット１０６における色リスト１１０の色の選択をより絞り込み、プレフィルタリングされる可視オブジェクト６０およびプレフィルタリングされない可視オブジェクト６０をさらに限定することが可能である。図１３に示されるように、選択領域１３０を入力すると、選択領域１３０は、前述された工程の通りに、テンプレート可視オブジェクト９０として設定される。したがって、グラフィック要素５６ｅと第２のアノテーション５８ｂとの組み合わせは、その結果、テンプレート可視オブジェクト９０を定義し、１つの可視オブジェクト６０は複数のものからなり得ることが明確に想定される。

次に、ツールパネルウィンドウ６２の色を絞り込むボタン１３２がアクティブ化される。図１４Ａに示される例を参照すると、これは、色選択ダイアログウィンドウ１３２を呼び出し、この色選択ダイアログウィンドウ１３２は、一般に、ソース・テンプレート・セクション１３４と、選択プレビュー・セクション１３６と、色選択入力セクション１３８とに分離される。その名前によって示唆されるように、ソース・テンプレート・セクション１３４は、グラフィック要素５６ｅと第２のアノテーション５８ｂとを含む、より以前に指定されたテンプレート可視オブジェクト９０の全体を元の色で表示する。色選択入力セクション１３８においては、テンプレート可視オブジェクト９０に含まれる色の各々の
リスト１４０が存在し、テンプレート可視オブジェクト９０から得られたフィーチャ・セット１０６の色リスト１１０に対応するものと理解される。上記の例を続けて見ると、グラフィック要素５６ｅはピンク色に着色されており、そのため、リスト１４０は、ピンクについてのエントリ１４０ａを含む。さらに、第２のアノテーション５８ｂは、黒色に着色されており、そのため、リスト１４０は、黒色についてのエントリ１４０ｂを含む。各エントリは、独立してアクティブ化または非アクティブ化され得るチェックボックス１４２を含む。

ここで図１４Ｂの例を参照すると、第１のエントリ１４０ａに対応する第１のチェックボックス１４２ｂが非アクティブ化される（ピンク色が選択されないことを意味する）一方で、第２のエントリ１４０ｂに対応する第２のチェックボックス１４２ｂがアクティブ化される（黒色が選択されることを意味する）。色選択プレビュー・セクション１３６に示されるように、非アクティブ化された色を有する可視オブジェクト、すなわち、グラフィック要素５６ｅは取り除かれ、第２のアノテーション５８ｂのみが表示される。取消ボタン１４６をアクティブ化することは、プレフィルタリングプロセスに対するさらなる絞り込みを破棄し、色選択ダイアログウィンドウ１３２を閉じる一方で、ＯＫボタン１４４をアクティブ化することは、プレフィルタリングプロセスに対してさらなる絞り込みを適用する。

図１４Ｃは、第２のエントリ１４０ｂに対応する第２のチェックボックス１４２ｂが非アクティブ化される（黒色が選択されないことを意味する）一方で、第１のエントリ１４０ａに対応する第１のチェックボックス１４２ａがアクティブ化される（ピンク色が選択されることを意味する）例示的な場合を例示する。色選択プレビュー・セクション１３６に示されるように、選択を解除された黒色を有する第２のアノテーション５８ｂは隠される一方で、選択されるピンク色を有するグラフィック要素５６ｅのみが示される。

ベクトルのグラフィクス操作を伴う前述の機能のうちの一部は、プレフィルタリング方法の第１の実施形態に固有のものであると理解される。しかしながら、プレフィルタリング方法の第２の実施形態によれば、文書５４および文書５４上の様々な可視オブジェクト６０は、ビットマップ、すなわち、列と行とに配置される画素のアレイとして表現される。文書５４、および、特に、このタイプのＰＤＦファイルは、物理的な紙の文書をスキャンした結果として生成され、または、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ
Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）標準ファイルもしくは任意の他のビットマップフォーマットなどの別のラスタ画像から作成され得る。想定される工程４００に対応する、テンプレート可視オブジェクト領域１００の選択は、図４Ｂのフローチャートを参照しつつ、さらに詳細に上述された。

当該第２の実施形態の議論を継続し、また、図１５を付加的に参照すると、本方法は、ビットマップ内の画素の各色値の頻度を描くヒストグラム１４８を生成する工程４０２に進む。図１５の例は、第１の色値（例えば、黒色）の第１の画素９４ａと、第２の色値（例えば、白色と黒色との中間の色合い）の第２の画素９４ｂとを含む、図７に示されるテンプレート可視オブジェクト領域１００に適用するものと理解される。ヒストグラム１４８のｘ軸１５０は、画素９４が取り得る色の全範囲を描き、ｙ軸１５２には、ビットマップ内の画素のカウントすなわち数がプロットされている。一般に、ヒストグラム１４８は、ラスタ画像の最も支配的な色をグラフを使って例示するものと理解される。第１の画素９４ａ（黒色）は、第１のプロット１５４ａに対応し、第２の画素９４ｂ（中間の色合い）は、第２のプロット１５４ｂに対応する。簡略化されたビットマップヒストグラムのみが提示されたが、任意の色の深さおよび複雑度のラスタ画像が利用されてもよいことが認識するであろう。

本開示のいくつかの実施形態によれば、テンプレート可視オブジェクト領域１００は、ヒストグラム１４８を生成する工程４０２に先立って、まず、グレースケールに変換され得る。この点について、前述の色は、そのような変換された画像のグレースケールレベルまたは画素強度値にも言及するものと理解される。そのため、色およびグレースケールレベルという用語は、ほとんど同じ意味で言及される。

テンプレート可視オブジェクト領域１００内において、所望のオブジェクトの画素色値または検索演算子は支配的になるであろうという仮定がなされる。つまり、ヒストグラム１４８上のピークの垂直プロットは、所望のオブジェクトの垂直プロットに対応するものと理解される。この情報を得ると、ピークの垂直プロットに対応するものを除いて、または、文書５４の少なくとも所定の範囲外の、全ての無関係な色を文書５４から取り除くことが可能になる。これは、後続の視覚検索方法が処理しなければならない無関係なデータの量を最小限にするものと理解される。再び図４Ｂのフローチャートおよび図１６の例を参照すると、本方法は、プレフィルタリングされた文書ラスタ画像１５６を生成する工程４０４に続く。任意のそのようなタイプの画像と同様に、プレフィルタリングされた文書ラスタ画像１５６は、隣接する画素の１つまたは複数の連結されたシーケンスからなる画素セットから成り得る。プレフィルタリングされた文書ラスタ画像１５６内の残りの画素は、色値のピークの所定の範囲内の画素、すなわち、所望の可視オブジェクトの色に近い画素であると理解される。図示の例においては、ピーク色値カウント（例えば、黒色）を有する可視オブジェクト６０が保持される。

図１７に示される色選択ダイアログウィンドウ１３２の異なる実施形態を参照すると、ヒストグラム１４８における色値のピークの所定の範囲１５８は、ヒストグラム操作インタフェース１５９を介して調整可能であることが想定される。範囲最大値１６０および範囲最小値１６２が存在し、各々が、水平バー１６６に沿って移動可能である、対応するスライダ１６４ａ、１６４ｂを有する。入力される範囲最小値は、プレフィルタリングされた文書ラスタ画像１５６に含まれる色の連続体に沿った最低値を表すと理解される一方で、入力される範囲最大値１６０は、プレフィルタリングされた文書ラスタ画像１５６に含まれるであろう色の連続体に沿った最高値を表すものと理解される。色値の範囲１５８外に存在する画素は、破棄されるものと理解される。したがって、スライダ１６４を使用することで、文書５４のラスタ画像のより多くの画素またはより少ない画素が、プレフィルタリングされた文書ラスタ画像１５６から除外され得る。これらの調整のプレビュー結果は、色選択プレビュー・セクション１３６において示され得る。スライダ１６４を所望の位置に調整した後、対応するラスタ化パラメータを提供するために、ＯＫボタン１４４がアクティブ化され得る。さもなければ、色選択ダイアログウィンドウを閉じるために、取消ボタン１４６がアクティブ化され得る。ヒストグラム１４８の軸に沿った色値は、別様に順序付けられ、配置され得るため、「最高」および「最低」色値という用語は、相対的な意味のみが意図されるに過ぎない。

複数の局所的なピークおよび対応する色値の範囲は、ヒストグラム操作インタフェース１５９を介して定義され得ることが明確に想定される。さらなる最大値スライダおよび最小値スライダ１６４は、例えば、既存の範囲１５８内ではない、ヒストグラム１４８の異なる部分をクリックすることによって、付加され得る。認識されるように、付加的に定義される範囲外の色値を有する画素の同じプレフィルタリングは、上記に議論された手法と同じ手法で破棄され得る。

この場合も、これらの工程は、文書５４をラスタ画像ベースの視覚検索のために準備するためのものと理解される。したがって、プレフィルタリング方法の目的の１つは、テンプレート可視オブジェクト領域１００に存在する色のために検索構成要素へ渡されるラスタ画像、つまり、視覚検索のオペランドの調整である。この目的を達成するために、結果
として得られるプレフィルタリングされた文書ラスタ画像１５６に対して前述の膨張工程を適用することも可能である。

本明細書において示される詳細は、例であり、本発明の実施形態の例示的な議論の目的のために過ぎず、プレフィルタリング方法の原理および概念的態様の最も有益なかつ容易に理解される説明であると信じられるものを提供するために提示される。この点について、本開示の基本的な理解のために必要である以上の詳細を示す試みは行われておらず、本説明を図面と共に読めば、ここに開示される方法のいくつかの形態が実際にはどのように具現化され得るかが、当業者には明らかとなる。

Claims (22)

1. 文書上の可視オブジェクトのコンピュータ化された検索のために、可視オブジェクトをプレフィルタリングする方法であって、
   コンピュータが前記文書のサブセクションからのテンプレート可視オブジェクトの選択を受け取る工程であって、前記テンプレート可視オブジェクトは、１つまたは複数のオブジェクト構成要素によって定義される、工程と、
   前記コンピュータが前記テンプレート可視オブジェクトのフィーチャ・セットを得る工程であって、前記フィーチャ・セットは、前記オブジェクト構成要素を定義する色の色リストと、前記オブジェクト構成要素の境界定義と、補助ラスタ成分交差フラグとのうちの少なくとも１つを含む、工程と、
   前記コンピュータが前記文書上の前記可視オブジェクトから、プレフィルタリングされた可視オブジェクトのサブセットを生成する工程であって、前記プレフィルタリングされた可視オブジェクトは、前記フィーチャ・セットの前記色リストと、前記境界定義と、前記補助ラスタ成分交差フラグとのうちの少なくとも１つに基づく所定の基準のうちの少なくとも１つに一致する、工程と、
   前記コンピュータが前記文書からプレフィルタリングされた文書ラスタ画像を生成する工程であって、前記文書ラスタ画像は、隣接する画素の１つまたは複数の連結されたシーケンスからなる画素セットを含み、前記画素セットは、前記プレフィルタリングされた可視オブジェクトの前記サブセットに対応する、工程と、
   を備える方法。
2. 前記コンピュータが前記テンプレート可視オブジェクトからテンプレート・ラスタ画像を生成する工程であって、前記テンプレート・ラスタ画像は、隣接する画素の１つまたは複数の連結されたシーケンスからなるテンプレート画素セットを含む、工程をさらに備え、
   前記フィーチャ・セットは前記テンプレート・ラスタ画像から得られる、
   請求項１に記載の方法。
3. 前記コンピュータが前記テンプレート・ラスタ画像と前記プレフィルタリングされた文書ラスタ画像との比較に基づいて、前記文書上の前記可視オブジェクトの一致候補サブセ
   ットを生成する工程をさらに備える、請求項２に記載の方法。
4. 前記コンピュータが前記テンプレート・ラスタ画像と前記プレフィルタリングされた文書ラスタ画像との前記画素の膨張処理を行う工程をさらに備える、請求項２に記載の方法。
5. 前記プレフィルタリングされた可視オブジェクトの前記サブセット内に存在しない可視オブジェクトに対応する画素セットは、前記プレフィルタリングされた文書ラスタ画像から除去される、請求項１に記載の方法。
6. 前記所定の基準のうちの１つは、前記可視オブジェクトが前記フィーチャ・セットの前記色リスト中の前記色のうちの１つに対応する色値を有することである、請求項１に記載の方法。
7. 前記コンピュータが前記色リスト中の前記色のうちの１つの選択を受け取る工程をさらに備え、
   前記所定の基準は、前記可視オブジェクトが前記色リスト中の前記色のうちの選択された前記１つに対応する色値を有することである、
   請求項６に記載の方法。
8. 前記所定の基準のうちの１つは、前記可視オブジェクトが前記フィーチャ・セットの前記境界定義以下の長さを有することである、請求項１に記載の方法。
9. 前記境界定義は、前記対応するオブジェクト構成要素の長さと高さとのうちの大きい方である、請求項８に記載の方法。
10. 前記境界定義に回転許容係数が乗算される、請求項８に記載の方法。
11. 前記所定の基準のうちの１つは、前記可視オブジェクトがラスタ成分を含むことであり、前記可視オブジェクトは前記ラスタ成分により前記補助ラスタ成分交差フラグを設定することについて評価される、請求項１に記載の方法。
12. 前記コンピュータが前記テンプレート可視オブジェクトから異なる角度オフセットで複数の回転されたテンプレート可視オブジェクトを生成する工程をさらに備える、請求項１に記載の方法。
13. 前記コンピュータが前記プレフィルタリングされた文書ラスタ画像と前記プレフィルタリングされた文書ラスタ画像との前記画素の膨張処理を行う工程をさらに備える、請求項１に記載の方法。
14. 文書上の可視オブジェクトのコンピュータ化された検索のために、可視オブジェクトをプレフィルタリングする方法であって、
    コンピュータが前記文書のサブセクションからのテンプレート可視オブジェクト領域の選択を受け取る工程であって、前記テンプレート可視オブジェクト領域は、連結された画素の１つまたは複数のシーケンスによって定義され、画素は各々色値を有する、工程と、
    前記コンピュータが前記テンプレート可視オブジェクト領域内の前記画素の各々からの前記色値のヒストグラムを生成する工程と、
    前記コンピュータが前記文書からプレフィルタリングされた文書ラスタ画像を生成する工程であって、前記文書ラスタ画像は、隣接する画素の１つまたは複数の連結されたシーケンスからなる画素セットを含み、前記プレフィルタリングされた文書ラスタ画像におけ
    る前記画素は、前記色値のピークの所定の範囲内に存在する、工程と、
    を備える、方法。
15. 前記コンピュータが前記テンプレート可視オブジェクト領域および前記文書をグレースケールに変換する工程であって、前記色値の各々は強度値に換算される、工程をさらに備える、請求項１４に記載の方法。
16. 前記コンピュータが前記色値の前記ピークの前記所定の範囲を再定義する入力を受け取る工程をさらに備える、請求項１４に記載の方法。
17. 前記コンピュータが前記テンプレート可視オブジェクト領域と前記プレフィルタリングされた文書ラスタ画像との前記画素の膨張処理を行う工程をさらに備える、請求項１４に記載の方法。
18. 前記コンピュータが、前記テンプレート可視オブジェクト領域と前記プレフィルタリングされた文書ラスタ画像との比較に基づいて、前記文書上の前記可視オブジェクトの一致候補サブセットを生成する工程をさらに備える、請求項１４に記載の方法。
19. 文書上の可視オブジェクトのコンピュータ化された検索のために、可視オブジェクトをプレフィルタリングする方法であって、
    コンピュータが前記文書のサブセクションからのテンプレート可視オブジェクトの選択を受け取る工程であって、前記テンプレート可視オブジェクトは、１つまたは複数のオブジェクト構成要素によって定義される、工程と、
    前記コンピュータが前記テンプレート可視オブジェクトのフィーチャ・セットを得る工程であって、前記フィーチャ・セットは、前記オブジェクト構成要素を定義する色の色リストを含む、工程と、
    前記コンピュータが前記文書上の前記可視オブジェクトから、プレフィルタリングされた可視オブジェクトのサブセットを生成する工程であって、前記プレフィルタリングされた可視オブジェクトは、前記色リストに基づく所定の基準に一致する、工程と、
    前記コンピュータが前記文書からプレフィルタリングされた文書ラスタ画像を生成する工程であって、前記文書ラスタ画像は、隣接する画素の１つまたは複数の連結されたシーケンスからなる画素セットを含み、前記画素セットは、前記プレフィルタリングされた可視オブジェクトの前記サブセットに対応する、工程と、
    を備える方法。
20. 文書上の可視オブジェクトのコンピュータ化された検索のために、可視オブジェクトをプレフィルタリングする方法であって、
    コンピュータが前記文書のサブセクションからのテンプレート可視オブジェクトの選択を受け取る工程であって、前記テンプレート可視オブジェクトは、１つまたは複数のオブジェクト構成要素によって定義される、工程と、
    前記コンピュータが前記テンプレート可視オブジェクトのフィーチャ・セットを得る工程であって、前記フィーチャ・セットは、前記オブジェクト構成要素の境界定義を含む、工程と、
    前記コンピュータが、前記文書上の前記可視オブジェクトから、プレフィルタリングされた可視オブジェクトのサブセットを生成する工程であって、前記プレフィルタリングされた可視オブジェクトは、前記境界定義に基づく所定の基準に一致する、工程と、
    前記コンピュータが前記文書からプレフィルタリングされた文書ラスタ画像を生成する工程であって、前記文書ラスタ画像は、隣接する画素の１つまたは複数の連結されたシーケンスからなる画素セットを含み、前記画素セットは、前記プレフィルタリングされた可視オブジェクトの前記サブセットに対応する、工程と、
    を備える方法。
21. 文書上の可視オブジェクトのコンピュータ化された検索のために、可視オブジェクトをプレフィルタリングする方法であって、
    コンピュータが前記文書のサブセクションからのテンプレート可視オブジェクトの選択を受け取る工程であって、前記テンプレート可視オブジェクトは、１つまたは複数のオブジェクト構成要素によって定義される、工程と、
    前記コンピュータが前記テンプレート可視オブジェクトのフィーチャ・セットを得る工程であって、前記フィーチャ・セットは、補助ラスタ成分交差フラグを含む、工程と、
    前記コンピュータが、前記文書上の前記可視オブジェクトから、プレフィルタリングされた可視オブジェクトのサブセットを生成する工程であって、前記プレフィルタリングされた可視オブジェクトは、前記フィーチャ・セットの前記補助ラスタ成分交差フラグに基づく所定の基準に一致する、工程と、
    前記コンピュータが前記文書からプレフィルタリングされた文書ラスタ画像を生成する工程であって、前記文書ラスタ画像は、隣接する画素の１つまたは複数の連結されたシーケンスからなる画素セットを含み、前記画素セットは、前記プレフィルタリングされた可視オブジェクトの前記サブセットに対応する、工程と、
    を備える方法。
22. データ処理装置によって読取可能な非一時的なプログラム記憶媒体であって、前記媒体は、文書上の可視オブジェクトのコンピュータ化された検索のために、可視オブジェクトをプレフィルタリングする方法を実行するように前記データ処理装置によって実行可能な命令からなる１つまたは複数のプログラムを含み、前記方法は、
    前記文書のサブセクションからのテンプレート可視オブジェクトの選択を受け取る工程であって、前記テンプレート可視オブジェクトは、１つまたは複数のオブジェクト構成要素によって定義される、工程と、
    前記テンプレート可視オブジェクトのフィーチャ・セットを得る工程であって、前記フィーチャ・セットは、前記オブジェクト構成要素を定義する色の色リストと、前記オブジェクト構成要素の境界定義と、補助ラスタ成分交差フラグとのうちの少なくとも１つを含む、工程と、
    前記文書上の前記可視オブジェクトから、プレフィルタリングされた可視オブジェクトのサブセットを生成する工程であって、前記プレフィルタリングされた可視オブジェクトは、前記フィーチャ・セットの前記色リストと、前記境界定義と、前記補助ラスタ成分交差フラグとのうちの少なくとも１つに基づく所定の基準のうちの少なくとも１つに一致する、工程と、
    前記文書からプレフィルタリングされた文書ラスタ画像を生成する工程であって、前記文書ラスタ画像は、隣接する画素の１つまたは複数の連結されたシーケンスからなる画素セットを含み、前記画素セットは、前記プレフィルタリングされた可視オブジェクトの前記サブセットに対応する、工程と、
    を備えるプログラム記憶媒体。

Images