JP5005633B2 - 画像検索装置、画像検索方法、情報処理プログラム及び記録媒体 - Google Patents

Description

本発明は、画像検索装置、画像検索方法、情報処理プログラム及び記録媒体に関し、特に画像検索における検索の方法に関する。

電子データに対する検索技術、あるいは検索結果の表示技術は、検索対象の情報量の増大による検索結果数の増大のため、ますます重要な技術となっている。なぜなら、求める情報が大量の検索結果に埋もれてしまい、見つけることが困難になっているからである。このような検索技術として、画像を検索用画像として入力し、既に格納されている検索用画像から上記入力された画像に類似する画像を抽出する画像検索方法が提案されている（例えば、特許文献１参照）。

特許文献１に示されるような画像検索技術は、例えば、公開特許公報の検索等に用いられる。例えば、公開特許公報等の文献に含まれる図面を検索する場合、図面を検索キーとして設定し、その図面に類似する図面を含む文献を抽出することが行なわれる。この他、複数の画像情報が格納されたデータベースにおいて、画像情報を検索キーとして画像情報を検索する場合であれば、同様に用いられ得る。
特開２００２−２４５０８７号公報

特許文献１に示されるような従来の画像検索においては、検索キーとして設定された画像（以降、キー画像とする）全体と検索対象となる画像（以降、検索対象画像とする）全体との類似度の判定を前提としている。そのため、キー画像に類似する画像を含む検索対象画像であっても、全体との関係では類似度が高く算出されなかった。

これに対して、本願発明者は、画像から文書領域、写真領域、表領域等の複数の領域を抽出し、夫々の領域毎に画像のマッチングを行なう方法を発明し、出願を行なった（特願２００７−０２２１０８）。上記の方法においては、抽出した夫々の領域毎にヒストグラム等の数値列データを生成し、その数値列データに基づいて画像のマッチングを行なう。これにより、キー画像及び検索対象画像の一部についての画像検索が可能となる。このような画像の一部によるマッチングは、商標検索等において特に有効である。

商標検索等の画像検索システムは、ネットワークを介したクライアント・サーバシステムによって提供されることが一般的である。このようなオンラインの検索システムにおいては、クライアントの操作に対するレスポンス・タイムの短縮が重要である。しかしながら、上記出願に係る方法においては、一の画像に含まれる複数の領域に対して数値列データの計算を行なう必要がある。従って、個々の数値列データの計算量がわずかであっても、検索対象画像の量が膨大となれば、数値列データの計算に要する全計算量もまた膨大となる。膨大な量の処理を必要とするシステムを、クライアント・サーバシステムとして運用することは現実的ではない。

本発明は、上記実情を考慮してなされたものであり、部分マッチを可能とする画像検索システムにおいて、検索に要する処理量を低減することを目的とする。

上記課題を解決するため、請求項１に記載の発明は、検索対象の画像と検索条件の画像との類似度を算出して画像検索を実行する画像検索装置であって、前記検索対象の画像若しくは前記検索条件の画像のいずれかである処理対象画像に基づいて数値列情報を生成し、前記生成された数値列情報に基づいて前記画像の特徴情報を生成することにより前記類似度を算出するものであり、前記検索対象の画像若しくは前記検索条件となる画像のいずれかである処理対象画像を取得する処理対象画像取得部と、前記処理対象画像の一部を示す部分画像を生成する部分画像生成部と、前記部分画像に基づいて数値列情報を生成する数値列情報生成部と、前記処理対象画像に基づいて生成された数値列情報から前記部分画像に基づいて生成された数値列情報を除いて減算数値列情報を生成する減算数値列情報生成部と、前記生成された減算数値列情報に基づいて前記類似度を算出する類似度算出部とを有することを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の画像検索装置において、前記部分画像生成部は、前記処理対象画像において文字が表示されている領域を前記処理対象画像の一部として前記部分画像を生成することを特徴とする。

また、請求項３に記載の発明は、請求項１または２に記載の画像検索装置において、前記部分画像生成部は、前記処理対象画像の一部を抽出して前記部分画像を生成することを特徴とする。

また、請求項４に記載の発明は、請求項１または２に記載の画像検索装置において、前記部分画像生成部は、前記処理対象画像において前記処理対象画像の一部のみが表示された画像を前記部分画像として生成することを特徴とする。

また、請求項５に記載の発明は、請求項１乃至４いずれかに記載の画像検索装置において、前記数値列情報生成部は、前記処理対象画像を構成する画素を一次元に射影することにより射影ヒストグラムを生成し、生成した射影ヒストグラムに基づいて前記数値列情報を生成することを特徴とする。

また、請求項６に記載の発明は、請求項１乃至５いずれかに記載の画像検索装置において、前記処理対象画像は二値画像であり、前記数値列情報生成部は、前記処理対象画像を構成する画素の列及び行の少なくとも一方について、画素成分をカウントすることにより前記数値列情報を生成することを特徴とする。

また、請求項７に記載の発明は、請求項１乃至６いずれかに記載の画像検索装置において、前記部分画像生成部は、前記処理対象画像を構成する画素に基づいて前記処理対象画像の一部を決定することを特徴とする。

また、請求項８に記載の発明は、請求項７に記載の画像検索装置において、前記部分画像生成部は、前記処理対象画像を構成する画素において連結成分を抽出し、抽出した前記連結成分に基づいて処理対象画像の一部を決定することを特徴とする。

また、請求項９に記載の発明は、請求項８に記載の画像検索装置において、前記処理対象画像は二値画像であり、前記部分画像生成部は、前記処理対象画像を構成する画素において連続する同一の画素成分を前記連結成分として抽出することを特徴とする。

また、請求項１０に記載の発明は、請求項８に記載の画像検索装置において、前記処理対象画像は有彩色画像であり、前記部分画像生成部は、前記処理対象画像を構成する画素において、連続する複数の画素であって色彩の類似している複数の画素を前記連結成分として抽出することを特徴とする。

また、請求項１１に記載の発明は、検索対象の画像と検索条件の画像との類似度を算出して画像検索を実行する画像検索方法であって、前記検索対象の画像若しくは前記検索条件の画像のいずれかである処理対象画像に基づいて数値列情報を生成し、前記生成された数値列情報に基づいて前記画像の特徴情報を生成することにより前記類似度を算出するものであり、処理対象画像取得部が、前記検索対象の画像若しくは前記検索条件となる画像のいずれかである処理対象画像を取得し、部分画像生成部が、前記処理対象画像の一部を示す部分画像を生成し、数値列情報生成部が、前記部分画像に基づいて数値列情報を生成し、減算数値列情報生成部が、前記処理対象画像に基づいて生成された数値列情報から前記部分画像に基づいて生成された数値列情報を除いて減算数値列情報を生成し、類似度算出部が、前記生成された減算数値列情報に基づいて前記類似度を算出することを特徴とする。

また、請求項１２に記載の発明は、情報処理装置を、検索対象の画像と検索条件の画像との類似度を算出して画像検索を実行する画像検索装置として機能させる情報処理プログラムであって、前記画像検索装置は、前記検索対象の画像若しくは前記検索条件の画像のいずれかである処理対象画像に基づいて数値列情報を生成し、前記生成された数値列情報に基づいて前記画像の特徴情報を生成することにより前記類似度を算出するものであり、前記検索対象の画像若しくは前記検索条件となる画像のいずれかである処理対象画像を取得するステップと、前記処理対象画像の一部を示す部分画像を生成するステップと、前記部分画像に基づいて数値列情報を生成するステップと、前記処理対象画像に基づいて生成された数値列情報から前記部分画像に基づいて生成された数値列情報を除いて減算数値列情報を生成するステップと、前記生成された減算数値列情報に基づいて前記類似度を算出するステップとを前記情報処理装置に実行させることを特徴とする。

また、請求項１３に記載の発明は、記録媒体であって、請求項１２に記載の情報処理プログラムを情報処理装置が読み取り可能な形式で記録したことを特徴とする。

本発明の一態様によれば、部分マッチを可能とする画像検索システムにおいて、検索に要する処理量を低減することが可能となる。

以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、画像検索装置の例として、入力された画像に基づいて予め格納されている検索対象画像情報を検索し、入力された画像に類似する画像を抽出する装置を例として説明する。

図１は、本実施の形態に係る画像検索システムの運用形態の例を示す図である。図１に示すように、本実施形態に係る画像検索システムは、画像検索装置１、クライアント装置２及び画像情報ＤＢ２００を含む。画像検索装置１、クライアント装置２及び画像情報ＤＢ２００は、ネットワーク３を介して接続されている。

クライアント装置２は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の一般的な情報処理装置によって構成される。例えば、クライアント装置２は、携帯電話等の移動通信端末や、ＭＦＰ（ＭｕｌｔｉＦｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）等によって構成することができる。画像検索装置１は、ネットワークを介してクライアント装置２と接続されており、クライアント装置２からの検索要求を受けて画像情報ＤＢ２００に格納されている画像情報を検索する。画像情報ＤＢ２００は、検索対象の情報として複数の画像情報を記憶している。画像情報ＤＢ２００は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の不揮発性記憶媒体によって構成される。

尚、図１に示すように、本実施形態においては、画像情報ＤＢ２００が画像検索装置１とは別に設けられている例を説明するが、画像情報ＤＢ２００を画像検索装置１内部に構成することも可能である。更に、画像情報ＤＢ２００、画像検索装置１及びクライアント装置２が１体の装置として構成されても良い。

次に、本実施形態に係る画像検索装置１のハードウェア構成について説明する。図２は、本実施形態に係る画像検索装置１のハードウェア構成を示すブロック図である。図２に示すように、本実施形態に係る画像検索装置１は、一般的なサーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理端末と同様の構成を有する。

即ち、本実施形態に係る画像検索装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０、ＨＤＤ４０及びＩ／Ｆ５０がバス８０を介して接続されている。また、Ｉ／Ｆ５０にはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）６０及び操作部７０が接続されている。

ＣＰＵ１０は演算手段であり、画像検索装置１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納される。

Ｉ／Ｆ５０は、バス８０と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ６０は、ユーザが画像検索装置１の状態を確認するための視覚的ユーザインタフェースである。操作部７０は、キーボードやマウス等、ユーザが画像検索装置１に情報を入力するためのユーザインタフェースである。

尚、図１において説明したように、本実施形態に係る画像検索装置１は、サーバとして運用される。従って、ＬＣＤ６０及び操作部７０等のユーザインタフェースは省略可能である。この他、画像検索装置１は、情報処理機能を有する端末であれば、どのような実現態様であっても良い。例えば、一般的なＰＣ、ＭＦＰ等が考えられる。

このようなハードウェア構成において、ＲＯＭ３０やＨＤＤ４０若しくは図示しない光学ディスク等の記憶媒体に格納されたプログラムがＲＡＭ２０に読み出され、ＣＰＵ１０の制御に従って動作することにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る画像検索装置１の機能を実現する機能ブロックが構成される。

次に、本実施形態に係る画像検索装置１の機能ブロックについて、図３を参照して説明する。図３は、本実施形態に係る画像検索装置１の機能ブロック及び画像検索装置１が検索する対象の画像情報を格納している画像情報ＤＢ２００を示すブロック図である。図３に示すように、本実施形態に係る画像検索装置１は、検索制御部１００、情報入力部１１０、ネットワークＩ／Ｆ１２０及び表示部１３０を有する。

情報入力部１１０は、ユーザが画像検索装置１を操作して検索制御部１００に情報を入力するための構成であり、図２に示すＩ／Ｆ５０及び操作部７０によって実現される。ネットワークＩ／Ｆ１２０は、画像検索装置１がネットワークを介して情報を取得し、若しくはネットワークを介して情報を送信するためのインタフェースであり、図２に示すＩ／Ｆ５０によって実現される。具体的には、例えばＥｔｈｅｒｎｅｔ（登録商標）接続のインタフェースや、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）接続のインタフェースによって実現される。

表示部１３０は、画像検索装置１の動作状態や、検索結果等が表示される構成であり、図２に示すＩ／Ｆ５０及びＬＣＤ６０によって実現される。検索制御部１００は、本実施形態に係る画像検索装置１の検索機能を担う構成であり、入力画像情報取得部１０１、画像処理部１０２、類似度算出部１０３及び抽出結果処理部１０４を有する。

入力画像情報取得部１０１は、ユーザによって情報入力部１１０を介して入力された画像情報若しくはネットワークＩ／Ｆ１２０を介してネットワーク経由で入力された画像情報を入力画像情報、即ち検索条件となる条件画像として取得する。入力画像情報取得部１０１は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。

画像処理部１０２は、入力画像情報取得部１０１が取得した条件画像若しくは画像情報ＤＢ２００に格納されている検索対象画像の一部を部分画像として抽出する。また、画像処理部１０２は、条件画像、検索対象画像及び上記抽出した部分画像に基づいて数値列情報を生成する。本実施形態に係る画像処理部１０２は、数値列情報として、画素の射影ヒストグラムを生成する。射影ヒストグラムの生成処理については、後に詳述する。

更に、画像処理部１０２は、条件画像若しくは検索対象画像のいずれかの全体画像に基づいて生成した数値列情報とその全体画像から抽出した部分画像に基づいて生成した数値列情報との減算処理を行ない、減算数値情報を生成する。これについても後に詳述する。そして、画像処理部１０２は、生成した数値列情報及び減算数値列情報に基づき、その画像の特徴を示す特徴情報を生成する。本実施形態に係る特徴情報とは、上記数値列情報を所定のルールに基づいて記号に変換した記号列情報である。

類似度算出部１０３は、画像処理部部１０２によって生成された特徴情報に基づき、条件画像と検索対象画像、部分画像との類似度を算出する。そして、類似度算出部１０３は、検索対象画像若しくは部分画像とその画像の類似度とが関連付けられた情報（以降、類似度一覧情報とする）を生成する。類似度算出部１０３は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。類似度算出部１０３は、条件画像と検索対象画像若しくは部分画像との特徴情報を比較し、その類似度を算出する。この類似度の算出方法としては既存の画像検索技術を用いることができる。

抽出結果処理部１０４は、類似度算出部１０３によって生成された類似度一覧情報を表示部１３０に表示し、若しくはクライアント装置２の表示部に表示させるための表示情報を生成して出力する。即ち、抽出結果処理部１０４は、類似度の算出結果を表示させるための表示情報を生成する表示情報生成部として機能する。表示情報生成部は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。尚、表示部１３０を用いる場合、上記表示情報は、類似画像として抽出された画像を表示するための情報として用いられる。

このような画像検索装置１において、本実施形態は、画像処理部１０２による処理に特徴を有する。以下、本実施形態に係る画像検索装置１の動作について図を参照して説明する。図４は、本実施形態に係る画像検索システムにおける検索動作を示すシーケンス図である。

図４に示すように、画像情報ＤＢ２００に登録されている画像情報を検索する際、先ず、ユーザはクライアント装置２を操作して検索用画像入力画面を表示するための情報を画像検索装置１に要求する（Ｓ４０１）。画像検索装置１は、クライアント装置２からの要求に応じて、検索用画像入力画面を表示するための情報を送信する（Ｓ４０２）。

クライアント装置２は、画像検索装置１から検索用画像入力画面を取得すると、検索用画像入力画面を表示する（Ｓ４０３）。ここで、検索用画像入力画面とは、検索用画像情報を入力するための画面である。以下、本実施形態の説明においては、ユーザがクライアント装置２を操作して画像検索装置１の機能を利用する場合を例として説明する。

クライアント装置２は、ユーザによる操作に従い、検索用画像入力画面を解して入力された入力画像の情報（以降、入力画像情報とする）を画像検索装置１に送信する（Ｓ４０４）。本実施形態において入力される入力画像情報の例を図５に示す。画像検索装置１に送信された入力画像情報は、ネットワークＩ／Ｆ１２０から画像検索装置１に入力され、検索制御部１００の入力画像情報取得部１０１が取得する（Ｓ４０５）。Ｓ４０５において画像検索装置１が取得した入力画像情報が、条件画像として用いられる。

入力画像情報を条件画像として取得した画像検索装置１は、条件画像若しくは検索対象画像から部分画像を抽出する（Ｓ４０６）。部分画像とは、条件画像若しくは検索対象画像の一部の画像である。そして、画像検索装置１は、条件画像、検索対象画像及び部分画像に基づいて数値列情報、特徴情報を生成し、類似度を算出する（Ｓ４０７）。上述したように、類似度を算出した結果、類似度一覧情報が生成される。Ｓ４０６、Ｓ４０７の処理については、後に詳述する。

画像検索装置１は、Ｓ４０７の処理の結果、類似度一覧情報を生成すると、類似度が所定の閾値を超える画像を類似画像として抽出する。即ち、類似度算出部部１０３が画像情報抽出部として機能する。画像情報抽出部は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。

尚、上記の閾値とは、算出された類似度に基づいて、検索対象画像が類似画像であるか否かを判断するために設定される値である。即ち、画像情報ＤＢ２００に格納されている情報若しくはそれから抽出された領域画像が類似画像に該当するか否かを判断するための情報である。換言すると、条件画像と特徴の一致しない画像を抽出結果から除くために設定される値である。

上記閾値は、Ｓ４０７における類似度の算出態様に応じて設定される。例えば、Ｓ４０７における特徴量の比較処理において、特徴が一致しない画像は類似度が“０％”として算出され、特徴が少しでも一致する画像は“０％”ではない類似度が算出されるような算出態様を用いる場合、上記の閾値は“０％”として設定される。

この他、Ｓ４０７における類似度の算出態様によっては、上記の閾値は“０％”以外の値に設定され得る。また、上記の閾値を、条件画像と特徴の一致しない画像を抽出結果から除くために設定する他、条件画像と特徴の一致度が高い画像を抽出するために設定しても良い。この場合、上記の閾値はより高い値に設定される。

画像検索装置１は、類似画像を抽出すると、抽出された類似画像の表示順序を決定する。そして、抽出結果を表示するための表示情報を生成し、ネットワークＩ／Ｆ１２０を介してクライアント装置２に送信する（Ｓ４０８）。Ｓ４０８において、画像検索装置１は、算出された類似度の順に類似画像を表示する順序を決定する。クライアント装置２は、画像検索装置１から受信した表示情報に基づいて、表示部に抽出結果を表示し（Ｓ４０９）、処理を終了する。

次に、図４のＳ４０６及びＳ４０７の詳細な処理について、図６のフローチャートを参照して説明する。本実施形態においては、図５に示す条件画像と画像情報ＤＢ２００に含まれる検索対象画像の一部の画像との類似度を算出する場合を例として説明する。図４のＳ４０５において指定画像情報を取得すると、画像処理部１０２は、領域抽出、数値列情報の処理対象となる画像（以降、処理対象画像とする）を取得する（Ｓ６０１）。即ち、画像処理部１０２が処理対象画像取得部として機能する。処理対象画像取得部は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。本実施形態においては、画像情報ＤＢ２００から検索対象画像を取得する。

Ｓ６０１において画像処理部１０２が画像情報ＤＢ２００から取得する画像の例を図７に示す。本実施形態においては、図７に示すようにモノクロ画像を処理対象とする例を説明する。図８は、画像情報ＤＢ２００に格納されている情報の例を示す図である。図８に示すように、画像情報ＤＢ２００は、夫々の画像の情報に加えて、各画像のタイトル及び各画像の数値列情報を、夫々の画像を一意に識別するＩＤ（以降、対象画像ＩＤとする）と関連付けて記憶している。数値列情報については、後に詳述する。画像処理部１０２は、Ｓ６０１において、処理対象画像と共に図８に示す数値列情報も取得する。

画像処理部１０２は、処理対象画像を取得すると、取得した処理対象画像の画素を解析し、連結している黒画素の外接矩形を抽出する（Ｓ６０２）。図９は、Ｓ６０２の処理結果を示す図である。図９に示すように、連結している黒画素の外接矩形が抽出される。次に、画像処理部１０２は、Ｓ６０２において抽出した矩形を解析し、文字領域を判定する（Ｓ６０３）。Ｓ６０３において、画像処理部１０２は、隣接する矩形同士の間隔や矩形の大きさに基づき、夫々の矩形が文字若しくは文字の一部であるか否かを判断する。

更に、画像処理部１０２は、隣接する矩形同士の配置関係に基づき、文字領域を判定する。図１０に、文字領域の判定結果を示す。本実施形態においては、図１０に示すように、“駐車禁止”と表示された矩形部分が文字領域として判定される。本実施形態においては、図１０に示すように、矩形の上側左端及び下側右端の座標により文字領域を特定する。図１０に示す“（Ｘ₁，Ｙ₁）”及び“（Ｘ₂，Ｙ₂）”という座標の情報は、画像処理部１０２が保持する。

尚、上記矩形抽出から文字領域の判定に際しては、公知の様々な方法を用いることが可能であるため、詳細な説明を省略する。画像処理部１０２は、文字領域を判定すると、その文字領域を部分画像として抽出する（Ｓ６０４）。即ち、画像処理部１０２が、部分画像生成部として機能する。部分画像生成部は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。図１１に、本実施形態において部分画像として抽出される画像を示す。図１１に示すように、本実施形態においては、“（Ｘ₁，Ｙ₁）”及び“（Ｘ₂，Ｙ₂）”という座標によって確定される文字領域のみが部分画像として抽出される。

画像処理部１０２は、部分画像を抽出すると、抽出した部分画像に基づいて数値列情報（以降、部分数値列情報とする）を生成する（Ｓ６０５）。即ち、画像処理部１０２が、数値列情報生成部として機能する。数値列情報生成部は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。

図１２に、Ｓ６０５における数値列情報の生成態様の例を示す。図１２は、Ｓ６０５において処理される部分画像の画素情報及びその画素情報から生成される数値列情報の例を示す図である。図１２の画素情報においては、黒画素が“１”、白画素が“０”出示されている。図１２に示すように、画像処理部１０２は、画素列の黒画素の合計値を算出し、数値列情報を生成する。即ち、画像処理部１０２は、Ｓ６０５において、部分画像の射影ヒストグラムを算出し、その射影ヒストグラムから数値列情報を抽出する。

画像処理部１０２は、部分数値列情報を生成すると、Ｓ６０１において処理対象画像と共に画像情報ＤＢ２００から取得した処理対象画像の数値列情報から、部分数値列情報を減算する処理を実行する（Ｓ６０６）。即ち、画像処理部１０２が、減算数値列情報生成部として機能する。減算数値列情報生成部は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。

図１３（ａ）〜（ｃ）を参照して、Ｓ６０６の処理について説明する。図１３（ａ）は、図７に示す処理対象画像及びその数値列情報（以降、全体数値列情報とする）のヒストグラム、即ち射影ヒストグラムを示す図である。図１３（ａ）〜（ｃ）に示すヒストグラムにおいて、縦軸は合計の黒画素数を示す。また、図１３（ａ）〜（ｃ）に示すヒストグラムにおいて、横軸は処理対象画像における画素の列を示す。

図１３（ｂ）は、Ｓ６０４において抽出された領域画像及びＳ６０５において生成された部分画像の数値列情報のヒストグラムを示す図である。Ｓ６０６において、画像処理部１０２は、全体数値列情報から対応する列毎に部分数値列情報の値を減算する。この際、画像処理部１０２は、図１１に示す座標“（Ｘ₁，Ｙ₁）”及び“（Ｘ₂，Ｙ₂）”を参照し、全体数値列情報において部分数値列情報が対応する部分を識別する。

これにより、図１３（ｃ）に示すような数値列情報（以降、減算数値列情報とする）が生成される。全体数値列情報から部分数値列情報の値を減算することにより、処理対象画像から部分画像を除いた部分の数値列情報が求められる。即ち、図１３（ｃ）に示すように、処理対象画像から“駐車禁止”と表示された領域を除いた標識の部分（以降、減算画像とする）の数値列情報を求めることができる。

画像処理部１０２は、減算数値列情報を生成すると、全体数値列情報、部分数値列情報及び減算数値列情報の夫々に基づいて特徴情報を生成する（Ｓ６０７）。また、画像処理部１０２は、Ｓ６０７の処理において、条件画像の特徴情報も算出する。条件画像の特徴情報の算出に際しても、上記と同様に、条件画像に基づいて数値列情報（以降、条件数値列情報とする）を生成した上で特徴情報を生成する。

特徴情報の生成に際しては、既存の様々な方法を用いることができる。例えば、数値列情報において隣接する数値の大小関係に基づいて記号を生成する方式や、数値列情報を量子化する方法がある。また、移動平均を計算することにより数値列情報を平滑化する方法もある。更に、数値列情報自体を特徴情報として用いることも可能である。

画像処理部１０２は、Ｓ６０７の処理により特徴情報を算出すると、算出した特徴情報を類似度算出部１０３に入力する。類似度算出部１０３は、画像処理部１０２から取得した特徴情報に基づき、類似度を算出する（Ｓ６０８）。本実施形態においては、図５に示す条件画像と、図１３（ａ）〜（ｃ）に夫々示す画像、即ち、処理対象画像、部分画像及び減算画像との類似度を算出する。上述したように、類似度算出部１０３は、夫々の特徴情報を比較し、その類似度を数値化することによって類似度を算出する。

本実施形態においては、図５及び図１３（ｃ）に示すように、条件画像と減算画像とが略同一の画像である。これにより、図１３（ｃ）に示す減算画像の類似度が高く算出される。即ち、検索対象画像の一部について画像検索を実行することが可能となる。類似度算出部１０３は、図１３（ａ）〜（ｃ）に示す処理対象画像、部分画像及び減算画像の夫々について算出された類似度のうち、最も高い値を処理対象画像の類似度として採用する。

画像処理部１０２は、類似度算出部１０３に特徴情報を入力した後、画像情報ＤＢ２００に格納されている全ての検索対象画像に対して、Ｓ６０１〜Ｓ６０８の処理を実行したかを確認する（Ｓ６０９）。全検索対象画像に対して処理が完了していれば（Ｓ６０９／Ｙｅｓ）、画像処理部１０２及び類似度算出部１０３は処理を終了し、図４のＳ４０８に進む。他方、全検索対象画像に対して処理が完了していなければ（Ｓ６０９／Ｎｏ）、画像処理部１０２は、Ｓ６０１からの処理を繰り返す。

本実施形態に係る画像検索装置１においては、文字領域として抽出した部分画像の部分数値列情報を算出し、全体の数値列情報から部分数値列情報を減算することにより、残りの領域の数値列情報を得ることができる。即ち、１つの領域について数値列情報を算出することにより、２つの領域の数値列情報を得ることが可能となる。減算と言う処理が別途必要ではあるが、減算処理は負荷の低い処理であるため、処理量を低減する目的において大きな影響はない。

以上説明したように、本実施形態に係る画像検索装置により、部分マッチを可能とする画像検索システムにおいて、検索に要する処理量を低減することが可能となる。本実施形態に係る画像検索システムは、商標検索用のシステムとして特に効果的である。商標検索においては、図７に示すように図形と文字とが結合した画像が検索対象として多く存在する。本実施形態に係る画像検索システムを適用することにより、現実的な処理時間で部分マッチングを可能とする検索システムを提供することが可能となるからである。

また、検索対象である画像情報ＤＢ２００に格納されている画像情報の例として、公開特許公報等の特許文献に含まれる図面の情報等が考えられる。特許文献に含まれる図面は白黒で表示されているため、上述した射影ヒストグラムの例に適しているからである。また、特許文献に含まれる図面は、図面中に説明用の文字が表示されていることがある。このような場合において、部分マッチングが必要となるからである。

また、上記の説明においては、図８に示すように、画像情報ＤＢ２００に全体数値列情報が格納されている例を説明した。これにより、ユーザからの検索要求に対するレスポンスにおいて必要となる処理量を低減することが可能となる。この他、全体数値列情報は、画像処理部１０２が図６に示す処理の中で算出するようにしても良い。これにより、画像情報ＤＢ２００に格納する情報量を低減することが可能となる。

また、上記実施形態においては、図１２で説明したように、黒画素をカウントして数値列情報を抽出した。この他、白画素をカウントすることにより数値列情報を抽出しても良い。また、モノクロ２値画像以外のカラー画像に基づいて検索を実行する場合、画像を２値化することにより、上記と同様の処理を適用することが可能となる。また、カラー画像に基づいて検索を実行する場合、画像を２値化する場合の他、隣接する画素間の色彩の類似度を判定し、色彩が類似する場合は連結成分とみなすことにより、上記と同様の処理を実行することが可能となる。

また、上記実施形態においては、図１２で説明したように、画素列毎に画素をカウントする例を説明した。この他、画素行毎に画素をカウントしても良いし、画素列及び画素行双方のカウント結果を用いても良い。

また、上記実施形態においては、図１０、図１１に示すように、文字領域を部分画像として抽出する例を説明した。この他、図形領域を領域画像として抽出しても良い。しかしながら、文字領域の抽出方法については、既に様々な方法が提案されているため、文字領域を抽出することにより本実施形態を用意に実現することが可能となる。また、図形等が表示された領域はその図形によって様々な特徴を有することに対して、文字領域は一定の特徴を有する。従って、領域画像として抽出する領域を文字領域とすることにより、領域抽出の精度を向上することが可能となる。

また、上記実施形態においては、図６において説明したように、画像情報ＤＢ２００に格納されている検索対象画像を処理対象画像とする例を説明した。この他、ユーザによって入力された入力画像、即ち条件画像を処理対象画像としても良い。これにより、入力された画像の一部と画像情報ＤＢ２００に格納されている検索対象画像とのマッチング検索を実行することが可能となる。更には、条件画像及び検索対象画像の双方を処理対象画像としても良い。これにより、入力された画像の一部と検索対象画像の一部とのマッチング検索を実行することが可能となる。

また、上記実施形態においては、図１１において説明したように、“（Ｘ₁，Ｙ₁）”及び“（Ｘ₂，Ｙ₂）”という座標によって確定される文字領域のみを部分画像として抽出する例を説明した。この他、図１４に示すように、文字領域として判断された領域以外の領域の情報を消去した画像を部分画像として生成しても良い。この場合、部分画像は、全体画像と同じサイズである。従って、全体数値列情報と部分数値列情報との数値列の数も同一である。その結果、図１３（ａ）〜（ｃ）に示す減算処理では、全体数値列情報において部分数値列情報を減算する範囲を特定する必要がなく、全体数値列情報から部分数値列情報を単純に減算すれば良い。

本発明の実施形態に係る画像検索システムの運用形態を示す図である。 本発明の実施形態に係る画像検索装置のハードウェア構成を模式的に示すブロック図である。 本発明の実施形態に係る画像検索装置の機能構成を示すブロック図である。 本発明の実施形態に係る画像検索システムの動作を示すシーケンス図である。 本発明の実施形態に係る条件画像の例を示す図である。 本発明の実施形態に係る領域抽出及び類似度算出の動作を示すフローチャートである。 本発明の実施形態に係る処理対象画像としての検索対象画像の例を示す図である。 本発明の実施形態に係る画像情報ＤＢに格納されている情報の例を示す図である。 本発明の実施形態に係る外接矩形の抽出結果を示す図である。 本発明の実施形態に係る文字領域の判定結果を示す図である。 本発明の実施形態に係る部分画像の例を示す図である。 本発明の実施形態に係る数値列情報の生成態様を示す図である。 本発明の実施形態に係る減算処理の態様を示す図である。 本発明の他の実施形態に係る部分画像の例を示す図である。

符号の説明

１ 画像検索装置
２ クライアント装置
１０ ＣＰＵ
２０ ＲＡＭ
３０ ＲＯＭ
４０ ＨＤＤ
５０ Ｉ／Ｆ
６０ ＬＣＤ
７０ 操作部
８０ バス
１００ 検索制御部
１０１ 入力画像情報取得部
１０２ 画像処理部
１０３ 類似度算出部
１０４ 抽出結果処理部
１１０ 情報入力部
１２０ ネットワークＩ／Ｆ
１３０ 表示部
２００ 画像情報ＤＢ

Claims (13)

1. 検索対象の画像と検索条件の画像との類似度を算出して画像検索を実行する画像検索装置であって、
   前記検索対象の画像若しくは前記検索条件の画像のいずれかである処理対象画像に基づいて数値列情報を生成し、前記生成された数値列情報に基づいて前記画像の特徴情報を生成することにより前記類似度を算出するものであり、
   前記検索対象の画像若しくは前記検索条件となる画像のいずれかである処理対象画像を取得する処理対象画像取得部と、
   前記処理対象画像の一部を示す部分画像を生成する部分画像生成部と、
   前記部分画像に基づいて数値列情報を生成する数値列情報生成部と、
   前記処理対象画像に基づいて生成された数値列情報から前記部分画像に基づいて生成された数値列情報を除いて減算数値列情報を生成する減算数値列情報生成部と、
   前記生成された減算数値列情報に基づいて前記類似度を算出する類似度算出部とを有することを特徴とする、画像検索装置。
2. 前記部分画像生成部は、前記処理対象画像において文字が表示されている領域を前記処理対象画像の一部として前記部分画像を生成することを特徴とする、請求項１に記載の画像検索装置。
3. 前記部分画像生成部は、前記処理対象画像の一部を抽出して前記部分画像を生成することを特徴とする、請求項１または２に記載の画像検索装置。
4. 前記部分画像生成部は、前記処理対象画像において前記処理対象画像の一部のみが表示された画像を前記部分画像として生成することを特徴とする、請求項１または２に記載の画像検索装置。
5. 前記数値列情報生成部は、前記処理対象画像を構成する画素を一次元に射影することにより射影ヒストグラムを生成し、生成した射影ヒストグラムに基づいて前記数値列情報を生成することを特徴とする、請求項１乃至４いずれかに記載の画像検索装置。
6. 前記処理対象画像は二値画像であり、
   前記数値列情報生成部は、前記処理対象画像を構成する画素の列及び行の少なくとも一方について、画素成分をカウントすることにより前記数値列情報を生成することを特徴とする、請求項１乃至５いずれかに記載の画像検索装置。
7. 前記部分画像生成部は、前記処理対象画像を構成する画素に基づいて前記処理対象画像の一部を決定することを特徴とする、請求項１乃至６いずれかに記載の画像検索装置。
8. 前記部分画像生成部は、前記処理対象画像を構成する画素において連結成分を抽出し、抽出した前記連結成分に基づいて処理対象画像の一部を決定することを特徴とする、請求項７に記載の画像検索装置。
9. 前記処理対象画像は二値画像であり、
   前記部分画像生成部は、前記処理対象画像を構成する画素において連続する同一の画素成分を前記連結成分として抽出することを特徴とする、請求項８に記載の画像検索装置。
10. 前記処理対象画像は有彩色画像であり、
    前記部分画像生成部は、前記処理対象画像を構成する画素において、連続する複数の画素であって色彩の類似している複数の画素を前記連結成分として抽出することを特徴とする、請求項８に記載の画像検索装置。
11. 検索対象の画像と検索条件の画像との類似度を算出して画像検索を実行する画像検索方法であって、
    前記検索対象の画像若しくは前記検索条件の画像のいずれかである処理対象画像に基づいて数値列情報を生成し、前記生成された数値列情報に基づいて前記画像の特徴情報を生成することにより前記類似度を算出するものであり、
    処理対象画像取得部が、前記検索対象の画像若しくは前記検索条件となる画像のいずれかである処理対象画像を取得し、
    部分画像生成部が、前記処理対象画像の一部を示す部分画像を生成し、
    数値列情報生成部が、前記部分画像に基づいて数値列情報を生成し、
    減算数値列情報生成部が、前記処理対象画像に基づいて生成された数値列情報から前記部分画像に基づいて生成された数値列情報を除いて減算数値列情報を生成し、
    類似度算出部が、前記生成された減算数値列情報に基づいて前記類似度を算出することを特徴とする、画像検索方法。
12. 情報処理装置を、検索対象の画像と検索条件の画像との類似度を算出して画像検索を実行する画像検索装置として機能させる情報処理プログラムであって、
    前記画像検索装置は、前記検索対象の画像若しくは前記検索条件の画像のいずれかである処理対象画像に基づいて数値列情報を生成し、前記生成された数値列情報に基づいて前記画像の特徴情報を生成することにより前記類似度を算出するものであり、
    前記検索対象の画像若しくは前記検索条件となる画像のいずれかである処理対象画像を取得するステップと、
    前記処理対象画像の一部を示す部分画像を生成するステップと、
    前記部分画像に基づいて数値列情報を生成するステップと、
    前記処理対象画像に基づいて生成された数値列情報から前記部分画像に基づいて生成された数値列情報を除いて減算数値列情報を生成するステップと、
    前記生成された減算数値列情報に基づいて前記類似度を算出するステップとを前記情報処理装置に実行させることを特徴とする、情報処理プログラム。
13. 請求項１２に記載の情報処理プログラムを情報処理装置が読み取り可能な形式で記録したことを特徴とする記録媒体。

Images