JP5539555B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像を特徴付ける情報として、画像から局所的な特徴を抽出する画像処理装置に関するものである。

近年、類似画像を比較・検索するための技術が多く提案されている。例えば、画像を複数のブロックに分け、それぞれの画像特徴量（代表色）を用いてパターンマッチングを行うことで色の位置情報を利用して類似画像を比較・検索する方法がある（特許文献１）。しかし、特許文献１に開示された方法の場合、検索時に画像全体の画素値から特徴量を計算するため、例えば画像内の特定のオブジェクトが切り取られたり、その位置が変わったりした場合には比較・検索が困難になってしまうという問題があった。

そこで、画像全体の画素から算出される特徴量を使うのではなく、画像の局所的な領域から算出される特徴量（以下、局所特徴量と称す）を使って類似画像の比較や検索を行う方法が提案されている。（非特許文献１）これらの方法では、まず画像からエッジやコーナなどの特徴点を抽出する。次に、特徴点とその近傍の画像情報とから、その特徴点に関する局所特徴量を計算する。局所特徴量として扱う値には、輝度の変化情報や、形状パターンなど、様々なものがある。画像の検索は、局所特徴量同士の類似度計算（マッチング）を行うことで実現する。

局所特徴量を用いた画像の比較を行う場合には、まず、比較する２つの画像のそれぞれから画素値の変動が大きい点を特徴点として抽出し、その特徴点に関する局所特徴量を抽出する。そして、局所特徴量同士を比較することで、２つの画像間で対応する特徴点の組み合わせを決定し、特徴点の対応度合いを基に類似度の判定を行う。

特開平８−２４９３４９号公報

Ｃ．Ｓｃｈｍｉｄ ａｎｄ Ｒ．Ｍｏｈｒ，"Ｌｏｃａｌ ｇｒａｙ ｖａｌｕｅ ｉｎｖａｒｉａｎｔｓ ｆｏｒ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ，"ＩＥＥＥ Ｔｒａｎｓ．ＰＡＭＩ，Ｖｏｌ．１９，Ｎｏ．５，ｐｐ５３０−５３５，１９９７．

類似画像を検索する場合に検索条件（クエリ）として画像を用いるが、例えば色々なオブジェクトを含むサンプル画像から精度良く所望の検索結果を得るためには、ユーザがクエリとして用いる領域をサンプル画像の中から指定する必要がある。

しかし非特許文献１の方法で、ユーザに選択された領域に対応する部分画像をサンプル画像から切り取ってから特徴点及び特徴量を抽出し、検索をすると、以下のような問題が考えられる。

非特許文献１の方法で算出する局所特徴量は、特徴点の近傍の特定領域の画素値も用いるため、ユーザに選択された画像領域の端の方では、算出される特徴量の信頼性が低下する可能性がある。特徴点を中心とする半径ｒ画素の領域の画素から算出する局所特徴量が定義される場合、矩形の領域がユーザに指定された場合、矩形の角近くの特徴点から抽出される局所特徴量は矩形の中心から抽出されるものと比べて４分の３近くの画素を無視していることになる。一方で矩形の角近くの特徴点は除外するようにしてしまうと、ユーザが選択した領域内で場所によっては同等に計算されないので、ユーザにとって意図しない検索になってしまう。

また、サンプル画像から特徴点と局所特徴量を算出してからユーザに領域を選択させる手法が考えられるが、領域を指定することで特徴点及び局所特徴量を算出する処理対象を減らせる点は処理時間の短縮に貢献する。従って本発明は、処理時間を節約しつつ、ユーザの指定した領域に関する情報を用いて精度の良いクエリを作成する装置、方法及びプログラムを提供することを目的とする。

上記目的を達成するための本発明に係る画像処理装置は、画像特徴量を用いて類似する画像を検索する画像処理装置であって、画像を入力する入力手段と、前記画像において検索に用いる領域を、前記画像を表示する画面の操作により指定領域として指定する指定手段と、前記指定領域内の画像特徴量を抽出するのに必要な領域の大きさに関する情報に基づいて前記指定領域を拡大したものをクエリ領域として決定する決定手段と、前記クエリ領域から画像特徴量を抽出する抽出手段と、前記抽出手段の抽出した画像特徴量に基づいて、該画像特徴量に類似する画像を検索する検索手段とを有することを特徴とする。

ユーザに指定された領域情報を用いて、領域情報内の位置によらず精度の良い特徴量の算出を実現するので、処理時間を節約しつつ精度の良いクエリの生成が可能になる。従って類似画像検索の検索精度が向上し処理時間も短縮される。

本発明の一実施形態の画像処理装置の構成を示す概略図である。 画像登録装置の機能構成を示すブロック図である。 画像から画像特徴量を抽出し登録する処理を示すフローチャートである。 本実施形態の画像特徴量を抽出する縮小画像の作成例を示す図である。 抽出される特徴点を抽出対象の画像に重ねて表示した図である。 本発明の一実施形態の検索指示画面を示す図である。 クエリを生成する処理を示すフローチャートである。 指定領域と拡大領域に基づいてクエリ領域を求める処理を説明するための概略図である。 本発明の一実施形態における検索結果画面を示す図である。 抽出したエッジからクエリ領域を決定する処理を示すフローチャートである。 輪郭形状特徴量を抽出する処理を示すフローチャートを示す図である。 輪郭形状抽出例を示す図である。

＜実施形態１＞
図２は、本実施形態における画像処理装置（以降、画像検索装置２００）の概略機能を示すブロック図ある。図２に示すように、画像検索装置２００は、変換部２０１、抽出部２０２、決定部２０３、算出部２０４を有する。

画像検索装置２００は、入力画像２０６を画像特徴データベース２０５に登録する登録処理と、入力画像２０６から検索条件（クエリ）を作成し画像特徴データベースに登録された画像から検索する検索処理とを行う。

登録用に入力される入力画像２０６は図１のＮＣＵ１０８を介して通信可能に接続されたネットワークスキャナ、デジタルスチルカメラ、画像データを保持した外部記憶装置等、スキャナ１０９によって入力される。そして、読み込んだ画像はＲＡＭ１０３や外部記憶装置１０６などに一時的に保持される。

抽出部２０３が抽出した特徴点、局所特徴量などの情報を関連付けて画像特徴データベース２０５に記憶する。記憶する際には登録する画像を特定する画像ＩＤを割り当てることで管理する。

［画像登録処理］
図３は、画像特徴データベース２０５に画像を登録する際に行う、画像の特徴点・局所特徴量を抽出する処理の手順の概略を表すフローチャートである。

ステップＳ３０１では、変換部２０１が入力画像２０６を読み込む。次に、ステップＳ３０２では、変換部２０１が画像データから輝度成分を抽出する処理を行い、抽出した輝度成分に基づき輝度成分画像を生成する。

ステップＳ３０３では、ステップＳ３０２で作成した輝度成分画像を変換部２０１が縮小率ｐに従って入力画像２０６をｎ回縮小し、ｎ＋１種の解像度の画像を有する多重画像を取得する。図４は、変換部２０２が入力画像２０６を縮小率２の（―１／４）乗で８回縮小することで作成した多重画像を示している。

ステップＳ３０４では、抽出部２０３がステップＳ３０５の作成した多重画像の夫々から特徴点を抽出する。ステップＳ３０５では、ステップＳ３０５の処理で得られた特徴点の各々について、特徴点に関する局所特徴量を算出して特徴量ベクトルを作成する。そして、ステップＳ３０６で画像データと算出した特徴量ベクトルとを関連付けて画像特徴データベース２０５に登録する。

本実施形態では多重画像を作成することで拡大・縮小画像に対しての検索精度が上げている。

［特徴点と局所特徴量］
抽出部２０２が図４で示す各画像に、エッジやコーナなど画素値の変化の度合いが大きいほど大きい値を返すＨａｒｒｉｓ作用素を作用させる。そして、Ｈａｒｒｉｓ作用素を作用させて得られた出力画像の夫々について、着目する画素と着目する画素を囲む８画素（合計９画素）の画素値を比較する。そして、着目する画素の画素値が９画素の中で最大になり且つしきい値以上である画素を特徴点として抽出する。こうして、得られる特徴点は画素値の変化の度合いが周囲に比べて大きく、画像の特徴をよく表す点として扱うことができる。

局所特徴量としては、特徴点近傍の模様を数値化するＬｏｃａｌ Ｊｅｔ及びそれらの導関数の組み合わせを用いる。

具体的には、たとえば以下の式１により局所特徴量を算出する。

Ｖ（ｘ，ｙ）は画像の中で座標（ｘ，ｙ）にある特徴点に関する局所特徴量である。なお、ここで言う座標とはデジタル画像においては画素位置を示すこととする。デジタル画像における画素位置は離散的であるので（整数で表されるので）、計算結果としての実数座標から画素位置を特定しなければならない場合には、座標の整数化が必要となる。本実施形態では、座標が実数値で表されるときには、実数値を丸めて整数値にすることで画素位置を特定する。実数値を丸める方法には四捨五入、小数点以下切り上げ、小数点以下切捨てなどの方法があるが、本実施形態ではどの方法を選択しても良い。ただし、処理の途中で方法を変更しないこととする。

式（１）の右辺で用いている記号は、以下に示す式（２）〜（７）で定義される。ここで、式（２）右辺のＧ（ｘ，ｙ）はガウス関数、Ｉ（ｘ，ｙ）は画像の座標（ｘ，ｙ）における画素値であり、“＊”は畳み込み演算を表す記号である。また、式（３）は式（２）で定義された変数Ｌのｘに関する偏導関数、式（４）は変数Ｌのｙに関する偏導関数である。式（５）は式（３）で定義された変数Ｌｘのｙに関する偏導関数、式（６）は式（３）で定義された変数Ｌｘのｘに関する偏導関数、式（７）は式（４）で定義されたＬｙのｙに関する偏導関数である。

ここで、Ｇ（ｘ，ｙ）はガウス関数であるので、通常は標準偏差σを変数として持つが、式（２）では省略している。本実施形態ではσ＝ａｒとして予め定められる。ここでａは定数であり、ｒは着目している特徴点を中心とする円形領域の半径を示し、着目している特徴点に関する局所特徴量を算出する際に参照する領域（以降、算出領域と称す）である。

なお、特徴点を含む画素と特徴点近傍の画素の特徴を示す局所特徴量を算出可能な方法であれば、上述の方法以外でもよい。上述の局所特徴量は５つの要素から成るが、要素の数は５つでなくてもよい。例えば、ＳＩＦＴ（要素数１２８）やＰＣＡ−ＳＩＦＴ（要素数２０〜３０程度）においても本発明は適用可能である。

図３で示される特徴点・局所特徴量の抽出処理により得られた特徴点を図示したものが図５である。図５で、画像５１０は入力された画像データであり、点５２０及び点５３０が特徴点を例示したものである。この点５２０及び５３０の特徴点は、それぞれに関して式（１）によって求めた局所特徴量に関連付けられている。Ｈａｒｒｉｓ作用素を用いた場合には、輝度画像上で形状に特徴のある部分が特徴点として抽出されることになる。

また、本実施形態ではＨａｒｒｉｓ作用素を用いて説明しているが、画像中の画素値の変動が大きい箇所を検出する処理であれば他の処理であっても適用できるので、本発明はＨａｒｒｉｓ作用素に限定されない。

［画像の検索処理］
検索を行う場合、検索条件（クエリ）を作成するために用いる入力画像２０６が画像検索装置２００に与えられる。入力画像２０６は、図１のＮＣＴ１０８によって通信可能に接続されたネットワークスキャナ、デジタルスチルカメラ、外部記憶装置等や、スキャナ１０９から入力される。

図６は入力画像２０６からクエリを作成する画面である。欄６０１には、入力されたクエリ画像が表示される。表示画面のサイズによっては、クエリ画像の縮小画像やサムネイル画像などを表示してもよい。ここでは、２台の自動車が写っている画像がクエリ画像として表示されている。

ボタン６０３は検索で使用するクエリ画像の入力を指示するためのボタンで、このボタンを押下すると、クエリ画像の入力先を指定するための画面が表示され、ユーザによって入力先が指定されるとクエリ画像の入力処理が行われ、欄６０１に表示されることになる。

ボタン６０４を押下するとクエリとして用いる領域を選択するモードに切替わる。欄６０１にサンプル画像が表示されている中でキーボードやマウスやタッチパネルなどの入力装置１０４を使用して、クエリとして用いる部分領域の指定を行うことができる。楕円６０２は入力装置１０４によってクエリとして用いる領域が選択された一例である。以降、楕円６０２の様にクエリとして用いるように指定された領域を指定領域と称する。指定領域は楕円６０２の様に線で囲ったり、色を反転させたりする等、ユーザが識別可能な様に表示されればよい。

ボタン６０５は、ユーザ指定領域とサンプル画像とから、クエリを生成して画像検索を行うことを指示するためのボタンで、このボタンを押下すると、検索処理が行われ、検索結果の画面が表示される。指定領域が指定されずに検索される場合は画像全体の画素からクエリを生成するようにしてもよい。

図７は、前述の処理にて生成したサンプル画像と指定領域とからクエリを生成する処理を示すフローチャートである。

図８（ａ）はサンプル画像について指定領域８０１を図示したものである。図８（ｂ）は指定領域８０１と算出領域８０２の大きさとに基づいて指定領域８０１を拡大したものをクエリ領域８０４として図示したものである。図８（ｃ）は図８（ｂ）の算出領域８０２付近を拡大して図示したものである。なお、図８（ｂ）、（ｃ）に示す算出領域８０２は指定領域８０１の外縁上の特徴点８０５を仮定した際の、特徴点８０５に関する局所特徴量の算出領域である。

図７のステップＳ７０１では、図６の処理で得られた指定領域を示す情報と、特徴点及び局所特徴量を算出する際に用いる領域の大きさを示す情報を取得する。算出領域の形や大きさは、局所特徴量の計算方式によって異なるので、予めユーザが決定部２０３に算出領域の形や大きさを示す情報を設定しておいてもよい。本実施形態では前述した式（１）局所特徴量を算出する際に、特徴点を中心とする半径ｒの円状の領域に重みをつける、円状の領域の外は重みが０なのでその点における局所特徴量の算出処理の対象からは除外される。従って、局所特徴量の算出領域は特徴点を中心とする半径ｒの円状の領域となる。図８に示す算出領域８０２はその一例である。

ステップＳ７０２では、ステップＳ７０１で得られた情報を元に、検索クエリ生成するのに用いる領域（以降、クエリ領域）を設定する。本実施形態の局所特徴量は特定の領域の画素から算出される為、単純に指定領域内の画像から、特徴点を抽出して、更に局所特徴量を計算しようとすると指定領域の端の方では正確な値を取得することが難しくなる。例えば図８のように、指定領域８０１内の画素を単純に用いて特徴点８０５に関する局所特徴量を算出しようとすると、特徴点８０５を中心とする半径ｒの円状の領域８０２の画素値から局所特徴量を算出することになる。しかし、算出領域８０２において指定領域８０１からはみ出ている部分について画素を参照することができないため、正確な局所特徴量を算出できない。さらに、特徴点の抽出方法においても、所定の算出領域から特徴点を抽出しようとするので、仮に特徴点を抽出する際の算出領域が算出領域８０２であるとすると、半分近くの画素値を参照できないため抽出できないことがある。

以上のような理由により、本実施形態では指定領域に対して、特徴点・局所特徴量の計算方式に応じて計算に必要な画素分画像サイズ分だけ拡大してクエリ領域として決定する。

ステップＳ７０３では、サンプル画像からステップＳ７０２で決定されたクエリ領域をクエリ画像として切り取る（クエリ領域以外をマスクして処理対象から外してもよい）。

そしてステップＳ７０４において、クエリ画像について図３の処理によって、特徴点及び局所特徴量を算出して、検索に用いるクエリ（画像特徴量を示すベクトル）を生成する。

図７の処理を図８を用いて説明する。

生成したクエリに基づいて、画像特徴データベースに登録されている画像の中で類似する局所特徴量を有する画像を検索する。類似性はクエリと画像データベースに登録されている夫々の局所特徴量との特徴量空間におけるマハラノビス距離によって求められる。しかし、ベクトル同士の類似度を算出可能な公知の方法であってもよいので、本発明はこれに限定されない。また、比較する画像間で局所特徴量の類似する対応点についてロバスト推定に用いられるＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）を用いても良い。ＲＡＮＳＡＣによって変換行列の解を推定し、その変換行列で他の対応点を同様に変換できるかを評価することで類似度を算出する。

検索結果は、類似度の高い順に所定数の候補を表示する。類似度が閾値未満のものは省くようにしてもよい。

図９は、本実施形態における検索結果を表示する画面を示した図である。

欄９０１は、クエリを生成するのに用いたサンプル画像を表示する部分である。クエリ画像の縮小画像やサムネイル画像などが表示されてもよい。ここでは、２台の自動車が写っている画像が選択されている。楕円９０５は指定領域の部分で、ユーザがクエリを生成するために指定領域として選択した部分を示す。

欄９０２は、検索結果を表示するための領域であり、図２の検索結果２０８として得られた画像ＩＤに対応した画像のサムネイルや画像ファイル名等を一覧表示する部分である。サムネイルは、画像登録時に作成され、画像ＩＤに対応付けられたもので図２の画像特徴データベース２０５や、図１の外部記憶装置等１０６に登録されている。検索結果の数が多く、一つの画面で表示できない場合には、表示サイズに応じた件数ずつ組にして表示を行う。本例では、６件ずつ検索結果が表示されている。ボタン９０３は、現在表示している検索結果の前の６件を表示するためのボタンであり、ボタン９０４は、現在表示している検索結果の次の６件を表示するためのボタンである。また、図９の例では、サムネイルと画像ファイルの名前を表示しているが、検索処理で求めたクエリ画像との類似度や画像に付与されているメタデータ等を表示してもよい。また、欄９０２の領域に表示されているサムネイルの一つを選択すると、別の画面が表示されて、画像に付与されているメタデータ等を各画像に対する詳細情報として表示するようにしてもよい。

以上、本実施形態によってサンプル画像の中からクエリとして用いる指定領域を指定する部分画像検索方式において、指定領域の端の辺りからも精度良く特徴点や局所特徴量を算出可能になる。また、ユーザの指示に沿った精度の良いクエリを作成しつつ、特徴点および局所特徴量を算出する計算対象を削減できる。

＜実施形態２＞
本実施形態では、ユーザの指定した領域が本来ユーザが囲みたかった画像内のオブジェクトを分断しているかどうかを判定して、その判定結果と算出領域の大きさとを考慮してクエリ領域を決定する。

なお、実施形態１と同一機能を有する構成や工程には同一符号を付すとともに、構成的、機能的に変わらないものについてはその説明を省略する。

図１０は、本実施形態におけるクエリ領域の決定手順を示すフローチャートである。ステップＳ１００１でユーザの指定した指定領域と、算出領域の大きさに関する情報を取得する。ステップＳ１００２では指定領域と算出領域の大きさに基づいて拡大領域を決定する。拡大領域を決定する処理については実施形態１でクエリ領域を求める処理と同じである。なお、拡大領域は指定領域を包含する関係にある。ステップＳ１００３では指定領域内の画像から特徴点を抽出する。特徴点を抽出する処理は図３のステップＳ３０２〜Ｓ３０４の処理と同じである。

ステップＳ１００３では拡大領域からエッジを抽出する。ステップＳ１００４では拡大領域内の画像から特徴点を抽出する。ステップＳ１００５ではステップＳ１００４で抽出した特徴点の中からクエリ生成に用いる特徴点を選択する。まず、図８（ａ）の指定領域８０１から抽出された特徴点は確定特徴点として選択する。そして図８（ｂ）の拡大領域８０３から抽出された特徴点を候補特徴点とする。指定領域８０１と拡大領域８０３との境界線上で抽出された特徴点８０５については、確定特徴点と候補特徴点とのどちらに分類しても良いが、本実施形態では確定特徴点として選択する。

候補特徴点の選別については、以下の処理を行う。まず、拡大領域から抽出したエッジセグメントが、指定領域８０１の外縁と交わる場合、指定領域内のオブジェクトが指定領域８０１の外縁によって分断されているかどうかを判定する。そして、分断されていると判定された場合に、候補特徴点の中でこのエッジセグメント上にある特徴点をクエリ生成に用いる特徴点として追加する。ただし、オブジェクトが分断されているか否かが判断できればどのような方法を使ってもよく、本発明はこの方法に限定されるものではない。

そしてステップＳ１００６において、指定領域と拡大領域と選択した特徴点とからクエリ領域を決定する。詳細には、指定領域に拡大領域と拡大領域から抽出された特徴点の算出領域とを加えてクエリ領域とする。簡略的には、ステップＳ１００５で決定した全ての特徴点の算出領域としてもよい。

クエリ領域を決定した後は、クエリ領域内の特徴点について局所特徴量を算出しクエリを生成する処理をする実施形態１で説明した処理なので省略する。しかし、一度求めた特徴点を用いればよいので、クエリ領域から特徴点を抽出する処理を繰り返す必要はない。

〔エッジ抽出処理〕
エッジ抽出ステップＳ１００３において、本実施例では、拡大領域にＬＯＧ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）フィルタを施した結果の画像を調べ画像の画素値の符号が変化する点（零交差点）をエッジとして抽出する。

なお、本実施形態ではエッジ抽出処理にＬＯＧを利用するが、本発明においては、特にＬＯＧだけに限定されるものではない。エッジが抽出できるならば、ＤＯＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）や、その他のエッジ抽出フィルタを使ってもよい。また、エッジの細線化や、所定長以下のエッジを除去する等、一般的なノイズを落とす処理を行っても良い。

以上、本実施形態ではユーザの指定した領域が本来ユーザが囲みたかった画像内のオブジェクトを分断しているかどうかをエッジに基づいて判定して、最適なクエリ領域を決定できる。

＜その他の実施形態＞
実施形態２の図１０のステップＳ１００５の処理において、拡大領域から抽出したエッジセグメントが、指定領域８０１の外縁と交わらず、拡大領域８０４の外縁と交わるかどうかを判定してもよい。すなわち、指定領域内のオブジェクトと関係の無いオブジェクトを拡大領域が含んでしまっているかどうかを判定する。そして、候補特徴点の中でこのエッジセグメント上にある特徴点を候補特徴点から除外する。本実施形態でエッジセグメントを除外する方法は、エッジセグメントを含む近傍の画素値を、拡大領域内のエッジセグメント以外の画素の平均値で置き換える処理で実現される。画素値を置き換える代わりに、エッジセグメントを含む近傍の画素を局所特徴量の計算から除外するように画素毎に情報を加えてもよい。

また、上述の実施形態に限らず本発明は、特徴量として輪郭形状特徴量を利用し、拡大領域内にある輪郭（エッジ）が指定領域と交差する場合に、輪郭を追跡してクエリ領域に追加するようにしてもよい。

まず、図１１のステップＳ１１０１で画像データを読み込み、ステップＳ１１０２で輝度成分を抽出し、ステップＳ１１０３の画像を二値化し、ステップＳ１１０４で輪郭形状の抽出を境界線追跡法によって行う。

輪郭形状の抽出は、既存の技術を使用することが可能である。ここでは一例として、を用いる。まず、画像の左上から右下方向に向かってラスタ走査し、黒点を探し、最初に見つかった黒点を開始点とする。次に、近傍８画素において、左に隣接する画素から始めて反時計回りに連結されている画素かどうかの判定を行う。連結されている画素が無いとき、または、追跡先が開始点と一致したとき、一連の画素に対し、同じセグメントＩＤを与える。さらに、輪郭形状の内部の画素に対しては、非輪郭画素フラグを付す。次に、次の追跡開始点を探索する。直前の追跡処理の開始点から右下方向に向かってラスタ走査し、黒点を探す。その際、輪郭形状の一部としてセグメントＩＤが与えられている画素、非輪郭画素をスキップする。そうして見つかった黒点を開始点とし、前述の近傍８画素における追跡処理を行う。追跡開始点を探すステップにおいて、画像の右下に達した時点で、本輪郭形状の抽出ステップは終了する。

次にステップＳ１１０５で、抽出された輪郭形状ごとに、輪郭形状特徴量の算出を行う。まず輪郭を等間隔にサンプリングして得た複数の座標を、ｘ座標、ｙ座標ごとに個別に一次元信号化する。その信号をローパスフィルタによって段階的に凹部を除去する。各段階において、曲率のゼロクロス点（凹凸の境界）を抽出し、Ｃｕｒｖａｔｕｒｅ Ｓｃａｌｅ Ｓｐａｃｅ（ＣＳＳ、曲率尺度空間）を作成し、ＣＳＳ画像の頂点の座標を特徴量とする。

指定領域を用いて輪郭形状を抽出すると、図１２の（Ａ）に示す画像に対し、図１２の（Ｂ）に示す輪郭形状が抽出されるが、上述の追跡処理を行うことにより、図１２の（Ａ）に示す画像に対し、図１２の（Ｃ）に示す輪郭形状が抽出される。また、単純に拡大領域のみを用いた輪郭形状を抽出する処理では、図１２の（Ａ）に示す画像に対し、図１２の（Ｄ）に示す輪郭形状が抽出されてしまう。

また、輪郭形状特徴量の特徴量間の類似度の算出方法を説明する。クエリのＣＳＳ画像の頂点の座標がＮ個あり、それぞれの座標を（ｘ１，ｙ１），・・・，（ｘＮ，ｙＮ）とし、比較先のＣＳＳ画像の頂点の座標がＭ個あり、それぞれの座標を（ｕ１，ｖ１），・・・，（ｕＭ，ｖＭ）としたとき、類似度（距離）ＤＣＳＳは次の式（８）からで算出できる。

ユーザが入力装置１０４としてスタイラスなどを用いてクエリさ作成する領域を指定すると、本来検索して欲しいと思われる自動車の一部が、指定領域からはみ出してしまうことがある。このような場合、指定領域から輪郭形状を抽出すると、はみ出した部分が切り取られた輪郭形状になってしまう。この切り取られた部分の輪郭の特徴が強い場合、この部分に対する処理の違いによって、検索結果が変わることとなる。すなわち、この指定領域よりはみ出したオブジェクトの部分でも輪郭追跡を行って輪郭形状を抽出し、検索時に利用するようにすることで、検索のユーザの操作に対しても安定したクエリを作成し、精度良い検索が可能になる。

図１は前述した実施形態の画像処理装置の概略構成を示す図である。ＣＰＵ１０１は画像処理装置における各種制御を実行する。その制御内容は、後述するＲＯＭ１０２やＲＡＭ１０３のプログラムに記述されている。また、ＣＰＵ自身の機能や、計算機プログラムの機構により、複数の計算機プログラムを並列に動作させることもできる。

ＲＯＭ１０２は、ＣＰＵ１０１が本発明を実現するための制御をするためのプログラムやデータが格納されている。

ＲＡＭ１０３は、ＣＰＵ１０１が処理するための制御プログラムを格納するとともに、ＣＰＵ１０１が各種制御を実行する際の様々なデータの作業領域を提供する。

入力装置１０４は、カーソル移動を指示するカーソル移動キー等のような機能キーを備えたものである。なお、マウスのようなポインティングデバイスを有してもよい。

バス１０５は各構成に接続されているアドレスバス、データバスなどである。

外部記憶装置１０６は、さまざまなデータ等を記憶するための外部記憶装置である。例えば、ハードディスクやフロッピー（登録商標）ディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等の記録媒体と、記憶媒体を駆動し、情報を記録するドライブなどを有する。保管されたプログラムやデータは入力装置等の指示や、各種計算機プログラムの指示により、必要な時にＲＡＭに展開される。

表示器１０７は、液晶ディスプレイなどの表示手段を有し、各種入力操作の状態をユーザに対して表示する。

ＮＣＵ１０８は、他のコンピュータ装置等と通信を行うための通信デバイスＮＣＵであり、ネットワーク（ＬＡＮ）等を介して、図にはないが遠隔地に存在する装置と通信し、本実施形態のプログラムやデータを共有することが可能になる。ＮＣＵ１０８としては、ＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、Ｅｔｈｅｒｎｅｔ（登録商標）等の有線通信や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、ＩＥＥＥ８０１．１１ｂ等の無線通信等、通信可能に接続するものであればよい。

スキャナ１０９は、画像を読み取るためのイメージスキャナであり、セットされた紙原稿を１枚ずつ光学的に読み取り、イメージ信号をデジタル信号列に変換する。読み取られた画像データは、外部記憶装置やＲＡＭ等に格納することができる。

ＲＯＭ１０２やＲＡＭ１０３などの記憶媒体には、本実施形態の処理をコンピュータに実現させる計算機プログラムやデータなどが格納されており、これらを、ＣＰＵが読み出し実行することによって本発明の機能を実現する。また、本発明に係わるプログラムやデータを格納した外部記録装置を本システムあるいは本装置に供給して、ＲＡＭ１０３などの書き換え可能な記憶媒体上に前記の外部記憶装置から、そのプログラムがＲＡＭ上にコピーしてもよい。例えば、外部記憶装置としては、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ハードディスク、メモリカード、光磁気ディスクなどが挙げられる。

また、画像データは、ＮＣＵ１０８の通信デバイスによって接続されているネットワークスキャナ、コピー装置、デジタルスチルカメラフィルムスキャナ等の入力機器を介して入力されてもよい。また、デジタル画像データを保持する外部記憶装置から通信デバイスを介して入力されてもよい。また、スキャナ１０９で読み取った画像データは、外部記憶装置やＲＡＭ等ではなく、通信デバイスによって接続されたサーバやコピー機等の外部記憶装置等に格納してもよい。

尚、本発明は複数の機器（例えば、ホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用しても良い。

本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 入力装置（ポインティングデバイス）
１０５ バス
１０６ 外部記憶装置
１０７ 表示器
１０８ ＮＣＵ
１０９ スキャナ
２００ 画像検索装置
２０１ 変換部
２０２ 抽出部
２０３ 決定部
２０４ 算出部
２０５ 画像特徴データベース
２０６ 入力画像
２０７ 領域情報
２０８ 検索結果

Claims (9)

1. 画像特徴量を用いて類似する画像を検索する画像処理装置であって、
   画像を入力する入力手段と、
   前記画像において検索に用いる領域を、前記画像を表示する画面の操作により指定領域として指定する指定手段と、
   前記指定領域内の画像特徴量を抽出するのに必要な領域の大きさに関する情報に基づいて前記指定領域を拡大したものをクエリ領域として決定する決定手段と、
   前記クエリ領域から画像特徴量を抽出する抽出手段と、
   前記抽出手段の抽出した画像特徴量に基づいて該画像特徴量に類似する画像を検索する検索手段とを有することを特徴とする画像処理装置。
2. 前記決定手段は特徴点と前記画像特徴量を抽出するのに必要な領域の大きさを決定し、前記抽出手段が前記クエリ領域から特徴点と
   該特徴点に関する画像特徴量を抽出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出手段が前記指定領域を包含する拡大領域からエッジを抽出し、前記決定手段は前記エッジと前記指定領域とが交わる場合に、該エッジ及び前記指定領域から前記画像特徴量を抽出するのに必要なクエリ領域を決定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記抽出手段が前記指定領域を包含する拡大領域からエッジを抽出し、前記決定手段は前記エッジと前記指定領域とが交わらず且つ前記エッジと前記拡大領域の外縁とが交わる場合に、該エッジを前記画像特徴量を抽出する処理対象から除外することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記画像特徴量が色の特徴を示す値であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記画像特徴量が輝度の特徴を示す値であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記画像特徴量が形状を示す値であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
8. 画像特徴量を用いて類似する画像を検索する画像処理方法であって、
   画像を入力する入力工程と、
   前記画像において検索に用いる領域を、前記画像を表示する画面の操作により指定領域として指定する指定工程と、
   前記指定領域内の前記画像特徴量を抽出するのに必要な領域の大きさに関する情報に基づいて前記指定領域を拡大したものをクエリ領域として決定する決定工程と、
   前記クエリ領域から画像特徴量を抽出する抽出工程と、
   前記抽出工程において抽出した画像特徴量に基づいて該画像特徴量に類似する画像を検索する検索工程と
   を有することを特徴とする画像処理方法。
9. コンピュータに、
   画像を入力する入力工程と、
   前記画像において検索に用いる領域を、前記画像を表示する画面の操作により指定領域として指定する指定工程と、
   前記指定領域内の画像特徴量を抽出するのに必要な領域の大きさに関する情報に基づいて前記指定領域を拡大したものをクエリ領域として決定する決定工程と、
   前記クエリ領域から画像特徴量を抽出する抽出工程と、
   前記抽出工程において抽出した画像特徴量に基づいて該画像特徴量に類似する画像を検索する検索工程と
   を実行させることを特徴とするプログラム。

Images