WO2004053796A1

WO2004053796A1 - 類似画像抽出装置、類似画像抽出方法および類似画像抽出プログラム

Info

Publication number: WO2004053796A1
Application number: PCT/JP2003/015852
Authority: WO
Inventors: Makoto Ouchi
Original assignee: Seiko Epson Corporation
Priority date: 2002-12-11
Filing date: 2003-12-11
Publication date: 2004-06-24
Also published as: EP1574991A4; US20060115148A1; JP2004192307A; CN1711558A; EP1574991A1

Abstract

従来の画像検索においては検索精度が充分ではなかった。また、高速に画像を検索可能な手法が望まれていた。元画像データと検索対象画像データとを取得し、元画像の複数の位置に照合画素を設定するとともに当該照合画素の階調値を取得し、検索対象画像上に元画像と同じ大きさの領域を設定し、当該領域を逐次変更しながら、当該領域において上記照合画素と同じ位置に相当する比較画素の階調値を取得し、上記照合画素の階調値と比較画素の階調値との類似度を示す照合値を算出する工程を行い、上記照合値が示す類似度が高い領域について当該領域内の略全画素の階調値と上記元画像の略全画素の階調値との類似度を算出して、類似度の高い領域を抽出する。

Description

明細書類似画像抽出装置、類似画像抽出方法および類似画像抽出プログラム技術分野

本発明は、類似画像抽出装置、類似画像抽出方法および類似画像抽出プログラムに関する。背景技術

近年、デジタルカメラ等による撮像画像あるいはその一部など'を検索する画像検索ゃパノラマ写真画像を連結する際の接続位置検索等を実施する当たり、検索対象の画像内で元画像に類似する部位を検索する種々の手法が提案されている（例えば、特開平 4一 3 2 9 4 9 0号公報，特開昭 6 3 — 1 4 2 9 9 1号公報を参照）。発明の開示

上述した従来の検索においては検索精度が充分ではなかった。また、高速に画像を検索可能な手法が望まれていた。例えば、上記特許文献 1 における手法では、ヒストグラムの類似度を計算して対象枠内の画像と類似度枠内の画像とを照合しており、正確に画像検索をすることができなかった。また、上記特許文献 2における手法では相互相関係数 f ( τ ) を縦横画素について求めることによって画像と画像をつなぎ合わせており、計算対象が全画素になるため処理速度が遅かった。

本発明は、上記課題にかんがみてなされたもので、画像検索の精度が高く、また、高速に処理を実行可能な類似画像抽出装置、類似画像抽出方法および類似画像抽出プログラムの提供を目的とする。

上記目的を達成するため、本発明では元画像内の一部の画素を利用して検索対象画像の中から類似部位の候補を探し、これらの候補と元画像とを画素毎に比較することによって元画像と類似する部位を検索対象画像から抽出する。このために、本発明は画像データ取得手段と照合画素階調値取得手段と比較画素階調値取得手段と照合値算出手段と走査手段とを備えている。これらの手段によって、元画像データと検索対象画像データとを取得し、元画像と同じ大きさの領域で検索対象画像を走査しながら、照合画素の階調値と比較画素の階調値との類似度を示す照合値を算出する。

ここで、照合画素は元画像内の複数の位置に配置されるが、元画像の画素数より少ない画素数である。従って、元画像と同じ大きさの領域毎に検索対象画像を走査することにより、検索対象画像内の一部の画素と元画像の一部の画素とを照合するのみで検索対象画像内で元画像内に類似する部位を候補として探し出すことができる。このため、検索対象画像の全画素について元画像と類似するか否かを検討する処理と比較して、非常に高速に処理を行うことができる。

さらに本発明では、上述のようにして探し出した候補の中から、類似領域抽出手段によって元画像に類似する領域を抽出する。すなわち、これらの候補は上記類似度を示す照合値によって元画像との類似度が高いことが示されているので、これらのいずれかが検索対象であると考えられる。そこで、上述のようにして候補を限定した上で候補内の全画素と元画像の全画素との類似度を算出する。この結果、最も類似するとされた領域が元画像に最も類似している可能性が高く、この領域を抽出することにより、検索対象画像内で元画像と類似する画像を検索することができる。

本発明においては、元画像の全画素と上述の処理によって候補となつた複数の領域内の全画素とで類似度を計算しているが、この候補を決定するためには上述のように一部の画素のみが使用されているため高速に候補を決定することができるし、この候補は検索対象画像の一部であるため、元画像の全画素と比較して類似度を算出する対象も検索対象画像の一部である。従って、検索対象画像の全画素について元画像と類似するか否かを検討する処理と比較して、非常に高速に処理を行うことがでさる。

また、上述の候補は上記照合画素と比較画素との類似度を示す照合値に基づいて抽出される。この照合値に基づく判別によれば、上記照合画素と比較画素とが類似するか否かを判別することができるが、元画像の全画素と候補内の全画素とが非常に似通っているか否かを決定することはできない。しかし、照合値によって上述の候補を複数個検出するように構成すれば、照合値のみによって最終的に元画像と類似度の高い領域を抽出するのではなく、複数個の候補から最も類似する領域を抽出することができる。

検索対象画像内に元画像と一致する部位あるいは非常に類似している部位が存在するのであれば、これらの候補の中に非常に高い確率で検索対象の部位が含まれる。従って、少ない照合画素数で候補を挙げた上で元画像内の全画素と比較する構成であっても非常に高精度に検索を実行することができる。尚、本発明によれば、検索対象画像から元画像に類似する領域を抽出することができるので、むろん、検索対象画像から元画像と同一の領域を抽出することも可能である。ここで、上記照合画素は上記元画像の一部であって、当該照合画素と検索対象画像内の比較画素とを照合することによって、比較された部位が元画像に類似しているか否かを判定することができればよく、種々の位置，数の照合画素を設定することができる。その構成例として、元画像の縦およびまたは横の一定画素数毎に照合画素を設定する構成等を採用可能である。

より具体的には、元画像中の縦横 5〜 1 0画素毎に照合画素を配置する構成や元画像の縦または横画素数の 1 /, 8〜 1 / 1 6 に相当する画素毎に照合画素を配置する構成等を採用可能である。このような構成によれば、元画像の中から位置的な偏りを生じさせることなく照合画素を設定することができる。むろん、照合画素のピッチとしては上述の具体例以外にも種々のピッチを採用可能であり、元画像や検索対象画像の大きさ，必要な検索精度，検索速度に応じて調整可能である。

さらに、照合値はその値によつて照合画素の階調値と比較画素の階調値との類似度を示していればよく、例えば、同じ位置に相当する照合画素と比較画素との階調値の差分を加え合わせた値等を採用可能である。この差分は照合画素の階調値と比較画素の階調値との差異が大きいほど大きくなる。従って、この差分が小さければ類似度が高いと言える。類似領域抽出手段において照合値から類似度が高い領域を候補として抽出する際には、差分が小さいものの上位いくつかを候補としたり、差分が所定の閾値以下となるものを候補とするなど、種々の構成を採用可能である。いずれにしても、照合画素と比較画素との階調値の加減演算のみで候補を抽出することができ、高速に候補を抽出する'ことができる。類似領域抽出手段において照合値から類似度が高い領域を候補として抽出するためには種々の構成を採用可能である。例えば、照合値を算出した領域とその照合値自体を記憶媒体に保存しておき、検索対象画像の走査を終了した後に記憶媒体を参照して類似度が高い領域を抽出する構成を採用可能である。走査を実施する上で好適な他の構成として、予め決められた領域数を限度として記憶媒体に類似度の高い照合値を与える領域を示すデータを逐次記憶していってもよい。

この場合さらに、照合値算出手段において照合値を算出したときに、既に記憶した領域の照合値を参照し、算出された照合値がより高い類似度を示しているときに記憶媒体の記憶内容を更新する。この構成によれば、上記走査を終了した時点で記憶媒体に記憶されている上記領域を示すデータは類似度が高い上位いくつかの領域に関するデータとなる。従つて、類似領域抽出手段では、この記憶媒体のデータを参照するのみで類似度が高い上位の領域について処理を行うことができ、走査終了と同時に上記領域内の略全画素の階調値と上記元画像の略全画素の階調値との類似度を算出する処理に移行することができる。尚、この類似度は、元画像の全画素と上述の各候補の全画素とが類似している度合を示す情報であればよく、上述の照合値と同様に元画像の全画素と上述の各候補の全画素とについて階調値の差分を加え合わせた値等によって構成することができる。

以上のように、類似領域抽出手段での処理によって検索対象画像の中から元画像に類似した部位を検索することができるが、上述のように走査手段においては、検索対象画像上で上記領域を逐次変更して照合値の算出を行わせており、走査の過程において重複しないように各領域を選択した場合には、各領域を微調整した方がより高い類似度になる場合もある。そこで、類似領域抽出手段において、上記類似度の高い領域を抽出した後に当該領域の近隣にて上記元画像と同じ大きさの領域を設定するとともに当該設定した領域と上記元画像との類似度を算出してもよい。かかる構成においては、この類似度の中から最も高い ^類似度を有する領域を元画像の類似画像とすることにより、検索対象画像の中から元画像と最も合致する部位を類似画像として抽出することができる。

ところで、上述した類似画像抽出装置は、単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としては各種の態様を含むものであ'つて、適宜、変更可能である。また、上述した元画像の一部の画素から検索部位の候捕を限定した後に、元画素の全画素について類似度を算出することによつて類似画像を検索する手法は、所定の手順に従って処理を進めていくうえで、その根底にはその手順に発明が存在するということは当然である。したがって、本発明は方法としても適用可能であり、請求項 6にかかる発明においても、基本的には同様の作用となる。本発明を実施しようとする際に、類似画像抽出装置にて所定のプログラムを実行させる場合もある。本発明はこのプログラムとしても適用可能であり、請求項 7 にかかる発明においても、基本的には同様の作用となる。

むろん、請求項 2〜求項 5に記載された構成を上記方法やプロダラムに対応させることも可能であることは言うまでもない。また、いかなる記憶媒体もプログラムを提供するために使用可能である。例えば、磁気記録媒体や光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一部がソフトウエアであって、一部がハードウェアで実現される場合においても本発明の思想において全く異なるものではなく、一部を記録媒体上に記録しておいて必要に応じて適宜読み込む形態のものも含まれる。さらに、一次複製品、二次複製品などの複製段階については全く問う余地なく同等である。図面の簡単な説明

第 1 図は、コンピュータシステムのブロック図である。

第 2図は、類似画像抽出プログラムの機能プロック図である。

第 3図は、類似画像抽出プログラムでの処理フローチヤ一トである。第 4図は、本実施形態での処理例を説明する説明図である。

第 5図は、本実施形態での処理例を説明する説明図である。発明を実施するための最良の形態

ここでは、下記の順序に従って本発明の実施の形態について説明する。

( 1 ) システムハードウェア構成：

( 2 ) 類似画像抽出プログラムの構成および処理：

( 3 ) 類似画像抽出処理の例：

( 4 ) 他の実施形態：

( 1 ) システムハードウェア構成：

図 1 は、本発明の一実施形態にかかる類似画像抽出プログラムを実行するコンピュータシステムをブロック図により示している。同図において、コンピュータシステム 1 0は、画像入力デバイスとして、スキャナ

1 1 a とデジタルスチルカメラ 1 1 b とビデオカメラ 1 1 c とを備えており、コンピュータ本体 1 2に接続されている。それぞれの入力デバィスは、画像をドットマトリクス状の画素で:表現した画像データを生成してコンピュータ本体 1 2に出力可能となっており、ここで、同画像データは、 R G Bの三原色においてそれぞれ 2 5 6階調表示することにより、約 1 6 7 0万色を表現可能となっている。コンピュータ本体 1 2 には、外部補助記憶装置としてのフレキシブルディスクドライブ 1 3 a と、ハードディスク 1 3 b と、 C D— R OMドライブ 1 3 c とが接続されている。また、ハードディスク 1 3 b には、システム関連の主要プログラムが記録されており、フレキシブルデイスク 1 3 a 1や C D— R OM 1 3 c 1 などから適宜必要なプログラムや画像データなどを読み込み可能となっている。

さらに、コンピュータ本体 1 2 を外部のネットワークなどに接続するための通信デバィスとしてモデム 1 4 a が接続されており、外部のネットワークに同公衆通信回線等を介して接続し、ソフトウェアや画像データなどをダウンロードして導入可能となっている。この例ではモデム 1 4 a にて電話回線を介して外部にァクセスするようにしているが、 L A Nアダプタを介してネットワークに対してアクセスする構成とすることも可能であるし、ルーターを介して外部回線にアクセスしてもよい。この他、コンピュータ本体 1 2の操作用にキーボード 1 5 aやマウス 1 5 b も接続されている。本発明における元画像データと検索対象画像データとはそれぞれ、上記入力デバイスや外部補助記憶装置、通信デバイス等からコンピュータ本体 1 2 に入力される。

また、画像出力デバイスとして、ディスプレイ 1 7 a とカラープリンタ 1 7 b とを備えている。ディスプレイ 1 7 a については水平方向に 1 0 2 4画素と垂直方向に 7 6 8画素の表示エリアを備えており、各画素毎に上述した 1 6 7 0万色の表示が可能となっている。むろん、この解像度は一例に過ぎず、 6 4 0 X 4 8 0画素であったり、 8 0 0 X 6 0 0 画素であるなど、適宜変更可能である。

一方、このような画像入力デバイスを使用して画像を入力しつつ、画像出力デバイスに表示あるいは出力するため、コンピュータ本体 1 2內では所定のプログラムが実行されることになる。そのうち、基本プログラムとして稼働しているのはオペレーティングシステム（O S ) 1 2 a であり、このオペレーティングシステム 1 2 a にはディスプレイ 1 7 a での表示を行わせるディスプレイドライバ（D S P D R V) 1 2 b と力ラープリンタ 1 7 b に印刷出力を行わせるプリンタドライバ（ P R T D R V ) 1 2 c が組み込まれている。これらのドライバ 1 2 b , 1 2 c の類はディスプレイ 1 7 aやカラープリンタ 1 7 b の機種に依存しておりそれぞれの機種に応じてオペレーティングシステム 1 2 a に対して追加変更可能である。また、機種に依存して標準処理以上の付加機能を実現することもできるようになつている。すなわち、オペレーティングシステム 1 2 a という標準システム上で共通化した処理体系を維持しつつ、許容される範囲内での各種の追加的処理を実現できる。

むろん、このようなプログラムを実行する前提として、コンピュータ本体 1 2内には C P U 1 2 e と R OM 1 2 f と R AM I 2 g と I /O l 2 hなどが備えられており、演算処理を実行する C P U 1 2 e が R OM 1 2 f を一時的なワークエリァゃ設定記憶領域として使用したりプログラム領域として使用しながら、 R AM I 2 g に書き込まれた基本プログラムを適宜実行し、 I /O 1 2 hを介して接続されている外部機器及び内部機器などを制御している。

この基本プログラムとしてのオペレーティングシステム 1 2 a 上でァプリケーシヨン（A P L ) 1 2 dが実行される。アプリケーション 1 2 dの処理内容は様々であり、操作デバイスとしてのキーボード 1 5 aやマウス 1 5 b の操作を監視し、操作された場合には各種の外部機器を適切に制御して対応する演算処理などを実行し、さらには、処理結果をデイスプレイ 1 7 a に表示したり、カラープリンタ 1 7 b に出力したりすることになる。

ここで上述したカラープリンタ 1 7 b には、プリンタドライバ 1 2 c を介してアプリケーション 1 2 dの処理結果が印刷データとして出力され、同カラープリンタ 1 7 bは色インクを用いて印刷用紙上にドットを付すことにより、対応する文字や画像を印刷する。本発明にかかる類似画像抽出プログラムは、上記アプリケーシヨン 1 2 d として提供することもできるし、アプリケーション 1 2 dの機能の一部を実現するプログラムとして提供することもできる。パノラマ写真の合成プロダラムゃ画像検索プログラムに本発明にかかる類似画像抽出プロダラムを組み込むと特に好ましい。

( 2 ) 類似画像抽出プログラムの構成および処理：

図 2は類似画像抽出プロダラムの機能プロック図および処理において使用するデータを示しており、図 3 は類似画像抽出プログラムでの処理フローを示している。以下、これらの図にしたがってプログラムの機能および処理を説明する。類似画像抽出プログラム 2 0 は、図 2 に示すように画像データ取得モジュール 2 1 と照合画素階調値取得モジュール 2 2 と走査部 2 3 と類似領域抽出モジュール 2 4 とを備えている。走査部 2 3 はさらに、比較画素階調値取得モジュール 2 3 a と照合値算出モジユール 2 3 b とを備えている。

図では元画像データと検索対象画像データとがハードディスク 1 3 b に保存されている例について説明しているが、むろん、他の媒体に保存されていてもよいし、デジタルスチルカメラ 1 1 b等の機器から取得されるデータであってもよいし、モデム 1 4 a等を介して取得されるデータであってもよい。類似画像抽出プログラム 2 0の処理が開始されると、画像データ取得モジュール 2 1 はステップ S 1 0 0においてハードディスク 1 3 bから元画像データを読み出して R AM I 2 gに一時記憶させる（元画像データ 1 2 g 1 ) 。ここでは、画像データの全色成分について取得して以下の処理を行つてもよいし、特定の色成分のみであってもよいし、 R G B以外の成分（例えば輝度成分）を取得してもよい。

ステップ S 1 0 5では、照合画素階調値取得モジュール 2 2が元画像データ 1 2 g 1 に対して照合画素を設定し、当該照合画素の階調値（照合画素階調値 1 2 g 3 ) を取得する。図 4は後に詳述する本実施形態での処理例であり、このステップ S 1 0 5では同図左側の元画像データ 1 2 g 1 に黒丸で示すように、元画像内のごく一部の画素を照合画素としている。照合画素は一定の画素ピッチ毎に設定されており、元画像の縦横画素数の l Zm (mは自然数）毎に照合画素を設定したり、 1 画素毎 ( 1 は自然数）に照合画素を設定するなど種々の手法で位置を決定することができる。

ステップ S 1 1 0では画像データ取得モジュール 2 1 がハードデイスク 1 3 bから検索対象画像データを読み出して R AM I 2 gに一時記憶させる（検索対象画像データ 1 2 g 2 ) 。ステップ S 1 1 5〜 S 1 4 0 では、走査部 2 3 の制御によるループ処理が行われる。すなわち、ステップ S 1 1 5では比較画素階調値取得モジュール 2 3 aが検索対象画像上に上記元画像と同じ大きさの領域（以下、比較領域という）を設定する。さらに、ステップ S 1 2 0では比較画素階調値取得モジュール 2 3 a が当該比較領域内で上記照合画素と同じ位置に相当する比較画素を設定し、その階調値（比較画素階調値 1 2 g 4 ) を取得する。

ステップ S 1 2 5では、照合値算出モジュール 2 3 bが照合画素階調値 1 2 g 3 と比較画素階調値 1 2 g 4 とを参照して照合値を算出する。ここで照合値は、同じ位置に相当する照合画素と比較画素との階調値の差分を加え合わせた値であり、値が小さいほど高い類似度を示す。さらに、照合値算出モジュール 2 3 b はステップ S 1 3 0 , S 1 3 5で照合値が示す類似度の上位 3位までを R AM I 2 gに保存する処理を行う。具体的には、 R AM I 2 gには照合値およびその照合値を与える領域の位置を示す照合値 1 2 g 5を保存する記憶容量であって、 3箇所分の記憶が可能な記憶容量が確保されている。

そして、上記算出した照合値が R A M 1 2 g内に既に記憶されている照合値より小さい（高い類似度）か否かを判別（ステップ S 1 3 0 ) し、既存の照合値より小さいと判されたときには、上記算出した照合値で R AM I 2 g内の照合値 1 2 g 5を更新（ステップ S 1 3 5 ) する。すなわち、既存の照合値 1 2 g 5の中から最大の照合値を削除し、算出した照合値を R A M 1 2 gに記憶させる。ステップ S 1 3 0にて既存の照合値より小さいと'判別されないときには R A M 1 2 gの更新をスキップする。

ステップ S 1 4 0では、上記比較領域について照合値を算出する処理が検索対象画像内の全領域について終了したか否かを判別し、終了したと判別されるまで上記ステップ S I 1 5以降の処理を繰り返す。本実施形態の繰り返し段階においてステップ S 1 1 5では、検索対象画像内で重複をしないように新たな比較領域を設定するが、むろん、一部重複させながら比較領域を変更して処理を進めてもよい。

R AM 1 2 gには上述のように、 3箇所分の照合値を記憶可能な記憶容量が確保されているので、ステップ S 1 4 0にて検索対象画像内の全領域について照合値を算出する処理が終了したと判別された後には、 R AM 1 2 gの照合値 1 2 g 5は各比較領域の中で類似度の上位 3位までが保存されていることになる。尚、繰り返し処理の最初の 3回については、 R A M 1 2 g内に既存の照合値が 3個以下しか保存されていないので、最初の 3箇所は判別せずに記憶する処理を行えばよい。むろん、初期値として照合値の最大値を 3個記憶させておいてもよい。

ステップ S 1 4 5では、上記照合値 1 2 g 5が示す比較領域を候補とし、類似領域抽出モジュール 2 4がこれら各候補と元画像の類似度を算出する。また、これら各候補の位置を上下左右に移動させた位置に上記元画像と同じ大きさの周辺領域を設定し、この周辺領域の画像と元画像の類似度を算出する。ここで、類似度は、元画像と比較領域（あるいは周辺領域）とのそれぞれに属する総ての画素について同 t位置に相当する画素の階調値の差分を加え合わせた値である。従って、本実施形態における類似度は上述の照合値とでは、対象とする画素数が異なるものの考え方としては同じであり、類似度が小さいほど元画像と比較領域（あるいは周辺領域）の画像が類似していることになる。ステップ S 1 5 0 では、当該ステップ S 1 4 5にて算出した類似度の中で最小の値（最も類似している）となった比較領域あるいは周辺領域を類似画像とし、当該類似画像の位置を示すデータを R A M 1 2 gに保存する（類似画像データ 1 2 g 6 ) 。

( 3 ) 類似画像抽出処理の例：

次に、以上の構成および処理による動作例を説明する。図 4，図 5は山を被写体とした写真の検索対象画像データ 1 2 g 2から元画像データ 1 2 g 1が示す画像に類似した部位を検索する様子を説明する説明図である。照合画素階調値取得モジュール 2 2は、図 4の左側に示すように元画像データ 1 2 g 1 内に複数の照合画素 X。を設定し、各照合画素 X。の階調値を取得する。走査部 2 3においては図 4の右側に示すように検索対象画像データ 1 2 g 2に対して比較領域 Cを設定し、検索対象画像データ 1 2 g 2内で比較領域 Cを逐次変更する処理を行う。

このとき、この比較領域 Cを左から右に移動させ、比較領域 Cが右端に達したときには比較領域 Cを下に移 ¾させるとともに再び左から右に移動させて検索対象画像データ 1 2 g 2の全体について走査を行う。さらに、この走査の過程において比較画素階調値取得モジュール 2 3 aは比較領域内で照合画素 X。の位置に対応した比較画素 X。を設定し、各比較画素 X _eの階調値を取得する。照合値算出モジュール 2 3 bは照合画素と ,比較画素との差分を加え合わせて照合値を算出する。

尚、図 4に示す照合値の式∑ ( X。（ i T， j T ) — X。（ i T， j T ) ) において、 i は横方向の画素位置を特定する番号であり、 j は縦方向の画素位置を特定する番号であり、双方とも自然数である。また、各（）内の原点は元画像や比較領域の左端の座標である。従って、これら i， j の組み合わせによって元画像内の照合画素や比較領域内の比較画素が指定される。 Tは照合画素や比較画素のピッチを示しており、元画像内の所定ピッチで画素が取得され、照合値が計算されることを示している。すなわち、照合画素 X。や比較画素 X。は元画像や比較領域のごく一部 · の画素であり、これらごく一部の画素から照合値を算出することによつて、元画像の全画素分の照合値を算出する場合と比較して非常に高速に処理を行うことができる。照合値算出モジュール 2 3 bは、類似度が高い順に上位 3位までの照合値を R A M 1 2 gに保存する。

類似領域抽出モジュール 2 4は R A M 1 2 gに保存されている照合値, 1 2 g 5を参照し、当該照合値 1 2 _g 5が示す比較領域の位置を 3箇所特定する。そして、これら比較領域の上下左右に当該比較領域と同じ大きさの領域（周辺領域）を設定して元画像の全画素と比較領域（あるいは周辺画素）の全画素についての類似度を算出する。すなわち、図 5に示すように、照合値 1 2 g 5に基づいて候補として比較領域 C 1， C n 等が抽出されている状況において、破線に示すように比較領域の位置を変動させて類似度を算出する。 .

類似領域抽出モジュール 2 4·においては、類似度を図 5に示す式∑ ( X 。（ i， j ) - Χ _{ο η} ( i , j ) ) に従って算出している。ここで、 i ， j は自然数であって元画像，比較領域，周辺領域の座標を示している。ここでも原点は画像の左端の座標である。尚、この i ， j は上記図 4に示すものより値域が大きく、 i は元画像，比較領域，周辺領域の横画素数を値域とし、 j は元画像，比較領域，周辺領域の縦画素数を値域としている。また、 nは自然数であって、比較領域およびその周辺領域を指定する番号である。

以上の式で算出した類似度によれば、比較領域と周辺領域との中から元画像に最も類似する領域を抽出することができる。比較領域は、検索対象画像データ 1 2 g 2の中から図 4に示す照合値によつて類似画像の候補として抽出された領域であるので、図 5に示す類似度に基づいて最も類似する部位として抽出された領域は検索対象画像データ 1 2 g 2の総ての中で元画像に最も類似する部位である確率が非常に高い。従って、以上の処理によつて類似画像を決定することができる。上述のように、本'発明ではごく一部の画素に基づいて比較領域の候補を決定している力 S、類似領域抽出モジュール 2 4において最終的には全画素に対する比較を行っているし、さらに、比較対象を周辺領域にまで拡大しているので、非常に正確に類似画像を検索することができる。

( 4 ) 他の実施形態：

上記類似画像抽出処理の構成およぴ処理は一例であって、他にも種々の構成を採用可能である。例えば、類似領域抽出モジュール 2 4において類似度を算出する対象を周辺領域間で広げることなく、上記候補としての比較領域のみに対して類似度を算出し、最も類似度の高い領域を抽出する処理を行ってもよい。この場合、抽出された領域が検索対象画像内で元画像に最も類似しているとは必ずしも言えないが、最も類似した画像に近い部位を非常に高速に検索することができる。

また、上記実施形態において走査部 2 3は、比較領域の設定に際して重複を避けつつ検索対象画像の総てが走査対象になるようにしていた力むろん、かかる構成が必須というわけではない。例えば、照合値算出モジュール 2 3 bによって算出された照合値が非常に大きかった場合（類似度が非常に小さかった場合）は、次の比較領域を設定するに際して走查ピッチを大きく（次の比較領域をより遠くに設定）し、照合値が大きくなつたら走査ピッチを小さくする構成を採用可能である。また、照合値が非常に大きかった場合に照合画素数を少なくする構成としてもよい。これらの構成によれば、冗長な処理を効果的に削減し、より高速に候補となる比較領域を抽出することができる。

さらに、本発明は種々の場面に適用することができる。例えば、上述のようにパノラマ写真の合成に際して連結する写真同士で一致する領域を特定したい場合、一方の画像から元画像を切り出し、他方の画像に対して本発明にかかる類似画像抽出プログラムを実施すると、両画像で一致する部位を容易に特定することができる。従って、両者を連結する位置を容易に特定することが可能になる。この場合、比較領域の候補が複数抽出されたとしても、類似画像とされた部位は一方の画像の左側に存在し、他方の画像の右側に存在すべきであるという条件を課するなどして、より高速に処理を完了することができる。産業上の利用可能性

以上説明したように本発明によれば、デジタルカメラ等による撮像画像あるいはその一部などを検索する画像検索やパノラマ写真画像を連結する際の接続位置検索等を実施する当たり、検索対象の画像内で元画像に類似する部位を検索する機能を実現するコンピュータ等を提供することができる。

Claims

請求の範囲

1 . 元'画像をドットマトリクス状の画素で表現した元画像データと当該元画像に類似した画像の検索対象となる検索対象画像をドットマトリタス状の画素で表現した検索対象画像データとを取得する画像データ取 · 得手段と、 ·

上記元画像の複数の位置に照合画素を設定するとともに当該照合画素の階調値を取得する照合画素階調値取得手段と、

上記検索対象画像上に上記元画像と同じ大きさの領域を設定するとともに当該領域において上記照合画素と同じ位置に相当する比較画素の階調値を取得する比較画素階調値取得手段と、

上記照合画素の階調値と比較画素の階調値との類似度を示す照合値を算出する照合値算出手段と、

上記検索対象画像上で上記領域を逐次変更して上記比較画素階調値の取得と照合値の算出とを行う走査手段と、

上記照合値が示す類似度が高い領域について当該領域内の略全画素の階調値と上記元画像の略全画素の階調値との類似度を算出して、類似度の高い領域を抽出する類似領域抽出手段とを具備することを特徴とする類似画像抽出装置。

2 . 上記照合画素階調値取得手段では、上記元画像の縦およびまたは横の一定画素数毎に照合画素を設定することを特徴とする上記請求項 1 に記載の類似画像抽出装置。

3 . 上記照合値は、上記照合画素の階調値と同じ位置に相当する比較画素の階調値との差分を加え合わせた値であることを特徴とする上記請求項 1または請求項 2のいずれかに記載の類似画像抽出装置。

4 . 予め決められた領域数を限度として高い類似度の照合値を与える領域を示すデータを記憶する記憶媒体を備え、上記照合値算出手段は上記走査の過程で算出した照合値が既に記憶した領域の照合値より高い類似度を示しているときに当該記憶媒体の記憶内容を更新することを特徴とする上記請求項 1〜請求項 3のいずれかに記載の類似画像抽出装置。

5 . 上記類似領域抽出手段は、上記類似度の高い領域を抽出した後に当該領域の近隣にて上記元画像と同じ大きさの領域を設定するとともに当該設定した領域と上記元画像との類似度を算出し、. 最も高い類似度を有する領域を元画像の類似画像とすることを特徴とする上記請求項 1〜請求項 4のいずれかに記載の類似画像抽出装置。

6 . 元画像をドットマトリクス状の画素で表現した元画像データと当該元画像に類似した画像の検索対象となる検索対象画像をドットマトリタス状の画素で表現した検索対象画像データとを取得する画像データ取得工程と、

上記元画像の複数の位置に照合画素を設定するとともに当該照合画素の階調値を取得する照合画素階調値取得工程と、

上記検索対象画像上に上記元画像と同じ大きさの領域を設定し、当該領域を逐次変更しながら、当該領域において上記照合画素と同じ位置に相当する比較画素の階調値を取得し、上記照合画素の階調値と比較画素の階調値との類似度を示す照合値を算出する工程を行い、

上記照合値が示す類似度が高い領域について当該領域内の略全画素の階調値と上記元画像の略全画素の階調値との類似度を算出して、類似度の高い領域を抽出することを特徴とする類似画像抽出方法。

7 . 所定の記憶媒体に元画像をドットマトリクス状の画素で表現した元画像データと当該元画像に類似した画像の検索対象となる検索対象 ¾ 像'をドットマトリクス状の画素で表現した検索対象画像データとを一時記憶するとともに検索対象画像から元画像に類似した画像を検索する類似画像抽出プログラムであって、

上記元画像の複数の位置に照合画素を設定するとともに当該照合画素の階調値を取得する照合画素階調値取得機能と、

上記検索対象画像上に上記元画像と同じ大きざの領域を設定するとともに当該領域において上記照合画素と同じ位置に相当する比較画素の階調値を取得する比較画素階調値取得機能と、

上記照合画素の階調値と比較画素の階調値との類似度を示す照合値を算出する照合値算出機能と、，

上記検索対象画像上で上記領域を逐次変更して上記比較画素階調値の取得と照合値の算出とを行う走査機能と、

上記照合値が示す類似度が高い領域について当該領域内の略全画素の階調値と上記元画像の略全画素の階調値との類似度を算出して、類似度の高い領域を抽出する類似領域抽出機能とをコンピュータに実現させることを特徴とする類似画像抽出プログラム。