WO2015178001A1

WO2015178001A1 - 画像照合システム、画像照合方法、およびプログラムを記憶する記録媒体

Info

Publication number: WO2015178001A1
Application number: PCT/JP2015/002475
Authority: WO
Inventors: 雄馬松田
Original assignee: 日本電気株式会社
Priority date: 2014-05-19
Filing date: 2015-05-18
Publication date: 2015-11-26
Also published as: JPWO2015178001A1

Abstract

画像内に含まれる遮蔽や接触を含む物体または形状の類似性に基づく照合を精度よく実施可能な画像照合装置などを提供する。本発明の一態様に係る画像照合システムは、第１の画像領域及び第２の画像領域において抽出された輪郭から輪郭代表点の集合を抽出し、前記輪郭代表点の各々に基づく幾何パラメータを特定する輪郭代表点抽出手段と、前記第１の画像領域に含まれる前記輪郭代表点及び前記第２の画像領域に含まれる前記輪郭代表点の組み合わせにおける、前記輪郭代表点の間の前記幾何パラメータの代表的な差異値である組合せ幾何差異値を、幾何変換パラメータとして導出する幾何変換パラメータ導出手段と、前記第１の画像領域の、前記集合に含まれる前記輪郭代表点の前記幾何パラメータによって表される照合対象と、前記第２の画像領域の前記照合対象と、の一方又は両方を、前記幾何変換パラメータに基づいて変換したうえで、前記照合対象の間の類似度を算出し、算出された前記類似度に基づく照合を実行する輪郭照合手段と、を備える。

Description

画像照合システム、画像照合方法、およびプログラムを記憶する記録媒体

　本発明は、画像情報に含まれる物体または形状の認識や検索などを行うためのシステム等に関し、特に、遮蔽や接触を含む物体または形状の照合を良好に実施するシステム等に関する。

　近年、デジタルカメラを始めとするデジタル映像機器の急速な普及に伴い、撮影された画像や映像のなかに、どのような物体が含まれているのかを認識する一般物体認識への期待が高まっている。一般物体認識（General object recognition）は、制約の無い実世界シーンの画像の中に含まれる物体を一般的な名称（Category names）で認識する技術である。一般物体認識は、画像認識研究の最も困難な課題の一つとされている。一般物体認識技術は様々な用途に応用できる。例えば、データベース内等に分類されずに格納されている画像データの適切な分類や、必要な画像データの検索、さらには動画像の中からの所望のシーンの抽出や、所望のシーンだけを切り取っての再編集等、に応用できる。

　画像から物体を認識する技術として、例えば顔認識や指紋認識等、様々な認識技術がこれまでに開発されてきた。しかし、これらはすべて、特定の制約下で撮影された画像を認識する技術である。そして、これらの用途は特定用途に限定されている。その理由は、用途を限定することにより、認識すべき対象の特徴を限定することができるからである。さらに、認識すべき対象のデータを数多く学習することにより、認識精度を向上させることが可能になるからである。しかし、こうした手法の認識技術を別の用途に利用しようとする場合には、認識すべき特徴が認識できる特徴に含まれず、学習すべきデータが学習されていないために、必然的に認識率が下がるという問題が生じる。こうした課題を解決しうる、一般的な物体のパターン認識を行う技術の開発が期待されている。

　一般物体の認識技術として、非特許文献１に示される、画像の局所的な強度勾配を集積したヒストグラムを用いたＳＩＦＴ（Scale Invariant Feature Transform）という特徴量を用いた手法が広く認知されている。本手法は、画像の局所的な強度勾配という、多くの物体に共通する特徴を利用するので、様々な物体に適用することが可能である。さらに、本手法によって、幾何変換や遮蔽、接触を伴う同一画像を、同一であると認識することが可能である。本手法は、二つの画像が同一であるか否かを判断するための手法である。

　しかし、本手法は、類似する二つの画像（或いは画像領域）に対して、どの程度似ているのか、また、どういったカテゴリー（動物、植物、構造物など）に属するのかについての情報を与えるわけではない。また、本手法は、画像の強度勾配に基づく特徴量を利用しているために、本手法を、強度の激しい変化を伴わない物体、例えば、少ない色で構成される物体に対して適用することは難しい。さらに、数多くのサンプルデータを用意できない対象に対しても、本手法の適用を行うことは難しい。本手法をはじめ、特徴量を用いるほとんどの手法は、一般物体認識技術への適用に課題を抱えている。

　こうした課題に対処するため、発明者らは、多重解像度画像における輪郭の曲率の分布情報によって物体を表現する手法を既に考案している（特許文献１及び非特許文献２参照）。このように多重解像度画像を照合技術に用いることによって、物体の大局的な特徴と微細な特徴とを分離して物体認識を行うことが可能になる。その結果、照合結果が、撮像状況などに依存的なノイズに左右されることが少なくなる。また、画像内の物体を、曲率の分布情報という、あらゆる物体が有する特徴量によって表現することによって、多くの一般的な物体を適切に表現することが可能である。この曲率の分布情報を用いた物体表現は、似た形状を近い数値で表現することが可能である。従って、一つの対象（例えば、ある物体を示した幾何パラメータ）を物体認識するために、数多くのサンプルデータを用意する必要がない。さらに、曲率の分布情報は、輪郭の遮断がある場合にも変わることなく、一連の曲率の並び情報として表現される。従って、物体の一部分が遮蔽されている場合にも、良好な物体認識が可能である。このように、本手法を用いることによって、一般的な物体の認識を、遮蔽を含む一般的な条件下で行うことが可能である。一方で、上記手法にも改善した方がよい点がある。
　特許文献２には、ユーザによって指定された輪郭線によって背景から分離されたオブジェクト領域において抽出された特徴量を使用して、オブジェクト領域に類似した画像をデータベースにおいて検索する画像検索装置が記載されている。

国際公開第２０１２／１４７８４４号特開２０１１－００２９６５号公報

David G. Lowe, "Object Recognition from Local Scale-Invariant Features," Proceedings of the International Conference on Computer Vision (ICCV '99), pp.1150-1157, 1999. Yuma Matsuda, Masatsugu Ogawa, Masafumi Yano, "Visual shape representation with geometrically characterized contour partitions," Biological Cybernetics, Volume 106, Issue 4-5, pp 295-305, 2012.

　一般的な物体を認識する場合、限定された対象を認識する場合とは異なり、前もって注目すべき特徴量を限定することができない。さらに、学習するサンプルデータの数も、一つ或いは限られた数しか準備できない場合も多い。

　このような背景から、どのような物体にも共通して含まれる、物体輪郭の曲率の分布情報を利用した認識手法が、既に考案されている（上述の非特許文献２を参照）。当該手法は、物体が、幾何的に変換されている場合や、また、輪郭の一部分に遮蔽が起こっている場合にも適用可能である。このように、当該手法を用いることによって、一般的な物体の認識を、遮蔽を含む一般的な条件下で行うことが可能である。

　一方で、上記手法にも改善した方がよい点がある。例えば画像内の物体を表す輪郭の２つ以上の個所に遮蔽がある画像では、物体の真の輪郭とは異なる輪郭から、曲率の並び情報が取得される。このような、物体の真の輪郭から得られていない曲率の並び情報を用いることは、物体認識結果の精度に悪い影響を与えかねない。同様に、例えば画像内の物体の多くの輪郭が接触しているために、個々の物体を分離できない画像において対象物を認識する場合にも、物体認識結果の精度が低下する可能性がある。

　特許文献２に記載されている画像検索装置は、ユーザによって指定された輪郭線によって分離されたオブジェクト領域において抽出された特徴量を使用して、画像検索を行う。従って、特許文献２の技術では、オブジェクト領域が遮蔽によって複数の領域に分離している場合、以下のように画像検索の精度が低下する。例えば、ユーザが、分離している部分領域の輪郭線を指定した場合、オブジェクトの一部のみから抽出された特徴量が画像検索に使用される。従って、画像検索の精度は低下する。ユーザが、分離しているオブジェクト領域の全てを含むように輪郭線を指定した場合、輪郭線内に、オブジェクト領域を遮蔽する遮蔽物の領域が含まれる。そのため、オブジェクト領域を遮蔽する遮蔽物の領域から抽出された特徴量も使用される。従って、画像検索の精度が低下する。

　本発明の目的の１つは、上記問題を踏まえ、画像内に含まれる遮蔽や接触を含む物体または形状の類似性に基づく照合を精度よく実施する画像照合システム、画像照合方法、およびプログラムを提供することである。

　本発明の一態様に係る画像照合システムは、第１の画像領域及び第２の画像領域において抽出された輪郭から輪郭代表点の集合を抽出し、前記輪郭代表点の各々に基づく幾何パラメータを特定する輪郭代表点抽出手段と、前記第１の画像領域に含まれる前記輪郭代表点及び前記第２の画像領域に含まれる前記輪郭代表点の組み合わせにおける、前記輪郭代表点の間の前記幾何パラメータの代表的な差異値である組合せ幾何差異値を、幾何変換パラメータとして導出する幾何変換パラメータ導出手段と、前記第１の画像領域の、前記集合に含まれる前記輪郭代表点の前記幾何パラメータによって表される照合対象と、前記第２の画像領域の前記照合対象と、の一方又は両方を、前記幾何変換パラメータに基づいて変換したうえで、前記照合対象の間の類似度を算出し、算出された前記類似度に基づく照合を実行する輪郭照合手段と、を備える。

　本発明の一態様に係る画像照合方法は、第１の画像領域及び第２の画像領域において抽出された輪郭から輪郭代表点の集合を抽出し、前記輪郭代表点の各々に基づく幾何パラメータを特定し、前記第１の画像領域に含まれる前記輪郭代表点及び前記第２の画像領域に含まれる前記輪郭代表点の組み合わせにおける、前記輪郭代表点の間の前記幾何パラメータの代表的な差異値である組合せ幾何差異値を、幾何変換パラメータとして導出し、前記第１の画像領域の、前記集合に含まれる前記輪郭代表点の前記幾何パラメータによって表される照合対象と、前記第２の画像領域の前記照合対象と、の一方又は両方を、前記幾何変換パラメータに基づいて変換したうえで、前記照合対象の間の類似度を算出し、算出された前記類似度に基づく照合を実行する。

　本発明の一態様に係るコンピュータ読み取り可能な記録媒体は、コンピュータを、第１の画像領域及び第２の画像領域において抽出された輪郭から輪郭代表点の集合を抽出し、前記輪郭代表点の各々に基づく幾何パラメータを特定する輪郭代表点抽出手段と、前記第１の画像領域に含まれる前記輪郭代表点及び前記第２の画像領域に含まれる前記輪郭代表点の組み合わせにおける、前記輪郭代表点の間の前記幾何パラメータの代表的な差異値である組合せ幾何差異値を、幾何変換パラメータとして導出する幾何変換パラメータ導出手段と、前記第１の画像領域の、前記集合に含まれる前記輪郭代表点の前記幾何パラメータによって表される照合対象と、前記第２の画像領域の前記照合対象と、の一方又は両方を、前記幾何変換パラメータに基づいて変換したうえで、前記照合対象の間の類似度を算出し、算出された前記類似度に基づく照合を実行する輪郭照合手段として動作させるプログラムを記憶する。本発明は、上述の記憶媒体が記憶するプログラムによっても実現される。

　本発明によれば、画像内に含まれる遮蔽や接触を含む物体または形状の類似性に基づく照合を精度よく実施する画像照合システム、画像照合方法、およびプログラムを提供できる。

図１は、本発明の第１の実施形態における画像照合システム１００の構成図である。図２Ａは、画像情報取得部１０１から取得される情報の一例を示す説明図である。図２Ｂは、画像情報取得部１０１から取得される情報の一例を示す説明図である。図３Ａは、輪郭抽出部１０２によって抽出される輪郭の一例を示す説明図である。図３Ｂは、輪郭抽出部１０２によって抽出される輪郭の一例を示す説明図である。図４Ａは、輪郭代表点抽出部１０３によって抽出される輪郭代表点群の一例を示す説明図である。図４Ｂは、輪郭代表点抽出部１０３によって抽出される輪郭代表点群の一例を示す説明図である。図５は、幾何変換パラメータ導出部１０４の途中経過として導出される幾何変換パラメータに関する分布情報の一例を可視化した説明図である。図６は、本発明の第１の実施形態における物体または形状の画像照合システムの動作の一例を示すフローチャートである。図７は、図２の取得画像間の照合結果の正当性を可視化した説明図である。図８は、照合する輪郭代表点間に存在するパラメータの差異値の分布データを可視的に例示した説明図である。図９は、照合する輪郭代表点間に存在するパラメータの差異値をデータ化する際に、複数の分布データセットで収集する意図を説明するための説明図である。図１０は、本発明の第２の実施形態における画像照合システム１００Ａの構成図である。図１１は、多重解像度画像の一例を示す説明図である。図１２は、本発明の第２の実施形態における画像照合システム１００Ａの動作の一例を示すフローチャートである。図１３は、本発明の第３の実施形態における画像照合システム１００Ｂの構成図である。図１４は、本発明の第３の実施形態における画像照合システム１００Ｂの動作の一例を示すフローチャートである。図１５は、本発明の第４の実施形態の画像照合システム１００Ｃの構成の例を表すブロック図である。図１６は、画像照合システム１００、１００Ａ、１００Ｂ及び１００Ｃを実現することができる、コンピュータ１０００のハードウェア構成の一例を表す図である。

　以下、本発明に係る実施形態について説明する。

　情報処理システムによる、画像に含まれる一般物体の認識処理では、統計的学習及びユーザの経験が必要でなく、さらに、物体の大きさに対して不変に抽出できる特徴量を用いる手法が望まれる。

　このために有効な手法として提案されている、物体輪郭の曲率の分布情報を利用する上述の認識手法には、個々の物体の輪郭における特徴点の集合が生成されない場合、照合正答率（すなわち照合の精度）が低下するという問題がある。例えば、物体の輪郭が２箇所以上で遮蔽されることによって、画像において輪郭が２つ以上の部分に分離している場合、分離している２つ以上の輪郭は、１つの物体の輪郭として統合されない可能性がある。また、複数の物体の輪郭が接触している場合、個々の物体の輪郭が分離されない可能性がある。

　こうした課題に対して、発明者は以下のように画像照合を行なうシステムを提案する。

　本照合システムの処理動作は、４つのステップで示すことができる。

　第１のステップでは、本照合システムは、照合したい２つの画像、又は、１つの画像の２つの領域を取得する。

　以下の説明では、これらの２つの画像又は２つの画像領域を、２つの「画像領域」とも表記する。２つの画像領域は、それぞれ、照合対象としての物体又は図形の像（以下、「物体形状」とも表記）を含む。

　第２のステップでは、本照合システムは、２つの画像領域のそれぞれから、物体形状を表す輪郭における輪郭代表点群を抽出する。本照合システムは、照合対象であるそれぞれの物体形状を、抽出された輪郭代表点群における幾何パラメータによって表現する。なお、第１及び第２のステップでは、本照合システムは、あらかじめ抽出され、照合用データベースなどに記憶されている、照合に用いる画像の既知の幾何パラメータの値及び輪郭代表点群の情報を取得し、取得した情報を画像照合に用いてもよい。

　上述の輪郭代表点群は、１つの画像領域において抽出された輪郭代表点の集合である。輪郭代表点は、輪郭に含まれる点として検出された点の中で、所定の特徴を備える点である。以下の説明において、輪郭代表点は、「輪郭の代表点」とも表記される。幾何パラメータは、「幾何的なパラメータ」と表記されることもある。幾何パラメータは、２つ以上の種類のパラメータの組み合わせであってもよい。幾何パラメータについては、後で詳細に説明する。

　第３のステップでは、本照合システムは、第２のステップにおいて抽出した、一方の輪郭代表点群に含まれる輪郭代表点と他方の輪郭代表点群に含まれる輪郭代表点との組み合わせにおける、幾何的なパラメータの差異値を計算する。本照合システムは、例えば、可能な全ての輪郭代表点の組み合わせについて、幾何的なパラメータの差異値を計算してもよい。そのうえで、本照合システムは、計算した幾何的なパラメータの差異値の分布情報を用いて、一方の画像領域に含まれる物体の輪郭代表点と、他方の画像領域に含まれる物体の輪郭代表点との間の、幾何的なパラメータの代表的な差異値の組み合わせを決定する。本照合システムは、決定した組み合わせを幾何変換パラメータとして設定する。なお、本照合システムは、輪郭代表点の取り得る全ての組み合わせではなく、幾つかの輪郭代表点の組合せを使用して幾何変換パラメータを導出してもよい。

　以上の第３のステップは、以下のように言い換えることもできる。本照合システムは、第２のステップにおいて抽出した、一方の輪郭代表点群に含まれる輪郭代表点と他方の輪郭代表点群に含まれる輪郭代表点との組み合わせにおける、幾何的なパラメータの差異値を計算する。上述のように、本照合システムは、例えば、可能な全ての輪郭代表点の組み合わせについて、幾何的なパラメータの差異値を計算してもよい。本照合システムは、輪郭代表点の取り得る全ての組み合わせではなく、幾つかの輪郭代表点の組合せについて、幾何的なパラメータの差異値を計算してもよい。そして、本照合システムは、計算した幾何的なパラメータの差異値の分布情報を生成する。本照合システムは、計算した幾何的なパラメータの差異値の分布情報を用いて、幾何的なパラメータの、代表的な差異値を決定する。言い換えると、本照合システムは、幾何的なパラメータの、代表的な差異値の組み合わせを決定する。前述のように、幾何的なパラメータは、２つ以上のパラメータであってもよい。その場合、幾何学的なパラメータの代表的な差異値は、複数の差異値の組み合わせによって表される。本発明の各実施形態の説明では、複数の差異値の組み合わせによって表される代表的な差異値を、代表的な差異値の組み合わせとも表記する。本照合システムは、決定した組み合わせを幾何変換パラメータとして設定する。代表的な差異値は、例えば、あらかじめ定められた方法でカウントされた出現頻度が最大又は極大である差異値である。例えば、一方の画像領域に含まれる物体の輪郭代表点と、他方の画像領域に含まれるその物体の輪郭代表点との間の、幾何学的なパラメータの差異値は、代表的な差異値として検出されることが期待される。

　第４のステップでは、本照合システムは、第３のステップにおいて導出した幾何変換パラメータを用いて、２つの照合対象の類似度を判定し、加えて、画像中の物体が存在する位置を特定することによって、照合結果を得る。

　以上の４つのステップを実施することにより、画像内において、遮蔽や接触を多く含む物体または形状等の照合を精度よく実施することが可能となる。

　本発明において認識される対象は、例えば、物体又は形状などである。物体は、例えば、物、動物、植物等の、３次元空間における有形物である。形状は、例えば、物体等の表面の色や反射率の違いによって認識される図形である。さらに、以下の説明において、物体及び図形は、まとめて単に「物体」又は「物体等」とも表記される。

　以下、各ステップを実行する画像照合システムの実施形態について、図面を用いて説明する。まず、第１の実施形態を図１ないし図７を参照して説明する。

　［第１の実施形態］
　本発明の第１の実施形態の画像照合システム１００は、画像に含まれる遮蔽や接触を含む物体または形状の類似性に基づく照合を精度よく実施できる。

　［構成の説明］
　図１は、第１の実施形態の画像照合システム１００の構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
　図１を参照すると、第１の実施形態の画像照合システム１００は、制御部１０と、メモリ２０と、画像情報取得部１０１と、輪郭抽出部１０２と、照合部１１０と、照合結果出力部１０６と、画像情報記憶部２０１と、輪郭代表点情報記憶部２０２と、を含む。照合部１１０は、輪郭代表点抽出部１０３と、幾何変換パラメータ導出部１０４と、輪郭照合部１０５とを含む。

　制御部１０は、メモリ２０を利用しながら、画像識別処理に関連する情報処理の動作全体を管理する。

　画像情報取得部１０１は、ユーザが指定した、動画や写真などの画像の画像情報（すなわち画像データ）を画像照合システム１００に取り込み、画像情報記憶部２０１に格納する。以下の説明において、画像を表す画像情報を、単に「画像」とも表記する。例えば、画像を表す画像情報を画像情報記憶部２０１に格納することを、「画像を画像情報記憶部２０１に格納する」と表記する。画像情報取得部１０１は、ユーザが指定した画像を、そのまま画像情報記憶部２０１に格納してもよい。画像情報取得部１０１は、例えば以下の処理を補助するために、取得した画像に白黒変換やフィルタリング処理などの前処理を施したうえで、画像情報記憶部２０１に格納してもよい。

　画像情報取得部１０１は、一般物体認識を行う場合、照合される画像と、物体認識対象である、既知の物体または形状の画像の双方を取得すればよい。

　言い換えると、一般物体認識を行う場合、画像情報取得部１０１は、未知画像の画像情報と、登録画像の画像情報とを取得する。未知画像は、含まれる物体が未知である画像である。登録画像は、物体認識対象である物体等（すなわち、未知画像において検出したい物体等）が含まれる画像である。

　画像情報取得部１０１によって取得される画像情報の例を図２Ａ及び図２Ｂに例示する。

　また、画像情報取得部１０１は、画像を取得する際に、画像情報記憶部２０１に予め格納されている画像の中から、ユーザによって指定された画像を取得してもよい。換言すれば、画像情報記憶部２０１に格納されている画像等が、照合用データベースとして用いられてもよい。

　輪郭抽出部１０２は、画像情報取得部１０１によって取得されたそれぞれの画像から輪郭を抽出する。なお、例えば画像情報記憶部２０１に照合用画像（比較する一方の画像である、上述の登録画像）の輪郭を表す輪郭情報を含む照合用データベースなどが格納されていてもよい。輪郭抽出部１０２は、照合用画像の輪郭情報を、画像情報記憶部２０１が記憶する照合用データベースから読み出すことによって、取得してもよい。輪郭抽出部１０２によって抽出される輪郭情報の一例を図３Ａ及び図３Ｂに示す。

　輪郭抽出部１０２は、画像情報取得部１０１によって取得された画像から、輪郭を抽出する。具体的には、輪郭抽出部１０２は、輪郭に含まれる点である輪郭点として、例えば、画像における、色相、彩度、及び明度などの少なくともいずれかが急激に変化する点を、ラプラシアンガウシアンフィルタなどのフィルタを用いて抽出する。輪郭抽出部１０２は、抽出されたそれぞれの輪郭点の座標を特定する。輪郭点の座標は、例えば、直交座標系を用いて（x,y）などのように表される。輪郭は、輪郭点の集合（以下、「輪郭点群」とも表記）によって表される。輪郭抽出の方法は、上記の方法に限られない。

　次に、輪郭代表点抽出部１０３は、抽出された輪郭から輪郭の代表点の集合（以下、「輪郭代表点群」と表記）を抽出する。輪郭代表点抽出部１０３は、抽出した輪郭代表点群を、輪郭代表点情報記憶部２０２に格納する。なお、照合用データベース又は輪郭代表点情報記憶部２０２などに、あらかじめ抽出された照合用画像（上述のように、比較する一方の画像である登録画像）の輪郭代表点群が格納されていてもよい。そして、輪郭代表点抽出部１０３は、照合用データベース又は輪郭代表点情報記憶部２０２などに格納されている、輪郭代表点群を読み出してもよい。輪郭代表点抽出部１０３によって抽出される輪郭代表点情報の一例を図４Ａ及び図４Ｂに示す。

　輪郭代表点抽出部１０３が輪郭代表点を抽出する方法として、様々な方法が適用可能である。輪郭代表点抽出部１０３は、例えば、等間隔で輪郭を区切り、区切られた区画の端点又は中心点を、代表点として抽出してもよい。輪郭代表点抽出部１０３は、例えば、あらかじめ定められた間隔で輪郭を区切り、区切られた区画の端点又は中心点を、代表点として抽出してもよい。輪郭代表点抽出部１０３は、例えば、輪郭に該当する画像ピクセルの中心点などの点を、代表点として抽出してもよい。

　また、輪郭代表点抽出部１０３は、輪郭から幾何的な特徴点を代表点として抽出してもよい。

　輪郭代表点抽出部１０３は、例えば、輪郭上での幾何的な特徴点として、輪郭の局所的な曲がり具合を考慮した特徴を持つ点を抽出してもよい。輪郭代表点抽出部１０３は、例えば以下の方法に従って、輪郭代表点として特徴点を抽出してもよい。

　上述の「曲がり具合」とは、曲線が直線と比較してどの程度歪んでいるかを表す、例えば、ユークリッド曲率、ユークリッド曲率半径、又は、アフィン曲率などの量である。輪郭代表点抽出部１０３は、ユークリッド曲率、ユークリッド曲率半径、又は、アフィン曲率などのうち、どの量を曲線の曲がり具合を表す量として利用してもよい。以下では、ユークリッド曲率に基づく変曲点を、代表点として抽出する方法について説明する。

　変曲点とは、曲率がマイナスからプラスに変化する点を意味する。ユークリッド曲率に基づく変曲点（以下、「ユークリッド曲率の変曲点」とも表記）は、ユークリッド曲率がマイナスからプラスに変化する点である。ユークリッド曲率に基づく変曲点は、射影変換に対して不変である。従って、ユークリッド曲率を用いる効果は、幾何変換に対してロバストに特徴点を決定できるということである。

　輪郭代表点抽出部１０３は、例えば以下に示す方法に従って、ユークリッド曲率の変曲点を抽出する。まず、輪郭代表点抽出部１０３は、適宜選択した１点を始点として輪郭を一周するように輪郭座標ｔを定める。輪郭代表点抽出部１０３は、輪郭に含まれるそれぞれの点において、以下の式（１）によって定義されるユークリッド曲率を計算する。輪郭代表点抽出部１０３は、ユークリッド曲率の値がゼロとなる点を、輪郭の特徴点（すなわち輪郭代表点）として抽出する。式（１）において、一階微分値は、ｔについての一階微分値を表す。同様に、二階微分値は、ｔについての二階微分値を表す。

　輪郭代表点抽出部１０３は、ユークリッド曲率を計算する処理の前に行う前処理として、ある程度の画像平滑化を行ってもよい。前処理として画像平滑化には、ノイズの多い輪郭においても、局所的な曲がり具合のノイズによる変動の、抽出される特徴点に対する影響を軽減することができるという効果がある。

　輪郭代表点を抽出する方法は、以上で説明した、ユークリッド曲率の変曲点を用いた輪郭代表点（特徴点）を抽出する方法に限らない。例えば、ユークリッド曲率の変曲点は凹凸の少ない輪郭にはあまり含まれない。輪郭代表点抽出部１０３は、ユークリッド曲率の極大点及び極小点（輪郭の凹凸のピーク部に対応）を輪郭代表点として抽出してもよい。

　その後、輪郭代表点抽出部１０３は、抽出した輪郭代表点群の、１又は複数の幾何パラメータを特定する。

　言い換えると、輪郭代表点抽出部１０３は、抽出した輪郭代表点群に含まれる各輪郭代表点における、あらかじめ定められている、少なくとも１種類の幾何パラメータを特定する。

　幾何パラメータは、輪郭代表点の幾何的特徴を示す様々なパラメータの少なくともいずれかであればよい。輪郭代表点抽出部１０３は、例えば、抽出した輪郭代表点群の、例えば次に示す幾何パラメータを特定する。以下に示す幾何パラメータを使用して、後述する類似性の判定を行うことによって、良好な類似性判定結果が得られる。

　幾何パラメータの第１の例は、輪郭代表点の位置である。幾何パラメータの第２の例は、輪郭代表点における輪郭の接線又は法線等の方位である。幾何パラメータの第３の例は、輪郭代表点における輪郭の曲率である。幾何パラメータの第４の例は、輪郭代表点の周辺領域における輝度である。

　輪郭代表点抽出部１０３は、これらの４つのパラメータのうち少なくともいずれか１つを、輪郭代表点の幾何パラメータとして特定すればよい。

　幾何パラメータの種類が増えるほど、輪郭代表点抽出部１０３に後続する幾何変換パラメータ導出部１０４による、詳しくは後述される、幾何パラメータに基づく幾何変換パラメータによる幾何変換の精度が向上し得る。一方でパラメータの種類が増えるほど演算量が増加する。このため、所望の精度や演算処理量などに従って適切な幾何パラメータの種類及び幾何パラメータの数を選択することが重要である。

　幾何変換パラメータ導出部１０４は、２つの画像領域からそれぞれ抽出された２つの輪郭代表点群の一方に含まれる輪郭代表点と、他方に含まれる輪郭代表点との組み合わせについて、幾何パラメータの差異値を計算する。幾何変換パラメータ導出部１０４は、可能な全ての組み合わせについて、幾何パラメータの差異値を計算してもよい。幾何変換パラメータ導出部１０４は、計算した、幾何パラメータの差異値の分布を統計処理することによって、分布情報を導出する。幾何変換パラメータ導出部１０４は、導出した分布情報を用いて、２つの画像領域にそれぞれ含まれる輪郭代表点群の間における、幾何パラメータの代表的な差異値の組み合わせ（組合せ幾何差異値）を決定する。代表的な差異値（差異値の代表値とも表記）は、例えば、その代表的な幾何差異値によって幾何パラメータの差異値が近似される輪郭代表点の組み合わせの数の多さに基づいて決定された、差異値の近似値である。幾何変換パラメータ導出部１０４は、決定した組合せ幾何差異値を、幾何変換パラメータとして設定する。

　なお、幾何変換パラメータ導出部１０４は、輪郭代表点の可能な全ての組み合わせではなく、輪郭代表点の一部の（例えば所定数の）組み合わせに基づいて、幾何変換パラメータを導出してもよい。また、幾何変換パラメータ導出部１０４は、幾何変換パラメータとして、１つの組合せ幾何差異値ではなく、複数の組合せ幾何差異値を決定してもよい。

　以下では、幾何変換パラメータの導出プロセスの一例を説明する。以下に示す例では、照合対象が輪郭代表点群と、それぞれの輪郭代表点における３種類の幾何パラメータによって表されている。３種類の幾何パラメータは、位置、方位、及び、周辺輝度である。以下の説明では、照合が行われる２つの画像領域は、画像領域Ａ及び画像領域Ｂである。画像領域Ａにおいて抽出された輪郭代表点の個数はＣ_Ｉである。画像領域Ａにおいて抽出された輪郭代表点は、輪郭代表点Ｐ_ｉ ^Ａ（ｉ＝１…，Ｃ_Ｉ）である。画像領域Ａにおいて抽出された輪郭代表点群は、輪郭代表点群｛Ｐ_ｉ ^Ａ｝（ｉ＝１，…，Ｃ_Ｉ）である。画像領域Ｂにおいて抽出された輪郭代表点の個数はＣ_Ｊである。画像領域Ｂにおいて抽出された輪郭代表点は、輪郭代表点Ｐ_ｊ ^Ｂ（ｊ＝１，…，Ｃ_Ｊ）である。画像領域Ｂにおいて抽出された輪郭代表点群が、輪郭代表点群｛Ｐ_ｊ ^Ｂ｝（ｊ＝１，…，Ｃ_Ｊ）である。輪郭代表点Ｐ_ｉ ^Ａの位置は、（ｘ_ｉ ^Ａ，ｙ_ｉ ^Ａ）であり、方位はθ_ｉ ^Ａであり、周辺輝度はＭ_ｉ ^Ａである。輪郭代表点Ｐ_ｊ ^Ｂの位置は、（ｘ_ｊ ^Ｂ，ｙ_ｊ ^Ｂ）であり、方位はθ_ｊ ^Ｂであり、周辺輝度はＭ_ｊ ^Ｂである。方位は、例えば、画像領域においてあらかじめ定められている原点から輪郭代表点への方向の、画像領域においてあらかじめ定められている方向に対する、所定回転方向（例えば反時計回り）の角度である。周辺輝度Ｍ_ｉ ^Ａ及びＭ_ｊ ^Ｂは、Ｎ×Ｎ行列である。周辺輝度を表す行列の各要素の値は、輪郭代表点の周辺の画素の輝度を表す。より具体的には、画像領域Ａに含まれる輪郭代表点群｛Ｐ_ｉ ^Ａ｝は、輪郭代表点群｛Ｐ_ｉ ^Ａ｝に含まれるそれぞれの輪郭代表点Ｐ_ｉ ^Ａの、位置（ｘ_ｉ ^Ａ，ｙ_ｉ ^Ａ）と、方位θ_ｉ ^Ａと、周辺輝度Ｍ_ｉ ^Ａとによって表される。同様に、画像領域Ｂに含まれる輪郭代表点群｛Ｐ_ｊ ^Ｂ｝は、輪郭代表点群｛Ｐ_ｊ ^Ｂ｝に含まれるそれぞれの輪郭代表点Ｐ_ｊ ^Ｂの、位置（ｘ_ｊ ^Ｂ，ｙ_ｊ ^Ｂ）と、方位θ_ｊ ^Ｂと、周辺輝度Ｍ_ｊ ^Ｂとによって表される。

　幾何変換パラメータ導出部１０４は、輪郭代表点群｛Ｐ_ｉ ^Ａ｝と輪郭代表点群｛Ｐ_ｊ ^Ｂ｝との間の、代表的な組合せ幾何差異値を、例えば以下に示す方法に従って計算する。

　まず、方位θ_ｉ ^Ａと方位θ_ｊ ^Ｂとの差異を、ｄθ_ｋ（ｋ＝１，２，…，Ｋ）とする。すなわち、θ_ｉ ^Ａ＝θ_ｊ ^Ｂ＋ｄθ_ｋとする。さらに、ｄθ_ｋ＝２πｋ／Ｋとする。そして、幾何変換パラメータ導出部１０４は、１からＫまでのｋについてのすべてのｄθ_ｋについて、以下に示す統計処理の「投票」を実施する。

　画像Ａにおける回転中心を（ｘ_０ ^Ａ，ｙ_０ ^Ａ）とし、画像Ｂにおける回転中心を（ｘ_０ ^Ｂ，ｙ_０ ^Ｂ）とする。幾何変換パラメータ導出部１０４は、回転中心（ｘ_０ ^Ａ，ｙ_０ ^Ａ）を中心に位置（ｘ_ｉ ^Ａ，ｙ_ｉ ^Ａ）をｄθ_ｋ回転させた位置と、回転中心（ｘ_０ ^Ｂ，ｙ_０ ^Ｂ）を中心に位置（ｘ_ｊ ^Ｂ，ｙ_ｊ ^Ｂ）をｄθ_ｋ回転させた位置との位置ずれ（ｄｘ，ｄｙ）を計算する。幾何変換パラメータ導出部１０４は、すべてのｉ及びｊの組み合わせについて（ｄｘ，ｄｙ）を求め、（ｄｘ，ｄｙ）の値に関する分布（例えば度数分布）を生成する。分布は、例えば、ヒストグラムによって表される。幾何変換パラメータ導出部１０４は、いずれか一方の画像（例えば画像Ｂ）の輪郭代表点の位置を回転させてもよい。

　幾何変換パラメータ導出部１０４は、例えば、ｉとｊとの組み合わせの各々について、下記の式（２）によって表される（ｄｘ，ｄｙ）を算出してもよい。そして、幾何変換パラメータ導出部１０４は、算出した（ｄｘ，ｄｙ）によって表されるパラメータ間の差異値の分布を、二次元のヒストグラムとして生成してもよい。なお、回転中心の位置（例えば式（２）における回転中心（ｘ_０ ^Ｂ，ｙ_０ ^Ｂ））は、輪郭代表点群の位置（例えばそれぞれのｊについての（ｘ_ｊ ^Ｂ，ｙ_ｊ ^Ｂ））によって定まる位置（例えば重心の位置など）であればよい。

　幾何変換パラメータ導出部１０４は、基本的な「投票」によって、（ｄｘ，ｄｙ）の値の分布データを導出してもよい。すなわち、幾何変換パラメータ導出部１０４は、ひとつの位置ずれ（ｄｘ，ｄｙ）あたり「１点」を、位置ずれ（ｄｘ，ｄｙ）が含まれる区分についてカウントしてもよい。そして、幾何変換パラメータ導出部１０４は、算出された各位置ずれ（ｄｘ，ｄｙ）についての累積「点数」を分布の累積値（例えばヒストグラムによって表される度数分布の度数）として算出してもよい。区分は、例えば、２次元の座標が設定されている平面が分割された、複数の有限な領域を表す。なお、累積値（例えば度数）のカウント方法は上記手法に限定されない。カウント手法は幾何パラメータに合わせて適宜採用されればよい。

　幾何変換パラメータ導出部１０４は、さらに、いずれか一方の画像（例えば画像Ｂ）の輪郭代表点群の位置を、例えばその画像（画像Ｂ）の回転中心を通る所定の直線に関して反転させた上で、上述の分布を生成してもよい。

　幾何変換パラメータ導出部１０４は、１つの位置ずれあたり１点を累積するのではなく、周辺輝度の類似度に基づいて定まる点数を累積してもよい。幾何変換パラメータ導出部１０４は、例えば、このマトリクスＭ_ｉ ^Ａ及びＭ_ｊ ^Ｂによって表される、輪郭代表点Ｐ_ｉ ^Ａ及び輪郭代表点Ｐ_ｉ ^Ｂの周辺輝度を、上述のように方位の差異に基づいて変換したうえで、周辺輝度の類似度を算出してもよい。そして、幾何変換パラメータ導出部１０４は、算出した類似度に基づいて、カウントする点数を決定してもよい。

　換言すれば、幾何変換パラメータ導出部１０４は、いずれか一方の画像の周辺輝度を表すマトリクスの各要素を、上述のようにｄθ_ｋによって表される角度回転させたうえで、類似度を算出してもよい。そして、幾何変換パラメータ導出部１０４は、例えば、類似度が高いほど「１点」に近い値を取り、低いほど「０点」に近い値を取るように、カウントされる点数を決定してもよい。幾何変換パラメータ導出部１０４は、ｉ及びｊのそれぞれの組み合わせについて、算出された位置ずれ（ｄｘ，ｄｙ）あたり、決定した点数をカウントしてもよい。

　幾何変換パラメータ導出部１０４は、すべてのｋ（すなわち、１からＫまでのｋ）について、上述の分布を生成する。幾何変換パラメータ導出部１０４は、生成した分布から、累積値（すなわち、上述の点数が累積された値）の最大値を持つ、位置及び角度の差異の組（ｄｘ，ｄｙ，ｄθ_ｋ）を、代表的な組合せ幾何差異値として抽出する。幾何変換パラメータ導出部１０４は、さらに、累積値の極大値を持つ、位置及び角度の差異の組（ｄｘ，ｄｙ，ｄθ_ｋ）を、代表的な組合せ幾何差異値として抽出してもよい。幾何変換パラメータ導出部１０４は、さらに、大きい方から所定個数の、累積値の極大値（以下、「上位値」とも表記）を持つ、位置及び角度の差異の組（ｄｘ，ｄｙ，ｄθ_ｋ）を、代表的な組合せ幾何差異値として抽出してもよい。以下では、ｄθ_ｋを「ｄθ」とも表記する。幾何変換パラメータ導出部１０４は、抽出した代表的な組合せ幾何差異値を、輪郭代表点Ｐ_ｉ ^Ａと輪郭代表点Ｐ_ｊ ^Ｂとの間の幾何変換パラメータに採用する。位置の差異、及び方位の差異ごとに集計された、周辺輝度の類似度に基づく点数の分布が可視化された、２次元ヒストグラム（分布）の一例を図５に示す。輪郭代表点Ｐ_ｉ ^Ａと輪郭代表点Ｐ_ｊ ^Ｂとの間の代表的な組合せ幾何差異値を導出する方法は、上記方法に限られない。輪郭代表点Ｐ_ｉ ^Ａと輪郭代表点Ｐ_ｊ ^Ｂとの間の代表的な組合せ幾何差異値を導出する方法として、分布情報のデータ構造に基づいて統計によって組合せ幾何差異値を導出するどのような方法が用いられてもよい。また、例えば精度を向上させるため、幾何変換パラメータ導出部１０４は、ビンのサイズ（区分範囲の大きさ）が異なる、複数の種類の分布を生成してもよい。その場合、一方の種類のヒストグラムのウィンドウサイズは、例えば、他方の種類の分布における区分範囲の大きさの半分であってもよい。なお、区分範囲は、例えば、幾何パラメータの差異値の値域に、区分範囲の境界における区分を行う（すなわち、境界において値域を区分する）ことによって生成された、値の範囲である。幾何変換パラメータ導出部１０４は、複数の種類の分布のデータ（例えばヒストグラム）を用いて、代表的な組合せ幾何差異値を導出してもよい。複数の種類の分布データによる、高精度に分布特徴を抽出する処理については、後で詳細に説明する。こうして得られた１つ又は複数の、代表的な組合せ幾何差異値（ｄｘ，ｄｙ，ｄθ）を、幾何変換パラメータとする。幾何変換パラメータは、位置及び方位の差異値によって表される幾何差異値（ｄｘ，ｄｙ，ｄθ）に限られない。幾何変換パラメータ種類及び個数は、せん断変形や射影変形など様々な幾何変換に基づいて設定されてもよい。

　輪郭照合部１０５は、幾何変換パラメータ導出部１０４が導出した幾何変換パラメータに基づいて、２つの照合対象の一方又は両方を変換したうえで、輪郭代表点群間又は輪郭点間の照合を行い、照合の結果を出力する。

　輪郭照合部１０５は、照合処理に、幾何変換パラメータ導出部１０４によって導出された、（ｄｘ，ｄｙ，ｄθ）における分布の値を用いてもよい。輪郭照合部１０５は、導出された（ｄｘ，ｄｙ，ｄθ）を用いて、一方または両方の画像の各点（輪郭代表点又は輪郭点）を幾何的に変換してもよい。そして、輪郭照合部１０５は、変換を行った後の、一方の画像の点と、他方の画像の、その点に最も近接する点との距離（幾何パラメータの差異量）を積算した累積値などを利用してもよい。幾何変換パラメータを用いることによって、比較される点同士が重なるように変換される。輪郭照合部１０５は、照合処理の結果として、輪郭代表点群又は輪郭点群と幾何変換パラメータとを用いて算出される、画像ＡおよびＢの類似度に基づいて判定した判定の結果を出力してもよい。輪郭照合部１０５は、照合処理の結果として、類似度を出力してもよい。輪郭照合部１０５は、画像中に存在する輪郭代表点群又は輪郭点群の位置を出力してもよい。輪郭照合部１０５は、例えば、類似度が、前もって定めた値より大きければ、「照合した」（マッチした）ことを表すメッセージや図形などを出力してもよい。また、輪郭照合部１０５は、例えば、画像Ａ上に、導出された幾何変換パラメータを使用して変形させた画像Ｂを重ねることによって、照合結果を視覚的に表示してもよい。

　また、輪郭照合部１０５は、輪郭点群又は輪郭代表点群によって表される照合対象（すなわち輪郭点群又は輪郭代表点群）の両方を、幾何変換パラメータに基づいて変換し、変換された２つの照合対象の照合処理を行ってもよい。輪郭照合部１０５は、例えば、一方の画像の各点（輪郭代表点或いは輪郭点）に対して、導出した幾何変換パラメータの半分の値の幾何変換パラメータによって表される変換を行い、他方の画像の各点に対して、その変換の逆変換を行ってもよい。また、輪郭照合部１０５は、一方の画像の各点に対して、組み合わせ幾何差異値に含まれる幾何パラメータのうち一部の幾何パラメータの値が、導出された値の半分の値であり、他の幾何パラメータの値が導出された値である変換を行ってもよい。その場合、輪郭照合部１０５は、他方の画像の各点に対して、上述の一部の幾何パラメータの値が、導出された値の半分の値であり、他の幾何パラメータの値がゼロである変換を行えばよい。これにより、幾何変換パラメータに採用された幾何パラメータの種類によっては、確度の向上を図れる。

　照合結果出力部１０６は、輪郭照合部１０５によって行われた照合の結果（照合結果）をモニタ等に出力する。照合結果出力部１０６は、照合結果を記録装置に出力してもよい。照合結果出力部１０６は、照合結果として、予め準備された分類の中で、識別対象が属する分類を表示してもよい。照合結果出力部１０６は、照合結果をタグ化し、タグ化された照合結果を画像に埋め込んでもよい。照合結果出力部１０６は、輪郭照合部１０５によってマッチすると判定された類似画像を紐付けてもよい。

　［動作の説明］
　次に、第１の実施形態の動作例について説明する。図６は、第１の実施形態の動作の例を示すフローチャートである。

　本実施形態では、画像情報取得部１０１は、まず、ユーザが指定する画像領域を取得する（Ｓ１００１）。画像情報取得部１０１は、照合対象の像をそれぞれ含む２つの画像領域（例えば上述の未知画像及び登録画像）を取得すればよい。画像情報取得部１０１は、ユーザが指定した画像領域に限らず、システムが自動的／半自動的に画像領域を取得してもよい。また、登録画像又は登録画像の輪郭をデータベースから取得する場合、画像情報取得部１０１は、１つの画像を取得すればよい。

　次のステップでは、輪郭抽出部１０２は、画像情報取得部１０１によって取得されたそれぞれの画像領域から輪郭を抽出する（Ｓ１００２）。

　次に、輪郭代表点抽出部１０３は、それぞれの画像領域の輪郭から輪郭代表点群を抽出する（Ｓ１００３）。

　次のステップでは、幾何変換パラメータ導出部１０４は、輪郭代表点抽出部１０３によって、一方の画像領域から抽出された輪郭代表点と他方の画像領域から抽出された輪郭点とのすべての組合せに関して、幾何的な差異値を算出する（Ｓ１００４）。さらに、幾何変換パラメータ導出部１０４は、幾何的な差異値の統計情報（例えば度数分布等の分布）を生成する。幾何変換パラメータ導出部１０４は、生成した統計情報用いて、２つの照合対象の間の、代表的な組合せ幾何差異値（代表的な幾何的な差異値）を導出し、導出した代表的な組合せ幾何差異値を幾何変換パラメータとして設定する（Ｓ１００５）。

　輪郭照合部１０５は、ステップＳ１００５までの処理において得られた情報をもとに、類似性に基づく照合を実行する（Ｓ１００６）。

　照合結果出力部１０６は、照合結果を出力する（Ｓ１００７）。

　本実施形態には、画像内に含まれる遮蔽や接触を含む物体または形状の類似性に基づく照合を精度よく実施する手法を提供できるという効果がある。

　ここで、上記アルゴリズムによる照合結果の正当性について、簡単に説明する。

　図７は、対比する画像間で対応する特徴点が良好に取得できていることを可視化した説明図である。図７では、図２Ａ及び図２Ａに示された照合対象の照合結果の例を示している。

　図７には、照合対象の画像Ａ及びＢの類似度を求める過程で、導出した幾何変換パラメータ（上記（ｄｘ，ｄｙ，ｄθ））を用いて変換された、画像Ａと画像Ｂの輪郭代表点群が、同一の座標系のもとで表示されている。図７における線は、幾何変換パラメータとして設定された組合せ幾何差異値を有する輪郭代表点ペア（画像Ａの輪郭代表点と画像Ｂの輪郭代表点との組）を示している。

　図７に示す輪郭代表点ペアを結ぶ線の連続性を参照すれば、画像Ａと画像Ｂのように、画像に含まれる物体形状に多くの遮蔽や接触があっても、本実施形態によれば良好な結果を得られることが理解できる。

　次に、幾何変換パラメータ導出部１０４が行う、複数の分布データによる高精度分布特徴抽出処理を説明する。
　図８は、照合される輪郭代表点間に存在する、幾何パラメータの差異値の分布のデータを可視的に示したヒストグラムの例である。

　図８では、横軸が区分範囲を表し、縦軸が検出された差異値の積算値を示す。横軸を区分する区分範囲の数は、演算量などを考慮して適宜定められていればよい。区分範囲の数は、輪郭代表点ペアの数及び幾何パラメータの数の少なくともいずれかに基づいて求められていてもよい。区分範囲の数は、あらかじめ定められていてもよい。

　図８に示す例は、１次元のヒストグラムである。この場合、幾何変換パラメータは、１次元のデータである。幾何変換パラメータは、幾何パラメータの数に応じた多次元マトリクスによって表わされていればよい。

　生成される、幾何パラメータの分布において、累積値が算出される区分範囲を狭くすることによって、その幾何パラメータの分解能を高めることができる（すなわち、緻密な分布を得ることができる）。例えば、方位の区分範囲を狭くすることによって、方位の分解能が向上する。ただし、区分範囲を狭くすることにより、演算量が増加する。

　高精度分布特徴抽出処理では、幾何変換パラメータ導出部１０４は、個々の幾何パラメータについて、分布の区分範囲をその区分範囲の大きさの半分スライドさせた区分範囲に基づく統計処理（分布を生成する処理）をさらに実施する。幾何変換パラメータ導出部１０４は、幾何パラメータ毎に、大きさが同一であり範囲が異なる区分範囲に基づく複数の分布（１パラメータの分布データセット）を生成する。

　上述の分布データセットの組み合わせ（以下、「分布データセット群」とも表記）のデータ構造を用いることによって、代表的な組合せ幾何差異値を導出する演算量の削減を図ることができる。

　図９は、照合される２つの輪郭代表点群の間に存在するある幾何パラメータの差異値の複数の分布データセットを視覚的に例示する説明図である。図９に示す分布データセットの左側の分布は、図８に示す分布に対応する。図９に示す分布データセットの右側の分布は、図８に示す分布の区分範囲をスライドさせた区分範囲に基づく分布である。このように、幾何パラメータの差異値の複数の分布データセットを使用することによって、幾何パラメータの分解能を上げずに確度の向上を図ることができる。

　上述の複数の分布データセットは、変更されていない横軸の区分範囲に基づいて生成した差異の分布と、横軸の区分範囲をそれらの区分範囲の大きさの半分スライドさせた区分範囲に基づいて生成した差異の分布を表すデータセットとを表す。幾何変換パラメータ導出部１０４は、この２つの分布が１つのデータセット群として使用する。２つの度数分布を用いることにより、真の差異値の抽出がより正確に行われる。例えば、真の差異値が一方の分布の区分範囲の境界付近にある場合、真の差異値に基づく累積値が分布の複数の区分範囲に分割される。しかし、この場合、他方の分布データの区分範囲のセンタ値付近が真の差異値に当たるため、真の差異値は１つの区分範囲における累積値として現れる。なお、度数分布の数は２つに限られない。例えばＮ個の度数分布を生成する場合、幾何変換パラメータ導出部１０４は、横軸の区分範囲をそれらの区分範囲の大きさの１／Ｎスライドさせた区分範囲に基づいて度数分布を生成してもよい。

　このことにより、区分範囲の大きさを小さくした（すなわち分割数を多くした）場合と同様な効果が得られる。

　その結果、以上で説明した高精度分布特徴抽出処理によって、高分解能な幾何変換パラメータを得るために必要な演算量を削減できる。

　なお、分布又は分布データセットに基づいて、幾何パラメータの差異値の候補を定める手法は、分布の横軸の区分範囲を示す値（図８に示す例では0.45、図９に示す例では0.525（(0.65-0.4)/2+0.4））をそのまま用いる方法であってもよい。幾何パラメータの差異値の候補は、検出された横軸の区分範囲に含まれる差異値の平均値であってもよい。この平均値は、重み付けられた平均値であってもよい。

　また、幾何パラメータの差異値の候補は、分布において累積値が最も大きい区分範囲に基づいて定められた候補に加えて、最も大きい累積値に対する比率が所定比率より大きい累積値のピークを有する区分範囲に基づいて定められた候補であってもよい。このように、複数の差異値の候補を求めることによって、複数のピークを有する分布において、それらのピークに基づく差異値の候補を求めることができる。幾何パラメータの差異値の候補は、所定閾値より大きい累積値のピークを持つ区分範囲に基づいて定められた候補であってもよい。幾何パラメータの差異値の候補は、大きさの順位が所定値以上である累積値のピークを持つ区分範囲に基づいて定められた候補であってもよい。抽出される差異値の候補の最小数及び最大数の少なくとも一方が設定されていてもよい。差異値の候補を抽出する条件は、以上の条件が適宜組み合わされた条件であってもよい。

　以上で説明したように、個々の幾何パラメータについて、少なくとも１つの差異値の候補が導出されてもよい。個々の幾何パラメータについて導出された１つ以上の差異値から選択された１つの差異値の、複数の幾何パラメータについての組み合わせが、代表的な組合せ幾何差異値（幾何変換パラメータ）として設定されてもよい。

　［第２の実施形態］
　次に、本発明の第２の実施形態について、図面を参照して詳細に説明する。本実施形態を採用することにより、第１の実施形態において一定の条件下で生じる問題を解消し得る。

　第１の実施形態では、同じ物体形状から抽出された輪郭代表点群であっても、２つの輪郭代表点群において、輪郭代表点が抽出される間隔に大きな差が生じることがある。例えば、画像領域全体の（例えば背景などの）ごく一部を占める物体形状の像から抽出される輪郭特徴点群と、画像領域の中心の広い領域を占める物体形状の像から抽出される輪郭特徴点群とでは、物体形状の像に含まれる画素数が大きく異なる。このような場合、同一の方法で、輪郭及び輪郭代表点群の少なくとも一方を抽出した場合、２つの輪郭代表点群の間で、輪郭特徴点が抽出される間隔に大きな差が生じやすい。
　また、同じ物体形状が撮影されている高解像度画像と低解像度画像とから抽出された輪郭代表点群でも、輪郭特徴点が抽出される間隔に差が生じることがある。

　従って、的確な幾何変換パラメータの導出や類似判定に悪い影響を与える可能性がある。

　［構成の説明］
　図１０は、第２の実施形態の画像照合システム１００Ａの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。また、第１の実施形態の画像照合システム１００の構成要素と同様な、本実施形態の画像照合システム１００Ａの構成要素についての詳細な説明は省略する。

　本実施形態では、第１の実施形態の輪郭抽出部１０２が、多重解像度輪郭抽出部１１２に置き換わっている。このほか、いくつかの構成要素は第１の実施形態とは異なる機能を有する。

　多重解像度輪郭抽出部１１２は、画像情報取得部１０１によって取得された画像から多重解像度画像を生成する。すなわち、多重解像度輪郭抽出部１１２は、画像情報取得部１０１によって取得された画像から、解像度が異なる複数の画像を生成する。そして、多重解像度輪郭抽出部１１２は、解像度毎に輪郭を抽出する。すなわち、多重解像度輪郭抽出部１１２は、解像度が異なる複数の画像の各々から輪郭を抽出する。

　このように、解像度を多重化することにより、実質的に、輪郭代表点抽出部１０３によって抽出される輪郭代表点の間隔を多重化する。

　多重解像度輪郭抽出部１１２は、２つの画像領域の解像度を参照し、多重解像度画像を生成するフィルタのサイズを揃える仕組みを持っていてもよい。この仕組みによって、結果的に同等な間隔の輪郭代表点群が抽出されやすくなる。特に、画像から選択された一部の領域において物体認識を行う場合に良好な影響がある。

　輪郭代表点抽出部１０３は、多重解像度輪郭（すなわち、解像度が異なる複数の画像から抽出された輪郭）に含まれる輪郭の各々から、輪郭代表点群を抽出する。そして、輪郭代表点抽出部１０３は、抽出されたそれぞれの輪郭代表点群を用いて照合対象を幾何パラメータによって表現する。すなわち、輪郭代表点抽出部１０３は、抽出されたそれぞれの輪郭代表点群について、輪郭代表点群に含まれる各輪郭代表点における幾何パラメータを特定する。輪郭代表点抽出部１０３は、抽出したそれぞれの輪郭代表点群を輪郭代表点情報記憶部２０２に記録する。すなわち、輪郭代表点抽出部１０３は、それぞれの輪郭投句頂点群について、幾何パラメータを輪郭代表点情報記憶部２０２に格納する。

　他の処理は、第１の実施形態における処理と同様である。

　このように画像解像度を多重化することによって、照合部１１０によって、大きな縮尺の変換がなされることが少なくなるので、照合精度に良好な影響がある。

　第１の実施形態では、ある程度同じような間隔で輪郭代表点が抽出されていない場合、照合対象によっては照合精度が劣化する可能性がある。多重輪郭を用いることによって、照合精度が劣化する可能性が低減する。

　図１１は、多重解像度輪郭抽出部１１２によって得られる多重解像度画像の一例を示す説明図である。本実施形態の画像照合システム１００Ａは、図１１に示す多重解像度画像のような、さまざまな解像度の画像を生成し、生成された画像の各々から輪郭を抽出し、抽出された輪郭から輪郭代表点群を抽出する。そのことによって、２つの画像領域における照合対象の大きさの違い及び２つの画像領域の解像度の違いが存在する場合であっても、同等の間隔で輪郭代表点が抽出されやすくなる。その結果、照合部１１０において、大きな縮尺の変換が行われることが少なくなるので、照合精度に良好な影響がある。

　多重解像度輪郭抽出部１１２は、画像情報取得部１０１によって取得された画像に対して、例えば、解像度が異なる複数のガウシアンフィルタによる畳み込みなどを行うことによって、解像度が異なる複数の画像を生成する。そして、多重解像度輪郭抽出部１１２は、解像度が異なる複数の画像から輪郭を抽出することによって、多重解像度輪郭の生成を行う。多重解像度輪郭抽出部１１２が多重解像度画像を生成する方法は、上述の、ガウシアンフィルタを使用する方法に限られない。多重解像度輪郭抽出部１１２が多重解像度画像を生成する方法として、上述の効果の少なくとも何れかが達成されるさまざまな方法のうちのいずれかが採用されることも可能である。

　例えば、多重解像度輪郭抽出部１１２は、ガウシアンフィルタ以外のフィルタを用いて、解像度の異なるフィルタによる畳み込みを行ってもよい。多重解像度輪郭抽出部１１２は、フーリエ変換を行い、フーリエ変換の結果からさまざまな範囲の周波数のデータ値を抽出し、抽出されたさまざまな範囲の周波数のデータ値に対して逆フーリエ変換を行ってもよい。また、多重解像度輪郭抽出部１１２による多重解像度画像の生成に、フーリエ記述子を採用することも可能である。

　［動作の説明］
　次に、図１２を参照し、本発明を実施するための第２の実施形態の画像処理システム１００Ａの動作について説明する。なお、図６と同様な処理は説明を省略する。

　多重解像度輪郭抽出部１１２は、Ｓ１００１において取得された画像領域の各々から、多重解像度画像を生成する（Ｓ１１０１）。ステップＳ１１０１において、多重解像度輪郭抽出部１１２は、２つの画像領域の解像度を参照してもよい。そして、多重解像度輪郭抽出部１１２は、２つの画像領域のうち、低い解像度を持つ画像領域の解像度に、高い解像度を持つ画像領域から生成される低解像度画像の解像度を合わせるように画像領域の低解像化を行うことによって、多重解像度画像を生成してもよい。このように、多重解像度輪郭抽出部１１２は、２つの画像領域から生成された多重解像度画像に、解像度が同等である画像が含まれるように、２つの画像領域を多重化してもよい。

　多重解像度輪郭抽出部１１２は、こうして得られたそれぞれの多重解像度画像から解像度毎の輪郭を抽出する（Ｓ１１０２）。

　以後、画像処理システム１００Ａは、多重解像度輪郭に対して、Ｓ１００３からＳ１００６の処理を実施し、照合結果を出力する（Ｓ１００７）。

　本実施形態によれば、画像において遮蔽や接触が存在する物体形状の、類似性に基づく照合を精度よく実施できる。加えて、本実施形態によれば、照合処理において大きな縮尺の変換がなされた場合に生じる可能性がある、照合精度の劣化を予防できる。

　［第３の実施形態］
　次に、本発明の第３の実施形態について、図面を参照して詳細に説明する。本実施形態によれば、第１及び第２の実施形態において一定の条件下で生じる問題を解消し得る。

　第２の実施形態において、画像領域に含まれる物体形状によっては、輪郭の凹凸が十分に反映されている照合処理が行われない場合がある。例えば、輪郭に小さいスケールの形が表れる物体形状の像を含む画像領域を照合する場合、結果として高い照合精度が得られにくい。輪郭上に現れる小さいスケールの形は、例えば、物体全体の大きさと比べて十分小さい大きさの凹凸、又は、物体形状全体の大きさと比べて十分小さい振幅を持つ波形などである。

　［構成の説明］
　図１３は、第３の実施形態の画像照合システム１００Ｂの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。また、本実施形態の画像照合システム１００Ｂの、第１の実施形態の画像照合システム１００又は第２の実施形態の画像照合システム１００Ａの構成と同様な部分の詳細な説明は省略する。

　本実施形態の画像照合システム１００Ｂの照合部１１０は、輪郭代表点間領域抽出部１１３をさらに含む。このほか、後述されるように、本実施形態の画像照合システム１００Ｂのいくつかの要素は、第１の実施形態の画像照合システム１００又は第２の実施形態の画像照合システム１００Ａの同じ名称が付与されている要素とは異なる機能を有する。なお、図１３に示す構成は、第２の実施形態の画像照合システム１００Ａの構成に輪郭代表点間領域抽出部１１３が加えてられている構成である。本実施形態の画像照合システム１００Ｂの構成は、第１の実施形態の画像照合システム１００の構成に、輪郭代表点間領域抽出部１１３が加えられた構成であってもよい。

　輪郭代表点間領域抽出部１１３は、輪郭代表点抽出部１０３によって輪郭から抽出された輪郭代表点と、輪郭上においてその輪郭代表点と隣接する輪郭代表点との間の輪郭の形状の特徴を表す輪郭領域情報を抽出する。以下の説明では、輪郭代表点と、輪郭上においてその輪郭代表点と隣接する輪郭代表点との間の輪郭は、「輪郭代表点間領域」又は「輪郭領域」とも表記される。輪郭代表点間領域抽出部１１３は、それぞれの輪郭のそれぞれの輪郭代表点について、輪郭領域を抽出する。輪郭代表点（対象代表点）の輪郭領域は、その対象代表点と、例えば輪郭線上におけるその対象代表点からの時計回りの距離が最も短い輪郭特徴点（以下、「第１隣接代表点」と表記）との間の輪郭であってもよい。輪郭代表点（対象代表点）の輪郭領域は、その対象代表点と、例えば輪郭線上におけるその対象代表点からの反時計回りの距離が最も短い輪郭特徴点（以下、「第２隣接代表点」と表記）との間の輪郭であってもよい。輪郭代表点（対象代表点）の輪郭領域は、その対象代表点の第１隣接代表点と第２の隣接代表点との間の輪郭であってもよい。輪郭代表点間領域抽出部１１３は、各輪郭領域において、さらに代表点（以下、「領域代表点」とも表記）を抽出してもよい。輪郭領域において代表点を抽出する方法は、上述の輪郭代表点を抽出する方法と同じでよい。ただし、輪郭代表点間領域抽出部１１３は、輪郭代表点を領域代表点として抽出しない。輪郭代表点間領域抽出部１１３は、輪郭領域において抽出された代表点における幾何パラメータを、その輪郭領域の輪郭領域情報に設定してもよい。

　本実施形態の説明では、一方の画像領域において抽出された輪郭代表点と他方の画像領域において抽出された輪郭代表点の間における幾何パラメータの差異を、「第１差異」と表記する。さらに、一方の画像領域において抽出された輪郭領域と、他方の画像領域において抽出された輪郭領域との間のパラメータの差異を、「第２差異」と表記する。第２差異は、一方の画像領域において抽出された領域代表点と、他方の画像領域において抽出された領域代表点との間の、幾何パラメータの差異であってもよい。本実施形態の幾何変換パラメータ導出部１０４は、第１差異と第２差異とに基づいて、幾何変換パラメータを導出してもよい。本実施形態の幾何変換パラメータ導出部１０４は、第１差異ではなく、第２差異に基づいて、幾何変換パラメータを導出してもよい。このことにより、小さいスケールの凹凸（例えば波形）を表面に有する物体形状のような、小さいスケールの形状の特徴を有する物体形状に対しても良好な照合処理が実施できる。

　なお、幾何変換パラメータ導出部１０４は、輪郭代表点間の幾何パラメータの差異（すなわち上述の第１差異）に基づいて幾何変換パラメータを導出し、加えて、領域代表点の間の幾何パラメータの差異（すなわち上述の第２差異）に基づいて幾何変換パラメータを導出してもよい。幾何変換パラメータ導出部１０４は、別々に導出した幾何変換パラメータの中から、最良の幾何変換パラメータとして、１つの幾何変換パラメータを所定の方法によって選択してもよい。幾何変換パラメータ導出部１０４は、別々に導出した幾何変換パラメータを、幾何変換パラメータの候補として設定してもよい。幾何変換パラメータ導出部１０４は、別々に導出した幾何変換パラメータから、複数の幾何変換パラメータの候補を選択してもよい。

　幾何変換パラメータを導出において、上述の第１差異と第２差異とに基づいて同一の分布を生成する場合、幾何変換パラメータ導出部１０４は、第１差異及び第２差異の少なくともいずれかに重みを掛けてもよい。第１差異への重みと第２差異への重みは、異なっていてもよい。重みは、あらかじめ決められていればよい。そして、幾何変換パラメータ導出部１０４は、少なくとも一方に重みが掛けられた第１差異及び第２差異に基づく累積値を、区分範囲毎に導出してもよい。幾何変換パラメータ導出部１０４は、第１差異及び第２差異に重みを掛けなくてもよい。

　以上で説明したように、幾何変換パラメータ導出部１０４は、第１差異の代わりに第２差異に基づく分布を使用して幾何変換パラメータを導出してもよい。幾何変換パラメータ導出部１０４は、第１差異及び第２差異に基づく分布を使用して幾何変換パラメータを導出してもよい。

　本実施形態の画像照合システム１００Ｂのその他の構成要素は、図１０に示す第２の実施形態の画像照合システム１００Ａの同じ番号が付与されている構成要素と同様であるので、それらの詳細な説明は省略する。

　［動作の説明］
　次に、図１４を参照して、本発明の第３の実施形態の画像照合システム１００Ｂの動作について説明する。なお、図６及び図１２に示すフローチャートにおける処理と同様な処理の説明は省略する。

　輪郭代表点間領域抽出部１１３は、Ｓ１００３までのステップにおいて抽出された輪郭代表点の間における輪郭（輪郭領域）のそれぞれについて、輪郭領域の形状の特徴を表す輪郭領域情報を抽出する（Ｓ１２０１）。この輪郭領域情報を以後の処理に利用する。上述のように、輪郭領域情報は、例えば、輪郭領域においてさらに抽出された領域代表点における幾何パラメータである。

　幾何変換パラメータ導出部１０４は、一方の画像領域から抽出された輪郭代表点と他方の画像領域から抽出された輪郭代表点の組み合わせの各々について、組み合わせに含まれる輪郭代表点の幾何パラメータの差異を算出する。
また、幾何変換パラメータ導出部１０４は、一方の画像領域において抽出された輪郭領域と他方の画像領域において抽出された輪郭領域との間のパラメータの差異を算出する。幾何変換パラメータ導出部１０４は、例えば、一方の画像領域から抽出された領域代表点と他方の画像領域から抽出された領域代表点の組み合わせの各々について、組み合わせに含まれる領域代表点の幾何パラメータの差異を算出すればよい。（Ｓ１２０４）。そして、幾何変換パラメータ導出部１０４は、幾何パラメータの差異の分布を生成し、生成された分布に基づいて、１つ以上の幾何変換パラメータを導出する（Ｓ１００５）。

　本実施形態の画像照合システム１００Ｂの動作における他のステップは、第１の実施形態の画像照合システム１００の動作又は第２の実施形態の画像照合システム１００Ａの動作における、同じ番号が付与されているステップの動作と同様である。

　本実施形態によれば、画像内に含まれる遮蔽や接触を含む物体または形状の類似性に基づく照合を精度よく実施できる。加えて、本実施形態によれば、輪郭の凹凸などの変化を反映し得る照合が行える。

　［第４の実施形態］
　次に、本発明の第４の実施形態について、図面を参照して詳細に説明する。図１５は、本実施形態の画像照合システム１００Ｃの構成の例を表すブロック図である。

　図１５を参照すると、本実施形態の画像照合システム１００Ｃは、輪郭代表点抽出部１０３と、幾何変換パラメータ導出部１０４と、輪郭照合部１０５と、を備える。輪郭代表点抽出部１０３は、第１の画像領域及び第２の画像領域において抽出された輪郭から輪郭代表点の集合を抽出し、前記輪郭代表点の各々に基づく幾何パラメータを特定する。幾何変換パラメータ導出部１０４は、組合せ幾何差異値を、幾何変換パラメータとして導出する。組み合わせ幾何差異値は、前記第１の画像領域に含まれる前記輪郭代表点及び前記第２の画像領域に含まれる前記輪郭代表点の組み合わせにおける、前記輪郭代表点の間の前記幾何パラメータの代表的な差異値である。輪郭照合部１０５は、前記第１の画像領域の、前記集合に含まれる前記輪郭代表点の前記幾何パラメータによって表される照合対象と、前記第２の画像領域の前記照合対象と、の一方又は両方を、前記幾何変換パラメータに基づいて変換する。そして、輪郭照合部１０５は、前記照合対象の間の類似度を算出し、算出された前記類似度に基づく照合を実行する。

　本実施形態によれば、画像内に含まれる遮蔽や接触を含む物体または形状の類似性に基づく照合を精度よく実施できる。

　以上説明したように、本発明の各実施形態に係る画像照合システムが動作する際に従う照合方法は、画像から一般物体認識等を可能にする低演算量で良好な照合精度を有する照合方法である。

　なお、本発明の各実施形態に係る画像照合システム（画像照合システム１００、１００Ａ、１００Ｂ及び１００Ｃ）は、コンピュータ及びそのコンピュータを制御するプログラムの組み合わせを用いて実現することができる。本発明の各実施形態に係る画像照合システムは、専用のハードウェアによって実現することができる。本発明の各実施形態に係る画像照合システムは、コンピュータ及びプログラムの組み合わせと、専用のハードウェアとを用いて実現することができる。上述の専用のハードウェアは、例えば、画像照合システムの各部として動作する、１つ以上のＬＳＩ（Large Scale Integration）等の回路であってもよい。上述のコンピュータは、ＲＡＭ（Random Access Memory）及び制御部（ＣＰＵ（Central Processing Unit））等を備える。制御部が、ＲＡＭに上述のプログラムをロードし、ロードしたプログラムを実行することによって、コンピュータを画像照合システムの各部として機能させる。また、このプログラムは、記録媒体に非一時的に記録されていてもよい。そして、その記録媒体が頒布されてもよい。その記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、コンピュータを画像照合システムとして動作させる。記録媒体は、例えば、オプティカルディスク、磁気ディスク、半導体メモリ装置、又はハードディスクなどである。

　本発明の各実施形態に係る画像照合システムは、コンピュータ又はサーバ等の情報処理装置単体によって実現できる。また、本発明の各実施形態に係る画像照合システムは、クラウドシステムやモバイル端末として実現されていてもよい。また、本発明の各実施形態に係る画像照合システムは、ネットワークを介して通信可能に接続されている、照合を行うクラウドシステムと情報処理端末との組み合わせによって実現されていてもよい。

　言い換えると、上述のプログラムは、情報処理システムを、例えば、画像情報取得部１０１、輪郭代表点抽出部１０３、幾何変換パラメータ導出部１０４、及び、照合結果出力部１０６などとして動作させる。上述のプログラムは、その情報処理システムを、さらに、多重解像度輪郭抽出部１１２、及び輪郭代表点間領域抽出部１１３などとして動作させてもよい。以上により、画像照合システムが実現される。

　以上について、さらに詳しく説明する。

　図１６は、画像照合システム１００、１００Ａ、１００Ｂ及び１００Ｃを実現することができる、コンピュータ１０００のハードウェア構成の一例を表す図である。図１６を参照すると、コンピュータ１０００は、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１００４とを含む。また、コンピュータ１０００は、記録媒体１００５にアクセスすることができる。メモリ１００２と記憶装置１００３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ハードディスクなどの記憶装置である。記録媒体１００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、可搬記録媒体である。記憶装置１００３が記録媒体１００５であってもよい。プロセッサ１００１は、メモリ１００２と、記憶装置１００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１００１は、Ｉ／Ｏインタフェース１００４を介して、例えば、照合結果出力装置など（図示されない）にアクセスすることができる。プロセッサ１００１は、記録媒体１００５にアクセスすることができる。記録媒体１００５には、コンピュータ１０００を、画像照合システム１００、１００Ａ、１００Ｂ又は１００Ｃとして動作させるプログラムが格納されている。

　プロセッサ１００１は、記録媒体１００５に格納されている、コンピュータ１０００を、画像照合システム１００、１００Ａ、１００Ｂ又は１００Ｃとして動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は、画像照合システム１００、１００Ａ、１００Ｂ又は１００Ｃとして動作する。

　下記第１グループの各部は、例えば、プログラムを記憶する記録媒体１００５からメモリ１００２に読み込まれた、各部の機能を実現することができる専用のプログラムと、そのプログラムを実行するプロセッサ１００１により実現することができる。第１グループは、画像情報取得部１０１と、輪郭抽出部１０２と、輪郭代表点抽出部１０３と、幾何変換パラメータ導出部１０４と、輪郭照合部１０５と、照合結果出力部１０６と、多重解像度輪郭抽出部１１２と、輪郭代表点間領域抽出部１１３とを含む。また、下記第２グループの各部は、コンピュータ１０００が含むメモリ１００２やハードディスク装置等の記憶装置１００３により実現することができる。第２グループは、画像情報記憶部２０１と、輪郭代表点情報記憶部２０２とを含む。第１グループに含まれる部及び第２グループに含まれる部の一部又は全部を、各部の機能を実現する専用の回路によって実現することもできる。

　以上説明したように、本発明によれば、画像内に含まれる遮蔽や接触を含む物体または形状の類似性に基づく照合を精度よく実施する画像照合システム、画像照合方法、およびプログラムを提供できる。

　また、本発明の具体的な構成は前述の実施の形態に限られるものではなく、ブロック構成の分離併合、手順の入れ替えなどの、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。

　また、上記の実施形態の一部又は全部は、以下のようにも記載されうる。尚、以下の付記は本発明をなんら限定するものではない。

　［付記１］
　画像内に含まれる物体または形状を照合する画像照合システムであって、
　画像情報内に含有される物体の輪郭を記述する輪郭代表点群を抽出して、該輪郭代表点群と幾何パラメータによって照合対象を表現する輪郭代表点抽出手段と、
　比較照合する画像或いは領域に含有された全て或いは幾つかの輪郭代表点の組合せを参照して各組合せの輪郭代表点間に存在していた代表的な幾何的なパラメータ間の差異値の組み合わせである組合せ幾何差異値を幾何変換パラメータとして導出する幾何変換パラメータ導出手段と、
　比較照合する画像或いは領域に含有された全て或いは幾つかの照合対象について、その一方又は両方を、前記幾何変換パラメータに基づいて変換したうえで、照合対象間の類似度を算定し、その類似結果に基づいた照合を実行する輪郭照合手段と、
　を備える画像照合システム。

　［付記２］
　前記幾何変換パラメータ導出手段は、
　各組合せの輪郭代表点間に存在していた幾何的なパラメータ間の差異値の分布情報を生成し、
　該分布情報において、
　分布情報内における最大値、または、
　分布情報内における極大値、または、
　分布情報内における、前もって設定した値以上の極大値、
を示した１ないし複数の幾何的なパラメータ間の差異値を、
前記代表的な組合せ幾何差異値として幾何変換パラメータに設定する
　付記１に記載の画像照合システム。

　［付記３］
　前記輪郭代表点抽出手段は、
　照合対象とする画像情報から抽出した輪郭代表点群について、
　　各輪郭代表点の位置情報、または、
　　各輪郭代表点の周辺輪郭の方位を表現する方位情報、または、
　　各輪郭代表点の周辺輪郭の曲率を表現する曲率情報、または、
　　各輪郭代表点の周辺領域の輝度情報、
　のうち何れか、または幾つか、またはすべての情報を、幾何パラメータを用いて表現する、
　付記１又は２に記載の画像照合システム。

　［付記４］
　照合対象とする画像情報から多重解像度輪郭を抽出する多重解像度輪郭抽出手段を備え、
　前記輪郭代表点抽出手段は、前記多重解像度輪郭から各々の輪郭上の輪郭代表点群を抽出すると共に、該輪郭代表点群を用いて照合対象を幾何パラメータによって表現する
　付記１乃至３のいずれか１つに記載の画像照合システム。

　［付記５］
　前記多重解像度輪郭抽出手段は、各々の解像度の輪郭を抽出する際に、照合対象とする画像情報の解像度を参照して、他方に比べ低解像である一方の解像度に合わせて他方の画像を低解像化したうえで、各々の解像度の輪郭を抽出する
　付記４に記載の画像照合システム。

　［付記６］
　前記各輪郭代表点として、
　　前記輪郭上の中間の点、或いは、
　　前記輪郭を等間隔に区切る点、或いは、
　　前記輪郭上の曲率の符号が変化する変曲点、或いは、
　　前記輪郭上の曲率が極大値に達する点、
　の何れかを用いる
　付記１乃至４のいずれか１つに記載の画像照合システム。

　［付記７］
　前記輪郭代表点抽出手段が輪郭から抽出した輪郭代表点を識別し、輪郭上の輪郭代表点間領域を、抽出元の輪郭形状を参照して、抽出元の輪郭の形状に関する情報を領域情報として抽出する輪郭代表点間領域抽出手段を備え、
　前記幾何変換パラメータ導出手段は、対比する輪郭代表点群間の個々の輪郭代表点の組み合わせ及び／又は対比する輪郭代表点間領域群の個々の領域情報の組み合わせを参照して個々の輪郭代表点間に存在したパラメータ差異を示す分布データを生成し、その分布データに現れた分布度数に基づく代表的なパラメータの組み合わせを幾何変換パラメータとして導出する
　付記１乃至６のいずれか１つに記載の画像照合システム。

　［付記８］
　前記幾何変換パラメータ導出手段は、個々の幾何的なパラメータ間の差異値の統計を分布データとして集計する際に、各々の幾何パラメータについて区分範囲の範囲値を異ならせた複数の分布データで表現するデータ構造を用いると共に、複数の異なる区分範囲で表した前記データ構造を参照して、代表的な組合せ幾何差異値を幾何変換パラメータとして導出する
　付記１乃至７のいずれか１つに記載の画像照合システム。

　［付記９］
　画像内に含まれる物体または形状を照合する際の照合対象となる画像情報を取得し、
　取得された画像情報から該画像情報内に含有される物体の輪郭を記述する輪郭代表点群を抽出して、該輪郭代表点群と幾何パラメータによって照合対象を表現し、
　比較照合する画像或いは領域に含有された全て或いは幾つかの輪郭代表点の組合せを参照して各組合せの輪郭代表点間に存在していた代表的な幾何的なパラメータ間の差異値の組み合わせである組合せ幾何差異値を幾何変換パラメータとして導出し、
　比較照合する画像或いは領域に含有された全て或いは幾つかの照合対象について、その一方又は両方を、前記幾何変換パラメータに基づいて変換したうえで、照合対象間の類似度を算定し、その類似結果に基づいた照合を実行する
　情報処理システムによる画像照合方法。

　［付記１０］
　前記情報処理システムは、
　前記幾何変換パラメータを導出する際に、
　各組合せの輪郭代表点間に存在していた幾何的なパラメータ間の差異値の分布情報を生成し、
　該分布情報において、
　　分布情報内における最大値、または、
　　分布情報内における極大値、または、
　　分布情報内における、前もって設定した値以上の極大値、
　を示した１ないし複数の幾何的なパラメータ間の差異値を、
　前記代表的な組合せ幾何差異値として前記幾何変換パラメータに設定する
　付記９に記載の画像照合方法。

　［付記１１］
　前記情報処理システムは、
　輪郭代表点を抽出する際に、
　照合対象とする画像情報から抽出した輪郭代表点群について、
　　各輪郭代表点の位置情報、または、
　　各輪郭代表点の周辺輪郭の方位を表現する方位情報、または、
　　各輪郭代表点の周辺輪郭の曲率を表現する曲率情報、または、
　　各輪郭代表点の周辺領域の輝度情報、
　のうち何れか、または幾つか、またはすべての情報を、幾何パラメータを用いて表現する、
　付記９又は１０に記載の画像照合方法。

　［付記１２］
　前記情報処理システムは、
　照合対象とする画像情報から多重解像度輪郭を抽出し、
　前記多重解像度輪郭から各々の輪郭上の輪郭代表点群を抽出すると共に、該輪郭代表点群を用いて照合対象を幾何パラメータによって表現する
　付記９乃至１１のいずれか１つに記載の画像照合方法。

　［付記１３］
　前記情報処理システムは、
　各々の解像度の輪郭を抽出する際に、照合対象とする画像情報の解像度を参照して、他方に比べ低解像である一方の解像度に合わせて他方の画像を低解像化したうえで、各々の解像度の輪郭を抽出する
　付記１２に記載の画像照合方法。

　［付記１４］
　前記情報処理システムは、
　前記各輪郭代表点として、
　　前記輪郭上の中間の点、或いは、
　　前記輪郭を等間隔に区切る点、或いは、
　　前記輪郭上の曲率の符号が変化する変曲点、或いは、
　　前記輪郭上の曲率が極大値に達する点、
　の何れかを用いる
　付記９乃至１２のいずれか１つに記載の画像照合方法。

　［付記１５］
　前記情報処理システムは、
　輪郭から抽出した輪郭代表点を識別し、輪郭上の輪郭代表点間領域を、抽出元の輪郭形状を参照して、抽出元の輪郭の形状に関する情報を領域情報として抽出し、
　前記幾何変換パラメータを導出する際に、対比する輪郭代表点群間の個々の輪郭代表点の組み合わせ及び／又は対比する輪郭代表点間領域群の個々の領域情報の組み合わせを参照して個々の輪郭代表点間に存在したパラメータ差異を示す分布データを生成し、その分布データに現れた分布度数に基づく代表的なパラメータの組み合わせを幾何変換パラメータとして導出する
　付記９乃至１４のいずれか１つに記載の画像照合方法。

　［付記１６］
　前記情報処理システムは、前記幾何変換パラメータを導出する際に、個々の幾何的なパラメータ間の差異値の統計を分布データとして集計する際に、各々の幾何パラメータについて区分範囲の範囲値を異ならせた複数の分布データで表現するデータ構造を用いると共に、複数の異なる区分範囲で表した前記データ構造を参照して、代表的な組合せ幾何差異値を幾何変換パラメータとして導出する
　付記９乃至１５のいずれか１つに記載の画像照合方法。

　［付記１７］
　画像内に含まれる物体または形状を照合する情報処理システムを、
　画像情報内に含有される物体の輪郭を記述する輪郭代表点群を抽出して、該輪郭代表点群と幾何パラメータによって照合対象を表現する輪郭代表点抽出手段と、
　比較照合する画像或いは領域に含有された全て或いは幾つかの輪郭代表点の組合せを参照して各組合せの輪郭代表点間に存在していた代表的な幾何的なパラメータ間の差異値の組み合わせである組合せ幾何差異値を幾何変換パラメータとして導出する幾何変換パラメータ導出手段と、
　比較照合する画像或いは領域に含有された全て或いは幾つかの照合対象について、その一方又は両方を、前記幾何変換パラメータに基づいて変換したうえで、照合対象間の類似度を算定し、その類似結果に基づいた照合を実行する輪郭照合手段、
　として動作させるプログラム。

　［付記１８］
　前記幾何変換パラメータ導出手段に、
　各組合せの輪郭代表点間に存在していた幾何的なパラメータ間の差異値の分布情報を生成させ、
　該分布情報において、
　　分布情報内における最大値、または、
　　分布情報内における極大値、または、
　　分布情報内における、前もって設定した値以上の極大値、
　を示した１ないし複数の幾何的なパラメータ間の差異値を、
　前記代表的な組合せ幾何差異値として幾何変換パラメータに設定させる
　付記１７記載のプログラム。

　［付記１９］
　前記輪郭代表点抽出手段に、
　照合対象とする画像情報から抽出した輪郭代表点群について、
　　各輪郭代表点の位置情報、または、
　　各輪郭代表点の周辺輪郭の方位を表現する方位情報、または、
　　各輪郭代表点の周辺輪郭の曲率を表現する曲率情報、または、
　　各輪郭代表点の周辺領域の輝度情報、
　のうち何れか、または幾つか、またはすべての情報を、幾何パラメータを用いて表現させる、
　付記１７又は１８に記載のプログラム。

　［付記２０］
　前記情報処理システムを、
　照合対象とする画像情報から多重解像度輪郭を抽出する多重解像度輪郭抽出手段をとして動作させ、
　前記輪郭代表点抽出手段に、前記多重解像度輪郭から各々の輪郭上の輪郭代表点群を抽出すると共に、該輪郭代表点群を用いて照合対象を幾何パラメータによって表現させる
　付記１７乃至１９のいずれか１つに記載のプログラム。

　［付記２１］
　前記多重解像度輪郭抽出手段に、各々の解像度の輪郭を抽出する際に、照合対象とする画像情報の解像度を参照して、他方に比べ低解像である一方の解像度に合わせて他方の画像を低解像化したうえで、各々の解像度の輪郭を抽出させる
　付記２０に記載のプログラム。

　［付記２２］
　前記各輪郭代表点として、
　　前記輪郭上の中間の点、或いは、
　　前記輪郭を等間隔に区切る点、或いは、
　　前記輪郭上の曲率の符号が変化する変曲点、或いは、
　　前記輪郭上の曲率が極大値に達する点、
　の何れかを用いさせる
　付記１７乃至２０のいずれか１つに記載のプログラム。

　［付記２３］
　前記情報処理システムを、
　前記輪郭代表点抽出手段で輪郭から抽出した輪郭代表点を識別し、輪郭上の輪郭代表点間領域を、抽出元の輪郭形状を参照して、抽出元の輪郭の形状に関する情報を領域情報として抽出する輪郭代表点間領域抽出手段として動作させ、
　前記幾何変換パラメータ導出手段に、対比する輪郭代表点群間の個々の輪郭代表点の組み合わせ及び／又は対比する輪郭代表点間領域群の個々の領域情報の組み合わせを参照して個々の輪郭代表点間に存在したパラメータ差異を示す分布データを生成し、その分布データに現れた分布度数に基づく代表的なパラメータの組み合わせを幾何変換パラメータとして導出させる
　付記１７乃至２２のいずれか１つに記載のプログラム。

　［付記２４］
　前記幾何変換パラメータ導出手段に、個々の幾何的なパラメータ間の差異値の統計を分布データとして集計する際に、各々の幾何パラメータについて区分範囲の範囲値を異ならせた複数の分布データで表現するデータ構造を用いると共に、複数の異なる区分範囲で表した前記データ構造を参照して、代表的な組合せ幾何差異値を幾何変換パラメータとして導出させる
　付記１７乃至２３のいずれか１つに記載のプログラム。

　［付記２５］
　付記１７乃至２４のいずれか１つに記載のプログラムを記憶するコンピュータ読み取り可能な記録媒体。

　この出願は、２０１４年５月１９日に出願された日本出願特願２０１４－１０３０６５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　本発明は、一般的な画像や動画内での物体の認識において、所望の画像の検索や、画像の分類といった用途に適用可能である。本発明は、特に、類似するが異なる画像の検索や分類といった用途に適用可能である。

　１０　　制御部
　２０　　メモリ
　１００　　画像照合システム
　１０１　　画像情報取得部
　１０２　　輪郭抽出部
　１０３　　輪郭代表点抽出部
　１０４　　幾何変換パラメータ導出部
　１０５　　輪郭照合部
　１０６　　照合結果出力部
　１１０　　照合部
　１１２　　多重解像度輪郭抽出部
　１１３　　輪郭代表点間領域抽出部
　２０１　　画像情報記憶部
　２０２　　輪郭代表点情報記憶部
　１０００　　コンピュータ
　１００１　　プロセッサ
　１００２　　メモリ
　１００３　　記憶装置
　１００４　　Ｉ／Ｏインタフェース
　１００５　　記録媒体

Claims

　第１の画像領域及び第２の画像領域において抽出された輪郭から輪郭代表点の集合を抽出し、前記輪郭代表点の各々に基づく幾何パラメータを特定する輪郭代表点抽出手段と、
　前記第１の画像領域に含まれる前記輪郭代表点及び前記第２の画像領域に含まれる前記輪郭代表点の組み合わせにおける、前記輪郭代表点の間の前記幾何パラメータの差異値の代表値である組合せ幾何差異値を、幾何変換パラメータとして導出する幾何変換パラメータ導出手段と、
　前記第１の画像領域の、前記集合に含まれる前記輪郭代表点の前記幾何パラメータによって表される照合対象と、前記第２の画像領域の前記照合対象と、の一方又は両方を、前記幾何変換パラメータに基づいて変換したうえで、前記照合対象の間の類似度を算出し、算出された前記類似度に基づく照合を実行する輪郭照合手段と、
　を備える画像照合システム。
　前記幾何変換パラメータ導出手段は、前記組合せに含まれる前記輪郭代表点の間の前記幾何パラメータの差異値の頻度の分布を生成し、当該分布における前記頻度の最大値、極大値、又は、所定値以上の極大値における前記幾何パラメータの差異値を、前記組合せ幾何差異値として幾何変換パラメータに設定する
　請求項１に記載の画像照合システム。
　前記輪郭代表点に基づく前記幾何パラメータは、前記輪郭代表点の位置、前記輪郭代表点の位置における前記輪郭の方位、前記輪郭代表点の位置における前記輪郭の曲率、及び、前記輪郭代表点の周辺領域における輝度情報の少なくともいずれかである
　請求項１又は２に記載の画像照合システム。
　前記第１の画像領域及び第２の画像領域から、異なる複数の解像度における輪郭の集合である多重解像度輪郭を抽出する多重解像度輪郭抽出手段を備え、
　前記輪郭代表点抽出手段は、前記多重解像度輪郭に含まれる前記輪郭の各々から前記輪郭代表点の集合を抽出する
　請求項１から３の何れか一項に記載の画像照合システム。
　前記多重解像度輪郭抽出手段は、前記第１の画像領域と前記第２の画像領域のうち、解像度が高い画像領域である高解像度画像領域を、解像度が低い画像領域である低解像度画像領域の解像度に変換後の解像度が合うように変換することによって生成された画像領域を含む、異なる複数の解像度を持つ画像領域の各々から、前記輪郭を抽出することによって、前記多重解像度輪郭を抽出する
　請求項４に記載の画像照合システム。
　前記各輪郭代表点は、前記輪郭を等間隔に区切る点、前記輪郭が等間隔に区切られた区間の中間の点、前記輪郭の曲率の符号が変化する変曲点、又は、前記輪郭の曲率が極大値である点である
　請求項１から４の何れか一項に記載の画像照合システム。
　前記輪郭代表点と、前記輪郭上で前記輪郭代表点に隣接する前記輪郭代表点との間の前記輪郭の形状の特徴を、輪郭領域情報として抽出する輪郭代表点間領域抽出手段を備え、
　前記第１の画像領域に含まれる前記輪郭代表点及び前記第２の画像領域に含まれる前記輪郭代表点の組み合わせにおける、前記輪郭代表点の間の前記幾何パラメータの差異値と、前記第１の画像領域に含まれる前記輪郭領域及び前記第２の画像領域に含まれる前記輪郭領域の組み合わせにおける、前記輪郭領域の間の前記幾何パラメータの差異値と、の少なくともいずれかの頻度の分布を生成し、生成した前記分布に基づいて、前記組合せ幾何差異値を、前記幾何変換パラメータとして導出する
　請求項１から６の何れか一項に記載の画像照合システム。
　前記幾何変換パラメータ導出手段は、前記幾何パラメータの差異値の値域に、境界における区分を行うことによって生成された、区分範囲の各々に含まれる前記幾何パラメータの差異値の個数に基づく累積値によって表される前記分布を、異なる複数の前記区分毎に生成し、生成された前記分布に基づいて、幾何変換パラメータを導出する
　請求項１ないし７の何れか一項に記載の画像照合システム。
　第１の画像領域及び第２の画像領域において抽出された輪郭から輪郭代表点の集合を抽出し、前記輪郭代表点の各々に基づく幾何パラメータを特定し、
　前記第１の画像領域に含まれる前記輪郭代表点及び前記第２の画像領域に含まれる前記輪郭代表点の組み合わせにおける、前記輪郭代表点の間の前記幾何パラメータの代表的な差異値である組合せ幾何差異値を、幾何変換パラメータとして導出し、
　前記第１の画像領域の、前記集合に含まれる前記輪郭代表点の前記幾何パラメータによって表される照合対象と、前記第２の画像領域の前記照合対象と、の一方又は両方を、前記幾何変換パラメータに基づいて変換したうえで、前記照合対象の間の類似度を算出し、算出された前記類似度に基づく照合を実行する、
　画像照合方法。
　コンピュータを、
　第１の画像領域及び第２の画像領域において抽出された輪郭から輪郭代表点の集合を抽出し、前記輪郭代表点の各々に基づく幾何パラメータを特定する輪郭代表点抽出手段と、
　前記第１の画像領域に含まれる前記輪郭代表点及び前記第２の画像領域に含まれる前記輪郭代表点の組み合わせにおける、前記輪郭代表点の間の前記幾何パラメータの代表的な差異値である組合せ幾何差異値を、幾何変換パラメータとして導出する幾何変換パラメータ導出手段と、
　前記第１の画像領域の、前記集合に含まれる前記輪郭代表点の前記幾何パラメータによって表される照合対象と、前記第２の画像領域の前記照合対象と、の一方又は両方を、前記幾何変換パラメータに基づいて変換したうえで、前記照合対象の間の類似度を算出し、算出された前記類似度に基づく照合を実行する輪郭照合手段と
　して動作させるプログラムを記憶するコンピュータ読み取り可能な記録媒体。