JP6459981B2 - 画像処理装置、被写体識別方法及びプログラム - Google Patents

画像処理装置、被写体識別方法及びプログラム Download PDF

Info

Publication number
JP6459981B2
JP6459981B2 JP2015554986A JP2015554986A JP6459981B2 JP 6459981 B2 JP6459981 B2 JP 6459981B2 JP 2015554986 A JP2015554986 A JP 2015554986A JP 2015554986 A JP2015554986 A JP 2015554986A JP 6459981 B2 JP6459981 B2 JP 6459981B2
Authority
JP
Japan
Prior art keywords
corresponding point
feature
point
information group
relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015554986A
Other languages
English (en)
Other versions
JPWO2015099016A1 (ja
Inventor
蕊寒 包
蕊寒 包
恭太 比嘉
恭太 比嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2015099016A1 publication Critical patent/JPWO2015099016A1/ja
Application granted granted Critical
Publication of JP6459981B2 publication Critical patent/JP6459981B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods

Description

（関連出願についての記載）
本発明は、日本国特許出願：特願２０１３−２６８８５２号（２０１３年１２月２６日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、画像処理装置、被写体識別方法及びプログラムに関する。
画像内の被写体（例えば、商品、建物、印刷物など）を、撮影サイズや角度の変化、オクルージョンに対して頑健に識別するために、画像内の特徴的な点（以下、特徴点と呼ぶ）を検出し、各特徴点周辺の局所領域の特徴量（以下、局所特徴量と呼ぶ）を抽出する方式が提案されている。その代表的な方式として、特許文献１には、SIFT（Scale Invariant Feature Transform）特徴量を用いて、被写体を識別する装置が開示されている。また、特許文献２において、特徴量を用いて、検索対象画像のインデクスを作成し、作成したインデクスに基づいて、画像の類似度を算出する技術が開示されている。
米国特許第６７１１２９３号明細書 特開２００４−３４１９４０号公報
なお、上記先行技術文献の開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明の観点からなされたものである。
特許文献１に記載された技術においては、第１の局所特徴量群の各局所特徴量と、第２の局所特徴量群の各局所特徴量との間の距離に基づいて、画像間で同一または類似の被写体を識別する。そのため、ノイズ等の影響を受けて、特徴点の対応付けに誤りが生じた場合、特許文献１に記載された技術においては、対応付けに誤りが生じるほどに、識別精度が低下する。また、特許文献２においても、特徴点の対応付けに誤りが生じるほど、算出する類似度の精度が低下する。
そこで、本発明は、特徴点の対応付けに誤りがある場合であっても、被写体の識別精度の低下を抑制することに寄与する画像処理装置、被写体識別方法及びプログラムを提供することを目的とする。
本発明の第１の視点によれば、下記の機能を備える画像処理装置が提供される。画像処理装置は、第１の画像から、１又は２以上の第１の特徴点を検出し、検出した前記各第１の特徴点を含む所定の範囲の領域から、前記各第１の特徴点に対応する、第１の局所特徴量情報群を算出する、第１の局所特徴量生成部を備える。
さらに、前記第１の特徴点と、第２の画像から算出した第２の局所特徴量情報群に含まれる第２の特徴点との対応関係を、対応点情報として算出する対応点算出が備えられる。
さらに、前記第１の局所特徴量情報群と、前記第２の局所特徴量情報群と、前記対応点情報とに基づいて、前記第１の特徴点のスケールと、前記第２の特徴点のスケールとの相対関係を、対応点相対スケール情報として算出する対応点相対スケール算出部が備えられる。
さらに、前記対応点相対スケール情報に基づいて、前記第１の特徴点、前記第２の特徴点の少なくとも一の特徴点をクラスタリングし、クラスタリング結果に基づいて、少なくとも一の特徴点を選定する対応点選定部が備えられる。
さらに、前記対応点選定部が選定した特徴点に基づいて、クラスタ毎に、前記第１の画像と、前記第２の画像を比較し、被写体の同一性を判定する判定部が備えられる。
本発明の第２の視点によれば、被写体識別方法が提供される。該方法は、
第１の画像から、１又は２以上の第１の特徴点を検出し、検出した前記各第１の特徴点を含む所定の範囲の領域から、前記各第１の特徴点に対応する、第１の局所特徴量情報群を算出する工程と、
前記第１の特徴点と、第２の画像から算出した第２の局所特徴量情報群に含まれる第２の特徴点との対応関係を、対応点情報として算出する工程と、
前記第１の局所特徴量情報群と、前記第２の局所特徴量情報群と、前記対応点情報とに基づいて、前記第１の特徴点のスケールと、前記第２の特徴点のスケールとの相対関係を、対応点相対スケール情報として算出する工程と、を含む。
さらに、該方法は、前記対応点相対スケール情報に基づいて、前記第１の特徴点、前記第２の特徴点の少なくとも一の特徴点をクラスタリングし、クラスタリング結果に基づいて、少なくとも一の特徴点を選定する工程と、
選定された特徴点に基づいて、クラスタ毎に、前記第１の画像と、前記第２の画像を比較し、被写体の同一性を判定する工程と、
を含む。
なお、本方法は、第１の画像の被写体と、第２の画像の被写体の同一性を判定する画像処理装置という、特定の機械に結び付けられている。
本発明の第３の視点によれば、画像処理装置を制御するコンピュータに実行させるプログラムが提供される。該プログラムは、
第１の画像から、１又は２以上の第１の特徴点を検出し、検出した前記各第１の特徴点を含む所定の範囲の領域から、前記各第１の特徴点に対応する、第１の局所特徴量情報群を算出する処理と、
前記第１の特徴点と、第２の画像から算出した第２の局所特徴量情報群に含まれる第２の特徴点との対応関係を、対応点情報として算出する工程と、
前記第１の局所特徴量情報群と、前記第２の局所特徴量情報群と、前記対応点情報とに基づいて、前記第１の特徴点のスケールと、前記第２の特徴点のスケールとの相対関係を、対応点相対スケール情報として算出する処理と、を含む。
さらに、該プログラムは、前記対応点相対スケール情報に基づいて、前記第１の特徴点、前記第２の特徴点の少なくとも一の特徴点をクラスタリングし、クラスタリング結果に基づいて、少なくとも一の特徴点を選定する処理と、
選定された特徴点に基づいて、クラスタ毎に、前記第１の画像と、前記第２の画像を比較し、被写体の同一性を判定する処理と、を含む。
なお、本プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
本発明の各視点によれば、特徴点の対応付けに誤りがある場合であっても、被写体の識別精度の低下を抑制することに寄与する画像処理装置、被写体識別方法及びプログラムが提供される。
従来の画像処理装置の構成を示すブロック図である。 実施形態１の構成を示すブロック図である。 実施形態１の動作を示すフローチャートである。 実施形態２の構成を示すブロック図である。 実施形態２の動作を示すフローチャートである。 実施形態３の構成を示すブロック図である。 実施形態３の動作を示すフローチャートである。 変形例１の構成を示すブロック図である。 変形例１の動作を示すフローチャートである。 実施形態４の構成を示すブロック図である。 実施形態４の動作を示すフローチャートである。 変形例２の構成を示すブロック図である。 変形例２の動作を示すフローチャートである。 実施形態５の構成を示すブロック図である。 実施形態５の動作を示すフローチャートである。 変形例３の構成を示すブロック図である。 変形例３の動作を示すフローチャートである。 変形例４の構成を示すブロック図である。 変形例４の動作を示すフローチャートである。 変形例５の構成を示すブロック図である。 変形例５の動作を示すフローチャートである。 実施形態６の構成を示すブロック図である。 実施形態６の動作を示すフローチャートである。 変形例６の構成を示すブロック図である。 変形例６の動作を示すフローチャートである。 変形例７の構成を示すブロック図である。 変形例７の動作を示すフローチャートである。 変形例８の構成を示すブロック図である。 変形例８の動作を示すフローチャートである。 変形例９の構成を示すブロック図である。 変形例９の動作を示すフローチャートである。 変形例１０の構成を示すブロック図である。 変形例１０の動作を示すフローチャートである。 変形例１１の構成を示すブロック図である。 変形例１１の動作を示すフローチャートである。 変形例１２の構成を示すブロック図である。 変形例１２の動作を示すフローチャートである。 変形例１３の構成を示すブロック図である。 変形例１３の動作を示すフローチャートである。 変形例１４の構成を示すブロック図である。 変形例１４の動作を示すフローチャートである。 実施形態７の構成を示すブロック図である。 実施形態７の動作を示すフローチャートである。 変形例１５の構成を示すブロック図である。 変形例１５の動作を示すフローチャートである。 変形例１６の構成を示すブロック図である。 変形例１６の動作を示すフローチャートである。 変形例１７の構成を示すブロック図である。 変形例１７の動作を示すフローチャートである。 変形例１８の構成を示すブロック図である。 変形例１８の動作を示すフローチャートである。 変形例１９の構成を示すブロック図である。 変形例１９の動作を示すフローチャートである。 変形例２０の構成を示すブロック図である。 変形例２０の動作を示すフローチャートである。 変形例２１の構成を示すブロック図である。 変形例２１の動作を示すフローチャートである。 変形例２２の構成を示すブロック図である。 変形例２２の動作を示すフローチャートである。 変形例２３の構成を示すブロック図である。 変形例２３の動作を示すフローチャートである。 特徴点のスケール値の一例を示す図である。 画像の特徴点の正規化スケール値の分布の一例を示す図である。 特徴点の方向の一例を示す図である。
初めに、図１を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。
上述の通り、特徴点の対応付けに誤りがある場合であっても、被写体の識別精度の低下を抑制することに寄与する画像処理装置が望まれる。
そこで、一例として、図１に示す画像処理装置１０を提供する。画像処理装置１０は、第１の局所特徴量生成部１１と、対応点算出部１３と、対応点相対スケール算出部１４と、対応点選定部１５と、判定部１６と、を含んで構成される。
第１の局所特徴量生成部１１は、第１の画像から、１又は２以上の第１の特徴点を検出する。そして、第１の局所特徴量生成部１１は、検出した前記各第１の特徴点を含む所定の範囲の領域から、各第１の特徴点に対応する、第１の局所特徴量情報群を算出する。
対応点算出部１３は、第１の特徴点と、第２の画像から算出した第２の局所特徴量情報群に含まれる第２の特徴点との対応関係を、対応点情報として算出する。ここで、対応点情報とは、第１の画像の任意の特徴点が第２の画像のどの特徴点に対応するかを示す情報である。
対応点相対スケール算出部１４は、第１の局所特徴量情報群と、第２の局所特徴量情報群と、対応点情報とに基づいて、第１の特徴点のスケールと、第２の特徴点のスケールとの相対関係を、対応点相対スケール情報として算出する。
対応点選定部１５は、対応点相対スケール情報に基づいて、第１の特徴点、第２の特徴点の少なくとも一の特徴点をクラスタリングし、クラスタリング結果に基づいて、少なくとも一の特徴点を選定する。そのため、対応点選定部１５は、特徴点のスケールの相対関係に基づいて、所定の条件を満たすクラスタにクラスタリングされた特徴点を選定する。そのため、対応点算出部１３が、誤った対応関係を算出した場合であっても、対応点選定部１５は、誤った対応関係の特徴点を排除できる。
そして、判定部１６は、対応点選定部１５が選定した特徴点に基づいて、クラスタ毎に、前記第１の画像と、前記第２の画像を比較する。
以上の通り、画像処理装置１０は、誤った対応関係の特徴点を排除できるため、誤った特徴点に基づいて、被写体を識別することを防止できる。従って、画像処理装置１０は、特徴点の対応付けに誤りがある場合であっても、被写体の識別精度の低下を抑制することに寄与する。
［第１の実施形態］
第１の実施形態について、図面を用いて詳細に説明する。
（第１の実施形態の構成）
図２を参照して、実施形態１を説明する。図２は、実施形態１に係る画像処理装置２０の機能構成を示すブロック図である。図２に示すように、画像処理装置２０は、第１の局所特徴量生成部２０１と、第２の局所特徴量生成部２０２と、対応点算出部２０３と、対応点相対スケール算出部２０４と、対応点選定部２０５と、判定部２０６を含んで構成される。ここで、図２は、画像処理装置２０を、図２に示す構成に限定する趣旨ではない。なお、以下の説明では、第１の画像は同一または類似の被写体を一つ以上含み、第２の画像には一の被写体を含むとして説明する。ただし、これは、第１の画像、及び第２の画像を、この条件に限定する趣旨ではない。
（特徴量生成）
第１の局所特徴量生成部２０１は、第１の画像から、所定の条件を満たす数の特徴点を検出し、検出した各特徴点を含む周辺領域（近傍領域）の局所特徴量を生成する。例えば、特徴点の数が所定の閾値を超えることを、上記の所定の条件としても良い。
具体的には、第１の局所特徴量生成部２０１は、検出した各特徴点のスケール値で構成される第１のスケール情報群を、対応点相対スケール算出部２０４に出力する。そして、第１の局所特徴量生成部２０１は、検出した各特徴点の座標値から局所特徴量を生成する。そして、生成した局所特徴量で構成される第１の局所特徴量群を対応点算出部２０３に出力する。
特徴点のスケール値は、例えば、各特徴点に付随する大きさの情報であり、特徴点を含む周辺領域の画像からその値が算出される。特徴点のスケール値は、例えば、特徴点を含む周辺領域が拡大または縮小すると、それに応じて値が変化する性質を有することが望ましい。周辺領域の拡大または縮小に応じた変化は、例えば、線形的に変化しても良いし、非線形的に変化しても良いし、対数的に変化しても良いし、指数的に変化しても良い。
第２の局所特徴量生成部２０２は、第１の局所特徴量生成部２０１と同様の動作により、第２の画像の各特徴点の局所特徴量で構成される第２の局所特徴量群と、第２の画像の各特徴点のスケール値で構成される第２のスケール情報群とを生成する。そして、第２の局所特徴量生成部２０２は、第２の局所特徴量群を対応点算出部２０３に出力する。さらに、第２の局所特徴量生成部２０２は、第２のスケール情報群を対応点相対スケール算出部２０４に出力する。全ての実施形態において、例えば、第２の画像の各特徴点の局所特徴量を事前に生成してデータベースなどに記憶しておき、第２の局所特徴量生成部２０２の替わりに、事前に作成したデータベースに記憶した局所特徴量群を用いてもよい。
（対応点算出）
対応点算出部２０３は、第１の局所特徴量生成部２０１が出力した第１の局所特徴量情報群と、第２の局所特徴量生成部２０２が出力した第２の局所特徴量群とを用いて、所定の条件を満たす数の対応点情報を生成する。例えば、対応点情報の数が所定の閾値を超えることを、上記の所定の条件としても良い。
具体的には、対応点算出部２０３は、第１の画像の任意の特徴点と、第２の画像の任意の特徴点との間の局所特徴量間距離を算出する。そして、対応点算出部２０３は、算出した局所特徴量間距離に基づき、第１の局所特徴量情報群と、第２の局所特徴量情報群との対応関係を、所定の条件を満たす数、算出する。
特徴点間の距離には、例えば、ユークリッド距離を用いてもよい。また、距離値が最も小さい特徴点を、対応する特徴点として算出してもよい。また、対応関係が存在しない特徴点があってもよい。例えば、最も小さい距離値と２番目に小さい距離値との比率を評価尺度として、対応関係の有無を判定してもよい。なお、特徴点検出の手法は、適宜決定することが好ましく、上記に例示する手法に限定する趣旨ではない。
そして、対応点算出部２０３は、算出した対応関係で構成される対応点情報群を対応点相対スケール算出部２０４に出力する。
（対応点相対スケール算出）
対応点相対スケール算出部２０４は、対応点算出部２０３が出力した対応点情報群と、第１の局所特徴量生成部２０１が出力した第１のスケール情報群と、第２の局所特徴量生成部２０２が出力した第２のスケール情報群を用いて、画像間で対応付けられた特徴点（以下、対応点と言う）のスケール値の相対関係を、所定の条件を満たす数を超えて算出する。そして、対応点相対スケール算出部２０４は、算出された相対関係で構成される対応点相対スケール情報群を、対応点選定部２０５に出力する。
具体的には、対応点相対スケールは、例えば、対応点のスケール値の比率としてもよい。スケール値の比率の算出には、例えば、数１の式を用いても良い。
［数１］
Figure 0006459981
ここで、σは対応点のスケール比率を、s(q)は第１の画像から検出したq番目の特徴点のスケール値を、s(p)は第２の画像から検出したp番目の特徴点のスケール値を示す。また、例えば、特徴点のスケール値の対数値を用いてスケール比率を算出しても良い。
また、特徴点から対数関数の性質をもつスケール値を抽出した場合、対応点相対スケールは、例えば、対応点のスケール値の差分値としても良い。スケール値の差分値の算出には、例えば、数２の式を用いても良い。
［数２］
Figure 0006459981
ここで、σ’は対応点のスケール値の差分値を、s’(q)は第１の画像から検出したq番目の特徴点のスケール値を、s’(p)は第２の画像から検出したp番目の特徴点のスケール値を示す。
ここで、図６２を参照して特徴点のスケール値の特性について説明する。図６２は画像１０００１の被写体が２倍のサイズで画像１０００２に写っている一例であり、矢印の大きさはスケール値の大きさを示す。特徴点のスケール値は、画像内の被写体サイズに応じて相対的に変化するという性質を持つ。すなわち、図６２に示すように、特徴点のスケール値は、例えば、画像内の被写体サイズが２倍になると２倍になるという性質を持つ。また、特徴点のスケール値は、例えば、被写体サイズが０．５倍になると０．５倍になるという性質を持つ。そのため、数１及び数２で算出された対応点相対スケールは、第１の画像の特徴点と第２の画像の特徴点の対応付けが正しい場合、被写体ごとに一定になるという特性を持つ。
（対応点選定）
対応点選定部２０５は、対応点相対スケール算出部２０４が出力した対応点相対スケール情報群を用いて、第１の画像に含まれる特徴点をクラスタリングする。そして、対応点選定部２０５は、クラスタリング結果に基づいて特徴点を選定する。具体的には、例えば、対応点選定部２０５は、任意のクラスタに含まれる対応点の数が所定の閾値以上ならば、当該クラスタに含まれる特徴点を選定するようにしても良い。
そして、対応点選定部２０５は、選定された特徴点の対応点情報群と、クラスタ情報とを含んで構成される選定情報群を、判定部２０６に出力する。
以下、特徴点のクラスタリングについて、詳細に説明する。
特徴点のクラスタリングには、例えば、第１の画像に含まれる、画像間で対応付けられた任意の特徴点の対応点相対スケールと、各クラスタ重心との距離を算出すると共に、算出した距離が最も小さくなるクラスタに当該特徴点を分類するという方法を用いてもよい。この際、任意のクラスタ内に対応点相対スケールの類似度が、所定の閾値未満の特徴点が含まれる場合には、例えば、クラスタ重心までの距離が長い対応点相対スケールを持つ特徴点を、当該クラスタから除外して別のクラスタに分類すればよい。ここで、クラスタ重心と対応点相対スケールの距離には、例えば、ユークリッド距離を用いても良いし、マハラノビス距離を用いても良いし、市街地距離を用いても良い。
また、特徴点のクラスタリングには、例えば、全ての値の間の距離を算出し、算出した距離をグラフカットによってクラスタリングするという方法を用いても良い。この場合、例えば、第１の画像に含まれる、画像間で対応付けられた各特徴点をノードとして、特徴点間の距離をノード間のエッジとしたグラフを生成する。グラフカットには、例えば、公知の手法であるノーマライズドカットを用いてもよいし、Markov Clusterアルゴリズムを用いてもよい。なお、ノーマラズドカット、Markov Clusterアルゴリズムの詳細については、ここでの説明を省略する。
また、特徴点のクラスタリングには、例えば、公知の手法であるk-means法を用いてもよいし、LBG（Linde-Buzo-Gray）法でもよいし、LBQ（Learning Bayesian Quantization）法を用いてもよい。なお、k-means法、LBG法、LBQ法の詳細については、ここでの説明を省略する。
また、特徴点のクラスタリングには、例えば、任意のサイズの分析領域ごとに当該領域に含まれる特徴点を計数し、計数値が所定の閾値以上であれば、当該領域に含まれる特徴点を同一のクラスタに分類するという方法を用いてもよい。
分析領域の生成には、例えば、第１の画像を任意のサイズのグリッドに分割し、各グリッドを分析領域とするという方法を用いてもよい。また、分析領域は、例えば、重複していてもよいし、重複していなくてもよい。また、分析領域のサイズは、例えば、固定でもよいし、可変でもよい。可変の場合は、例えば、分析領域の中心と画像中心との間の距離が近いほど分析領域サイズを小さくし、分析領域の中心と画像中心との間の距離が遠いほど分析領域サイズを大きくするという方法を用いてもよい。
特徴点のクラスタリングには、例えば、計数値が所定の閾値以上の分析領域に含まれる特徴点を同一のクラスタに分類するという方法を用いてもよいし、当該領域とその周囲の分析領域に含まれる特徴点を、同一のクラスタにクラスタリングという方法を用いてもよい。また、計数値が所定の閾値以上の分析領域が隣接、あるいは重複している場合は、例えば、これらの分析領域に含まれる特徴点を同一のクラスタにクラスタリングするという方法を用いてもよいし、異なるクラスタに分類するというクラスタリングを用いてもよい。
このように特徴点をクラスタリングすることで、Markov Clusterアルゴリズム、k-means法、LBG法等に比べ、高速に処理できる。
（判定）
判定部２０６は、対応点選定部２０５が出力した選定情報群を用いて、クラスタ単位で、画像間で同一性または類似の被写体を判定する。例えば、選定された特徴点の数が、ある閾値を超える場合に、対象クラスタと第２の画像とが、同一（または類似）の被写体であると判定しても良い。そして、判定部２０６は、その判定結果を出力する。
以下、判定処理に詳細に説明する。
例えば、判定部２０６は、選定された特徴点の数が、ある閾値を超える場合に、対象クラスタと第２の画像とが、同一（または類似）の被写体であると判定しても良い。
また、判定部２０６は、求められた画像間の特徴点の対応関係を用いて幾何学的検証を行って、同一性または類似性を判定してもよい。例えば、対応点の座標値の幾何学的関係性を射影変換（ホモグラフィ）と仮定したうえで、ロバスト推定手法を用いて射影変換のパラメータを推定し、推定パラメータに対する入力された対応関係の外れ値を求めることで、外れ値の数に基づいて同一性または類似性を判定してもよい。ロバスト推定手法には、例えば、RANSAC（RANdom Sample Consensus）や最小二乗法等を用いても良く、ロバスト推定手法は詳細は限定されない。
また、判定部２０６は、例えば、対象クラスタに属する二つの対応点から成る対応点ペアの座標値から回転やスケール変化を推定し、対応点相対スケールと対応点の方向情報の差分値に基づいて回転やスケール変化を推定し、各々の方法で算出した回転やスケール変化を比較し、それらの類似性が十分に大きければ、対象クラスタと第２の画像とが、同一と判定しても良い。具体的には、対象クラスタから二つの対応点から成る対応点ペアを取り、対応点ペアの画像１に属する二つの特徴点を端点とする線分と、対応点ペアで画像２に属する二つの特徴点を端点とする線分と比較し、二つ線分の回転やスケールの変化を算出し、対応点相対スケールと対応点の方向情報の差分値に基づいて算出された回転やスケール変化と比較する。比較するときに、回転とスケール変化のいずれかまたは両方を使って比較しても良い。また、対応点ペアから対応点相対スケールと対応点の方向情報の差分値に基づいて算出された回転やスケールの変化値は二つ求まるため、それぞれの値を独立に比較しても良いし、いずれかの値を使って比較しても良いし、その平均値を使って比較しても良い。また、同一判定するとき、対象クラスタに属する任意の二つの対応点から成る対応点ペアに基づいて、同一判定しても良いし、対象クラスタからＮ個（Ｎ＞１）の対応点ペアを上記の方法で判定し、同一と判定される対応点ペアが一定の割合以上を存在した場合は、対象クラスタと第２の画像とが、同一と判定しても良い。また、ここでＮは、対象クラスタに属する全対応点ペアでも良いし、一部の対応点ペアでも良い。
また、判定部２０６は、例えば、対象クラスタに属する二つ以上の対応点の座標値から回転やスケール変化を推定し、対応点相対スケールと対応点の方向情報の差分値に基づいて回転やスケール変化を推定し、各々の方法で算出した回転やスケール変化を比較し、それらの類似性が十分に大きければ、対象クラスタと第２の画像とが、同一と判定しても良い。具体的には、対象クラスタからＮ個の対応点ペアを取り、各対応点ペアで画像１に属する二つの特徴点を端点とする線分と、対応点ペアで画像２に属する二つの特徴点を端点とする線分と比較し、二つ線分から線分の回転やスケールの変化を算出し、対応点相対スケールと対応点の方向情報の差分値に基づいて算出された回転やスケール変化と比較する。比較するときに、回転とスケール変化のいずれかまたは両方を使って比較しても良い。また、Ｎ個の対応点ペアから線分の回転とスケールの変化を算出するときに、それぞれの平均値を使っても良いし、中央値でも良いし、任意の対応点ペアから算出した値でも良い。また、対応点相対スケールと対応点の方向情報の差分値に基づいて回転やスケール変化を推定するとき、Ｎ個の対応点相対スケールと対応点の方向情報の差分値の平均値でも良いし、中央値でも良いし、任意の一つの対応点から算出した値でも良い。また、ここでＮは、対象クラスタに属する全対応点ペアでも良いし、一部の対応点ペアでも良い。
また、判定部２０６は、例えば、ロバスト推定手法にて推定した、対応点の座標値の幾何変換モデルと、対応点相対スケールと対応点の方向情報の差分値とに基づいて推定した、対応点の幾何変換モデルとを比較し、２つの幾何変換モデルの類似性が十分に大きければ、対象クラスタと第２の画像とが、同一と判定しても良い。対応点の座標値の幾何変換モデルには、例えば、相似変換モデルや、アフィン変換モデルや射影変換モデルを用いても良い。
対応点相対スケールと対応の方向情報の差分値とに基づいて対応点の幾何変換モデルを推定するには、例えば、次の式を用いても良い。
［数３］
Figure 0006459981
ここで、σijは第１の画像のi番目の特徴点のスケール値と、第２の画像のj番目の特徴点のスケール値とを含んで構成される、対応点相対スケール値をしめす。ρijは、特徴点iと特徴点jの方向情報の差分値を示す。
２つの幾何変換モデルの類似性の判定には、例えば、推定した変換モデルのパラメータのうち、スケールと回転に関するパラメータ間の距離値の合計が閾値未満なら同一と判定しても良いし、各パラメータ間の距離値が全て閾値未満なら同一と判定しても良い。
このように、異なる指標に基づいて算出した２つの幾何変換モデルを比較して対象クラスタと第２の画像との同一性を判定することにより、どちらか一方の幾何変換モデルで同一性を判定するよりも頑健に判定できる。
（実施形態１の動作）
次に、実施形態１の動作について詳細に説明する。
図３は本実施形態の動作を示すフローチャートである。
第１の局所特徴量生成部２０１は第１の画像から、所定の条件を満たす数の特徴点を検出し、第２の局所特徴量生成部２０２は第２の画像から、所定の条件を満たす数の特徴点を検出する（ステップＳ３０１）。次に、第１の局所特徴量生成部２０１及び第２の局所特徴量生成部２０２は、各特徴点の座標値から局所特徴量及びスケール情報を生成する（ステップＳ３０２）。対応点算出部２０３は、第１の局所特徴量情報群の任意の局所特徴量と第２の局所特徴量群の任意の局所特徴量との間の距離に基づき、画像間の特徴点の対応関係を求める（ステップＳ３０３）。対応点相対スケール算出部２０４は、第１のスケール情報群と、第２のスケール情報群と、対応点情報群とに基づき相対スケール関係を算出する（ステップＳ３０４）。対応点選定部２０５は、対応点相対スケールに基づいて特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ３０５）。判定部２０６は、クラスタ単位で、選定した特徴点の数などで画像の間の類似性また同一性を判断する（ステップＳ３０６）。
（実施形態１の効果）
以上説明したように、実施形態１においては、画像処理装置１０は、対応点相対スケール情報に基づいて、特徴点をクラスタリングすると共に、クラスタ単位で、画像間で同一または類似の被写体を判定する。画像間で正しく対応付けられた特徴点間の相対スケールは被写体ごとに一定となるため、対応点相対スケール情報に基づいて特徴点をクラスタリングすることにより、第１の画像の特徴点と、第２の画像の特徴点との誤った対応付けを削除することができる。これにより、画像間で同一または類似の被写体を精度良く識別することができる。
［第２の実施形態］
次に、第２の実施形態について、詳細に説明する。本実施形態は、特徴点のクラスタリングの際に、相対スケール範囲を限定して、特徴点をクラスタリングする形態である。以下の説明では、実施形態１と同一または類似の構成については同一の符号を振ると共に、適宜、説明を省略する。また、作用効果の記載についても、実施形態１と同様の場合には、適宜、説明を省略する。この点、実施形態３以降についても同様である。
図４は、実施形態２に係る画像処理装置４０の機能構成を示すブロック図である。図４に示すように、画像処理装置４０は、図２に示す画像処理装置２０と同様の構成であり、対応点選定部４０１の構成と動作が異なる。
対応点選定部４０１は、対応点相対スケール算出部２０４が出力した対応点相対スケール情報群と、相対スケール範囲とを用いて、第１の画像に含まれる特徴点をクラスタリングする。特徴点のクラスタリング及び対応点の選定には、実施形態１と同様の方法を用いても良く、詳細な説明は省略する。
相対スケール範囲は、例えば、経験や観測に基づいた値でも良いし、学習データを用いて機械的に学習した値でも良いし、教師なしクラスタリングによって対応点相対スケール情報群から算出した値でも良い。
また、相対スケール範囲は１つでも良いし、２以上であっても良い。画像間の特徴点の対応付けが正しい場合、対応点の相対スケール値は被写体ごとに一定になるため、対応点選定部４０１は、例えば、相対スケール範囲内に分布する相対スケール値を持つ特徴点を同一のクラスタに分類すれば良い。特徴点のクラスタリング及び対応点の選定には、実施形態１と同様の方法を用いても良く、詳細な説明は省略する。
（実施形態２の動作）
図５は本実施形態の動作を示すフローチャートである。図５を用いて、本実施形態の動作を詳細に説明する。なお、図５に示すステップＳ５０１〜ステップＳ５０３、及びステップＳ５０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図５に示すステップＳ５０１〜ステップＳ５０３の処理を実行後、対応点相対スケール算出部２０４は、第１のスケール情報群と、第２のスケール情報群と、対応点情報群とに基づき、相対スケール関係を算出する（ステップＳ５０４）。対応点選定部４０１は、対応点相対スケールと相対スケール範囲とに基づいて特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ５０５）。そして、図５に示すステップＳ５０６に遷移する。
（実施形態２の効果）
実施形態２は、実施形態１と同様の効果が得られるとともに、相対スケール範囲内の相対スケール情報を持つ特徴点だけをクラスタリングするため、実施形態１より計算量を低減できる。
［第３の実施形態］
次に、実施形態３について、詳細に説明する。本実施形態は、対応点相対スケールを正規化する形態である。
図６は、実施形態３に係る画像処理装置６０の機能構成を示すブロック図である。図６に示すように、画像処理装置６０は、図２に示す画像処理装置２０と同様の構成であり、対応点正規化相対スケール算出部６０１の構成と動作が異なる。
対応点正規化相対スケール算出部６０１は、対応点算出部２０３が出力した対応点情報群と、第１の局所特徴量生成部２０１が出力した第１のスケール情報群と、第２の局所特徴量生成部２０２が出力した第２のスケール情報群とを用いて、対応点のスケール値の相対関係である対応点相対スケールを、所定の条件を満たす数を超えて算出する。
次に、対応点正規化相対スケール算出部６０１は、算出した対応点相対スケールを正規化値に基づいて正規化し、正規化した対応点相対正規化スケールで構成される対応点正規化相対スケール情報群を生成する。
そして、生成した対応点正規化相対スケール情報群を対応点選定部２０５に出力する。対応点相対スケールの算出には、例えば、実施形態１に係る対応点相対スケール算出部２０４と同様の方法を用いても良い。
以下、対応点相対スケールの正規化について詳細に説明する。
対応点相対スケールの正規化には、例えば、数４の式を用いても良い。
［数４］
Figure 0006459981
ここで、σ正規値は正規化された対応点相対スケール値を、σ(n)はn番目の対応点（例えば、第１の画像のq番目の特徴点と第２の画像のp番目の特徴点）の相対スケール値を、zは正規化値を示す。
正規化値は、例えば、第２の画像のサイズでもよいし、第２の画像内の被写体の実際のサイズでもよいし、第２の画像における被写体のサイズでもよい。ここで、画像のサイズは、例えば、画像の幅でも良いし、画像の高さでも良いし、画像の画素数でも良いし、画像のアスペクト比でも良い。また、被写体の実際のサイズは、例えば、実物の幅でも良いし、実物の高さでも良い。また、被写体のサイズは、例えば、画像内での被写体の幅でも良いし、高さでも良いし、画素数でも良いし、アスペクト比でも良い。
対応点正規化相対スケール値の一例を図６３に示す。図６３の横軸は正規化した相対スケール値の対数値を、縦軸は頻度を示す。図６３に示すように、画像間の特徴点の対応付けが正しい場合、正規化した相対スケール値は画像内の全ての被写体で一定になるという特性がある。従って、対応点選定部２０５は、例えば、所定の頻度以上の相対スケール値を持つ特徴点を同一クラスタに分類するようにクラスタリングすれば良い。クラスタリングには、例えば、実施形態１と同様の方法を用いても良い。
（実施形態３の動作）
図７は本実施形態の動作を示すフローチャートである。図７を用いて、本実施形態の動作を詳細に説明する。なお、図７に示すステップＳ７０１〜ステップＳ７０３、及びステップＳ７０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図７に示すステップＳ７０１〜ステップＳ７０３の処理を実行後、対応点正規化相対スケール算出部６０１は、第１のスケール情報群と、第２のスケール情報群と対応点情報群に基づき相対スケール関係を算出し、算出された相対スケール関係を画像サイズあるいは実際の被写体サイズ等に基づいて正規化する（ステップＳ７０４）。対応点選定部２０５は、対応点正規化相対スケール情報群に基づいて特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ７０５）。そして、図７に示すステップＳ７０６に遷移する。
（実施形態３の効果）
実施形態３は、実施形態１と同様の効果が得られるとともに、画像間で正しく対応付けられた特徴点間の相対スケールを正規化すると、正規化した対応点相対スケールは第１の画像内の全ての被写体で一定となる。そのため、対応点の正規化相対スケール値に基づいて特徴点をクラスタリングすることにより、例えば、ロゴなどの一部の模様が同じでサイズが異なる被写体同士の特徴点を対応付けるなど、第１の画像の特徴点と第２の画像の特徴点の誤った対応付けを削除することができる。これにより、画像間でサイズが異なる被写体が含まれていても、実施形態１よりもそれらを精度良く識別することができる。
［実施形態４］
次に、実施形態４について、詳細に説明する。本実施形態は、特徴点の相対方向関係に基づいて、クラスタリングする形態である。
図１０は、実施形態４に係る画像処理装置１００の機能構成を示すブロック図である。図１０に示すように、画像処理装置１００は、第１の局所特徴量生成部１００１と、第２の局所特徴量生成部１００２と、対応点算出部２０３と、対応点相対方向算出部１００３と、対応点選定部１００４と、判定部２０６と、を含んで構成される。ここで、対応点算出部２０３と判定部２０６の動作は実施形態１と同様であるため説明を省略する。
（特徴量生成）
第１の局所特徴量生成部１００１は、第１の画像から、所定の条件を満たす数の特徴点を検出する。そして、第１の局所特徴量生成部１００１は、検出した各特徴点の座標値から、特徴点を含む周辺領域（近傍領域）の局所特徴量を生成する。そして、第１の局所特徴量生成部１００１は、生成した局所特徴量で構成される第１の局所特徴量群を対応点算出部２０３に出力する。
また、第１の局所特徴量生成部１００１は、第１の画像から検出した各特徴点の方向情報を算出する。そして、第１の局所特徴量生成部１００１は、算出した特徴点の方向情報で構成される第１の方向情報群を対応点相対方向算出部１００３に出力する。
特徴点の方向情報は、例えば、各特徴点に付随する方向（角度）の情報であり、特徴点を含む周辺領域の画像からその値が算出される。特徴点の方向情報は、例えば、特徴点を含む周辺領域の画像が回転すると、それに応じてその角度も回転する性質を有することが望ましい。例えば、第１の局所特徴量生成部１００１は、当該特徴点を含む周辺領域の輝度勾配の方向を、特徴点の方向情報として算出しても良い。
または、第１の局所特徴量生成部１００１は、特徴点の方向情報は、任意の特徴点を含む周辺領域を４x４のパッチ領域に分割し、分割したパッチ領域内の輝度変化を算出しても良い。算出した輝度変化が最も大きい方向を、特徴点の方向情報として算出しても良い。
または、第１の局所特徴量生成部１００１は、ウェブレットフィルターを用いて、ウェブレット係数の強度の大きい方向を、特徴点の方向情報として算出しても良い。
第２の局所特徴量生成部１００２は、第１の局所特徴量生成部１００１と同様の動作により、第２の画像の各特徴点の局所特徴量で構成される第２の局所特徴量群と、第２の画像の各特徴点の方向情報で構成される第２の方向情報群とを生成しても良い。そして、第２の局所特徴量生成部１００２は、第２の局所特徴量群を対応点算出部２０３に出力する。また、第２の局所特徴量生成部１００２は、第２の方向情報群を対応点相対方向算出部１００３に出力する。
対応点相対方向算出部１００３は、対応点算出部２０３が出力した対応点情報群と、第１の局所特徴量生成部１００１が出力した第１の方向情報群と、第２の局所特徴量生成部１００２が出力した第２の方向情報群を用いて、対応点の方向情報の相対関係（以下、対応点相対方向情報と呼ぶ）を、所定の条件を満たす数を超えて算出する。そして、対応点相対方向算出部１００３は、算出された対応点相対方向情報で構成される、対応点相対方向情報群を、対応点選定部１００４に出力する。
以下、対応点相対方向情報の算出について、詳細に説明する。
対応点相対方向算出部１００３は、対応点の方向情報の差分値を、対応点相対方向情報として算出しても良い。対応点の方向情報の差分値の算出には、例えば、数５の式を用いても良い。
［数５］
Figure 0006459981
ここで、ρは、対応点の方向情報の差分値を示す。θ(q)は、第１の画像から検出したq番目の特徴点の方向情報を示す。θ(p)は、第２の画像から検出したp番目の特徴点の方向情報を示す。
また、特徴点から指数関数の性質をもつ方向情報を抽出した場合、対応点相対方向は、例えば、対応点の方向情報の比率としても良い。方向情報の比率の算出には、例えば、数６の式を用いても良い。
［数６］
Figure 0006459981
ここで、ρ’は対応点の方向情報の比率を示す。
次に、図６４を参照して特徴点の方向情報の特性を説明する。図６４は画像１００１１の被写体に対して画像１００１２の被写体が４５度回転している一例である。図６４の矢印の方向は、特徴点の方向情報を示す。図６４に示すように、特徴点の方向情報は、画像内の被写体の回転に応じて相対的に変化するという性質を持つ。すなわち、画像内の被写体が４５度回転すると、当該被写体の全ての特徴点の方向情報が４５度回転する。そのため、数５及び数６により算出された対応点相対方向は、第１の画像の特徴点と第２の画像の特徴点の対応付けが正しい場合、被写体ごとに一定になるという特性を持つ。
対応点選定部１００４は、対応点相対方向算出部１００３が出力した対応点相対方向情報群を用いて、第１の画像に含まれる特徴点をクラスタリングする。そして、対応点選定部１００４は、クラスタリング結果に基づいて特徴点を選定し、選定情報群を出力する。特徴点の選定、及び選定情報群の出力については、上記の実施形態と同様であるため、詳細な説明は省略する。
ここで、対応点選定部１００４は、例えば、対応点相対方向の類似度が大きい（距離値が小さい）特徴点が同じクラスタに分類されるようにクラスタリングしても良い。特徴点のクラスタリングには、例えば、実施形態１の対応点選定部２０５が対応点相対スケールに基づいて特徴点をクラスタリングしたのと同様の方法を用いても良い。対応点の選定には、例えば、任意のクラスタに含まれる特徴点の数が所定の閾値以上ならば、当該クラスタに含まれる特徴点を選定するようにしても良い。
（実施形態４の動作）
図１１は本実施形態の動作を示すフローチャートである。図１１を用いて、本実施形態の動作を詳細に説明する。なお、図１１に示すステップＳ１１０１〜ステップＳ１１０３、及びステップＳ１１０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図１１に示すステップＳ１１０１〜ステップＳ１１０３の処理を実行後、対応点相対方向算出部１００３は、第１の方向情報群と、第２の方向情報群と対応点情報群に基づき対応点相対方向情報を算出する（ステップＳ１１０４）。対応点選定部１００４は、対応点相対方向情報群に基づいて特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ１１０５）。そして、図１１に示すステップＳ１１０６に遷移する。
（実施形態４の効果）
実施形態４は、対応点相対方向情報に基づいて特徴点をクラスタリングすると共に、クラスタ単位で、画像間で同一または類似の被写体を判定する。画像間で正しく対応付けられた特徴点間の相対方向は被写体ごとに一定となるため、対応点相対方向情報に基づいて特徴点をクラスタリングすることにより、第１の画像の特徴点と第２の画像の特徴点の誤った対応付けを削除することができる。これにより、画像間で同一または類似の被写体を精度良く識別することができる。
［実施形態５］
次に、実施形態５について、詳細に説明する。本実施形態は、対応点相対スケール情報、及び対応点相対方向情報をクラスタリングに用いる形態である。
図１４は、実施形態５に係る画像処理装置１４０の機能構成を示すブロック図である。図１４に示すように、画像処理装置１４０は、第１の局所特徴量生成部１４０１と、第２の局所特徴量生成部１４０２と、対応点算出部２０３と、対応点相対スケール算出部２０４と、対応点相対方向算出部１００３と、対応点選定部１４０３と、判定部２０６と、を含んで構成される。ここで、対応点算出部２０３、対応点相対方向算出部１００３、及び判定部２０６の構成と動作は、上述の実施形態と同様であるため説明を省略する。
（特徴量生成）
第１の局所特徴量生成部１４０１は、第１の局所特徴量群と、第１のスケール情報群とを生成する。そして、第１の局所特徴量生成部１４０１は、生成した第１の局所特徴量群を、対応点算出部２０３に出力する、また、第１の局所特徴量生成部１４０１は、生成した第１のスケール情報群を、対応点相対スケール算出部２０４に出力する。また、第１の局所特徴量生成部１４０１は、第１の方向情報群を対応点相対方向算出部１００３に出力する。
第２の局所特徴量生成部１４０２は、第２の局所特徴量群と、第２のスケール情報群と、第２の方向情報群と、を生成する。そして、第２の局所特徴量生成部１４０２は、第２の局所特徴量群を対応点算出部２０３に出力する。さらに、第２の局所特徴量生成部１４０２は、第２のスケール情報群を対応点相対スケール算出部２０４に出力する。さらに、第２の局所特徴量生成部１４０２は、第２の方向情報群を対応点相対方向算出部１００３に出力する。
（対応点選定）
対応点選定部１４０３は、対応点相対スケール算出部２０４が出力した対応点相対スケール情報群と、対応点相対方向算出部１００３が出力した対応点相対方向情報群とを用いて、第１の画像に含まれる特徴点をクラスタリングする。
ここで、対応点選定部１４０３は、例えば、対応点スケール情報の類似度、及び対応点相対方向の類似度が所定の閾値を超える特徴点が、同じクラスタに分類されるようにクラスタリングすることが好ましい。対応点相対スケール方向に基づく特徴点のクラスタリング及び対応点の選定には、例えば、実施形態１と同様の方法を用いても良い。
（実施形態５の動作）
図１５は本実施形態の動作を示すフローチャートである。図１５を用いて、本実施形態の動作を詳細に説明する。なお、図１５に示すステップＳ１５０１〜ステップＳ１５０３、及びステップＳ１５０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図１５に示すステップＳ１５０１〜ステップＳ１５０３の処理を実行後、対応点相対スケール算出部２０４は、対応点情報群と、第１のスケール情報群と、第２のスケール情報群とに基づき、相対スケール関係を算出する。また、対応点相対方向算出部１００３は、対応点情報群と、第１の方向情報群と、第２の方向情報群とに基づき、対応点相対方向情報を算出する（ステップＳ１５０４）。対応点選定部１４０３は、対応点相対スケール情報群と対応点相対方向情報群とに基づいて特徴点をクラスタリングし、クラスタリングの結果に基づいて特徴点を選定する（ステップＳ１５０５）。そして、図１５に示すステップＳ１５０６に遷移する。
（実施形態５の効果）
実施形態５は、実施形態１と同様の効果が得られるとともに、画像間で正しく対応付けられた特徴点間の相対方向は被写体ごとに一定となる。そして、実施形態５は、相対方向情報に基づいて特徴点をクラスタリングすることにより、第１の画像の特徴点と第２の画像の特徴点の誤った対応付けを削除することができる。これにより、実施形態５は、実施形態１よりも認識精度を向上することができる。
［実施形態６］
次に、実施形態６について、詳細に説明する。本実施形態は、特徴点の座標値をクラスタリングに用いる形態である。
図２２は、実施形態６に係る画像処理装置２２０の構成を示すブロック図である。図２２に示すように、画像処理装置２２０は、図２に示す画像処理装置２０と同様の構成であり、第１の局所特徴量生成部２２０１、及び対応点選定部２２０２の構成と動作が異なる。
（特徴量生成）
第１の局所特徴量生成部２２０１は、実施形態１に係る第１の局所特徴量生成部２０１と同様の動作により、第１の局所特徴量群を生成し、対応点算出部２０３に出力する。また、第１の局所特徴量生成部２２０１は、特徴点から生成した第１のスケール情報群を対応点相対スケール算出部２０４に出力する。また、第１の局所特徴量生成部２２０１は、第１の画像から検出した特徴点の座標値で構成される第１の座標値情報群を対応点選定部２２０２に出力する。
（対応点選定）
対応点選定部２２０２は、対応点相対スケール算出部２０４が出力した対応点相対スケール情報群と、第１の局所特徴量生成部２２０１が出力した第１の座標値情報群とを用いて、第１の画像に含まれる特徴点をクラスタリングする。そして、対応点選定部２２０２は、クラスタリング結果に基づいて特徴点を選定し、選定情報群を出力する。特徴点の選定、及び選定情報群の出力については、上記の実施形態と同様であるため、詳細な説明は省略する。
以下、対応点の選定について、詳細に説明する。
対応点選定部２２０２は、選定された特徴点の対応点情報群と、クラスタ情報群とを含んで構成される、選定情報群を判定部２０６に出力する。ここで、クラスタ情報群は、１以上の特徴点を含む複数のクラスタに係る、複数のクラスタ情報で構成される。
また、対応点選定部２２０２は、例えば、対応点相対スケール情報群に基づき特徴点をクラスタリングし、そのクラスタリング結果に基づいて特徴点を選定した後、選定した特徴点を第１の座標値情報群に基づきクラスタリングしてもよい。
また、対応点選定部２２０２は、例えば、対応点相対スケール情報、及び第１の座標値情報群の両方を用いて、特徴点をクラスタリングしてもよい。特徴点のクラスタリングには、前述の実施形態と同様の方法を用いても良く、詳細な説明は省略する。
（実施形態６の動作）
図２３は本実施形態の動作を示すフローチャートである。図２３を用いて、本実施形態の動作を詳細に説明する。なお、図２３に示すステップＳ２３０１〜ステップＳ２３０３、及びステップＳ２３０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図２３に示すステップＳ２３０１〜ステップＳ２３０３の処理を実行後、対応点相対スケール算出部２０４は、第１のスケール情報群と第２のスケール情報群と対応点情報群とに基づいて相対スケール関係を算出する（ステップＳ２３０４）。対応点選定部２２０２は、対応点相対スケール情報群と第１の座標値情報群とに基づいて特徴点をクラスタリングし、クラスタリングの結果に基づいて特徴点を選定する（ステップＳ２３０５）。そして、図２３に示すステップＳ２３０６に遷移する。
（実施形態６の効果）
実施形態６は、実施形態１と同様の効果が得られるとともに、画像内の特徴点の座標値に基づいてそれらをクラスタリングし、クラスタ単位で、画像間で同一または類似の被写体を判定する。そのため、実施形態６は、画像間で正しく対応付けられた特徴点は被写体ごとに密集するため、座標値情報に基づいて特徴点をクラスタリングすることにより、同一スケールの被写体が複数存在する場合であっても、実施形態１よりもそれらを個別に認識できる。
［実施形態７］
次に、実施形態７について詳細に説明する。実施形態７は、特徴点の相対座標値を算出し、クラスタリングに用いる形態である。
図４２は、実施形態７に係る画像処理装置４２０の機能構成を示すブロック図である。図４２に示すように、画像処理装置４２０は、図１４に示す画像処理装置１４０と同様の構成であり、第２の局所特徴量生成部４２０１、相対座標値算出部４２０２、及び対応点選定部４２０３の構成と動作が異なる。
（特徴量生成）
第１の局所特徴量生成部３４０１は、第１の局所特徴量群と第１の方向情報群と第１の座標値情報群とを生成し、それぞれ、対応点算出部２０３と対応点相対方向算出部１００３と対応点選定部４２０３とに出力する。また、第１の局所特徴量生成部３４０１は、図２に示す第１の局所特徴量生成部２０１と同様の動作により生成した第１のスケール情報群を対応点相対スケール算出部２０４に出力する。
第２の局所特徴量生成部４２０１は、第２の局所特徴量群と、第２のスケール情報群と、第２の方向情報群と、第２の座標値情報群を、それぞれ、対応点算出部２０３と、対応点相対スケール算出部２０４と、対応点相対方向算出部１００３と、相対座標値算出部４２０２とへ出力する。
（相対座標生成）
相対座標値算出部４２０２は、対応点相対スケール算出部２０４が出力した対応点相対スケール情報群と、対応点相対方向算出部１００３が出力した対応点相対方向情報群と、第１の局所特徴量生成部３４０１が出力した第１の座標値情報群と、第２の局所特徴量生成部４２０１が出力した第２の座標値情報群と、基準点座標値とを用いて、第１の画像の特徴点の座標値を任意の座標系の点に変換する。そして、相対座標値算出部４２０２は、変換された座標値（以下、対応点相対座標値と呼ぶ）を、対応点選定部４２０３に出力する。ここで、基準点とは、あらかじめ定められた座標値であり、例えば、第２の画像と同じデカルト座標系内の任意の点でも良い。以下では、被写体中心点を基準点として説明する。
以下、対応点相対座標値の算出について、詳細に説明する。
相対座標値算出部４２０２は、第２の画像の任意の基準点である基準点座標値（例えば、被写体中心点）と、第２の座標値情報群と、対応点相対スケール情報群と、対応点相対方向情報群と、第１の座標値情報群とに基づき、第１の画像中の各被写体の中心点を算出する。そして、相対座標値算出部４２０２は、算出した被写体中心点で構成される相対座標値情報群を、対応点選定部４２０３に出力する。
対応点相対座標値の算出には、例えば、以下の式、数７を用いてもよい。
［数７］
Figure 0006459981
ここで、i及びjは、それぞれ、第１の画像及び第２の画像の特徴点番号を、viは第１の画像のi番目の特徴点の座標値を、σijは対応点相対スケールを、ρijは対応点相対方向を、cijは第１の画像中の被写体中心の座標値を、uj’は第２の画像のj番目の特徴点から第２の画像の被写体中心点へのベクトルを示している。ベクトルは、例えば、以下の式、数８のように算出してもよい。
［数８］
Figure 0006459981
ここで、xjはj番目の特徴点のx座標値を、yjはｊ番目の特徴点のy座標値を、xcは選定された、第２の画像の基準点のx座標値を、ycは第２の画像の基準点のy座標値を示す。
（対応点選定）
対応点選定部４２０３は、相対座標値算出部４２０２が出力した相対座標値情報群と、対応点相対スケール算出部２０４が出力した対応点相対スケール情報群とを用いて、第１の画像に含まれる特徴点をクラスタリングする。そして、対応点選定部４２０３は、クラスタリング結果に基づいて特徴点を選定し、選定情報群を出力する。特徴点の選定、及び選定情報群の出力については、上記の実施形態と同様であるため、詳細な説明は省略する。
対応点選定部４２０３は、例えば、対応点相対スケール群に基づく特徴点のクラスタリング及び対応点の選定には、実施形態６と同様の方法を用いても良い。また、相対座標値情報群に基づく特徴点のクラスタリング及び対応点の選定には、例えば、実施形態６にて第１の座標値情報群に基づいて特徴点をクラスタリングした方法と同様の方法を用いても良い。
また、相対座標値算出部４２０２は、例えば、基準点座標値を用いなくても良い。この場合、相対座標値算出部４２０２および対応点選定部４２０３は、例えば、次のように動作しても良い。
相対座標値算出部４２０２は、第２の座標値情報群と、対応点相対スケール情報群と、対応点相対方向情報群と、第１の座標値情報群とに基づき、第１の画像中の各特徴点と第２の画像中の各特徴点の相対移動量を算出する。そして、相対座標値算出部４２０２は、算出した相対移動量で構成される相対座標値情報群を、対応点選定部４２０３に出力する。
この場合、対応点相対座標値の算出には、例えば、以下の式、数９を用いても良い。
［数９］
Figure 0006459981
ここで、vjjは相対移動量を、vjは第２の画像のj番目の特徴点の座標値を示している。
画像間で同一の被写体の対応点の相対移動量は一定となるため、対応点選定部４２０３は、例えば、相対座標値情報群に基づく特徴点のクラスタリング及び対応点の選定には、例えば、実施形態６にて第１の座標値情報群に基づいて特徴点をクラスタリングした方法と同様の方法を用いても良い。
これ以降の実施形態では特に明記しないが、相対座標値算出部４２０２は、基準点座標値の入力がない場合は、上述のように相対座標値情報群を算出しても良い。
（実施形態７の動作）
図４３は本実施形態の動作を示すフローチャートである。図４３を用いて、本実施形態の動作を詳細に説明する。なお、図４３に示すステップＳ４３０１〜ステップＳ４３０３、及びステップＳ４３０６は、上記のステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図４３に示すステップＳ４３０１〜ステップＳ４３０３の処理を実行後、対応点相対スケール算出部２０４は、第１のスケール情報群と第２のスケール情報群と対応点情報群に基づき相対スケール関係を算出し、対応点相対方向算出部１００３は第１の方向情報群と第２に方向情報群と対応点情報群とに基づき対応点相対方向情報を算出する（ステップＳ４３０４）。相対座標値算出部４２０２は、対応点相対スケール情報群と、対応点相対方向情報群と、基準点座標値、第１の座標値情報群と、第２の座標値情報群とを用いて、相対座標値を算出する(ステップＳ４３０５)。対応点選定部４２０３は、相対座標値情報群と対応点相対スケール情報群とに基づいて特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ４３０６）。そして、図４３に示すステップＳ４３０７に遷移する。
（実施形態７の効果）
実施形態７は、実施形態１と同様の効果が得られるとともに、第１の画像の各特徴点を被写体中心に集めてから、それらをクラスタリングするため、実施形態１よりも特徴点を精度良くクラスタリングできる。従って、実施形態７は、画像内の同一または類似の被写体を実施形態１よりも精度良く識別できる。
以下、上記実施形態の変形例について説明する。
［変形例１］
図８を参照して、変形例１を説明する。図８は、変形例１に係る画像処理装置８０の機能構成を示すブロック図である。図８に示すように、画像処理装置８０は、図６に示す画像処理装置６０と同様の構成であり、対応点選定部４０１の構成と動作が異なる。また、対応点選定部４０１は実施形態２と同様の構成と動作であり、ここでの説明を省略する。
（変形例１の動作）
図９は変形例１の動作を示すフローチャートである。図９を用いて、変形例１の動作を詳細に説明する。なお、図９に示すステップＳ９０１〜ステップＳ９０３、及びステップＳ９０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図９に示すステップＳ９０１〜ステップＳ９０３の処理を実行後、対応点正規化相対スケール算出部６０１は、第１のスケール情報群と、第２のスケール情報群と、対応点情報群とに基づき、相対スケール関係を算出し、画像サイズあるいは実際の被写体のサイズ等に基づいて正規化する（ステップＳ９０４）。対応点選定部４０１は、対応点正規化相対スケール情報群と相対スケール範囲に基づいて特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ９０５）。そして、図９に示すステップＳ９０６に遷移する。
（変形例１の効果）
変形例１は、実施形態３と同様の効果が得られるとともに、相対スケール範囲内の正規化相対スケール情報を持つ特徴点だけをクラスタリングするため、実施形態３より計算量を低減できる。
［変形例２］
次に、図１２を参照して、変形例２を説明する。図１２は、変形例２に係る画像処理装置１２０の機能構成を示すブロック図である。図１２に示すように、画像処理装置１２０は、図１０に示す画像処理装置１００と同様の構成であり、対応点選定部１２０１の構成と動作が異なる。
対応点選定部１２０１は、対応点相対方向算出部１００３が出力した対応点相対方向情報群と、相対方向範囲とを用いて、第１の画像に含まれる特徴点をクラスタリングする。
相対方向範囲は、例えば、経験や観測に基づいた値でも良いし、学習データを用いて機械的に学習した値でも良いし、教師なしクラスタリングによって対応点相対方向情報群から算出した値でも良い。また、相対方向範囲は１つでも良いし、複数でも良い。
画像間の特徴点の対応付けが正しい場合、対応点の相対方向情報は被写体ごとに一定になるため、対応点選定部１２０１は、例えば、相対方向範囲内に分布する相対方向情報を持つ特徴点を同一のクラスタにクラスタリングすれば良い。特徴点のクラスタリング及び対応点の選定には、例えば、変形例１と同様の方法を用いても良い。
（変形例２の動作）
図１３は変形例２の動作を示すフローチャートである。図１３を用いて、変形例２の動作を詳細に説明する。なお、図１３に示すステップＳ１３０１〜ステップＳ１３０３、及びステップＳ１３０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図１３に示すステップＳ１３０１〜ステップＳ１３０３の処理を実行後、対応点相対方向算出部１００３は、第１の方向情報群と、第２の方向情報群と、対応点情報群とに基づき、対応点相対方向情報を算出する（ステップＳ１３０４）。対応点選定部１２０１は、対応点相対方向情報群と相対方向範囲とに基づいて特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ１３０５）。そして、図１３に示すステップＳ１３０６に遷移する。
（変形例２の効果）
変形例２は、実施形態４と同様の効果が得られるとともに、相対方向範囲内の方向情報を持つ特徴点だけをクラスタリングするため、実施形態４より計算量を低減できる。
［変形例３］
次に、図１６を参照して、変形例３を説明する。図１６は、変形例３に係る画像処理装置１６０の機能構成を示すブロック図である。図１６に示すように、画像処理装置１６０は、図１４に示す画像処理装置１４０と同様の構成であり、対応点選定部１６０１の構成と動作が異なる。
対応点選定部１６０１は、対応点相対スケール算出部２０４が出力した対応点相対スケール情報群と、対応点相対方向算出部１００３が出力した対応点相対方向情報群と、対応点相対スケールの範囲と、対応点相対方向範囲とを用いて、第１の画像に含まれる特徴点をクラスタリングする。
画像間の特徴点の対応付けが正しい場合、対応点の相対スケール値と対応点の相対方向情報は被写体ごとに一定になるため、対応点選定部１６０１は、例えば、対応点相対スケール情報と、相対方向範囲内に分布する対応点相対スケール情報と、対応点相対方向情報とを持つ特徴点を、同一のクラスタに分類すれば良い。特徴点のクラスタリング及び対応点の選定には、例えば、実施形態５と同様の方法を用いても良い。
（変形例３の動作）
図１７は変形例３の動作を示すフローチャートである。図１７を用いて、変形例３の動作を詳細に説明する。なお、図１７に示すステップＳ１７０１〜ステップＳ１７０３、及びステップＳ１７０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図１７に示すステップＳ１７０１〜ステップＳ１７０３の処理を実行後、対応点相対スケール算出部２０４は、第１のスケール情報群と第２のスケール情報群と対応点情報群に基づき相対スケール関係を算出する。また、対応点相対方向算出部１００３は、第１の方向情報群と、第２の方向情報群と対応点情報群に基づき対応点相対方向情報を算出する（ステップＳ１７０４）。対応点選定部１６０１は、対応点相対スケール情報群と、対応点相対方向情報群と、相対スケール範囲と、相対方向範囲とに基づいて、特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ１７０５）。そして、図１７に示すステップＳ１７０６に遷移する。
（変形例３の効果）
変形例３は、実施形態５と同様の効果が得られるとともに、相対スケール範囲内の対応点相対スケール情報と相対方向範囲内の対応点相対方向情報を持つ特徴点だけをクラスタリングするため、実施形態５より計算量を低減できる。
［変形例４］
次に、図１８を参照して、変形例４を説明する。図１８は、変形例４に係る画像処理装置１８０の機能構成を示すブロック図である。図１８に示すように、画像処理装置１８０は、図１４に示す画像処理装置１４０と同様の構成であり、対応点正規化相対スケール算出部６０１の構成と動作が異なる。また、対応点正規化相対スケール算出部６０１の動作は、変形例１と同様であるため説明を省略する。
（変形例４の動作）
図１９は変形例４の動作を示すフローチャートである。図１９を用いて、変形例４の動作を詳細に説明する。なお、図１９に示すステップＳ１９０１〜ステップＳ１９０３、及びステップＳ１９０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図１９に示すステップＳ１９０１〜ステップＳ１９０３の処理を実行後、対応点正規化相対スケール算出部６０１は、第１のスケール情報群と、第２のスケール情報群と対応点情報群とに基づき相対スケール関係を算出し、算出された相対スケール関係を画像サイズあるいは実際の被写体サイズ等に基づいて正規化する。また、対応点相対方向算出部１００３は第１の方向情報群と、第２の方向情報群と対応点情報群に基づき対応点相対方向情報を算出する（ステップＳ１９０４）。対応点選定部１４０３は、対応点正規化相対スケール情報と対応点相対方向情報とに基づいて特徴点をクラスタリングし、クラスタリングの結果に基づいて特徴点を選定する（ステップＳ１９０５）。そして、図１９に示すステップＳ１９０６に遷移する。
（変形例４の効果）
変形例４は、実施形態５と同様の効果が得られるともに。また、画像間で正しく対応付けられた特徴点間の相対スケールを正規化すると、正規化した対応点相対スケールは第１の画像内の全ての被写体で一定となるため、実施形態５よりもそれらを精度良く識別することができる。
［変形例５］
次に、図２０を参照して、変形例５を説明する。図２０は、変形例５に係る画像処理装置２００の機能構成を示すブロック図である。図２０に示すように、画像処理装置２００は、図１８に示す画像処理装置１８０と同様の構成であり、対応点選定部１６０１の構成と動作が異なる。また、対応点選定部１６０１の動作は、変形例３と同様であるため説明を省略する。
図２１は変形例５の動作を示すフローチャートである。図２１を用いて、変形例５の動作を詳細に説明する。なお、図２１に示すステップＳ２１０１〜ステップＳ２１０３、及びステップＳ２１０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図２１に示すステップＳ２１０１〜ステップＳ２１０３の処理を実行後、対応点正規化相対スケール算出部６０１は、第１のスケール情報群と第２のスケール情報群と対応点情報群に基づいて相対スケール関係を算出し、算出された相対スケール関係を画像サイズあるいは実際の被写体サイズ等に基づいて正規化する。また、対応点相対方向算出部１００３は、第１の方向情報群と、第２の方向情報群と、対応点情報群とに基づき、対応点相対方向情報を算出する（ステップＳ２１０４）。対応点選定部１６０１は、対応点正規化相対スケール情報群と、対応点相対方向情報群と、相対スケール範囲と、相対方向範囲とに基づいて、特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ２１０５）。そして、図２１に示すステップＳ２１０６に遷移する。
（変形例５の効果）
変形例５は、変形例４と同様の効果が得られるとともに、相対スケール範囲内の正規化相対スケール値を持つ特徴点と、相対方向範囲内の方向情報を持つ特徴点とだけをクラスタリングするため、変形例４より計算量を低減できる。
［変形例６］
次に、図２４を参照して、変形例６を説明する。図２４は、変形例６に係る画像処理装置２４０の機能構成を示すブロック図である。図２４に示すように、画像処理装置２４０は、図２２に示す画像処理装置２２０と同様の構成であり、対応点選定部２４０１の構成と動作が異なる。
対応点選定部２４０１は、対応点相対スケール算出部２０４が出力した対応点相対スケール情報群と相対スケール範囲、及び、第１の局所特徴量生成部２２０１が出力した特徴点座標値と、座標値範囲とを用いて、第１の画像に含まれる特徴点をクラスタリングする。
相対座標値範囲は、例えば、画像中の被写体範囲が存在する範囲を示す座標値とすれば良い。被写体範囲が存在する範囲の算出には、例えば、経験や観測に基づいて点pと点qを外接する矩形としてもよいし、学習データを用いて、画像のどのあたりに被写体が存在しやすいかという被写体存在確率を機械的に算出し、所定の確率密度以上の領域としても良い。また、相対座標値範囲は、一つでも良いし、複数でも良い。
画像間の特徴点の対応付けが正しい場合、対応点の相対スケール値は被写体ごとに一定になるため、対応点選定部２４０１は、例えば、相対スケール範囲内に分布する相対スケール値を持つ特徴点を同一のクラスタに分類すれば良い。また、対応点選定部２４０１は、例えば、相対座標値範囲内の特徴点を同一のクラスタに分類すれば良い。相対スケールに基づくクラスタリング、及び座標値に基づくクラスタリングには、例えば、実施形態１や実施形態６と同様の方法を用いればよい。対応点の選定には、例えば、変形例５と同様の方法を用いても良い。
また、対応点選定部２４０１は、例えば、対応点相対方向情報群に基づいて特徴点をクラスタリングし、そのクラスタリング結果に基づいて特徴点を選定した後、第１の座標値情報群に基づき選定した特徴点をクラスタリングしてもよい。また、対応点選定部２４０１は、例えば、第１の座標値情報群に基づいて特徴点をクラスタリングし、そのクラスタリング結果に基づいて特徴点を選定した後、対応点相対方向情報群に基づいて選定した特徴点をクラスタリングしてもよい。また、例えば、対応点選定部２４０１は、対応点相対方向情報群と第１の座標値情報群との両方を用いて特徴点をクラスタリングしてもよい。
（変形例６の動作）
図２５は変形例６の動作を示すフローチャートである。図２５を用いて、変形例６の動作を詳細に説明する。なお、図２５に示すステップＳ２５０１〜ステップＳ２５０３、及びステップＳ２５０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図２５に示すステップＳ２５０１〜ステップＳ２５０３の処理を実行後、対応点相対スケール算出部２０４は、第１のスケール情報群と、第２のスケール情報群と、対応点情報群に基づき相対スケール関係を算出する(ステップＳ２５０４）。対応点選定部２４０１は、対応点相対スケール情報群と、第１の座標値情報群と、相対スケール範囲と、相対座標値範囲とに基づいて、特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ２５０５）。そして、図２５に示すステップＳ２５０６に遷移する。
（変形例６の効果）
変形例６は、実施形態６と同様の効果が得られるとともに、相対スケール範囲内の相対スケール値を持つ特徴点と、相対座標値範囲内の座標値を持つ特徴点とだけをクラスタリングするため、実施形態６より計算量を低減できる。
［変形例７］
次に、図２６を参照して、変形例７を説明する。図２６は、変形例７に係る画像処理装置２６０の機能構成を示すブロック図である。図２６に示すように、画像処理装置２６０は、図２２に示す画像処理装置２２０と同様の構成であり、対応点正規化相対スケール算出部６０１の構成と動作が異なる。また、対応点正規化相対スケール算出部６０１の動作は、変形例１と同様であるため説明を省略する。
（変形例７の動作）
図２７は変形例７の動作を示すフローチャートである。図２７を用いて、変形例７の動作を詳細に説明する。なお、図２７に示すステップＳ２７０１〜ステップＳ２７０３、及びステップＳ２７０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図２７に示すステップＳ２７０１〜ステップＳ２７０３の処理を実行後、対応点正規化相対スケール算出部６０１は第１のスケール情報群と、第２のスケール情報群と、対応点情報群に基づき、相対スケール関係を算出し、算出された相対スケール関係を画像サイズあるいは実際の被写体サイズ等に基づいて正規化する(ステップＳ２７０４）。対応点選定部２２０２は、対応点正規化相対スケール情報と第１の座標値情報群とに基づいて特徴点をクラスタリングし、クラスタリングの結果に基づいて特徴点を選定する（ステップＳ２７０５）。そして、図２７に示すステップＳ２７０６に遷移する。
（変形例７の効果）
変形例７は、実施形態６と同様の効果が得られるとともに、画像間で正しく対応付けられた特徴点間の相対スケールを正規化すると、正規化した対応点相対スケールは第１の画像内の全ての被写体で一定となるため、実施形態６よりもそれらを精度良く識別することができる。
［変形例８］
次に、図２８を参照して、変形例８を説明する。図２８は、変形例８に係る画像処理装置２８０の機能構成を示すブロック図である。図２８に示すように、画像処理装置２８０は、図２６に示す画像処理装置２６０と同様の構成であり、対応点選定部２４０１の構成と動作が異なる。また、対応点選定部２４０１の動作は、変形例６と同様であるため説明を省略する。
（変形例８の動作）
図２９は本実施形態の動作を示すフローチャートである。図２９を用いて、本実施形態の動作を詳細に説明する。なお、図２９に示すステップＳ２９０１〜ステップＳ２９０３、及びステップＳ２９０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図２９に示すステップＳ２９０１〜ステップＳ２９０３の処理を実行後、対応点正規化相対スケール算出部６０１は第１のスケール情報群と、第２のスケール情報群と対応点情報群に基づき相対スケール関係を算出し、算出された相対スケール関係を画像サイズあるいは実際の被写体サイズ等に基づいて正規化する(ステップＳ２９０４）。対応点選定部２４０１は、対応点相対スケールと第１の座標値情報群と相対スケール範囲と相対座標値範囲とに基づいて特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ２９０５）。そして、図２９に示すステップＳ２９０６に遷移する。
（変形例８の効果）
変形例８は、変形例７と同様の効果が得られるとともに正規化相対スケール範囲内の相対スケール値を持つ特徴点と、特徴点座標範囲内の座標情報を持つ特徴点とだけをクラスタリングするため、変形例７より計算量を低減できる。
［変形例９］
次に、図３０を参照して、変形例９を説明する。図３０は、変形例９に係る画像処理装置３００の機能構成を示すブロック図である。図３０に示すように、画像処理装置３００は、図１０に示す画像処理装置１００と同様の構成であり、第１の局所特徴量生成部３００１、及び対応点選定部３００２の構成と動作が異なる。
第１の局所特徴量生成部３００１は、実施形態１に係る第１の局所特徴量生成部２０１と同様の動作により生成した第１の方向情報群を対応点相対方向算出部１００３に出力する。また、第１の局所特徴量生成部３００１は、実施形態６に係る第１の局所特徴量生成部２２０１と同様の動作により生成した、第１の局所特徴量群と第１の座標値情報群を、それぞれ、対応点算出部２０３と対応点選定部３００２に出力する。
対応点選定部３００２は、対応点相対方向算出部１００３が出力した対応点相対方向情報群と、第１の局所特徴量生成部３００１が出力した第１の座標値情報群とを用いて、第１の画像に含まれる特徴点をクラスタリングする。
（変形例９の動作）
図３１は変形例９の動作を示すフローチャートである。図３１を用いて、変形例９の動作を詳細に説明する。なお、図３１に示すステップＳ３１０１〜ステップＳ３１０３、及びステップＳ３１０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図３１に示すステップＳ３１０１〜ステップＳ３１０３の処理を実行後、対応点相対方向算出部１００３は、第１の方向情報群と第２の方向情報群と対応点情報群とに基づいて対応点相対方向情報を算出する（ステップＳ３１０４）。対応点選定部３００２は、対応点相対方向情報群と第１の座標値情報群とに基づいて特徴点をクラスタリングし、クラスタリングの結果に基づいて特徴点を選定する（ステップＳ３１０５）。そして、図３１に示すステップＳ３１０６に遷移する。
（変形例９の効果）
変形例９は、実施形態４と同様の効果が得られるとともに、画像間で正しく対応付けられた特徴点は被写体ごとに密集するため、座標値に基づいて特徴点をクラスタリングすることにより、相対方向が同じ被写体が複数存在する場合でも実施形態４よりもそれらを個別に認識できる。
［変形例１０］
次に、図３２を参照して、変形例１０を説明する。図３２は、変形例１０に係る画像処理装置３２０の機能構成を示すブロック図である。図３２に示すように、画像処理装置３２０は、図３０に示す画像処理装置３００と同様の構成であり、対応点選定部３２０１の構成と動作が異なるため、対応点選定部３２０１について説明する。
対応点選定部３２０１は、対応点相対方向算出部１００３が出力した対応点相対方向情報群と相対方向範囲、及び、第１の局所特徴量生成部３００１が出力した特徴点座標値と座標値範囲とを用いて第１の画像に含まれる特徴点をクラスタリングする。
また、対応点選定部３２０１は、例えば、対応点相対方向情報群に基づいて特徴点をクラスタリングし、そのクラスタリング結果に基づいて特徴点を選定した後、第１の座標値情報群に基づき選定した特徴点をクラスタリングしてもよい。また、対応点選定部３２０１は、例えば、第１の座標値情報群に基づいて特徴点をクラスタリングし、そのクラスタリング結果に基づいて特徴点を選定した後、対応点相対方向情報群に基づいて選定した特徴点をクラスタリングしてもよい。また、対応点選定部３２０１は、例えば、対応点相対方向情報群と第１の座標値情報群の両方を用いて特徴点をクラスタリングしてもよい。
（変形例１０の動作）
図３３は変形例１０の動作を示すフローチャートである。図３３を用いて、変形例１０の動作を詳細に説明する。なお、図３３に示すステップＳ３３０１〜ステップＳ３３０３、及びステップＳ３３０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図３３に示すステップＳ３３０１〜ステップＳ３３０３の処理を実行後、対応点相対方向算出部１００３は、第１の方向情報群と第２の方向情報群と対応点情報群に基づき対応点相対方向情報を算出する(ステップＳ３３０４）。対応点選定部３２０１は、対応点相対方向情報群と第１の座標値情報群と相対方向範囲と相対座標値範囲とに基づいて特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ３３０５）。そして、図３３に示すステップＳ３３０６に遷移する。
（変形例１０の効果）
変形例１０は、変形例９と同様の効果が得られるとともに、相対方向範囲内の相対方向情報を持つ特徴点と、相対座標値範囲内の座標値を持つ特徴点とだけをクラスタリングするため、変形例９より計算量を低減できる。
［変形例１１］
次に、図３４を参照して、変形例１１を説明する。図３４は、変形例１１に係る画像処理装置３４０の機能構成を示すブロック図である。図３４に示すように、画像処理装置３４０は、図１４に示す画像処理装置１４０と同様の構成であり、第１の局所特徴量生成部３４０１、及び対応点選定部３４０２の構成と動作が異なる。
第１の局所特徴量生成部３４０１は、図３０に示す第１の局所特徴量生成部３００１と同様の動作により、第１の局所特徴量群と第１の方向情報群と第１の座標値情報群とを生成し、それぞれ、対応点算出部２０３と対応点相対方向算出部１００３と対応点選定部３４０２とに出力する。また、第１の局所特徴量生成部３４０１は、実施形態１に係る第１の局所特徴量生成部２０１と同様の動作により生成した第１のスケール情報群を対応点相対スケール算出部２０４に出力する。
対応点選定部３４０２は、対応点相対スケール算出部２０４が出力した対応点相対スケール情報群と、対応点相対方向算出部１００３が出力した対応点相対方向情報群と、第１の局所特徴量生成部３４０１が出力した第１の座標値情報群とを用いて、第１の画像に含まれる特徴点をクラスタリングする。
（変形例１１の動作）
図３５は本実施形態の動作を示すフローチャートである。図３５を用いて、本実施形態の動作を詳細に説明する。なお、図３５に示すステップＳ３５０１〜ステップＳ３５０３、及びステップＳ３５０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図３５に示すステップＳ３５０１〜ステップＳ３５０３の処理を実行後、対応点相対スケール算出部２０４は第１のスケール情報群と第２のスケール情報群と対応点情報群とに基づき相対スケール関係を算出し、対応点相対方向算出部１００３は第１の方向情報群と第２の方向情報群と対応点情報群とに基づき対応点相対方向情報を算出する（ステップＳ３５０４）。対応点選定部３４０２は、対応点相対スケール情報群と対応点相対方向情報群と第１の座標値情報群とに基づいて特徴点をクラスタリングし、クラスタリングの結果に基づいて特徴点を選定する（ステップＳ３５０５）。そして、図３５に示すステップＳ３５０６に遷移する。
（変形例１１の効果）
変形例１１は、実施形態５と同様の効果が得られるとともに、画像内の特徴点の座標値に基づいてそれらをクラスタリングし、クラスタ単位で、画像間で同一または類似の被写体を判定する。画像間で正しく対応付けられた特徴点は被写体ごとに密集するため、座標値情報に基づいて特徴点をクラスタリングすることにより、変形例１１は、同一スケールまたは相対方向が同じ被写体が複数存在する場合でも実施形態５よりもそれらを個別に認識できる。
［変形例１２］
次に、図３６を参照して、変形例１２を説明する。図３６は、変形例１２に係る画像処理装置３６０の機能構成を示すブロック図である。図３６に示すように、画像処理装置３６０は、図３４に示す画像処理装置３４０と同様の構成であり、対応点選定部３６０１の構成と動作が異なる。
対応点選定部３６０１は、対応点相対スケール算出部２０４が出力した対応点相対スケール情報群と、対応点相対方向算出部１００３が出力した対応点相対方向情報群と、第１の局所特徴量生成部３４０１が出力した第１の座標値情報群と、相対スケール範囲と、相対方向範囲と、相対座標値範囲とを用いて、第１の画像に含まれる特徴点をクラスタリングする。
（変形例１２の動作）
図３７は変形例１２の動作を示すフローチャートである。図３７を用いて、変形例１２の動作を詳細に説明する。なお、図３７に示すステップＳ３７０１〜ステップＳ３７０３、及びステップＳ３７０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図３７に示すステップＳ３７０１〜ステップＳ３７０３の処理を実行後、対応点相対スケール算出部２０４は、第１のスケール情報群と第２のスケール情報群と対応点情報群に基づき相対スケール関係を算出する。また、対応点相対方向算出部１００３は、第１の方向情報群と、第２の方向情報群と対応点情報群に基づき対応点相対方向情報を算出する（ステップＳ３７０４）。対応点選定部３６０１は、対応点相対スケール情報群と、対応点相対方向情報群と、第１の座標値情報群と、相対スケール範囲と、相対方向範囲と、相対座標値範囲とに基づいて、特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ３７０５）。そして、図３７に示すステップＳ３７０６に遷移する。
（変形例１２の効果）
変形例１２は、変形例１１と同様の効果が得られるとともに、相対スケール範囲内の相対スケール情報を持つ特徴点と、相対方向範囲内の相対方向情報を持つ特徴点と、相対座標値範囲内の座標値情報を持つ特徴点だけをクラスタリングするため、変形例１１より計算量を低減できる。
［変形例１３］
次に、図３８を参照して、変形例１３を説明する。図３８は、変形例１３に係る画像処理装置３８０の機能構成を示すブロック図である。図３８に示すように、画像処理装置３８０は、図３４に示す画像処理装置３４０と同様の構成であり、対応点正規化相対スケール算出部６０１の構成と動作が異なる。また、対応点正規化相対スケール算出部６０１の動作は、第１４の実施形態と同様であるため説明を省略する。
（変形例１３の動作）
図３９は変形例１３の動作を示すフローチャートである。図３９を用いて、変形例１３の動作を詳細に説明する。なお、図３９に示すステップＳ３９０１〜ステップＳ３９０３、及びステップＳ３９０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図３９に示すステップＳ３９０１〜ステップＳ３９０３の処理を実行後、対応点正規化相対スケール算出部６０１は、第１のスケール情報群と第２のスケール情報群と対応点情報群に基づき相対スケール関係を算出する。また、対応点相対方向算出部１００３は、第１の方向情報群と、第２の方向情報群と対応点情報群に基づき対応点相対方向情報を算出する（ステップＳ３９０４）。対応点選定部３４０２は、対応点相対スケール情報群と、対応点相対方向情報群と、第１の座標値情報群とに基づいて、特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ３９０５）。そして、図３９に示すステップＳ３９０６に遷移する。
（変形例１３の効果）
変形例１３は、変形例１１と同様の効果が得られるとともに、また、画像間で正しく対応付けられた特徴点間の相対スケールを正規化すると、正規化した対応点相対スケールは第１の画像内の全ての被写体で一定となるため、変形例１１よりもそれらを精度良く識別することができる。
［変形例１４］
次に、図４０を参照して、変形例１４を説明する。図４０は、変形例１４に係る画像処理装置４００の機能構成を示すブロック図である。図４０に示すように、画像処理装置４００は、図３８に示す画像処理装置３８０と同様の構成であり、対応点選定部３６０１の構成と動作が異なる。また、対応点選定部３６０１の動作は、変形例１２と同様であるため説明を省略する。
（変形例１４の動作）
図４１は変形例１４の動作を示すフローチャートである。図４１を用いて、変形例１４の動作を詳細に説明する。なお、図４１に示すステップＳ４１０１〜ステップＳ４１０３、及びステップＳ４１０６は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図４１に示すステップＳ４１０１〜ステップＳ４１０３の処理を実行後、対応点正規化相対スケール算出部６０１は、第１のスケール情報群と第２のスケール情報群と対応点情報群に基づき相対スケール関係を算出する。そして、対応点正規化相対スケール算出部６０１は、算出された相対スケール関係を画像サイズあるいは実際の被写体サイズ等に基づいて正規化する。また、対応点相対方向算出部１００３は、第１の方向情報群と、第２の方向情報群と対応点情報群に基づき対応点相対方向情報を算出する（ステップＳ４１０４）。対応点選定部３６０１は、対応点正規化相対スケール情報群と対応点相対方向情報群と第１の座標値情報群と相対スケール範囲と相対方向範囲と相対座標値範囲とに基づいて特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ４１０５）。そして、図４１に示すステップＳ４１０６に遷移する。
（変形例１４の効果）
変形例１４は、変形例１３と同様の効果が得られるとともに、相対スケール範囲内の正規化相対スケール値を持つ特徴点と、相対方向範囲内の方向情報を持つ特徴点と、相対座標値範囲内にある特徴点とだけをクラスタリングするため、変形例１３より計算量を低減できる。
［変形例１５］
次に、図４４を参照して、変形例１５を説明する。図４４は、変形例１５に係る画像処理装置４４０の機能構成を示すブロック図である。図４４に示すように、画像処理装置４４０は、図４２に示す画像処理装置４２０と同様の構成であり、対応点選定部４４０１の構成と動作が異なる。
対応点選定部４４０１は、対応点相対スケール算出部２０４が出力した対応点相対スケール情報群と相対スケール範囲、及び、相対座標値算出部４２０２が出力した相対座標値情報群と相対座標値範囲とを用いて、特徴点をクラスタリングする。
（変形例１５の動作）
図４５は変形例１５の動作を示すフローチャートである。図４５を用いて、変形例１５の動作を詳細に説明する。なお、図４５に示すステップＳ４５０１〜ステップＳ４５０３、及びステップＳ４５０７は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図４５に示すステップＳ４５０１〜ステップＳ４５０３の処理を実行後、対応点相対スケール算出部２０４は対応点相対スケールを算出し、対応点相対方向算出部１００３は対応点相対方向を算出する（ステップＳ４５０４）。相対座標値算出部４２０２は、対応点相対スケール情報群と、対応点相対方向情報群と、基準点座標値、第１の座標値情報群と、第２の座標値情報群とを用いて、相対座標値を算出する(ステップＳ４５０５)。対応点選定部４４０１は、対応点相対スケール情報群と相対スケール範囲、及び相対座標値情報群と相対座標値範囲とに基づいて特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ４５０６）。そして、図４５に示すステップＳ４５０７に遷移する。
変形例１５は、実施形態７と同様の効果が得られるとともに、相対スケール範囲内の相対スケール値を持つ特徴点と、相対座標値範囲内の相対座標値を持つ特徴点とだけをクラスタリングするため、実施形態７より計算量を低減できる。
［変形例１６］
次に、図４６を参照して、変形例１６を説明する。図４６は、変形例１６に係る画像処理装置４６０の機能構成を示すブロック図である。図４６に示すように、画像処理装置４６０は、図４２に示す画像処理装置４２０と同様の構成であり、対応点正規化相対スケール算出部６０１の構成と動作が異なる。また、対応点正規化相対スケール算出部６０１の動作は、変形例１４と同様であるため説明を省略する。
（変形例１６の動作）
図４７は変形例１６の動作を示すフローチャートである。図４７を用いて、変形例１６の動作を詳細に説明する。なお、図４７に示すステップＳ４７０１〜ステップＳ４７０３、及びステップＳ４７０７は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図４７に示すステップＳ４７０１〜ステップＳ４７０３の処理を実行後、対応点正規化相対スケール算出部６０１は、第１のスケール情報群と第２のスケール情報群と対応点情報群に基づき相対スケール関係を算出し、算出された相対スケール関係を画像サイズあるいは実際の被写体サイズ等に基づいて正規化する。また、対応点相対方向算出部１００３は、第１の方向情報群と、第２の方向情報群と対応点情報群に基づき対応点相対方向情報を算出する（ステップＳ４７０４）。相対座標値算出部４２０２は、対応点正規化相対スケール情報群と、対応点相対方向情報群と、基準点座標値、第１の座標値情報群と、第２の座標値情報群とを用いて、相対座標値を算出する(ステップＳ４７０５)。対応点選定部４２０３は、対応点正規化相対スケール情報群と相対スケール範囲、及び相対座標値情報群と相対座標値範囲とに基づいて特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ４７０６）。そして、図４７に示すステップＳ４７０７に遷移する。
（変形例１６の効果）
変形例１６は、実施形態７と同様の効果が得られる。また、画像間で正しく対応付けられた特徴点間の相対スケールを正規化すると、正規化した対応点相対スケールは第１の画像内の全ての被写体で一定となる。そのため、変形例１６は、対応点の正規化相対スケール値に基づいて特徴点をクラスタリングすることにより、画像間でサイズが異なる被写体が含まれていても、実施形態７よりもそれらを精度良く識別することができる。
［変形例１７］
次に、図４８を参照して、変形例１７を説明する。図４８は、変形例１７に係る画像処理装置４８０の機能構成を示すブロック図である。図４８に示すように、画像処理装置４８０は、図４６に示す画像処理装置４６０と同様の構成であり、対応点選定部４４０１の構成と動作が異なる。また、対応点選定部４４０１は、変形例１６と同様であるため説明を省略する。
（変形例１７の動作）
図４９は変形例１７の動作を示すフローチャートである。図４９を用いて、変形例１７の動作を詳細に説明する。なお、図４９に示すステップＳ４９０１〜ステップＳ４９０３、及びステップＳ４９０７は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図４９に示すステップＳ４９０１〜ステップＳ４９０３の処理を実行後、対応点正規化相対スケール算出部６０１は、第１のスケール情報群と第２のスケール情報群と対応点情報群に基づき相対スケール関係を算出し、算出された相対スケール関係を画像サイズあるいは実際の被写体サイズ等に基づいて正規化する。また、対応点相対方向算出部１００３は、第１の方向情報群と、第２の方向情報群と対応点情報群に基づき対応点相対方向情報を算出する（ステップＳ４９０４）。相対座標値算出部４２０２は、対応点正規化相対スケール情報群と、対応点相対方向情報群と、基準点座標値、第１の座標値情報群と、第２の座標値情報群とを用いて、相対座標値を算出する(ステップＳ４９０５)。対応点選定部４４０１は、対応点相対スケール情報群と相対スケール範囲、及び相対座標値情報群と相対座標値範囲とに基づいて特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ４９０６）。そして、図４９に示すステップＳ４９０７に遷移する。
（変形例１７の効果）
変形例１７は、変形例１５と同様の効果が得られるとともに、正規化した対応点相対スケールは第１の画像内の全ての被写体で一定となるため、対応点の正規化相対スケール値に基づいて特徴点をクラスタリングすることにより、変形例１６と同様の効果が得られる。また、本実施形態は、相対スケール範囲内の相対スケール値を持つ特徴点と、相対座標値範囲内の相対座標値を持つ特徴点とだけをクラスタリングするため、変形例１６よりも計算量を低減できる。
［変形例１８］
次に、図５０を参照して、変形例１８を説明する。図５０は、変形例１８に係る画像処理装置５００の機能構成を示すブロック図である。図５０に示すように、画像処理装置５００は、図３４に示す画像処理装置３４０と同様の構成であり、第２の局所特徴量生成部４２０１、相対座標値算出部４２０２、及び対応点選定部５００１の構成と動作が異なる。第２の局所特徴量生成部４２０１と相対座標値算出部４２０２の構成と動作は、変形例１７と同様の構成であるため説明を省略する。
対応点選定部５００１は、相対座標値算出部４２０２が出力した相対座標値情報群と対応点相対方向算出部１００３が出力した対応点相対方向情報群とを用いて、特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する。
（変形例１８の動作）
図５１は変形例１８の動作を示すフローチャートである。図５１を用いて、変形例１８の動作を詳細に説明する。なお、図５１に示すステップＳ５１０１〜ステップＳ５１０３、及びステップＳ５１０７は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図５１に示すステップＳ５１０１〜ステップＳ５１０３の処理を実行後、対応点相対スケール算出部２０４は、第１のスケール情報群と第２のスケール情報群と対応点情報群とに基づいて相対スケール関係を算出し、対応点相対方向算出部１００３は、第１の方向情報群と第２の方向情報群と対応点情報群とに基づいて対応点相対方向情報を算出する（ステップＳ５１０４）。相対座標値算出部４２０２は、対応点相対スケール情報群と、対応点相対方向情報群と、基準点座標値、第１の座標値情報群と、第２の座標値情報群とを用いて、相対座標値を算出する(ステップＳ５１０５)。対応点選定部５００１は、対応点相対方向情報群と相対座標値情報群とに基づいて特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ５１０６）。そして、図５１に示すステップＳ５１０７に遷移する。
（変形例１８の効果）
変形例１８は、変形例１１と同様の効果が得られるとともに、第１の画像の各特徴点を被写体中心に集めてから、それらをクラスタリングするため、変形例１１よりも特徴点を精度良くクラスタリングできる。従って、画像内の同一または類似の被写体を変形例１１よりも精度良く識別できる。
［変形例１９］
次に、図５２を参照して、変形例１９を説明する。図５２は、変形例１９に示す画像処理装置５２０の機能構成を示すブロック図である。図５２に示すように、画像処理装置５２０は、図５０に示す画像処理装置５００と同様の構成であり、対応点選定部５２０１の構成と動作が異なる。
対応点選定部５２０１は、相対座標値算出部４２０２が出力した相対座標値情報群と相対座標値範囲、及び、対応点相対方向算出部１００３が出力した対応点相対方向情報群と相対方向範囲とを用いて、特徴点をクラスタリングする。
（変形例１９の動作）
図５３は変形例１９の動作を示すフローチャートである。図５３を用いて、変形例１９の動作を詳細に説明する。なお、図５３に示すステップＳ５３０１〜ステップＳ５３０３、及びステップＳ５３０７は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図５３に示すステップＳ５３０１〜ステップＳ５３０３の処理を実行後、対応点相対スケール算出部２０４は、第１のスケール情報群と第２のスケール情報群と対応点情報群とに基づいて相対スケール関係を算出し、対応点相対方向算出部１００３は、第１の方向情報群と第２の方向情報群と対応点情報群とに基づいて対応点相対方向情報を算出する（ステップＳ５３０４）。相対座標値算出部４２０２は、対応点相対スケール情報群と、対応点相対方向情報群と、基準点座標値、第１の座標値情報群と、第２の座標値情報群を用いて、相対座標値を算出する(ステップＳ５３０５)。対応点選定部５２０１は、対応点相対方向情報群と相対座標値情報群と相対方向範囲と相対座標値範囲とに基づいて特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ５３０６）。そして、図５３に示すステップＳ５３０７に遷移する。
（変形例１９の効果）
変形例１９は、変形例１８と同様の効果が得られるとともに、相対方向範囲内の相対方向値を持つ特徴点と、相対座標値範囲内の相対座標値を持つ特徴点とだけをクラスタリングするため、変形例１８より計算量を低減できる。
［変形例２０］
次に、図５４を参照して、変形例２０を説明する。図５４は、変形例２０に係る画像処理装置５４０の機能構成を示すブロック図である。図５４に示すように、画像処理装置５４０は、図４２に示す画像処理装置４２０と同様の構成であり、対応点選定部５４０１の構成と動作が異なる。
対応点選定部５４０１は、相対座標値算出部４２０２が出力した相対座標値情報群と、対応点相対スケール算出部２０４が出力した対応点相対スケール情報群と、対応点相対方向算出部１００３が出力した対応点相対方向情報群とを用いて、特徴点をクラスタリングする。
（変形例２０の動作）
図５５は変形例２０の動作を示すフローチャートである。図５５を用いて、変形例２０の動作を詳細に説明する。なお、図５５に示すステップＳ５５０１〜ステップＳ５５０３、及びステップＳ５５０７は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図５５に示すステップＳ５５０１〜ステップＳ５５０３の処理を実行後、対応点相対スケール算出部２０４は、第１のスケール情報群と第２のスケール情報群と対応点情報群とに基づき、相対スケール関係を算出し、対応点相対方向算出部１００３は第１の方向情報群と第２に方向情報群と対応点情報群とに基づき対応点相対方向情報を算出する（ステップＳ５５０４）。相対座標値算出部４２０２は、対応点相対スケール情報群と、対応点相対方向情報群と、基準点座標値と、第１の座標値情報群と、第２の座標値情報群とを用いて、相対座標値を算出する(ステップＳ５５０５)。対応点選定部５４０１は、対応点相対スケール情報群と対応点相対方向情報群と相対座標値情報群とに基づいて特徴点をクラスタリングし、クラスタリングの結果に基づいて特徴点を選定する（ステップＳ５５０６）。そして、図５５に示すステップＳ５５０７に遷移する。
（変形例２０の効果）
変形例２０は、実施形態７と同様の効果が得られるとともに、画像間で正しく対応付けられた特徴点間の相対方向は被写体ごとに一定となる。そのため、対応点相対方向情報に基づいて特徴点をクラスタリングすることにより、第１の画像の特徴点と第２の画像の特徴点の誤った対応付けを削除することができる。これにより、本実施形態は、実施形態７よりも画像内の同一または類似の被写体を精度良く識別できる。
［変形例２１］
次に、図５６を参照して、変形例２１を説明する。図５６は、変形例２１に係る画像処理装置５６０の機能構成を示すブロック図である。図５６に示すように、画像処理装置５６０は、図５４に示す画像処理装置５４０と同様の構成であり、対応点選定部５６０１の構成と動作が異なる。
対応点選定部５６０１は、相対座標値算出部４２０２が出力した相対座標値情報群と、相対座標値範囲と、対応点相対スケール算出部２０４が出力した対応点相対スケール情報群と相対スケール範囲、及び、対応点相対方向算出部１００３が出力した対応点相対方向情報群と相対方向範囲とを用いて、特徴点をクラスタリングする。
（変形例２１の動作）
図５７は変形例２１の動作を示すフローチャートである。図５７を用いて、変形例２１の動作を詳細に説明する。なお、図５７に示すステップＳ５７０１〜ステップＳ５７０３、及びステップＳ５７０７は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図５７に示すステップＳ５７０１〜ステップＳ５７０３の処理を実行後、対応点相対スケール算出部２０４は、第１のスケール情報群と第２のスケール情報群と対応点情報群に基づき相対スケール関係を算出し、対応点相対方向算出部１００３は第１の方向情報群と第２に方向情報群と対応点情報群とに基づき対応点相対方向情報を算出する（ステップＳ５７０４）。相対座標値算出部４２０２は、対応点相対スケール情報群と、対応点相対方向情報群と、基準点座標値、第１の座標値情報群と、第２の座標値情報群とを用いて、相対座標値を算出する(ステップＳ５７０５)。対応点選定部５６０１は、対応点相対スケール情報群と対応点相対方向情報群と相対座標値情報群と相対スケール範囲と相対方向範囲と相対座標値範囲とに基づいて特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ５７０６）。そして、図５７に示すステップＳ５７０７に遷移する。
（変形例２１の効果）
変形例２１は、変形例２０と同様の効果が得られるとともに相対スケール範囲内の相対スケール値を持つ特徴点と、相対方向範囲内の方向情報を持つ特徴点と、相対座標値範囲内の相対座標値を持つ特徴点とだけをクラスタリングするため、変形例２０より計算量を低減できる。
［変形例２２］
次に、図５８を参照して、変形例２２を説明する。図５８は、変形例２２に係る画像処理装置５８０の機能構成を示すブロック図である。図５８に示すように、画像処理装置５８０は、図５４に示す画像処理装置５４０と同様の構成であり、対応点正規化相対スケール算出部６０１の構成と動作が異なる。また、対応点正規化相対スケール算出部６０１の動作は、変形例１７と同様であるため説明を省略する。
（変形例２２の動作）
図５９は変形例２２の動作を示すフローチャートである。図５９を用いて、変形例２２の動作を詳細に説明する。なお、図５９に示すステップＳ５９０１〜ステップＳ５９０３、及びステップＳ５９０７は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図５９に示すステップＳ５９０１〜ステップＳ５９０３の処理を実行後、対応点正規化相対スケール算出部６０１は、第１のスケール情報群と第２のスケール情報群と対応点情報群に基づき相対スケール関係を算出し、算出された相対スケール関係を画像サイズあるいは実際の被写体サイズ等に基づいて正規化する。また、対応点相対方向算出部１００３は、第１の方向情報群と、第２の方向情報群と対応点情報群に基づき対応点相対方向情報を算出する（ステップＳ５９０４）。相対座標値算出部４２０２は、対応点相対スケール情報群と、対応点相対方向情報群と、基準点座標値、第１の座標値情報群と、第２の座標値情報群を用いて、相対座標値を算出する(ステップＳ５９０５)。対応点選定部５４０１は、対応点相対スケール情報群と対応点相対方向情報群と相対座標値情報群とに基づいて特徴点をクラスタリングし、クラスタリングの結果に基づいて特徴点を選定する（ステップＳ５９０６）。そして、図５９に示すステップＳ５９０７に遷移する。
（変形例２２の効果）
変形例２２は、変形例２０と同様の効果が得られるとともに、画像間で正しく対応付けられた特徴点間の相対スケールを正規化すると、正規化した対応点相対スケールは第１の画像内の全ての被写体で一定となる。そのため、変形例２２は、対応点の正規化相対スケール値に基づいて特徴点をクラスタリングすることにより、画像間でサイズが異なる被写体が含まれていても、変形例２０よりもそれらを精度良く識別することができる。
［変形例２３］
次に、図６０を参照して、変形例２３を説明する。図６０は、変形例２３に係る画像処理装置６００の機能構成を示すブロック図である。図６０に示すように、画像処理装置６００は、図５８に示す画像処理装置５８０と同様の構成であり、対応点選定部５６０１の構成と動作が異なる。また、対応点選定部５６０１の動作は、変形例２１と同様であるため説明を省略する。
（変形例２３の動作）
図６１は本実施形態の動作を示すフローチャートである。図６１を用いて、変形例２３の動作を詳細に説明する。なお、図６１に示すステップＳ６１０１〜ステップＳ６１０３、及びステップＳ６１０７は、図３に示すステップＳ３０１〜ステップＳ３０３、及びステップＳ３０６と同一であるため、詳細な説明は省略する。
図６１に示すステップＳ６１０１〜ステップＳ６１０３の処理を実行後、対応点正規化相対スケール算出部６０１は、第１のスケール情報群と、第２のスケール情報群と、対応点情報群に基づき、相対スケール関係を算出し、算出された相対スケール関係を画像サイズあるいは実際の被写体サイズ等に基づいて正規化する。また、対応点相対方向算出部１００３は、第１の方向情報群と、第２の方向情報群と対応点情報群に基づき対応点相対方向情報を算出する（ステップＳ６１０４）。相対座標値算出部４２０２は、対応点相対スケール情報群と、対応点相対方向情報群と、基準点座標値と、第１の座標値情報群と、第２の座標値情報群とを用いて、相対座標値を算出する(ステップＳ６１０５)。対応点選定部５６０１は、対応点相対スケール情報群と、対応点相対方向情報群と、相対座標値情報群と、相対スケール範囲と、相対方向範囲と、相対座標値範囲とに基づいて、特徴点をクラスタリングし、クラスタリング結果に基づいて特徴点を選定する（ステップＳ６１０６）。そして、図６１に示すステップＳ６１０７に遷移する。
（変形例２３の効果）
変形例２３は、変形例２２と同様の効果が得られるとともに、相対スケール範囲内の相対スケール値を持つ特徴点と、相対方向範囲内の相対方向情報を持つ特徴点と、相対座標値範囲内の相対座標値を持つ特徴点とだけをクラスタリングするため、変形例２２より計算量を低減できる。
上述の実施形態の一部又は全部は、以下の形態のようにも記載され得るが、以下には限られない。
（形態１）上記第１の視点に係る画像処理装置の通りである。
（形態２）第１の画像から、１又は２以上の第１の特徴点を検出し、検出した前記各第１の特徴点を含む所定の範囲の領域から、前記各第１の特徴点に対応する、第１の局所特徴量情報群を算出する、第１の局所特徴量生成部と、
前記第１の特徴点と、第２の画像から算出した第２の局所特徴量情報群に含まれる第２の特徴点との対応関係を、対応点情報として算出する対応点算出部と、
前記第１の局所特徴量情報群と、前記第２の局所特徴量情報群と、前記対応点情報とに基づいて、前記第１の特徴点の方向と、前記第２の特徴点の方向との相対関係を、対応点相対方向情報として算出する対応点相対方向算出部と、
前記対応点相対方向情報に基づいて、前記第１の特徴点、前記第２の特徴点の少なくとも一の特徴点をクラスタリングし、クラスタリング結果に基づいて、少なくとも一の特徴点を選定する対応点選定部と、
前記対応点選定部が選定した特徴点に基づいて、クラスタ毎に、前記第１の画像と、前記第２の画像を比較し、被写体の同一性を判定する判定部と、
を備える画像処理装置。
（形態３）前記対応点相対情報算出部は、前記対応点相対スケール情報を正規化する、形態１に記載の画像処理装置。
（形態４）前記対応点選定部は、前記対応点相対情報、及び前記第１の特徴点の座標値に基づいて、前記第１の特徴点をクラスタリングする、形態１乃至３のいずれか一に記載の画像処理装置。
（形態５）前記対応点選定部は、選定した特徴点の前記対応点情報と、１又は２以上のクラスタ情報と、を対応付けた選定情報を生成する、形態１乃至４のいずれか一に記載の画像処理装置。
（形態６）前記第２の画像から基準点を選択し、前記第１の特徴点と、前記第２の特徴点と、前記対応点相対情報とに基づいて、前記第１の特徴点と、前記基準点との相対関係を、相対座標情報として算出する、相対座標値算出部をさらに備える形態１乃至５のいずれか一に記載の画像処理装置。
（形態７）前記対応点選定部は、前記対応点相対情報と、所定の対応点相対情報範囲とに基づいて、前記第１の特徴点、前記第２の特徴点の少なくとも一の特徴点をクラスタリングする、形態１乃至６のいずれか一に記載の画像処理装置。
（形態８）上記第２の視点に係る被写体識別方法の通りである。
（形態９）第１の画像から、１又は２以上の第１の特徴点を検出し、検出した前記各第１の特徴点を含む所定の範囲の領域から、前記各第１の特徴点に対応する、第１の局所特徴量情報群を算出する工程と、
前記第１の特徴点と、第２の画像から算出した第２の局所特徴量情報群に含まれる第２の特徴点との対応関係を、対応点情報として算出する工程と、
前記第１の局所特徴量情報群と、前記第２の局所特徴量情報群と、前記対応点情報とに基づいて、前記第１の特徴点の方向と、前記第２の特徴点の方向との相対関係を、対応点相対方向情報として算出する工程と、
前記対応点相対方向情報に基づいて、前記第１の特徴点、前記第２の特徴点の少なくとも一の特徴点をクラスタリングし、クラスタリング結果に基づいて、少なくとも一の特徴点を選定する工程と、
選定された特徴点に基づいて、クラスタ毎に、前記第１の画像と、前記第２の画像を比較し、被写体の同一性を判定する工程と、
を含む被写体識別方法。
（形態１０）上記第３の視点に係るプログラムの通りである。
（形態１１）画像処理装置を制御するコンピュータに実行させるプログラムであって、
第１の画像から、１又は２以上の第１の特徴点を検出し、検出した前記各第１の特徴点を含む所定の範囲の領域から、前記各第１の特徴点に対応する、第１の局所特徴量情報群を算出する処理と、
前記第１の特徴点と、第２の画像から算出した第２の局所特徴量情報群に含まれる第２の特徴点との対応関係を、対応点情報として算出する工程と、
前記第１の局所特徴量情報群と、前記第２の局所特徴量情報群と、前記対応点情報とに基づいて、前記第１の特徴点の方向と、前記第２の特徴点の方向との相対関係を、対応点相対方向情報として算出する処理と、
前記対応点相対方向情報に基づいて、前記第１の特徴点、前記第２の特徴点の少なくとも一の特徴点をクラスタリングし、クラスタリング結果に基づいて、少なくとも一の特徴点を選定する処理と、
選定された特徴点に基づいて、クラスタ毎に、前記第１の画像と、前記第２の画像を比較し、被写体の同一性を判定する処理と、
を画像処理装置を制御するコンピュータに実行させるプログラム。
なお、引用した上述の特許文献等の開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
１０、２０、４０、６０、８０、１００、１２０、１４０、１６０、１８０、２００、２２０、２４０、２６０、２８０、３００、３２０、３４０、３６０、３８０、４００、４２０、４４０、４６０、４８０、５００、５２０、５４０、５６０、５８０、６００ 画像処理装置
１１ 第１の局所特徴量生成部
１３ 対応点算出部
１４ 対応点相対スケール算出部
１５ 対応点選定部
１６ 判定部
１０１、２０１、１００１、１４０１、２２０１、３００１、３４０１ 第１の局所特徴量生成部
１０２、２０２、１００２、１４０２、４２０１ 第２の局所特徴量生成部
１０３、２０３ 対応点算出部
１０４、２０６ 判定部
２０４ 対応点相対スケール算出部
２０５、４０１、１００４、１２０１、１４０３、１６０１、２２０２、２４０１、３００２、３２０１、３４０２、３６０１、４２０３、４４０１、５００１、５２０１、５４０１、５６０１ 対応点選定部
６０１ 対応点正規化相対スケール算出部
１００３ 対応点相対方向算出部
４２０２ 相対座標値算出部
１０００１、１０００２、１００１１、１００１２ 画像

Claims (10)

  1. 第１の画像から、１又は２以上の第１の特徴点を検出し、検出した前記各第１の特徴点を含む所定の範囲の領域から、前記各第１の特徴点に対応する、第１の局所特徴量情報群を算出する、第１の局所特徴量生成部と、
    前記第１の特徴点と、第２の画像から算出した第２の局所特徴量情報群に含まれる第２の特徴点との対応関係を、対応点情報として算出する対応点算出部と、
    前記第１の局所特徴量情報群と、前記第２の局所特徴量情報群と、前記対応点情報とに基づいて、前記第１の特徴点のスケールと、前記第２の特徴点のスケールとの相対関係を、対応点相対スケール情報として算出する対応点相対スケール算出部と、
    前記対応点相対スケール情報に基づいて、前記第１の特徴点、前記第２の特徴点の少なくとも一の特徴点をクラスタリングし、クラスタリング結果に基づいて、少なくとも一の特徴点を選定する対応点選定部と、
    前記対応点選定部が選定した特徴点に基づいて、クラスタ毎に、前記第１の画像と、前記第２の画像を比較し、被写体の同一性を判定する判定部と、
    を備える画像処理装置。
  2. 第１の画像から、１又は２以上の第１の特徴点を検出し、検出した前記各第１の特徴点を含む所定の範囲の領域から、前記各第１の特徴点に対応する、第１の局所特徴量情報群を算出する、第１の局所特徴量生成部と、
    前記第１の特徴点と、第２の画像から算出した第２の局所特徴量情報群に含まれる第２の特徴点との対応関係を、対応点情報として算出する対応点算出部と、
    前記第１の局所特徴量情報群と、前記第２の局所特徴量情報群と、前記対応点情報とに基づいて、前記第１の特徴点の方向と、前記第２の特徴点の方向との相対関係を、対応点相対方向情報として算出する対応点相対方向算出部と、
    前記対応点相対方向情報に基づいて、前記第１の特徴点、前記第２の特徴点の少なくとも一の特徴点をクラスタリングし、クラスタリング結果に基づいて、少なくとも一の特徴点を選定する対応点選定部と、
    前記対応点選定部が選定した特徴点に基づいて、クラスタ毎に、前記第１の画像と、前記第２の画像を比較し、被写体の同一性を判定する判定部と、
    を備える画像処理装置。
  3. 前記対応点相対情報算出部は、前記対応点相対スケール情報を正規化する、請求項１に記載の画像処理装置。
  4. 前記対応点選定部は、前記対応点相対情報、及び前記第１の特徴点の座標値に基づいて、前記第１の特徴点をクラスタリングする、請求項１乃至３のいずれか一に記載の画像処理装置。
  5. 前記対応点選定部は、選定した特徴点の前記対応点情報と、１又は２以上のクラスタ情報と、を対応付けた選定情報を生成する、請求項１乃至４のいずれか一に記載の画像処理装置。
  6. 前記第２の画像から基準点を選択し、前記第１の特徴点と、前記第２の特徴点と、前記対応点相対情報とに基づいて、前記第１の特徴点と、前記基準点との相対関係を、相対座標情報として算出する、相対座標値算出部をさらに備える請求項１乃至５のいずれか一に記載の画像処理装置。
  7. 前記対応点選定部は、前記対応点相対情報と、所定の対応点相対情報範囲とに基づいて、前記第１の特徴点、前記第２の特徴点の少なくとも一の特徴点をクラスタリングする、請求項１乃至６のいずれか一に記載の画像処理装置。
  8. 第１の画像から、１又は２以上の第１の特徴点を検出し、検出した前記各第１の特徴点を含む所定の範囲の領域から、前記各第１の特徴点に対応する、第１の局所特徴量情報群を算出する工程と、
    前記第１の特徴点と、第２の画像から算出した第２の局所特徴量情報群に含まれる第２の特徴点との対応関係を、対応点情報として算出する工程と、
    前記第１の局所特徴量情報群と、前記第２の局所特徴量情報群と、前記対応点情報とに基づいて、前記第１の特徴点のスケールと、前記第２の特徴点のスケールとの相対関係を、対応点相対スケール情報として算出する工程と、
    前記対応点相対スケール情報に基づいて、前記第１の特徴点、前記第２の特徴点の少なくとも一の特徴点をクラスタリングし、クラスタリング結果に基づいて、少なくとも一の特徴点を選定する工程と、
    選定された特徴点に基づいて、クラスタ毎に、前記第１の画像と、前記第２の画像を比較し、被写体の同一性を判定する工程と、
    を含む被写体識別方法。
  9. 第１の画像から、１又は２以上の第１の特徴点を検出し、検出した前記各第１の特徴点を含む所定の範囲の領域から、前記各第１の特徴点に対応する、第１の局所特徴量情報群を算出する工程と、
    前記第１の特徴点と、第２の画像から算出した第２の局所特徴量情報群に含まれる第２の特徴点との対応関係を、対応点情報として算出する工程と、
    前記第１の局所特徴量情報群と、前記第２の局所特徴量情報群と、前記対応点情報とに基づいて、前記第１の特徴点の方向と、前記第２の特徴点の方向との相対関係を、対応点相対方向情報として算出する工程と、
    前記対応点相対方向情報に基づいて、前記第１の特徴点、前記第２の特徴点の少なくとも一の特徴点をクラスタリングし、クラスタリング結果に基づいて、少なくとも一の特徴点を選定する工程と、
    選定された特徴点に基づいて、クラスタ毎に、前記第１の画像と、前記第２の画像を比較し、被写体の同一性を判定する工程と、
    を含む被写体識別方法。
  10. 第１の画像から、１又は２以上の第１の特徴点を検出し、検出した前記各第１の特徴点を含む所定の範囲の領域から、前記各第１の特徴点に対応する、第１の局所特徴量情報群を算出する処理と、
    前記第１の特徴点と、第２の画像から算出した第２の局所特徴量情報群に含まれる第２の特徴点との対応関係を、対応点情報として算出する工程と、
    前記第１の局所特徴量情報群と、前記第２の局所特徴量情報群と、前記対応点情報とに基づいて、前記第１の特徴点のスケールと、前記第２の特徴点のスケールとの相対関係を、対応点相対スケール情報として算出する処理と、
    前記対応点相対スケール情報に基づいて、前記第１の特徴点、前記第２の特徴点の少なくとも一の特徴点をクラスタリングし、クラスタリング結果に基づいて、少なくとも一の特徴点を選定する処理と、
    選定された特徴点に基づいて、クラスタ毎に、前記第１の画像と、前記第２の画像を比較し、被写体の同一性を判定する処理と、
    を画像処理装置を制御するコンピュータに実行させるプログラム。
JP2015554986A 2013-12-26 2014-12-25 画像処理装置、被写体識別方法及びプログラム Active JP6459981B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013268852 2013-12-26
JP2013268852 2013-12-26
PCT/JP2014/084254 WO2015099016A1 (ja) 2013-12-26 2014-12-25 画像処理装置、被写体識別方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2015099016A1 JPWO2015099016A1 (ja) 2017-03-23
JP6459981B2 true JP6459981B2 (ja) 2019-01-30

Family

ID=53478863

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015554986A Active JP6459981B2 (ja) 2013-12-26 2014-12-25 画像処理装置、被写体識別方法及びプログラム

Country Status (7)

Country Link
US (1) US9798955B2 (ja)
EP (1) EP3089108B1 (ja)
JP (1) JP6459981B2 (ja)
KR (1) KR101822317B1 (ja)
CN (1) CN105849776A (ja)
HK (1) HK1224069A1 (ja)
WO (1) WO2015099016A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015170461A1 (ja) * 2014-05-07 2015-11-12 日本電気株式会社 画像処理装置、画像処理方法およびコンピュータ可読記録媒体
JP6435048B2 (ja) * 2015-07-06 2018-12-05 日本電信電話株式会社 画像照合装置、画像照合方法、及びプログラム
KR101647691B1 (ko) * 2016-02-12 2016-08-16 데이터킹주식회사 하이브리드 기반의 영상 클러스터링 방법 및 이를 운용하는 서버
WO2017179728A1 (ja) * 2016-04-14 2017-10-19 シャープ株式会社 画像認識装置、画像認識方法および画像認識プログラム
CN110941989A (zh) * 2019-10-18 2020-03-31 北京达佳互联信息技术有限公司 图像校验、视频校验方法、装置、设备及存储介质
KR102395166B1 (ko) * 2021-10-29 2022-05-09 주식회사 딥노이드 특징 좌표 기반의 유사도 산출 장치 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
JP4374902B2 (ja) 2003-05-16 2009-12-02 富士通株式会社 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム
JP4889351B2 (ja) 2006-04-06 2012-03-07 株式会社トプコン 画像処理装置及びその処理方法
JP4946878B2 (ja) * 2008-01-10 2012-06-06 株式会社豊田中央研究所 画像識別装置及びプログラム
JP5290867B2 (ja) * 2009-05-25 2013-09-18 キヤノン株式会社 画像検索装置およびその方法
JP5385105B2 (ja) * 2009-11-25 2014-01-08 Ｋｄｄｉ株式会社 画像検索方法およびシステム
JP2011221688A (ja) * 2010-04-07 2011-11-04 Sony Corp 認識装置、認識方法、およびプログラム
GB2487377B (en) * 2011-01-18 2018-02-14 Aptina Imaging Corp Matching interest points
JP5746550B2 (ja) * 2011-04-25 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法
CN103065150A (zh) * 2011-10-24 2013-04-24 康佳集团股份有限公司 基于智能移动终端的场景识别方法
CN103946891B (zh) * 2011-11-18 2017-02-22 日本电气株式会社 局部特征量提取装置和局部特征量提取方法
CN102521838B (zh) * 2011-12-19 2013-11-27 国家计算机网络与信息安全管理中心 一种图像匹配方法及系统
JP6280382B2 (ja) * 2013-03-08 2018-02-14 キヤノン株式会社 画像処理装置および画像処理方法
CN103456022B (zh) * 2013-09-24 2016-04-06 中国科学院自动化研究所 一种高分辨率遥感图像特征匹配方法

Also Published As

Publication number Publication date
EP3089108B1 (en) 2022-02-02
US9798955B2 (en) 2017-10-24
US20160300122A1 (en) 2016-10-13
KR20160103053A (ko) 2016-08-31
CN105849776A (zh) 2016-08-10
JPWO2015099016A1 (ja) 2017-03-23
KR101822317B1 (ko) 2018-01-25
WO2015099016A1 (ja) 2015-07-02
EP3089108A1 (en) 2016-11-02
HK1224069A1 (zh) 2017-08-11
EP3089108A4 (en) 2017-08-23

Similar Documents

Publication Publication Date Title
JP6459981B2 (ja) 画像処理装置、被写体識別方法及びプログラム
US10902292B2 (en) Method of training neural network, and recognition method and apparatus using neural network
EP3186780B1 (en) System and method for image scanning
WO2023138300A1 (zh) 目标检测方法及应用其的移动目标跟踪方法
US10878295B2 (en) Method and apparatus for recognizing image
CN111797709B (zh) 一种基于回归检测的实时动态手势轨迹识别方法
WO2022166363A1 (zh) 一种基于近邻子空间划分高光谱影像波段选择方法及系统
JP2020144626A (ja) 異常検出システム、及び異常検出プログラム
KR102366364B1 (ko) 기하학적 패턴 매칭 방법 및 이러한 방법을 수행하는 장치
CN117291936B (zh) 点云分割方法、装置、设备和介质
CN113918744A (zh) 相似图像检索方法、装置、存储介质及计算机程序产品
CN111091022A (zh) 机器视觉的效能评估方法与系统
Steckenrider et al. A probabilistic superpixel-based method for road crack network detection
CN113920073A (zh) 薄卡计数方法、装置、电子设备及存储介质
WO2015178001A1 (ja) 画像照合システム、画像照合方法、およびプログラムを記憶する記録媒体
CN112632601A (zh) 面向地铁车厢场景的人群计数方法
CN113065428A (zh) 基于特征选择的自动驾驶目标识别方法
CN112712123A (zh) 匹配筛选方法、装置、电子设备和计算机可读存储介质
Jumanov et al. Optimization of recognition of microorganisms based on histological information structures of images
CN117495891B (zh) 点云边缘检测方法、装置和电子设备
US20220383514A1 (en) Method and apparatus with object tracking
CN115661552A (zh) 一种点云处理、点云异常检测方法、介质及计算设备
CN115601410A (zh) 一种散斑深度估计方法、系统、电子设备及存储介质
CN116797781A (zh) 一种目标检测方法、装置、电子设备及存储介质
CN115439457A (zh) 一种太赫兹图像衍射条纹识别与定位方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181217

R150 Certificate of patent or registration of utility model

Ref document number: 6459981

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150