JP5353631B2 - 画像処理方法、画像処理プログラム及び画像処理装置 - Google Patents
画像処理方法、画像処理プログラム及び画像処理装置 Download PDFInfo
- Publication number
- JP5353631B2 JP5353631B2 JP2009243862A JP2009243862A JP5353631B2 JP 5353631 B2 JP5353631 B2 JP 5353631B2 JP 2009243862 A JP2009243862 A JP 2009243862A JP 2009243862 A JP2009243862 A JP 2009243862A JP 5353631 B2 JP5353631 B2 JP 5353631B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- local neighborhood
- neighborhood structure
- basic element
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、画像処理分野に属し、特に第一画像から第二画像を検出するための画像処理方法、画像処理プログラム及び画像処理装置に関する。
近年、情報技術の発展と社会生活のデジタル化に伴って、設計図の管理及び検索が早急に解決を要する研究課題になっている。統計によると、前世紀の９０年代初め頃までに、アメリカとカナダ地域の各種の設計図は、既に３５億枚に達し、毎年２６００万枚の速度で増加し続けている。これらの設計図を集めて整理する、例えばファイリング、複製及びサーチングするために毎年かかる費用は、平均的に１０億ドルに達している。
仕事の効率を向上させてコストを低下させるため、近年、研究者は、設計図の電子化管理に関する研究に力を尽くしている。かかる電子化管理には、主に、ハードコピーの設計図から自動的にＣＡＤ（Computer Aided Design）電子ファイルを生成する設計図理解、一枚の図面又は図面の一部分の形状をインデックスとして自動的に相似の設計図をサーチングする設計図の内容に基づく整合及び検索が含まれる。
内容に基づく設計図の整合は、極めて高い応用価値を有する。設計技術者は、ある製品を設計するとき、以前の設計図を参照又は修正することがよくある。このため、設計技術者は、以前の設計図のファイルを閲覧しながら関連する設計図をサーチングする必要がある。しかし、この過程では、多くの時間と工夫が必要とされる。
上述の問題を解決するため、テキストを用いて補助検索を行う手法、即ち各設計図に注釈文字を標記し、注釈文字を利用してキーワード検索を行う手法が提案されている。しかし、人手により多くの設計図に対して注釈文字の標記を行うことは、莫大な労力を必要とする。さらに、注釈文字のみを利用する場合、設計図の内容を適切に表現することができず、検索の精度を低下させることがある。設計図の内容に基づいて自動的に設計図の検索及び整合を行えば、設計技術者の作業効率を大幅に向上させて製品の開発及び保護のコストを低下させることができる。
例えば、テキスト及び設計図の構造情報を組み合わせてデータベースからある部材を含む設計図をサーチングする従来技術がある。かかる従来技術によれば、テキストを検索条件とし、テキスト情報よりモデルデータベースから幾何学的モデルを整合し、最後にテキスト及び幾何学的モデルの形状に基づいて設計図を検索する。かかる従来技術は、主に組立図を適用の対象としている。
また、例えば、設計図から特定の目標を検索する従来技術がある。かかる従来技術において、先ず、設計図から直線線分及び平滑な曲線を抽出する。設計図から抽出した直線線分及び平滑な曲線を後処理のベーシックエレメント（以下、「ＢＥ」（Basic Element）と略す）とする。そして、ＢＥの空間分布に基づいてDelaunayの三角網の技術を用いて属性グラフ（Attributed Graph）を構築する。即ち、属性グラフの形状により設計図の内容を陳述する。最後に、属性グラフの整合手法を用いて目標画像と検出待ち画像の相似度を計算することにより、目標検出の任務が完成する。また、例えば、特別なヒストグラムであるF-Signatureを利用して設計図の構成部分に対して整合を行う従来技術がある。
また、例えば、ドットマトリックスによる表現方法に代えて、設計図から抽出した直線のＢＥを用いて設計図の内容を表現する従来技術がある。かかる従来技術は、ドットマトリックスによる表現方法と比較して多くの利点、例えば表現の簡潔性、認知上の合理性を有する。また、かかる表述方法は、中間レベルの情報を用いて、設計図を表現する内容、例えばＢＥの平行又は交差関係等を提供する。かかる従来技術では、直線を基本的な描写子として用い、直線間の相対関係の属性を定義することにより、画像の構造情報を表現している。よって、目標検出は、描写子の集合間の対応問題に変換される。当該対応問題は、一つの二次最適化の過程を通じて実現される。
また、視覚的な角度からエッジ輪郭を合理的に組み合わせて、この組み合わせを基に目標検出を行うことは、既にコンピュータ視覚分野における一つの重要な課題になっている。例えば、エッジ輪郭ネットワーク（Contour Segment Network）の規則に基づいてエッジ輪郭を局部構造に組み合わせる従来技術がある。また、グルーピング（Grouping）手法を利用して試行サンプルにおけるエッジ輪郭構造に対して処理を行って、一つのエッジ輪郭のコードブックを生成する。そして、当該コードブックを利用して一つのサポートベクターマシン（ＳＶＭ（Support Vector Machine））を取得する。目標検出の際には、光格子のスキャニング手法を利用して、検出待ち画像における各位置に目標画像が含まれているか否かを検証する。当該従来技術は、自然の背景画像から特定の対象を有効に検出できるとしている。
S.Tabbone、L.Wendling、K.Tombre、「Matching of graphical symbols in line-drawing images using angular signature information」、International Journal of Document Analysis and Recognition、volume6、issue1、June 2003
Xiaofeng Ren、「Learning and matching line aspects for articulated object」、in Proceedings of the IEEE conference of computer vision and pattern recognition、1-8、2007
Vittorio Ferrari、Loic Fevrier、Frederic Jurie、Cordelia Schmid、「Groups of adjacent contour segments for object detection」、IEEE transactions on pattern analysis and machine intelligence、vol.30、no.1、36-51、2008
Jamie Shotton、Andrew Blake、Roberto Cipolla、「Contour-based learning for object detection」、in Proceedings of the IEEE international conference on computer vision、503-510、2005
Yossi Rubner、Carlo Tomasi、Leonidas J.Guibas、「The earth mover’s distance as a metric for image retrieval」、International journal of computer vision、volume40、no.2、page99-121、2000
Bogdan Georgescu、Ilan Shimshoni、Peter Meer、「Mean shift based clustering in high dimensions:a texture classification example」、in Proceedings of the IEEE international conference on computer vision、456-463、2003
しかしながら、上述した従来技術では、次の問題があった。テキスト及び設計図の構造情報を組み合わせてデータベースからある部材を含む設計図をサーチングする従来技術は、依然としてテキストに基づく検索方法への依存から脱却していない。このため、テキストによって設計図の内容を適切に表現することができず、検索の精度を低下させるという問題があった。
また、設計図から特定の目標を検索する従来技術は、実行速度が遅いという問題点があった。実際、属性グラフ整合の計算複雑度は、目標画像及び検出待ち画像の複雑度と指数関係を持つため、比較的複雑な目標画像と検出待ち画像に対しては、当該従来技術が実用化されることは難しかった。
また、特別なヒストグラムであるF-Signatureを利用して設計図の構成部分に対して整合を行う従来技術は、設計図における独立な構成部分のみ整合及び検索を行うことができるため、部分的検出及び整合を行うことができず、適用範囲が制限されていた。
また、ドットマトリックスによる表現方法に代えて、設計図から抽出した直線のＢＥを用いて設計図の内容を表現する従来技術は、実質は、依然として属性グラフの整合の範囲に属するため、計算速度が大きなボトルネックとなり、実用性が制限されていた。
また、視覚的な角度からエッジ輪郭を合理的に組み合わせて、この組み合わせを基に目標検出を行う従来技術は、設計図から対象を有効に検出する実際の要求に適していない。具体的には、先ず、当該従来技術は、各種の対象に対して試行を行ってエッジ輪郭コードブックを生成する。次に、光格子のスキャニング手法を用いて検出を行う。このため、当該従来技術は、実行速度が遅く、且つ比例拡大縮小の尺度が変化する状況に良好に対応できなかった。
総合的に見ると、従来の目標検出方法の主な問題には、下記のことが含まれている。
（１）属性グラフの整合を利用して検出を完了する目標検出方法は、例えば整合速度が遅く、比較的複雑な画像に対して一回の整合を完了するために何秒、延いては何十秒の時間がかかる。
（２）試行に基づく目標検出方法は、検出性能は比較的良好であるが、例えば各種の特定の対象に対して試行を行う必要があるため、実用化することが難しく、また検出の速度は実用の要求を満足できない場合があった。
（３）全面的な整合に基づく目標検出方法は、先ず、検出待ち画像を独立の分割単位に分割した後、目標画像と分割単位に対して整合を行っているので、特定の種類の画像である場合にのみ適用可能であった。
（１）属性グラフの整合を利用して検出を完了する目標検出方法は、例えば整合速度が遅く、比較的複雑な画像に対して一回の整合を完了するために何秒、延いては何十秒の時間がかかる。
（２）試行に基づく目標検出方法は、検出性能は比較的良好であるが、例えば各種の特定の対象に対して試行を行う必要があるため、実用化することが難しく、また検出の速度は実用の要求を満足できない場合があった。
（３）全面的な整合に基づく目標検出方法は、先ず、検出待ち画像を独立の分割単位に分割した後、目標画像と分割単位に対して整合を行っているので、特定の種類の画像である場合にのみ適用可能であった。
開示技術は、上述した問題に鑑みてなされたものであって、第一画像から第二画像を検出するための新規な画像処理方法及び画像処理装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、開示技術の一の態様によれば、第一画像から第二画像を画像処理装置が検出する画像処理方法において、第一画像及び第二画像における各画像に対して、画像おける各ベーシックエレメントに基づいて局部近傍構造を構築する。そして、局部近傍構造の特徴を抽出する局部近傍構造構築ステップを含む。そして、局部近傍構造構築ステップにより抽出された第一画像及び第二画像における局部近傍構造の特徴に基づいて、第二画像における局部近傍構造から第一画像における局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とする。そして、候補整合対に対して、第二画像が第一画像に現れる変換パラーメータを推測する局部近傍構造整合ステップを含む。そして、局部近傍構造整合ステップによって推測された変換パラーメータをパラーメータ空間におけるベクトルとし、パラーメータ空間中の密集領域を探索した結果に基づいて最終的な変換パラーメータを確定する検出ステップを含むことを要件とする。
また、開示技術の一の態様によれば、上述した画像処理方法を実現するための画像処理プログラムを提供している。また、開示技術の一の態様によれば、上述した画像処理方法を実行する画像処理装置を提供している。また、開示技術の一の態様によれば、上述した画像処理方法を実現するためのコンピュータプログラムコードを記録しているコンピュータ読取り可能な記録媒体を提供している。
以上の記載は、開示技術に関する概略を与えており、開示技術に関するある面の基本的な理解を提供する。しかし、かかる記載は開示技術に関する徹底的な記載ではないことを理解するべきである。即ち、開示技術のポイント部分又は重要な部分を確定することを意図しておらず、開示技術の範囲を限定することを意図しているのではない。以上の記載の目的は、ただ簡単な形式で開示技術のある概念を与えることであり、後に挙げるより詳しい記載の前書きとすることである。
開示技術によれば、低い計算複雑度及び高い検出正確度で目標画像を検出することができるという効果を奏する。
以下、図面を参照して、開示技術の代表的な実施例を説明する。記載の明瞭及び簡単のために、実施例においては全ての特徴を記載していない。しかしながら、如何なる実施例を開発する過程においても、実施例を多く特定することによって開発者の具体的な目標を実現する。例えば、システム及び業務に関する限定条件を満たさなければならい。また、限定条件は、実施例によって変化する場合がある。また、実施例の開発は、非常に複雑で、工夫を必要とする可能性がある。しかし、開示技術から益を得た当業者にとって、限定条件を含む実施例の開発は、日常の業務に過ぎない。
以下の実施例では、全ての図面において、同一又は類似な図面符号を用いて同一又は類似の部材を示す。図面は、以下の実施例とともに本明細書に含まれる。そして、図面は、さらに例を挙げて開示技術の好ましい実施例を説明し、また、開示技術の原理及び利点を解釈するに用いられている。
また、図面における部材は、記載の簡単及び明瞭を趣旨として示したものである。図面におけるある部材の大きさは、他の部材に対して拡大されることも可能である。これは、開示技術の実施例の理解に役立つようにするためである。
また、必要でない詳細なものにより開示技術が不明瞭になることを回避するため、図面において開示技術に緊密に関連する装置の構造及び／又は処理ステップのみを図示しており、開示技術に大きな関係がない他の詳細については図示を省略している。
開示技術の実施例による画像処理方法及び画像処理装置は、工程設計図を処理対象とすることが好ましいが、例えば予めエッジ輪郭抽出処理を経て画像を線図に変換することにより一般的な画像にも適用することができる。
以下、図面を参照して、開示技術の実施例に係る検出待ち画像から目標画像を検出するための画像処理方法を詳細に説明する。以下の実施例において、第一画像は検出待ち画像に相当し、第二画像は目標画像に相当する。また、「サーチング」は、例えば探索又は検索を意味する。
図１は、開示技術の実施例に係る検出待ち画像から目標画像を検出する画像処理方法の全体的なフローチャートである。
図１に示すように、ステップＳ１１０において、検出待ち画像と目標画像における各ＢＥに局部近傍構造を構築し、構築した局部近傍構造の特徴を抽出する。
続いて、ステップＳ１２０において、抽出した局部近傍構造の特徴に基づいて、目標画像における各局部近傍構造に対して、検出待ち画像から最も相似する一つ又は複数の局部近傍構造を探索して候補整合とする。そして、各候補整合の対に対して、目標画像が検出待ち画像において現れる変換パラーメータを推定する。
最後に、ステップＳ１３０において、ステップＳ１２０で推測した変換パラーメータをパラーメータ空間におけるベクトルとし、パラーメータ空間内においてベクトルが密集する密集領域をサーチングする。そして、サーチングした密集領域に含まれるベクトルに基づいて最終的な変換パラーメータを確定する。
ここで、検出待ち画像又は目標画像は、工程設計図のドットマトリックス画像であってもよい。例えば、ＢＭＰ、ＪＩＦ、ＪＰＧ（ＪＰＥＧ）など標準画像の形式であってもよい。検出待ち画像又は目標画像は、スキャナ又はカメラにより工程設計図のハードコピーから取得することができる。また、検出待ち画像又は目標画像は、ベクトル化したＣＡＤ電子ファイルから取得してもよい。
ドットマトリックス画像に対しては、ベクトル化装置又は類似の機能を有する装置を用いて当該工程設計図から直線と曲線の線分を抽出する必要がある。ＣＡＤ電子ファイルに対しては、ＣＡＤ電子ファイルから当該ＣＡＤ工程設計図の直線及び曲線の線分を抽出する必要がある。また、ＣＡＤ電子ファイルに対しては、予め工程設計図を直線及び曲線の線分の集合に分解する必要がある。直線と曲線の線分は、「ＢＥ」と総称される。
一つの工程設計図は、部材そのものの輪郭情報の他、通常その他の補助情報を含んでいる。例えば部材の寸法、組み立てプロセス等を説明するための標識線と標識テキスト、及び部材に対して補助的な説明をするための点線、破線等がある。しかし、開示技術による画像処理方法は、補助情報に依存していない。逆に、補助情報に依存すると、性能を低下させる可能性がある。従って、入力に対して処理を行う際に、補助情報の全部又は一部を除去することができれば、開示技術による画像処理方法の性能を向上するために有利である。
以下、図面を参照して、開示技術の実施例に係る画像処理方法の各ステップの具体的な実施例を詳細に説明する。しかし、開示技術は以下の具体的な実施例に限られるものではない。
（１．局部近傍構造の構築処理）
図２は、図１に示すステップＳ１１０の局部近傍構造構築処理のフローチャートを示す図である。局部近傍構造を構築する処理は、検出待ち画像と目標画像の各画像を対象としている。
図２は、図１に示すステップＳ１１０の局部近傍構造構築処理のフローチャートを示す図である。局部近傍構造を構築する処理は、検出待ち画像と目標画像の各画像を対象としている。
図２に示すように、先ず、ステップＳ２１０において、画像における各ＢＥを参照ＢＥとし、画像におけるＢＥの空間分布の関係に基づいて、当該参照ＢＥに隣接する隣接ＢＥをサーチングして確定し、参照ＢＥと隣接ＢＥを組み合わせて局部近傍構造を構築する。
続いて、ステップＳ２２０において、参照ＢＥと隣接ＢＥの形状の特徴、及び参照ＢＥと隣接ＢＥ間の空間的な構造関係の特徴を、局部近傍構造の特徴とする。
ここで、説明しておく必要があるのは、画像における比較的小さいＢＥに対して、即ち寸法が所定の閾値より小さいＢＥに対しては、当該ＢＥが持つ情報が少なく、且つ大部分がノイズにより生じたものである。このため、好ましくは、実際の応用において、画像における比較的小さいＢＥを先にフィルタリングして局部近傍構造の構築から除外する。
ステップＳ２１０における局部近傍構造構築処理に関して、例えば、以下の幾つかの実施例がある。
（局部近傍構造の構築方法（その１））
予め二つのＢＥ（直線及び曲線の線分）間の最小距離を定義する。定義：二つのＢＥ、即ちＰとＱ間の最小距離は、ＢＥのＰを形成する画素とＢＥのＱを形成する画素の最小ユークリッド空間距離（Euclidean distance）である。
予め二つのＢＥ（直線及び曲線の線分）間の最小距離を定義する。定義：二つのＢＥ、即ちＰとＱ間の最小距離は、ＢＥのＰを形成する画素とＢＥのＱを形成する画素の最小ユークリッド空間距離（Euclidean distance）である。
即ち、二つのＢＥを形成する画素がそれぞれＰｉ＝(ｘｉ，ｙｉ)（ｉ＝１，・・・，Ｍ）、Ｑｊ＝(ｘｊ，ｙｊ)（ｊ＝１，・・・，Ｎ）であるとする。すると、ＢＥとしてのＰとＱとの間の最小距離は、ｍｉｎｉ，ｊ｛（（ｘｉ−ｘｊ）２+（ｙｉ−ｙｊ）２）１／２｝（ｉ＝１，・・・，Ｍ、ｊ＝１，・・・，Ｎ）である。ただし、「ｍｉｎｉ，ｊ｛＊｝」は、ｉ及びｊを走査して求まる＊の最小値を表わす。
局部近傍構造を構築するため、先ず、何れか二つのＢＥ間の最小距離を計算する必要がある。
続いて、各ＢＥに対して、その隣接ＢＥをサーチングする。以下の二つの方法により一つのＢＥの隣接ＢＥを確定することができる。
（１−１）Ｋ隣接法。一つのＢＥを参照ＢＥとし、当該参照ＢＥとの最小距離が最も小さい前からｋ個のＢＥを探索して、当該ｋ個のＢＥを当該参照ＢＥの隣接ＢＥとする。ｋは本装置を実現するためのパラーメータであり、経験により確定することができ、その値は一般的に５〜１５のある整数を取る。
図３は、Ｋ隣接法により構築した局部近傍構造を示す模式図である。当該模式図において、ｋの値は５であり、実線Ｌ１は局部近傍構造の参照ＢＥを示し、その他の実線は、局部近傍構造の隣接ＢＥを示し、破線は工程設計図における他のＢＥを示す。
（１−２）距離閾値法。一つのＢＥを参照ＢＥとして定義し、あるＢＥから当該参照ＢＥまでの最小距離がある閾値ｄより小さい場合、当該ＢＥを当該参照ＢＥの隣接ＢＥとする。ｄは本装置を実現するための一つのパラーメータであり、一般的には処理対象の工程設計図及び目標画像に応じて設定される。ｄは、一定の値を設定してもよく、また、各ＢＥによって異なる値、例えば各ＢＥの大きさに応じてｄの値を設定してもよい。
（局部近傍構造の構築方法（その２））
以下に示す方式は、従来技術における属性グラフ構築処理に類似し、以下のステップを主に有する。
以下に示す方式は、従来技術における属性グラフ構築処理に類似し、以下のステップを主に有する。
（２−１）ＢＥをサンプリングする。均一サンプリングの方法を利用して、ＢＥを形成する画素点に対してサンプリングを行い、これらのサンプル点により一つのＢＥを示すとともに、各サンプル点の基になるＢＥを記録する。
（２−２）Delaunay図を構築する。全てのこれらのサンプル点を入力とし、Delaunayの三角網の技術を利用して属性グラフを構築する構造を三角に区画する。Delaunay図において、各サンプル点は一つの図の節点に対応し、ＢＥ間の連結関係は、Delaunay図の辺として表される。
（２−３）図を簡略化する。ステップ（２−２）により取得した図を簡略化し、同一のＢＥからのサンプル点を一つの節点に併合するとともに、それに対応する辺を併合する。
上記作業を経て、各ＢＥが属性グラフの一つの節点として表され、属性グラフの辺がＢＥ間の隣接関係として表わされる。一つのＢＥ（属性グラフ節点）を参照ＢＥと定義し、属性グラフにおいてそれに直接繋がっている辺があるＢＥは、当該参照ＢＥの隣接ＢＥである。
ステップＳ２２０における特徴抽出処理に関して、好ましくは、ＢＥの形状の特徴は、ＢＥ方向のヒストグラムにより描写される。具体的には、先ず、ＢＥにおける各画素点の接線方向（一つのＢＥは実際には一つの直線又は曲線の線分であるため、各画素点の接線方向を容易に取得することができる）を計算する。続いて、各画素点の接線方向を示す値によりヒストグラムを構築する。ヒストグラムの大きさは、経験的に確定することができる。例えば３２個のｂｉｎのヒストグラム、或いは１６個のｂｉｎのヒストグラム等がある。最後に、各画素点の接線方向を示す方向値により構築された方向ヒストグラムに対してフーリエ変換を行い、変換された係数の幅値をＢＥの形状の特徴とする。フーリエ変換により、当該形状の特徴にアフィン（affine）不変性を与える。その結果、方向ヒストグラムは、接線方向及び大きさの変化に無関係になる。
また、好ましくは、局部近傍構造におけるＢＥの空間構造の関係は、以下に列挙した属性のうち一つ又は複数により表されることができる。
（３−１）相対的長さ、即ち隣接ＢＥの長さを参照ＢＥの長さに除算したもの。
（３−２）相対的中心距離、即ち隣接ＢＥの中心から参照ＢＥの中心までの接続線の長さを、参照ＢＥの長さに除算したもの。
（３−３）相対的最小距離、即ち隣接ＢＥから参照ＢＥまでの最小距離を、参照ＢＥの長さで除算したもの。
（３−４）夾角、即ち隣接ＢＥと参照ＢＥ間の夾角。
（３−１）相対的長さ、即ち隣接ＢＥの長さを参照ＢＥの長さに除算したもの。
（３−２）相対的中心距離、即ち隣接ＢＥの中心から参照ＢＥの中心までの接続線の長さを、参照ＢＥの長さに除算したもの。
（３−３）相対的最小距離、即ち隣接ＢＥから参照ＢＥまでの最小距離を、参照ＢＥの長さで除算したもの。
（３−４）夾角、即ち隣接ＢＥと参照ＢＥ間の夾角。
開示技術において、各ＢＥは、工程設計図における一つの直線又は曲線を示す。隣接ＢＥと参照ＢＥとがいずれも直線であれば、その夾角を容易に計算することができる。しかし、隣接ＢＥと参照ＢＥとの少なくとも一方が曲線である場合、ある手法を用いてその夾角を計測する必要がある。この目的を実現するため、本実施例では、ＥＭＤ距離（Earth Mover’s Distance）を利用してＢＥ間の夾角を計算する。ＥＭＤ距離の詳細は、非特許文献５に記載されている。
具体的には、参照ＢＥ及び隣接ＢＥを定義すると、その夾角を計算するステップは以下の通りである。
（４−１）先ず、ＢＥにおける各画素点の接線方向を計算して、方向値を区間０からπに変換する。
（４−２）続いて、画素点の接線方向に基づいて、参照ＢＥ及び隣接ＢＥに対して、それぞれの方向ヒストグラムを構築する。その後、方向ヒストグラムにおける各分量の総和を１として方向ヒストグラムの正規化を行う。
（４−３）続いて、参照ＢＥ及び隣接ＢＥの正規化された方向ヒストグラムのＥＭＤ距離を計算し、計算したＥＭＤ距離を参照ＢＥ及び隣接ＢＥの夾角とする。
（４−１）先ず、ＢＥにおける各画素点の接線方向を計算して、方向値を区間０からπに変換する。
（４−２）続いて、画素点の接線方向に基づいて、参照ＢＥ及び隣接ＢＥに対して、それぞれの方向ヒストグラムを構築する。その後、方向ヒストグラムにおける各分量の総和を１として方向ヒストグラムの正規化を行う。
（４−３）続いて、参照ＢＥ及び隣接ＢＥの正規化された方向ヒストグラムのＥＭＤ距離を計算し、計算したＥＭＤ距離を参照ＢＥ及び隣接ＢＥの夾角とする。
角度は周期性を有するため、０と２πは同一方向に該当する。ＥＭＤ距離を計算する際には、周期性による偏差を防止するため、本実施例では、次式に基づく測度により参照ＢＥ及び隣接ＢＥのＥＭＤ距離を算出する。ただし、次式において、ｓ１とｓ２は、０からπ間の値を取る二つの方向値である。
図４Ａ〜図４Ｄは、局部近傍構造構築処理においてＥＭＤ距離に基づいてＢＥ間の夾角を計算する例を示す図である。即ち、図４Ａ〜図４Ｄでは、ＥＭＤ距離を利用して参照ＢＥ及び隣接ＢＥ間の夾角を計算する４つの例をそれぞれ示している。各例は、いずれも二つのＢＥ（直線又は曲線の線分）を含んでいる。図４Ａに関して算出した夾角は０．３４πであり、図４Ｂに関して算出した夾角は０．１５πであり、図４Ｃに関して算出した夾角は０．０５πであり、図４のＤに関して算出した夾角は０．３９πである。図４Ａおいて、一つの直線の線分は、一つの楕円の長軸と垂直に近い位置関係にあり、π／２に近い角度を成す。
図４Ｂにおいて、一つの直線線分は、一つの楕円の長軸と平行に近い位置関係、即ち０に近い角度を成す。従って、一つの直線線分と、一つの楕円の長軸との夾角は、図４Ａにおける夾角が、図４Ｂにおける夾角よりも大きいことが分かる。以上から、本実施例において、ＥＭＤ距離によるＢＥ間の夾角の計算方法が合理的であることが分かる。
本実施例におけるＥＭＤ距離に基づくＢＥ夾角の計算方法は、一般的な夾角の計算方法であるので、計算の際には、ＢＥが直線線分又は曲線線分であるかによって区別する必要がなく、ＢＥの方向ヒストグラムに基づいて直接計算を行えばよい。
また、従来の方法を用いてＢＥ間の夾角を計算してもよい。例えば、以下の２つの方法がある。
（５−１）先ず、最小二乗誤差（ＭＳＥ）の手法を利用して、ＢＥを一つの直線に近似する。即ち、ＢＥが直線又は曲線であるかに関わらず、統一的に直線として表す。その後、近似した後の二つの直線間の夾角をＢＥ間の夾角とする。
（５−２）主成分分析技術を利用して、ＢＥの主方向を計算する。主方向は一つの角度方向を示し、近似的にＢＥにおける画素の主なる方向であると理解することができる。二つのＢＥの主方向の成分の差は当該二つのＢＥ間の夾角である。
（５−１）先ず、最小二乗誤差（ＭＳＥ）の手法を利用して、ＢＥを一つの直線に近似する。即ち、ＢＥが直線又は曲線であるかに関わらず、統一的に直線として表す。その後、近似した後の二つの直線間の夾角をＢＥ間の夾角とする。
（５−２）主成分分析技術を利用して、ＢＥの主方向を計算する。主方向は一つの角度方向を示し、近似的にＢＥにおける画素の主なる方向であると理解することができる。二つのＢＥの主方向の成分の差は当該二つのＢＥ間の夾角である。
また、好ましくは、ステップＳ２２０の局所近傍の構造の特徴抽出処理において、中心位置（即ちＢＥの中心座標）、参照ＢＥの中心から画像中心に向かうベクトル（目標画像の局部近傍構造に対して）等の特徴を抽出して、後処理で使用する。
（２．局部近傍構造の整合処理）
図５は、図１に示すステップＳ１２０の局部近傍構造整合処理を具体的に示すフローチャートである。
図５は、図１に示すステップＳ１２０の局部近傍構造整合処理を具体的に示すフローチャートである。
図５に示すように、ステップＳ５１０において、局部近傍構造の特徴に基づいて検出待ち画像における各局部近傍構造と目標画像における各局部近傍構造間の距離を計算する。続いて、ステップＳ５２０において、目標画像における各局部近傍構造に対して、検出待ち画像から当該目標画像の局部近傍構造との距離が最小の一つ又は複数の局部近傍構造をサーチングして、サーチングした局部近傍構造を候補整合とする。最後に、ステップＳ５３０において、各候補整合の対に対して、目標画像が検出待ち画像において現れる変換パラーメータを推測する。以下、これらのステップの具体的な実施例をそれぞれ詳細に説明する。しかし、開示技術は、下記の具体的な実施例に限られるものではない。
記載の便利のため、次のように符号を定義する。ある局部近傍構造の第ｉ個の隣接ＢＥをＮｉ、当該ＢＥの形状の特徴（即ち方向ヒストグラムのフーリエ変換）をＴｉ、当該ＢＥと参照ＢＥの空間構造の関係（相対的長さ、相対的中心距離、相対的最小距離、夾角を含む）をＥｉと記す。当該局部近傍構造の参照ＢＥの形状特徴をＳと記す。また、目標画像に対応する局部近傍構造を上付きＭ、検出待ち画像に対応する局部近傍構造を上付きＧと記す。例えば、Ｎｉ Ｍは、目標画像における一つの局部近傍構造の第ｉ個の隣接ＢＥを示し、Ｎｊ Ｇは、検出待ち画像における一つの局部近傍構造の第ｊ個の隣接ＢＥを示す。
目標画像における一つの局部近傍構造をＰＭ＝｛ＳＭ，Ｎｉ Ｍ＝（Ｔｉ Ｍ，Ｅｉ Ｍ），ｉ＝1，・・・，ｕ｝と記し、検出待ち画像における一つの局部近傍構造をＰＧ＝｛ＳＧ，ＮｊＧ＝（Ｔｊ Ｇ，Ｅｊ Ｇ），ｊ＝1，・・・，ｖ｝と記す。ここで、ＰＭ及びＰＧの二つの局部近傍構造は、それぞれｕ及びｖ個の隣接ＢＥを含んでいる。
本実施例では、以下のように、距離測度により局部近傍構造の特徴間の距離を定義する。
（６−１）ＢＥの形状の特徴である距離測度ｄ１。ＢＥの形状の特徴はベクトルで表現される。よって、ｄ１（ＳＭ，ＳＧ）＝||ＳＭ−ＳＧ||２、ｄ１（Ｔｉ Ｍ，Ｔｊ Ｇ）＝||Ｔｉ Ｍ−Ｔｊ Ｇ||２と定義する。
（６−２）ＢＥの空間構造の関係の特徴である相対的長さの距離測度ｄ２。Ｅｉ Ｍにおける相対的長さの値をｌｉ Ｍ、Ｅｊ Ｇにおける相対的長さの値をｌｊ Ｇと設定すると、ｄ２は、次式で表わされる。
（６−１）ＢＥの形状の特徴である距離測度ｄ１。ＢＥの形状の特徴はベクトルで表現される。よって、ｄ１（ＳＭ，ＳＧ）＝||ＳＭ−ＳＧ||２、ｄ１（Ｔｉ Ｍ，Ｔｊ Ｇ）＝||Ｔｉ Ｍ−Ｔｊ Ｇ||２と定義する。
（６−２）ＢＥの空間構造の関係の特徴である相対的長さの距離測度ｄ２。Ｅｉ Ｍにおける相対的長さの値をｌｉ Ｍ、Ｅｊ Ｇにおける相対的長さの値をｌｊ Ｇと設定すると、ｄ２は、次式で表わされる。
また、同様に、本実施例では、以下のように、距離測度により局部近傍構造の特徴間の距離を定義する。
（６−３）ＢＥの空間構造の関係の特徴である中心距離の相対的な距離測度ｄ３。
（６−４）ＢＥの空間構造の関係の特徴である相対的な最小距離の距離測度ｄ４。
（６−５）ＢＥの空間構造関係特徴である夾角の距離測度ｄ５。Ｅｊ Ｍにおける夾角の値をｌｊ Ｍ、Ｅｊ Ｇにおける夾角の値をｌｊ Ｇと設定すると、ｄ５は、次式のように表わされる。
（６−３）ＢＥの空間構造の関係の特徴である中心距離の相対的な距離測度ｄ３。
（６−４）ＢＥの空間構造の関係の特徴である相対的な最小距離の距離測度ｄ４。
（６−５）ＢＥの空間構造関係特徴である夾角の距離測度ｄ５。Ｅｊ Ｍにおける夾角の値をｌｊ Ｍ、Ｅｊ Ｇにおける夾角の値をｌｊ Ｇと設定すると、ｄ５は、次式のように表わされる。
また、距離測度ｄ１に基づいて、局部近傍構造ＰＭとＰＧの参照ＢＥの形状の特徴の距離ＳＭ及びＳＧを次式のように定義する。
また、距離測度ｄ１〜ｄ５に基づいて、局部近傍構造ＰＭの第ｉ個の隣接ＢＥであるＮｉＭと、ＰＧの第ｊ個の隣接ＢＥであるＮｊＧとの距離を次式のように定義する。ただし、次式におけるα及びβは、予め決められたパラーメータであり、０から１の値を取る。
図６は、図５に示すステップＳ５１０の局部近傍構造距離計算処理を示すフローチャートである。局部近傍構造距離計算処理は、目標画像及び検出待ち画像における局部近傍構造ＰＭ及びＰＧに関して行う。
まず、ステップＳ６１０において、ＰＭ及びＰＧの参照ＢＥの形状の特徴ＳＭ及びＳＧの距離Ｄ（ＳＭ，ＳＧ）を計算する。続いて、ステップＳ６２０において、ＰＭの隣接ＢＥからＰＧの隣接ＢＥまでの距離を計算する。これにより、ｕ行ｖ列の距離マトリックス［Ｄ］ｕ×ｖを生成する。生成した距離マトリックスの第ｉ行、第ｊ行の要素の値はＤ（ＳＭ，ＳＧ）である。
続いて、ステップＳ６３０において、距離マトリックス［Ｄ］ｕ×ｖに基づいて、グリーディ探索手法（Greedy Search Strategy）を利用して隣接ＢＥを整合する際の最小距離を算出する。
隣接ＢＥを整合する際の最小距離を算出する具体的なステップは、以下のようになる。
（７−１）［Ｄ］ｕ×ｖにおける要素に未処理と標記する。
（７−２）［Ｄ］ｕ×ｖの未処理の要素から最小値を探索し、最小値の要素の位置を第ｘ行、第ｙ行と記録し、第ｘ行、第ｙ行における全ての要素を処理済みと標記する。
（７−３）［Ｄ］ｕ×ｖの全ての要素が処理済みになるまで、（７−２）を繰り返す。
（７−４）（７−２）及び（７−３）で取得した最小値の和ＤＮを算出する。
（７−５）ＰＭの隣接ＢＥの個数ｕがＰＧの隣接ＢＥの個数ｖより大きければ、次式によりＤＮを修正する。ただし、次式における「ｃｏｓｔ」は、コスト因子と呼ばれる予め設定されたパラーメータであり、一般的には０から１の値を取る。
（７−１）［Ｄ］ｕ×ｖにおける要素に未処理と標記する。
（７−２）［Ｄ］ｕ×ｖの未処理の要素から最小値を探索し、最小値の要素の位置を第ｘ行、第ｙ行と記録し、第ｘ行、第ｙ行における全ての要素を処理済みと標記する。
（７−３）［Ｄ］ｕ×ｖの全ての要素が処理済みになるまで、（７−２）を繰り返す。
（７−４）（７−２）及び（７−３）で取得した最小値の和ＤＮを算出する。
（７−５）ＰＭの隣接ＢＥの個数ｕがＰＧの隣接ＢＥの個数ｖより大きければ、次式によりＤＮを修正する。ただし、次式における「ｃｏｓｔ」は、コスト因子と呼ばれる予め設定されたパラーメータであり、一般的には０から１の値を取る。
最後に、ステップＳ６４０において、例えば次式により局部近傍構造ＰＭ及びＰＧの距離を算出する。なお、局部近傍構造ＰＭ及びＰＧの距離を算出する際に、目標画像の局部近傍構造ＰＭにおける隣接ＢＥの個数に基づいて局部近傍構造ＰＭ及びＰＧの距離の正規化を行う。
以下、具体的な例を通じて、局部近傍構造の距離計算処理をさらに説明する。図７Ａは、局部近傍構造距離計算処理の例における目標画像の一つの局部近傍構造を示す図である。図７Ａは、目標画像の一つの局部近傍構造を示す。当該局部近傍構造は、３個の隣接ＢＥを含む、即ちｕ＝３である。図７Ａにおいて、実線Ｌ２は、局部近傍構造の参照ＢＥを示し、実線Ｎ１ Ｍ、Ｎ２ Ｍ、Ｎ３ Ｍは、局部近傍構造の隣接ＢＥを示し、破線は、工程設計図における他のＢＥを示す。
図７Ａに示す例において、ＢＥの形状の特徴は、１６個のｂｉｎのヒストグラムとして示されている。フーリエ変換の対称性のため、フーリエ変換後の第１から第８までの８個の係数をＢＥの形状の特徴とする。フーリエ変換後の第１から第８までの８個の係数は、次表のようになる。
また、参照ＢＥ及び隣接ＢＥの空間構造の関係の特徴は、下表のようになる。
図７Ｂは、局部近傍構造距離計算処理の例における検出待ち画像の一つの局部近傍構造を示す図である。図７Ｂは、検出待ち画像の一つの局部近傍構造を示す。当該局部近傍構造は、８個の隣接ＢＥを含む、即ちｖ＝８である。図７Ａと同様に、実線Ｌ３は、局部近傍構造の参照ＢＥを示す。また、実線Ｎ１ Ｇ、Ｎ２ Ｇ、Ｎ３ Ｇ、Ｎ４ Ｇ、Ｎ５ Ｇ、Ｎ６ Ｇ、Ｎ７ Ｇ、Ｎ８ Ｇは、局部近傍構造の隣接ＢＥを示す。また、破線は、工程設計図におけるその他のＢＥを示す。
図７Ａと同様に、図７Ｂに示す例において、ＢＥの形状特徴は、１６個のｂｉｎのヒストグラムとして示されている。フーリエ変換後の第１から第８までの８個の係数は、次表のようになる。
また、参照ＢＥ及び隣接ＢＥの空間構造の関係の特徴は、次表のようになる。
上述した局部近傍構造の特徴に基づいて、局部近傍構造の距離を計算するステップは、次の通りである。
（８−１）参照ＢＥの形状特徴の距離を計算して、Ｄ（ＳＭ，ＳＧ）＝０．０３を取得する。
（８−２）パラーメータα及びβの値をそれぞれ０．５、０．２５とし、目標画像の局部近傍構造における隣接ＢＥから検出待ち画像の局部近傍構造における隣接ＢＥまでの距離を計算して、次式で表わされる３行８列の距離マトリックスを生成する。
（８−１）参照ＢＥの形状特徴の距離を計算して、Ｄ（ＳＭ，ＳＧ）＝０．０３を取得する。
（８−２）パラーメータα及びβの値をそれぞれ０．５、０．２５とし、目標画像の局部近傍構造における隣接ＢＥから検出待ち画像の局部近傍構造における隣接ＢＥまでの距離を計算して、次式で表わされる３行８列の距離マトリックスを生成する。
続いて、以下のステップを行う。
（８−３）グリーディ探索を行う。
（８−３ａ）先ず、（５）表で示される距離マトリックスから要素の最小値０．０３を取得する。最小値を取る要素の位置は、第３行、第７列である。
（８−３ｂ）続いて、（５）表で示される距離マトリックスの（８−３ａ）で未処理の要素から最小値０．０６を取得する。最小値を取る要素の位置は、第１行、第２列である。
（８−３ｃ）続いて、（５）表で示される距離マトリックスの（８−３ｂ）で未処理の要素から最小値０．０７を取得する。最小値を取る要素の位置は、第２行、第４列である。
（８−３ｄ）最後に、最小値の和ＤＮを算出する。即ちＤＮ＝０．０３＋０．０６＋０．０７＝０．１６である。
（８−３）グリーディ探索を行う。
（８−３ａ）先ず、（５）表で示される距離マトリックスから要素の最小値０．０３を取得する。最小値を取る要素の位置は、第３行、第７列である。
（８−３ｂ）続いて、（５）表で示される距離マトリックスの（８−３ａ）で未処理の要素から最小値０．０６を取得する。最小値を取る要素の位置は、第１行、第２列である。
（８−３ｃ）続いて、（５）表で示される距離マトリックスの（８−３ｂ）で未処理の要素から最小値０．０７を取得する。最小値を取る要素の位置は、第２行、第４列である。
（８−３ｄ）最後に、最小値の和ＤＮを算出する。即ちＤＮ＝０．０３＋０．０６＋０．０７＝０．１６である。
続いて、次のステップを行う。
（８−４）従って、図７Ａ及び図７Ｂに示す例では、二つの局部近傍構造の距離は、（０．１６＋０．０３）／７≒０．０２７である。
（８−４）従って、図７Ａ及び図７Ｂに示す例では、二つの局部近傍構造の距離は、（０．１６＋０．０３）／７≒０．０２７である。
図８は、図５に示すステップＳ５３０のパラーメータ推算処理を示すフローチャートである。図８において、検出待ち画像における局部近傍構造ＰＧは、目標画像における局部近傍構造ＰＭの候補整合であると仮定する。また、ＰＭ及びＰＧに基づいて、目標画像が検出待ち画像に現れる可能性がある変換パラーメータを推定する。変換パラーメータは、例えば中心位置、比例拡大縮小の尺度及び回転角度を含む。
従来の方法おいて、検出待ち画像における局部近傍構造ＰＧは、目標画像における局部近傍構造ＰＭの候補整合として選択されると仮定している。これは、ＰＭとＰＧは、一対の実際の整合対となることが可能であるためである。従って、ＰＭとＰＧに基づいて、検出待ち画像において目標画像に相似する部分の情報を推測できる。しかし、従来の方法は、ＰＭとＰＧにおけるＢＥの対応関係を精確に確定できない。従って、本実施例では、信頼できるＢＥ整合対に基づいてパラーメータ推測を行う方法を提出している。
図８に示すように、先ず、ステップＳ８１０において、ＰＭとＰＧから信頼できるＢＥ整合対を選択する。そのうち、図５におけるステップＳ５１０から取得した距離マトリックス［Ｄ］ｕ×ｖに基づいて、距離が比較的小さいＢＥ対を選択して信頼できるＢＥ整合対とする。続いて、ステップＳ８２０において、信頼できるＢＥ整合対に基づいて、アフィン変換により変換パラーメータを推算して、パラーメータ値の序列を取得する。そして、任意の二対の信頼できるＢＥ整合対を選択して、変換パラーメータを推算する。最後に、ステップＳ８３０において、パラーメータ値の序列に対してウィンドウサーチング手法を利用して変換パラーメータを確定する。
具体的に言えば、ステップＳ８１０において信頼できるＢＥ整合対を選択する作業は、次の通りである。
（９−１）ＰＭの参照ＢＥとＰＧの参照ＢＥが、信頼できるＢＥ整合対として選択される。
（９−２）ＰＭの各隣接ＢＥであるＮｉ Ｍに対して、ＰＧの隣接ＢＥから信頼できるＢＥを選択して、Ｎｉ Ｍとともに信頼できるＢＥ整合対を形成する。選択過程は、閾値法により実現され、具体的には次の通りである。
（９−２ａ）［Ｄ］ｕ×ｖの第ｉ行の要素（即ちＮｉ Ｍに対応する距離要素）から最小値をサーチングする。
（９−２ｂ）第ｉ行におけるある要素ｊの値が次の条件を満たす場合、Ｎｊ ＧをＮｉ Ｍの信頼できるＢＥと見なして、それらを一つの信頼できるＢＥ整合対として組み合わせる。
（条件１）要素ｊの値と上述した最小値の差異値はｔ１より小さい。ｔ１は予め決めたパラーメータであり、通常０から０．５間の比較的小さい数として設定される。
（条件２）要素ｊの値と上述した最小値の比例値はｔ２より小さい。ｔ２は予め決めたパラーメータであり、通常１から２．５間の数として設定される。
（９−１）ＰＭの参照ＢＥとＰＧの参照ＢＥが、信頼できるＢＥ整合対として選択される。
（９−２）ＰＭの各隣接ＢＥであるＮｉ Ｍに対して、ＰＧの隣接ＢＥから信頼できるＢＥを選択して、Ｎｉ Ｍとともに信頼できるＢＥ整合対を形成する。選択過程は、閾値法により実現され、具体的には次の通りである。
（９−２ａ）［Ｄ］ｕ×ｖの第ｉ行の要素（即ちＮｉ Ｍに対応する距離要素）から最小値をサーチングする。
（９−２ｂ）第ｉ行におけるある要素ｊの値が次の条件を満たす場合、Ｎｊ ＧをＮｉ Ｍの信頼できるＢＥと見なして、それらを一つの信頼できるＢＥ整合対として組み合わせる。
（条件１）要素ｊの値と上述した最小値の差異値はｔ１より小さい。ｔ１は予め決めたパラーメータであり、通常０から０．５間の比較的小さい数として設定される。
（条件２）要素ｊの値と上述した最小値の比例値はｔ２より小さい。ｔ２は予め決めたパラーメータであり、通常１から２．５間の数として設定される。
また、具体的な応用に基づいて、その他の距離閾値を設定してもよい。パラーメータによって信頼できるＢＥの最大数などを設定することができる。
当該方法は、実際は、ＰＭとＰＧのＢＥ間の距離に基づいて信頼できるＢＥを選択する。ＰＭの隣接ＢＥとＰＧの隣接ＢＥとの距離が小さいほど、これらの二つのＢＥが整合対を形成する信頼度がより高い。逆の場合も同様である。
具体的に言えば、ステップＳ８２０において、任意に二対の信頼できるＢＥ整合対を選択して、次式に従ってパラーメータを推算する。ＰＭにおけるＢＥであるＮ１Ｍ及びＮ２Ｍに対応するＰＧにおける信頼できるＢＥは、それぞれＮ１ Ｇ及びＮ２ Ｇであり、且つ、Ｎ１ Ｇ及びＮ２ Ｇの中心から目標画像中心までのベクトルはＶ１（ｘ）とＶ１（ｙ）であり、Ｎ１ Ｇ及びＮ２ Ｇの中心座標はＯ１とＯ２とする。すると、次の方程式を解くことにより、変化するパラーメータが得られる。
上記（８）式において、Ｏ１（ｘ）、Ｏ１（ｙ）はそれぞれＯ１のｘ座標とｙ座標を示し、Ｏ２（ｘ）、Ｏ２（ｙ）も同様である。同様に、Ｖ１（ｘ）とＶ１（ｙ）は、ベクトルＶ１のｘ成分とｙ成分を示し、Ｖ１（ｘ）とＶ１（ｙ）も同様である。ｓは変換する際の比例拡大縮小の尺度パラーメータを示し、θは、変換する際の回転角度のパラーメータを示している。
上記（８）式の方程式を解くことにより、パラーメータｓとθの値が得られる。検出待ち画像において目標画像が現れる中心位置は、次式の通りである。
または、検出待ち画像において目標画像が現れる中心位置は、次式の通りである。
具体的な実施例において、全ての可能な二対の信頼できるＢＥ整合対を選択して、それらに基づいてパラーメータを推測することにより、パラーメータ値の序列を取得する。このパラーメータ値の序列を(ｘｉ，ｙｉ，ｓｉ，θｉ)（ｉ＝１，・・・，Ｋ）と記す。ｘｉ、ｙｉは推算した検出待ち画像において目標画像が現れる中心位置座標を示し、Ｋはパラーメータの数（即ち、任意的に二対の信頼できるＢＥ整合対を選択する回数）である。
具体的に言えば、ステップＳ８３０において、次の方式に従って変換パラーメータ値を確定する。
（１０−１）パラーメータの序列において、全てのｓｉの平均値は、最終的な比例拡大縮小の尺度パラーメータの値である。
（１０−２）検出待ち画像において目標画像が現れる中心位置座標を確定する。
（１０−２ａ）各(ｘｉ，ｙｉ）を中心として、方形のウィンドウを構築する。ウィンドウの大きさは被処理画像の寸法によって経験により決めることができる。
（１０−２ｂ）各ウィンドウ内に入る中心位置座標(ｘｉ，ｙｉ）の数を計算する。
（１０−２ｃ）ウィンドウ内に入る中心位置座標の数が最も多いウィンドウを選択して、当該ウィンドウ内に入る中心位置座標(ｘｉ，ｙｉ）の平均値を最終的な中心位置座標とする。
（１０−３）ＰＧの参照ＢＥの中心から（１０−２）で得られた中心位置までのベクトルを計算すると同時に、ＰＭの参照ＢＥの中心から目標画像の中心までのベクトルを計算する。この二つのベクトルの角度差は、最終的な回転角度のパラーメータである。
（１０−１）パラーメータの序列において、全てのｓｉの平均値は、最終的な比例拡大縮小の尺度パラーメータの値である。
（１０−２）検出待ち画像において目標画像が現れる中心位置座標を確定する。
（１０−２ａ）各(ｘｉ，ｙｉ）を中心として、方形のウィンドウを構築する。ウィンドウの大きさは被処理画像の寸法によって経験により決めることができる。
（１０−２ｂ）各ウィンドウ内に入る中心位置座標(ｘｉ，ｙｉ）の数を計算する。
（１０−２ｃ）ウィンドウ内に入る中心位置座標の数が最も多いウィンドウを選択して、当該ウィンドウ内に入る中心位置座標(ｘｉ，ｙｉ）の平均値を最終的な中心位置座標とする。
（１０−３）ＰＧの参照ＢＥの中心から（１０−２）で得られた中心位置までのベクトルを計算すると同時に、ＰＭの参照ＢＥの中心から目標画像の中心までのベクトルを計算する。この二つのベクトルの角度差は、最終的な回転角度のパラーメータである。
以下、例を用いてパラーメータ推測処理をさらに説明する。当該例に用いられた局部近傍構造は、上述した局部近傍構造の距離計算処理の例において用いられた局部近傍構造と同じである。即ち、図７Ａ及び図７Ｂに示す局部近傍構造と同じである。
まず、隣接ＢＥから信頼できるＢＥ整合対を選択する。本実施例において、ｔ１の値は０．１であり、ｔ２の値は１．５である。その他、本実施例は、各ＢＥの信頼できるＢＥの数を最大２に限定している。
上述した局部近傍構造の距離計算処理によって得られた距離マトリックス［Ｄ］は次表のようになる。
従って、Ｎ１ Ｍの信頼できるＢＥは、Ｎ２ ＧとＮ３ Ｇであり、Ｎ２ Ｍの信頼できるＢＥは、Ｎ２ ＧとＮ４ Ｇであり、Ｎ３ Ｍの信頼できるＢＥは、Ｎ７ ＧとＮ８ Ｇである。
これらの信頼できるＢＥから、全ての可能な二対の信頼できるＢＥ整合対を選択して、１７種の組合せを得る。即ち、Ｋ＝１７である。これらの組合せに基づいてパラーメータを推測して、検出待ち画像において目標画像が現れる中心位置座標を取得する。二対のＢＥ整合対及び取得した中心位置座標を次表に示す。
上述のパラーメータ値の序列の中心位置の座標において、一部の値は負数である。これは目標画像が検出待ち画像の外に現れていることを意味するため、合理的ではない。以下のパラーメータを確定する過程において、負の座標値を含むパラーメータは、計算から除外する。
本例において、次の方式に従って方形のウィンドウの大きさを確定する。
（１１−１）ＰＭから任意的に二つのＢＥを選択して、この二つのＢＥの中心の距離を計算する。
（１１−２）全ての距離の平均に係数０．３を掛けたものが、ウィンドウの大きさである。
（１１−１）ＰＭから任意的に二つのＢＥを選択して、この二つのＢＥの中心の距離を計算する。
（１１−２）全ての距離の平均に係数０．３を掛けたものが、ウィンドウの大きさである。
図９は、ウィンドウサーチングを利用してパラーメータを確定した結果の模式図である。図９において、Ｗ１は、中心位置座標を最も多く含んでいるウィンドウを示している。ウィンドウＷ１は、三つの中心位置の座標を含み、それぞれ（７２，９４）、（７３，９０）、（６８，９４）である。これらの値の平均を取って、最終的な中心位置の座標（７１，９３）を取得する。
最後に、回転角度パラーメータを計算する。ＰＧの参照ＢＥの中心の座標は、（１３６，９１）であり、当該位置から上述のように得られた中心位置の座標（７１，９３）までのベクトルは、（−６５，２）である。よって、ベクトルの方向は０．９９πである。同様に、ＰＭの参照ＢＥの中心から目標画像の中心までのベクトルが成す角度を計算すると、得られる値は、-０．９７πである。従って、得られる回転角度のパラーメータは、−０．０２πである。
上記過程を経て、目標画像における局部近傍構造ＰＭと検出待ち画像における局部近傍構造ＰＧに基づいて得られる変換パラーメータは、次の通りである。検出待ち画像において目標画像が現れる中心位置の座標は（７１，９３）である。また、回転角度は、-０．０２πである。また、比例拡大縮小の尺度は、１．２７である。
上記過程に基づくと、図７Ａにおける局部近傍構造ＰＭを利用して、図７Ｂに示す検出待ち画像から最も距離が近い六つの局部近傍構造をサーチングする。そして、この六つの候補整合に基づいて目標画像が検出待ち画像において現れる可能性がある位置及び他の変換パラーメータを推測する。図１０は、この六つの候補整合から推測した検出待ち画像において目標画像が現れる中心位置を示す模式図である。当該図において、図中の網掛けした方形は、一つの推測結果を示す。パラーメータの具体的な値を次表に示す。
図７Ａに示す目標画像における各局部近傍構造と同様に、図７Ｂに示す検出待ち画像から最も距離が近い六つの候補整合をサーチングする。そして、パラーメータ推測を行う。図１１は全ての推測した目標画像が検出待ち画像において現れる中心位置を示す模式図である。
（３．検出処理）
図１２は、図１に示すステップＳ１３０における検出処理を具体的に示すフローチャートである。図１２に示すように、まず、ステップＳ１２１０において、推測した変換パラーメータを上記パラーメータ空間におけるベクトルとして、モード検出手法を利用して上記パラーメータ空間における密集領域をサーチングする。続いて、ステップＳ１２２０において、検出したモードに対して検証を行い、信頼度が高いモードに基づいて上記最終の変換パラーメータを確定する。以下、これらのステップの具体的な実施例に対して、それぞれ詳細に説明する。しかし、本発明は、以下の具体的な実施例に限られるのではない。
図１２は、図１に示すステップＳ１３０における検出処理を具体的に示すフローチャートである。図１２に示すように、まず、ステップＳ１２１０において、推測した変換パラーメータを上記パラーメータ空間におけるベクトルとして、モード検出手法を利用して上記パラーメータ空間における密集領域をサーチングする。続いて、ステップＳ１２２０において、検出したモードに対して検証を行い、信頼度が高いモードに基づいて上記最終の変換パラーメータを確定する。以下、これらのステップの具体的な実施例に対して、それぞれ詳細に説明する。しかし、本発明は、以下の具体的な実施例に限られるのではない。
具体的に言えば、上述した局部近傍構造の整合処理により、目標画像の局部近傍構造とその候補整合に基づいて、目標画像が検出待ち画像において現れる中心位置及び他の変換パラーメータを推測した。しかしながら、これらの推測結果は不正確である場合がよくある。目標画像の局部近傍構造とその候補整合が実際には互いに対応するのであれば（それらは外形上相似しており、且ついずれも目標の同一領域に対応する）、これにより得られる推測結果は、正確である。逆に、当該二つの局部近傍構造が実際には互いに対応していないのであれば、得られる推測結果は、誤っている可能性がある。局部近傍構造の整合ブロックから出力した各推測結果をパラーメータ空間における一つのベクトルとして見なせば、その互いに対応する局部近傍構造対から得られる推測結果は、密集的に集中している。そして、実際には互いに対応していない局部近傍構造対から得られる推測結果は、パラーメータ空間においてランダム的に分布している。従って、パラーメータ空間における密集領域をサーチングすることにより、正確なパラーメータ値を取得できる。
ステップＳ１２１０においてパラーメータ空間から密集領域をサーチングする過程は、例えばMean-Shiftモード検出方法を用いたモード検出手法により実現できる。Mean-Shift方法の詳細情報については、非特許文献５を参照することができる。
モード検出過程の入力は、局部近傍構造整合ブロックから出力した推算パラーメータであり、各パラーメータ組（目標画像の一つの局部近傍構造とその一つの候補整合に対応する）はいずれもパラーメータ空間における一つのベクトルである。そして、各パラーメータ組は、中心位置座標、比例拡大縮小の尺度、角度等の計４つの分量を含む。Mean-Shiftモード検出過程の出力は、検出したモードであり、一つのモードはパラーメータ空間においてベクトルが比較的密集した一つの領域に対応し、モードの値は当該領域の中心位置である。即ち、当該モードに対応するパラーメータ値（中心位置の座標、比例拡大縮小の尺度、角度等の計４つの分量）である。同時に、モード検出過程において、各入力パラーメータ組は、異なるモードに区画されている。
続いて、ステップＳ１２２０において、検出したモードに対して検証を行い、信頼度が高いモードを目標画像が検出待ち画像において現れる変換パラーメータとする。ある一つのモードＣを与え、当該モードに対応するパラーメータ値をｆとする。また、当該モードに属する入力パラーメータは、（Ｐｉ Ｍ，Ｐｊ Ｇ，Ｄ（Ｐｉ Ｍ，Ｐｊ Ｇ），ｆｉｊ）ｎ、（ｎ＝１，・・・，Ｎ）である。そのうち、Ｐｉ Ｍは目標画像の第ｉ個の局部近傍構造を示し、Ｐｊ Ｇは検出待ち画像の第ｊ個の局部近傍構造（Ｐｊ ＧはＰｉ Ｍの候補整合である）を示し、Ｄ（Ｐｉ Ｍ，Ｐｊ Ｇ）は局部近傍構造の整合ブロックが出力したＰｉ ＭとＰｊ Ｇの距離を示し、ｆｉｊは局部近傍構造の整合ブロックが出力したＰｊ ＧとＰｉ Ｍに基づいて推算したパラーメータを示す。
本実施例に基づくと、モードＣに対する検証の過程は次の通りである。
（１２−１）当該モードに属する各入力パラーメータに対して、次式により信頼度を計算する。なお、次式におけるαは、予め決められたパラーメータである。
（１２−１）当該モードに属する各入力パラーメータに対して、次式により信頼度を計算する。なお、次式におけるαは、予め決められたパラーメータである。
続いて、以下のステップを行う。
（１２−２）グリーディ探索手法を利用して最大の信頼度を計算する。そのステップは次の通りである。
（１２−２ａ）当該モードに属する入力パラーメータを未処理と標記する。
（１２−２ｂ）当該モードに属する未処理と標記された入力パラーメータから、信頼度が最大のパラーメータをサーチングする。なお、当該パラーメータに対応する局部近傍構造はＰｘ Ｍ、Ｐｙ Ｇである。
（１２−２ｃ）当該モードに属する入力パラーメータにおけるＰｘ Ｍ又はＰｙ Ｇを含むパラーメータを処理済みと標記する。
（１２−２ｄ）全てのパラーメータが処理済みと標記されるまで、ステップ（１２−２ｂ）及びステップ（１２−２ｃ）を繰り返す。
（１２−２ｅ）ステップ（１２−２ｂ）及びステップ（１２−２ｃ）により得られた最大値を加算して得られる値をＺと記す。
（１２−３）次式によりモードＣの信頼度を計算する。
（１２−２）グリーディ探索手法を利用して最大の信頼度を計算する。そのステップは次の通りである。
（１２−２ａ）当該モードに属する入力パラーメータを未処理と標記する。
（１２−２ｂ）当該モードに属する未処理と標記された入力パラーメータから、信頼度が最大のパラーメータをサーチングする。なお、当該パラーメータに対応する局部近傍構造はＰｘ Ｍ、Ｐｙ Ｇである。
（１２−２ｃ）当該モードに属する入力パラーメータにおけるＰｘ Ｍ又はＰｙ Ｇを含むパラーメータを処理済みと標記する。
（１２−２ｄ）全てのパラーメータが処理済みと標記されるまで、ステップ（１２−２ｂ）及びステップ（１２−２ｃ）を繰り返す。
（１２−２ｅ）ステップ（１２−２ｂ）及びステップ（１２−２ｃ）により得られた最大値を加算して得られる値をＺと記す。
（１２−３）次式によりモードＣの信頼度を計算する。
モードの信頼度がある閾値より高い場合には、当該モードが検出待ち画像における目標画像の一例に対応すると判定する。当該モードに対応するパラーメータ値に基づいて、検出待ち画像から当該例を容易に検出できる。即ち、（１）パラーメータ中の中心座標位置分量は当該例の中心位置である。（２）パラーメータ中の比例拡大縮小の尺度の分量に基づいて、当該例の大きさが得られる。（３）パラーメータ中の回転角度の分量に基づいて、当該例の方向が得られる。
図１３は、検出結果の実例である。当該例において、被処理対象はそれぞれ図７Ａに示す目標画像と図７Ｂに示す検出待ち画像である。局部近傍構造の整合処理により、推算したパラーメータ組を取得する（パラーメータ中の中心座標位置の分量は、図１１に示す通りである）。これらのパラーメータを入力としてMean-Shiftモード検出を行って得られるモードパラーメータ値は、次表の通りである。
その後、これらのモードに対して検証を行う。得られる各モードの信頼度は、それぞれ０．８６、０．５１、０．４８、０．４７、０．３３である。閾値を０．６に設定すると、モード１のみが目標画像の一例に対応する。当該モードのパラーメータ値に基づいて、目標画像が検出待ち画像において現れる位置、大きさ及び角度情報を取得する。図１３は、当該モードの検出結果に対応する。図１３において、Ｗ２が検出結果、即ち検出待ち画像において目標画像に相似している部分を示している。
以上、図面を参照して、本発明の実施例に係る検出待ち画像から目標画像を検出するための画像処理方法を詳細に説明した。以下は、図面を参照して、本発明の実施例に係る検出待ち画像から目標画像を検出するための画像処理装置を説明する。
図１４は、実施例に係る検出待ち画像から目標画像を検出するための画像処理装置１４００のブロック図を示している。簡単のため、実施例に密接に関連する部分のみを示す。画像処理装置１４００において、図１を参照して記載した画像処理方法を実行することができる。
図１４に示すように、画像処理装置１４００は、局部近傍構造構築手段１４１０と、局部近傍構造整合手段１４２０と、検出手段１４３０とを備えている。局部近傍構造構築手段１４１０は、検出待ち画像と目標画像における各画像に対して、検出待ち画像と目標画像における各画像における各ＢＥに局部近傍構造を構築し、局部近傍構造の特徴を抽出する。
局部近傍構造整合手段１４２０は、局部近傍構造構築手段１４１０により抽出した局部近傍構造の特徴に基づいて、目標画像における各局部近傍構造に対して、検出待ち画像から目標画像と最も相似する一つ又は複数の局部近傍構造をサーチングしてその候補整合とする。そして、局部近傍構造整合手段１４２０は、各候補整合対に対して、目標画像が上記検出待ち画像に現れる変換パラーメータを推測する。
検出手段１４３０は、局部近傍構造整合手段１４２０が推測した変換パラーメータをパラーメータ空間におけるベクトルとし、パラーメータ空間中の密集領域をサーチングした結果に基づいて、最終的な変換パラーメータを確定する。
以上に挙げられた対応する処理に対する記載により、画像処理装置１４００の各構成部材の機能がどのように実現されるかは明瞭になっているため、ここで再び説明しない。
また、本実施例に係る上述した方法の各作業過程は、各種のデバイスが読み取り可能な記録媒体に記憶される、コンピュータが実行可能なプログラムの形で実現されることは、明らかである。
なお、本発明の目的は、下記の形態で実現されることも可能である。即ち、実行可能なプログラムコードを記憶している記録媒体を、直接または間接的にシステム又は装置に提供し、当該システムまたは装置中のコンピュータ或いは中央処理装置（ＣＰＵ）がそれを読み出してプログラムコードを実行する。このとき、当該システム或いは装置がプログラムを実行する機能を備えていれば、本発明の実施例はプログラムに限定されず、且つ当該プログラムはいずれの形でもよい。例えば、オブジェクトプログラム、インタープリタが実行するプログラム或いはオペレーティングシステムに提供されたシナリオプログラムなどの可能性もある。
上記のデバイスがプログラムを読み取る記録媒体は、各種メモリ、記憶装置、半導体装置、ディスク装置、例えば光ディスク、磁気ディスク、光磁気ディスク、及び他の情報を記憶するに適した媒体などが含まれているが、これらに限られるものではない。
また、コンピュータは、インターネット上の対応のウェブサイトに接続して、本発明に係るコンピュータプログラムコードをダウンロードしてコンピュータにインストールした後、当該プログラムを実行することにより、本実施例を実現することができる。
本実施例の装置及び方法において、各部材又は各ステップは、分散及び／又は統合することができる。これらの分散及び／又は統合は、本実施例の同等の方案として見なされるべきである。且つ、上述した系列処理のステップは、説明の順を時間順として自然的に実行することができるが、必ずしも説明の順に実行する必要はない。幾つかのステップは、並行或いは互いに独立して実行することができる。
以上、図面を参照して、開示技術の実施例を詳細に説明したが、上述した実施例は、開示技術を説明するために過ぎず、開示技術に対して如何なる限定にもならない。当業者にとっては、本発明の実質及び範囲を脱離しない限り、上述した実施例に対して各種の訂正と変更を行えること可能であることは明らかである。従って、本発明の範囲は、添付の特許請求の範囲及びそれに同等する意味のみにより限定される。
上述した実施例の一例を含む実施例に関し、以下の付記を開示する。
（付記１）第一画像から第二画像を画像処理装置が検出する画像処理方法において、
前記第一画像及び前記第二画像における各画像に対して、前記画像おける各ベーシックエレメントに基づいて局部近傍構造を構築し、前記局部近傍構造の特徴を抽出する局部近傍構造構築ステップと、
前記局部近傍構造構築ステップにより抽出された前記第一画像及び前記第二画像における前記局部近傍構造の特徴に基づいて、前記第二画像における前記局部近傍構造から前記第一画像における前記局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とし、前記候補整合対に対して、前記第二画像が前記第一画像に現れる変換パラーメータを推測する局部近傍構造整合ステップと、
前記局部近傍構造整合ステップによって推測された変換パラーメータをパラーメータ空間におけるベクトルとし、前記パラーメータ空間中の密集領域を探索した結果に基づいて最終的な変換パラーメータを確定する検出ステップと
を含むことを特徴とする画像処理方法。
前記第一画像及び前記第二画像における各画像に対して、前記画像おける各ベーシックエレメントに基づいて局部近傍構造を構築し、前記局部近傍構造の特徴を抽出する局部近傍構造構築ステップと、
前記局部近傍構造構築ステップにより抽出された前記第一画像及び前記第二画像における前記局部近傍構造の特徴に基づいて、前記第二画像における前記局部近傍構造から前記第一画像における前記局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とし、前記候補整合対に対して、前記第二画像が前記第一画像に現れる変換パラーメータを推測する局部近傍構造整合ステップと、
前記局部近傍構造整合ステップによって推測された変換パラーメータをパラーメータ空間におけるベクトルとし、前記パラーメータ空間中の密集領域を探索した結果に基づいて最終的な変換パラーメータを確定する検出ステップと
を含むことを特徴とする画像処理方法。
（付記２）前記局部近傍構造構築ステップは、
前記第一画像及び前記第二画像における各画像に対して、前記画像におけるベーシックエレメントを参照ベーシックエレメントとし、前記画像における各ベーシックエレメントの空間分布の関係に基づいて前記参照ベーシックエレメントと隣接する隣接ベーシックエレメントを探索し、前記参照ベーシックエレメントと前記隣接ベーシックエレメントとを組み合わせて前記局部近傍構造を形成する局部近傍構造形成ステップと、
前記局部近傍構造形成ステップにより形成された局部近傍構造から前記参照ベーシックエレメント及び前記隣接ベーシックエレメントの形状の特徴と、前記参照ベーシックエレメント及び前記隣接ベーシックエレメント間の空間構造の関係の特徴とを前記局部近傍構造の特徴として抽出する抽出ステップと、
をさらに含むことを特徴とする付記１に記載の画像処理方法。
前記第一画像及び前記第二画像における各画像に対して、前記画像におけるベーシックエレメントを参照ベーシックエレメントとし、前記画像における各ベーシックエレメントの空間分布の関係に基づいて前記参照ベーシックエレメントと隣接する隣接ベーシックエレメントを探索し、前記参照ベーシックエレメントと前記隣接ベーシックエレメントとを組み合わせて前記局部近傍構造を形成する局部近傍構造形成ステップと、
前記局部近傍構造形成ステップにより形成された局部近傍構造から前記参照ベーシックエレメント及び前記隣接ベーシックエレメントの形状の特徴と、前記参照ベーシックエレメント及び前記隣接ベーシックエレメント間の空間構造の関係の特徴とを前記局部近傍構造の特徴として抽出する抽出ステップと、
をさらに含むことを特徴とする付記１に記載の画像処理方法。
（付記３）前記参照ベーシックエレメント及び前記隣接ベーシックエレメントの形状の特徴は、ベーシックエレメントの方向ヒストグラムを利用したフーリエ変換により計算されることを特徴とする付記２に記載の画像処理方法。
（付記４）前記参照ベーシックエレメント及び前記隣接ベーシックエレメント間の空間構造の関係の特徴は、前記参照ベーシックエレメント及び前記隣接ベーシックエレメント間の相対的長さ、相対的な中心距離、相対的な最小距離、夾角のうち少なくとも一つを含むことを特徴とする付記２に記載の画像処理方法。
（付記５）前記夾角は、ベーシックエレメントの方向ヒストグラム間のＥＭＤにより計算されることを特徴とする付記４に記載の画像処理方法。
（付記６）前記局部近傍構造整合ステップは、
前記局部近傍構造構築ステップにより抽出された局部近傍構造の特徴に基づいて、前記第一画像における各局部近傍構造と、前記第二画像における各局部近傍構造との距離を計算する距離計算ステップと、
前記距離計算ステップにより計算された距離に基づいて、前記第二画像における前記局部近傍構造から前記第一画像における前記局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とする候補整合探索ステップと、
前記候補整合探索ステップにより探索された候補整合対に対して、前記第二画像が前記第一画像に現れる変換パラーメータを推測するパラーメータ推測ステップと
をさらに含むことを特徴とする付記１に記載の画像処理方法。
前記局部近傍構造構築ステップにより抽出された局部近傍構造の特徴に基づいて、前記第一画像における各局部近傍構造と、前記第二画像における各局部近傍構造との距離を計算する距離計算ステップと、
前記距離計算ステップにより計算された距離に基づいて、前記第二画像における前記局部近傍構造から前記第一画像における前記局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とする候補整合探索ステップと、
前記候補整合探索ステップにより探索された候補整合対に対して、前記第二画像が前記第一画像に現れる変換パラーメータを推測するパラーメータ推測ステップと
をさらに含むことを特徴とする付記１に記載の画像処理方法。
（付記７）前記距離計算ステップは、前記第一画像における第一局部近傍構造と前記第二画像における第二局部近傍構造とに対して、
前記第一局部近傍構造及び前記第二局部近傍構造の各参照ベーシックエレメントの形状特徴間の距離を計算する計算ステップと、
前記第一局部近傍構造の各隣接ベーシックエレメント及び前記第二局部近傍構造の各隣接ベーシックエレメント間の距離を計算して、距離マトリックスを取得する取得ステップと、
前記取得ステップにより取得された距離マトリックスにおいて、グリーディ探索手法を利用して、前記第一局部近傍構造及び前記第二局部近傍構造の隣接ベーシックエレメント間の最小距離を確定する最小距離確定ステップと、
前記最小距離確定ステップによって確定された最小距離に基づいて、前記第一局部近傍構造及び前記第二局部近傍構造間の距離を確定する距離確定ステップと
をさらに含むことを特徴とする付記６に記載の画像処理方法。
前記第一局部近傍構造及び前記第二局部近傍構造の各参照ベーシックエレメントの形状特徴間の距離を計算する計算ステップと、
前記第一局部近傍構造の各隣接ベーシックエレメント及び前記第二局部近傍構造の各隣接ベーシックエレメント間の距離を計算して、距離マトリックスを取得する取得ステップと、
前記取得ステップにより取得された距離マトリックスにおいて、グリーディ探索手法を利用して、前記第一局部近傍構造及び前記第二局部近傍構造の隣接ベーシックエレメント間の最小距離を確定する最小距離確定ステップと、
前記最小距離確定ステップによって確定された最小距離に基づいて、前記第一局部近傍構造及び前記第二局部近傍構造間の距離を確定する距離確定ステップと
をさらに含むことを特徴とする付記６に記載の画像処理方法。
（付記８）前記パラーメータ推測ステップは、前記第一画像における第一局部近傍構造と前記第二画像における第二局部近傍構造とに対して、
前記第一局部近傍構造と前記第二局部近傍構造から信頼できるベーシックエレメント整合対を選択する選択ステップと、
前記選択ステップにより選択された信頼できるベーシックエレメント整合対に基づいて、アフィン変換により前記変換パラーメータを推算して、パラーメータ値の序列を取得するパラーメータ値序列取得ステップと、
前記パラーメータ値序列取得ステップにより取得されたパラーメータ値の序列からウィンドウサーチング手法を利用して前記変換パラーメータを確定する変換パラーメータ確定ステップと
をさらに含むことを特徴とする付記６に記載の画像処理方法。
前記第一局部近傍構造と前記第二局部近傍構造から信頼できるベーシックエレメント整合対を選択する選択ステップと、
前記選択ステップにより選択された信頼できるベーシックエレメント整合対に基づいて、アフィン変換により前記変換パラーメータを推算して、パラーメータ値の序列を取得するパラーメータ値序列取得ステップと、
前記パラーメータ値序列取得ステップにより取得されたパラーメータ値の序列からウィンドウサーチング手法を利用して前記変換パラーメータを確定する変換パラーメータ確定ステップと
をさらに含むことを特徴とする付記６に記載の画像処理方法。
（付記９）前記検出ステップは、
前記局部近傍構造整合ステップにより推測された変換パラーメータを前記パラーメータ空間におけるベクトルとし、モード検出手法を利用して前記パラーメータ空間における密集領域を探索する探索ステップと、
前記探索ステップによる前記探索領域の探索によって検出されたモードに対して検証を行って、信頼度が高いモードに基づいて前記最終的な変換パラーメータを確定する最終変換パラーメータ確定ステップと
をさらに含むことを特徴とする付記１に記載の画像処理方法。
前記局部近傍構造整合ステップにより推測された変換パラーメータを前記パラーメータ空間におけるベクトルとし、モード検出手法を利用して前記パラーメータ空間における密集領域を探索する探索ステップと、
前記探索ステップによる前記探索領域の探索によって検出されたモードに対して検証を行って、信頼度が高いモードに基づいて前記最終的な変換パラーメータを確定する最終変換パラーメータ確定ステップと
をさらに含むことを特徴とする付記１に記載の画像処理方法。
（付記１０）前記変換パラーメータは、中心位置、比例拡大縮小の尺度及び回転角度を含むことを特徴とする付記１〜９のいずれか一つに記載の画像処理方法。
（付記１１）第一画像から第二画像を検出する画像処理プログラムにおいて、
コンピュータに、
前記第一画像及び前記第二画像における各画像に対して、前記画像おける各ベーシックエレメントに基づいて局部近傍構造を構築し、前記局部近傍構造の特徴を抽出する局部近傍構造構築手順と、
前記局部近傍構造構築手順により抽出された前記第一画像及び前記第二画像における前記局部近傍構造の特徴に基づいて、前記第二画像における前記局部近傍構造から前記第一画像における前記局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とし、前記候補整合対に対して、前記第二画像が前記第一画像に現れる変換パラーメータを推測する局部近傍構造整合手順と、
前記局部近傍構造整合手順によって推測された変換パラーメータをパラーメータ空間におけるベクトルとし、前記パラーメータ空間中の密集領域を探索した結果に基づいて最終的な変換パラーメータを確定する検出手順と
を実行させることを特徴とする画像処理プログラム。
コンピュータに、
前記第一画像及び前記第二画像における各画像に対して、前記画像おける各ベーシックエレメントに基づいて局部近傍構造を構築し、前記局部近傍構造の特徴を抽出する局部近傍構造構築手順と、
前記局部近傍構造構築手順により抽出された前記第一画像及び前記第二画像における前記局部近傍構造の特徴に基づいて、前記第二画像における前記局部近傍構造から前記第一画像における前記局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とし、前記候補整合対に対して、前記第二画像が前記第一画像に現れる変換パラーメータを推測する局部近傍構造整合手順と、
前記局部近傍構造整合手順によって推測された変換パラーメータをパラーメータ空間におけるベクトルとし、前記パラーメータ空間中の密集領域を探索した結果に基づいて最終的な変換パラーメータを確定する検出手順と
を実行させることを特徴とする画像処理プログラム。
（付記１２）前記局部近傍構造構築手順は、
前記第一画像及び前記第二画像における各画像に対して、前記画像におけるベーシックエレメントを参照ベーシックエレメントとし、前記画像における各ベーシックエレメントの空間分布の関係に基づいて前記参照ベーシックエレメントと隣接する隣接ベーシックエレメントを探索し、前記参照ベーシックエレメントと前記隣接ベーシックエレメントとを組み合わせて前記局部近傍構造を形成する局部近傍構造形成手順と、
前記局部近傍構造形成手順により形成された局部近傍構造から前記参照ベーシックエレメント及び前記隣接ベーシックエレメントの形状の特徴と、前記参照ベーシックエレメント及び前記隣接ベーシックエレメント間の空間構造の関係の特徴とを前記局部近傍構造の特徴として抽出する抽出手順と
をさらに含むことを特徴とする付記１１に記載の画像処理プログラム。
前記第一画像及び前記第二画像における各画像に対して、前記画像におけるベーシックエレメントを参照ベーシックエレメントとし、前記画像における各ベーシックエレメントの空間分布の関係に基づいて前記参照ベーシックエレメントと隣接する隣接ベーシックエレメントを探索し、前記参照ベーシックエレメントと前記隣接ベーシックエレメントとを組み合わせて前記局部近傍構造を形成する局部近傍構造形成手順と、
前記局部近傍構造形成手順により形成された局部近傍構造から前記参照ベーシックエレメント及び前記隣接ベーシックエレメントの形状の特徴と、前記参照ベーシックエレメント及び前記隣接ベーシックエレメント間の空間構造の関係の特徴とを前記局部近傍構造の特徴として抽出する抽出手順と
をさらに含むことを特徴とする付記１１に記載の画像処理プログラム。
（付記１３）前記参照ベーシックエレメント及び前記隣接ベーシックエレメントの形状の特徴は、ベーシックエレメントの方向ヒストグラムを利用したフーリエ変換により計算されることを特徴とする付記１２に記載の画像処理プログラム。
（付記１４）前記参照ベーシックエレメント及び前記隣接ベーシックエレメント間の空間構造の関係の特徴は、前記参照ベーシックエレメント及び前記隣接ベーシックエレメント間の相対的長さ、相対的な中心距離、相対的な最小距離、夾角のうち少なくとも一つを含むことを特徴とする付記１２に記載の画像処理プログラム。
（付記１５）前記夾角は、ベーシックエレメントの方向ヒストグラム間のＥＭＤにより計算されることを特徴とする付記１４に記載の画像処理プログラム。
（付記１６）前記局部近傍構造整合手順は、
前記局部近傍構造構築手順により抽出された局部近傍構造の特徴に基づいて、前記第一画像における各局部近傍構造と、前記第二画像における各局部近傍構造との距離を計算する距離計算手順と、
前記距離計算手順により計算された距離に基づいて、前記第二画像における前記局部近傍構造から前記第一画像における前記局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とする候補整合探索手順と、
前記候補整合探索手順により探索された候補整合対に対して、前記第二画像が前記第一画像に現れる変換パラーメータを推測するパラーメータ推測手順と
をさらに含むことを特徴とする付記１１に記載の画像処理プログラム。
前記局部近傍構造構築手順により抽出された局部近傍構造の特徴に基づいて、前記第一画像における各局部近傍構造と、前記第二画像における各局部近傍構造との距離を計算する距離計算手順と、
前記距離計算手順により計算された距離に基づいて、前記第二画像における前記局部近傍構造から前記第一画像における前記局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とする候補整合探索手順と、
前記候補整合探索手順により探索された候補整合対に対して、前記第二画像が前記第一画像に現れる変換パラーメータを推測するパラーメータ推測手順と
をさらに含むことを特徴とする付記１１に記載の画像処理プログラム。
（付記１７）前記距離計算手順は、前記第一画像における第一局部近傍構造と前記第二画像における第二局部近傍構造とに対して、
前記第一局部近傍構造及び前記第二局部近傍構造の各参照ベーシックエレメントの形状特徴間の距離を計算する計算手順と、
前記第一局部近傍構造の各隣接ベーシックエレメント及び前記第二局部近傍構造の各隣接ベーシックエレメント間の距離を計算して、距離マトリックスを取得する取得手順と、
前記取得手順により取得された距離マトリックスにおいて、グリーディ探索手法を利用して、前記第一局部近傍構造及び前記第二局部近傍構造の隣接ベーシックエレメント間の最小距離を確定する最小距離確定手順と、
前記最小距離確定手順によって確定された最小距離に基づいて、前記第一局部近傍構造及び前記第二局部近傍構造間の距離を確定する距離確定手順と
をさらに含むことを特徴とする付記１６に記載の画像処理プログラム。
前記第一局部近傍構造及び前記第二局部近傍構造の各参照ベーシックエレメントの形状特徴間の距離を計算する計算手順と、
前記第一局部近傍構造の各隣接ベーシックエレメント及び前記第二局部近傍構造の各隣接ベーシックエレメント間の距離を計算して、距離マトリックスを取得する取得手順と、
前記取得手順により取得された距離マトリックスにおいて、グリーディ探索手法を利用して、前記第一局部近傍構造及び前記第二局部近傍構造の隣接ベーシックエレメント間の最小距離を確定する最小距離確定手順と、
前記最小距離確定手順によって確定された最小距離に基づいて、前記第一局部近傍構造及び前記第二局部近傍構造間の距離を確定する距離確定手順と
をさらに含むことを特徴とする付記１６に記載の画像処理プログラム。
（付記１８）前記パラーメータ推測手順は、前記第一画像における第一局部近傍構造と前記第二画像における第二局部近傍構造とに対して、
前記第一局部近傍構造と前記第二局部近傍構造から信頼できるベーシックエレメント整合対を選択する選択手順と、
前記選択手順により選択された信頼できるベーシックエレメント整合対に基づいて、アフィン変換により前記変換パラーメータを推算して、パラーメータ値の序列を取得するパラーメータ値序列取得手順と、
前記パラーメータ値序列取得手順により取得されたパラーメータ値の序列からウィンドウサーチング手法を利用して前記変換パラーメータを確定する変換パラーメータ確定手順と
をさらに含むことを特徴とする付記１６に記載の画像処理プログラム。
前記第一局部近傍構造と前記第二局部近傍構造から信頼できるベーシックエレメント整合対を選択する選択手順と、
前記選択手順により選択された信頼できるベーシックエレメント整合対に基づいて、アフィン変換により前記変換パラーメータを推算して、パラーメータ値の序列を取得するパラーメータ値序列取得手順と、
前記パラーメータ値序列取得手順により取得されたパラーメータ値の序列からウィンドウサーチング手法を利用して前記変換パラーメータを確定する変換パラーメータ確定手順と
をさらに含むことを特徴とする付記１６に記載の画像処理プログラム。
（付記１９）前記検出手順は、
前記局部近傍構造整合手順により推測された変換パラーメータを前記パラーメータ空間におけるベクトルとし、モード検出手法を利用して前記パラーメータ空間における密集領域を探索する探索手順と、
前記探索手順による前記探索領域の探索によって検出されたモードに対して検証を行って、信頼度が高いモードに基づいて前記最終的な変換パラーメータを確定する最終変換パラーメータ確定手順と
をさらに含むことを特徴とする付記１１に記載の画像処理プログラム。
前記局部近傍構造整合手順により推測された変換パラーメータを前記パラーメータ空間におけるベクトルとし、モード検出手法を利用して前記パラーメータ空間における密集領域を探索する探索手順と、
前記探索手順による前記探索領域の探索によって検出されたモードに対して検証を行って、信頼度が高いモードに基づいて前記最終的な変換パラーメータを確定する最終変換パラーメータ確定手順と
をさらに含むことを特徴とする付記１１に記載の画像処理プログラム。
（付記２０）前記変換パラーメータは、中心位置、比例拡大縮小の尺度及び回転角度を含むことを特徴とする付記１１〜１９のいずれか一つに記載の画像処理プログラム。
（付記２１）第一画像から第二画像を検出するための画像処理装置において、
前記第一画像及び前記第二画像における各画像に対して、前記画像おける各ベーシックエレメントに基づいて局部近傍構造を構築し、前記局部近傍構造の特徴を抽出する局部近傍構造構築手段と、
前記局部近傍構造構築手段により抽出された前記第一画像及び前記第二画像における前記局部近傍構造の特徴に基づいて、前記第二画像における前記局部近傍構造から前記第一画像における前記局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とし、前記候補整合対に対して、前記第二画像が前記第一画像に現れる変換パラーメータを推測する局部近傍構造整合手段と、
前記局部近傍構造整合手段によって推測された変換パラーメータをパラーメータ空間におけるベクトルとし、前記パラーメータ空間中の密集領域を探索した結果に基づいて最終的な変換パラーメータを確定する検出手段と
を有することを特徴とする画像処理装置。
前記第一画像及び前記第二画像における各画像に対して、前記画像おける各ベーシックエレメントに基づいて局部近傍構造を構築し、前記局部近傍構造の特徴を抽出する局部近傍構造構築手段と、
前記局部近傍構造構築手段により抽出された前記第一画像及び前記第二画像における前記局部近傍構造の特徴に基づいて、前記第二画像における前記局部近傍構造から前記第一画像における前記局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とし、前記候補整合対に対して、前記第二画像が前記第一画像に現れる変換パラーメータを推測する局部近傍構造整合手段と、
前記局部近傍構造整合手段によって推測された変換パラーメータをパラーメータ空間におけるベクトルとし、前記パラーメータ空間中の密集領域を探索した結果に基づいて最終的な変換パラーメータを確定する検出手段と
を有することを特徴とする画像処理装置。
（付記２２）前記局部近傍構造構築手段は、
前記第一画像及び前記第二画像における各画像に対して、前記画像におけるベーシックエレメントを参照ベーシックエレメントとし、前記画像における各ベーシックエレメントの空間分布の関係に基づいて前記参照ベーシックエレメントと隣接する隣接ベーシックエレメントを探索し、前記参照ベーシックエレメントと前記隣接ベーシックエレメントとを組み合わせて前記局部近傍構造を形成する局部近傍構造形成手段と、
前記局部近傍構造形成手段により形成された局部近傍構造から前記参照ベーシックエレメント及び前記隣接ベーシックエレメントの形状の特徴と、前記参照ベーシックエレメント及び前記隣接ベーシックエレメント間の空間構造の関係の特徴とを前記局部近傍構造の特徴として抽出する抽出手段と、
をさらに備えることを特徴とする付記２１に記載の画像処理装置。
前記第一画像及び前記第二画像における各画像に対して、前記画像におけるベーシックエレメントを参照ベーシックエレメントとし、前記画像における各ベーシックエレメントの空間分布の関係に基づいて前記参照ベーシックエレメントと隣接する隣接ベーシックエレメントを探索し、前記参照ベーシックエレメントと前記隣接ベーシックエレメントとを組み合わせて前記局部近傍構造を形成する局部近傍構造形成手段と、
前記局部近傍構造形成手段により形成された局部近傍構造から前記参照ベーシックエレメント及び前記隣接ベーシックエレメントの形状の特徴と、前記参照ベーシックエレメント及び前記隣接ベーシックエレメント間の空間構造の関係の特徴とを前記局部近傍構造の特徴として抽出する抽出手段と、
をさらに備えることを特徴とする付記２１に記載の画像処理装置。
（付記２３）前記参照ベーシックエレメント及び前記隣接ベーシックエレメントの形状の特徴は、ベーシックエレメントの方向ヒストグラムを利用したフーリエ変換により計算されることを特徴とする付記２２に記載の画像処理装置。
（付記２４）前記参照ベーシックエレメント及び前記隣接ベーシックエレメント間の空間構造の関係の特徴は、前記参照ベーシックエレメント及び前記隣接ベーシックエレメント間の相対的長さ、相対的な中心距離、相対的な最小距離、夾角のうち少なくとも一つを含むことを特徴とする付記２２に記載の画像処理装置。
（付記２５）前記夾角は、ベーシックエレメントの方向ヒストグラム間のＥＭＤにより計算されることを特徴とする付記２４に記載の画像処理装置。
（付記２６）前記局部近傍構造整合手段は、
前記局部近傍構造構築手段により抽出された局部近傍構造の特徴に基づいて、前記第一画像における各局部近傍構造と、前記第二画像における各局部近傍構造との距離を計算する距離計算手段と、
前記距離計算手段により計算された距離に基づいて、前記第二画像における前記局部近傍構造から前記第一画像における前記局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とする候補整合探索手段と、
前記候補整合探索手段により探索された候補整合対に対して、前記第二画像が前記第一画像に現れる変換パラーメータを推測するパラーメータ推測手段と
をさらに備えることを特徴とする付記２１に記載の画像処理装置。
前記局部近傍構造構築手段により抽出された局部近傍構造の特徴に基づいて、前記第一画像における各局部近傍構造と、前記第二画像における各局部近傍構造との距離を計算する距離計算手段と、
前記距離計算手段により計算された距離に基づいて、前記第二画像における前記局部近傍構造から前記第一画像における前記局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とする候補整合探索手段と、
前記候補整合探索手段により探索された候補整合対に対して、前記第二画像が前記第一画像に現れる変換パラーメータを推測するパラーメータ推測手段と
をさらに備えることを特徴とする付記２１に記載の画像処理装置。
（付記２７）前記距離計算手段は、前記第一画像における第一局部近傍構造と前記第二画像における第二局部近傍構造とに対して、
前記第一局部近傍構造及び前記第二局部近傍構造の各参照ベーシックエレメントの形状特徴間の距離を計算する計算手段と、
前記第一局部近傍構造の各隣接ベーシックエレメント及び前記第二局部近傍構造の各隣接ベーシックエレメント間の距離を計算して、距離マトリックスを取得する取得手段と、
前記取得手段により取得された距離マトリックスにおいて、グリーディ探索手法を利用して、前記第一局部近傍構造及び前記第二局部近傍構造の隣接ベーシックエレメント間の最小距離を確定する最小距離確定手段と、
前記最小距離確定手段によって確定された最小距離に基づいて、前記第一局部近傍構造及び前記第二局部近傍構造間の距離を確定する距離確定手段と
をさらに備えることを特徴とする付記２６に記載の画像処理装置。
前記第一局部近傍構造及び前記第二局部近傍構造の各参照ベーシックエレメントの形状特徴間の距離を計算する計算手段と、
前記第一局部近傍構造の各隣接ベーシックエレメント及び前記第二局部近傍構造の各隣接ベーシックエレメント間の距離を計算して、距離マトリックスを取得する取得手段と、
前記取得手段により取得された距離マトリックスにおいて、グリーディ探索手法を利用して、前記第一局部近傍構造及び前記第二局部近傍構造の隣接ベーシックエレメント間の最小距離を確定する最小距離確定手段と、
前記最小距離確定手段によって確定された最小距離に基づいて、前記第一局部近傍構造及び前記第二局部近傍構造間の距離を確定する距離確定手段と
をさらに備えることを特徴とする付記２６に記載の画像処理装置。
（付記２８）前記パラーメータ推測手段は、前記第一画像における第一局部近傍構造と前記第二画像における第二局部近傍構造とに対して、
前記第一局部近傍構造と前記第二局部近傍構造から信頼できるベーシックエレメント整合対を選択する選択手段と、
前記選択手段により選択された信頼できるベーシックエレメント整合対に基づいて、アフィン変換により前記変換パラーメータを推算して、パラーメータ値の序列を取得するパラーメータ値序列取得手段と、
前記パラーメータ値序列取得手段により取得されたパラーメータ値の序列からウィンドウサーチング手法を利用して前記変換パラーメータを確定する変換パラーメータ確定手段と
をさらに備えたことを特徴とする付記２６に記載の画像処理装置。
前記第一局部近傍構造と前記第二局部近傍構造から信頼できるベーシックエレメント整合対を選択する選択手段と、
前記選択手段により選択された信頼できるベーシックエレメント整合対に基づいて、アフィン変換により前記変換パラーメータを推算して、パラーメータ値の序列を取得するパラーメータ値序列取得手段と、
前記パラーメータ値序列取得手段により取得されたパラーメータ値の序列からウィンドウサーチング手法を利用して前記変換パラーメータを確定する変換パラーメータ確定手段と
をさらに備えたことを特徴とする付記２６に記載の画像処理装置。
（付記２９）前記検出手段は、
前記局部近傍構造整合手段により推測された変換パラーメータを前記パラーメータ空間におけるベクトルとし、モード検出手法を利用して前記パラーメータ空間における密集領域を探索する探索手段と、
前記探索ステップによる前記探索領域の探索によって検出されたモードに対して検証を行って、信頼度が高いモードに基づいて前記最終的な変換パラーメータを確定する最終変換パラーメータ確定手段と
をさらに備えることを特徴とする付記２１に記載の画像処理装置。
前記局部近傍構造整合手段により推測された変換パラーメータを前記パラーメータ空間におけるベクトルとし、モード検出手法を利用して前記パラーメータ空間における密集領域を探索する探索手段と、
前記探索ステップによる前記探索領域の探索によって検出されたモードに対して検証を行って、信頼度が高いモードに基づいて前記最終的な変換パラーメータを確定する最終変換パラーメータ確定手段と
をさらに備えることを特徴とする付記２１に記載の画像処理装置。
（付記２０）前記変換パラーメータは、中心位置、比例拡大縮小の尺度及び回転角度を含むことを特徴とする付記２１〜２９のいずれか一つに記載の画像処理装置。
１４００ 画像処理装置
１４１０ 局部近傍構造構築手段
１４２０ 局部近傍構造整合手段
１４３０ 検出手段
１４１０ 局部近傍構造構築手段
１４２０ 局部近傍構造整合手段
１４３０ 検出手段
Claims (10)
- 第一画像から第二画像を画像処理装置が検出する画像処理方法において、
前記画像処理装置が、前記第一画像及び前記第二画像における各画像に対して、前記画像におけるベーシックエレメントを参照ベーシックエレメントとし、前記画像における各ベーシックエレメントの空間分布の関係に基づいて前記参照ベーシックエレメントと隣接する隣接ベーシックエレメントを探索し、前記参照ベーシックエレメントと前記隣接ベーシックエレメントとを組み合わせて局部近傍構造を構築し、前記局部近傍構造の特徴を抽出する局部近傍構造構築ステップと、
前記画像処理装置が、前記局部近傍構造構築ステップにより抽出された前記第一画像及び前記第二画像における前記局部近傍構造の特徴に基づいて、前記第二画像における前記局部近傍構造から前記第一画像における前記局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とし、前記候補整合対に対して、前記第二画像が前記第一画像に現れる変換パラーメータを推測する局部近傍構造整合ステップと、
前記画像処理装置が、前記局部近傍構造整合ステップによって推測された変換パラーメータをパラーメータ空間におけるベクトルとし、前記パラーメータ空間中の密集領域を探索した結果に基づいて最終的な変換パラーメータを確定する検出ステップと
を含むことを特徴とする画像処理方法。 - 前記局部近傍構造構築ステップは、
前記第一画像及び前記第二画像における各画像に対して、前記画像におけるベーシックエレメントを参照ベーシックエレメントとし、前記画像における各ベーシックエレメントの空間分布の関係に基づいて前記参照ベーシックエレメントと隣接する隣接ベーシックエレメントを探索し、前記参照ベーシックエレメントと前記隣接ベーシックエレメントとを組み合わせて前記局部近傍構造を形成する局部近傍構造形成ステップと、
前記局部近傍構造形成ステップにより形成された局部近傍構造から前記参照ベーシックエレメント及び前記隣接ベーシックエレメントの形状の特徴と、前記参照ベーシックエレメント及び前記隣接ベーシックエレメント間の空間構造の関係の特徴とを前記局部近傍構造の特徴として抽出する抽出ステップと、
をさらに含むことを特徴とする請求項１に記載の画像処理方法。 - 前記参照ベーシックエレメント及び前記隣接ベーシックエレメントの形状の特徴は、ベーシックエレメントの方向ヒストグラムを利用したフーリエ変換により計算されることを特徴とする請求項２に記載の画像処理方法。
- 前記参照ベーシックエレメント及び前記隣接ベーシックエレメント間の空間構造の関係の特徴は、前記参照ベーシックエレメント及び前記隣接ベーシックエレメント間の相対的長さ、相対的な中心距離、相対的な最小距離、夾角のうち少なくとも一つを含むことを特徴とする請求項２に記載の画像処理方法。
- 前記局部近傍構造整合ステップは、
前記局部近傍構造構築ステップにより抽出された局部近傍構造の特徴に基づいて、前記第一画像における各局部近傍構造と、前記第二画像における各局部近傍構造との距離を計算する距離計算ステップと、
前記距離計算ステップにより計算された距離に基づいて、前記第二画像における前記局部近傍構造から前記第一画像における前記局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とする候補整合探索ステップと、
前記候補整合探索ステップにより探索された候補整合対に対して、前記第二画像が前記第一画像に現れる変換パラーメータを推測するパラーメータ推測ステップと
をさらに含むことを特徴とする請求項１に記載の画像処理方法。 - 前記距離計算ステップは、前記第一画像における第一局部近傍構造と前記第二画像における第二局部近傍構造とに対して、
前記第一局部近傍構造及び前記第二局部近傍構造の各参照ベーシックエレメントの形状特徴間の距離を計算する計算ステップと、
前記第一局部近傍構造の各隣接ベーシックエレメント及び前記第二局部近傍構造の各隣接ベーシックエレメント間の距離を計算して、距離マトリックスを取得する取得ステップと、
前記取得ステップにより取得された距離マトリックスにおける各要素から各最小値を探索し、探索した各最小値の和を算出し、前記第二局部近傍構造における隣接ベーシックエレメントの個数に基づいて、前記第一局部近傍構造及び前記第二局部近傍構造の隣接ベーシックエレメント間の最小距離を確定する最小距離確定ステップと、
前記最小距離確定ステップによって確定された最小距離に基づいて、前記第一局部近傍構造及び前記第二局部近傍構造間の距離を確定する距離確定ステップと
をさらに含むことを特徴とする請求項５に記載の画像処理方法。 - 前記パラーメータ推測ステップは、前記第一画像における第一局部近傍構造と前記第二画像における第二局部近傍構造とに対して、
前記第一局部近傍構造と前記第二局部近傍構造から信頼できるベーシックエレメント整合対を選択する選択ステップと、
前記選択ステップにより選択された信頼できるベーシックエレメント整合対に基づいて、アフィン変換により前記変換パラーメータを推算して、パラーメータ値の序列を取得するパラーメータ値序列取得ステップと、
前記パラーメータ値序列取得ステップにより取得されたパラーメータ値の序列から方形のウィンドウを構築し、構築したウィンドウ内に入る所定座標を検索していくことで前記変換パラーメータを確定する変換パラーメータ確定ステップと
をさらに含むことを特徴とする請求項５に記載の画像処理方法。 - 前記検出ステップは、
前記局部近傍構造整合ステップにより推測された変換パラーメータを前記パラーメータ空間におけるベクトルとし、Mean−Shiftモード検出方法を用いたモード検出手法を利用して前記パラーメータ空間における密集領域を探索する探索ステップと、
前記探索ステップによる前記探索領域の探索によって検出されたモードに対して検証を行って、信頼度が高いモードに基づいて前記最終的な変換パラーメータを確定する最終変換パラーメータ確定ステップと
をさらに含むことを特徴とする請求項１に記載の画像処理方法。 - 第一画像から第二画像を検出する画像処理プログラムにおいて、
コンピュータに、
前記第一画像及び前記第二画像における各画像に対して、前記画像におけるベーシックエレメントを参照ベーシックエレメントとし、前記画像における各ベーシックエレメントの空間分布の関係に基づいて前記参照ベーシックエレメントと隣接する隣接ベーシックエレメントを探索し、前記参照ベーシックエレメントと前記隣接ベーシックエレメントとを組み合わせて局部近傍構造を構築し、前記局部近傍構造の特徴を抽出する局部近傍構造構築手順と、
前記局部近傍構造構築手順により抽出された前記第一画像及び前記第二画像における前記局部近傍構造の特徴に基づいて、前記第二画像における前記局部近傍構造から前記第一画像における前記局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とし、前記候補整合対に対して、前記第二画像が前記第一画像に現れる変換パラーメータを推測する局部近傍構造整合手順と、
前記局部近傍構造整合手順によって推測された変換パラーメータをパラーメータ空間におけるベクトルとし、前記パラーメータ空間中の密集領域を探索した結果に基づいて最終的な変換パラーメータを確定する検出手順と
を実行させることを特徴とする画像処理プログラム。 - 第一画像から第二画像を検出するための画像処理装置において、
前記第一画像及び前記第二画像における各画像に対して、前記画像におけるベーシックエレメントを参照ベーシックエレメントとし、前記画像における各ベーシックエレメントの空間分布の関係に基づいて前記参照ベーシックエレメントと隣接する隣接ベーシックエレメントを探索し、前記参照ベーシックエレメントと前記隣接ベーシックエレメントとを組み合わせて局部近傍構造を構築し、前記局部近傍構造の特徴を抽出する局部近傍構造構築手段と、
前記局部近傍構造構築手段により抽出された前記第一画像及び前記第二画像における前記局部近傍構造の特徴に基づいて、前記第二画像における前記局部近傍構造から前記第一画像における前記局部近傍構造と最も相似する一つ又は複数の局部近傍構造を探索して候補整合対とし、前記候補整合対に対して、前記第二画像が前記第一画像に現れる変換パラーメータを推測する局部近傍構造整合手段と、
前記局部近傍構造整合手段によって推測された変換パラーメータをパラーメータ空間におけるベクトルとし、前記パラーメータ空間中の密集領域を探索した結果に基づいて最終的な変換パラーメータを確定する検出手段と
を有することを特徴とする画像処理装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200810171186A CN101727452B (zh) | 2008-10-22 | 2008-10-22 | 图像处理方法和设备 |
| CN200810171186.1 | 2008-10-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010102711A JP2010102711A (ja) | 2010-05-06 |
| JP5353631B2 true JP5353631B2 (ja) | 2013-11-27 |
Family
ID=42293254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009243862A Active JP5353631B2 (ja) | 2008-10-22 | 2009-10-22 | 画像処理方法、画像処理プログラム及び画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5353631B2 (ja) |
| CN (1) | CN101727452B (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101882312B (zh) * | 2010-06-07 | 2011-12-14 | 河南理工大学 | 数字图像中基于基元表示的多边形检测方法 |
| CN102375993A (zh) * | 2010-08-23 | 2012-03-14 | 索尼公司 | 目标检测方法和设备 |
| CN101976338B (zh) * | 2010-10-29 | 2013-03-13 | 杭州电子科技大学 | 一种基于梯度方向直方图的判决式视觉显著性检测方法 |
| CN102103700A (zh) * | 2011-01-18 | 2011-06-22 | 南京邮电大学 | 基于陆地移动距离的相似度检测图像型垃圾邮件的方法 |
| CN103379258B (zh) * | 2012-04-20 | 2016-08-03 | 宏碁股份有限公司 | 利用旋转操作辅助视频压缩的方法及其图像获取装置 |
| CN106909539A (zh) * | 2015-12-22 | 2017-06-30 | 成都理想境界科技有限公司 | 图像检索系统、服务器、数据库及相关的方法 |
| CN106909552A (zh) * | 2015-12-22 | 2017-06-30 | 成都理想境界科技有限公司 | 图像检索服务器、系统、相关检索及排错方法 |
| CN105527461B (zh) * | 2016-01-16 | 2018-04-27 | 北京工业大学 | 一种基于透射电镜haadf图像的材料结构定量化分析方法 |
| CN113239222B (zh) * | 2021-01-19 | 2023-10-31 | 佳木斯大学 | 一种基于图像信息提取与改进emd距离的图像检索方法 |
| CN115423855B (zh) * | 2022-11-04 | 2023-05-02 | 深圳市壹倍科技有限公司 | 图像的模板匹配方法、装置、设备及介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07239862A (ja) * | 1994-03-01 | 1995-09-12 | Nippon Steel Corp | 画像データベース検索システム |
| US5845288A (en) * | 1995-12-11 | 1998-12-01 | Xerox Corporation | Automated system for indexing graphical documents having associated text labels |
| JP3513562B2 (ja) * | 2000-04-20 | 2004-03-31 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 形状解析システム、３次元形状モデルの差分検出システム、類似形状検索システム、形状解析方法及び記憶媒体 |
| JP4492036B2 (ja) * | 2003-04-28 | 2010-06-30 | ソニー株式会社 | 画像認識装置及び方法、並びにロボット装置 |
| JP4267475B2 (ja) * | 2004-02-13 | 2009-05-27 | 富士通株式会社 | 図面照合装置 |
| JP4477468B2 (ja) * | 2004-10-15 | 2010-06-09 | 富士通株式会社 | 組み立て図面の装置部品イメージ検索装置 |
| CN101110101A (zh) * | 2006-07-17 | 2008-01-23 | 松下电器产业株式会社 | 识别图像的方法及设备 |
| JP4467583B2 (ja) * | 2007-01-17 | 2010-05-26 | 富士通株式会社 | 設計支援プログラム、設計支援方法および設計支援装置 |
| CN100530222C (zh) * | 2007-10-18 | 2009-08-19 | 清华大学 | 图像匹配方法 |
-
2008
- 2008-10-22 CN CN200810171186A patent/CN101727452B/zh active Active
-
2009
- 2009-10-22 JP JP2009243862A patent/JP5353631B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN101727452A (zh) | 2010-06-09 |
| CN101727452B (zh) | 2012-09-19 |
| JP2010102711A (ja) | 2010-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5353631B2 (ja) | 画像処理方法、画像処理プログラム及び画像処理装置 | |
| Fan et al. | Robust line matching through line–point invariants | |
| Zhang et al. | An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency | |
| Barnes et al. | The generalized patchmatch correspondence algorithm | |
| US8737739B2 (en) | Active segmentation for groups of images | |
| US8200010B1 (en) | Image segmentation by clustering web images | |
| JP5754055B2 (ja) | 物体または形状の情報表現方法 | |
| Lee et al. | Place recognition using straight lines for vision-based SLAM | |
| JP6393230B2 (ja) | オブジェクト検出方法及び画像検索システム | |
| JP6039413B2 (ja) | 文字切り出し装置、文字認識装置、文字切り出し方法、およびプログラム | |
| Lian et al. | Weakly supervised road segmentation in high-resolution remote sensing images using point annotations | |
| Gonzalez-Diaz et al. | Neighborhood matching for image retrieval | |
| Suwanwimolkul et al. | Learning of low-level feature keypoints for accurate and robust detection | |
| Kleiman et al. | Robust structure-based shape correspondence | |
| Zheng et al. | Smoothly varying projective transformation for line segment matching | |
| CN113988198A (zh) | 一种基于地标约束的多尺度城市功能分类方法 | |
| Jablons | Identifying humpback whale flukes by sequence matching of trailing edge curvature | |
| Martin et al. | A learning approach for adaptive image segmentation | |
| Havlena et al. | Optimal reduction of large image databases for location recognition | |
| Liu et al. | Extended cone-curvature based salient points detection and 3D model retrieval | |
| Meng et al. | Token based crack detection | |
| Strassburg et al. | On the influence of superpixel methods for image parsing | |
| Shen et al. | Robust line segment mismatch removal using point-pair representation and Gaussian-uniform mixture formulation | |
| Fan et al. | A multi-scale face detection algorithm based on improved SSD model | |
| Divya Lakshmi et al. | Helly hypergraph based matching framework using deterministic sampling techniques for spatially improved point feature based image matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120720 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130521 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130626 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130730 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130812 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5353631 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |