JP6037134B2 - 特徴点対応付けシステム、特徴点対応付け方法、およびプログラム - Google Patents

Description

本発明は、情報処理によるデータ解析に関して、二つの画像などにおける夫々の特徴点群の間で、同じ特徴点とみなせる夫々の特徴点を対応付ける特徴点対応付けシステム、および特徴点対応付け方法に関する。

二つの画像で、同じ特徴点（場所）を対応付けることができれば、画像から様々な情報を得ることができる。たとえば、二つの画像の対応する特徴点である対応特徴点を用いてステレオマッチングを行うことにより、二つの画像から対象物の三次元形状を求めることができる。また、対応特徴点を用いて対象物が重なるように画像を補正することで、対象物の変化を調べたることができる。また、二つの画像に写っている対象物が同一であるか否かを照合することもできる。
また、立体的データとして対比する一方の特徴点群が予め準備され、その特徴点群に画像や映像から抽出した特徴点群を対応付けることでも様々な情報を得られる。たとえば、実際に撮影された衛星画像や航空機画像と地図データとの対応付けに利用できる。同様に、車載カメラの画像とカーナビ用データとの対応に付けに利用できる。
このような特徴点の対応付け手法の一例に特許文献１に記載された図形位置検出方法がある。特許文献１記載の方法では、二つの画像間で、所定の特徴点に対する近傍特徴点の配置が似ている特徴点を対応付けて対応特徴点候補とし、対応特徴点候補を重ね合わせる座標整合パラメータの分布を求める。この座標整合パラメータの集中する位置を画像間の変換パラメータにあたる座標整合量として以後の処理に用いる。
また、特許文献２に記載された画像処理装置では、複数の解像度の画像を作成し、二つの画像のそれぞれの解像度の画像を用いて対応付けを行うことで、対比する一方の画像が拡大や縮小されていても対応付けられる。
また、特許文献３に記載されたパターン照合装置では、対応特徴点候補の関係から変形を推定することで、対象物が変形していても対応付けられるようにしている。

特許第３００２７２１号公報 特開２００６−０６５３９９号公報 特開２００２−２９８１４１号公報

上記例示したような複数の特徴点群を参照して画像などの特定箇所どうしを対応付ける技術について、更なる進展を行なう。
上記例示した技術の課題をいくつか説明する。
特許文献１に記載された技術の一つの問題点は、対比する画像が大きく変形したり、部分的に異なった配置となっている場合に、対応できないことである。その理由は、近傍特徴点の配置が似ているものを対応付けて対応特徴点候補として抽出し、その対応特徴点候補を重ね合わせる座標整合量を求めているからである。このため、対象物が大きく変形したり、部分的に局所的に異なった配置となっている場合に、各対応特徴点候補を重ね合わせる座標整合量が場所によって異なってしまう。その結果、座標整合パラメータが集中せず、正しい位置を求めることができない。
また、特許文献１に記載の方法では、処理に時間がかかるという別の問題点もある。特許文献１に記載の方法では、まず二つの画像間の全ての特徴点の組み合わせに対して、対応特徴点候補とするかどうかを近傍の特徴点の配置を用いて判定する。この判定を厳密に行えば、対応特徴点の対応精度が向上するので、座標整合パラメータの分布を求めた場合に正しい値に集中するようになり、正しい座標整合量を求めやすくなる。
しかしながら、この判定を厳密に行うためには、近傍特徴点の配置から十分な情報を得る必要がある。そのためには、近傍特徴点を求める範囲を拡げる必要がある。他方で近傍特徴点の範囲を拡げると、判定に用いる情報が増え、判定に必要な処理量（時間）が大きく（長く）なる。また、対応特徴点候補の判定を全ての特徴点の組み合わせに対して行うので、この全ての特徴点の組み合わせは非常に大きな数となる。その結果として判定の実行回数も非常に多くなることから個々の判定の処理時間が長くなり、全体の処理時間は非常に長くなる。一方、この判定を高速に行うために、簡易な判定処理とすると、対応特徴点候補の対応精度が低下して、正しい対応特徴点（本来同じである特徴点の対：残すべき特徴点対）が対応特徴点候補として検出されなかったり、誤った対応特徴点（本来同じではない特徴点の対：排除すべき特徴点対）が対応特徴点候補に多く含まれるようになる。そうなると、座標整合量の分布が拡がってしまい、正しい座標整合量を求めることができなくなる。
更に、特許文献１に記載の方法では、各対応特徴点候補を重ね合わせる座標整合量の分布を求める際にも処理時間がかかるという問題がある。座標整合量は、各対応特徴点候補を重ね合わせる変換であり、例えば平行移動であれば、横方向と縦方向それぞれについて、各対応特徴点候補の座標位置の差分がどのような分布を調べることになる。差分のとりうる値は非常に広い範囲になりえ、その条件下で全てを走査する必要があるため、処理時間がかかる。この特徴も対応特徴点候補の判定と同様に、厳密に行えば行うほど処理時間が大きく膨らむ。
特許文献２に記載された技術の問題点も同様であり、大きく変形したり、部分的に異なった配置となっている場合に対応できないことである。その理由は、画像の拡大と縮小では、大きな変形や部分的に異なった配置となることによる違いを吸収できないためである。特許文献２では、多重解像度画像を作成することで、拡大と縮小に対応している。しかしながら、画像を拡大や縮小しても、変形や部分的な配置の違いはそのままであるので、特許文献２記載の方法では、変形や部分的な配置の違いについて対応できない。
特許文献３に記載された技術の問題点は、画像の変形を推定する際に、弾性的な連続的な変形以外には対応できないことである。その理由は、特許文献３に記載の方法では、対象物を弾性膜とみなして変形を推定しているためである。そのため、不連続に部分的な配置が異なるような場合には対応できない。
本発明は、対比する特徴点群間で、対象物の配置が部分的に異なる場合でも、低処理量で特徴点を対応付けることができる特徴点対応付けシステムを提供する。

本発明に係る特徴点対応付けシステムは、対比する２つの特徴点群を受け付けて、前記特徴点群各々からの特徴点を含む全ての組み合わせの特徴点対群について、特徴点対毎に 各特徴点対を成す２つの特徴点間の局所変換パラメータを求め、局所変換パラメータの近い特徴点対をまとめた集合を特徴点対集合として複数作成する集合作成部と、前記集合作成部で生成された複数ある特徴点対集合の中から、特徴点対集合に含まれる特徴点対数の大きな特徴点対集合を選択する集合選択部と、前記集合選択部で選択した特徴点対集合に含まれていた特徴点対内から正しい対応特徴点として関連付ける特徴点対を決定して出力可能にする対応特徴点決定部とを有することを特徴とする。
本発明に係る情報処理装置による特徴点対応付け方法は、対比する２つの特徴点群を受け付けて、前記特徴点群各々からの特徴点を含む全ての組み合わせの特徴点対群について、特徴点対毎に 各特徴点対を成す２つの特徴点間の局所変換パラメータを求め、局所変換パラメータの近い特徴点対をまとめた集合を特徴点対集合として複数作成する集合作成工程と、前記集合作成工程で生成された複数ある特徴点対集合の中から、特徴点対集合に含まれる特徴点対数の大きな特徴点対集合を選択する集合選択工程と、前記集合選択工程で選択した特徴点対集合に含まれていた特徴点対内から正しい対応特徴点として関連付ける特徴点対を決定して出力する対応特徴点決定工程とを含みなることを特徴とする。
本発明に係る特徴点対応付けプログラムは、情報処理装置の制御部を、対比する２つの特徴点群を受け付けて、前記特徴点群各々からの特徴点を含む全ての組み合わせの特徴点対群について、特徴点対毎に 各特徴点対を成す２つの特徴点間の局所変換パラメータを求め、局所変換パラメータの近い特徴点対をまとめた集合を特徴点対集合として複数作成する集合作成部と、前記集合作成部で生成された複数ある特徴点対集合の中から、特徴点対集合に含まれる特徴点対数の大きな特徴点対集合を選択する集合選択部と、前記集合選択部で選択した特徴点対集合に含まれていた特徴点対内から正しい対応特徴点として関連付ける特徴点対を決定して出力可能にする対応特徴点決定部として動作させることを特徴とする。

本発明によれば、対比する特徴点群間で、対象物の配置が部分的に異なる場合でも、低処理量で特徴点を対応付けることができる特徴点対応付け定システムを提供できる。

図１は、第１の実施形態に係る構成を示すブロック図である。
図２は、第１の実施形態に係る動作例を示すフローチャートである。
図３は、第２の実施形態に係る構成を示すブロック図である。
図４は、第２の実施形態に係る動作例を示すフローチャートである。
図５は、実施例１に係る処理対象画像の一例を示す模式図である。
図６は、図５に示した特徴点の位置関係を示す説明図である。
図７は、図６に示した特徴点間の局所変換パラメータを示す説明図である。
図８は、特徴点対の集合の作成過程の一例を示す説明図である。
図９は、特徴点対の集合の一例を示す説明図である。
図１０は、実施例２に係る対比する一方の処理対象画像を示す模式図である。
図１１は、実施例２に係る対比する他方の処理対象画像を示す模式図である。
図１２は、図１０に示した処理対象画像の特徴点を示す説明図である。
図１３は、図１１に示した処理対象画像の特徴点を示す説明図である。
図１４は、図１２および図１３に示した特徴点の位置関係を示す説明図である。
図１５は、実施例２に係る特徴点間の相対的な位置関係の一例を示す説明図である。
図１６は、実施例２に係る特徴点間の相対的な位置関係の別の一例を示す説明図である。
図１７は、本発明の具現化の一例を示す構成図である。

次に、実施形態について図面を参照して詳細に説明する。
図１を参照すると、第１の実施の形態の特徴点対応付け定システムは、集合作成部１１０、集合選択部１２０、対応特徴点決定部１３０から構成されている。
集合作成部１１０は、対比する複数の特徴点群を受け付けて、局所変換のパラメータの近い特徴点対をまとめた集合を特徴点対集合として複数作成する。なお、ここで特徴点対とは、対比する特徴点群のそれぞれから１つずつの特徴点を対にしたその組である。また、局所変換のパラメータとは、特徴点対とした特徴点間の個々の変換に要する変数や関数、代数などの数が示されたパラメータである。換言すれば、局所変換のパラメータは、ペアリングされた２つの特徴点の一方の特徴点を、他方の特徴点に変換するためのパラメータである。
集合選択部１２０は、作成された複数ある集合から、含んでいる要素数が多い集合を選択する。
対応特徴点決定部１３０は、選択された集合に含まれる要素から正しい対応特徴点（対比する特徴点群からそれぞれ取り出した同一とみなす対応する特徴点）として関連付ける特徴点対を決定する。決定した特徴点対は、出力可能に纏められ、適宜使用される。
この構成によって、例えば、二つの画像からそれどれ特徴点を収集して作成された対比する特徴点群を受けて、その特徴点群間の中から同一とみなす特徴点を関連付けて対応特徴点として決定付ける。
得られた対応特徴点は、その後の各種所望の処理で、二つの画像間で同一箇所を示す特徴点として扱う。
次に図２のフローチャートおよび図１を参照して、本実施の形態の全体の処理例について詳細に説明する。以下では、二つの画像の特徴点群を例に用いる。
集合作成部１１０は、二つの画像の特徴点群間の特徴点の組み合わせを調べ、局所変換のパラメータの近い特徴点対が同じ集合に属するように、特徴点対の集合を順次作成する。その処理として、多数ある二つの画像の特徴点の組み合わせ（特徴点対）から一組を選択（ステップＳ１０１）し、その特徴点対の局所変換パラメータを求める（ステップＳ１０２）。求めた局所変換パラメータが、既に作成された特徴点対集合の中に、局所変換パラメータの近いものがあるか判別して（ステップＳ１０３）、あればその特徴点対をその特徴点対集合に追加する（ステップＳ１０４）。なければ、その特徴点対のみを要素として有する新たな特徴点対集合を作成する（ステップＳ１０５）。以上の動作を、所定の特徴点の組み合わせ範囲で終了したか確認しながら繰りかえす（ステップＳ１０６）。
集合選択部１２０は、作成された複数の集合から要素数の多い集合を選択する（ステップＳ１０７）。
対応特徴点決定部１３０は、選択された集合の要素から２つの画像間で対応する特徴点として扱う対応特徴点を決定する（ステップＳ１０８）。
このように、パラメータの近い特徴点対をまとめた特徴点対集合の中から対応特徴点を選定するルーチンを取ることによって、処理量の低減が図れる。
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
図３および図４に示すように、第２の実施の形態は、集合作成部の動作が第１の実施の形態と異なる。同様の箇所については説明を簡略化または省略する。
集合作成部２１０では、対比する特徴点群から１つの特徴点の組み合わせを着目特徴点対として選択する（図４のステップＳ２０１）。選択した着目特徴点対の局所変換パラメータを求める（ステップＳ２０２）。その後、局所変換パラメータを求めた着目特徴点対のみを要素とする特徴点対集合を作成する（ステップＳ２０３）。次に、対比する特徴点群のそれぞれから、現時点の着目特徴点対の近傍に当たる特徴点をそれぞれ選択して、着目特徴点とした特徴点にそれぞれ近い配置を有する特徴点どうしを組とした近傍特徴点対を作成（ステップＳ２０４）し、その近傍特徴点対の局所変換パラメータを求める（ステップＳ２０５）。近傍特徴点対の局所変換パラメータが、着目特徴点対の局所変換パラメータに近いか判別（ステップＳ２０６）して、近ければその近傍特徴点対を着目特徴点対を含む集合に加える（ステップＳ２０７）。以上の動作を、着目特徴点の全ての近傍特徴点の組み合わせに対して終了するまで行う（ステップＳ２０８）。
次に、着目特徴点対を含む特徴点対集合の中で、まだ着目特徴点対としていない特徴点対があるか確認する（ステップＳ２０９）。あれば、まだ着目特徴点対となっていない特徴点対の中から一つを選択（ステップＳ２１０）し、新たな着目特徴点対として同様の処理（Ｓ２０２〜Ｓ２０８）を行う。
まだ着目特徴点対となっていない特徴点がもうなければ、特徴点の組み合わせ全体に対して同様の処理を繰り返す（ステップＳ２０１〜Ｓ２１１）。その処理としては、次の集合を選択し、既に作成された集合の中で、まだ着目特徴点対となっていない特徴点対を含むものがあれば、その特徴点対を着目特徴点対として、同様の処理を行う。まだ着目特徴点対となっていない特徴点対を含むものがなく、まだ選択していない特徴点対があれば、その特徴点対を新たな着目特徴点対とし、同様の処理を行う。以上の処理を、まだ選択していない特徴点対がなくなるまで繰りかえす。
その後、集合選択部２２０と対応特徴点決定部２３０は、作成された複数の集合から要素数の多い集合を選択（ステップＳ２１２）し、選択された集合の要素から対応特徴点を決定する（ステップＳ２１３）。
このように、１つの特徴点対を代表として選定し、その特徴点対にパラメータの近い特徴点対をまとめ、まとめた特徴点対集合の中から対応特徴点を選定するルーチンを取ることによって、特徴点とその近傍特徴点との相対的な関係を用いて精度よく且つ処理量の低減が図れる。

次に、具体的な実施例を用いて上記実施形態の動作を説明する。
この実施例は本発明の第１の実施形態に対応する。本実施例では、２枚の衛星画像や航空機画像を用いて、３Ｄマップを作成する３Ｄマップ作成システムにおける特徴点対応付けシステムに本発明を適用する。
本実施例では、撮像角度の違う２枚の衛星画像もしくは航空機画像のビル等のコーナーを特徴点として用いて、特徴点の対応付けを行うことにより、ビルの高さ等を含めた３Ｄマップを作成することを想定する。特徴点は一般に知られた様々な手法で抽出することが可能であり、ここでは既にそれぞれ特徴点群として求められているとする。また、特徴点の対応から三角測量の原理を用いて３Ｄマップを作成することも、広く知られた技術であり、ここでは特徴点の対応付けまでの過程を説明して、前後の処理については省略する。
以下、特徴点群を示した模式図を用いて説明する。
図５左は二つのビルを真上から撮影した画像の模式図であり、右は斜めから撮影した模式図である。各ビルの端部に当たる４角を特徴点として抽出して、それぞれＡ〜Ｈ、ａ〜ｈで表す。Ａとａ、Ｂとｂなど同じ文字の大文字と小文字がそれぞれ左の画像と右の画像で同じ特徴点（同一箇所：対応付けるべき特徴点）である。
図６に図５の各特徴点の座標位置を示す。撮影時にまったく同じ位置で撮影するわけではないので、同じ特徴点でも、座標値は異なったものとなる。そのため、二つの特徴点を重ね合わせる平行移動や回転のパラメータを求める必要がある。
更に、撮影方向が違うため、左の画像と右の画像でＡＢＣＤ及びＥＦＧＨと、ａｂｃｄ及びｅｆｇｈの位置関係が異なっている。すなわち、いずれのビルを基準としても他方のビルの配置が異なって写っており、対象物の配置が部分的に異なっている。そのため、二つの画像の回転・平行移動では、各特徴点は重なることはない。よって、特許文献１のような方法では、この二つの画像の局所の対応が図れずうまく特徴点間の対応をとることができない。
ここでは、説明を簡単にするため、二つの画像間で回転は不要なものとし、個々の座標整合量（局所変換パラメータ値）としては、平行移動のみを説明する。また、図中での各ビルの上側の特徴点（ＡＢＥＦ，ａｂｅｆ）のみを用いて説明することとする。
図７に、二つの画像間の特徴点の組み合わせにおける座標整合の局所変換パラメータ（平行移動量）を示す。なお、本説明は二つの画像の特徴点群を、同一座標上で並べてパラメータの数を求める処理を行うものの、特徴点群を重ねるように扱いパラメータの数を定めるようにしてもよい。また、他の方法を用いてパラメータの数を定めるようにしてもよい。
集合作成部１１０は、二つの画像間の特徴点の組み合わせを調べ、局所変換のパラメータの近い特徴点対が同じ集合に属するようにまとめ、特徴点対の集合をグループ分けして複数作成する。
まず、例えば（Ａ，ａ）のように、二つの画像の特徴点間の組み合わせから一つを選択する。次に、この特徴点対の局所変換パラメータを求める。（Ａ，ａ）の場合、Ａを右に１２、上に２を平行移動させるとａと重なるので、（１２，２）が局所変換パラメータとなる。
そして、求めた局所変換パラメータが、既に作成された特徴点対集合の中に、局所変換パラメータの近いものがあれば、特徴点対をその特徴点対集合に追加する。なければ、その特徴点対のみを要素にもつ新たな特徴点対集合を作成する。
（Ａ，ａ）は最初に選択された特徴点対なので、まだ特徴点対集合は作成されていない。よって、集合作成部１１０は、新たな特徴点対集合として、図８のように、局所変換のパラメータ（１２，２）を有する集合１を作成し、集合１の要素として特徴点対（Ａ，ａ）を関連付ける処理を行う。この処理は、図２のステップＳ１０１からステップＳ１０６のステップＳ１０５を通る処理ルーチンに当たる。
一組の特徴点対の処理を行った後は、次の特徴点対を選択し、同じ処理を繰りかえす。
例えば、次に（Ａ，ｂ）を選択したとする。この局所変換パラメータは（１５，２）である。なお、本実施例では、局所変換パラメータが近いか否かの基準は、説明を簡単にするために、完全に一致するかどうかとする。そのため、集合作成部１１０は、いま求めた局所変換パラメータ（１５，２）は、既に作成された集合１とは異なるので、新たな特徴点対集合として局所変換パラメータ（１５，２）を有する集合２を作成し、特徴点対（Ａ，ｂ）を集合２の要素とする。
次に、（Ｂ，ｂ）を選択したとすると、この局所変換パラメータは（１２，２）であり、集合１のものと一致する。よって、集合作成部１１０は、（Ｂ，ｂ）を集合１に加える。この処理は、図２のステップＳ１０１からステップＳ１０６のステップＳ１０４を通る処理ルーチンに当たる。
同様に、（Ｅ，ｅ）を選択したとすると、この局所変換パラメータは（１０，０）であり、これまで作成した特徴点対集合である集合１及び集合２の局所変換パラメータとは異なるため、新たな特徴点対集合として局所変換パラメータ（１０，０）を有する集合３を作成し、特徴点対（Ｅ，ｅ）を集合３の要素とする。
同様に、（Ｆ，ｆ）を選択したとすると、この局所変換パラメータは（１０，０）であり、集合３のものと一致する。よって、（Ｆ，ｆ）を集合３に加える。
同様に、（Ｅ，ｂ）を選択したとすると、この局所変換パラメータは（１５，５）であり、これまで作成した特徴点対集合とは局所変換パラメータとは異なるため、新たな特徴点対集合として局所変換パラメータ（１５，５）を持つ集合４を作成し、特徴点対（Ｅ，ｂ）を集合４の要素とする。
集合作成部１１０は、以上の動作を、所定の特徴点の組み合わせ範囲で繰りかえす。ここでは、特徴点の全ての組み合わせについて繰りかえすこととする。なお、先んじて全ての局所変換パラメータを求めた後に、局所変換パラメータの近い特徴点対を集合にまとめることとしてもよい。
特許文献１の方法では、特徴点の全ての組み合わせに対して、その近傍特徴点の配置が似ているかどうかを判定する処理を情報処理装置に行わせる。例えば１つの特徴点に近傍特徴点が平均して１０個あるとすると、近傍特徴点の検索と比較を１０×１０回行う必要がある。この処理を特徴点の全ての組み合わせに対して行うため、特徴点の数に応じて計算量が指数的に大きくなる。一方、本実施例では、一つの特徴点の組み合わせに対しては、一つの局所変換パラメータを求めるのみである。本実施例の場合、平行移動量の２パラメータを求めるだけであり、２回の演算のみで実行可能である。このように本実施例では、特徴点の全ての組み合わせに対して行う処理が非常に簡便であるため、高速に処理することが可能となる。
特徴点対の集合の作成を受けて、集合選択部１２０は、作成された複数の集合から要素数の多い集合を選択する。図９に作成された特徴点対集合の一部を示す。ここでは、要素数２以上の集合である集合１と集合３を選択することとする。
全ての特徴点の組み合わせに対して、局所変換パラメータを求めると、同様の変形や部分的な配置違いの部分の特徴点の組み合わせに対しては同じパラメータ値となるため、正しい組み合わせの集合には要素数が多く集まる。一方、同一箇所を示す特徴点でない組み合わせに対しては、局所変換パラメータは様々な値で出力されてくるため、そのような局所変換パラメータを持つ集合は要素数が１若しくは小さくなる。よって、含まれる要素数の大小により、その集合が同じ特徴点の組み合わせ、すなわち、正しい特徴点対であるかどうかを判断することができる。
特許文献１の方法では、座標整合量の分布を変換パラメータとしてとりうるすべての値の中から調べなければならない。例えば、画像のサイズが１００×１００画素である場合、平行移動量のとりうる概ねの範囲は、横方向で−１００〜＋１００の約２００、縦方向も−１００〜＋１００の約２００であり、合計約４００００になる。その約４００００の中から集中する位置を探さなければならない。この探索範囲を減らす方法に、平行移動量の分布を求める単位をある範囲でまとめる方法があり、例えば移動量を１０単位でまとめ、＋１〜＋１０を同じに扱うようにすると、探索範囲が縦２０、横２０の合計４００と小さくなる。しかしながら、この場合は、求められる座標整合量の精度は１０画素単位になり、大幅に精度が低下する。
本実施例では、作成された特徴点対集合の数だけ調べればよい。通常、とりうる局所変換パラメータの種類よりも、特徴点の数のほうが少ないため、特許文献１の方法に比べて、非常に高速に選択ができる。
要素数が大きくなっていた集合の抽出を受けて、対応特徴点決定部１３０は、選択された集合の要素から対応特徴点を決定する。ここでは、選択された集合に含まれる特徴点対を全て対応特徴点対とすることとする。
この処理後、選定した対応特徴点対群を用いて、２画像の特徴点の対応から３Ｄマップを作成する処理に移る。
なお、本実施例では、対比する入力画像として２枚の衛星画像や航空機画像を用いて、３Ｄマップを作成する３Ｄマップ作成システムにおける特徴点対応付けシステムに本発明を適用するとして説明したが、二つの画像間で特徴点の対応付けを用いる任意のシステムに対して応用することができる。
また、本実施例での説明は、画像は回転を要しないとして、局所変換パラメータの数を平行移動のみを用いたが、局所変換パラメータに回転を含めることで、画像の回転も含めて対応することができる。同様に、他のパラメータ要素（拡大縮小やパターン変化など）を特徴点対とした特徴点間の変換に要する実数や関数、ベクトルなどの数として加えることで、所望の変化に対応できる。このようなパラメータによって、例えば屋上のバルーンや踏切の遮断機などについても効率的に正しい特徴点対として決定できる。なお、このようにパラメータ要素を増やしたとしても、同様の既存方法よりも処理量を減じられる。
また、本実施例では、局所変換パラメータが近いことの基準として、説明を簡単にするために完全に一致することとした。しかしながら、通常誤差等により局所変換パラメータが完全に一致することは少ない。その場合は、差が所定の範囲内にあることとすることで対応できる。その場合、集合の局所変換パラメータとしては、最初に選ばれたものを使い続けることもできるし、新たな要素が加わる毎に集合内の局所変換パラメータの平均や重心を求めて、集合の局所変換パラメータとすることもできる。
また、本実施例では、探索する特徴点の組み合わせ範囲として、全ての特徴点の組み合わせとした。例えば事前知識として画像の平行移動量の上限値がわかっている場合は、その範囲内で探索するなどと探索範囲を狭めることができる。このように、探索範囲を狭めることで、処理量を削減することができる。
また、本実施例では、集合選択部１２０で集合を選択する基準として、要素数が２以上のものとした。この例のように、要素数が所定の数以上のものとすることもできるし、他の選択基準とすることもできる。例えば、集合を要素数の多い順に所定の数選択することも可能であり、最も要素数の多い集合の要素数に対して、所定の割合以上の要素数の集合を選択することも可能である。同様に、全集合に含まれる要素数に対して所定に比率になるまで上位の要素数の多い集合を選択することとしてもよい。また、選択基準とする要素数を入力画像の大きさや画素、特徴点対の集合を作成するに当たって要した演算量などに基づいて定めてもよい。
また、集合選択部１２０で、特徴点対集合のうち局所変換パラメータの近いものがあれば、それらを合わせて一つの集合とし、正しい対応特徴点が複数の集合に分割されて、各集合の要素数が少なくなることを防ぐようにすることもできる。またその際に、既存のパターン識別技術による個体識別を行い、描かれている対象毎にまとめるように処理動作させてもよい。
また、本実施例では、対応特徴点決定部１３０で、選択された集合に含まれる特徴点対を全て対応特徴点対とすることとした。局所変換パラメータが近いことの基準を完全一致ではなく、所定の範囲内とした場合、選択された集合内の個々の要素で、局所変換パラメータは様々な値を持つ。この局所変換パラメータの違いを用いて誤った対応特徴点を減ずる精度向上処理を行ってもよい。例えば、集合の平均を求め、平均との差が大きい特徴点対を除いて、誤った対応を減らすことも可能である。また、集合の重心から除く特徴点対を定めてもよい。
次に第２の実施例について説明する。この実施例は本発明の第２の実施形態に対応するものである。
本実施例は、くだものの個体識別を行うシステムにおける特徴点対応付けシステムに本発明を適用する。
本実施例では、くだものの産地偽装等の問題に対応するために、トレーサビリティを確保することを目的としたメロンの個体識別システムを想定する。生産者が登録したメロンの紋様と、販売されているメロンの紋様を比較し、紋様が同一であれば同一個体であると判断できる。そのため、メロンの紋様から特徴点を抽出し、特徴点を対応付けて、照合を行うことにより、メロンの個体識別が可能となり、産地偽装等があった場合に発見することが可能となる。本実施例では、メロンの紋様の特徴点は一般に知られた様々な手法で抽出することが可能であるため、ここでは既に求められているとする。また、特徴点の対応から同一であるか否かを判定する特徴点照合技術も、広く知られた技術であり、ここでは特徴点の対応付けまでの過程を説明して、前後の処理については省略する。
図１０、図１１はメロンの紋様を示す模式図である。本実施例では、図１２、図１３のように線状の紋様の途切れ点を特徴点とする。また、特徴点はその特徴量として座標位置だけでなく、特徴点の接する線の方向も要素として使用する。他にも周囲との明度差等を要素としてもよい。
図１０のメロンの特徴点を示した図１２と図１１のメロンの特徴点を示した図１３とを比較処理する。図１４はメロンのへたを中心として二つの特徴点の配置を重ねた図である。図１０と図１２はメロンの置き方が異なるので、特徴点の配置が異なってしまっている。例えば、Ｉとｉ、Ｊとｊ、Ｋとｋが同一の特徴点であるが、メロンの置き方が異なるため、ＩとＫの相対的な位置関係とｉとｋの相対的な位置関係は大きく異なっている。このように、紋様の特徴点の配置が部分的に局所的に異なっている二つの画像について、正しい特徴点対を求めて同一性を判定する。
この二画像の例を用いて、第２の実施例について説明する。
集合作成部２１０では、二つの画像の特徴点の組み合わせの中から一つの組合せを選択し、着目特徴点対とする（図４のＳ２０１に該当）。ここでは、（Ｉ，ｉ）を着目特徴点対として選択する。
次に、選択した着目特徴点対の局所変換パラメータを求め、その着目特徴点対のみを要素とする特徴点対集合を作成する（Ｓ２０２、Ｓ２０３に該当）。ここでは、（Ｉ，ｉ）を要素に有する集合１０を作成する。
次に着目特徴点対の近傍特徴点対に対する処理を行う（Ｓ２０４からＳ２０８に該当）。まず、着目特徴点対の近傍からそれぞれ特徴点を選択し近傍特徴点対を作成する。ここでは、Ｉの近傍特徴点はＪとＫ、ｉの近傍特徴点はｊとｋであるとし、近傍特徴点対としては、（Ｊ，ｊ）、（Ｊ，ｋ）、（Ｋ，ｊ）、（Ｋ，ｋ）の４つを考える。その後、選択した近傍特徴点対の局所変換パラメータを求め、着目特徴点対の局所変換パラメータとの近さに基づき、着目特徴点対を要素として含む特徴点対集合に加える。
図１５に着目特徴点対（Ｉ，ｉ）を基準とした近傍特徴点の相対位置関係を示す。近傍特徴点対（Ｊ，ｊ）、（Ｊ，ｋ）、（Ｋ，ｊ）、（Ｋ，ｋ）のうち、相対位置関係が近いのは（Ｊ，ｊ）であり、ここでは（Ｊ，ｊ）が集合１０に加えられる。
次に、着目特徴点対を含む集合の中で、まだ着目特徴点対としていない特徴点対があれば、まだ着目特徴点対となっていない特徴点対の中から一つを選択し、新たな着目特徴点対として近傍特徴点対に対する処理を行う。
例えば、着目特徴点対（Ｉ，ｉ）を含む集合１０の中には、まだ着目特徴点対となっていない（Ｊ，ｊ）が存在するため、（Ｊ，ｊ）を着目特徴点対として近傍特徴点対の処理を行う。
ここでは、Ｊの近傍特徴点はＩとＫ、ｊの近傍特徴点はｉとｋであるとする。（Ｊ，ｊ）の近傍特徴点対としては、（Ｉ，ｉ）、（Ｉ，ｋ）、（Ｋ，ｉ）、（Ｋ，ｋ）の４つがあるが、（Ｉ，ｉ）については、既に集合１０に属しているため、まだ集合に属していない（Ｉ，ｋ）、（Ｋ，ｉ）、（Ｋ，ｋ）を考える。
図１６に着目特徴点対（Ｊ，ｊ）を基準とした近傍特徴点の相対位置関係を示す。探索する近傍特徴点対（Ｉ，ｋ）、（Ｋ，ｉ）、（Ｋ，ｋ）のうち、相対位置関係が近いのは（Ｋ，ｋ）であり、（Ｋ，ｋ）が集合１０に加えられる。
次に集合１０に属し、まだ着目特徴点対となっていない（Ｋ，ｋ）を着目特徴点対として選択し、近傍特徴点対の処理を行う。こうして集合１０から着目特徴点対として選択していない特徴点対がなくなるまで繰りかえす。
着目している集合の中にまだ着目特徴点対となっていない特徴点対がなくなれば、次の集合を選択する。
このようにして、まだ選択していない特徴点対があれば、その特徴点対を新たな着目特徴点対とし、同様の処理を行う。以上の処理を、全ての特徴点対に対して行い終えるまで繰りかえす。
その後の集合選択部２２０及び対応特徴点決定部２３０の動作は、第１の実施例と同様のため省略する。
本実施例では、特徴点の持つ特徴量として位置だけではなく方向もパラメータの要素として利用した。一方、例えば、みかんや梨の点模様を特徴点とする場合のように、対象とする特徴点が方向を持たない場合であっても、例えば、最も近い特徴点への方向をその特徴点の持つ方向とする方法や、例えばみかんや梨のヘタなどのある基準点を定めて、その基準点への向きとするなど、任意の方向特徴量の与え方を用いることができる。
本実施例では、メロンを例に用いて、くだもの個体識別システムにおける特徴点対応付けシステムに本発明を適用するとして説明したが、本発明は、例えば、鮮魚のように外形と紋様の方向性を使用できる対象について、その外形に対する紋様の方向性を特徴点に特徴量として用いる鮮魚の個体識別システムなどにも使用できる。また、隆線の途切れ点や分岐する点を特徴点として対応付けて照合する指紋や掌紋認証システムや、文字の端点や高曲率点を用いて文字を認識する文字認識システムなど、二つの画像間で特徴点の対応付けが必要な任意のシステムに対して応用することができる。
指や掌は伸縮するため、部分的に伸び縮みする。このため、本発明の部分的に局所変換パラメータが異なる場合も対応できるという特徴が指紋や掌紋認証システムに応用する場合に有効である。
同様に、くだものや生鮮食料品は、色彩や模様の経時変化を生ずる。このため、本発明の部分的に局所変換パラメータが異なる場合も対応できるという特徴が、識別対象の経時変化に伴う部位ごとの変化量の差を吸収する個別識別システムに応用する場合に有効である。この際に、画像の取得日時や識別対象の運送情報等に応じて、特徴点対集合を抽出する際のパラメータ間の近い 遠い を調整することとしてもよい。
また、文字認識にも、文字間のスペースや、漢字１文字の文字内の偏と旁の間のスペースが変わったりする場合があり、本発明の部分的に局所変換パラメータが異なる場合も対応できるという特徴が文字認識システムに応用する場合に有効である。
次に、本実施の形態の効果について説明する。第１の実施例では、局所変換パラメータの絶対的な違いを用いてどの集合に属するかを決める。そのため、本実施例で挙げたメロンのように球体上の特徴点が、球体の回転により徐々に変化しているような場合に対応できない。例えば、図１４では、特徴点Ｋと特徴点ｋは絶対的な位置としてはかなり離れており、実施例１の方法では特徴点対（Ｉ，ｉ）と同じ集合であるとの識別は難しい。しかしながら、本実施例では、図１５および図１６に示すように、隣接する特徴点対からの相対的な位置関係を用いているため、（Ｉ，ｉ）よりも（Ｋ，ｋ）に近い（Ｊ，ｊ）を基準とした相対的な位置関係で判断することにより、（Ｋ，ｋ）を（Ｊ，ｊ）と同じ集合１０、つまり（Ｉ，ｊ）と同じ集合１０に入れることができる。
このように第２の実施例を用いると、画像内で部分的に位置関係などが少しずつ変化している場合にも対応できる。
尚、特徴点対応付けシステムの各部は、ハードウェアとソフトウェアの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭに特徴点対応付けプログラムが展開され、プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、各部を各種手段として機能させる。また、このプログラムは、固定的に記憶媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
また、特徴点対応付けシステムは、図１７に例示すように、コンピュータやサーバ単体に構築すればよい。また、クラウドシステムとして構築してもよい。
上記実施の形態を別の表現で説明すれば、特徴点対応付けシステムとして動作させる情報処理装置を、ＲＡＭに展開された特徴点対応付けプログラムに基づき、集合作成手段、集合選択手段、対応特徴点決定手段として制御部を動作させることで実現することが可能である。
この特徴点対応付けシステムを用いれば、入力された２画像から、それぞれの特徴点を特徴点群として抽出し、抽出したそれぞれの特徴点群に含まれる個々の特徴点どうしを対にして特徴点対として識別して、識別した特徴点対を構成する特徴点間の変換に要するパラメータを局所変換パラメータとして求めて、求めた局所変換パラメータどうしが所定ルール下で近いと見做せる特徴点対をまとめて特徴点対集合として複数作成し、複数作成した前記特徴点対集合の中から、含まれる要素数が所定ルール下で大きいと見做せる特徴点対集合を選択し、選択した特徴点対集合に含まれる特徴点対内から所定ルール下で残すべき特徴点対と見做す局所変換パラメータを有する特徴点対を、正しい対応特徴点として選定し、その選定した対応特徴点対を用いて、特徴点照合処理を行なって、入力された２画像に含まれた個体の同一性を判定する個体識別システムや、３Ｄマップ作成処理を行って、入力された２画像に含まれた３Ｄマップを作成する３Ｄマップ作成システムを構築できる。
また、特徴点対応付けシステムは、画像同士の対応付け以外にも、画像と特徴点群のデータとの対応付けにも利用可能である。ここでの特徴点群のデータとは、特定空間の特徴点の位置関係が情報化されているデータである。
このように、画像と特徴点群のデータとを対比すれば、例えば実際に撮影された衛星画像や航空機画像等と既存の地図データの対応付けを低処理量で行うことができる。例えば、撮影位置特定システムに本特徴点対応付けシステムを組み込めば、入力された画像から、その被写体の位置や名称、被写体の関連データ、３Ｄデータなどを、抽出することが可能となる。
また、特徴点対応付けシステムは、リアルタイム的に、画像−映像間、映像−映像間、映像−特徴点群のデータ間等の対応付けにも利用可能である。
このようにリアルタイムに特徴点群間の対応付けを行えば、例えばカメラ映像等と地図データ等の対応付けを低処理量で行うことができる。これらは、例えばカーナビシステムやＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）システムに利用できる。このことで、カメラ映像にオーバライトしてアノテーションを出すことなどを低処理量で行える。また、映像−映像間の対比では著作権物の権利者の特定などに使用出来る。なお、カーナビシステムやＡＲシステムのようにリアルタイム処理を行う際には、カメラ映像から新たに抽出された特徴点について、その特徴点について対比するデータ（特徴点群）に含まれる特徴点と対にして識別し、その局所変換のパラメータを求め、既に求め済みの特徴点対集合の局所変換パラメータのなかから、近い局所変換パラメータの特徴点対集合にまとめる処理を行えば、全体として処理量の低減が図れる。その際に、新たに抽出された特徴点の近傍の特徴点対との関係に基づいて抽出範囲を限定することも可能である。
また、カーナビシステムやＡＲシステムは、リアルタイム処理画像のフレーム毎に特徴点群間の対応付けを図ることを行なってもよいし、フレームの間引きを行って処理を行ってもよい。また、所定間隔のフレーム間や特定変化量に対応させて、本発明を用いて特徴点群間の対応をとり、その間のフレームの各特徴点について対応をとった何れかのフレームに近い方の特徴点に対応付ける処理を行ってもよい。また、ＭＰＥＧ等のようなフレーム間予測が行われる映像を使用する際には、Ｉフレームのようにフレーム間予測を行わないフレームを用いて特徴点群間の局所変換のパラメータの近い特徴点対をまとめて処理を行い、フレーム間予測を行なうフレームについて、そのフレーム間予測での算出値を用いて、フレーム間予測を行わないフレームから求めた対応特徴点を補正予測するようにしてもよい。
このようにすれば、対象物の位置や変化（例えば併走する車）などの情報を低処理量で得られる。また、実施の形態で説明したように部分的に局所変換パラメータが異なる場合も対応できるという特徴から、天気や光源などによる映像からのリアルタイム処理にかかる識別対象の抽出特徴点の差の吸収にも有効である。このような間引きなどの処理は、集合作成手段が行うこととしてもよい。また、対比したフレーム間のフレームの対応付けは対応特徴点決定部が行なってもよい。
以上説明したように、本発明を適用した特徴点対応付けシステムは、部分的に異なった配置を有している二つの画像等に対しても、低処理量で特徴点を対応付けられる。
すなわち、本発明によれば、二つの画像などの対比する特徴点群間で、対象物の配置が部分的に異なる場合でも、低処理量で特徴点を対応付けることができる特徴点対応付け定システムを提供できる。
また、本発明の具体的な構成は前述の実施形態や実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。また、各構成要素の適宜な分割や組合せを行ってもこの発明に含まれる。
また、上記の実施形態の一部または全部は、以下のようにも記載されうる。なお、以下の付記は本発明をなんら限定するものではない。
［付記１］
対比する複数の特徴点群を受け付けて、局所変換のパラメータの近い特徴点対をまとめた集合を特徴点対集合として複数作成する集合作成部と、
複数ある前記特徴点対集合の中から、特徴点対集合に含まれる要素数の大きなものを選択する集合選択部と、
選択した特徴点対集合に含まれる特徴点対内から正しい対応特徴点として関連付ける特徴点対を決定して出力可能にする対応特徴点決定部と
を有することを特徴とする特徴点対応付けシステム。
［付記２］
前記集合作成部は、所定の特徴点対の局所変換のパラメータと該所定の特徴点対の近くにある近傍特徴点対の局所変換のパラメータとを参照して、局所変換のパラメータの近い特徴点対をまとめた特徴点対集合を作成することを特徴とする上記付記記載の特徴点対応付けシステム。
［付記３］
前記集合作成部は、集合の作成にあたり、作成済みの集合に特定の特徴点対をまとめるか判別する際の該特定の特徴点対について、既存の集合に含まれている特徴点対からの相対的な位置関係に基づいて、探索する範囲に属する特徴点を近傍特徴点として選択して、近傍特徴点対を作成することを特徴とする上記付記記載の特徴点対応付けシステム。
［付記４］
前記集合作成部は、特徴点対とした特徴点間の変換に要する数を前記局所変換のパラメータとして用いて、パラメータの近い特徴点対をまとめた特徴点対集合を作成することを特徴とする上記付記記載の特徴点対応付けシステム。
［付記５］
前記集合作成部は、前記局所変換のパラメータとして、局所変換に要する複数のパラメータ要素を含み、その個々のパラメータ要素の近似性に基づいて、特徴点対をまとめた特徴点対集合を作成することを特徴とする上記付記記載の特徴点対応付けシステム。
［付記６］
前記集合作成部は、作成済みである集合への局所変換パラメータが近いことの基準として、完全一致であるか、若しくは、近いことの所定の範囲内として、最初に選択された要素のパラメータ、集合に含まれる要素の平均のパラメータ、集合に含まれる要素の重心のパラメータを用いて、特徴点対をまとめる処理を行うことを特徴とする上記付記記載の特徴点対応付けシステム。
［付記７］
前記対応特徴点決定部は、まとめる際に使用する近いとする局所変換パラメータの範囲として完全一致を用いていない集合について、前記集合選択部によって選択された特徴点対集合に要素として含まれる特徴点対内から、個々の特徴点対の局所変換パラメータと、最初に選択された要素のパラメータ、集合に含まれる要素の平均のパラメータ、集合に含まれる要素の重心のパラメータの何れかとの対比によって、ずれの大きな局所変換パラメータを有する特徴点対を、誤った対応特徴点として関連付けから排除する
ことを特徴とする上記付記記載の特徴点対応付けシステム。
［付記８］
入力された２画像から、それぞれの特徴点を特徴点群として抽出し、
抽出したそれぞれの特徴点群に含まれる個々の特徴点どうしを対にして特徴点対として識別して、識別した特徴点対を構成する特徴点間の変換に要するパラメータを局所変換パラメータとして求めて、求めた局所変換パラメータどうしが所定ルール下で近いと見做せる特徴点対をまとめて特徴点対集合として複数作成し、
複数作成した前記特徴点対集合の中から、含まれる要素数が所定ルール下で大きいと見做せる特徴点対集合を選択し、
選択した特徴点対集合に含まれる特徴点対内から所定ルール下で残すべき特徴点対と見做す局所変換パラメータを有する特徴点対を、正しい対応特徴点として選定し、
選定した対応特徴点対を用いて特徴点照合処理を行なって、入力された２画像に含まれた個体の同一性を判定する
ことを特徴とする個体識別システム。
［付記９］
対比する複数の特徴点群を受け付けて、局所変換のパラメータの近い特徴点対をまとめた集合を特徴点対集合として複数作成する集合作成工程と、
複数ある前記特徴点対集合の中から、特徴点対集合に含まれる要素数の大きなものを選択する集合選択工程と、
選択した特徴点対集合に含まれる特徴点対内から正しい対応特徴点として関連付ける特徴点対を決定して出力する対応特徴点決定工程と
を含みなることを特徴とする特徴点対応付け方法。
［付記１０］
前記集合作成工程では、所定の特徴点対の局所変換のパラメータと該所定の特徴点対の近くにある近傍特徴点対の局所変換のパラメータとを参照して、局所変換のパラメータの近い特徴点対をまとめた特徴点対集合を作成することを特徴とする上記付記記載の特徴点対応付け方法。
［付記１１］
前記集合作成工程では、集合の作成にあたり、作成済みの集合に特定の特徴点対をまとめるか判別する際の該特定の特徴点対について、既存の集合に含まれている特徴点対からの相対的な位置関係に基づいて、探索する範囲に属する特徴点を近傍特徴点として選択して、近傍特徴点対を作成することを特徴とする上記付記記載の特徴点対応付け方法。
［付記１２］
前記集合作成工程では、特徴点対とした特徴点間の変換に要する数を前記局所変換のパラメータとして用いて、パラメータの近い特徴点対をまとめた特徴点対集合を作成することを特徴とする上記付記記載の特徴点対応付け方法。
［付記１３］
前記集合作成工程では、前記局所変換のパラメータとして、局所変換に要する複数のパラメータ要素を含み、その個々のパラメータ要素の近似性に基づいて、特徴点対をまとめた特徴点対集合を作成することを特徴とする上記付記記載の特徴点対応付け方法。
［付記１４］
前記集合作成工程では、作成済みである集合への局所変換パラメータが近いことの基準として、完全一致であるか、若しくは、近いことの所定の範囲内として、最初に選択された要素のパラメータ、集合に含まれる要素の平均のパラメータ、集合に含まれる要素の重心のパラメータを用いて、特徴点対をまとめる処理を行うことを特徴とする上記付記記載の特徴点対応付け方法。
［付記１５］
前記対応特徴点決定工程では、まとめる際に使用する近いとする局所変換パラメータの範囲として完全一致を用いていない集合について、前記集合選択工程で選択された特徴点対集合に要素として含まれる特徴点対内から、個々の特徴点対の局所変換パラメータと、最初に選択された要素のパラメータ、集合に含まれる要素の平均のパラメータ、集合に含まれる要素の重心のパラメータの何れかとの対比によって、ずれの大きな局所変換パラメータを有する特徴点対を、誤った対応特徴点として関連付けから排除する
ことを特徴とする上記付記記載の特徴点対応付け方法。
［付記１６］
情報処理装置の制御部を、
対比する複数の特徴点群を受け付けて、局所変換のパラメータの近い特徴点対をまとめた集合を特徴点対集合として複数作成する集合作成部と、
複数ある前記特徴点対集合の中から、特徴点対集合に含まれる要素数の大きなものを選択する集合選択部と、
選択した特徴点対集合に含まれる特徴点対内から正しい対応特徴点として関連付ける特徴点対を決定して出力可能にする対応特徴点決定部
として動作させることを特徴とする特徴点対応付けプログラム。
［付記１７］
前記集合作成部に、所定の特徴点対の局所変換のパラメータと該所定の特徴点対の近くにある近傍特徴点対の局所変換のパラメータとを参照して、局所変換のパラメータの近い特徴点対をまとめた特徴点対集合を作成させることを特徴とする上記付記記載の特徴点対応付けプログラム。
［付記１８］
前記集合作成部に、集合の作成にあたり、作成済みの集合に特定の特徴点対をまとめるか判別する際の該特定の特徴点対について、既存の集合に含まれている特徴点対からの相対的な位置関係に基づいて、探索する範囲に属する特徴点を近傍特徴点として選択して、近傍特徴点対を作成させることを特徴とする上記付記記載の特徴点対応付けプログラム。
［付記１９］
前記集合作成部に、特徴点対とした特徴点間の変換に要する数を前記局所変換のパラメータとして用いて、パラメータの近い特徴点対をまとめた特徴点対集合を作成させることを特徴とする上記付記記載の特徴点対応付けプログラム。
［付記２０］
前記集合作成部に、前記局所変換のパラメータとして、局所変換に要する複数のパラメータ要素を含み、その個々のパラメータ要素の近似性に基づいて、特徴点対をまとめた特徴点対集合を作成させることを特徴とする上記付記記載の特徴点対応付けプログラム。
［付記２１］
前記集合作成部に、作成済みである集合への局所変換パラメータが近いことの基準として、完全一致であるか、若しくは、近いことの所定の範囲内として、最初に選択された要素のパラメータ、集合に含まれる要素の平均のパラメータ、集合に含まれる要素の重心のパラメータを用いて、特徴点対をまとめる処理を行なわせることを特徴とする上記付記記載の特徴点対応付けプログラム。
［付記２２］
前記対応特徴点決定部に、まとめる際に使用する近いとする局所変換パラメータの範囲として完全一致を用いていない集合について、前記集合選択部によって選択された特徴点対集合に要素として含まれる特徴点対内から、個々の特徴点対の局所変換パラメータと、最初に選択された要素のパラメータ、集合に含まれる要素の平均のパラメータ、集合に含まれる要素の重心のパラメータの何れかとの対比によって、ずれの大きな局所変換パラメータを有する特徴点対を、誤った対応特徴点として関連付けから排除させる
ことを特徴とする上記付記記載の特徴点対応付けプログラム。
［付記２３］
前記集合作成部に、受け付けた、カメラからリアルタイム的に取得された映像又は画像のフレームから抽出された特徴点群と予め準備した特徴点群とを用いて、抽出されたフレームの特徴点群と予め準備した特徴点群とに含まれる個々の特徴点どうしを対にして特徴点対として識別して、識別した特徴点対を構成する特徴点間の変換に要するパラメータを局所変換パラメータとして求めて、求めた局所変換パラメータどうしが所定ルール下で近いと見做せる特徴点対をまとめて特徴点対集合として複数作成させて、
特徴点照合処理を行なって、受け付けたフレームの特徴点群に基づいて、カメラ映像にオーバライトしてアノテーションを出力させる
ことを特徴とする上記付記記載の特徴点対応付けプログラム。
［付記２４］
前記集合作成部に、フレームにかかる特徴点群の間引きを行わせることを特徴とする上記付記記載の特徴点対応付けプログラム。
［付記２５］
前記集合作成部に、所定間隔のフレーム毎及び／又は特定変化量毎に対応させて、局所変換パラメータの近い特徴点対をまとめさせて、特徴点集合を複数作成させることを特徴とする上記付記記載の特徴点対応付けプログラム。
［付記２６］
前記対応特徴点決定部に、特徴点集合の生成に使用しなかったフレームの特徴点について、対応をとった何れかのフレームに近い方の特徴点に対応付けることを特徴とする上記付記記載の特徴点対応付けプログラム。
［付記２７］
前記対応特徴点決定部に、特徴点集合の生成に使用しなかったフレームの特徴点について、該フレーム及び対応をとったフレーム間の関係と対応をとったフレームの特徴点対とに基づいて、対比対象の特徴点群における該フレームの特徴点の対応特徴点又は対応する位置を、算定させる
ことを特徴とする上記付記記載の特徴点対応付けプログラム。
［付記２８］
上記付記記載の特徴点対応付けプログラムを記録した記録媒体。
本発明は、二つの画像間のように特徴点の対応付けが必要な任意のシステムに対して応用することができる。
この出願は、２０１１年８月１６日に出願された日本出願特願２０１１−１７８０２９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１１０、２１０ 集合作成部（集合作成手段）
１２０、２２０ 集合選択部（集合選択手段）
１３０、２３０ 対応特徴点決定部（対応特徴点決定手段）

Claims (10)

1. 対比する２つの特徴点群を受け付けて、前記特徴点群各々からの特徴点を含む全ての組み合わせの特徴点対群について、特徴点対毎に 各特徴点対を成す２つの特徴点間の局所変換パラメータを求め、局所変換パラメータの近い特徴点対をまとめた集合を特徴点対集合として複数作成する集合作成部と、
   前記集合作成部で生成された複数ある特徴点対集合の中から、特徴点対集合に含まれる特徴点対数の大きな特徴点対集合を選択する集合選択部と、
   前記集合選択部で選択した特徴点対集合に含まれていた特徴点対内から正しい対応特徴点として関連付ける特徴点対を決定して出力可能にする対応特徴点決定部と
   を有することを特徴とする特徴点対応付けシステム。
2. 前記集合作成部は、所定の特徴点対の局所変換パラメータと該所定の特徴点対の近くにある近傍特徴点対の局所変換パラメータとを参照して、局所変換パラメータの近い特徴点対をまとめた特徴点対集合を作成することを特徴とする請求項１記載の特徴点対応付けシステム。
3. 前記集合作成部は、集合の作成にあたり、作成済みの集合に特定の特徴点対をまとめるか判別する際の該特定の特徴点対について、既存の集合に含まれている特徴点対からの相対的な位置関係に基づいて、探索する範囲に属する特徴点を近傍特徴点として選択して、近傍特徴点対を作成することを特徴とする請求項２記載の特徴点対応付けシステム。
4. 前記集合作成部は、特徴点対とした特徴点間の変換に要する数を前記局所変換パラメータとして用いて、この局所変換パラメータの近い特徴点対をまとめた特徴点対集合を作成することを特徴とする請求項１ないし３の何れか一項に記載の特徴点対応付けシステム。
5. 前記集合作成部は、局所変換に要する複数のパラメータ要素を含む局所変換パラメータを用いて、その個々のパラメータ要素の近似性に基づいて、特徴点対をまとめた特徴点対集合を作成することを特徴とする請求項４に記載の特徴点対応付けシステム。
6. 前記集合作成部は、作成済みである集合への局所変換パラメータが近いことの基準として、完全一致であるか、若しくは、近いことの所定の範囲内として、最初に選択された要素のパラメータ、集合に含まれる要素の平均のパラメータ、集合に含まれる要素の重心のパラメータを用いて、特徴点対をまとめる処理を行うことを特徴とする請求項１ないし５の何れか一項に記載の特徴点対応付けシステム。
7. 前記対応特徴点決定部は、まとめる際に使用する近いとする局所変換パラメータの範囲として完全一致を用いていない集合について、前記集合選択部によって選択された特徴点対集合に要素として含まれる特徴点対内から、個々の特徴点対の局所変換パラメータと、最初に選択された要素のパラメータ、集合に含まれる要素の平均のパラメータ、集合に含まれる要素の重心のパラメータの何れかとの対比によって、ずれの大きな局所変換パラメータを有する特徴点対を、誤った対応特徴点として関連付けから排除する
   ことを特徴とする請求項１ないし５の何れか一項に記載の特徴点対応付けシステム。
8. 入力された２画像から、それぞれの特徴点を特徴点群として抽出し、
   抽出した特徴点群各々に含まれる個々の特徴点どうしを全ての組み合わせで対にして各々特徴点対として識別し、識別した各々の特徴点対を構成する特徴点間の変換に要するパラメータを局所変換パラメータとして求め、求めた各特徴点対局所変換パラメータどうしが所定ルール下で近いと見做せる特徴点対をまとめて特徴点対集合として複数作成し、
   複数作成した前記特徴点対集合の中から、含まれる特徴点対数が所定ルール下で大きいと見做せる特徴点対集合を選択し、
   選択した特徴点対集合に含まれる特徴点対内から所定ルール下で残すべき特徴点対と見做す局所変換パラメータを有する特徴点対を、正しい対応特徴点として選定し、
   選定した対応特徴点対を用いて特徴点照合処理を行なって、入力された２画像に含まれた個体の同一性を判定する
   ことを特徴とする個体識別を行う特徴点対応付けシステム。
9. 対比する２つの特徴点群を受け付けて、前記特徴点群各々からの特徴点を含む全ての組み合わせの特徴点対群について、特徴点対毎に 各特徴点対を成す２つの特徴点間の局所変換パラメータを求め、局所変換パラメータの近い特徴点対をまとめた集合を特徴点対集合として複数作成する集合作成工程と、
   前記集合作成工程で生成された複数ある特徴点対集合の中から、特徴点対集合に含まれる特徴点対数の大きな特徴点対集合を選択する集合選択工程と、
   前記集合選択工程で選択した特徴点対集合に含まれていた特徴点対内から正しい対応特徴点として関連付ける特徴点対を決定して出力する対応特徴点決定工程と
   を含みなることを特徴とする情報処理装置による特徴点対応付け方法。
10. 情報処理装置の制御部を、
    対比する２つの特徴点群を受け付けて、前記特徴点群各々からの特徴点を含む全ての組み合わせの特徴点対群について、特徴点対毎に 各特徴点対を成す２つの特徴点間の局所変換パラメータを求め、局所変換パラメータの近い特徴点対をまとめた集合を特徴点対集合として複数作成する集合作成部と、
    前記集合作成部で生成された複数ある特徴点対集合の中から、特徴点対集合に含まれる特徴点対数の大きな特徴点対集合を選択する集合選択部と、
    前記集合選択部で選択した特徴点対集合に含まれていた特徴点対内から正しい対応特徴点として関連付ける特徴点対を決定して出力可能にする対応特徴点決定部
    として動作させることを特徴とする特徴点対応付けプログラム。

Images