JP7464135B2

JP7464135B2 - 移動量推定装置、移動量推定方法およびプログラム

Info

Publication number: JP7464135B2
Application number: JP2022546791A
Authority: JP
Inventors: 彦俊中里; 健二阿部
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2020-09-03
Filing date: 2020-09-03
Publication date: 2024-04-09
Anticipated expiration: 2040-09-03
Also published as: WO2022049690A1; JPWO2022049690A1

Description

本発明は、２映像間の移動量を推定する、移動量推定装置、移動量推定方法およびプログラムに関する。

例えば、自動車等の移動対象を複数のカメラ等のデバイスで捕捉して撮影する場合において、そのデバイス（カメラデバイス）の最適な制御値は、その配置位置によって変動する。従来、画像と視点座標という２つのセンサ情報を用いて、そのシーンに固有の変数を推論し、未知の視点座標から対応する観測画像を、深層生成モデルを用いて予測する技術が開発されている（例えば、非特許文献１参照）。この技術を利用することで、変動するデバイスの配置位置を推定することが可能である。

谷口尚平、他２名、「メタ学習としてのGenerative Query Network」、一般社団法人人工知能学会、2019年度人工知能学会全国大会（第33回）、人工知能学会全国大会論文集２Q5-J-2-03、 2019年6月

従来の深層生成モデルを用いた３次元モデリング手法では、３次元空間上の視点座標から観測画像を予測するために３次元空間モデルを予め用意しておく必要があった。この場合において、デバイスの配置位置が変動（状況が変化）するときには、各状況において最適なデバイス制御値の割り出しを実行していた。
しかしながら、デバイスの位置が頻繁に移動するような場合では、膨大な状況数を必要とし、新しい状況が発生するごとに、３次元空間モデルを再定義し、デバイス制御値を学習し直す必要があった。このため、最適値へ収束するまでの準備時間の増大を招き、サービス品質維持時間の低下に結びつくものであった。

このような点に鑑みて本発明がなされたのであり、本発明は、カメラデバイスの配置位置が変化した場合でも、そのカメラデバイスの移動量を、３次元空間モデルを用いずに撮影画像から簡易に算出すること、を課題とする。

本発明に係る変動量推定装置は、カメラデバイスの配置位置の変化に伴う画像間の移動量を推定する移動量推定装置であって、前記カメラデバイスの過去の配置位置それぞれで撮影された比較対象となる画像を示す過去画像を記憶する記憶部と、新たな配置位置のカメラデバイスにより撮影された画像を、比較元となる画像を示す現在画像として取り込み、前記記憶部から前記過去画像を取り込み、前記現在画像および前記過去画像から所定の特徴量抽出アルゴリズムを用いてそれぞれの特徴点を抽出して、当該特徴点間のマッチングを行う特徴量抽出部と、複数の前記マッチングされた特徴点のうちから所定数の特徴点を選択し、選択した前記所定数の特徴点の位置の変化からホモグラフィ行列を算出し、算出したホモグラフィ行列を用いて、選択した前記所定数の特徴点以外の特徴点それぞれについての特徴点間の座標のずれを示す誤差距離を計算して当該誤差距離の総和を算出し、前記誤差距離の総和の算出をすべての特徴点の選択の組み合わせで行い、算出された複数の前記誤差距離の総和のうちの最小値を算出した際の前記ホモグラフィ行列を、前記現在画像と前記過去画像の座標の変化を示すホモグラフィ行列として採用し、採用した前記ホモグラフィ行列の固有値を用いて、前記新たな配置位置のカメラデバイスの移動量を推定する移動量推定部と、を備え、前記移動量推定部は、採用した前記ホモグラフィ行列の固有値を用いて、値が小さい程前記現在画像と前記過去画像との類似度が高くなる指標としてのＬ２ノルムを算出し、前記特徴量抽出部が、新規の配置パターンのカメラデバイス群における各カメラデバイスの複数の前記現在画像を取り込み、前記移動量推定部が複数の前記現在画像それぞれの比較対象となる過去画像について算出した前記Ｌ２ノルムのうちの最小値の前記過去画像を選択する処理を実行し、当該選択した過去画像について前記移動量推定部が算出した複数の前記誤差距離の総和のうちの最小値を所定の距離で割った値を用いて、前記新規の配置パターンの各カメラデバイスと、その現在画像に類似する過去画像を撮影したカメラデバイスとの推定距離をホップ数として算出する類似デバイス抽出部をさらに備えることを特徴とする。

本発明によれば、カメラデバイスの配置位置が変化した場合でも、そのカメラデバイスの移動量を、３次元空間モデルを用いずに撮影画像から簡易に算出することができる。

本実施形態に係る移動量推定装置が実行する処理の概要を説明する図である。本実施形態に係る移動量推定装置の構成を示すブロック図である。ホモグラフィ行列の内容を説明する図である。現在画像と比較した各過去画像における、Ｌ２ノルム（類似度：Ｓｉｍ）の値を示す図である。本実施形態に係るＬ２ノルムとホモグラフィ行列における固有値の例を示す図である。現在画像と比較した各過去画像における、Ｘ軸方向の移動量と、Ｙ軸方向の移動量と、Ｌ２ノルム（類似度：Ｓｉｍ）の値を示す図である。本実施形態に係る類似デバイス抽出部による、ホップ数の算出処理を説明する図である。本実施形態に係る移動量推定装置が実行する移動量推定処理の流れを示すフローチャートである。本実施形態に係る移動量推定装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。特徴量抽出手法による画像の特徴量の抽出処理を説明する図である。特徴量抽出手法による画像間の特徴量のマッチングを説明する図である。従来の特徴量抽出手法において移動量を推定する際の課題を説明する図である。

次に、本発明を実施するための形態（以下、「本実施形態」と称する。）について説明する。まず、本発明の概要を説明する。

＜概要＞
これまで、画像内の物体から局所的な特徴量を抽出する手法として、ＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）、ＡＫＡＺＥ（Accelerated KAZE）等の様々な特徴量抽出手法が開発されている。この特徴量抽出技術では、図１０に示すように、エッジ（画素値が変化する境界）やコーナー（エッジの集合）を特徴点として算出する。
この特徴量抽出手法の中でも、ＡＫＡＺＥは、画像内からエッジやコーナーを抽出した上で、フィルタ処理を行うことにより、注目画素の近傍を考慮しつつ、フィルタサイズを変更することで近傍範囲を変化させることができる。よって、ＡＫＡＺＥは、画像の拡大・縮小の変化や、画像のスライド（平行移動）、画像の回転等に強いロバスト的な特徴量抽出アルゴリズムとして知られている。

このＡＫＡＺＥ等の特徴量抽出手法を用いて、画像内での特定の物体を構成する特徴点グループを抽出する処理を行い、図１１に示すように、現在画像（比較元画像：符号５ａ）と過去画像（比較対象画像：符号５ｂ）の異なる２つの画像に共通する特徴点のベクトルを比較することにより、ベクトルの類似度が高い特徴点のマッチングを行うことができる（現在画像と過去画像の特徴点のマッチング：符号５ｍ）。
そして、マッチングされた特徴点の位置の変化量を「データ間距離」とし、データ間距離が小さいほど２つの画像間の変化量も少なく、類似度が高い画像であると判定することができる。

これにより、従来の特徴量抽出手法のみからデータ間距離を算出する場合、カメラデバイスの配置位置が平行移動している場合には特徴量の変化から画像の変化量を算出することが可能である。しかしながら、例えば、図１２で示すように、現在画像５ａと、過去画像５ｂ_１，５ｂ_２、やズーム画像５ｂ_３との比較において、画像の変化内容（傾きや拡大・縮小）によっては、各特徴点の変化量の分散が大きくなり、画像間の変化量が一意に求められず、誤差を多く内包する可能性がある。

そこで、本実施形態に係る移動量推定装置１（図２参照）は、ＡＫＡＺＥ等の従来の特徴量抽出手法に、画像間の変化量を表現できるホモグラフィ行列（詳細は後記）を組み合わせることにより、画像間の変化量を一意に求め、画像を撮影したカメラデバイスの移動量を推定することを特徴とする。

図１は、本実施形態に係る移動量推定装置１が実行する処理の概要を説明する図である。
図１に示すように、移動量推定装置１は、比較元画像である現在画像５ａ（新たな位置に配置されたカメラデバイスが撮影した画像）と、比較対象である過去画像５ｂ（過去に他の位置で撮影された画像）とを取り込み、特徴量抽出アルゴリズムを用いて、それぞれの画像から特徴量を抽出する（ステップＳ１）。
移動量推定装置１は、現在画像５ａと過去画像５ｂとの間で特徴点のマッチングを行い（ステップＳ２）、２つの画像のマッチングされた各特徴点の位置の変化からホモグラフィ行列を算出する（ステップＳ３）。そして、移動量推定装置１は、算出したホモグラフィ行列から画像の類似度を推定し（ステップＳ４）、類似度が所定のレベルよりも高い（後記する「Ｌ２ノルム」が所定の閾値以下である）画像同士で、カメラ位置の移動量の推定を行う（ステップＳ５）。なお、各処理の詳細は後記する。
以下、移動量推定装置１の詳細について説明する。

＜本実施形態＞
図２は、本実施形態に係る移動量推定装置１の構成を示すブロック図である。
移動量推定装置１は、通信ネットワーク等を介して複数のデバイス（カメラデバイス５０）に接続され、当該デバイスが撮影した画像を用いて、新たに配置されるカメラデバイス５０（比較元のデバイス）と配置済みのカメラデバイス５０（比較対象のデバイス）との間のデバイスの移動量を推定する装置である。
この移動量推定装置１は、制御部１０と、入出力部１１と、記憶部１２とを備える。

入出力部１１は、他の装置（複数のカメラデバイス５０等）との間の情報について入出力を行う。この入出力部１１は、通信回線を介して情報の送受信を行う通信インタフェースと、不図示のキーボード等の入力装置やモニタ等の出力装置との間で情報の入出力を行う入出力インタフェースとから構成される。

記憶部１２は、ハードディスクやフラッシュメモリ、ＲＡＭ（Random Access Memory）等により構成される。
この記憶部１２には、デバイス毎の画像データ２００が記憶される（詳細は後記）。
また、記憶部１２には、さらに、制御部１０の各機能部を実行させるためのプログラムや、制御部１０の処理に必要な情報が一時的に記憶される。

制御部１０は、移動量推定装置１が実行する処理の全般を司り、画像認識部１１０と、類似デバイス抽出部１２０とを含んで構成される。

画像認識部１１０は、比較元画像である現在画像５ａと、比較対象である過去画像５ｂとを取り込み、特徴量抽出アルゴリズムを用いて、それぞれの画像から特徴量を抽出する。そして、画像認識部１１０は、現在画像５ａと過去画像５ｂとの間で特徴点のマッチングを行う。画像認識部１１０は、２つの画像のマッチングされた各特徴点の位置の変化からホモグラフィ行列を算出し、算出したホモグラフィ行列から画像の変化量を推定する。
この画像認識部１１０は、特徴量抽出部１１１と移動量推定部１１２とを含んで構成される。

特徴量抽出部１１１は、カメラデバイス５０から比較元画像である現在画像５ａを取得する。また、特徴量抽出部１１１は、記憶部１２内の画像データ２００から、複数のカメラデバイス５０により撮影された過去画像５ｂを取得する。なお、画像データ２００には、各カメラデバイス５０に対応付けて、そのカメラデバイス５０が撮影した画像（過去画像５ｂ）が記憶される。
また、比較元画像となる現在画像５ａを送信してきたカメラデバイス５０は、既存の（過去の）カメラデバイス５０の配置位置において撮影された画像ではなく、新たに配置された位置で撮影した画像を送信するデバイスであるものとする。

特徴量抽出部１１１は、例えばＡＫＡＺＥ等の所定の特徴量抽出アルゴリズムを用いて、現在画像５ａおよび１つ以上の過去画像５ｂからそれぞれの特徴量を抽出し、各特徴点のベクトルを比較することにより、ベクトルの類似度が高い特徴点をマッチングする。つまり、特徴量抽出部１１１は、画像間の特徴点の組合せを算出する。
なお、特徴量抽出部１１１による特徴量の抽出手法は、ＡＫＡＺＥに限定されず、２つの画像間での特徴点の変動量を推定できる手法であれば、他の手法でも適用可能である。

移動量推定部１１２は、図３の符号３１に示す、変換前画像５５ａと、変換後画像５５ｂとにおいてマッチングされた各特徴点の位置の変化からホモグラフィ行列（図３の符号１００）を算出する。ホモグラフィとは、ある平面を、射影変換を用いて別の平面に射影することをいう。
ホモグラフィ行列１００は、ある画像において、射影変換（拡大・縮小、回転、平行移動など）が行われた場合、元画像の画像座標（変換前座標：ｘ，ｙ）から変換後の画像座標（変換後座標：ｘ′，ｙ′）に射影することができる３×３の行列で表される。
変換後座標（ｘ′，ｙ′）は、変換前座標（ｘ，ｙ）とホモグラフィ行列とを用いて図３の式（１）のように表すことができる。

ホモグラフィ変換では、図３の符号３２に示すように、ホモグラフィ行列１００の各要素を、９つのパラメータ（ｈ_１１，ｈ_１２，…，ｈ_３３）で表現する。
ここで、例えば、座標ｘ，ｙに依存しない影響を示すパラメータ「ｈ_１３，ｈ_２３」に着目すればＸ軸・Ｙ軸方向の移動量を推定することができる。また、スケールに対する影響度を示すパラメータ「ｈ_３１，ｈ_３２」に着目すれば、スケール（拡大・縮小）の変化量を推定することができる。よって、ホモグラフィ行列の各要素（パラメータ）を利用することにより、実際のカメラ位置の変化量を推定することが可能になる。

ホモグラフィ行列における固有値Ｈを確定するためには、４組以上の特徴量のペア（所定数の特徴点）が必要となる。本実施形態に係る移動量推定部１１２は、４組以上の特徴量のペアが存在する場合には、そのすべての特徴量のペアに関して、後記する誤差距離の総和Ｓを算出する。そして、移動量推定部１１２は、算出した誤差距離の総和Ｓが最も小さい４組のペアによるホモグラフィ行列の固有値Ｈを採用する。

≪ホモグラフィ行列における固有値Ｈの確定処理≫
移動量推定部１１２は、ホモグラフィ行列における固有値Ｈの確定処理を以下に示す手順で行う。
ここで、変換前の座標を変換前座標ａとし、変換後の座標を変換後座標ａ′とする。また、ｎ組（ここでは、例として１０組）の特徴量のペア（以下、「特徴量ペア」と称する。）があるとする。

（手順１）ｎ組（１０組）の特徴量ペアのうち、ランダムの４組の特徴量ペア（所定数の特徴点）を選び、ホモグラフィ行列を算出する。
（手順２）残り６組の特徴量ペアのそれぞれについて、（手順１）で算出されたホモグラフィ行列と座標（Ｈａ）とを使って算出した値と実際の座標（Ｈａ′）との差√（ｘ^２＋ｙ^２）（誤差距離：変換後座標を（0,0）としたときの座標平面上の２点間の距離であり、特徴点間の座標のずれを示す。）を残り６組の特徴量ペアそれぞれについて求め、その誤差距離の総和Ｓを算出する。
（手順３）（手順２）で算出された誤差距離の総和Ｓを、全通りの特徴量ペア（ここでは、_１０Ｃ_４通り）計算する。
（手順４）誤差距離の総和Ｓが最も小さい特徴量ペア（４組の特徴量ペア）で算出されたホモグラフィ行列を採用し、固有値Ｈとして確定する。

なお、移動量推定部１１２は、採用したホモグラフィ行列における誤差距離の情報（最も小さい誤差距離の総和Ｓ）を、後記する新たな配置パターンのカメラデバイス５０に関するホップ数の算出に利用するため、記憶部１２に記憶しておく。

本実施形態では、特徴点の位置の変化量であるデータ間距離としてホモグラフィ行列で示される固有ベクトルを利用し、２画像間の類似度を示す指標として、ホモグラフィ行列における固有値を用いたＬ２ノルムを採用する。
Ｌ２ノルムは、画像間の類似度（Ｓｉｍ）を示す指標であり、以下の式（２）で示される。

ここで、ｘ_ｉは、ホモグラフィ行列の固有値を示す。
移動量推定部１１２は、確定したホモグラフィ行列の固有値ＨからこのＬ２ノルムを計算する。このＬ２ノルムは、値が小さいほど類似度が高いものとなる。

図４のグラフ（符号４１）は、現在画像５ａと比較した各過去画像５ｂについての、Ｌ２ノルムである画像間の類似度（Ｓｉｍ）（縦軸）の値を示している。
図４では、過去画像「05.jpg」は、他の過去画像５ｂに比べＬ２ノルムの値が低くなっている。これにより、現在画像５ａと過去画像「05.jpg」の類似度が高いことが示される。

また、図５に示す各過去画像５ｂについてのＬ２ノルムを示すグラフ（符号４１）では、過去画像「05.jpg」および「04.jpg」において、Ｌ２ノルムがそれぞれ「0.0226」「0.0245」と小さい値となっている。
よって、この２つの過去画像５ｂは、現在画像５ａとの類似度が高いことが示される。このとき、「05.jpg」および「04.jpg」のホモグラフィ行列の固有値は、図５の符号Ｈ_５と符号Ｈ_４で示される。
そして、このホモグラフィ行列の固有値Ｈ_５，Ｈ₄から、例えば、Ｘ軸方向の移動量を示す値（ｈ_１３成分）、Ｙ軸方向の移動量を示す値（ｈ_２３成分）が示される。なお、Ｘ軸方向の移動量（ｈ_１３成分：符号ａで示す値）は、Ｙ軸方向の移動量（ｈ_2３成分：符号ｂで示す値）よりも大きな値であることがわかる。また、スケール（拡大・縮小）の変化量を示す値（ｈ_３１成分，ｈ_３２成分：符号ｃで示す値）が全体として小さな値であることがわかる。

図６は、現在画像５ａと比較した各過去画像５ｂにおける、Ｘ軸方向の移動量と、Ｙ軸方向の移動量と、Ｌ２ノルム（類似度：Ｓｉｍ）の値を示す図である。移動量推定部１１２は、画像間の類似度（Ｓｉｍ）を示すＬ２ノルムの値が所定の閾値以下の場合に、画像間の類似度が高いとして、画像同士で推定されたＸ軸方向とＹ軸方向の移動量が、実際の変動量に比例し信頼できるデータであるとする。
一方、Ｌ２ノルムの値が所定の閾値を超える場合、画像間の類似度が低く、現在画像５ａと過去画像５ｂの２つの画像が全体として様相が大きく変わっており、一致する特徴量（特徴点）が少なかったり、特徴量自身のマッピングがずれていることが起因して、推定される変動量と実際の画像との間にずれが発生しやすいものとなる。つまり、Ｘ軸方向、Ｙ軸方向の移動量の信頼度は低いものとなる。

図６に示す例では、例えば、Ｌ２ノルムの所定の閾値が「5.000e-01」であるとする。移動量推定部１１２は、Ｌ２ノルムの値が「5.000e-01」以下である過去画像５ｂ（５ｂ_１２，５ｂ_１３，５ｂ_１４，５ｂ_１５，５ｂ_１６）（図６において各データを斜線で囲んだ過去画像）を類似度の高い画像として抽出する。図６に示す例では、比較元となる現在画像５ａと同様に、駅舎と列車の両方が映っている過去画像５ｂが類似度の高い画像として抽出される。
そして、移動量推定部１１２は、類似度の高い画像として抽出した、Ｘ軸方向、Ｙ軸方向の移動量を、カメラデバイス５０の移動量として推定する。

なお、例えば、Ａ－Ｂ－Ｃ－Ｄ－Ｅの位置順にカメラデバイスが配置されているとき、移動量推定装置１は、Ａ－Ｅの移動量を直接計算するよりも、Ａ－Ｂ、Ｂ－Ｃ、Ｃ－Ｄ、Ｄ－Ｅのような近傍デバイスのみの移動量を個別に計算し組み合わせる方が、類似度の高い画像同士でデバイスの移動量を推定できるため有効である。

以上説明した、画像認識部１１０の特徴量抽出部１１１および移動量推定部１１２は、複数のカメラデバイス５０で構成される新規の配置パターンとして、複数のカメラデバイス５０からの画像（現在画像５ａ）を取得した場合には、各カメラデバイス５０から取得したそれぞれの画像に対して、上記した特徴量抽出処理と、ホモグラフィ行列の算出によるデータ間距離（固有値Ｈ）およびＬ２ノルムの算出を実行する。

図２に戻り、類似デバイス抽出部１２０の処理について説明する。
類似デバイス抽出部１２０は、新規に配置されたパターン（以下、「新規配置パターン」と称する。）のカメラデバイス群の画像（各現在画像５ａ）を移動量推定装置１が取得した場合、画像認識部１１０が、上記において説明した処理を行い、画像データ２００に記憶された過去画像５ｂと比較することにより算出したデータ間距離（固有値Ｈ）およびＬ２ノルムを用いて、Ｌ２ノルムが所定の閾値以下の過去画像５ｂを抽出する。これにより、類似デバイス抽出部１２０は、画像間の類似度が高い、つまり、新規配置パターンのカメラデバイス５０と配置位置の近いデバイスを抽出する。

ここで、類似デバイス抽出部１２０は、新規配置パターンのカメラデバイス５０毎に、抽出したデバイスの中で、Ｌ２ノルムの値が最小のカメラデバイス５０を選択する。そして、類似デバイス抽出部１２０は、選択したカメラデバイス５０それぞれについて、移動量推定部１１２が算出した誤差距離の総和Ｓを、所定の距離Ｎ（Ｎは、２点間を１ポップとして規定する距離）で割った値について小数点を繰り上げ（Roundup）し、ホップ数（推定距離）として保持する。

なお、新規配置パターンに類似するカメラデバイス５０を選択する前提として、各カメラデバイス５０におけるカメラズーム倍率は常に一定であり不変であるとする。また、各カメラデバイス５０の絶対的な位置情報は、他の手段からは得られないものとする。

図７は、本実施形態に係る類似デバイス抽出部１２０による、ホップ数の算出処理を説明する図である。ここでは、類似デバイス抽出部１２０が、新規配置パターンのデバイス「Ａ」「Ｂ」「Ｃ」の配置位置に近いデバイスの距離を推定する場合で説明する。なお、デバイス「Ａ」「Ｂ」は、図７において同一機種として同じ記号「〇」で示し、デバイスＣは、それとは異なる機種として記号「△」で示している。

デバイス「Ａ」の近傍では、Ｌ２ノルムの値であるＳｉｍ（類似度）が所定の閾値（Ｔｈ）以下（Ｓｉｍ＜Ｔｈ）であり、そのうちの最小値として選択されたデバイス「Ｐ１」が抽出される。そして、デバイス「Ａ」は、デバイス「Ｐ１」の近傍の１ホップ以内の距離にあると推定される（Ｈ（Ａ，Ｐ１）＝１）。
同様に、デバイス「Ｂ」の近傍には、Ｓｉｍが所定の閾値（Ｔｈ）以下（Ｓｉｍ＜Ｔｈ）であり、そのうちの最小値として選択されたデバイス「Ｐ３」が抽出される。なお、デバイス「Ｐ２」は、Ｓｉｍが所定の閾値（Ｔｈ）を超えているので抽出されない。そして、デバイス「Ｂ」は、デバイスＰ３の近傍の３ホップ以内の距離にあると推定される（Ｈ（Ａ，Ｐ１）＝３）。
同様に、デバイスＣの近傍には、Ｓｉｍが所定の閾値（Ｔｈ）以下（Ｓｉｍ＜Ｔｈ）であり、そのうちの最小値として選択されたデバイス「Ｐ４」が抽出される。なお、デバイス「Ｐ５」は、Ｓｉｍが所定の閾値（Ｔｈ）を超えているので抽出されない。そして、デバイス「Ｃ」は、デバイス「Ｐ４」の近傍の２ホップ以内の距離にあると推定される（Ｈ（Ａ，Ｐ１）＝２）。

このようにして、類似デバイス抽出部１２０は、新規配置パターンにおける各カメラデバイス５０の現在画像５ａから、Ｌ２ノルム（Ｓｉｍ）が所定の閾値以下であり、そのＬ２ノルムの値が最小のカメラデバイス５０を抽出する。そして、類似デバイス抽出部１２０は、新規配置パターンおけるカメラデバイス５０と抽出したカメラデバイス５０との間の誤差距離の総和Ｓを用いて、ホップ数（推定距離）を算出することができる。
以上より、移動量推定装置１は、類似すると判定された２映像間の距離差を、その環境下で定義されたホップ単位に変換することにより、実際のカメラデバイス５０間の物理的な距離差に比例した正確なずれを算出することができる。

＜処理の流れ＞
次に、本実施形態に係る移動量推定装置１が、現在画像５ａと過去画像５ｂとを用いてカメラデバイス５０の移動量を推定する処理（移動量推定処理）について図８を参照して説明する。

≪移動量推定処理≫
図８は、本実施形態に係る移動量推定装置１が実行する移動量推定処理の流れを示すフローチャートである。
まず、移動量推定装置１の画像認識部１１０（特徴量抽出部１１１）は、比較元画像である現在画像５ａを、カメラデバイス５０から取り込み、所定の特徴量抽出アルゴリズムを用いて特徴量を抽出する（ステップＳ１０）。

続いて、特徴量抽出部１１１は、記憶部１２に記憶された画像データ２００から比較対象となる過去画像５ｂを取り込み、所定の特徴量抽出アルゴリズムを用いて特徴量を抽出する（ステップＳ１１）。

次に、特徴量抽出部１１１は、現在画像５ａの特徴量（特徴点）と過去画像５ｂの特徴量（特徴点）とのマッチングを行い、画像間の特徴点の組み合わせを算出する（ステップＳ１２）。

そして、画像認識部１１０の移動量推定部１１２は、マッチングされた特徴点の位置の変化からホモグラフィ行列を算出する（ステップＳ１３）。
具体的には、移動量推定部１１２は、上記のように、ランダムに４つの特徴量ペア（所定数の特徴点）を選んだ上でホモグラフィ行列を算出し、残りの特徴量ペアについて、当該ホモグラフィ行列で算出した座標と実際の座標との距離を距離誤差としてその総和Ｓを算出する。移動量推定部１１２は、全通りの特徴量ペアについての距離誤差の総和Ｓを算出し、総和Ｓが最も小さい特徴量ペア（４つの特徴量ペア）で算出されたホモグラフィ行列を、その画像間のホモグラフィ行列として算出する。

続いて、移動量推定部１１２は、ステップＳ１３において算出したホモグラフィ行列を用いて、画像間の類似度（Ｓｉｍ）を示すＬ２ノルムを、上記した式（２）により算出する（ステップＳ１４）。
このＬ２ノルムの値が、所定の閾値以下の場合に、画像間の類似度が高いものとなる。なお、Ｌ２ノルムの値が、所定の閾値を超える場合には、その画像の類似度は低いものとし、画像からの移動量の推定はできない。

また、移動量推定部１１２は、Ｌ２ノルムが所定の閾値以下の場合には、ステップＳ１３において算出したホモグラフィ行列の固有値を参照して、移動量を推定する（ステップＳ１５）。例えば、移動量推定部１１２は、ホモグラフィ行列のパラメータ（ｈ_１３成分）により、Ｘ軸方向の移動量を推定する。ホモグラフィ行列のパラメータ（ｈ_2３成分）により、Ｙ軸方向の移動量を推定する。また、ホモグラフィ行列のパラメータ（ｈ_３１成分，ｈ_３２成分）により、スケール（拡大・縮小）の変化量を推定する。

次に、類似デバイス抽出部１２０は、ステップＳ１４において算出されたＬ２ノルムの値が所定値以下の過去画像５ｂを抽出し、抽出した過去画像５ｂの中でＬ２ノルムの値が最小となる画像およびそのカメラデバイス５０を選択する（ステップＳ１６）。

そして、類似デバイス抽出部１２０は、現在画像５ａと、Ｌ２ノルムが最小となる画像との間において、ステップＳ１３でホモグラフィ行列を導出する際に算出した誤差距離の総和Ｓの値に基づき、ホップ数を算出する（ステップＳ１７）。

このようにすることで、移動量推定装置１は、新たに配置されたカメラデバイス５０の画像（現在画像５ａ）と、過去のカメラデバイス５０で撮影された画像（過去画像５ｂ）とから、カメラデバイス５０の移動量を推定することができる。
また、移動量推定装置１は、類似すると判定された２映像間の距離差を、その環境下で定義されたホップ単位に変換することにより、実際のカメラデバイス５０間の物理的な距離差に比例した正確なずれを算出することができる。

＜ハードウェア構成＞
本実施形態に係る移動量推定装置１は、例えば図９に示すようなコンピュータ９００によって実現される。
図９は、本実施形態に係る移動量推定装置１の機能を実現するコンピュータ９００の一例を示すハードウェア構成図である。コンピュータ９００は、ＣＰＵ（Central Processing Unit）９０１、ＲＯＭ（Read Only Memory）９０２、ＲＡＭ９０３、ＨＤＤ（Hard Disk Drive）９０４、入出力Ｉ／Ｆ（Interface）９０５、通信Ｉ／Ｆ９０６およびメディアＩ／Ｆ９０７を有する。

ＣＰＵ９０１は、ＲＯＭ９０２またはＨＤＤ９０４に記憶されたプログラムに基づき作動し、図２に示す移動量推定装置１の制御部１０による制御を行う。ＲＯＭ９０２は、コンピュータ９００の起動時にＣＰＵ９０１により実行されるブートプログラムや、コンピュータ９００のハードウェアに係るプログラム等を記憶する。

ＣＰＵ９０１は、入出力Ｉ／Ｆ９０５を介して、マウスやキーボード等の入力装置９１０、および、ディスプレイ等の出力装置９１１を制御する。ＣＰＵ９０１は、入出力Ｉ／Ｆ９０５を介して、入力装置９１０からデータを取得するともに、生成したデータを出力装置９１１へ出力する。なお、プロセッサとしてＣＰＵ９０１とともに、ＧＰＵ（Graphics Processing Unit）等を用いても良い。

ＨＤＤ９０４は、ＣＰＵ９０１により実行されるプログラムおよび当該プログラムによって使用されるデータ等を記憶する。通信Ｉ／Ｆ９０６は、通信網（例えば、ＮＷ（Network）９２０）を介して他の装置からデータを受信してＣＰＵ９０１へ出力し、また、ＣＰＵ９０１が生成したデータを、通信網を介して他の装置へ送信する。

メディアＩ／Ｆ９０７は、記録媒体９１２に格納されたプログラムまたはデータを読み取り、ＲＡＭ９０３を介してＣＰＵ９０１へ出力する。ＣＰＵ９０１は、目的の処理に係るプログラムを、メディアＩ／Ｆ９０７を介して記録媒体９１２からＲＡＭ９０３上にロードし、ロードしたプログラムを実行する。記録媒体９１２は、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto Optical disk）等の光磁気記録媒体、磁気記録媒体、導体メモリテープ媒体又は半導体メモリ等である。

例えば、コンピュータ９００が本実施形態に係る移動量推定装置１として機能する場合、コンピュータ９００のＣＰＵ９０１は、ＲＡＭ９０３上にロードされたプログラムを実行することにより移動量推定装置１の機能を実現する。また、ＨＤＤ９０４には、ＲＡＭ９０３内のデータが記憶される。ＣＰＵ９０１は、目的の処理に係るプログラムを記録媒体９１２から読み取って実行する。この他、ＣＰＵ９０１は、他の装置から通信網（ＮＷ９２０）を介して目的の処理に係るプログラムを読み込んでもよい。

＜効果＞
以下、本発明に係る移動量推定装置１等の効果について説明する。
本発明に係る移動量推定装置は、カメラデバイス５０の配置位置の変化に伴う画像間の移動量を推定する移動量推定装置１であって、カメラデバイス５０の過去の配置位置それぞれで撮影された比較対象となる画像を示す過去画像５ｂを記憶する記憶部１２と、新たな配置位置のカメラデバイス５０により撮影された画像を、比較元となる画像を示す現在画像５ａとして取り込み、記憶部１２から過去画像５ｂを取り込み、現在画像５ａおよび過去画像５ｂから所定の特徴量抽出アルゴリズムを用いてそれぞれの特徴点を抽出して、当該特徴点間のマッチングを行う特徴量抽出部１１１と、複数のマッチングされた特徴点のうちから所定数の特徴点を選択し、選択した所定数の特徴点の位置の変化からホモグラフィ行列を算出し、算出したホモグラフィ行列を用いて、選択した所定数の特徴点以外の特徴点それぞれについての特徴点間の座標のずれを示す誤差距離を計算して当該誤差距離の総和を算出し、誤差距離の総和の算出をすべての特徴点の選択の組み合わせで行い、算出された複数の誤差距離の総和のうちの最小値を算出した際のホモグラフィ行列を、現在画像５ａと過去画像５ｂの座標の変化を示すホモグラフィ行列として採用し、採用したホモグラフィ行列の固有値を用いて、新たな配置位置のカメラデバイス５０の移動量を推定する移動量推定部と、を備えることを特徴とする。

このように、移動量推定装置１は、所定の特徴量抽出アルゴリズムにより抽出した現在画像５ａと過去画像５ｂの特徴点の位置の変化から、画像間の変化量を示すホモグラフィ行列を算出することができる。これにより、カメラデバイス５０の配置位置が変化した場合でも、そのカメラデバイス５０の移動量を、３次元空間モデルを用いずに撮影画像から算出したホモグラフィ行列の固有値に基づき簡易に算出することができる。

また、移動量推定装置１において、移動量推定部１１２が、採用したホモグラフィ行列の固有値を用いて、値が小さい程現在画像５ａと過去画像５ｂとの類似度が高くなる指標としてのＬ２ノルムを算出することを特徴とする。

このようにすることにより、移動量推定装置１は、例えば、算出したＬ２ノルムが所定の閾値以下の過去画像を、現在画像に類似する画像として抽出することができる。

また、移動量推定装置１において、特徴量抽出部１１１が、新規の配置パターンのカメラデバイス群における各カメラデバイス５０の複数の現在画像５ａを取り込み、移動量推定部１１２が複数の現在画像５ａそれぞれの比較対象となる過去画像５ｂについて算出したＬ２ノルムのうちの最小値の過去画像５ｂを選択する処理を実行し、当該選択した過去画像５ｂについて移動量推定部１１２が算出した複数の誤差距離の総和のうちの最小値を所定の距離で割った値を用いて、新規の配置パターンの各カメラデバイス５０と、その現在画像５ａに類似する過去画像５ｂを撮影したカメラデバイス５０との推定距離をホップ数として算出する類似デバイス抽出部１２０をさらに備えることを特徴とする。

このように、移動量推定装置１は、新規の配置パターンの各カメラデバイス５０の現在画像５ａに類似する過去画像５ｂを選択する。そして、移動量推定装置１は、その選択した過去画像５ｂを撮影したカメラデバイス５０と新規の配置パターンのカメラデバイス５０との推定距離をホップ数として算出することができる。よって、移動量推定装置１は、実際のカメラデバイス５０間の物理的な距離差に比例した正確なずれを算出することができる。

なお、本発明は、以上説明した実施形態に限定されるものではなく、多くの変形が本発明の技術的思想内で当分野において通常の知識を有する者により可能である。

１移動量推定装置
１０制御部
１１入出力部
１２記憶部
５０カメラデバイス
１００ホモグラフィ行列
１１０画像認識部
１１１特徴量抽出部
１１２移動量推定部
１２０類似デバイス抽出部
２００画像データ

Claims

カメラデバイスの配置位置の変化に伴う画像間の移動量を推定する移動量推定装置であって、
前記カメラデバイスの過去の配置位置それぞれで撮影された比較対象となる画像を示す過去画像を記憶する記憶部と、
新たな配置位置のカメラデバイスにより撮影された画像を、比較元となる画像を示す現在画像として取り込み、前記記憶部から前記過去画像を取り込み、前記現在画像および前記過去画像から所定の特徴量抽出アルゴリズムを用いてそれぞれの特徴点を抽出して、当該特徴点間のマッチングを行う特徴量抽出部と、
複数の前記マッチングされた特徴点のうちから所定数の特徴点を選択し、選択した前記所定数の特徴点の位置の変化からホモグラフィ行列を算出し、算出したホモグラフィ行列を用いて、選択した前記所定数の特徴点以外の特徴点それぞれについての特徴点間の座標のずれを示す誤差距離を計算して当該誤差距離の総和を算出し、前記誤差距離の総和の算出をすべての特徴点の選択の組み合わせで行い、算出された複数の前記誤差距離の総和のうちの最小値を算出した際の前記ホモグラフィ行列を、前記現在画像と前記過去画像の座標の変化を示すホモグラフィ行列として採用し、採用した前記ホモグラフィ行列の固有値を用いて、前記新たな配置位置のカメラデバイスの移動量を推定する移動量推定部と、を備え、
前記移動量推定部は、採用した前記ホモグラフィ行列の固有値を用いて、値が小さい程前記現在画像と前記過去画像との類似度が高くなる指標としてのＬ２ノルムを算出し、
前記特徴量抽出部が、新規の配置パターンのカメラデバイス群における各カメラデバイスの複数の前記現在画像を取り込み、前記移動量推定部が複数の前記現在画像それぞれの比較対象となる過去画像について算出した前記Ｌ２ノルムのうちの最小値の前記過去画像を選択する処理を実行し、
当該選択した過去画像について前記移動量推定部が算出した複数の前記誤差距離の総和のうちの最小値を所定の距離で割った値を用いて、前記新規の配置パターンの各カメラデバイスと、その現在画像に類似する過去画像を撮影したカメラデバイスとの推定距離をホップ数として算出する類似デバイス抽出部
をさらに備えることを特徴とする移動量推定装置。
カメラデバイスの配置位置の変化に伴う画像間の移動量を推定する移動量推定装置の移動量推定方法であって、
前記移動量推定装置は、
前記カメラデバイスの過去の配置位置それぞれで撮影された比較対象となる画像を示す過去画像を記憶する記憶部を備えており、
新たな配置位置のカメラデバイスにより撮影された画像を、比較元となる画像を示す現在画像として取り込み、前記記憶部から前記過去画像を取り込み、前記現在画像および前記過去画像から所定の特徴量抽出アルゴリズムを用いてそれぞれの特徴点を抽出して、当該特徴点間のマッチングを行う特徴量抽出ステップと、
複数の前記マッチングされた特徴点のうちから所定数の特徴点を選択し、選択した前記所定数の特徴点の位置の変化からホモグラフィ行列を算出し、算出したホモグラフィ行列を用いて、選択した前記所定数の特徴点以外の特徴点それぞれについての特徴点間の座標のずれを示す誤差距離を計算して当該誤差距離の総和を算出し、前記誤差距離の総和の算出をすべての特徴点の選択の組み合わせで行い、算出された複数の前記誤差距離の総和のうちの最小値を算出した際の前記ホモグラフィ行列を、前記現在画像と前記過去画像の座標の変化を示すホモグラフィ行列として採用し、採用した前記ホモグラフィ行列の固有値を用いて、前記新たな配置位置のカメラデバイスの移動量を推定する移動量推定ステップと、を実行し、
前記移動量推定ステップにおいて、採用した前記ホモグラフィ行列の固有値を用いて、値が小さい程前記現在画像と前記過去画像との類似度が高くなる指標としてのＬ２ノルムを算出し、
前記特徴量抽出ステップにおいて、新規の配置パターンのカメラデバイス群における各カメラデバイスの複数の前記現在画像を取り込み、前記移動量推定ステップにおいて複数の前記現在画像それぞれの比較対象となる過去画像について算出した前記Ｌ２ノルムのうちの最小値の前記過去画像を選択する処理を実行し、
当該選択した過去画像について前記移動量推定ステップにおいて算出した複数の前記誤差距離の総和のうちの最小値を所定の距離で割った値を用いて、前記新規の配置パターンの各カメラデバイスと、その現在画像に類似する過去画像を撮影したカメラデバイスとの推定距離をホップ数として算出する類似デバイス抽出ステップを実行すること
を特徴とする移動量推定方法。
コンピュータを、請求項１に記載の移動量推定装置として機能させるためのプログラム。