JP5509278B2 - 被写体位置判定方法およびシステム - Google Patents

Description

関連出願

本出願は、２０１１年８月２３日に出願された英国特許出願第１１１４６１７．２号に基づく優先権を主張するものであって、当該英国出願の全内容を援用するものである。

本発明の実施形態は、一般に被写体位置合わせに関する。

良く知られているハフ変換は、当初は画像内の直線を検出する方法として用いられた。その後、ハフ変換はパラメータ化曲線、任意の２Ｄ形状、車、歩行者、手、３Ｄ形状（これらは数例に過ぎない）といった他のさまざまな対象を検出し認識するものに一般化された。これは、ハフ変換の第一段階―データ空間に含まれる特徴を、検出すべき被写体の姿勢をパラメータ化したハフ空間内の投票集合に変換すること―の単純性および一般性によるものである。このような特徴から投票への変換機能の学習に関して、種々の異なるアプローチが提案されてきた。

ハフ変換の第二段階では、ハフ空間における各位置の投票の尤度が合計され、ハフ空間におけるモード（すなわち極大値）が計算される。

図１（ａ）はキャプチャー３Ｄ画像から生成された点群である；図１（ｂ）は図１（ａ）の点群から認識された被写体を示す； 図２は３Ｄ画像のキャプチャーに用いられる装置の概略図である； 図３は図３のシステムの説明のための図である； 図４（ａ）乃至（ｄ）は図２のシステムの動作を示すデータである； 図５は本発明の実施形態による方法に用いることができる特徴をキャプチャーする方法を示すフローチャートである； 図６は特徴を示す写真である； 図７（ａ）は被写体のキャプチャー３Ｄ画像から生成された点群であり、図７（ｂ）は図７（ａ）の画像とともに抽出された特徴を示す； 図８は、本発明の実施形態による方法のフローチャートである； 図９（ａ）は画像化される被写体および本発明の実施形態による方法を用いて処理された画像である；図９（ｂ）は図９（ａ）の被写体の点群であり、図９（ｃ）は検出された特徴を重ね合わせた図９（ｂ）の点群である；図９（ｄ）は検出された特徴をデータベースのものと比較した後に生成された予測姿勢の図であり、図９（ｅ）は図９（ａ）内の被写体に関してシステムによって返された位置合わせ済ＣＡＤモデルである； 図１０（ａ）乃至１０（ｊ）は、本発明の実施形態による方法を用いて、例として認識され位置合わせされた工業用部品を示す； 図１１は図１０の被写体の混同マトリックスである； 図１２は本発明の本発明による方法および標準的な方法に関して、被写体認識と位置合わせのリコールに対する精度を示すプロットである； 図１３（ａ）は標準的なハフ変換に関して１０個の被写体クラスの事後分布結果を示し、図１３（ｂ）は本発明の本発明による方法を用いた場合の結果を示す； 図１４（ａ）は標準的なハフ変換に関する推定の結果を示し、図１４（ｂ）は本発明による方法を用いた場合の結果を示す。

一実施形態によれば、以下の工程を備えた被写体の位置判定を行う方法が提供される。

各被写体が複数の特徴を呈する複数の被写体を含むデータを分析し、前記データから前記特徴を抽出する工程と、
前記データから抽出された各特徴は少なくとも一つの予測に一票を投じるものであり、データベースに保存された特徴と前記データから抽出された特徴とをマッチングし、被写体の予測を得る工程と、
Ｎを少なくとも一つの整数とし、分析すべき前記被写体がｎ個のパラメータで記述され、各パラメータがハフ空間の次元を定義する、ハフ空間において分析すべき予測を表す工程と、
他の特徴からの投票に合致しない投票よりも、他の特徴からの投票と合致する投票に対して高く重み付けする制約を与える工程と、
前記重み付けされた投票を用いて前記ハフ空間における極大値を得る工程と、
前記データにおける前記被写体を位置判定するため、前記極大値と関連付けられた前記予測を識別する工程。

ｙは全被写体予測の空間であるハフ空間Ｈにおける被写体の予測であり、ｉが特徴を表し、ｊがｉ番目の特徴からの投票を表し、「＜ω＝｛ω_ｉ｝＞」が特徴に帰する重みである場合に「＜Ｘ＝｛ｘ_ｉｊ｝_∀ｉ，ｊ＞」はＨに投ぜられた投票であり、「＜θ＝｛θ_ｉｊ｝_∀ｉ，ｊ＞」が投票に帰する重みであるとすると、θに関して「＜ｐ（ｙ｜Ｘ，ω，θ）＞」の情報エントロピーを最小化することにより前記制約が設けられてもよい。

また一実施形態において、θは以下の式により与えられてもよい。

ここで、「＜ｐ（Ａ｜Ｂ）＞」はＡがＢを与えられたとみなされる事後確率であり、「＜ｑ（．）＞」は前記投票が取り出される標本分布を表し、前記ハフ空間は位置「＜Ｙ＝｛ｙ_ｉ｝＞」にてサンプリングされる。

さらに別の実施形態において、θは他の全投票の現在の重みで条件として最小化され、この処理は収束するまで繰り返され、一つの特徴についての前記全投票の重みは以下の式により更新される。

また更に別の実施形態において、ｋは反復条件モード（ＩＣＭ）プロキシを用いた以下の式への置換により単純化される。

上記実施形態において、ハフ空間は位置「＜Ｙ＝｛ｙ_ｉ｝＞」にてサンプリングされる。これらは間隔をおいて規則的に離間されていてもよい。また別の実施形態においては、ハフ空間は前記投票の位置でのみサンプリングされる。本実施形態において、上式は以下のように書き表すことができる。

ここで、「＜ｐ（Ａ｜Ｂ）＞」がＡがＢを与えられたとみなされる事後確率であり、「＜ｑ（．）＞」は、前記投票が取り出される標本分布を表す。

ここで再び、上式は他の全投票の現在の重みを条件として最小化され、この処理は収束するまで繰り返される。また一実施形態において、これは一つの特徴ｆの投票の重みを以下の式で更新することによって達成される。

また別の実施形態において、ｋは以下の式への置換により単純化される。

一実施形態において、初期の段階において重みは緩やかに更新される。つまり、初期の段階において重みは０または１に固定されない。このアプローチによれば、順序付けバイアスが回避され、悪い極小値に早い時期に陥らないようになり、発見される解の質が向上する。

上記方法を用いて初期の投票の重みを設定するため、

を初期値群に設定してもよい、例えば、均一分布によって規定される設定値群に設定してもよい。

一実施形態において、以下のように、更新ルールは投票の重みそれぞれに同期的または非同期的のいずれかで適用される。

が適用される。

これは以下に置換されてもよい。

θの初期推定を得るために上記ルールのいずれかを用いて連続的更新を行ってもよい。例えば、四〜六回の反復実行を行ってもよい。

さらに別の実施形態においては、得られたθの値がハフ変換式で直接用いられる。

また一実施形態において、極大値は事前に定義された間隔でハフ空間をサンプリングすることにより位置判定される。さらに別の方法において、前記極大値は、投票された位置で前記ハフ空間をサンプリングすることにより位置判定される。

また一実施形態において、上記方法が画像中または画像群中の被写体識別に適用され、前記分析すべきデータは画像データであり、前記被写体は前記画像内でキャプチャされた物理的な被写体である。

このような構成において、前記ハフ空間は少なくとも七次元で定義される方法であればよく、そのうち一つの次元は前記被写体のＩＤを示し、三つの次元は共通座標系に対する前記被写体の平行移動を示し、さらに三つの次元は前記共通座標系に対する前記被写体の回転を示す。また別の実施形態において、ハフ空間は前記投票の位置でのみサンプリングされる。

ハフ空間は以下の式により定義できる。

また一実施形態において、θは前記投票の位置のみで前記ハフ空間をサンプリングすることにより最適化される。

画像処理に加えて、本発明の方法は検索最適化戦略にも用いることができ、前記方法は複数の検索条件から検索結果のリストを返すよう構成された方法であって、位置判定すべき被写体は前記検索結果であり、前記被写体に投票する前記特徴は前記検索条件である。

この一例として、前記検索結果は患者が患っているおそれのある疾病に関係し、前記検索条件は前記患者により示される症状である。

また一実施形態において、被写体を位置判定する装置はプロセッサを具備し、前記プロセッサは以下の工程を実行するよう構成される。

各被写体が複数の特徴を呈する複数の被写体を含むデータを分析し、前記データから前記特徴を抽出する工程と、
前記データから抽出された各特徴は少なくとも一つの予測に一票を投じるものであり、データベースに保存された特徴と前記データから抽出された特徴とをマッチングし、被写体の予測を得る工程と、
ｎを少なくとも一つの整数とし、分析すべき前記被写体がｎ個のパラメータで記述され、各パラメータがハフ空間の次元を定義する、ハフ空間において分析すべき予測を表す工程と、
他の特徴からの投票に合致しない投票よりも、他の特徴からの投票と合致する投票に対して高く重み付けする制約を与える工程と、
前記重み付けされた投票を用いて前記ハフ空間における極大値を得る工程と、
前記データにおける前記被写体を位置判定するため、前記極大値と関連付けられた前記予測を識別する工程。

第１実施形態によるシステムおよび方法を説明する。

図１（ａ）は、４つの被写体１、３、５および７を含むシーンの点群である。点群は、図２乃至４のいずれかを参照して説明される装置を用いて得られる。点群は、３Ｄ画像化技術によって得られた表面上の予測点を含む。

本発明の実施形態による方法は、図１（ｂ）に示されるように、図１（ａ）に示される被写体の認識および位置合わせを可能にする。

図２は、３Ｄデータのキャプチャーに利用可能なシステムを示している。該システムは基本的にカメラ３５、分析ユニット２１、ディスプレイ３７を含む。

カメラ３５は標準的なビデオカメラであり、ユーザーが移動させることができる。作動中において、カメラ３５は、画像化される被写体の周囲を制限されずに動かされる。該カメラは簡素な手持ち式でもよい。一方、別の実施形態において、該カメラは三脚または他の機械的支持機構にマウントされる。

分析ユニット２１は、カメラ３５からカメラデータを受信するためのセクションを含む。分析ユニット２１は、プログラム２５を実行するプロセッサ２３を含む。分析ユニット２１は、さらにストレージ２７を含む。ストレージ２７は、カメラ３５から受信したデータを分析するためにプログラム２５によって用いられるデータを記憶する。分析ユニット２１は、さらに入力モジュール３１および出力モジュール３３を含む。入力モジュール３１はカメラ３５に接続される。入力モジュール３１は、単純にはカメラ３５から直接データを受信することができ、あるいは外部記憶媒体またはネットワークからカメラデータを受信することができる。

出力モジュール３３に接続されるのはディスプレイ３７である。このディスプレイ３７は、カメラ３５が受信したカメラデータから生成されたキャプチャー３Ｄデータの表示に用いられる。ディスプレイ２７の代わりに、出力モジュール３３はファイルあるいはインターネット上などに出力を行ってもよい。

使用にあたり、分析ユニット２１は入力モジュール３１を通じてカメラデータを受信する。プロセッサ２３上で実行されたプログラム２５は、ストレージ２７に記憶されたデータを用いてカメラデータを分析して３Ｄデータを生成し、被写体群とそれらの姿勢を認識する。そのデータは出力モジュール３５を通じてディスプレイ３７に出力される。

ディスプレイは、ゆっくりと構築される３Ｄデータを表示する。システムは、一度に多数の点のデプスを決定しなければならない。

カメラが被写体の周囲を移動するにつれて、より多くのデータが得られる。この実施形態において、データが取得されるとリアルタイムで連続して処理され、スクリーン上に被写体の外観が構築される。

図３は、図２のシステムを用いてデプスマップがどのように構築されるか説明するための図である。カメラ１は、第１の位置４１（第１の画像位置という）と第２の位置４３（第２の画像位置という）の間を移動する。第１の画像位置に画素ｐを示す。画素ｐについて、被写体上の点ｘ（Ｚ）を示す。この点ｘ（Ｚ）は、基準点から距離（Ｘ）に位置する。この具体例において、基準点は第１の位置４１のカメラである。なお、基準点は任意の点でもよい。画素ｐとして示される点ｘは、エピポーラー線（ｅｐｉ−ｐｏｌａｒ ｌｉｎｅ）４５上に位置する。２Ｄ画像Ｉ内のデータからデプスＺを決定することはできないが、Ｚの線の位置を決定することはできる。

カメラ１がセクション位置４３に移動すると、画像Ｉ’がキャプチャーされる。点ｘが線４５上に位置することが分かっている場合、この線を画像空間Ｉ’上に投影することを考えると、当業者であれば被写体（図示せず）上の点ｘは画像空間Ｉ’の投影線４７上のどこかに位置するであろうことを理解する。

第１の位置４１および第２の位置４３におけるカメラの位置が判明した時点で、投影線４７の位置を決定することができる。また、移動するビデオカメラによって画像を頻繁にキャプチャーするとき、位置４１と位置４３の間の距離は非常に小さくなる。分かりやすくするために、図３ではこれらの２つの位置間の差を誇張して示した。実際にはこの差は非常に小さく、点ｘを示す参照画像内の画素ｐは、小領域ｗ内で第１の位置Ｉの画像から第２の位置Ｉ’の画像に移動するだけである。

そうすると、この領域ｗを第２の画像Ｉ’に投影してｗ’とした場合、画素ｐとの類似度を判定するには、投影されたエピポーラー線４７上に位置する、投影された領域ｗ’内の画素についてのみ処理すればよいことになる。

そして、線４７上の画素が画素ｐに対応するかを判定するために、既知のマッチングアルゴリズムが実行される。一致スコアについては、ｗとｗ’の正規化相互相関（ｎｏｒｍａｌｉｓｅｄ ｃｒｏｓｓ ｃｏｒｒｅｌａｔｉｏｎ： ＮＣＣ）、ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ（ＳＡＤ）のような方式を用いて評価することができる。

幅ＺｍｉｎとＺｍａｘの間の距離について、マッチングスコアすなわち類似スコアのプロットを図４ａに示す。十分にテクスチャ化されたシーンにおいては、一般的に、正しいデプスはマッチングスコアの極大値にきわめて近いことが分かった。したがって、ここからは極大値（ｘ_１…，ｘ_Ｎとして表わす）だけを考慮する。

距離Ｚは第２の画像Ｉ’上に投影することができる。この距離Ｚの第１の近似は、被写体の大まかなサイズに関する何らかの情報に基づくであろう。

システムの動作中にカメラが第３の位置（図３には不図示）に移動すると同じ解析が行われ、位置２３に関し図３を参照して説明した場合と同様の手順で類似スコアが得られる。

その後、２つの類似スコアは合計される。さらに別の画像についてのスコアを、エピポーラー線４５に沿ったＺに関して表す。図４ｂでは、６枚のフレームからの類似スコアが合計される。図４ｂの場合がそうであるが、取得した画像がほとんど無い場合、極大値は重度にマルチモーダル（ｍｕｌｔｉｍｏｄａｌ）である。これは、オクルージョン、タイムワープ、反復テクスチャなどのような問題領域における種々な問題（ｐａｔｈｏｌｏｇｉｅｓ）によるものである。図４ｃには、さらに別の類似スコア、すなわち１５枚のフレームからの類似スコアを合計した場合が示され、図４ｄには、６０枚のフレームからの類似スコアを合計した場合が示される。画像がますます加えられるにつれて、当初の図４ｂに示されるマルチモーダルなヒストグラムは、その特性が図４ｄに示すようにユニモーダル（ｕｎｉｍｏｄｅｌ）に移り変わることが分かる。つまり、データは、無相関の外れデータ点の有意な割合によって特徴をはっきりさせるピークに収束している。個々に入ってくるビデオフレームのマッチングスコアの最大値は段々と互いに補強しあい、画素デプスの不明瞭さが除去される。

上記では、被写体が静止し、カメラが移動することを仮定した。しかし、カメラが固定され、被写体が（例えば組立ライン上などを）移動してもよい。

３Ｄ画像データのキャプチャーには他のシステムを用いてもよい。例えば、被写体が３つの異なる方向から照明されるフォトメトリックステレオ方式に基づいて構築されたシステムを用いてもよい。該システムは、３つの異なる方向からの照明に関してキャプチャーされた画像データを分離できるように構成される。これは、３つの光源を用いるか、３つの異なる色の光を放射できる光源を用いることによって、照明光を時間的に分離することで行われる。例えば、赤、緑、青の色を区別可能なビデオカメラを調達可能であるとの理由でこれらの色を選択してもよい。なお、一台のビデオカメラにおいて区別可能な色を放射できる３つの光源は任意である。また、非可視放射帯の光を放射する光源を用いてもよい。選択された放射の色あるいは周波数の実影は、ビデオカメラに依存する。一実施形態において、光源はプロジェクタであり、各プロジェクタからの特定色の放射によってシーンが照明されるようにするためのフィルターを備える。別の実施形態において、被写体を照明するためにＬＥＤが用いられる。

上記は、多視ステレオ技術あるいはフォトメトリックステレオ技術を用いて３Ｄ被写体データをキャプチャーする技術を示唆している。しかしながら、ＬＩＤＡＲセンサー、タイムオブフライトセンサー、アクティブ光デプスセンサー、ならびにＣＡＴセンサーおよびＭＲＩスキャナーのような他の手法も可能である。

次に、キャプチャーされたシーンの３Ｄデータから被写体群とそれらの姿勢を検出するための方法を説明する。

もっともらしい被写体の認識に関する情報をストアする目的で当該システムは被写体認識を行なう前に学習する必要がある。これについて図５を参照して説明する。

最初に、ステップＳ４０１では、図２および３を参照して説明したものと同様の装置あるいは３Ｄデータのキャプチャーに適した他のシステムを用いて被写体または被写体群を画像化する。

この実施形態では、被写体のそれぞれに座標系を割り当てる。一実施形態において、該座標系の原点は被写体の中心とする。該座標系の軸の方向は被写体の方向に一致し、該座標系における単位長は被写体のスケールと等しい。該座標系は単一４ｘ４相似変換行列によって特定される。これは、グローバル座標系の点をローカル座標系の点に変換する。

被写体から特徴を抽出する。該特徴は同定が容易な球状領域である。特徴の例を図６に示す。

特徴を同定する方法は既知であり、ここでは詳しく説明しない。この実施形態では、各特徴にローカル座標系を設定する。該座標系の原点は特徴の中心とする。軸の方向は特徴の基準方向に一致する。また、該座標系における単位長は特徴の半径に等しい。当該座標系についても４ｘ４変換行列によって特定され、グローバル座標系の点を特徴の座標系に変換する。この特徴座標系内において、原点に近い所定位置の３１点をサンプリングすることにより、３１次元の記述子ベクトルを作成する。（領域中心、領域半径、方向、記述子）のタプルは特徴を成すものであり、ステップＳ４０５において記憶される。

したがって、データベース内の各特徴について、該特徴のローカル座標系の変換行列と、関連する被写体のローカル座標系の変換行列との両方が既知となる。特徴の変換行列がＦ１であり、被写体の変換行列がＭ１であるならば、Ｆ１の逆行列をＭ１に乗ずる、つまりＴ＝Ｍ１（Ｆ１）＾（−１）を計算することにより、変換行列Ｔが得られる。これは、特徴のローカル座標系の点を、関連する被写体のローカル座標系の点に変換する。

該変換行列Ｔは、被写体がスケーリング、平行移動、および回転によって変換される場合であっても不変である。上記の処理は、シーンにおいて特定された全ての被写体について繰り返される。例えば図７（ａ）に示す被写体６１について、図７（ｂ）は、該被写体６１に対して指定された特徴６３を示す。

図８を参照して動作を説明する。この動作において、図２および３を参照して説明したように画像がキャプチャーされる。ステップＳ４１１において、この画像から特徴が抽出される。図５を参照して上述したように特徴について説明する。データベースの中の特徴の記述子と、画像から抽出された特徴とが一致（ｍａｔｃｈ）する場合、予測（ｐｒｅｄｉｃｔｉｏｎ）が生成される。

実施形態において、ユークリッド距離が閾値未満である場合、２つの記述子間には一致がある。画像から抽出された特徴とデータベースにおける特徴とが一致すると、ステップＳ４１５において予測が生成される。この予測は、どんな被写体が認識されているか、それがどこに位置しているかについての仮定である。

実施形態において、シーン上の特徴が一致する場合、該特徴のローカル座標系の変換行列のみが既知である。２つの特徴が一致する場合、テストシーンからの特徴のローカル座標系の点を予測被写体のローカル座標系の点に変換する変換行列は、Ｔと同じであることを仮定する。したがって、一致した特徴のグローバル座標系からの変換行列がＦ２であるならば、予測被写体のローカル座標系を表わす変換行列は、ＴにＦ２を乗ずること、つまりＭ２’＝Ｔ Ｆ２により与えられる。Ｍ２’は予測被写体姿勢の方向、スケール、中心点を与える。

要するに、２つの記述子の一致によって、対応する２つの領域が同じ形状を持つものと見なす。データベースからの特徴における被写体の識別、位置、スケールおよび方向が既知となると、シーンからの特徴と同じ場所に移動し、スケーリングし、回転するようデータベースからの特徴を（スケーリング処理、平行移動処理、回転処理によって）該被写体を変換することができる。これは、変換後の当該被写体がシーンに存在することの予測に用いられる。

上記の方法によれば、多くの予測が得られる。上記の方法は、特徴から投票への変換処理（第一段階の処理）を可能にする一つの手段に過ぎない。その他多くの特徴−投票変換処理を利用することができる。

ハフ変換の第二段階は、全被写体姿勢（通常はリアル（ｒｅａｌ））の空間および被写体認識タスクの場合には被写体クラス（ディスクリート（ｄｉｓｃｒｅｔｅ））の空間であるハフ空間Ｈにおける被写体の位置ｙの、事後分布の識別モデルであると考えることができる。

該モデルは、Ｎ個の特徴によりＨに投じられた投票

に基づくノンパラメトリック・カーネル密度推定量であって、

である。ここで、Ｊ_ｉは番目の特徴によって生成された投票の数であり、Ｋ（ ， ）はハフ空間における密度カーネルであって、ハフ空間内の予測に対応する点の周りに集中してブロブが形成されるようにし、

はそれぞれ、ω_ｉ，θ_ｉｊ≧０，∀_ｉ，ｊ，

および

となるような特徴および投票の重みである。

例えば、直線検出に用いられる当初のハフ変換において、特徴は点（ｅｄｇｅｌ）である。投票は、各点を通る直線（角度によってパラメータ化される）の離散的な集合について生成される。カーネルＫ（＿，＿）は、入力投票への離散化ハフ空間内の最近傍点について１を返し、それ以外について０を返す。重みωおよびθは、標準ハフ変換における分布を均一化するように設定される。

ハフ変換の最終段階は、非極大値抑制により、ある閾値ｔを超える確率を持つ当該分布のモードを見いだすことを含む。

Ｈのモードを求めることは、その次元ｄによってボリュームが指数関数的に増加する当該空間をサンプリングすることを含んでいる。

上記ハフ変換での投票値を合計することにより、投票が正しくなくても、Ｈにおける有意なモードを生成することができる。実施形態による方法においては、１つの特徴当たり１つの投票だけが正しいことを前提とする。さらに、この方法では、正しいと考えられる投票は、ステップＳ４１７における特徴からの他の投票をうまく取り除かなければならない。

ここで、θはアプリオリなものとするよりむしろ、その起こり得る値を超えて最適化され、他の特徴からの投票に一致する投票には、そうでない投票よりも多くの重みが与えられる。

一実施形態において、これは、θについてｐ（ｙ｜Ｘ，ω，θ）の情報エントロピーを最小化することにより実現される。下位のエントロピー分布に含まれる情報は、より少なくピーキーになり、より多くの投票が一致するようになる。ハフ空間における情報は被写体の位置であり、エントロピーの最小化は、特徴ができるだけ少ない被写体によって生成されることを強いる。これはオッカムの剃刀を強制することと見ることができる。

特にこの実施形態では、シャノンのエントロピーＨを最小化する：

エントロピーの計算は、ハフ空間上の積分を含んでいる（この例では非常に大きい）ので、この積分計算を扱いやすくするために、重要度サンプリングを利用する。

実施形態において、投票の位置についてのみサンプリングしながら、エントロピーは最小化される。この場合、θの値は次式により与えられる。

式（４）によってθを決定する場合、一実施形態では、最適化構造（ｏｐｔｉｍｉｚａｔｉｏｎ ｆｒａｍｅｗｏｒｋ）を利用する。ここで、ｐ（ｙ｜Ｘ，ω，θ）はθの線形関数であり、−ｘ ｌｎ ｘは凹面であることから、凹関数の和のように、式（４）の関数は凹形である。したがって、その最小値はパラメータ空間の極値にあって式（２）に束縛され、

の最適値（つまり特徴ｉの投票重みのベクトル）は、１を除き全て０ベクトルでなければならない。

したがって、各θ_ｉの探索空間はＪ_ｉ個の可能性のあるベクトルの離散集合であり、可能解の総数

を構成する。この探索空間はユニモーダルではないことに留意すべきである。−例えば、特徴が２つほど存在し、それら各々が全く同じように位置ｙについて１つ、位置ｚについて１つの計２つの投票を生成する場合、ｙとｚの両方はモードとなる。さらに、探索空間は特徴の数で指数関数的であるから、全数探索は最小問題を除き実行不可能である。

更なる実施形態において、この最適化問題の極小値を迅速に求めために、局所アプローチ、ｉｔｅｒａｔｅｄ ｃｏｎｄｉｔｉｏｎａｌ ｍｏｄｅ（ＩＣＭ）が用いられる。これは、他のすべての投票の現在の重みを条件とした式（４）を最小化し、この処理を収束するまで繰り返すことで各特徴の投票重みを順番に更新することを含んでいる。特徴ｆの投票重みについての正確な更新のための式は、以下の通りである。

しかしながら、この更新式は未知のｑ（．）を含むのみならず計算コストが比較的高いことから、実施形態においてはより簡素な代わりのものに置き換えられ、実際には類似のジョブ

を行う。

上記実施形態において、エントロピーは最小化される。しかしながら、別の実施形態では、ハフ空間を位置Ｙ＝｛ｙ_ｉ｝でサンプリングする。これにより、θの値は次のように与えられる。

ここで、ｑ（．）は、投票が取り出されるサンプリング分布である。この最適化（以下で述べる）が完了すると、推定されたθがステップＳ４１９において式（１）に適用され、標準ハフ変換によって推定は継続する。

上記のコスト関数は、他のすべての投票の現在の重みを条件とした式の最小化により各特徴の投票重みを順番に更新し、この処理を何度か（あるいは収束するまで）繰り返すことによって最小化される。特徴ｆの投票重みの正しい更新式は以下の通りである。

上式に代えて利用可能なＩＣＭの代用更新式は、

である。

上記の方法（「最小エントロピー・ハフ変換」という）を用いることにより、検出精度を上げることができる。

一実施形態において、初期の段階において重みは緩やかに更新される。つまり、初期の段階において重みは０または１に固定されない。このアプローチによれば、順序付けバイアスが回避され、悪い極小値に早い時期に陥らないようになり、発見される解の質が向上する。

最適化は局所的であることから、θを適切に初期化することは、優良な最小値への到達に役立つ。

本発明の実施形態により投票重みを初期化することについては、種々の方法を用いることができる。

一実施形態において、例えば

を初期値セットに対して設定することができる。これらは、一様分布

によって規定される。

次に、各投票重みに対し更新ルールを同期または非同期で適用してもよい。該更新ルールは、数回（例えば５回）にわたって適用してもよい。

一実施形態において、更新ルール

を適用した。

別の実施形態では、まずは標準ハフ変換において利用されるθの値を用い、次に各投票重みに対して以下の更新を同時に適用した。

ここで、特徴ｆのｐ_ｉｋは

である。

θの初期推定値を得るために、上記ルールのいずれかを用いて逐次に更新を行ってもよい。更なる実施形態において、これらθの初期値は、式（６）、（７）、（８）または（１０）、（１１）、（１２）を参照して述べたＩＣＭ法を用いる最適化が行なわれる前に用いられる。更に別の実施形態では、得られたθの値は式（１）のハフ変換に直接用いられ、上記ＩＣＭ法は用いられない。

ハフ空間は、その次元に応じて指数関数的に大きくなるが、ハフ変換を用いるアプリケーションで生成される投票の数は一般的にはそうではない。これは、より高い次元のハフ空間は、多くの場合、よりまばら（ｓｐａｒｓｅｒ）であることを意味している。このスパーシティ（ｓｐａｒｓｉｔｙ）は、確率（式（１）から与えられる）が投票それら自体の非ゼロ位置であろう位置でのみハフ空間をサンプリングすることに有効に生かされる。投票の既知の位置でのみサンプリングすること（投票が分布を規定することから「固有ハフ変換」と称する技術）によれば、ハフ変換の必要メモリがＯ（ｋ^ｄ）（ｋ＞１）からＯ（ｎ）に変化する。これにより、３Ｄ被写体位置合わせ応用に用いられるような高次元ハフ空間への適用を実現可能になる。

最小エントロピー・ハフ変換によれば、正しくない投票が取り除かれることにより、クラスおよび姿勢の事後分布におけるモードの数が十分に削減され、精度が改善される。以下の実験は、これらの貢献がハフ変換を扱い易くするのみならず、実例応用に向けた高精度化に寄与することを示す。

ここでは、物理的な被写体およびこれに一致するするＣＡＤモデルの両方が存在する１２の形状クラスで構成される実験データを用いて実験を行った。

図９（ａ）に示すような各被写体の形状を図９（ｂ）に示すような点群の形式で様々な角度から２０回ほどキャプチャーした。クラス・ラベルに加え、すべての形状インスタンスは、関連するグランドトルース姿勢を持つ。これは、まず、関連するＣＡＤモデルを点群に対し手動で大まかに位置合わせし、Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔアルゴリズムを用いてその位置合わせを精緻化する。

テスト点群および学習点セット（クラスおよび姿勢が既知のもの）を所与とし、二段階の処理により入力姿勢投票Ｘを計算する。第一段階においては、記述子と、被写体に対するスケーリング、平行移動、回転とで構成される局所形状特徴が図９（ｃ）に示されるすべての点群について計算される。これは、まず、各ボクセル中心の最近傍点への距離についてガウス（Ｇａｕｓｓｉａｎ）を用いて点群を１２８^３ボクセル・ボリュームに変換することによって行われる。そして、Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎｓオペレータを用い、３Ｄ位置およびスケールにわたってボリューム内で特徴点が局地化され、各特徴点の基準方向が計算され、局所特徴姿勢が得られる。最終的には、特徴点の周囲に規則的に割り振られた３１箇所においてボリュームを（正しいスケールで）単純にサンプリングすることにより、基礎的な３１次元の記述子が計算される。

第二段階においては、記述子間のユークリッド距離について、各テスト特徴を２０個の最近傍学習特徴とマッチングする。これらマッチングの各々は、図９（ｄ）に示すような投票を生成する。図９（ｅ）は位置合わせされたＣＡＤモデルを示す。

図１０に示すような１２個のクラスを評価に用いた。これらは、軸受、ブロック、ブラケット、自動車、歯車の歯、フランジ、取っ手、パイプ、２本のピストンである。

定量的結果を表１および表２ならびに図１１に示す。

確立されている平均値シフト技術から最小エントロピー・ハフと称する上述の技術に移行すると、位置合わせおよび認識の両方について性能の向上が見られる。これは位置合わせ率の著しい改善、平均値シフトを超えて非常に改善された認識率（誤分類の９６％を削減）を示し、未認識は被写体のわずか１．５％（その大部分は自動車クラスのもの）である。

しかしながら、これらはテストの最良検出結果を示しているだけであって、これから事の全てが分かる訳ではない。競合する重みを持つ他の（正しくない）検出がいかほどであったかは上記の結果から分からない。これについて検討すると、図１２は、検出閾値τを変化させて生成した精度−リコール曲線を示す。このテストでは、正しい検出とはクラスと姿勢が同時に正しいことであるとし、１テスト当たり正しい検出は１つのみであるとした。当該曲線は、正しくない投票を除去できる最小エントロピー・ハフ変換では、リコールが増加しても高い精度が維持されることを示している。

計算時間（表１）について、テストされた２つの方法は同程度の速度であった。

正しくない投票を除去することの利点について、図１３（ａ）および１３（ｂ）に示す。標準ハフ変換はどこにどれだけの被写体が存在するかについて多くの曖昧さを示す一方、最小エントロピー・ハフ変換は正しくない投票の「霞」を取り除くことができ、被写体に対応する特異的な６つのモードが存在すること、他にもいくつかのモードが存在するものの、これらはそれほど有意ではないという結果を残し、図１２の結果を裏付けている。

正しくはっきりとしたモードの利点を、３組の接触する被写体を含んだ難しいデータセットの図１３（ａ）および１３（ｂ）と同じ点群を用いる場合について、図１４（ａ）および１４（ｂ）に示す。当該最小エントロピー法では、（浅い角度で横たわるピストンの位置合わせをミスしているものの）検出の上位６つから６つの被写体をすべて求まっている。一方、別の方法では、正しくない被写体を検出するのみならず、正しい被写体について多重のインスタンス（特に歯車の歯の上のピストン）を検出してしまっている。

上記では、画像処理、特に画像内の物理的な被写体の認識および／または位置合わせに本方法を利用することについて集中的に説明した。しかしながら、本発明の実施形態による方法は、データベースを検索する効率的な方法を提供するためにデータオブジェクトを認識し、かつ／または位置合わせすることにも利用することができる。

例えば、２つのデータベースリストＸ＝｛ｘ_ｉ｝およびＹ＝｛ｙ_ｊ｝と、データ構造体Ｚ＝｛ｚ_ｉｊ｝とがあって、ｘ_ｉがｙ_ｊに投票できる場合には、ｚ_ｉｊ＝１とし、そうでなければｚ_ｉｊ＝０とする場合である。

観測されたｘ_ｉのリストを所与として、存在するｙ_ｉの最小リストを推定するために最小エントロピー・ハフ変換を用いる上記方法を利用することができる。これを行うため、各ｘ_ｉを、上述した方法における特徴として扱い、各ｙ_ｊを上述した方法における被写体として扱えばよい。画像処理に関して説明したものと同様の方法で被写体に特徴を投票することができる。そして各投票には投票重みを適用することができ、各特徴は正しい投票を１つだけ持つという仮定を置くことができる。この条件は、適用された投票重みに関して最小のエントロピーを計算し、ハフ変換においてこれらの投票重みを用いることにより強制される。

これの実例は次の通りである。

人が罹患しうる疾病について可能性のある全ての症状のリストをリストＸとする。

人が罹患しうる可能性のある全ての疾病のリストをリストＹとする。Ｚは、どの疾病がどの症状を引き起こしているかを示す。

現実の患者（特徴）から症状（ｘ_ｉ）のリストを所与として、Ｚは、Ｙ（ハフ空間）内の要素への投票リストを生成するために用いられる。最小エントロピー・ハフ変換は、ｘ_ｉ（症状）の原因にふさわしいｙ_ｊの最小リスト（疾病）を生成するために用いられる。

いくつかの実施形態を説明したが、これらの実施形態は例示のみを目的としており、発明の範囲を制限することは意図していない。実際には、本明細書で説明した新規の方法およびシステムは他の様々な形で具体化することができ、また発明の要旨から逸脱しない範囲で、本明細書で説明した方法およびシステムの構造における様々な省略、置換、および変更を行ってもよい。添付の特許請求の範囲およびその均等物は、発明の範囲および要旨に含まれうる構造あるいは改良に及ぶことが意図される。

Claims (15)

1. 各被写体が複数の特徴を呈する複数の被写体を含むデータを分析し、前記データから前記特徴を抽出する工程と、
   前記データから抽出された各特徴は少なくとも一つの予測に一票を投じるものであり、データベースに保存された特徴と前記データから抽出された特徴をマッチングし、被写体の予測を得る工程と、
   ｎを少なくとも一つの整数とし、分析すべき前記被写体がｎ個のパラメータで記述され、各パラメータがハフ空間の次元を定義する、ハフ空間において分析すべき予測を表す工程と、
   他の特徴からの投票に合致しない投票よりも、他の特徴からの投票と合致する投票に対して高く重み付けする制約を与える工程と、
   前記重み付けされた投票を用いて前記ハフ空間における極大値を得る工程と、
   前記データ内における前記被写体を位置判定するため、前記極大値と関連付けられた前記予測を識別する工程とを備え、
   ｙが全被写体予測の空間であるハフ空間Ｈにおける前記被写体の前記予測であるとし、ｉが特徴を表し、ｊがｉ番目の特徴からの一票を表し、「＜ω＝｛ω _ｉ ｝＞」が特徴に帰する重みである場合に「＜Ｘ＝｛ｘ _ｉｊ ｝ _∀ｉ，ｊ ＞」はＨに投ぜられた投票であるとし、「＜θ＝｛θ _ｉｊ ｝ _∀ｉ，ｊ ＞」が一票に帰する重みであるとすると、θに関して「＜ｐ（ｙ｜Ｘ，ω，θ）＞」の情報エントロピーを最小化することにより前記制約が設けられる被写体位置判定方法。
2. 前記θの値が以下の式
   により与えられ、ここで、「＜ｐ（Ａ｜Ｂ）＞」がＡがＢを与えられたとみなされる事後確率であり、「＜ｑ（．）＞」は前記投票が取り出される標本分布を表し、前記ハフ空間は位置「＜Ｙ＝｛ｙ_ｉ｝＞」にてサンプリングされる、請求項１に記載の方法。
3. 前記極大値は、事前に定義された間隔でハフ空間をサンプリングすることにより位置判定される請求項１に記載の方法。
4. θは他の全投票の現在の重みで条件として最小化され、この処理は収束するまで繰り返され、一つの特徴についての前記全投票の重みは以下の式
   により更新される、請求項２に記載の方法。
5. ｋは以下の式
   への置換により与えられる、請求項４に記載の方法。
6. 前記投票の重みθの評価が得られ、そして前記投票の重みは以下の式
   により更新され、
   ここで、ｙは全被写体予測の空間であるハフ空間Ｈにおける前記被写体の前記予測であり、ｉが特徴を表し、ｊがｉ番目の特徴からの投票を表し、「＜ω＝｛ω_ｉ｝＞」が特徴に帰する重みである場合に「＜Ｘ＝｛ｘ_ｉｊ｝_∀ｉ，ｊ＞」はＮ個の特徴によりＨに投ぜられた投票であり、「＜θ＝｛θ_ｉｊ｝_∀ｉ，ｊ＞」が一票に帰する重みであり、特徴ｆについて、
   である、請求項１に記載の方法。
7. 前記極大値は、投票された位置で前記ハフ空間をサンプリングすることにより位置判定される、請求項１に記載の方法。
8. 画像中の被写体識別に関連するよう構成された方法であって、前記分析すべきデータは画像データであり、前記被写体は前記画像中にキャプチャされた物理的な被写体である、請求項１に記載の方法。
9. 前記ハフ空間は少なくとも七つの次元で定義される方法であって、そのうち一つの次元は前記被写体のＩＤを示し、三つの次元は共通座標系に対する前記被写体の平行移動を示し、さらに三つの次元は前記共通座標系に対する前記被写体の回転を示す、請求項８に記載の方法。
10. 前記ハフ空間は以下の式
    より与えられる、請求項１に記載の方法。
11. θは前記投票の位置のみで前記ハフ空間をサンプリングすることにより最適化される、請求項２に記載の方法。
12. 複数の検索条件から検索結果のリストを返すよう構成された方法であって、位置判定すべき被写体は前記検索結果であり、前記被写体に投票する前記特徴が前記検索条件である、請求項１に記載の方法。
13. 前記検索結果は患者が患っているおそれのある疾病に関係し、前記検索条件は前記患者により示される症状である、請求項１２に記載の方法。
14. 請求項１に記載の方法をコンピュータに実行させるよう構成された、コンピュータで読み取り可能な命令を記録した記憶媒体。
15. 被写体を位置判定する装置において、前記装置はプロセッサを具備し、前記プロセッサは
    各被写体が複数の特徴を有する複数の被写体を含むデータを分析し、前記データから前記特徴を抽出する工程と、
    前記データから抽出された各特徴は少なくとも一つの予測に一票を投じるものであり、データベースに保存された特徴と前記データから抽出された特徴をマッチングし、被写体の予測を得る工程と、
    ｎを少なくとも一つの整数とし、分析すべき前記被写体がｎ個のパラメータで記述され、各パラメータがハフ空間の次元を定義する、ハフ空間において分析すべき予測を表す工程と、
    他の特徴からの投票に合致しない投票よりも、他の特徴からの投票と合致する投票に対して高く重み付けする制約を与える工程と、
    前記重み付けされた投票を用いて前記ハフ空間における極大値を得る工程と、
    前記データ内における前記被写体を位置判定するため、前記極大値と関連付けられた前記予測を識別する工程とを実行するよう構成され、
    ｙが全被写体予測の空間であるハフ空間Ｈにおける前記被写体の前記予測であるとし、ｉが特徴を表し、ｊがｉ番目の特徴からの一票を表し、「＜ω＝｛ω _ｉ ｝＞」が特徴に帰する重みである場合に「＜Ｘ＝｛ｘ _ｉｊ ｝ _∀ｉ，ｊ ＞」はＨに投ぜられた投票であるとし、「＜θ＝｛θ _ｉｊ ｝ _∀ｉ，ｊ ＞」が一票に帰する重みであるとすると、θに関して「＜ｐ（ｙ｜Ｘ，ω，θ）＞」の情報エントロピーを最小化することにより前記制約が設けられる、装置。