JP2023549069A - 位置姿勢取得方法及びその装置、電子機器、記憶媒体並びにプログラム - Google Patents

Abstract

本願は、位置姿勢取得方法及びその装置、電子機器、記憶媒体並びにプログラムを開示し、ここで、前記位置姿勢取得方法は、撮影画像における検索線分上に位置するいくつかのサンプリング点を取得することであって、検索線分は、撮影画像内の目標物体の投影輪郭点を通過し、投影輪郭点は、目標物体の投影輪郭に位置することと、サンプリング点の属性情報を取得し、及びサンプリング点の参照重みを取得することであって、属性情報は、サンプリング点が目標物体に属する可能性を表すことと、サンプリング点の属性情報及び参照重みに基づいて、目標関数を構築することと、目標関数に基づいて、撮影画像内の目標物体の位置姿勢パラメータを取得することと、を含む。【選択図】図２

Description

（関連出願への相互参照）
本願は、２０２１年０６月０７日に中国特許局に提出された、出願番号が２０２１１０６２６２０７．Ｘであり、出願人が「ヂェージャン センスタイム テクノロジー デベロップメント カンパニー， リミテッド」及び「山東大学」であり、発明の名称が「位置姿勢取得方法及びその装置、並びに電子機器、記憶媒体」である中国特許出願の優先権を主張し、その内容の全てが引用により本願に組み込まれる。

本願は、コンピュータビジョン技術分野に関し、位置姿勢取得方法及びその装置、電子機器、記憶媒体並びにプログラムに関するがこれらに限定されない。

情報技術の発展に伴い、位置姿勢パラメータは、拡張現実システム、ロボットのハンドアイ校正、インタラクティブゲーム、ヒューマンマシンインタラクションなどの多くの場面でますます広く応用されている。例えば、拡張現実システムでは、位置姿勢パラメータに従って仮想オブジェクトをレンダリングし、ビデオ画像内の現実物体に重ね合わせることで、空間的及び幾何学的な一貫性を備えた、仮想と現実の融合効果を実現できる。

現在、実際の場面では、局所的な遮蔽、類似した色などの干渉要因により、位置姿勢パラメータの精度が深刻な影響を受けることがよくある。上記の問題を鑑みて、位置姿勢パラメータの精度をどのように向上させるかは、解決すべき課題となっている。

本願実施例は、位置姿勢取得方法及びその装置、電子機器、記憶媒体並びにプログラムを提供する。

本願実施例の第１態様では、電子機器適用される位置姿勢取得方法を提供し、前記方法は、
撮影画像における検索線分上に位置するいくつかのサンプリング点を取得することであって、ここで、検索線分は、撮影画像内の目標物体の投影輪郭点を通過し、投影輪郭点は、目標物体の投影輪郭に位置することと、サンプリング点の属性情報を取得し、及びサンプリング点の参照重みを取得することであって、ここで、属性情報は、サンプリング点が目標物体に属する可能性を表すことと、サンプリング点の属性情報及び参照重みに基づいて、目標関数を構築することと、目標関数に基づいて、撮影画像内の目標物体の位置姿勢パラメータを取得することと、を含む。

したがって、撮影画像における検索線分上に位置するいくつかのサンプリング点を取得し、検索線分は、撮影画像内の目標物体の投影輪郭点を通過し、投影輪郭点は、目標物体の投影輪郭に位置し、これに基づき、次に、サンプリング点の属性情報を取得し、及びサンプリング点の参照重みを取得し、属性情報は、サンプリング点が目標物体に属する可能性を表し、それにより、サンプリング点の属性情報及び参照重みに基づいて、目標関数を構築し、目標関数に基づいて、撮影画像内の目標物体の位置姿勢パラメータを取得する。目標関数は、サンプリング点の属性情報及び参照重みの両方に基づいて構築され、ここで、属性情報は、サンプリング点が目標物体に属する可能性を反映でき、参照重みは、位置姿勢パラメータを解く後続のプロセスにおけるサンプリング点の参照価値を反映でき、そのため、サンプリング点の属性情報及び参照重みに基づいて目標関数を構築するときに、位置姿勢求解への干渉要因の影響を軽減し、位置姿勢パラメータの精度を向上させることができる。

１つの実施形態では、サンプリング点の参照重みを取得することは、検索線分上のいくつかのサンプリング点から目標点を検索して、検索結果を取得することであって、ここで、目標点は、目標物体の物体輪郭点を表すために使用されることと、検索結果に基づいて、検索線分上のいくつかのサンプリング点の重み情報をそれぞれ取得することであって、ここで、重み情報は、第１重み及び第２重みのうちの少なくとも１つを含み、第１重みは、目標点の予測確率値と相関があり、予測確率値は、サンプリング点が物体輪郭点である可能性を表し、第２重みは、目標点からサンプリング点までの第１距離と相関があることと、重み情報に基づいて、サンプリング点の参照重みを取得することと、を含む。

したがって、検索線分上のいくつかのサンプリング点から目標点を検索して、検索結果を取得し、目標点は、目標物体の物体輪郭点を表すために使用され、検索結果に基づいて、検索線分上のいくつかのサンプリング点の重み情報をそれぞれ取得し、重み情報は、第１重み及び第２重みのうちの少なくとも１つを含み、第１重みは、目標点の予測確率値と相関があり、予測確率値は、サンプリング点が物体輪郭点である可能性を表し、第２重みは、目標点からサンプリング点までの第１距離と相関があるので、第１重み及び第２重みは、異なる角度からのサンプリング点の参照価値を表すことができ、これに基づき、次に、重み情報に基づいて、サンプリング点の参照重みを取得することにより、位置姿勢パラメータを解く後続のプロセスにおける参照重みの参照価値を向上させることができる。

１つの実施形態では、属性情報は、サンプリング点が目標物体に属する第１確率値を含み、検索線分上のいくつかのサンプリング点から目標点を検索して、検索結果を取得することは、各検索線分について、いくつかのサンプリング点をそれぞれ現在点として使用し、現在点の参照確率差が第１条件を満たす場合、現在点を候補点として使用し、予測コスト値が第２条件を満たす候補点を目標点として選択することを含む。ここで、現在点の参照確率差は、現在点と所定の位置関係を有する２つの前記サンプリング点の第１確率値の差であり、予測コスト値は、第１コスト値及び第２コスト値のうちの少なくとも１つを含み、第１コスト値は、候補点の予測確率値と相関があり、第２コスト値は、候補点から検索線分上の投影輪郭点までの第２距離と相関がある。

したがって、属性情報は、サンプリング点が目標物体に属する第１確率値を含み、各検索線分について、いくつかのサンプリング点をそれぞれ現在点として使用し、現在点の参照確率差が第１条件を満たす場合、現在点を候補点として使用し、及び予測コスト値が第２条件を満たす候補点を目標点として選択し、現在点の参照確率差は、現在点と所定の位置関係を有する２つの前記サンプリング点の第１確率値の差であり、予測コスト値は、第１コスト値及び第２コスト値のうちの少なくとも１つを含み、第１コスト値は、候補点の予測確率値と相関があり、第２コスト値は、候補点から検索線分上の投影輪郭点までの第２距離と相関があり、即ち、第１コスト値及び第２コスト値は、それぞれ、異なる角度からの、物体輪郭点と見なされる候補点のコストを表し、したがって、まず、参照確率差に基づく大まかな選択によって候補点を取得し、次に、予測コスト値に基づく的確な選択によって目標点を取得することにより、目標点の選別効率と精度を向上させることができる。

１つの実施形態では、予測コスト値が第２条件を満たす候補点を目標点として選択する前に、前記位置姿勢取得方法は、予測確率値が第３条件を満たす候補点をフィルタリングすることを更に含む。

したがって、候補点から目標点を的確に選択する前に、まず、予測確率値が第３条件を満たす候補点をフィルタリングし、予測確率値は、サンプリング点が物体輪郭点である可能性を表すので、目標点の選別効率を更に向上させることができる。

１つの実施形態では、所定の位置関係は、現在点に隣接することであり、及び／又は、第２条件は、予測コスト値が最小であることを含み、及び／又は、第１コスト値は、候補点の予測確率値と負の相関があり、第２コスト値は、第２距離と正の相関がある。

したがって、所定の位置関係が、現在点に隣接することであるように設定することにより、各サンプリング点の第１確率値が急激に変化することを正確に評価し、候補点の精度を向上させることができ、第２条件が、最小の予測コスト値を含むことであるように設定することにより、目標点の選択に対する干渉要因の影響を可能な限り軽減し、位置姿勢パラメータの精度を向上させることができ、第１コスト値が候補点の予測確率値と負の相関を持ち、第２コスト値が第２距離と正の相関を持つように設定することにより、第１コスト値及び第２コスト値の精度を向上させることができる。

１つの実施形態では、重み情報は、第１重みを含み、検索結果に基づいて、検索線分上のいくつかのサンプリング点の重み情報をそれぞれ取得することは、検索結果が、目標点が検索されたことを含む場合、目標点の予測確率値に基づいて、サンプリング点の第１重みを決定することであって、ここで、第１重みは、目標点の予測確率値と正の相関があること、及び／又は、検索結果が、目標点が検索されないことを含む場合、第１重みを第１数値として決定することであって、ここで、第１数値は、検索結果が目標点が検索されたことを含む場合の第１重みの下限値であること、を含む。

したがって、重み情報が第１重みを含み、検索結果が、目標点が検索されたことを含む場合、目標点の予測確率値に基づいて、サンプリング点の第１重みを決定し、第１重みは、目標点の予測確率値と正の相関があり、検索結果が、目標点が検索されないことを含む場合、第１重みを第１数値として決定し、第１数値は、検索結果が目標点が検索されたことを含む場合の第１重みの下限値であり、それにより、検索線分全体を次元として使用して、検索線分上の各サンプリング点の第１重みを決定することができ、第１重みの取得効率を向上させることができる。

１つの実施形態では、重み情報は、第２重みを含み、検索結果に基づいて、検索線分上のいくつかのサンプリング点の重み情報をそれぞれ取得することは、検索結果が、目標点が検索されたことを含む場合、サンプリング点に対応する第１距離に基づいて、サンプリング点の第２重みを決定することであって、ここで、第２重みは、第１距離と負の相関があること、及び／又は、検索結果が、目標点が検索されないことを含む場合、第２重みを第２数値として決定することであって、ここで、第２数値は、検索結果が目標点が検索されないことを含む場合の第２重みの上限値であること、を含む。

したがって、重み情報が第２重みを含み、検索結果が、目標点が検索されたことを含む場合、サンプリング点に対応する第１距離に基づいて、サンプリング点の第２重みを決定し、第２重みは、第１距離と負の相関があり、検索結果が、目標点が検索されないことを含む場合、第２重みを第２数値として決定し、第２数値は、検索結果が目標点が検索されないことを含む場合の第２重みの上限値であり、それにより、検索線分全体を次元として使用して、検索線分上の各サンプリング点の第２重みを決定することができ、第２重みの取得効率を向上させることができる。

１つの実施形態では、重み情報は、第１重み及び第２重みを含み、第１重み及び第２重みの両方は、参照重みと正の相関がある。

したがって、重み情報が、第１重み及び第２重みを含み、第１重み及び第２重みの両方が、参照重みと正の相関を持つように設定することにより、第１重み及び第２重みの２つの異なる次元から、位置姿勢パラメータを解く後続のプロセスにおけるサンプリング点の参照価値を表すことができ、参照重み自体の参照価値を向上させることができる。

１つの実施形態では、属性情報は、サンプリング点が前記目標物体に属する第１確率値と第１信頼性、及びサンプリング点が目標物体に属しない第２確率値と第２信頼性を含み、サンプリング点の属性情報及び参照重みに基づいて、目標関数を構築することは、第１信頼性と第１確率値との第１の積、及び第２信頼性と第２確率値との第２の積を取得し、第１の積と第２の積の合計に基づいて、サンプリング点の結合確率（Ｊｏｉｎｔ Ｐｒｏｂａｂｉｌｉｔｙ）を取得することと、各サンプリング点の参照重みによる結合確率への重み付け結果に基づいて、目標関数を取得することと、を含む。

したがって、属性情報は、サンプリング点が前記目標物体に属する第１確率値と第１信頼性、及びサンプリング点が目標物体に属しない第２確率値と第２信頼性を含み、これに基づき、第１信頼性と第１確率値との第１の積、及び第２信頼性と第２確率値との第２の積を取得し、第１の積と第２の積の合計に基づいて、サンプリング点の結合確率を取得し、それにより、サンプリング点が目標物体に属する角度及びサンプリング点が目標物体に属しない角度から、サンプリング点の結合確率を表すことができ、各サンプリング点の参照重みによる結合確率への重み付け結果に基づいて、目標関数を構築することにより、目標関数の精度を向上させ、参照位置姿勢の精度を向上させることができる。

１つの実施形態では、第１信頼性は、第２信頼性と負の相関関係を有し、サンプリング点の第１信頼性は、対応する投影輪郭点からサンプリング点までの有向ユークリッド距離と負の相関関係を有し、対応する投影輪郭点とサンプリング点は、同じ検索線分上に位置する。

したがって、第１信頼性は、第２信頼性と負の相関関係を有し、サンプリング点の第１信頼性は、対応する投影輪郭点からサンプリング点までの有向ユークリッド距離と負の相関関係を有し、対応する投影輪郭点とサンプリング点は、同じ検索線分上に位置し、即ち、有向ユークリッド距離が小さいほど、サンプリング点が目標物体に属する第１信頼性が高くなり、サンプリング点が目標物体に属しない第２信頼性が低くなるので、局所的な遮蔽などの干渉要因の影響を可能な限り軽減することができる。

１つの実施形態では、撮影画像は、投影輪郭に基づいて分割された前景領域及び背景領域を含み、第１信頼性と第１確率値との第１の積、及び第２信頼性と第２確率値との第２の積を取得する前に、前記位置姿勢取得方法は、サンプリング点の有向ユークリッド距離が第１距離値より大きく、且つサンプリング点が前景領域に属する場合、サンプリング点をフィルタリングすること、及び／又は、サンプリング点の有向ユークリッド距離が第２距離値より小さく、且つサンプリング点が背景領域に属する場合、サンプリング点をフィルタリングすること、を更に含む。

したがって、撮影画像は、投影輪郭に基づいて分割された前景領域及び背景領域を含み、結合確率を計算する前に、まず、第１距離値より大きい有向ユークリッド距離を有し且つ前景領域に属するサンプリング点を検出し、それを干渉点と見なしてフィルタリングすることにより、後続の位置姿勢パラメータを解くことに対する干渉点の影響を可能な限り減らすことができ、まず、第２距離値より小さい有向ユークリッド距離を有し且つ背景領域に属するサンプリング点を検出し、それを干渉点と見なしてフィルタリングすることにより、後続の位置姿勢パラメータを解くことに対する干渉点の影響を可能な限り軽減することができる。

１つの実施形態では、投影輪郭は、目標物体の参照位置姿勢を使用して投影することによって取得されたものであり、撮影画像における検索線分上に位置するいくつかのサンプリング点を取得する前に、前記位置姿勢取得方法は、撮影画像をダウンサンプリングして、いくつかの解像度のピラミッド画像を取得することと、小から大への解像度に従って、ピラミッド画像を現在の撮影画像として順次選択し、及び現在の撮影画像に対して、撮影画像における検索線分上に位置するいくつかのサンプリング点を取得するステップ以降を実行することと、を含み、ここで、今回の実行で採用された参照位置姿勢は、前回の実行で取得された位置姿勢パラメータであり、最後の実行で取得された位置姿勢パラメータは、撮影画像内の目標物体の最終的な位置姿勢パラメータとして使用される。

したがって、投影輪郭は、目標物体の参照位置姿勢を使用して投影することによって取得されたものであり、それにより、投影サンプリングの前に、まず、撮影画像をダウンサンプリングして、いくつかの解像度のピラミッド画像を取得し、小から大への解像度に従って、ピラミッド画像を現在の撮影画像として順次選択し、及び現在の撮影画像に対して、上記の撮影画像における検索線分上に位置するいくつかのサンプリング点を取得するステップ以降を実行し、今回の実行で採用された参照位置姿勢は、前回の実行で取得された位置姿勢パラメータであり、最後の実行で取得された位置姿勢パラメータは、撮影画像内の目標物体の最終的な位置姿勢パラメータとして使用され、それにより、位置姿勢パラメータの取得プロセスにおいて、大まかな位置姿勢推定から的確な位置姿勢推定への順に位置姿勢推定を実行することができ、位置姿勢パラメータの取得効率と精度を更に向上させることができる。

１つの実施形態では、投影輪郭は、目標物体の参照位置姿勢を使用して投影することによって取得されたものであり、目標関数に基づいて、撮影画像内の目標物体の位置姿勢パラメータを取得することは、目標関数を解いて、参照位置姿勢の更新パラメータを取得することと、更新パラメータを使用して参照位置姿勢を最適化して、位置姿勢パラメータを取得することと、を含む。

したがって、投影輪郭は、目標物体の参照位置姿勢を使用して投影することによって取得されたものであり、参照位置姿勢は、参照画像内の目標物体の位置姿勢パラメータであり、参照画像は、撮影画像の前に撮影されたものであり、目標関数を解いて、参照位置姿勢の更新パラメータを取得し、及び更新パラメータを使用して参照位置姿勢を最適化して、位置姿勢パラメータを取得することにより、目標物体の撮影プロセスにおいて、位置姿勢パラメータを正確且つ継続的に追跡することができる。

本願実施例の第２態様では、電子機器に適用される位置姿勢取得装置を提供し、前記装置は、
投影サンプリングモジュール、情報抽出モジュール、関数構築モジュール、及び位置姿勢求解モジュールを備え、前記投影サンプリングモジュールは、撮影画像における検索線分上に位置するいくつかのサンプリング点を取得するように構成され、ここで、検索線分は、撮影画像内の目標物体の投影輪郭点を通過し、投影輪郭点は、目標物体の投影輪郭に位置し、前記情報抽出モジュールは、サンプリング点の属性情報を取得し、及びサンプリング点の参照重みを取得するように構成され、ここで、属性情報は、サンプリング点が目標物体に属する可能性を表し、前記関数構築モジュールは、サンプリング点の属性情報及び参照重みに基づいて、目標関数を構築するように構成され、前記位置姿勢求解モジュールは、目標関数に基づいて、撮影画像内の目標物体の位置姿勢パラメータを取得するように構成される。

本願実施例の第３態様では、電子機器を提供し、前記電子機器は、相互に結合されているメモリと、プロセッサと、を備え、前記プロセッサは、前記メモリに記憶されたプログラム命令を実行することにより、上記の第１態様における位置姿勢取得方法を実行するように構成される。

本願実施例の第４態様では、プログラム命令が記憶されたコンピュータ可読記憶媒体を提供し、前記ログラム命令がプロセッサに、上記の第１態様における位置姿勢取得方法を実行させる。

本願実施例の第５態様では、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、上記の位置姿勢取得方法のいずれかを実行させる。

上記の技術案では、撮影画像における検索線分上に位置するいくつかのサンプリング点を取得し、検索線分は、撮影画像内の目標物体の投影輪郭点を通過し、投影輪郭点は、目標物体の投影輪郭に位置し、これに基づき、次に、サンプリング点の属性情報を取得し、及びサンプリング点の参照重みを取得し、属性情報は、サンプリング点が目標物体に属する可能性を表し、それにより、サンプリング点の属性情報及び参照重みに基づいて、目標関数を構築し、目標関数に基づいて、撮影画像内の目標物体の位置姿勢パラメータを取得する。目標関数は、サンプリング点の属性情報及び参照重みの両方に基づいて構築され、ここで、属性情報は、サンプリング点が目標物体に属する可能性を反映でき、参照重みは、位置姿勢パラメータを解く後続のプロセスにおけるサンプリング点の参照価値を反映でき、そのため、サンプリング点の属性情報及び参照重みに基づいて目標関数を構築するときに、位置姿勢求解への干渉要因の影響を軽減し、位置姿勢パラメータの精度を向上させることができる。

上記の一般的な説明及び後述する詳細な説明は、例示及び説明に過ぎず、本発明の実施例を限定するものではないことを理解されたい。本発明の実施例の他の特徴及び態様は、図面を参照した例示的な実施例の以下の詳細な説明により明らかになる。

本願に係る位置姿勢取得方法の１つの実施例のフローチャートである。 輪郭マスクの１つの実施例の概略図である。 投影輪郭及び検索線分の１つの実施例の概略図である。 撮影画像の１つの実施例の概略図である。 マスク画像の別の実施例の概略図である。 検索線分の１つの実施例の概略図である。 撮影画像の別の実施例の概略図である。 レイアウト領域の１つの実施例の概略図である。 局所領域の別の実施例の概略図である。 図１におけるステップＳ１２の１つの実施例のフローチャートである。 図３における検索線分のクラスタ画像を示す図である。 図３における検索線分上の各サンプリング点の第１確率値のクラスタ画像を示す図である。 本願における位置姿勢取得方法の別の実施例のフローチャートである。 本願における位置姿勢取得装置の１つの実施例のフレームワークの概略図である。 本願における電子機器の１つの実施例のフレームワークの概略図である。 本願におけるコンピュータ可読記憶媒体の１つの実施例のフレームワークの概略図である。

ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本発明と一致する実施例を示すものであり、本明細書とともに本発明の技術的解決策を説明するために使用される。

以下では、図面を参照して、本願の実施例における解決策を詳細に説明する。

以下の説明では、本願を完全に理解させるために、特定のシステム構造、インターフェース、及び技術などの具体的な詳細が与えられるが、これらの詳細は、本願を説明するためのものに過ぎず、本願を限定するためのものではない。

本明細書における「システム」及び「ネットワーク」という用語は、本明細書で常に互換可能に使用される。本明細書における「及び／又は」という用語は、単に関連対象の関連関係を説明するためのものであり、３つの関係が存在し得ることを表し、例えば、Ａ及び／又はＢは、Ａのみが存在する場合、ＡとＢの両方が存在する場合、Ｂのみが存在する場合の３つの場合を表すことができる。更に、本明細書における記号「／」は、通常、関連付けられた対象間の関係が、「又は」という関係にあることを表す。更に、本明細書における「複数」という用語は、２つ以上であることを表す。

本願実施例によって提供される位置姿勢取得方法は、拡張現実システムに適用され得る。拡張現実システムでは、カメラに対する現実物体の位置姿勢を正確に推定する必要があり、これにより、位置姿勢パラメータに基づいて仮想物体を正確にレンダリングし、ビデオ内の現実物体に重ね合わせて、空間的及び幾何学的な一貫性を有する仮想現実の融合効果を実現することができる。

しかし、実際の応用では、複雑な環境においては、局所的な遮蔽や類似した色が存在し、現実物体の追跡偏移や追跡失敗が発生しやすく、仮想物体と現実物体との突合せに偏移が生じる。

上記の技術的問題を解決するために、本願実施例によって提供される位置姿勢取得方法は、局所的に遮蔽されるか類似した色よって干渉される画素点を検出して処理することにより、物体の位置姿勢推定精度を向上させ、仮想と現実の正確な突合せ及び幾何学的に一貫した仮想と現実の融合効果を実現する。

以下では、本願実施例によって提供される位置姿勢取得方法について詳細に説明する。

図１を参照すると、図１は、本願に係る位置姿勢取得方法の１つの実施例のフローチャートである。具体的には、以下のステップを含み得る。

ステップＳ１１において、撮影画像における検索線分上に位置するいくつかのサンプリング点を取得する。

本願実施例では、検索線分は、撮影画像内の目標物体の投影輪郭点を通過し、投影輪郭点は、目標物体の投影輪郭に位置する。

１つの実施場面では、投影輪郭は、目標物体の参照位置姿勢を使用して投影することによって取得されたものであり、参照位置姿勢は、参照画像内の目標物体の位置姿勢パラメータであり、参照画像は、撮影画像の前に撮影されたものである。例えば、現実場面では、目標物体のビデオデータを撮影することができ、ビデオデータは、複数のフレームの画像を含み得、その中のｔ－１番目のフレームの画像の場合、本願実施例におけるステップによってｔ－１番目のフレームの画像内の目標物体の位置姿勢パラメータ
を取得することができ、その中のｔ番目のフレームの画像内の目標物体の位置姿勢パラメータを取得するとき、
を参照位置姿勢として使用することができ、本願実施例におけるステップによってｔ番目のフレームの画像内の目標物体の位置姿勢パラメータ
を取得することができ、このように類推することができ、ここでは繰り返して説明しない。

１つの実施場面では、投影の利便性を向上させるために、目標物体に対して３次元モデリングを事前に実行して、目標物体の３次元モデルを取得することができる。

３次元モデルは、いくつかの頂点と、頂点連結するエッジとを含み得ることを理解されたい。３次元モデリングの具体的なプロセスについては、３次元モデリングに関連する技術的詳細を参照すればよく、ここでは詳細に説明しない。

１つの実施場面では、説明の便宜上、参照位置姿勢は、
と表記することができ、以下のような４＊４の同次行列として表すことができる。
…（１）

上記の式（１）において、
は特殊ユークリッド群（Ｓｐｅｃｉａｌ Ｅｕｃｌｉｄｅａｎ Ｇｒｏｕｐ）を表し、
は回転パラメータを表し、
は平行移動パラメータを表し、
は
（即ち、特殊な直交群（Ｓｐｅｃｉａｌ Ｏｒｔｈｏｇｏｎａｌ Ｇｒｏｕｐ））であり、
は実行列である。これに基づき、カメラ内部パラメータ
及び上記の参照位置姿勢
を使用して、目標物体上の３次元点
を撮影画像に投影して、３次元点
に対応する撮影画像内の画素点
を取得することができる。

上記の式（２）において、
であり、
は、３次元点
の同次座標を表し、即ち、
であり、３次元点
の通常の座標は
として表す。更に、前述の持続追跡場面では、フレーム間の相対位置姿勢
は、リー代数（Ｌｉｅ ａｌｇｅｂｒａ）を使用して、６次元ツイストベクトル（即ち、ｔｗｉｓｔ ｖｅｃｔｏｒ）で表すことができ、即ち
である。

１つの実施場面では、後続での各画素点の関連属性の決定を容易にするために、目標物体の投影結果に基づいて、輪郭マスクを取得でき、当該輪郭マスク内の各画素点は、撮影画像における同じ位置の画素点にそれぞれ対応する。図２を参照すると、図２は、輪郭マスクの１つの実施例の概略図である。図２に示されるように、目標物体が投影された後、投影輪郭が取得でき、撮影画像は、投影輪郭に基づいて前景領域（即ち、図２の前景領域
）及び背景領域（即ち、図２の背景領域
）に分割される。

１つの実施場面では、投影輪郭上の投影輪郭点
を通過する検索線分
を構築することができる。検索線分は、具体的には、投影輪郭点
での投影輪郭の法線ベクトル
に沿って構築することができる。これに基づき、検索線分上でいくつかのサンプリング点を抽出することができる。例えば、検索線分
上の投影輪郭点
及び投影輪郭点
の両側にそれぞれ位置するＮ個（７個、８個、９個など）の画素点を、検索線分
上のいくつかのサンプリング点（即ち、図２の黒丸）として抽出することができる。

図２に示されたのは、実際の適用プロセスに存在可能性のある投影輪郭に過ぎず、投影輪郭の具体的な行程を限定するものではなく、他の場合でもこのように類推でき、ここでは繰り返して説明しないことを理解されたい。

１つの実施場面では、図３を参照すると、図３は、投影輪郭及び検索線分の１つの実施例の概略図である。図３に示されるように、現実場面では、投影輪郭上の各投影輪郭点に基づいて、複数の検索線分を構築することができる。他の撮影画像の場合でもこのように類推でき、ここでは繰り返して説明しない。

ステップＳ１２において、サンプリング点の属性情報を取得し、及びサンプリング点の参照重みを取得する。

本願実施例では、属性情報は、サンプリング点が目標物体に属する可能性を表す。例えば、属性情報は、サンプリング点が目標物体に属する第１確率値と第１信頼性、及びサンプリング点が目標物体に属しない第２確率値と第２信頼性を含み得る。

上記の第１信頼性は、第１確率値の信頼度を表し、上記の第２信頼性は、第２確率値の信頼度を表すことができることを理解されたい。更に、サンプリング点が目標物体に属する場合、当該サンプリング点は、撮影画像における実際の前景領域に属すると見なすことができ、逆に、サンプリング点が目標物体に属しない場合、当該サンプリング点が撮影画像における実際の背景領域に属すると見なすことができる。

１つの実施場面では、説明の便宜上、検索線分
上のｊ番目のサンプリング点は、
と表記し、サンプリング点
の第１確率値は、
として表記し、サンプリング点
の第２確率値は、
と表記することができる。

第１確率値及び第２確率値は、時間連続ローカルカラーヒストグラムによって決定することができ、第１確率値及び第２確率値の具体的な取得プロセスについては、時間連続ローカルカラーヒストグラムの具体的な技術的詳細を参照することができ、ここでは繰り返して説明しないことを理解されたい。

１つの実施場面では、第１信頼性は、第２信頼性と負の相関関係を有し、即ち、第１信頼性が高いほど、第２信頼性は低くなり、逆に、第１信頼性が低いほど、第２信頼性は高くなる。更に、サンプリング点の第１信頼性は、対応する投影輪郭点からサンプリング点までの有向ユークリッド距離と負の相関関係を有し、対応する投影輪郭点とサンプリング点は、同じ検索線分上に位置する。図２を参照すると、検索線分
を例にとると、当該検索線分
上の特定のサンプリング点の第１信頼性は、当該サンプリング点から検索線分
上の投影輪郭点
までの有向ユークリッド距離と負の相関があり、他の検索線分上の各サンプリング点の場合も、上記と同様な方式で対応する第１信頼性取得することができ、ここでは繰り返して説明しない。

１つの特定の実施場面では、サンプリング点の第１座標、対応する投影輪郭点の第２座標、及び前述の法線ベクトルに基づいて、サンプリング点から対応する投影輪郭点までの有向ユークリッド距離を取得することができる。依然として検索線分
上のｊ番目のサンプリング点
を例にとると、その有向ユークリッド距離
は、以下のように表すことができる。
…（３）

上記の式（３）において、
は、検索線分
上の投影輪郭点を表し、
は、投影輪郭点
での投影輪郭の法線ベクトルの転置を表す。

別の特定の実施場面では、第１信頼性を平滑化するために、平滑で微分可能な階段関数（Ｈｅａｖｉｓｉｄｅ関数など）を採用して有向ユークリッド距離を処理して、第１信頼性を取得することができる。依然として検索線分
上のｊ番目のサンプリング点
を例にとると、その第１信頼性
は、以下のように表すことができる。
…（４）

上記の式（４）において、
は、平滑化係数を表し、
が大きいほど、第１信頼性
は、有向ユークリッド距離
に応じてより激しく変化し、逆に、
が小さいほど、第１信頼性
は、有向ユークリッド距離
に応じてより緩やかに変化する。

更に別の実施場面では、第１信頼性と第２信頼性の合計は、１であり得る。依然として検索線分
上のｊ番目のサンプリング点
を例にとると、サンプリング点
の第１信頼性
を取得した後、
を、サンプリング点
の第２信頼性として使用することができる。

１つの実施場面では、各検索線分について、検索線分上のいくつかのサンプリング点から目標点を検索して、検索結果を取得することができ、目標点は、目標物体の物体輪郭点を表すために使用される。これに基づき、検索結果に基づいて、検索線分上のいくつかのサンプリング点の重み情報をそれぞれ取得でき、重み情報は、第１重み及び第２重みのうちの少なくとも１つを含み、第１重みは、目標点の予測確率値と相関があり、予測確率値は、サンプリング点が物体輪郭点である可能性を表し、第２重みは、目標点からサンプリング点までの第１距離と相関があり、それにより、重み情報に基づいて、サンプリング点の参照重みを取得することができる。

目標点の検索プロセス及び予測確率値の計算プロセスについては、後述の実施例の関連する説明を参照することができ、ここでは繰り返して説明しない。更に、物体輪郭点は、撮影画像における目標物体の実際の輪郭点であり、図２に示されるように、検索線分
上のサンプリング点
も、物体輪郭（即ち、図２の物体輪郭）に位置する場合、当該サンプリング点
も、撮影画像における目標物体の実際の輪郭点である。

１つの特定の実施場面では、重み情報は、第１重みを含み得、検索結果が、目標点が検索されたことを含む場合、目標点の予測確率値に基づいて、サンプリング点の第１重みを決定することができ、第１重みは、目標点の予測確率値と正の相関があり、検索結果が、目標点が検索されないことを含む場合、第１重みを第１数値として決定することができ、第１数値は、検索結果が目標点が検索されたことを含む場合の第１重みの下限値である。依然として検索線分
上のｊ番目のサンプリング点
を例にとると、第１重み
は、以下のように表すことができる。
…（５）

上記の式（５）において、
は、検索線分
が目標点
を検索できることを表し、
は、目標点
の予測確率値、即ち、目標点
が物体輪郭点である可能性を表し、目標点
の予測確率値が大きいほど、目標点
が物体輪郭点である可能性が高くなり、逆に、目標点
の予測確率値が小さいほど、目標点
が物体輪郭点である可能性が低くなる。更に、
は、１つの負の定数を表し、予測確率値に応じて減衰する第１重みの減衰速度を制御するために使用され、具体的には、応用の要件に応じて設定でき、例えば、－１．２５などに設定でき、ここでは限定しない。

式（５）に示されるように、目標点
の予測確率値が１であることは、目標点
が物体輪郭点である可能性が最も高いことを示し、この場合、目標点
は、最大の第１重み（即ち、１）を有し、目標点
の予測確率値が０であることは、目標点
が物体輪郭点である可能性が最も低いことを示し、この場合、目標点
は、最小の第１重み（即ち、
）を有し、当該第１重みは、検索結果が目標点が検索されたことを含む場合の第１重みの下限値である。

目標点
の予測確率値
が小さすぎる場合、当該目標点
が所在する検索線分
は、干渉された状態（局所的に遮蔽された状態、類似した色によって干渉された局所領域内にある状態など）にある可能性が高く、この場合、当該目標点
が所在する検索線分
上の各サンプリング点の第１重みを小さくすることにより、後続の位置姿勢パラメータ取得プロセスにおけるこれらのサンプリング点の参照価値を低くすることができ、これにより、位置姿勢パラメータに対する干渉要因の影響を可能な限り軽減し、位置姿勢パラメータの精度を向上させることができることを理解されたい。

別の特定の実施場面では、重み情報は、第２重みを含み得、検索結果が、目標点が検索されたことを含む場合、サンプリング点に対応する第１距離に基づいて、サンプリング点の第２重みを決定するすることができ、第２重みは、第１距離と負の相関があり、検索結果が、目標点が検索されないことを含む場合、第２重みを第２数値として決定することができ、第２数値は、検索結果が目標点が検索されないことを含む場合の第２重みの上限値である。依然として検索線分
上のｊ番目のサンプリング点
を例にとると、第２重み
は、以下のように表すことができる。
…（６）

上記の式（６）において、
は、検索線分
が目標点
を検索できることを表し、
は、サンプリング点
に対応する第１距離、即ち、目標点
からサンプリング点
までの距離を表す。具体的には、第１距離
は、サンプリング点
の第１座標、目標点
の第３座標、及びサンプリング点
が所在する検索線分
の長さ
（即ち、検索線分

に含まれるサンプリング点の数）に基づいて算出することができ、例えば、
である。

更に、
は、１つの負の定数を表し、第１距離に応じて減衰する第２重みの減衰速度を制御するために使用され、具体的には、応用の要件に応じて設定でき、例えば、－３．５などに設定でき、ここでは限定しない。式（６）に示されるように、サンプリング点
と目標点
が同一のサンプリング点である場合、両者の間の第１距離
は、最小値（即ち、０）に達する。

この場合、目標点
は、最大の第２重み（即ち、１）を有し、サンプリング点
と目標点
が、検索線分
の両端にそれぞれ位置する場合、両者の間の第１距離
は、最大値（即ち、１）に達し、この場合、目標点
は、最小の第２重み（即ち、
）を有する。

サンプリング点
が目標点
からより遠く離れているほど、サンプリング点
は、干渉された状態（複雑な背景によって干渉されたり、類似した色によって干渉されたりなど）になりやすく、この場合、当該サンプリング点
の第２重みを小さくすることにより、後続の位置姿勢パラメータの取得プロセスにおける当該サンプリング点
の参照価値を低くすることができ、これにより、位置姿勢パラメータに対する干渉要因の影響を可能な限り軽減し、位置姿勢パラメータの精度を向上させることができることを理解されたい。

更に別の特定の実施場面では、サンプリング点の重み情報は、第１重み及び第２重みの両方を含み得、この場合、第１重み及び第２重みの取得プロセスは、前述の第１重み及び第２重みの取得方法をそれぞれ参照することができ、ここでは繰り返して説明しない。更に、サンプリング点の重み情報が第１重み及び第２重みの両方を含む場合、第１重み及び第２重みの両者は、参照重みと正の相関がある。

例えば、第１重みと第２重みとの積を参照重みとして使用することができる。依然として検索線分
上のｊ番目のサンプリング点
を例にとると、第１重み
と第２重み
との積を、サンプリング点
の参照重み
として使用することができる。他のサンプリング点の場合も同様であり、ここでは繰り返して説明しない。

ステップＳ１３において、サンプリング点の属性情報及び参照重みに基づいて、目標関数を構築する。

１つの実施場面では、前述のように、サンプリング点の属性情報は、サンプリング点が前記目標物体に属する第１確率値と第１信頼性、及びサンプリング点が目標物体に属しない第２確率値と第２信頼性を含み得、この場合、第１信頼性と第１確率値との第１の積、及び第２信頼性と第２確率値との第２の積を取得し、第１の積及び第２の積に基づいて、サンプリング点の結合確率を取得することができ、これに基づき、次に、各サンプリング点の参照重みによる結合確率への重み付け結果に基づいて、目標関数を取得する。

１つの特定の実施場面では、第１の積と第２の積の合計の対数をとることで、結合確率を取得し、各サンプリング点の参照重みによる結合確率への重み付け結果を合計して、目標関数
を取得する。
…（７）

上記の式（７）において、
は、第１信頼性を表し、
は、第１確率値を表し、
は、第２信頼性を表し、
は、第２確率値を表し、
は、参照重みを表し、具体的な取得プロセスについては、前述の関連する説明を参照することができ、ここでは繰り返して説明しない。更に、
は、すべての検索線分上のサンプリング点の集合を表す。

別の特定の実施場面では、図２を参照すると、撮影画像は、投影輪郭（即ち、図２の投影輪郭）に基づいて分割された前景領域（即ち、図２の前景領域
）及び背景領域（即ち、図２の背景領域
）を含み、目標関数を構築する前に、検索線分上の各サンプリング点を検証することができる。投影輪郭点での法線ベクトルの方向が前景領域から背景領域を向いている場合を例にとると、サンプリング点の有向ユークリッド距離が第１距離値（０など）より大きい場合、当該サンプリング点が背景領域に属すると見なすことができる。

当該サンプリング点が実際に前景領域に属する場合、当該サンプリング点をフィルタリングすることができ、即ち、上記のサンプリング点集合Ｌから当該サンプリング点をフィルタリングすることができ、図２における最下部の検索線分に示すように、当該検索線分の最左端に位置する２つのサンプリング点の有向ユークリッド距離の両方は、第１距離値（０など）より大きいので、これら２つのサンプリング点が背景領域に属すると見なすことができ、これら２つのサンプリング点が実際に前景領域に属すると、これら２つのサンプリング点をフィルタリングすることができる。

同様に、サンプリング点の有向ユークリッド距離が第２距離値（０など）より小さい場合、当該サンプリング点が前景領域に属すると見なすことができ、いくつかのサンプリング点が実際に背景領域に属すると、それをフィルタリングすることができ、即ち、上記のサンプリング点集合Ｌから、背景領域に属するサンプリング点をフィルタリングすることができ、図２における左上隅の検索線分に示すように、当該検索線分の最右端に位置する２つのサンプリング点の有向ユークリッド距離の両方は、第２距離値（０など）より小さいので、これら２つのサンプリング点が前景領域に属すると見なすことができ、これら２のサンプリング点が実際に背景領域に属すると、これら２つのサンプリング点をフィルタリングすることができる。

ステップＳ１４において、目標関数に基づいて、撮影画像内の目標物体の位置姿勢パラメータを取得する。

１つの実施場面では、前述のように、投影輪郭は、目標物体の参照位置姿勢を使用して投影することによって取得されたものであり、参照位置姿勢は、参照画像内の目標物体の位置姿勢パラメータであり、参照画像は、撮影画像の前に撮影されたものであり、この場合、目標関数を解いて、参照位置姿勢の更新パラメータを取得し、更新パラメータを使用して参照位置姿勢を最適化して、撮影画像内の目標物体の位置姿勢パラメータを取得するすることができる。

例えば、参照画像は、撮影画像の直前のフレームの画像であり得、例えば、参照画像は、ビデオデータ内のｔ－１番目のフレームの画像であり得、撮影画像は、ビデオデータ内のｔ番目のフレームの画像であり得、詳細については、前述の関連する説明を参照することができ、ここでは繰り返して説明しない。

１つの特定の実施場面では、非線形アルゴリズムによる目標関数の最小化を容易にするために、目標関数を非線形加重最小二乗問題の標準形式に書き直すことができる。
…（８）
…（９）

上記の式（８）において、
である。これに基づき、ガウスニュートン法で反復することで、最適化の問題を解決ことができ、ヤコビベクトル（Ｊａｃｏｂｉ ｖｅｃｔｏｒ）は、以下のように定義する。
…（１０）
…（１１）
…（１２）

上記の式（１２）において、
は、平滑なディラックのδ関数を表し、第１信頼性
から導出でき、詳細については、前述の式（４）を参照することができる。また、
は、前述の式（２）で導出でき、具体的な導出プロセスについては、ガウスニュートン法の関連する詳細を参照することができ、ここでは繰り返して説明しない。上記のヤコビベクトル及びガウスニュートン法に基づいて、更新パラメータ
を導出できる。
…（１３）

別の特定の実施場面では、上記の更新パラメータ
は、リー代数で表し、参照位置姿勢の最適化を容易にするために、
をユークリッド変換行列
に変換でき、具体的に変換プロセスについては、リー群（Ｌｉｅ ｇｒｏｕｐ）、リー代数の関連する技術的詳細を参照することができ、ここでは繰り返して説明しない。これに基づき、撮影画像内の目標物体の位置姿勢パラメータ
は、以下のように表すことができる。

１つの実施場面では、複数の目標物体が存在する場合、複数の目標物体が互いに遮蔽しない場合、撮影画像における各目標物体の位置姿勢パラメータは、本願実施例におけるステップによってそれぞれ取得することができる。逆に、複数の目標物体が互いに遮蔽される場合、前述のマスク画像
及び深度画像
を使用して、干渉された状態（遮蔽されるなど）にあるサンプリング点をフィルタリングすることができる。

１つの特定の実施場面では、深度画像
は、撮影画像をレンダリングすることによって取得されるものであり得、具体的なレンダリングプロセスについては、ここでは詳細に説明しない。深度画像
は、具体的には、撮影画像の各画素点の深度値を含み得る。

別の特定の実施場面では、撮影画像におけるｋ番目の目標物体の位置姿勢パラメータを取得するプロセスでは、まず、ｋ番目の目標物体に対応する背景領域
内に位置し且つ所在する検索線分の投影輪郭点
に隣接するサンプリング点
を検索することができ、
が別の目標物体のインデクスと等しいかどうか、及びサンプリング点
の深度値
が、当該サンプリング点
が所在する検索線分の投影輪郭点
の深度値
より小さいかどうかを検証し、そうである場合、当該サンプリング点
が所在する検索線分
が干渉された状態（遮蔽されるなど）にあると見なすことができ、この検索線分
上のすべてのサンプリング点をフィルタリングすることができる。

図４ａ～図４ｃを参照すると、ここで、図４ａは、撮影画像の１つの実施例の概略図であり、図４ｂは、マスク画像の別の実施例の概略図であり、図４ｃは、検索線分の１つの実施例の概略図である。

図４ａ～４ｃに示されるように、撮影画像には、アヒルとリスの２つの目標物体が存在し、アヒルはリスによって遮蔽されているので、撮影画像におけるアヒルの位置姿勢パラメータを取得するプロセスでは、遮蔽された投影輪郭近くの検索線分をフィルタリングすることで、位置姿勢パラメータに対する局所的な遮蔽などの干渉要因の悪影響を可能な限り軽減し、位置姿勢パラメータの精度を向上させることができる。

１つの実施場面では、前述のローカルカラーヒストグラムは、物体輪郭を囲む局所領域に基づいて構築して取得されたものであり、また、時間的な連続性を高めるために、各局所領域は、１つのモデル頂点に対応する。しかし、目標物体の３次元モデルに含まれる頂点の数が少ない（５０個未満など）場合、これらの局所領域は、物体輪郭を完全に被覆できないため、上記の第１確率値
及び第２確率値
の精度に影響を与える。

上記の問題を鑑みて、目標物体の３次元モデルに含まれる頂点の数が所定閾値（５０など）より少ない場合、３次元モデルの各辺にいくつかの（４つなど）頂点を追加して、局所領域の数を増やし、それにより、局所領域が物体輪郭をできるだけ被覆できるようにすることができる。

図５ａ～図５ｃを参照すると、ここで、図５ａは、撮影画像の別の実施例の概略図であり、図５ｂは、レイアウト領域の１つの実施例の概略図であり、図５ｃは、局所領域の別の実施例の概略図である。

図５ａ～図５ｃに示されるように、頂点（図中の黒丸で示す）の数が比較的少ない（例えば、図５ｂには４つしかない）場合、局所領域（図中の白丸で示す）は、目標物体の物体輪郭物体輪郭を完全に被覆していなく、この場合、各辺に頂点を追加（８つに追加するなど）することにより、局所領域が物体輪郭を完全に被覆できるようにする。

１つの実施場面では、撮影画像内の目標物体の位置姿勢パラメータは、複数回の反復（７回の反復など）によって取得されるものであり得る。具体的には、最初の反復プロセスでは、参照画像内の目標物体の位置姿勢パラメータを参照位置として使用して、本願実施例におけるステップを実行して、最初の反復における、撮影画像内の目標物体の位置姿勢パラメータを取得し、それを２回目の反復の参照位置姿勢として使用して、本願実施例におけるステップを再度実行して、２回目の反復における、撮影画像内の目標物体の位置姿勢パラメータを取得する。

このように類推すると、ｉ回目の反復時、ｉ－１回目の反復で取得された位置姿勢パラメータを参照位置姿勢として使用して、本願実施例におけるステップを実行して、ｉ回目の反復における、撮影画像内の目標物体の位置姿勢パラメータを取得し、このように最後の反復まで繰り返し、最後の反復における、撮影画像内の目標物体の位置姿勢パラメータを、撮影画像内の目標物体の最終的な位置姿勢パラメータとして直接使用することができる。

上記の技術案では、撮影画像における検索線分上に位置するいくつかのサンプリング点を取得し、検索線分は、撮影画像内の目標物体の投影輪郭点を通過し、投影輪郭点は、目標物体の投影輪郭に位置し、これに基づき、次に、サンプリング点の属性情報を取得し、及びサンプリング点の参照重みを取得し、属性情報は、サンプリング点が目標物体に属する可能性を表し、それにより、サンプリング点の属性情報及び参照重みに基づいて、目標関数を構築し、目標関数に基づいて、撮影画像内の目標物体の位置姿勢パラメータを取得する。

目標関数は、サンプリング点の属性情報及び参照重みの両方に基づいて構築されるので、一方では、属性情報は、サンプリング点が目標物体に属する可能性を示すことができ、他方では、参照重みは、位置姿勢パラメータを解く後続のプロセスにおけるサンプリング点の参照価値を示すことができるので、位置姿勢求解に対する干渉要因の影響を可能な限り軽減することができ、位置姿勢パラメータの精度を向上させることができることを理解されたい。

図６を参照すると、図６は、図１におけるステップＳ１２の１つの実施例のフローチャートである。具体的には、以下のステップを含み得る。

ステップＳ６１において、検索線分上のいくつかのサンプリング点から目標点を検索して、検索結果を取得する。

本願実施例では、目標点は、目標物体の物体輪郭点を表すために使用される。図２を参照すると、依然として検索線分
を例にとると、検索線分
上のサンプリング点
は、物体輪郭点を表すために使用され得、他の場合でも同様であり、ここでは繰り返して説明しない。

１つの実施場面では、各検索線分について、当該検索線分上のいくつかのサンプリング点を、それぞれ現在点として使用でき、現在点の参照確率差が第１条件を満たす場合、現在点を候補点として使用し、予測コスト値が第２条件を満たす候補点を目標点として選択することができる。上記の方式によれば、まず、参照確率差に基づいて大まかな選択を実行し、次に、予測コスト値に基づいて的確な選択を実行することにより、目標点の選別効率及び精度を向上させることができる。

１つの特定の実施場面では、現在点の参照確率差は、現在点と所定の位置関係を有する（現在点に隣接するなど）２つのサンプリング点の第１確率値の差であり得る。異なるサンプリング点の第１確率値にアクセスする利便性を向上させるために、図７ａに示されるように、図３のすべての検索線分を行ごとに積み重ねて、検索線分のクラスタ画像
を構築することができ、及び図７ｂに示されるように、図３のすべての検索線分上の各サンプリング点の第１確率値も行ごとに積み重ねて、第１確率値に関するクラスタ画像
を構築することができる。

前述の実施例で説明したように、検索線分は、２＊Ｎ＋１個のサンプリング点を含み、ここで、中間位置のサンプリング点は、投影輪郭点であり、投影輪郭点の一方の側は、前景領域に対応し、投影輪郭点の他方の側は、背景領域に対応するので、クラスタ画像
の中央の一列は、投影輪郭に対応し、中央の一列の一方の側は、前景領域に対応し、中央の一列の他方の側は、背景領域に対応する。

別の特定の実施場面では、第１条件は、参照確率差が所定閾値より大きいことを含み得、上記のクラスタ画像
を構築して取得した後、所定の畳み込みカーネル（
など）を使用して、クラスタ画像
の行ごとにスライド畳み込みを実行することができ、畳み込み応答が所定閾値
（０．３など）より高いサンプリング点を候補点として使用することができる。

更に別の特定の実施場面では、上記の候補点について、３つの状況が存在し得、即ち、候補点が物体輪郭点であるという状況、候補点が前景干渉点であるという状況、及び候補点が背景干渉点であるという状況が存在し得る。分類精度を向上させるために、検索線分
上のｊ番目のサンプリング点
の場合、背景領域を指す検索線分
の一部からいくつかの連続するサンプリング点を選択して、第１サンプリング点セット
（例えば、
を含み得る）を形成し、前景領域を指す検索線分
の一部からいくつかの連続するサンプリング点を選択して、第２サンプリング点セット
（例えば、
を含み得る）を形成することができる。

したがって、サンプリング点が物体輪郭点である場合、第１サンプリング点セット
は、理論的には背景領域に属し、第２サンプリング点セット
は、理論的には前景領域に属すべきであるので、サンプリング点が物体輪郭点である確率値
は、以下のように表すことができる。
…（１５）

が候補点である場合、
は、候補点が物体輪郭点である予測確率値であることを理解されたい。前述の実施例で説明したように、候補点
を目標点
として使用できる場合、
は、
と表記することができ、即ち、目標点が物体輪郭点である予測確率値であり得る。

同様に、サンプリング点が前景干渉点である場合、第１サンプリング点セット
及び第２サンプリング点セット
は、理論的には、両方とも前景領域に属すべきであるので、サンプリング点が前景干渉点である確率値
は、以下のように表すことができる。
…（１６）

が候補点である場合、
は、候補点が前景干渉点である予測確率値であることを理解されたい。

同様に、サンプリング点が背景干渉点である場合、第１サンプリング点セット
及び第２サンプリング点セット
は、理論的には、両方とも背景領域に属すべきであるので、サンプリング点が背景干渉点である確率値
は、以下のように表すことができる。
…（１７）

が候補点である場合、
は、候補点が背景干渉点である予測確率値であることを理解されたい。

これに基づき、サンプリング点が物体輪郭点である正規化確率値

を更に定義することができる。
…（１８）

が候補点である場合、
は、候補点が物体輪郭点である正規化確率値であることを理解されたい。

更に別の特定の実施場面では、候補点が物体輪郭点である予測確率値
を取得した後、又は、候補点が物体輪郭点である正規化確率値
を取得した後、予測確率値
が第３条件を満たす候補点を更にフィルタリングすることができる。例えば、予測確率値
が前述の確率値
及び確率値
のうちの最大値より小さい候補点をフィルタリングすることができ、即ち、候補点
の場合、
を満たす候補点
をフィルタリングすることができ、又は、前述のように、予測確率値
に基づいて正規化確率値
を取得し、正規化確率値
が所定閾値（０．５など）より小さい候補点をフィルタリングすることができ、ここでは限定しない。

更に別の特定の実施場面では、上記の予測コスト値は、第１コスト値及び第２コスト値のうちの少なくとも１つを含み得、例えば、第１コスト値及び第２コスト値の両方を含んでもよく、第１コスト値のみを含んでもよく、又は、第２コスト値のみを含んでもよい。第１コスト値は、候補点の予測確率値と相関があり得、例えば、第１コスト値は、候補点の予測確率値と負の相関があり得、説明の便宜上、第１コスト値は、
と表記することができ、第１コスト値
は、以下のように表すことができる。
…（１９）

式（１９）に示されるように、候補点
の予測確率値
が大きいほど、該候補点
が目標点である第１コスト値
は小さくなる。

更に、第２コスト値は、候補点から検索線分上の投影輪郭点までの第２距離と相関があり、例えば、第２コスト値は、上記の第２距離と正の相関があり得、説明の便宜上、第２コスト値は、
と表記することができ、第２コスト値
は、以下のように表すことができる。
…（２０）

式（２０）に示されるように、候補点
から検索線分
上の投影輪郭点
までの第２距離
が大きいほど、該候補点
が目標点である第２コスト値
は大きくなる。

予測コスト値が、第１コスト値及び第２コスト値の両方を含む場合、第１コスト値及び第２コスト値に対して重み付け処理を実行して、予測コスト値
として使用できることを理解されたい。
…（２１）

上記の式（２１）において、
は、重み係数を表し、具体的には、実際の応用に応じて設定でき、例えば、０．０１５などに設定でき、ここでは限定しない。上記の第２条件は、具体的には、予測コスト値が最小であることを含み得、即ち、目標物体又はカメラのフレーム間動きが円滑である場合、第２コスト値は、投影輪郭から遠く離れた候補点に追加のペナルティを付与し、目標点として投影輪郭に近い候補点を優先的に選択する。

上記の選別プロセスでは、検索線分
上で目標点が検索されない可能性があり、この場合、当該検索線分
については、
とマークすることで、検索線分
の検索結果が、目標点が検索されないことを含むことを示すことを理解されたい。

ステップＳ６２において、検索結果に基づいて、検索線分上のいくつかのサンプリング点の重み情報をそれぞれ取得する。

本願実施例では、重み情報は、第１重み及び第２重みのうちの少なくとも１つを含み、第１重みは、目標点の予測確率値と相関があり、予測確率値は、サンプリング点が物体輪郭点である可能性を表し、第２重みは、目標点からサンプリング点までの第１距離と相関がある。詳細については、前述の実施例の関連する説明を参照することができ、ここでは繰り返して説明しない。

ステップＳ６３において、重み情報に基づいて、サンプリング点の参照重みを取得する。

詳細については、前述の実施例の関連する説明を参照することができ、ここでは繰り返して説明しない。

上記の技術案では、検索線分上のいくつかのサンプリング点から目標点を検索して、検索結果を取得し、目標点は、目標物体の物体輪郭点を表すために使用され、検索結果に基づいて、検索線分上のいくつかのサンプリング点の重み情報をそれぞれ取得し、重み情報は、第１重み及び第２重みのうちの少なくとも１つを含み、第１重みは、目標点の予測確率値と相関があり、予測確率値は、サンプリング点が物体輪郭点である可能性を表し、第２重みは、目標点からサンプリング点までの第１距離と相関があるので、第１重み及び第２重みは、異なる角度からのサンプリング点の参照価値を表すことができ、これに基づき、次に、重み情報に基づいて、サンプリング点の参照重みを取得することにより、位置姿勢パラメータを解く後続のプロセスにおける参照重みの参照価値を向上させることができる。

図８を参照すると、図８は、本願における位置姿勢取得方法の別の実施例のフローチャートである。具体的には、以下のステップを含み得る。

ステップＳ８０１において、撮影画像をダウンサンプリングして、いくつかの解像度のピラミッド画像を取得する。

例えば、２をダウンサンプリング比として、撮影画像に対してダウンサンプリングを実行して、１／４解像度のピラミッド画像、１／２解像度のピラミッド画像、及び元の解像度のピラミッド画像（即ち、撮影画像自体）を取得することができる。他の場合でも同様であり、ここでは繰り返して説明しない。

ステップＳ８０２において、小から大への解像度に従って、ピラミッド画像を現在の撮影画像として順次選択する。

例えば、１／４解像度のピラミッド画像を現在の撮影画像として選択し、後述のステップを実行して、１／４解像度のピラミッド画像内の目標物体の位置姿勢パラメータを取得し、その後、１／２解像度のピラミッド画像を現在の撮影画像として選択することができ、このように繰り返し、ここでは繰り返して説明しない。

ステップＳ８０３において、現在の撮影画像における検索線分上に位置するいくつかのサンプリング点を取得する。

本発明の実施例では、検索線分は、撮影画像内の目標物体の投影輪郭点を通過し、投影輪郭点は、目標物体の投影輪郭に位置し、投影輪郭は、目標物体の参照位置姿勢を投影することによって取得されたものである。詳細については、前述の実施例の関連する説明を参照することができ、ここでは繰り返して説明しない。

ステップＳ８０４において、サンプリング点の属性情報を取得し、及びサンプリング点の参照重みを取得する。

本発明の実施例では、属性情報は、サンプリング点が目標物体に属する可能性を表す。詳細については、前述の実施例の関連する説明を参照することができ、ここでは繰り返して説明しない。

属性情報は、サンプリング点が目標物体に属する第１確率値と第１信頼性、及びサンプリング点が目標物体に属しない第２確率値と第２信頼性を含み、第１信頼性の計算プロセスについては、前述の実施例における式（４）とその関連する説明を参照することができ、第１信頼性は、式（４）における平滑化係数ｓと負の相関があることを理解されたい。例えば、１／４解像度のピラミッド画像の場合、平滑化係数ｓは、１．２に設定でき、１／２解像度のピラミッド画像の場合、平滑化係数ｓは、０．８に設定でき、元の解像度のピラミッド画像（即ち、撮影画像自体）の場合、平滑化係数ｓは、０．６に設定でき、ここでは限定しない。

ステップＳ８０５において、サンプリング点の属性情報及び参照重みに基づいて、目標関数を構築する。

詳細については、前述の実施例の関連する説明を参照することができ、ここでは繰り返して説明しない。

ステップＳ８０６において、目標関数に基づいて、現在の撮影画像内の目標物体の位置姿勢パラメータを取得する。

詳細については、前述の実施例の関連する説明を参照することができ、ここでは繰り返して説明しない。

前述の実施例で説明したように、撮影画像の場合、複数回の反復によって、撮影画像内の目標物体の位置姿勢パラメータを取得することを理解されたい。同様に、ピラミッド画像の場合、数回の反復により、ピラミッド画像内の目標物体の位置姿勢パラメータを取得でき、ピラミッド画像の解像度が低いほど、反復回数は多くなる。例えば、１／４解像度のピラミッド画像の場合、４回反復することができ、１／２解像度のピラミッド画像の場合、２回反復することができ、元の解像度のピラミッド画像（即ち、撮影画像自体）の場合、１回反復することができる。具体的な反復プロセスについては、前述の実施例の関連する説明を参照することができ、ここでは繰り返して説明しない。

ステップＳ８０７において、現在の撮影画像が最後のフレームのピラミッド画像であるかどうかを判断し、現在の撮影画像が最後のフレームのピラミッド画像でない場合、ステップＳ８０８を実行し、現在の撮影画像が最後のフレームのピラミッド画像である場合、ステップＳ８１０を実行する。

現在の撮影画像が最後のフレームのピラミッド画像である場合、最後のフレームのピラミッド画像内の目標物体の位置姿勢パラメータを、撮影画像内の目標物体の最終的な位置姿勢パラメータとして使用でき、そうでない場合、反復プロセスを続行することができる。

ステップＳ８０８において、今回の実行で取得された位置姿勢パラメータを参照位置姿勢として使用する。

現在の撮影画像が最後のフレームのピラミッド画像でない場合、今回の実行で取得された位置姿勢パラメータを参照位置姿勢として使用し、次のフレームのピラミッド画像に対して反復動作を実行することができる。

ステップＳ８０９において、ステップＳ８０２以降を再度実行する。

即ち、現在の撮影画像が最後のフレームのピラミッド画像でない場合、次のフレームのピラミッド画像に対して反復操作を実行する。

ステップＳ８１０において、今回の実行で取得された位置姿勢パラメータを、撮影画像内の目標物体の最終的な位置姿勢パラメータとして使用する。

現在の撮影画像が最後のフレームのピラミッド画像である場合、反復操作を終了して、撮影画像内の目標物体の最終的な位置姿勢パラメータを取得することができる。

上記の技術案では、投影輪郭は、目標物体の参照位置姿勢を使用して投影することによって取得されたものであり、それにより、投影サンプリングの前に、まず、撮影画像をダウンサンプリングして、いくつかの解像度のピラミッド画像を取得し、小から大への解像度に従って、ピラミッド画像を現在の撮影画像として順次選択し、及び現在の撮影画像に対して上記の撮影画像における検索線分上に位置するいくつかのサンプリング点を取得するステップ以降を実行し、今回の実行で採用された参照位置姿勢は、前回の実行で取得された位置姿勢パラメータであり、最後の実行で取得された位置姿勢パラメータは、撮影画像内の目標物体の最終的な位置姿勢パラメータとして使用され、それにより、位置姿勢パラメータの取得プロセスにおいて、大まかな位置姿勢推定から的確な位置姿勢推定への順に位置姿勢推定を実行することができ、位置姿勢パラメータの取得効率と精度を更に向上させることができる。

図９を参照すると、図９は、本願における位置姿勢取得装置９０の１つの実施例のフレームワークの概略図である。位置姿勢取得装置９０は、電子機器に適用され、投影サンプリングモジュール９１、情報抽出モジュール９２、関数構築モジュール９３、及び位置姿勢求解モジュール９４を備え、前記投影サンプリングモジュール９１は、撮影画像における検索線分上に位置するいくつかのサンプリング点を取得するように構成され、ここで、検索線分は、撮影画像内の目標物体の投影輪郭点を通過し、投影輪郭点は、目標物体の投影輪郭に位置し、前記情報抽出モジュール９２は、サンプリング点の属性情報を取得し、及びサンプリング点の参照重みを取得するように構成され、ここで、属性情報は、サンプリング点が目標物体に属する可能性を表し、前記関数構築モジュール９３は、サンプリング点の属性情報及び参照重みに基づいて、目標関数を構築するように構成され、前記位置姿勢求解モジュール９４は、目標関数に基づいて、撮影画像内の目標物体の位置姿勢パラメータを取得するように構成される。

いくつかの実施例では、情報抽出モジュール９２は、目標点検索サブモジュールと、重み情報取得サブモジュールと、参照重み取得サブモジュールとを備える。前記目標点検索サブモジュールは、検索線分上のいくつかのサンプリング点から目標点を検索して、検索結果を取得するように構成され、ここで、目標点は、目標物体の物体輪郭点を表すために使用される。前記重み情報取得サブモジュールは、検索結果に基づいて、検索線分上のいくつかのサンプリング点の重み情報をそれぞれ取得するように構成され、ここで、重み情報は、第１重み及び第２重みのうちの少なくとも１つを含み、第１重みは、目標点の予測確率値と相関があり、予測確率値は、サンプリング点が物体輪郭点である可能性を表し、第２重みは、目標点からサンプリング点までの第１距離と相関がある。前記参照重み取得サブモジュールは、重み情報に基づいて、サンプリング点の参照重みを取得するように構成される。

いくつかの実施例では、属性情報は、サンプリング点が目標物体に属する第１確率値を含み、目標点検索サブモジュールは、現在点取得ユニットと、候補点取得ユニットと、目標点取得ユニットとを備える。前記現在点取得ユニットは、各検索線分について、いくつかのサンプリング点をそれぞれ現在点として使用するように構成される。前記候補点取得ユニットは、現在点の参照確率差が第１条件を満たす場合、現在点を候補点として使用するように構成される。前記目標点取得ユニットは、予測コスト値が第２条件を満たす候補点を目標点として選択するように構成される。ここで、現在点の参照確率差は、現在点と所定の位置関係を有する２つの前記サンプリング点の第１確率値の差であり、予測コスト値は、第１コスト値及び第２コスト値のうちの少なくとも１つを含み、第１コスト値は、候補点の予測確率値と相関があり、第２コスト値は、候補点から検索線分上の投影輪郭点までの第２距離と相関がある。

いくつかの実施例では、目標点検索サブモジュールは、予測確率値が第３条件を満たす候補点をフィルタリングするように構成される候補点フィルタリングユニットを備える。

いくつかの実施例では、所定の位置関係は、現在点に隣接することであり、及び／又は、第２条件は、予測コスト値が最小であることを含み、及び／又は、第１コスト値は、候補点の予測確率値と負の相関があり、第２コスト値は、第２距離と正の相関がある。

いくつかの実施例では、重み情報は、第１重みを含み、重み情報取得サブモジュールは、第１決定ユニットと、第２決定ユニットとを備える。前記第１決定ユニットは、検索結果が、目標点が検索されたことを含む場合、目標点の予測確率値に基づいて、サンプリング点の第１重みを決定するように構成され、ここで、第１重みは、目標点の予測確率値と正の相関がある。前記第２決定ユニットは、検索結果が、目標点が検索されないことを含む場合、第１重みを第１数値として決定するように構成され、ここで、第１数値は、検索結果が目標点が検索されたことを含む場合の第１重みの下限値である。

いくつかの実施例では、重み情報は、第２重みを含み、重み情報取得サブモジュールは、第３決定ユニットと、第４決定ユニットとを備える。前記第３決定ユニットは、検索結果が、目標点が検索されたことを含む場合、サンプリング点に対応する第１距離に基づいて、サンプリング点の第２重みを決定するように構成され、ここで、第２重みは、第１距離と負の相関がある。前記第４決定ユニットは、検索結果が、目標点が検索されないことを含む場合、第２重みを第２数値として決定するように構成され、ここで、第２数値は、検索結果が目標点が検索されないことを含む場合の第２重みの上限値である。

いくつかの実施例では、重み情報は、第１重み及び第２重みを含み、第１重み及び第２重みの両方は、参照重みと正の相関がある。

いくつかの実施例では、属性情報は、サンプリング点が前記目標物体に属する第１確率値と第１信頼性、及びサンプリング点が目標物体に属しない第２確率値と第２信頼性を含み、関数構築モジュール９３は、結合確率計算サブモジュールと、結合確率重み付けサブモジュールとを備える。前記結合確率計算サブモジュールは、第１信頼性と第１確率値との第１の積、及び第２信頼性と第２確率値との第２の積を取得し、第１の積と第２の積の合計に基づいて、サンプリング点の結合確率を取得するように構成される。前記結合確率重み付けサブモジュールは、各サンプリング点の参照重みによる結合確率への重み付け結果に基づいて、目標関数を取得するように構成される。

いくつかの実施例では、第１信頼性は、第２信頼性と負の相関関係を有し、サンプリング点の第１信頼性は、対応する投影輪郭点からサンプリング点までの有向ユークリッド距離と負の相関関係を有し、対応する投影輪郭点とサンプリング点は、同じ検索線分上に位置する。

いくつかの実施例では、撮影画像は、投影輪郭に基づいて分割された前景領域及び背景領域を含み、関数構築モジュール９３は、第１フィルタリングサブモジュールと、第２フィルタリングサブモジュールとを備える。前記第１フィルタリングサブモジュールは、サンプリング点の有向ユークリッド距離が第１距離値より大きく、且つサンプリング点が前景領域に属する場合、サンプリング点をフィルタリングするように構成される。前記第２フィルタリングサブモジュールは、サンプリング点の有向ユークリッド距離が第２距離値より小さく、且つサンプリング点が背景領域に属する場合、サンプリング点をフィルタリングするように構成される。

いくつかの実施例では、投影輪郭は、目標物体の参照位置姿勢を使用して投影することによって取得されたものであり、位置姿勢取得装置９０は、ダウンサンプリングモジュールと、画像選択モジュールとを備える。前記ダウンサンプリングモジュールは、撮影画像をダウンサンプリングして、いくつかの解像度のピラミッド画像を取得するように構成される。前記画像選択モジュールは、小から大への解像度に従って、ピラミッド画像を現在の撮影画像として順次選択するように構成され、投影サンプリングモジュール９１、情報抽出モジュール９２、関数構築モジュール９３、及び位置姿勢求解モジュール９４は、現在の撮影画像に対して、撮影画像における検索線分上に位置するいくつかのサンプリング点を取得するステップ以降を実行するように構成され、ここで、今回の実行で採用された参照位置姿勢は、前回の実行で取得された位置姿勢パラメータであり、最後の実行で取得された位置姿勢パラメータは、撮影画像内の目標物体の最終的な位置姿勢パラメータとして使用される。

いくつかの実施例では、投影輪郭は、目標物体の参照位置姿勢を使用して投影することによって取得されたものであり、参照位置姿勢は、参照画像内の目標物体の位置姿勢パラメータであり、参照画像は、撮影画像の前に撮影されたものであり、位置姿勢求解モジュール９４は、関数求解サブモジュールと、位置姿勢最適化サブモジュールとを備える。前記関数求解サブモジュールは、目標関数を解いて、参照位置姿勢の更新パラメータを取得するように構成される。前記位置姿勢最適化サブモジュールは、更新パラメータを使用して参照位置姿勢を最適化して、位置姿勢パラメータを取得するように構成される。

図１０を参照すると、図１０は、本願における電子機器１００の１つの実施例のフレームワークの概略図である。電子機器１００は、相互に結合されているメモリ１０１と、プロセッサ１０２と、を備え、プロセッサ１０２は、メモリ１０１に記憶されたプログラムを実行することにより、上記の位置姿勢取得方法の実施例のいずれかのステップを実行するように構成される。１つの特定の実施場面では、電子機器１００は、マイクロコンピュータ、サーバを含み得るが、これらに限定されず、また、電子機器１００は、ノートブックコンピュータ、タブレットコンピュータなどのモバイルデ機器を含み得るが、これらに限定されない。

具体的には、プロセッサ１０２は、それ自体及びメモリ１０１を制御して、上記の位置姿勢取得方法の実施例のいずれかのステップを実行するように構成される。プロセッサ１０２は、ＣＰＵ（中央処理装置：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とも呼ばれる。プロセッサ１０２は、信号処理機能を備えた集積回路チップであり得る。プロセッサ１０２はまた、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポ―ネットなどであってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、又は当該プロセッサは、任意の従来のプロセッサなどであってもよい。更に、プロセッサ１０２は、集積回路チップによって共同で実現することができる。

図１１を参照すると、図１１は、本願におけるコンピュータ可読記憶媒体１１０の１つの実施例のフレームワークの概略図である。コンピュータ可読記憶媒体１１０には、プロセッサ実行可能なプログラム命令１１１が記憶されており、プログラム命令１１１は、上記の位置姿勢取得方法の実施例のいずれかのステップを実現するために使用される。

上記の技術案は、位置姿勢求解に対する干渉要因の影響を可能な限り軽減し、位置姿勢パラメータの精度を向上させることができる。

本願実施例は、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、上記の位置姿勢取得方法の実施例のいずれかを実行させる。

本願で提供されるいくつかの実施例では、開示された方法及び装置は、他の方式で実現できることを理解されたい。例えば、上記で説明された装置の実施形態は例示的なものに過ぎず、例えば、モジュール又はユニットの分割は、論理機能の分割に過ぎず、実際の実現では、他の分割方法があり、例えば、ユニット又はコンポーネントを別のシステムに統合又は集積したり、又は一部の特徴を無視するか実行しないことができる。なお、表示又は議論された相互結合又は直接結合又は通信接続は、いくつかのインターフェースを使用して実現することができ、装置又はユニット間の間接的な結合又は通信接続は、電気的、機械的又は他の形態であり得る。

個別のパーツとして説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示されるパーツは、物理ユニットである場合とそうでない場合があり、１箇所に配置される場合もあれば、ネットワークユニットに分散される場合もある。実際の需要に応じて、その中のユニットの一部又は全部を選択して本実施形態における技術的解決策の目的を達成することができる。

更に、本願の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、又は各ユニットが物理的に別々に存在してもよく、２つ又は２つ以上のユニットが１つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形で実現されてもよく、ソフトウェア機能ユニットの形で実現されてもよい。

統合されたユニットがソフトウェア機能の形で実現され且つ独立した製品として販売又は使用される場合、コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本願の技術的解決策の本質的な部分、即ち、先行技術に貢献のある部分、又は当該技術の解決策の全部又は一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、一台のコンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器などであリ得る）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に、本願の各実施形態における全部又は一部の処理を実行させるためのいくつかの命令を含む。前述した記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。

本願実施例は、位置姿勢取得方法及びその装置、電子機器、記憶媒体並びにプログラムを開示し、ここで、前記位置姿勢取得方法は、撮影画像における検索線分上に位置するいくつかのサンプリング点を取得することであって、検索線分は、撮影画像内の目標物体の投影輪郭点を通過し、投影輪郭点は、目標物体の投影輪郭に位置することと、サンプリング点の属性情報を取得し、及びサンプリング点の参照重みを取得することであって、属性情報は、サンプリング点が目標物体に属する可能性を表すことと、サンプリング点の属性情報及び参照重みに基づいて、目標関数を構築することと、目標関数に基づいて、撮影画像内の目標物体の位置姿勢パラメータを取得することと、を含む。上記の技術案により、位置姿勢パラメータの精度を向上させることができる。

（関連出願への相互参照）
本願は、２０２１年０６月０４日に中国特許局に提出された、出願番号が２０２１１０６２６２０７．Ｘであり、出願人が「ヂェージャン センスタイム テクノロジー デベロップメント カンパニー， リミテッド」及び「山東大学」であり、発明の名称が「位置姿勢取得方法及びその装置、並びに電子機器、記憶媒体」である中国特許出願の優先権を主張し、その内容の全てが引用により本願に組み込まれる。

Claims (17)

1. 電子機器に適用される位置姿勢取得方法であって、
   撮影画像における検索線分上に位置するいくつかのサンプリング点を取得することであって、前記検索線分は、前記撮影画像内の目標物体の投影輪郭点を通過し、前記投影輪郭点は、前記目標物体の投影輪郭に位置することと、
   前記サンプリング点の属性情報を取得し、及び前記サンプリング点の参照重みを取得することであって、前記属性情報は、前記サンプリング点が前記目標物体に属する可能性を表すことと、
   前記サンプリング点の前記属性情報及び前記参照重みに基づいて、目標関数を構築することと、
   前記目標関数に基づいて、前記撮影画像内の前記目標物体の位置姿勢パラメータを取得することと、を含む、位置姿勢取得方法。
2. 前記サンプリング点の参照重みを取得することは、
   前記検索線分上の前記いくつかのサンプリング点から目標点を検索して、検索結果を取得することであって、前記目標点は、前記目標物体の物体輪郭点を表すために使用されることと、
   前記検索結果に基づいて、前記検索線分上の前記いくつかのサンプリング点の重み情報をそれぞれ取得することであって、前記重み情報は、第１重み及び第２重みのうちの少なくとも１つを含み、前記第１重みは、前記目標点の予測確率値と相関があり、前記予測確率値は、前記サンプリング点が前記物体輪郭点である可能性を表し、前記第２重みは、前記目標点から前記サンプリング点までの第１距離と相関があることと、
   前記重み情報に基づいて、前記サンプリング点の参照重みを取得することと、を含む、
   請求項１に記載の位置姿勢取得方法。
3. 前記属性情報は、前記サンプリング点が前記目標物体に属する第１確率値を含み、前記検索線分上の前記いくつかのサンプリング点から目標点を検索して、検索結果を取得することは、
   各前記検索線分について、前記いくつかのサンプリング点をそれぞれ現在点として使用し、前記現在点の参照確率差が第１条件を満たす場合、前記現在点を候補点として使用し、予測コスト値が第２条件を満たす候補点を前記目標点として選択することを含み、
   前記現在点の参照確率差は、前記現在点と所定の位置関係を有する２つの前記サンプリング点の前記第１確率値の差であり、前記予測コスト値は、第１コスト値及び第２コスト値のうちの少なくとも１つを含み、前記第１コスト値は、前記候補点の予測確率値と相関があり、前記第２コスト値は、前記候補点から前記検索線分上の投影輪郭点までの第２距離と相関がある、
   請求項２に記載の位置姿勢取得方法。
4. 前記予測コスト値が第２条件を満たす候補点を前記目標点として選択する前に、前記位置姿勢取得方法は、
   前記予測確率値が第３条件を満たす候補点をフィルタリングすることを更に含む、
   請求項３に記載の位置姿勢取得方法。
5. 前記所定の位置関係は、前記現在点に隣接することであり、
   及び／又は、前記第２条件は、前記予測コスト値が最小であることを含み、
   及び／又は、第１コスト値は、候補点の予測確率値と負の相関があり、前記第２コスト値は、前記第２距離と正の相関がある、
   請求項３に記載の位置姿勢取得方法。
6. 前記重み情報は、前記第１重みを含み、前記検索結果に基づいて、前記検索線分上の前記いくつかのサンプリング点の重み情報をそれぞれ取得することは、
   前記検索結果が、前記目標点が検索されたことを含む場合、前記目標点の予測確率値に基づいて、前記サンプリング点の第１重みを決定することであって、前記第１重みは、前記目標点の予測確率値と正の相関があること、
   及び／又は、前記検索結果が、前記目標点が検索されないことを含む場合、前記第１重みを第１数値として決定することであって、前記第１数値は、前記検索結果が前記目標点が検索されたことを含む場合の前記第１重みの下限値であること、を含む、
   請求項２に記載の位置姿勢取得方法。
7. 前記重み情報は、前記第２重みを含み、前記検索結果に基づいて、前記検索線分上の前記いくつかのサンプリング点の重み情報をそれぞれ取得することは、
   前記検索結果が、前記目標点が検索されたことを含む場合、前記サンプリング点に対応する前記第１距離に基づいて、前記サンプリング点の第２重みを決定することであって、前記第２重みは、前記第１距離と負の相関があること、
   及び／又は、前記検索結果が、前記目標点が検索されないことを含む場合、前記第２重みを第２数値として決定することであって、前記第２数値は、前記検索結果が前記目標点が検索されないことを含む場合の前記第２重みの上限値であること、を含む、
   請求項２に記載の位置姿勢取得方法。
8. 前記重み情報は、第１重み及び第２重みを含み、前記第１重み及び前記第２重みの両方は、前記参照重みと正の相関がある、
   請求項２ないし７のいずれか一項に記載の位置姿勢取得方法。
9. 前記属性情報は、前記サンプリング点が前記目標物体に属する第１確率値と第１信頼性、及び前記サンプリング点が前記目標物体に属しない第２確率値と第２信頼性を含み、前記サンプリング点の前記属性情報及び前記参照重みに基づいて、目標関数を構築することは、
   前記第１信頼性と前記第１確率値との第１の積、及び前記第２信頼性と前記第２確率値との第２の積を取得し、前記第１の積と第２の積の合計に基づいて、前記サンプリング点の結合確率を取得することと、
   各前記サンプリング点の参照重みによる前記結合確率への重み付け結果に基づいて、目標関数を取得することと、を含む、
   請求項１に記載の位置姿勢取得方法。
10. 前記第１信頼性は、前記第２信頼性と負の相関関係を有し、前記サンプリング点の第１信頼性は、対応する前記投影輪郭点から前記サンプリング点までの有向ユークリッド距離と負の相関関係を有し、対応する前記投影輪郭点と前記サンプリング点は、同じ前記検索線分上に位置する、
    請求項９に記載の位置姿勢取得方法。
11. 前記撮影画像は、前記投影輪郭に基づいて分割された前景領域及び背景領域を含み、前記第１信頼性と前記第１確率値との第１の積、及び前記第２信頼性と前記第２確率値との第２の積を取得する前に、前記位置姿勢取得方法は、
    前記サンプリング点の前記有向ユークリッド距離が第１距離値より大きく、且つ前記サンプリング点が前記前景領域に属する場合、前記サンプリング点をフィルタリングすること、
    及び／又は、前記サンプリング点の前記有向ユークリッド距離が第２距離値より小さく、且つ前記サンプリング点が前記背景領域に属する場合、前記サンプリング点をフィルタリングすること、を更に含む、
    請求項１０に記載の位置姿勢取得方法。
12. 前記投影輪郭は、前記目標物体の参照位置姿勢を使用して投影することによって取得されたものであり、前記撮影画像における検索線分上に位置するいくつかのサンプリング点を取得する前に、前記位置姿勢取得方法は、
    前記撮影画像をダウンサンプリングして、いくつかの解像度のピラミッド画像を取得することと、
    小から大への前記解像度に従って、前記ピラミッド画像を現在の前記撮影画像として順次選択し、現在の前記撮影画像に対して、前記撮影画像における検索線分上に位置するいくつかのサンプリング点を取得するステップ以降を実行することと、を含み、今回の実行で採用された前記参照位置姿勢は、前回の実行で取得された前記位置姿勢パラメータであり、最後の実行で取得される前記位置姿勢パラメータは、前記撮影画像内の前記目標物体の最終的な前記位置姿勢パラメータとして使用される、
    請求項１ないし１１のいずれか一項に記載の位置姿勢取得方法。
13. 前記投影輪郭は、前記目標物体の参照位置姿勢を使用して投影することによって取得されたものであり、前記参照位置姿勢は、参照画像内の前記目標物体の位置姿勢パラメータであり、前記参照画像は、前記撮影画像の前に撮影されたものであり、前記目標関数に基づいて、前記撮影画像内の前記目標物体の位置姿勢パラメータを取得することは、
    前記目標関数を解いて、前記参照位置姿勢の更新パラメータを取得することと、
    前記更新パラメータを使用して前記参照位置姿勢を最適化して、前記位置姿勢パラメータを取得することと、を含む、
    請求項１ないし１２のいずれか一項に記載の位置姿勢取得方法。
14. 電子機器に適用される位置姿勢取得装置であって、
    撮影画像における検索線分上に位置するいくつかのサンプリング点を取得するように構成される投影サンプリングモジュールであって、前記検索線分は、前記撮影画像内の目標物体の投影輪郭点を通過し、前記投影輪郭点は、前記目標物体の投影輪郭に位置する、投影サンプリングモジュールと、
    前記サンプリング点の属性情報を取得し、及び前記サンプリング点の参照重みを取得するように構成される情報抽出モジュールであって、前記属性情報は、前記サンプリング点が前記目標物体に属する可能性を表す、情報抽出モジュールと、
    前記サンプリング点の前記属性情報及び前記参照重みに基づいて、目標関数を構築するように構成される関数構築モジュールと、
    前記目標関数に基づいて、前記撮影画像内の前記目標物体の位置姿勢パラメータを取得するように構成される位置姿勢求解モジュールと、を備える、位置姿勢取得装置。
15. 電子機器であって
    相互に結合されているメモリと、プロセッサと、を備え、前記プロセッサは、前記メモリに記憶されたプログラム命令を実行することにより、請求項１ないし１３のいずれか一項に記載の位置姿勢取得方法を実行するように構成される、電子機器。
16. プロセッサに、請求項１ないし１３のいずれか一項に記載の位置姿勢取得方法を実行させるプログラム命令を記憶した、コンピュータ可読記憶媒体。
17. コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、請求項１ないし１３のいずれか一項に記載の位置姿勢取得方法を実行させる、前記コンピュータプログラム。

Images