JP7150074B2 - エッジベースの拡張現実３次元追跡登録方法、装置及び電子機器 - Google Patents

Description

本出願は、コンピュータビジョン処理の分野に関し、特に、エッジベースの拡張現実３次元追跡登録方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体に関する。

３次元物体登録追跡アルゴリズムは、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、英語略称ＡＲ）技術製品における重要なアルゴリズムである。現実中の３次元物体を追跡するには、まず携帯電話、カメラなどの画像収集装置に対する当該３次元物体の初期相対姿勢を決定してもよい。この初期相対姿勢を取得するプロセスを登録と呼ぶ。

関連技術において、通常の登録方法は、２段階で行われる。第１段階は、テンプレートマッチングの方法を用いて、全体図内でターゲット物体を検索して、大まかな姿勢を取得する。第２段階は、第１段階の結果に基づいて姿勢キャリブレーションを行って、正確な姿勢を取得する。ここで、第２ステップによく使われる方法としては、一般的に２つのタイプがあり、第１のタイプは、正確な姿勢を計算するためのエッジベースのマッチングであり、第２のタイプは、正確な姿勢を計算するための深層学習に基づく方法である。

しかし、現在、次のような問題が存在する。上記第１のタイプの方法は、通常、速度が速いが、一部の複雑な環境（例えば、背景の乱れ、遮蔽など）ではロバスト性がなく、見つけたＥｄｇｅｌｅｔ特徴のうち正確にマッチングするものが少ないため、マッチングポイントが無効になりやすく、第２のタイプの方法はロバストであるが、正確な姿勢を計算する速度が比較的遅い。

本出願は、少なくとも関連技術における技術的課題の１つをある程度解決することを目的とする。

このため、本出願の１つ目の目的は、エッジベースの拡張現実３次元追跡登録方法を提供することであり、当該方法は、３次元物体の正確な姿勢を迅速でロバストに計算することを実現でき、且つ、アルゴリズムは計算の複雑さが低く、コンピューティングデバイスのハードウェアに対する要件が低いため、様々な機器でＡＲ３次元物体追跡と表示を行うことができる。

本出願の２つ目の目的は、エッジベースの拡張現実３次元追跡登録装置を提供することである。

本出願の３つ目の目的は、電子機器を提供することである。

本出願の４つ目の目的は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供することである。

本出願の５つ目の目的は、コンピュータプログラムを提供することである。

上記目的を達成するために、本出願の第１態様の実施例にて提供されるエッジベースの拡張現実３次元追跡登録方法は、３次元物体の画像内での初期化姿勢を取得するステップと、初期化姿勢によって、３次元物体の輪郭のＥｄｇｅｌｅｔ特徴を抽出するステップと、抽出されたＥｄｇｅｌｅｔ特徴をグループ分けし、各々のグループを基本単位として、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴に対応するマッチングポイントを見つけ出すために画像内を検索するステップと、全てのグループが見つけ出したマッチングポイントに基づいて、３次元物体の姿勢を計算するステップと、を含む。

本出願の一実施例によれば、前記初期化姿勢によって、前記３次元物体の輪郭のＥｄｇｅｌｅｔ特徴を抽出するステップは、前記初期化姿勢によって、前記３次元物体のモデルを投影して、モデル投影画像を計算するステップと、前記モデル投影画像内のオブジェクトの可視エッジを認識し、可視エッジに沿って規則的な間隔をおく方法でサンプリングポイントを割り当てるステップと、前記サンプリングポイントと、前記サンプリングポイントのモデル線分における法線方向とを前記３次元物体の輪郭のＥｄｇｅｌｅｔ特徴とするステップと、を含む。

本出願の一実施例によれば、抽出されたＥｄｇｅｌｅｔ特徴をグループ分けするステップは、前記３次元物体の輪郭全体の幾何学的構造に基づいて、抽出されたＥｄｇｅｌｅｔ特徴をグループ分けするステップを含み、ここで、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴は、法線方向が一致するか、又は法線方向間の夾角が第１所定範囲内にあり、前記各々のグループはいずれも自分の平均法線ベクトルを有する。

本出願の一実施例によれば、各々のグループを基本単位として、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴に対応するマッチングポイントを見つけ出すために画像内を検索するステップは、各々のグループを基本単位とし、前記各々のグループの平均法線ベクトル方向に沿って、前記各々のグループ内の各Ｅｄｇｅｌｅｔ特徴のマッチングポイントを見つけ出すために画像内を検索するステップを含む。

本出願の一実施例によれば、前記各々のグループの平均法線ベクトル方向に沿って、前記各々のグループ内の各Ｅｄｇｅｌｅｔ特徴のマッチングポイントを見つけ出すために画像内を検索するステップは、前記現在グループの平均法線ベクトル方向に沿って、第２所定範囲内で前記画像内を双方向に検索するステップと、前記現在グループ内の各Ｅｄｇｅｌｅｔ特徴の前記それぞれの検索位置でのマッチングポイントを見つけ出すために、前記現在グループ内の各Ｅｄｇｅｌｅｔ特徴をそれぞれの検索位置でマッチングするステップと、前記それぞれの検索位置から、マッチングポイントが最も多い検索位置を選択して前記現在グループの最適マッチング位置とし、前記最適マッチング位置でのマッチングポイントをＥｄｇｅｌｅｔ特徴に対応するマッチングポイントとするステップと、を含む。

本出願の一実施例によれば、前記現在グループ内の各Ｅｄｇｅｌｅｔ特徴の前記それぞれの検索位置でのマッチングポイントを見つけ出すために、前記現在グループ内の各Ｅｄｇｅｌｅｔ特徴をそれぞれの検索位置でマッチングするステップは、前記現在グループ内の各Ｅｄｇｅｌｅｔ特徴の検索位置で、前記現在グループの平均法線ベクトル方向に沿う勾配値が予め設定された閾値より大きい勾配極値ポイントを見つけ出して候補ポイントとするステップと、前記候補ポイントから、勾配方向と前記現在グループの平均法線ベクトル方向との夾角が最も小さい候補ポイントを選択して前記各Ｅｄｇｅｌｅｔ特徴の前記検索位置でのマッチングポイントとするステップと、を含む。

上記目的を達成するために、本出願の第２態様の実施例にて提供されるエッジベースの拡張現実３次元追跡登録装置は、３次元物体の画像内での初期化姿勢を取得するための初期化姿勢取得モジュールと、前記初期化姿勢によって、前記３次元物体の輪郭のＥｄｇｅｌｅｔ特徴を抽出するための特徴抽出モジュールと、抽出されたＥｄｇｅｌｅｔ特徴をグループ分けするためのグループ分けモジュールと、各々のグループを基本単位として、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴に対応するマッチングポイントを見つけ出すために画像内を検索するためのマッチングポイント検索モジュールと、全てのグループが見つけ出したマッチングポイントに基づいて、前記３次元物体の姿勢を計算するための姿勢計算モジュールと、を含む。

上記目的を達成するために、本出願の第３態様の実施例にて提供される電子機器は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を含み、ここで、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが本出願の第１態様に記載のエッジベースの拡張現実３次元追跡登録方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。

上記目的を達成するために、本出願の第４態様の実施例はコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、前記コンピュータに本出願の第１態様に記載のエッジベースの拡張現実３次元追跡登録方法を実行させるために用いられる。

上記目的を達成するために、本出願の第５態様の実施例はコンピュータプログラムを提供し、前記コンピュータプログラムは、前記コンピュータに本出願の第１態様に記載のエッジベースの拡張現実３次元追跡登録方法を実行させるために用いられる。

上記出願の一実施例は、次のような利点又は有益な効果がある。３次元物体の画像内での初期化姿勢によって、３次元物体の輪郭のＥｄｇｅｌｅｔ特徴を抽出し、抽出されたＥｄｇｅｌｅｔ特徴をグループ分けし、各々のグループを基本単位として、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴に対応するマッチングポイントを見つけ出すために画像内を検索し、全てのグループが見つけ出したマッチングポイントに基づいて、３次元物体の正確な姿勢を計算する。追跡登録プロセス全体において、３次元物体の輪郭のＥｄｇｅｌｅｔ特徴をグループ分けすることにより、各々のグループを基本ユニットとして画像内で検索マッチングを行い、画像内で見つかったＥｄｇｅｌｅｔ特徴の正確なマッチング数を確保し、見つけたマッチングポイントの有効性を保証し、それにより、本出願の追跡登録方法が一部の複雑な環境（例えば、背景の乱れ、遮蔽など）にもロバスト性を有するとともに、計算速度も保証できることにより、３次元物体の正確な姿勢を迅速でロバストに計算することが実現され、アルゴリズム計算の複雑度が低く、コンピューティングデバイスのハードウェアに対する要件が低いため、様々な機器でＡＲ３次元物体追跡表示を行うことができる。従来技術における３次元物体追跡登録アルゴリズムの計算速度とロバスト性が両立できないという問題を解決した。

上記選択可能な方法が有する他の効果を、以下で具体的な実施例を参照しながら説明する。

図面は、本技術案をよりよく理解するために使用され、本出願を限定するものではない。
本出願の一実施例によるエッジベースの拡張現実３次元追跡登録方法のフローチャートである。 本出願の一実施例による各々のグループの平均法線ベクトル方向に沿って画像内を検索して各々のグループ内の各Ｅｄｇｅｌｅｔ特徴のマッチングポイントを見つけ出すフローチャートである。 本出願の一実施例による現在グループ内の各Ｅｄｇｅｌｅｔ特徴の、それぞれの検索位置でのマッチングポイントを見つけ出す構造模式図である。 本出願の一実施例によるエッジベースの拡張現実３次元追跡登録装置の構造模式図である。 本出願の実施例によるエッジベースの拡張現実３次元追跡登録方法の電子機器のブロック図である。

以下、図面を組み合わせて本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

本出願は、エッジベースの拡張現実３次元追跡登録方法、装置、電子機器、及びコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、本出願は、既存技術における３次元物体追跡登録アルゴリズムの計算速度とロバスト性が両立できないという問題を解決した。具体的には、以下、図面を参照しながら本出願の実施例のエッジベースの拡張現実３次元追跡登録方法、装置、電子機器、及びコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体について説明する。

図１は、本出願の一実施例によるエッジベースの拡張現実３次元追跡登録方法のフローチャートである。なお、本出願の実施例のエッジベースの拡張現実３次元追跡登録方法は、本出願の実施例のエッジベースの拡張現実３次元追跡登録装置に適用でき、当該装置は、電子機器に配置できる。ここで、当該電子機器は、ディスプレイを備えた様々な電子機器、例えばスマートフォン、タブレットコンピュータなどの移動端末、或いはＡＲ機器であってもよい。なお、当該電子機器は画像収集装置を有する。

図１に示すように、当該エッジベースの拡張現実３次元追跡登録方法は、Ｓ１１０～Ｓ１４０を含んでもよい。

Ｓ１１０、３次元物体の画像内での初期化姿勢を取得する。

本出願の実施例では、３次元物体が認識されると、当該３次元物体を追跡することができる。当該３次元物体を追跡することが決定されると、先に３次元物体の画像内での初期化姿勢を取得することができる。ここで、初期化姿勢は、３次元物体の画像における大まかな位置及び姿勢として理解できる。

ここで、ＬｉｎｅＭｏｄ（線形関数）アルゴリズムによって３次元物体の画像内での初期化姿勢を取得することができる。

例を挙げると、ＬｉｎｅＭｏｄアルゴリズムに基づいて、画像の勾配情報に３次元物体表面の法線特徴を組み合わせて、テンプレートマッチングの根拠とすることができ、３次元物体の画像内での初期化姿勢を取得することができる。

Ｓ１２０、初期化姿勢によって、３次元物体の輪郭のＥｄｇｅｌｅｔ特徴を抽出する。

本出願の実施例では、３次元物体の画像内での初期化姿勢を取得した後、当該初期化姿勢を介して当該３次元物体のモデルを投影し、モデル投影画像を計算し、続いて、モデル投影画像内のオブジェクトの可視エッジを認識し、可視エッジに沿って規則的な間隔をおく方法でサンプリングポイントを割り当てた後、サンプリングポイントと、サンプリングポイントのモデル線分における法線方向とを、３次元物体の輪郭のＥｄｇｅｌｅｔ特徴（ｍｏｖｉｎｇ ｅｄｇｅ特徴とも呼ばれる）とする。

ここで、投影方法で３次元物体のモデルを投影して、モデル投影画像を計算することができ、ここで、投影方法は、透視投影方法、正射投影方法等を含むが、これらに限定されない。

Ｓ１３０、抽出されたＥｄｇｅｌｅｔ特徴をグループ分けし、各々のグループを基本単位として、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴に対応するマッチングポイントを見つけ出すために画像内を検索する。

つまり、３次元物体の輪郭のＥｄｇｅｌｅｔ特徴を抽出した後、当該３次元物体の輪郭全体の幾何学的構造に基づいて、抽出されたＥｄｇｅｌｅｔ特徴をグループ分けし、さらに、グループ分けに基づいて画像内で検索マッチングを行うことができる。本出願の実施例では、３次元物体の輪郭全体の幾何学的構造に基づき、抽出されたＥｄｇｅｌｅｔ特徴を異なるグループに分けることができ、ここで、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴は、法線方向が一致するか、又は法線方向間の夾角が第１所定範囲内にあり、各々のグループはいずれも独自の平均法線ベクトルを有する。

抽出されたＥｄｇｅｌｅｔ特徴をグループ分けした後、各々のグループを基本単位として、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴のマッチングポイントを見つけ出すために、各々のグループの平均法線ベクトル方向に沿って画像内を検索する。

ここで、３次元物体の輪郭全体の幾何学的構造は、隣接する短辺間の法線ベクトルの夾角、凹凸具合などを含むが、これらに限定されない。

つまり、例えば、隣接する短辺間の法線ベクトルの夾角或いは凹凸具合のような３次元物体の輪郭全体の幾何学的構造に基づいて、抽出されたＥｄｇｅｌｅｔ特徴を異なるグループに分けすることができ、各々のグループ内のＥｄｇｅｌｅｔ特徴の法線方向が一致するか、又は法線方向間の夾角が第１所定範囲（ここで、当該第１所定範囲は、各々のグループ内のＥｄｇｅｌｅｔ特徴の法線方向を基本的に一致させることができる範囲として理解してもよい）内にあり、各々のグループは自分の平均法線ベクトルを有し、各々のグループを基本単位として、各々のグループの平均法線ベクトル方向に沿って画像内を検索して各々のグループ内の各Ｅｄｇｅｌｅｔ特徴のマッチングポイントを見つけ出す。

ここで、本出願の実施例では、当該マッチング方法は以下のとおりであってもよい。平均方向に沿って、一定の範囲内で双方向検索を行い、それぞれの検索位置ではグループ内のＥｄｇｅｌｅｔ特徴を近傍でマッチングして、マッチングポイントがいくつあるかを確認し、最後に、マッチングポイントが最も多い１つの位置をこのグループの最適マッチング位置として選択し、且つ，この位置での各Ｅｄｇｅｌｅｔ特徴のマッチングポイントをそれぞれのマッチングポイントとして決定する。

本出願の一実施例では、図２に示すように、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴のマッチングポイントを見つけ出すために、各々のグループの平均法線ベクトル方向に沿って画像内を検索する前記ことの具体的な実現プロセスは、Ｓ２１０～Ｓ２３０を含む。

Ｓ２１０、現在グループの平均法線ベクトル方向に沿って第２所定範囲内で画像内を双方向に検索する。

つまり、抽出されたＥｄｇｅｌｅｔ特徴を異なるグループに分け、各々のグループは、現在グループの平均法線ベクトル方向に沿って、一定の範囲内で双方向検索を行い、ここで、検索範囲は単位ピクセルである。

Ｓ２２０、現在グループ内の各Ｅｄｇｅｌｅｔ特徴の、それぞれの検索位置でのマッチングポイントを見つけ出すために、現在グループ内の各Ｅｄｇｅｌｅｔ特徴に対してそれぞれの検索位置でマッチングを行う。

本出願の実施例では、現在グループ内の各Ｅｄｇｅｌｅｔ特徴の検索位置で、現在グループの平均法線ベクトル方向に沿う（現在グループの平均法線に沿ったベクトル方向での）勾配値が予め設定された閾値より大きい勾配極値ポイントを見つけ出して候補ポイントとし、続いて、候補ポイントから、勾配方向と現在グループの平均法線ベクトル方向との夾角が最も小さい候補ポイントを選択して各Ｅｄｇｅｌｅｔ特徴の検索位置でのマッチングポイントとする。

ここで、勾配の一般式または勾配の差分式によって、現在グループの平均法線ベクトル方向に沿う勾配値を計算することができる。

つまり、勾配の一般式または勾配の差分式によって、現在グループの平均法線ベクトル方向に沿う勾配値を計算した後、現在グループ内の各Ｅｄｇｅｌｅｔ特徴の検索位置で、勾配図内で法線平均法線ベクトルに沿う勾配値が予め設定された閾値より大きい勾配極値ポイントを見つけ、例えば、あるピクセルポイントの勾配値が十分大きく、且つ法線ベクトル方向の両辺のピクセルの勾配値より大きいと、候補ポイントとし、続いて、候補ポイントから、勾配方向と現在グループの平均法線ベクトルとの夾角（例えば０～９０度）が最も小さい候補ポイントを選択して各Ｅｄｇｅｌｅｔ特徴の検索位置でのマッチングポイントとする。

Ｓ２３０、それぞれの検索位置から、マッチングポイントが最も多い検索位置を選択して現在グループの最適マッチング位置とし、最適マッチング位置でのマッチングポイントをＥｄｇｅｌｅｔ特徴に対応するマッチングポイントとする。

つまり、現在グループ内の各Ｅｄｇｅｌｅｔ特徴の、それぞれの検索位置でのマッチングポイントを見つけた後、それぞれの検索位置から、マッチングポイントが最も多い検索位置を選択して現在グループの最適マッチング位置とし、最適マッチング位置でのマッチングポイントをＥｄｇｅｌｅｔ特徴に対応するマッチングポイントとする。

例を挙げると、図３に示すように、Ｓ１は画像内の正確なエッジ位置であり、Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５は、それぞれ現在グループ内の各Ｅｄｇｅｌｅｔ特徴の検索位置であり、矢印は現在グループの平均法線ベクトル方向であり、各「＋」は各検索位置に対応するグループ内の各短辺の中心位置である。Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５から、現在グループの平均法線ベクトル方向に沿う勾配値が予め設定された閾値より大きい勾配極値ポイントを見つけ出して候補ポイントとし、続いて、候補ポイントから、勾配方向と現在グループの平均法線ベクトル方向との夾角が最も小さい候補ポイントを選択して各Ｅｄｇｅｌｅｔ特徴の検索位置でのマッチングポイントとし、例えば、Ｓ１が正確なエッジ位置であるため、当該現在グループはその平均法線ベクトル方向に沿って、Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５の検索位置で検索してマッチングする場合、検索位置Ｌ３上でＥｄｇｅｌｅｔ特徴にマッチングできるポイントが最も多いことを発見し、この場合、当該検索位置Ｌ３をこのグループの最適マッチング位置とし、且つ、当該検索位置Ｌ３での各Ｅｄｇｅｌｅｔ特徴のマッチングポイントをこれらのＥｄｇｅｌｅｔ特徴のマッチングポイントとすることができる。

Ｓ１４０、全てのグループが見つけ出したマッチングポイントに基づいて、３次元物体の姿勢を計算する。

本出願の実施例では、全てのグループが見つけ出したマッチングポイントに基づいて、ＲＡＮＳＡＣアルゴリズムとＩＲＬＳアルゴリズムとを結合した方法で３次元物体の正確な姿勢を計算することができる。

本出願の実施例によるエッジベースの拡張現実３次元追跡登録方法は、３次元物体の画像内での初期化姿勢を取得でき、初期化姿勢によって、３次元物体の輪郭のＥｄｇｅｌｅｔ特徴を抽出した後、抽出されたＥｄｇｅｌｅｔ特徴をグループ分けし、各々のグループを基本単位として、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴に対応するマッチングポイントを見つけ出すために画像内を検索し、続いて全てのグループが見つけ出したマッチングポイントに基づいて、３次元物体の姿勢を計算する。当該方法は、追跡登録プロセス全体において、３次元物体の輪郭のＥｄｇｅｌｅｔ特徴をグループ分けすることにより、各々のグループを基本ユニットとして画像内で検索マッチングを行い、画像内で見つかったＥｄｇｅｌｅｔ特徴の正確なマッチング数を確保し、見つけたマッチングポイントの有効性を保証し、それにより、本出願の追跡登録方法が一部の複雑な環境（例えば、背景の乱れ、遮蔽など）にもロバスト性を有するとともに、計算速度も保証でき、３次元物体の正確な姿勢を迅速でロバストに計算することが実現され、アルゴリズム計算の複雑度が低く、コンピューティングデバイスのハードウェアに対する要件が低いため、様々な機器でＡＲ３次元物体追跡表示を行うことができる。

上記いくつかの実施例にて提供されるエッジベースの拡張現実３次元追跡登録方法に対応して、本出願の一実施例は、エッジベースの拡張現実３次元追跡登録装置をさらに提供し、本出願の実施例にて提供されるエッジベースの拡張現実３次元追跡登録装置は、上記いくつかの実施例にて提供されるエッジベースの拡張現実３次元追跡登録方法に対応するため、エッジベースの拡張現実３次元追跡登録方法の実施形態は本実施例にて提供されるエッジベースの拡張現実３次元追跡登録装置にも適用でき、本実施例では、詳細な説明を省略する。図４は、本出願の一実施例によるエッジベースの拡張現実３次元追跡登録装置の構造模式図である。

図４に示すように、当該エッジベースの拡張現実３次元追跡登録装置４００は、初期化姿勢取得モジュール４１０、特徴抽出モジュール４２０、グループ分けモジュール４３０、マッチングポイント検索モジュール４４０、及び姿勢計算モジュール４５０を含む。

初期化姿勢取得モジュール４１０は、３次元物体の画像内での初期化姿勢を取得するために用いられる。

特徴抽出モジュール４２０は、前記初期化姿勢によって、前記３次元物体の輪郭のＥｄｇｅｌｅｔ特徴を抽出するために用いられる。一例示として、前記特徴抽出モジュール４２０は、具体的には，前記初期化姿勢によって、前記３次元物体のモデルを投影して、モデル投影画像を計算し、前記モデル投影画像内のオブジェクトの可視エッジを認識し、可視エッジに沿って規則的な間隔をおく方法でサンプリングポイントを割り当て、前記サンプリングポイントと、前記サンプリングポイントのモデル線分における法線方向とを前記３次元物体の輪郭のＥｄｇｅｌｅｔ特徴とするために用いられる。

グループ分けモジュール４３０は、抽出されたＥｄｇｅｌｅｔ特徴をグループ分けするために用いられる。一例示として、前記グループ分けモジュール４３０は、具体的には、前記３次元物体の輪郭全体の幾何学的構造に基づいて、抽出されたＥｄｇｅｌｅｔ特徴をグループ分けするために用いられ、ここで、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴は、法線方向が一致するか、又は法線方向間の夾角が第１所定範囲内にあり、前記各々のグループはいずれも自分の平均法線ベクトルを有する。

マッチングポイント検索モジュール４４０は、各々のグループを基本単位として、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴に対応するマッチングポイントを見つけ出すために画像内を検索するために用いられる。一例示として、前記マッチングポイント検索モジュールは、具体的には、各々のグループを基本単位とし、前記各々のグループの平均法線ベクトル方向に沿って、前記各々のグループ内の各Ｅｄｇｅｌｅｔ特徴のマッチングポイントを見つけ出すために画像内を検索するために用いられる。

本出願の実施例では、前記マッチングポイント検索モジュール４４０は、具体的には、前記現在グループの平均法線ベクトル方向に沿って第２所定範囲内で前記画像内を双方向に検索し、前記現在グループ内の各Ｅｄｇｅｌｅｔ特徴の前記それぞれの検索位置でのマッチングポイントを見つけ出すために、前記現在グループ内の各Ｅｄｇｅｌｅｔ特徴をそれぞれの検索位置でマッチングし、前記それぞれの検索位置から、マッチングポイントが最も多い検索位置を選択して前記現在グループの最適マッチング位置とし、前記最適マッチング位置でのマッチングポイントをＥｄｇｅｌｅｔ特徴に対応するマッチングポイントとするために用いられる。

本出願の実施例では、前記マッチングポイント検索モジュール４４０は、具体的には、前記現在グループ内の各Ｅｄｇｅｌｅｔ特徴の検索位置で、前記現在グループの平均法線ベクトル方向に沿う勾配値が予め設定された閾値より大きい勾配極値ポイントを見つけ出して候補ポイントとし、前記候補ポイントから、勾配方向と前記現在グループの平均法線ベクトル方向との夾角が最も小さい候補ポイントを選択して前記各Ｅｄｇｅｌｅｔ特徴の前記検索位置でのマッチングポイントとするために用いられる。

姿勢計算モジュール４５０は、全てのグループが見つけ出したマッチングポイントに基づいて、前記３次元物体の姿勢を計算するために用いられる。

本出願の実施例によるエッジベースの拡張現実３次元追跡登録装置は、３次元物体の画像内での初期化姿勢を取得でき、初期化姿勢によって、３次元物体の輪郭のＥｄｇｅｌｅｔ特徴を抽出した後、抽出されたＥｄｇｅｌｅｔ特徴をグループ分けし、各々のグループを基本単位として、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴に対応するマッチングポイントを見つけ出すために画像内を検索し、続いて、全てのグループが見つけ出したマッチングポイントに基づいて、３次元物体の姿勢を計算する。これから、追跡登録プロセス全体において、３次元物体の輪郭のＥｄｇｅｌｅｔ特徴をグループ分けすることにより、各々のグループを基本ユニットとして画像内で検索マッチングを行い、画像内で見つかったＥｄｇｅｌｅｔ特徴の正確なマッチング数を確保し、見つけたマッチングポイントの有効性を保証し、それにより、本出願の追跡登録方法が一部の複雑な環境（例えば、背景の乱れ、遮蔽など）にもロバスト性を有するとともに、計算速度も保証でき、３次元物体の正確な姿勢を迅速でロバストに計算することが実現され、アルゴリズム計算の複雑度が低く、コンピューティングデバイスのハードウェアに対する要件が低いため、様々な機器でＡＲ３次元物体追跡表示を行うことができる。

本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体を更に提供する。

図５に示すように、本出願の実施例によるエッジベースの拡張現実３次元追跡登録の方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、他の類似するコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本出願の実現を制限することを意図したものではない。

図５に示すように、当該電子機器は、１つ又は複数のプロセッサ５０１と、メモリ５０２と、高速インターフェース及び低速インターフェースを含む各コンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、電子機器内で実行される命令を処理することができ、当該命令は、外部入力／出力装置（例えば、インターフェースに結合されたディスプレイデバイスなど）にＧＵＩの図形情報をディスプレイするためにメモリ内又はメモリに記憶されている命令を含む。他の実施形態では、必要に応じて、複数のプロセッサ及び／又は複数のバスを、複数のメモリと一緒に使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、一部の必要な操作（例えば、サーバアレイ、１グループのブレードサーバ、又はマルチプロセッサシステムとする）を提供することができる。図５では、１つのプロセッサ５０１を例とする。

メモリ５０２は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、前記少なくとも１つのプロセッサが本出願により提供されるエッジベースの拡張現実３次元追跡登録の方法を実行するように、少なくとも１つのプロセッサによって実行可能な命令が記憶されている。本出願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本出願により提供されるエッジベースの拡張現実３次元追跡登録の方法を実行させるためのコンピュータ命令が記憶されている。

メモリ５０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例におけるエッジベースの拡張現実３次元追跡登録の方法に対応するプログラム命令／モジュール（例えば、図４に示す初期化姿勢取得モジュール４１０、特徴抽出モジュール４２０、グループ分けモジュール４３０、マッチングポイント検索モジュール４４０及び姿勢計算モジュール４５０）のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶する。プロセッサ５０１は、メモリ５０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施例におけるエッジベースの拡張現実３次元追跡登録の方法を実現する。

メモリ５０２は、プログラムストレージエリアとデータストレージエリアとを含むことができ、ここで、プログラムストレージエリアは、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データストレージエリアは、エッジベースの拡張現実３次元追跡登録の電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ５０２は、高速ランダムアクセスメモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ５０２は、プロセッサ５０１に対して遠隔に設定されたメモリを選択的に含むことができ、これらの遠隔メモリは、ネットワークを介してエッジベースの拡張現実３次元追跡登録の電子機器に接続されることができる。上記ネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。

エッジベースの拡張現実３次元追跡登録方法の電子機器は、入力装置５０３と出力装置５０４とをさらに含んでもよい。プロセッサ５０１、メモリ５０２、入力装置５０３、及び出力装置５０４は、バス又は他の方式を介して接続することができ、図５では、バスを介して接続することを例とする。

入力装置５０３は、入力された数字又は文字情報を受信し、エッジベースの拡張現実３次元追跡登録の電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置４０４は、ディスプレイデバイス、補助照明装置（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態で、ディスプレイデバイスは、タッチスクリーンであってもよい。

本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施され、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈することができ、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含むことができ、高レベルのプロセス及び／又は対象指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することができる。本明細書に使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

ユーザとのインタラクションを提供するために、ここで説明されているシステム及び技術をコンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント－サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。

本出願の実施例の技術的解決手段によれば、３次元物体の画像内での初期化姿勢を取得でき、初期化姿勢によって、３次元物体の輪郭のＥｄｇｅｌｅｔ特徴を抽出した後、抽出されたＥｄｇｅｌｅｔ特徴をグループ分けし、各々のグループを基本単位として、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴に対応するマッチングポイントを見つけ出すために画像内を検索し、続いて、全てのグループが見つけ出したマッチングポイントに基づいて、３次元物体の姿勢を計算する。当該方法は、３次元物体の初期化姿勢によって、３次元物体の輪郭のＥｄｇｅｌｅｔ特徴を抽出し、抽出されたＥｄｇｅｌｅｔ特徴をグループ分けし、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴に対応するマッチングポイントを見つけ出すために画像内を検索することができ、３次元物体の正確な姿勢を迅速でロバストに計算することが実現され、アルゴリズム計算の複雑度が低く、コンピューティングデバイスのハードウェアに対する要件が低いため、様々な機器でＡＲ３次元物体追跡表示を行うことができる。

上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができる。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案の所望の結果を実現することができれば、本明細書では限定しない。

上記具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者は、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本出願の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims (13)

1. エッジベースの拡張現実３次元追跡登録方法であって、
   ３次元物体の画像内での初期化姿勢を取得するステップと、
   前記初期化姿勢によって、前記３次元物体の輪郭のＥｄｇｅｌｅｔ特徴を抽出するステップと、
   抽出されたＥｄｇｅｌｅｔ特徴をグループ分けし、各々のグループを基本単位として、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴に対応するマッチングポイントを見つけ出すために画像内を検索するステップと、
   全てのグループが見つけ出したマッチングポイントに基づいて、前記３次元物体の姿勢を計算するステップと、を含み、
   各々のグループを基本単位として、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴に対応するマッチングポイントを見つけ出すために画像内を検索するステップは、
   各々のグループを基本単位とし、前記各々のグループの平均法線ベクトル方向に沿って、前記各々のグループ内の各Ｅｄｇｅｌｅｔ特徴のマッチングポイントを見つけ出すために画像内を検索するステップを含む、
   ことを特徴とするエッジベースの拡張現実３次元追跡登録方法。
2. 前記初期化姿勢によって、前記３次元物体の輪郭のＥｄｇｅｌｅｔ特徴を抽出するステップは、
   前記初期化姿勢によって、前記３次元物体のモデルを投影して、モデル投影画像を計算するステップと、
   前記モデル投影画像内のオブジェクトの可視エッジを認識し、可視エッジに沿って規則的な間隔をおく方法でサンプリングポイントを割り当てるステップと、
   前記サンプリングポイントと、前記サンプリングポイントのモデル線分における法線方向とを前記３次元物体の輪郭のＥｄｇｅｌｅｔ特徴とするステップと、を含む、
   ことを特徴とする請求項１に記載の方法。
3. 抽出されたＥｄｇｅｌｅｔ特徴をグループ分けするステップは、
   前記３次元物体の輪郭全体の幾何学的構造に基づいて、抽出されたＥｄｇｅｌｅｔ特徴をグループ分けするステップを含み、ここで、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴は、法線方向が一致するか、又は法線方向間の夾角が第１所定範囲内にあり、前記各々のグループはいずれも自分の平均法線ベクトルを有する、
   ことを特徴とする請求項１に記載の方法。
4. 各々のグループの平均法線ベクトル方向に沿って、前記各々のグループ内の各Ｅｄｇｅｌｅｔ特徴のマッチングポイントを見つけ出すために画像内を検索するステップは、
   前記現在グループの平均法線ベクトル方向に沿って第２所定範囲内で前記画像内を双方向に検索するステップと、
   前記現在グループ内の各Ｅｄｇｅｌｅｔ特徴の前記それぞれの検索位置でのマッチングポイントを見つけ出すために、前記現在グループ内の各Ｅｄｇｅｌｅｔ特徴をそれぞれの検索位置でマッチングするステップと、
   前記それぞれの検索位置から、マッチングポイントが最も多い検索位置を選択して前記現在グループの最適マッチング位置とし、前記最適マッチング位置でのマッチングポイントをＥｄｇｅｌｅｔ特徴に対応するマッチングポイントとするステップと、を含む、
   ことを特徴とする請求項１に記載の方法。
5. 現在グループ内の各Ｅｄｇｅｌｅｔ特徴の前記それぞれの検索位置でのマッチングポイ
   ントを見つけ出すために、前記現在グループ内の各Ｅｄｇｅｌｅｔ特徴をそれぞれの検索位置でマッチングするステップは、
   前記現在グループ内の各Ｅｄｇｅｌｅｔ特徴の検索位置で、前記現在グループの平均法線ベクトル方向に沿う勾配値が予め設定された閾値より大きい勾配極値ポイントを見つけ出して候補ポイントとするステップと、
   前記候補ポイントから、勾配方向と前記現在グループの平均法線ベクトル方向との夾角が最も小さい候補ポイントを選択して前記各Ｅｄｇｅｌｅｔ特徴の前記検索位置でのマッチングポイントとするステップと、を含む、
   ことを特徴とする請求項４に記載の方法。
6. エッジベースの拡張現実３次元追跡登録装置であって、
   ３次元物体の画像内での初期化姿勢を取得するための初期化姿勢取得モジュールと、
   前記初期化姿勢によって、前記３次元物体の輪郭のＥｄｇｅｌｅｔ特徴を抽出するための特徴抽出モジュールと、
   抽出されたＥｄｇｅｌｅｔ特徴をグループ分けするためのグループ分けモジュールと、
   各々のグループを基本単位として、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴に対応するマッチングポイントを見つけ出すために画像内を検索するためのマッチングポイント検索モジュールと、
   全てのグループが見つけ出したマッチングポイントに基づいて、前記３次元物体の姿勢を計算するための姿勢計算モジュールと、を含み、
   前記マッチングポイント検索モジュールは、具体的には、
   各々のグループを基本単位とし、前記各々のグループの平均法線ベクトル方向に沿って、前記各々のグループ内の各Ｅｄｇｅｌｅｔ特徴のマッチングポイントを見つけ出すために画像内を検索するために用いられる、
   ことを特徴とするエッジベースの拡張現実３次元追跡登録装置。
7. 前記特徴抽出モジュールは、具体的には、
   前記初期化姿勢によって、前記３次元物体のモデルを投影して、モデル投影画像を計算し、
   前記モデル投影画像内のオブジェクトの可視エッジを認識し、可視エッジに沿って規則的な間隔をおく方法でサンプリングポイントを割り当て、
   前記サンプリングポイントと、前記サンプリングポイントのモデル線分における法線方向とを前記３次元物体の輪郭のＥｄｇｅｌｅｔ特徴とするために用いられる、
   ことを特徴とする請求項６に記載の装置。
8. 前記グループ分けモジュールは、具体的には、
   前記３次元物体の輪郭全体の幾何学的構造に基づいて、抽出されたＥｄｇｅｌｅｔ特徴をグループ分けするために用いられ、ここで、各々のグループ内の各Ｅｄｇｅｌｅｔ特徴は、法線方向が一致するか、又は法線方向間の夾角が第１所定範囲内にあり、前記各々のグループはいずれも自分の平均法線ベクトルを有する、
   ことを特徴とする請求項６に記載の装置。
9. 前記マッチングポイント検索モジュールは、具体的には、
   前記現在グループの平均法線ベクトル方向に沿って第２所定範囲内で前記画像内を双方向に検索し、
   前記現在グループ内の各Ｅｄｇｅｌｅｔ特徴の前記それぞれの検索位置でのマッチングポイントを見つけ出すために、前記現在グループ内の各Ｅｄｇｅｌｅｔ特徴をそれぞれの検索位置でマッチングし、
   前記それぞれの検索位置から、マッチングポイントが最も多い検索位置を選択して前記現在グループの最適マッチング位置とし、前記最適マッチング位置でのマッチングポイントをＥｄｇｅｌｅｔ特徴に対応するマッチングポイントとするために用いられる、
   ことを特徴とする請求項６に記載の装置。
10. 前記マッチングポイント検索モジュールは、具体的には、
    前記現在グループ内の各Ｅｄｇｅｌｅｔ特徴の検索位置で、前記現在グループの平均法線ベクトル方向に沿う勾配値が予め設定された閾値より大きい勾配極値ポイントを見つけ出して候補ポイントとし、
    前記候補ポイントから、勾配方向と前記現在グループの平均法線ベクトル方向との夾角が最も小さい候補ポイントを選択して前記各Ｅｄｇｅｌｅｔ特徴の前記検索位置でのマッチングポイントとするために用いられる、
    ことを特徴とする請求項９に記載の装置。
11. 電子機器であって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を含み、ここで、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが請求項１～５のいずれかに記載のエッジベースの拡張現実３次元追跡登録方法を実行できるように、前記少なくとも１つのプロセッサによって実行される、
    ことを特徴とする電子機器。
12. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、前記コンピュータに請求項１～５のいずれかに記載のエッジベースの拡張現実３次元追跡登録方法を実行させるために用いられる、
    ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
13. コンピュータ上で動作しているときに、請求項１～５のいずれかに記載のエッジベースの拡張現実３次元追跡登録方法を前記コンピュータに実行させる、
    ことを特徴とするコンピュータプログラム。
    

Images