JP7043583B2

JP7043583B2 - 拡張現実画像を生成するための方法

Info

Publication number: JP7043583B2
Application number: JP2020219377A
Authority: JP
Inventors: レミドリアンコート; サイモンスタンナス
Original assignee: Square Enix Co Ltd
Current assignee: Square Enix Co Ltd
Priority date: 2020-01-16
Filing date: 2020-12-28
Publication date: 2022-03-29
Anticipated expiration: 2040-12-28
Also published as: US11315346B2; CN113140045A; US20210224538A1; JP2021114286A

Description

本発明は、拡張現実画像を生成するための方法、方法を実装するプログラム、ストレージデバイス、および装置に関する。

モバイル拡張現実
近年、ＡｎｄｒｏｉｄのＡＲＣｏｒｅおよびｉＯＳのＡＲＫｉｔのリリースにより、モバイル拡張現実が広く利用可能になっている。これにより、ほとんどのユーザがすでに携帯しているハードウェアのみを使用して、現実世界に基づくＡＲゲームおよび他のエクスペリエンスを開発することが可能になった。しかしながら、現在のＡＲプラットフォームがそれらの環境を理解するための機能は非常に制限されており、仮想オブジェクトが正しく遮られず、現実世界との整合性が失われるなどの問題につながる。

この問題を回避する１つの方法は、以前の環境モデルを使用することである。そのようなモデルをもつと、動的な仮想オブジェクトが現実世界の表面と正しく相互作用し、仮想キャラクタが環境中を知的に動くことが可能になる。

そのようなモデルは、商業的なプロモーション、テーマパーク、および史跡を含む、場所固有のエクスペリエンスには現実的である。

そのような現実世界のモデルをもつと、アーティストおよびデザイナが環境の具体的な形状を活用するエクスペリエンスを作成することも可能になる。

拡張建物
建物は、一般的に、それらをＡＲエクスペリエンスに適した環境にするいくつかの特性を共有する：それらの形状は静的かつシンプルであり、しばしば、共通の垂直軸に合わせて長方形の特徴が配置された立方体である。加えて、それらが垂直であり規模が大きいために、多くの建物は、他の人々によって最小限遮蔽されると同時に多数のユーザが見ることができる。この規模の大きさは、環境内でのデバイスの姿勢を登録することにＧＰＳデータが（コンパス方位およびＩＭＵデータと組み合わせて）役立つことも意味する。しかしながら、ＧＰＳデータとコンパスデータはどちらも不正確さに悩まされる。ＧＰＳは、特に、衛星信号の遮断とマルチパス誤差により、都市環境に弱点がある。この誤差が引き起こす視覚的な位置ずれはかなり大きいので、それらのデータのみに依存する以前の作業では、ユーザが事前定義された視点からエクスペリエンスを見て、次いで、手動でヨーの位置合わせを調整する必要があった。

カメラ姿勢登録
いくつかの以前の作業は、様々なコンピュータビジョン技法を使用して、より正確なカメラ姿勢を導出している。Ｆｏｎｄら（２０１７年）は、ニューラルネットワークを使用して、ファサードデータベースと照合することができる候補ファサード領域に関する様々な手がかりを生成するシステムを開発した。しかしながら、彼らは、小さな変換に対する畳み込みニューラルネットワーク（ＣＮＮ）記述子の不変性のために、自分達の方法が正確な姿勢推定には適していないことを認めた。

本明細書に開示される発明の目的は、現実世界との位置合わせから逸脱しない拡張現実画像を生成するための方法を提供することである。
本明細書に開示される発明の１つは、拡張現実画像を生成するための方法に関する。
方法は以下のステップを含む。
携帯型コンピュータ端末は、携帯型コンピュータ端末内のＧＰＳユニット、コンパス、および慣性測定ユニットを用いて携帯型コンピュータ端末の位置および３次元方位を推定することにより、第１の推定位置および第１の推定方位を取得する。
携帯型コンピュータ端末は、第１の推定位置および第１の推定方位を使用して、第１のシーンの第１の推定画像を生成する。
携帯型コンピュータ端末は、携帯型コンピュータ端末内のカメラを用いて第１のシーンの第１のカメラ写真を取得する。
携帯型コンピュータ端末は、携帯型コンピュータ端末のおおよその位置および方位を取得するために、第１の推定画像と第１のカメラ写真との間の第１のパターン照合を実行する。
携帯型コンピュータ端末は、携帯型コンピュータ端末の新たな位置および方位へのオフセットにより、携帯型コンピュータ端末のおおよその位置および／または方位を調整する。
携帯型コンピュータ端末は、携帯型コンピュータ端末の現在の位置および方位の情報を取得するために、第２のカメラ写真と第２のシーンの画像との間の第２のパターン照合を実行し、カメラを用いて撮影された第２のカメラ写真および第２のシーンの画像は、携帯型コンピュータ端末の新たな位置および方位を考慮して生成される。
次いで、携帯型コンピュータ端末は、携帯型コンピュータ端末の現在の位置および方位を考慮して、拡張現実画像を生成する。
第１のシーンの建物に関して第１のパターン照合が実行され、第２のシーンの建物に関して第２のパターン照合が実行されることが好ましい。
本明細書に開示される他の発明は、プログラムに関する。プログラムは、本明細書に開示された方法を実行するためにプロセッサが実行するための命令を有する。
本明細書に開示される他の発明は、非一時的コンピュータ可読ストレージデバイスに関する。デバイスは、本明細書に開示された方法を実行するためにプロセッサが実行するための命令を有する。
本明細書に開示される他の発明は、拡張現実画像を生成するための携帯型コンピュータ端末に関する。端末は、プロセッサ、ＧＰＳユニット、コンパス、慣性測定ユニット、カメラ、ディスプレイ、および本明細書に開示された方法に対してプロセッサが実行するためのプログラムを記憶したメモリデバイスを備える。ＧＰＳユニット、コンパス、慣性測定ユニット、カメラ、ディスプレイ、およびメモリはプロセッサに結合される。
ＧＰＳ、コンパス、およびＶＩＯシステム（ＩＭＵ）による正確性は不十分だが信頼性が高い入力データ、カメラフレーム、ならびにローカル環境の部分３Ｄモデルに基づいて、現実世界の空間内のモバイルデバイスの位置および方位のリアルタイム計算を提供することが可能である。システムは、次いで、仮想コンテンツをライブビデオに正確にレンダリングすることを可能にする。

拡張現実（ＡＲ）システムのブロック図である。拡張現実（ＡＲ）システムに関連するサーバシステムを示す図である。コンピュータの構成例を説明するためのブロック図である。拡張現実画像を生成するための方法を示すフローチャートである。ＡＲを実現するデータフローの一例の図である。パターン照合の一例を示す図である。オーバーヘッドビューの一例を示す図である。ＡＲ画像の一例を示す図である。

以下の説明では、本明細書の一部を形成する添付の図面を参照し、図面には、実践され得る具体的な実施形態が例示として示される。これらの実施形態は、当業者が本発明を実践することを可能にするために十分詳細に記載され、他の実施形態が利用されてよいこと、ならびに本発明の範囲から逸脱することなく、構造的、論理的、および電気的な変更が行われてよいことを理解されたい。したがって、例示的な実施形態の以下の説明は、限定的な意味で解釈されるべきではなく、本発明の範囲は添付の特許請求の範囲によって定義される。

本明細書に記載される機能またはアルゴリズムは、一実施形態では、ソフトウェアまたはソフトウェアと人間が実施する手順との組合せで実装されてよい。ソフトウェアは、１つもしくは複数のメモリ、またはローカルもしくはネットワーク化された他のタイプのハードウェアベースのストレージデバイスなどのコンピュータ可読媒体またはコンピュータ可読ストレージデバイスに記憶されたコンピュータ実行可能命令から構成されてよい。さらに、そのような機能は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せであるモジュールに対応する。複数の機能は、必要に応じて１つまたは複数のモジュール内で実行されてよく、記載される実施形態は単なる例である。ソフトウェアは、デジタル信号プロセッサ、ＡＳＩＣ、マイクロプロセッサ、またはパーソナルコンピュータ、サーバ、もしくは他のコンピュータシステムなどのコンピュータシステム上で動作する他のタイプのプロセッサで実行されてよい。

図１は、拡張現実（ＡＲ）システムのブロック図を示す。図１は、人が自分に属するデバイスをすばやく識別するための方法を提供する。そのようなＡＲシステムは携帯型コンピュータ端末であり、スマートフォン、携帯電話、タブレット、またはヘッドマウントウェアラブルであってよい。携帯型コンピュータ端末は、ＡＲ方法を実装するためにコンピュータシステムを備える。

図１に示されたように、システム１の例は、プロセッサ３、ＧＰＳユニット５、コンパス７、慣性測定ユニット（ＩＭＵ）９、カメラ１１、ディスプレイ１３、およびメモリデバイス１５を備える。すべての要素は、たとえばバス１７を介してプロセッサに接続され、バス１７を介して情報を交換することができる。システム１は、携帯型コンピュータ端末１９に実装されてよい。システムは、通常の携帯型コンピュータ端末が含む場合がある要素またはデバイスをさらに含んでよい。メモリデバイス１５は、様々なアプリケーションおよび様々なプログラムを含んでよい。そのような要素の例は、コミュニケーションツール、スピーカ、マイクロフォン、およびＧＰＵである。慣性測定ユニット（ＩＭＵ）９は、加速度計、ジャイロスコープ、および時々磁力計の組合せを使用して、端末の角速度および方位を測定する電子デバイスであってよい。ＩＭＵは、ＩＮＵ（慣性航法ユニット）、ＩＧＵ（慣性誘導ユニット）、およびＩＲＵ（慣性基準ユニット）と呼ばれることがある。コンパス７および慣性測定ユニット（ＩＭＵ）９は、端末の方位を提供することができるプログラムによって実現されてよい。

図２は、拡張現実（ＡＲ）システムに関連するサーバシステムを示す。図１に示されたように、システムは携帯型コンピュータ端末１９に実装されてよい。さらに、システムは、図２に示されたように、サーバクライアントシステムに実装されてよい。システムはクラウドシステムであってよい。図２では、携帯型コンピュータ端末１９は、ネットワーク２２を介してサーバ２０に接続される。本明細書において説明される演算処理の一部は、クラウド内のサーバ上で実行されてよい。クラウド処理は、以下で説明される第１の段階と第２の段階の両方での推定画像の生成およびパターン照合を含んでよい。

図３は、コンピュータの構成例を説明するためのブロック図である。システム１内に配置された回路は、制御ユニット２１、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２５、音声処理部２７、グラフィック処理部２９、１つまたは複数のプログラムを記憶するメモリ、通信インターフェース３１、インターフェース部３３、フレームメモリ３５を備えてよい。プログラムがカード型メモリに記憶されるとき、システムはカードスロットを有してよい。制御ユニット２１、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２５、音声処理部２７、グラフィック処理部２９、通信インターフェース３１、およびインターフェース部３３は、各々内部バス４１に接続される。

ＣＰＵ、ＲＯＭなどを備える制御ユニット２１は、ＨＤＤ２５またはメモリ３７に記憶された制御プログラムに従ってＡＲシステム全体を制御する。制御ユニット２１は、たとえば、タイマ割込みを生成するために使用される内部タイマを備える。ＲＡＭ２３は、制御ユニット２１用の作業領域としても使用される。

音声信号のＤ／Ａ変換およびＡ／Ｄ変換を実行するための音声入出力インターフェース機能を備える音声処理部２７は、たとえばスピーカから構成される、音声出力デバイス４３に接続される。音声処理部２７は、様々な制御プログラムに従って処理を実行する制御ユニット２１からの音声出力指示に従って音声出力デバイス４３に音声信号を出力する。

グラフィック処理部２９は、第１の画像表示部５１を有するディスプレイデバイス４９に接続される。グラフィック処理部２９は、制御ユニット２１からの描画指示に従ってフレームメモリ３５に画像を分配し、また画像表示部５１に画像を表示するためのビデオ信号をディスプレイデバイス４９に出力する。

通信インターフェース３１は、有線またはワイヤレスで別のシステムに接続可能であり、インターネットなどの通信ネットワークにも接続可能である。システム１は、通信インターフェース３１の通信機能を使用して別のゲーム機と通信することができる。

操作入力部３９、メモリ３７、およびタッチパネル４５は、インターフェース部３３に接続される。インターフェース部３３は、ユーザの操作に基づく操作入力部３９からの指示データ、および指またはタッチペン４７などを使用するタッチパネル４５のユーザの操作に基づく指示データをＲＡＭ２３に記憶する。次いで、制御ユニット２１は、ＲＡＭ２３に記憶された指示データに従って演算処理を実行する。

タッチパネル４５は、画像表示部５１の両方またはいずれかの表示画面の側面に積層される。したがって、制御ユニット２１は、タッチパネル４５が積層された画像表示部５１の両方またはいずれかの側面での表示タイミング、タッチペン４７などを使用するタッチパネル４５の操作タイミング、および位置座標を管理／制御することにより、プレーヤによる操作入力に応じた入力情報を認識する。ディスプレイデバイス４９は、画像表示部５１などの複数の画像表示部を有するのではなく、１つの画像表示部で表示画面を構成することができる。

インターフェース部３３は、制御ユニット２１からの指示に従って、ＲＡＭ２３に記憶されたゲームの進行を示すデータをカードスロット３７に挿入された記録媒体７０に記憶すること、または記録媒体７０に記憶された中断時のゲームデータを読み出し、ＲＡＭ２３にデータを転送することなどの処理を実行する。

制御ユニット２１は、ＲＡＭ２３にロードされた制御プログラムに従って、グラフィック処理部２９に描画指示を出力すること、または音声処理部２７に音声出力指示を出力することなどの様々な処理を実行する。制御ユニット２１が処理を実行している間、ゲームの進行に応じて途中で発生するデータは、ワーキングメモリとして使用されるＲＡＭ２３に記憶される。

拡張現実画像を生成するための方法
図４は、拡張現実画像を生成するための方法を示すフローチャートである。図５はＡＲを実現するデータフローの一例である。図５のコンパスはＩＭＵを含んでよい。図５に示されたように、システムは仮想入出力ＶＩＯシステムを含んでよい。

大まかな推定手順
この手順は、携帯型端末の位置および方位を大まかに推定し、ステップ１および２を含む。

ステップ１
携帯型コンピュータ端末、端末は、携帯型コンピュータ端末内のＧＰＳユニット、コンパス、および慣性測定ユニット（ＩＭＵ）を用いて携帯型コンピュータ端末の位置および３次元方位を推定することにより、第１のシーンの第１の推定位置および第１の推定方位を取得する。ＧＰＵユニットは端末の大まかな位置を取得することができる。コンパスおよびＩＭＵは３次元方位を取得することができる。すなわち、位置はＧＰＳユニットから生じる。ピッチおよびロールの方位は（ＩＭＵ内の）加速度計から生じ、ヨーはコンパスから生じる。

ステップ２
携帯型コンピュータ端末は、第１の推定位置および第１の推定方位を使用して、第１のシーンの第１の推定画像を生成する。端末のメモリは、様々な方位からのシーンの様々な３次元モデルの画像を記憶する。３次元モデルは、１つまたは複数の建物を含むレンダリング画像であってよい。端末は、第１の推定位置および第１の推定方位を使用して、メモリに記憶された画像の候補を読み取る。次いで、端末は、第１の推定位置および方位を使用してシーンの推定写真を生成するために、シーンの３Ｄモデルを投影する。端末は、以下のステップ４で使用され得るメモリから推定画像として様々な候補を読み取ることができる。

機能／ワイドベースラインパターン照合手順（遠方登録）
この手順は、端末の比較的正確で概算の位置および方位を取得し、ステップ３および４（またはステップ３～５）を含む。

ステップ３
携帯型コンピュータ端末は、カメラによって第１のシーンの第１のカメラ写真を取得する。第１のカメラ写真は端末のメモリに記憶されてよい。端末は連続して写真を撮影することができ、連続して写真を記憶することができる。

ステップ４
携帯型コンピュータ端末は、携帯型コンピュータ端末のおおよその位置および方位を取得するために、第１の推定画像と第１のカメラ写真との間の第１のパターン照合を実行する。このステップはワイドベースラインパターン照合に関連する。第１のパターン照合は、第１のシーンの建物に関して実行されることが好ましい。２つの画像を照合するための方法はよく知られている。パターン照合についての１つの例は、画像および／または写真を３Ｄポイントに変換し、変換された３Ｄポイントを使用して照合が実行されることである。照合を実行する際、画像、写真のサイズおよび角度、ならびに３Ｄポイントの収集は、従来の方法を使用して調整される。一致が見つからない場合、ステップ１に戻って、端末のおおよその位置および方位を取得することができる。一致が見つからずに規定の時間が経過すると、プロセッサは一致が見つからないと判断することができる。さらに、照合が規定回数連続して失敗すると、プロセッサは一致が見つからないと判断することができる。

図６はパターン照合の一例を示す。左側の図は、カメラで撮影された写真である。右側の図は、推定画像および照合の候補である３次元モデルである。第１の推定画像である上の画像は写真と一致しない。次いで、端末は、第１のカメラ写真と第２の推定画像、図６の中央右の画像との間のパターン照合を実行する。端末はパターン照合を実行し、第２の推定画像が写真と一致しないことに気付く。次いで、端末は、第１のカメラ写真と第３の推定画像、図６の右下の画像との間のパターン照合を実行する。この場合、一致が見つかる。

ステップ５
携帯型コンピュータ端末は、携帯型コンピュータ端末の新たな位置および方位へのオフセットにより、携帯型コンピュータ端末のおおよその位置（および／または方位）を調整する。たとえば、シーンの３次元モデルおよびカメラで撮影された写真を考慮して位置が調整される。

図６の場合、３Ｄポイントおよびそれらの関係が一致するので、第１のカメラ写真と第３の推定画像は一致する。しかしながら、写真および画像のサイズは同じではない。サイズを考慮して、建物からの距離、すなわち端末の位置が調整される。

第１の推定画像および第１のカメラ写真が同じであると評価された場合、ステップ４で使用された位置および方位は正しい。したがって、ステップ５をスキップすることが可能である。ステップ５での初期パターン照合が失敗した場合、端末はステップ４に戻ってよい。

フロー／ナローベースラインパターン照合手順（近接登録）
この手順は、端末の位置および方位が変わったときでも、時間の経過とともに位置および方位の推定精度を維持することであり、ステップ６を含む。

ステップ６
ステップ６は、ステップ５が成功した場合に、ナローベースラインパターン照合を実行し、推定されたデバイスの位置および方位を設定することに関する。携帯型コンピュータ端末は、携帯型コンピュータ端末の現在の位置および方位の情報を取得するために、第２のシーンの第２のカメラ写真と第２のシーンの画像との間の第２のパターン照合を実行し、カメラで撮影された第２のカメラ写真および第２のシーンの画像は、携帯型コンピュータ端末の新たな位置および方位を考慮して生成される。第２のパターン照合は、第２のシーンの建物に関して実行されることが好ましい。携帯型コンピュータ端末の新たな位置および方位は、ＧＰＳユニット、コンパス、およびＩＭＵを使用せずに、新しいパターン照合を用いて計算される。一致が見つからずに規定の時間が経過すると、プロセッサは一致が見つからないと判断することができる。さらに、照合が規定回数連続して失敗すると、プロセッサは一致が見つからないと判断することができる。

拡張現実画像手順
この手順はＡＲ画像を作成し、ステップ７を含む。
ステップ７
次いで、携帯型コンピュータ端末は、携帯型コンピュータ端末の現在の位置および方位を考慮して、拡張現実画像を生成する。

拡張現実画像は、携帯型コンピュータ端末のディスプレイに表示される。最後に一致に成功してから一定の時間が経過した場合はステップ１に戻り、そうでない場合はステップ６に戻る。

図７はオーバーヘッドビューの一例を示す。図７は、コンパス方位、ＧＰＳ位置、変更されたカメラ位置、（近接登録状態の）カメラビュー、（訂正時の）訂正されたＶＩＯ位置、およびＶＩＯ原点の一例を示す。

上記の方法では、カメラ姿勢の不確実性が比較的大きいときに遠方登録が実行される。仮想オブジェクトはこの状態でレンダリングされない。それは特徴点照合として実装される。

比較的低いカメラ姿勢の不確実性が想定されるとき、近接登録が実行される。仮想オブジェクトはこの状態でレンダリングされる。それは仮想形状を実世界の画像フレームにロックされたままにするのに適している。この状態は、２つのエッジ画像間のオプティカルフローとして実装されてよい。

本明細書に開示される他の発明は、プログラムに関する。プログラムは、本明細書に開示された方法を実行するためにプロセッサが実行するための命令を有する。本明細書に開示される他の発明は、非一時的コンピュータ可読ストレージデバイスに関する。デバイスは、本明細書に開示された方法を実行するためにプロセッサが実行するための命令を有する。

本明細書に開示される他の発明は、拡張現実画像を生成するための携帯型コンピュータ端末に関する。端末は、プロセッサ、ＧＰＳユニット、コンパス、慣性測定ユニット、カメラ、ディスプレイ、および本明細書に開示された方法に対してプロセッサが実行するためのプログラムを記憶したメモリデバイスを備える。ＧＰＳユニット、コンパス、慣性測定ユニット、カメラ、ディスプレイ、およびメモリはプロセッサに結合される。

本明細書は、
携帯型コンピュータ端末内のＧＰＳユニット、コンパス、および慣性測定ユニットを用いて携帯型コンピュータ端末の位置および３次元方位を推定することにより、第１のシーンの第１の推定位置および第１の推定方位を取得するための手段と、
第１の推定位置および第１の推定方位を使用して、第１のシーンの第１の推定画像を生成するための手段と、
携帯型コンピュータ端末内のカメラを用いて第１のシーンの第１のカメラ写真を取得するための手段と、
携帯型コンピュータ端末のおおよその位置および方位を取得するために、第１の推定画像と第１のカメラ写真との間の第１のパターン照合を実行するための手段と、
携帯型コンピュータ端末の新たな位置および方位へのオフセットにより、携帯型コンピュータ端末のおおよその位置および／または方位を調整するための手段と、
携帯型コンピュータ端末の現在の位置および方位の情報を取得するために、第２のカメラ写真と第２のシーンの画像との間の第２のパターン照合を実行するための手段であって、カメラを用いて撮影された第２のカメラ写真および第２のシーンの画像が、携帯型コンピュータ端末の新たな位置および方位を考慮して生成される、手段と、
携帯型コンピュータ端末の現在の位置および方位を考慮して、拡張現実画像を生成するための手段と
を備える、拡張現実画像を生成するためのシステムをさらに提供する。各手段はデバイスまたは要素と置き換えられてよい。プログラムは、上記のシステムとしてコンピュータを機能させるための命令を有することができる。

１方法
開発およびテストに使用される建物は他の理由で選択されたが、それは現代の都市建築で発生するいくつかの挑戦的な属性を表す。いくつかのファサードセクションは主にレンガから構成されるが、建物の表面積の大部分は、様々な水平および垂直の角度で突き出ている不規則な窓のセットで出来ている。直射日光がない場合、建物のレンガ面の間のエッジは明確ではなく、窓の面は、それらが反射する空に対して均一なエッジまたは強いエッジがないことがある。建物の面は、垂直に配置された強い勾配をもついくつかのコンポーネントも有する。このため、Ａｒｔｈら（２０１５年）の方法は適切でないと見なされた。より一般的には、複数のファサードエッジが同時に見えるとは想定されないほど、ユーザが建物に十分近くにいる可能性があると考えられた。

１．１建物モデル
衛星画像からの測定値を使用して対象の建物の３Ｄモデルが作成され、地上から撮影された写真を使用してテクスチャが付けられた。写真は、強い指向性の照明効果を回避し、空の反射の構造を簡略化するために、厚い雲で覆われた気候条件の間に撮影された。建物の近くに何本かの小さい木が残っていたが、テクスチャにはほとんど遮る物がなかった。モデル形状は、個々のレンガ間のレリーフおよび不規則な窓セグメント間の方位の下位レベルの違いを含まない少数の大きな面を使用して作成されたが、より高いレベルの建物の形状および寸法は保持された。標準的な拡散テクスチャに加えて、モデルの窓領域を表すバイナリテクスチャも作成された。これの目的は、単純な仮想照明効果が建物に正確にレンダリングされることを可能にすることであった。たとえば、仮想光は窓でのみ反射し、窓がない領域でのみ影を投影するべきである。このテクスチャは、この作業の範囲外であるが、反射が原因で対応関係が信頼できない領域用のマスクとしても役立つ場合がある。

１．２システム設計
システムの中核的な設計は、最初のカメラ姿勢から建物の３Ｄモデルの画像（および対応する深度マップ）をレンダリングすることを含む。この姿勢の位置はデバイスのＧＰＳデータから生じる。ピッチおよびロールの方位は（ＡＲｃｏｒｅを介して）デバイスの加速度計から生じ、ヨーはデバイスのコンパスから生じる。次いで、ＢＲＩＳＫ機能を使用して、このレンダリングされた画像と現在のカメラフレームとの間の特徴の検出および照合が実行される。次いで、モデル上の特徴点が、深度テクスチャで符号化された深度を使用してカメラ空間内の３Ｄ点に変換され、画像間の平行移動および回転を見つけるためにＲＡＮＳＡＣ手法が使用される。この技法は特定の条件下では成功するが、いくつかの理由で失敗することがある。これらのうちのいくつかは建物の特性に関係する。レンガのコーナーを表す特徴は、通常の繰返しパターン内に特徴が不足する可能性があるので、照合にほとんど失敗した。パターン内のギャップのコーナーは、検出および照合ではるかに成功した。しかしながら、それらの３次元の性質は、３Ｄモデルの形状の単純さのために、鋭い視点から正確に表現されなかったことを意味した。

照明は概して別の大きな問題であった。環境は屋外であるため、それは時期、時刻、および地域の気象条件に依存するが、視覚オドメトリまたはステレオ深度センシングなどの特徴照合の他のアプリケーションとは異なり、２つの特徴セット間に時間的な近接性は存在しない。別の問題は、最初の姿勢推定と実際の姿勢との間の違いによる特徴のアフィンワーピングである。ワーピングは、２つのフレームが一致する確率を大幅に低下させる。この問題の程度は、ＧＰＳ誤差のスケールに比例し、デバイスと建物との間の距離に反比例すると考えることができる。実際、いくつかのテスト状況では、前者は後者よりも大幅に大きく、ＧＰＳ位置は建物の内部として報告された。この問題を軽減するために、建物から一定の距離以上離れた視点にカメラを制限し、次いで照合の試行が失敗するたびに成功するまでカメラ姿勢の推定値を変更するために、発見的方式が開発された。この変更は、最初の制約された位置からの一組の位置オフセットを循環することによって実現された。距離の制約は、実装上の理由から、ならびに建物のフットプリントの凹型セクションの周囲の特定のエッジケースを回避するために、建物モデルの凸型ハルからの距離として定義された。

位置オフセットに加えて、深刻なコンパス誤差が発生した場合に真の領域を確実にカバーするために、方位も変更された。この特徴照合はレンガのファサードからの特徴を検出し照合することができたが、いくつかの理由で窓があるファサードで苦労した。第１に、窓は建物の他の部分ならびに近くの建物の部分を反射した。雲の動きでさえ、特徴の相対的な強度を変えるのに十分であった。第２に、窓自体のギザギザの配置により、これらの反射がより不連続になり、予測が困難になるだけでなく、フラットテクスチャへのそれらのマッピングの精度が低下した。さらに、窓の中の最も強い特徴は、しばしば、建物内部のオフィスにある天井照明の配列であった。これらは、通常の就業時間外にキャプチャされたテクスチャ画像には存在しない。これらの照明の静的、規則的、および放射性の性質により、これらの照明はさらなる研究の興味深い候補になるが、特に暗い照明の時刻では、それらに依存することは、モデル化プロセスをさらに複雑にし、すべての曜日で可能ではなかった。これらの問題に対処するために、他の解決策が調査された。第２の技法は、特定の補完的な特性で識別された。最初に、ラプラシアンフィルタの絶対出力が両方の画像に対して取得された。次いで、ファサードの平面的な性質により見かけの平行移動が非常に滑らかであるという仮定の下で、２つの画像間の対応関係をすばやく見つけるために、ＤｅｎｓｅＩｎｖｅｒｓｅＳｅａｒｃｈオプティカルフローアルゴリズムが使用された。ＤｅｎｓｅＩｎｖｅｒｓｅＳｅａｒｃｈオプティカルフローアルゴリズムの例は、本明細書にて文献全体を援用するＫｒｏｅｇｅｒ，Ｔ．，Ｔｉｍｏｆｔｅ，Ｒ．，Ｄａｉ，Ｄ．ａｎｄＶａｎＧｏｏｌ，Ｌ．, ２０１６，Ｏｃｔｏｂｅｒ．Ｆａｓｔｏｐｔｉｃａｌｆｌｏｗｕｓｉｎｇｄｅｎｓｅｉｎｖｅｒｓｅｓｅａｒｃｈ．ＩｎＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ「ｐｐ．４７１－４８８」．Ｓｐｒｉｎｇｅｒ，Ｃｈａｍ．に記載されている。カメラ画像全体にわたるグリッドパターン内のピクセルのサブセットが、モデル画像内のそれらの対応するピクセル位置とともに選択された。モデルに該当しないものはセットから削除された。特徴ベースの手法と同様に、残りのモデルポイントは３Ｄに投影されず、２つの画像間の３Ｄ変換を見つけるためにＲＡＮＳＡＣベースのアルゴリズムが使用された。このオプティカルフロー手法は、最終的に、窓領域の照合でかなり成功し、特徴照合よりも高速であることが判明した。しかしながら、より正確な最初のカメラ姿勢推定も必要とされ、大きい遮蔽物に対する堅牢性が低かった。

バイモーダル登録
これら２つの方法の長所と短所のバランスを取るために、ハイブリッド手法が採用された。最初、システムは、ＧＰＳおよびコンパスの入力から導出されたカメラ姿勢の正確さを確認できない不確実な状態にあり、したがって仮想コンテンツをユーザに表示しない。それは初期位置誤差に対してより堅牢なので、カメラ姿勢を精緻化しようと試みるために特徴照合ルーチンが使用された。これが達成されると、登録されたカメラ姿勢とＶＩＯ姿勢との間の変換が計算され、ＶＩＯシステムの座標空間の原点を絶対世界座標に配置し方位付けるために使用される。この方式に基づくと、ＶＩＯシステムは、フレームごとに仮想形状を建物にロックし続けるのに十分スムーズかつ迅速に追跡する。しかしながら、ＶＩＯが位置合わせからゆっくりと横滑りする可能性もあるので、定期的に登録を実行し続ける必要がある。しかしながら、この時点で、システムはオプティカルフロー登録に切り替わる。それは十分に正確な姿勢推定を有し、このモードが、ユーザが窓ファサードをパンしたときに、より頻繁かつ確実に訂正が行われることを可能にするからである。このモードでは、姿勢変更は実行されない。それにもかかわらず、オプティカルフロー登録を失敗させる特定の状況が存在する。最も一般的な状況は、単にユーザが建物から電話を遠ざけることである。これが一時的なものにすぎない場合、システムは追跡を再開することができる。しかしながら、ユーザが十分に遠くを歩き回るか、またはＶＩＯシステムが追跡を失った場合（たとえば、カメラが覆われているとき）、相対ＶＩＯ姿勢の誤差が大きすぎて登録に成功しない可能性がある。これに対応するために、登録が一定の数の連続するフレームまたは秒の間失敗した場合、システムは特徴ベースの照合に戻る。ＶＩＯ姿勢がまだ有効な場合、それはテストする余分の姿勢変更として保持される。システムは、パフォーマンスおよび堅牢性を向上させるために、いくつかの他の発見的方法も含んでいる。１つは、カメラのピッチが特定のしきい値を下回るときに、単に登録を試みないことである。これは、建物がユーザの視点からはほぼ完全に地平線より上にあり、低角度からの視覚情報が茂みおよび人々などの遮蔽物のために信頼性が低いからである。もう１つは、ＧＰＳ予測から特定のしきい値の距離よりも遠い姿勢に帰着する登録を拒否することである。これにより、特定の低下したケースが原因で時々発生する大きな誤差が回避される。

図８はＡＲ画像の一例を示す。図に示されたように、建物の周りには飛行機が飛んでおり、建物の最上部にはドラゴンがあり、建物の周りには風船が浮かんでおり、建物の側壁には風船の影が描写されている。

実装
上位レベルのシステムは、基礎となるＶＩＯ追跡にＡＲＣｏｒｅを使用するＵｎｉｔｙで実装された。下位レベルの画像処理コンポーネントは、ＯｐｅｎＣＶを使用してＣ＋＋で書き込まれた。

いくつかの実施形態が上記で詳細に記載されたが、他の修正形態が可能である。たとえば、図に描写された論理フローは、望ましい結果を実現するために、示された特定の順序またはシーケンシャルな順序を必要としない。他のステップが提供されてもよく、記載されたフローからステップが除去されてもよく、記載されたシステムに他のコンポーネントが追加されてもよく、記載されたシステムからコンポーネントが削除されてもよい。他の実施形態は以下の特許請求の範囲内であってよい。

本明細書に記載の方法およびシステムの実施例は、アミューズメント産業において有用である。

Claims

拡張現実画像を生成するための方法であって、
携帯型コンピュータ端末内のＧＰＳユニット、コンパス、および慣性測定ユニットを用いて前記携帯型コンピュータ端末の位置および３次元方位を推定することにより、第１のシーンの第１の推定位置および第１の推定方位を取得するステップと、
前記第１の推定位置および前記第１の推定方位を使用して、前記第１のシーンの第１の推定画像を生成するステップと、
前記携帯型コンピュータ端末内のカメラを用いて前記第１のシーンの第１のカメラ写真を取得するステップと、
前記携帯型コンピュータ端末のおおよその位置および方位を取得するために、前記第１の推定画像と前記第１のカメラ写真との間の第１のパターン照合を実行するステップと、
前記携帯型コンピュータ端末の新たな位置および方位へのオフセットにより、前記携帯型コンピュータ端末の前記おおよその位置および／または方位を調整するステップと、
前記携帯型コンピュータ端末の現在の位置および方位の情報を取得するために、第２のカメラ写真と第２のシーンの画像との間の第２のパターン照合を実行するステップであって、前記カメラを用いて撮影された前記第２のカメラ写真および前記第２のシーンの前記画像が、前記携帯型コンピュータ端末の前記新たな位置および方位を考慮して生成される、ステップと、
前記携帯型コンピュータ端末の前記現在の位置および方位を考慮して、拡張現実画像を生成するステップと
を含む、
方法であって、
前記第１のパターン照合を実行するステップにおいて、
一致が見つからずに規定の時間が経過した場合や、規定回数連続して照合に失敗した場合、前記第１の推定位置および第１の推定方位を取得するステップからやり直し、
前記第２のパターン照合を実行するステップにおいて、
一致が見つからずに規定の時間が経過した場合や、規定回数連続して照合に失敗した場合、前記第１の推定位置および第１の推定方位を取得するステップからやり直す、
方法。
請求項１に記載の方法であって、
前記３次元方位は、前記カメラのピッチを含み、
前記第１の推定位置および第１の推定方位を取得するステップにおいて、
前記カメラのピッチが特定のしきい値を下回る場合、前記第１の推定位置および第１の推定方位を取得するステップをやり直す方法。
請求項１に記載の方法であって、
前記第１の推定画像を生成するステップにおいて、
第１の推定画像内の建物と、前記第１の推定位置との距離が特定のしきい値の距離より遠い場合に、前記第１の推定位置および第１の推定方位を取得するステップからやり直す、方法。
請求項１に記載の方法であって、
前記拡張現実画像を生成するステップは、
前記第２のシーンの前記画像における窓領域において仮想光が前記窓領域で反射し、前記窓領域以外の領域で影を投影するように前記拡張現実画像を生成する、方法。
前記第１のシーンの建物に関して前記第１のパターン照合が実行され、前記第２のシーンの建物に関して前記第２のパターン照合が実行される、
請求項１に記載の方法。
請求項１に記載の方法を実行するためにプロセッサによって実行される命令を有する、
プログラム。
請求項１に記載の前記方法を実行するためにプロセッサによって実行される命令を有する、
非一時的コンピュータ可読ストレージデバイス。
拡張現実画像を生成するための携帯型コンピュータ端末であって、
プロセッサ、ＧＰＳユニット、コンパス、慣性測定ユニット、カメラ、ディスプレイ、および請求項１に記載の前記方法に対して前記プロセッサが実行するためのプログラムを記憶したメモリデバイスを備える、
携帯型コンピュータ端末。