JP7043583B2 - 拡張現実画像を生成するための方法 - Google Patents
拡張現実画像を生成するための方法 Download PDFInfo
- Publication number
- JP7043583B2 JP7043583B2 JP2020219377A JP2020219377A JP7043583B2 JP 7043583 B2 JP7043583 B2 JP 7043583B2 JP 2020219377 A JP2020219377 A JP 2020219377A JP 2020219377 A JP2020219377 A JP 2020219377A JP 7043583 B2 JP7043583 B2 JP 7043583B2
- Authority
- JP
- Japan
- Prior art keywords
- estimated
- portable computer
- orientation
- computer terminal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/17—Image acquisition using hand-held instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Description
近年、AndroidのARCoreおよびiOSのARKitのリリースにより、モバイル拡張現実が広く利用可能になっている。これにより、ほとんどのユーザがすでに携帯しているハードウェアのみを使用して、現実世界に基づくARゲームおよび他のエクスペリエンスを開発することが可能になった。しかしながら、現在のARプラットフォームがそれらの環境を理解するための機能は非常に制限されており、仮想オブジェクトが正しく遮られず、現実世界との整合性が失われるなどの問題につながる。
建物は、一般的に、それらをARエクスペリエンスに適した環境にするいくつかの特性を共有する:それらの形状は静的かつシンプルであり、しばしば、共通の垂直軸に合わせて長方形の特徴が配置された立方体である。加えて、それらが垂直であり規模が大きいために、多くの建物は、他の人々によって最小限遮蔽されると同時に多数のユーザが見ることができる。この規模の大きさは、環境内でのデバイスの姿勢を登録することにGPSデータが(コンパス方位およびIMUデータと組み合わせて)役立つことも意味する。しかしながら、GPSデータとコンパスデータはどちらも不正確さに悩まされる。GPSは、特に、衛星信号の遮断とマルチパス誤差により、都市環境に弱点がある。この誤差が引き起こす視覚的な位置ずれはかなり大きいので、それらのデータのみに依存する以前の作業では、ユーザが事前定義された視点からエクスペリエンスを見て、次いで、手動でヨーの位置合わせを調整する必要があった。
いくつかの以前の作業は、様々なコンピュータビジョン技法を使用して、より正確なカメラ姿勢を導出している。Fondら(2017年)は、ニューラルネットワークを使用して、ファサードデータベースと照合することができる候補ファサード領域に関する様々な手がかりを生成するシステムを開発した。しかしながら、彼らは、小さな変換に対する畳み込みニューラルネットワーク(CNN)記述子の不変性のために、自分達の方法が正確な姿勢推定には適していないことを認めた。
本明細書に開示される発明の1つは、拡張現実画像を生成するための方法に関する。
方法は以下のステップを含む。
携帯型コンピュータ端末は、携帯型コンピュータ端末内のGPSユニット、コンパス、および慣性測定ユニットを用いて携帯型コンピュータ端末の位置および3次元方位を推定することにより、第1の推定位置および第1の推定方位を取得する。
携帯型コンピュータ端末は、第1の推定位置および第1の推定方位を使用して、第1のシーンの第1の推定画像を生成する。
携帯型コンピュータ端末は、携帯型コンピュータ端末内のカメラを用いて第1のシーンの第1のカメラ写真を取得する。
携帯型コンピュータ端末は、携帯型コンピュータ端末のおおよその位置および方位を取得するために、第1の推定画像と第1のカメラ写真との間の第1のパターン照合を実行する。
携帯型コンピュータ端末は、携帯型コンピュータ端末の新たな位置および方位へのオフセットにより、携帯型コンピュータ端末のおおよその位置および/または方位を調整する。
携帯型コンピュータ端末は、携帯型コンピュータ端末の現在の位置および方位の情報を取得するために、第2のカメラ写真と第2のシーンの画像との間の第2のパターン照合を実行し、カメラを用いて撮影された第2のカメラ写真および第2のシーンの画像は、携帯型コンピュータ端末の新たな位置および方位を考慮して生成される。
次いで、携帯型コンピュータ端末は、携帯型コンピュータ端末の現在の位置および方位を考慮して、拡張現実画像を生成する。
第1のシーンの建物に関して第1のパターン照合が実行され、第2のシーンの建物に関して第2のパターン照合が実行されることが好ましい。
本明細書に開示される他の発明は、プログラムに関する。プログラムは、本明細書に開示された方法を実行するためにプロセッサが実行するための命令を有する。
本明細書に開示される他の発明は、非一時的コンピュータ可読ストレージデバイスに関する。デバイスは、本明細書に開示された方法を実行するためにプロセッサが実行するための命令を有する。
本明細書に開示される他の発明は、拡張現実画像を生成するための携帯型コンピュータ端末に関する。端末は、プロセッサ、GPSユニット、コンパス、慣性測定ユニット、カメラ、ディスプレイ、および本明細書に開示された方法に対してプロセッサが実行するためのプログラムを記憶したメモリデバイスを備える。GPSユニット、コンパス、慣性測定ユニット、カメラ、ディスプレイ、およびメモリはプロセッサに結合される。
GPS、コンパス、およびVIOシステム(IMU)による正確性は不十分だが信頼性が高い入力データ、カメラフレーム、ならびにローカル環境の部分3Dモデルに基づいて、現実世界の空間内のモバイルデバイスの位置および方位のリアルタイム計算を提供することが可能である。システムは、次いで、仮想コンテンツをライブビデオに正確にレンダリングすることを可能にする。
図4は、拡張現実画像を生成するための方法を示すフローチャートである。図5はARを実現するデータフローの一例である。図5のコンパスはIMUを含んでよい。図5に示されたように、システムは仮想入出力VIOシステムを含んでよい。
この手順は、携帯型端末の位置および方位を大まかに推定し、ステップ1および2を含む。
携帯型コンピュータ端末、端末は、携帯型コンピュータ端末内のGPSユニット、コンパス、および慣性測定ユニット(IMU)を用いて携帯型コンピュータ端末の位置および3次元方位を推定することにより、第1のシーンの第1の推定位置および第1の推定方位を取得する。GPUユニットは端末の大まかな位置を取得することができる。コンパスおよびIMUは3次元方位を取得することができる。すなわち、位置はGPSユニットから生じる。ピッチおよびロールの方位は(IMU内の)加速度計から生じ、ヨーはコンパスから生じる。
携帯型コンピュータ端末は、第1の推定位置および第1の推定方位を使用して、第1のシーンの第1の推定画像を生成する。端末のメモリは、様々な方位からのシーンの様々な3次元モデルの画像を記憶する。3次元モデルは、1つまたは複数の建物を含むレンダリング画像であってよい。端末は、第1の推定位置および第1の推定方位を使用して、メモリに記憶された画像の候補を読み取る。次いで、端末は、第1の推定位置および方位を使用してシーンの推定写真を生成するために、シーンの3Dモデルを投影する。端末は、以下のステップ4で使用され得るメモリから推定画像として様々な候補を読み取ることができる。
この手順は、端末の比較的正確で概算の位置および方位を取得し、ステップ3および4(またはステップ3~5)を含む。
携帯型コンピュータ端末は、カメラによって第1のシーンの第1のカメラ写真を取得する。第1のカメラ写真は端末のメモリに記憶されてよい。端末は連続して写真を撮影することができ、連続して写真を記憶することができる。
携帯型コンピュータ端末は、携帯型コンピュータ端末のおおよその位置および方位を取得するために、第1の推定画像と第1のカメラ写真との間の第1のパターン照合を実行する。このステップはワイドベースラインパターン照合に関連する。第1のパターン照合は、第1のシーンの建物に関して実行されることが好ましい。2つの画像を照合するための方法はよく知られている。パターン照合についての1つの例は、画像および/または写真を3Dポイントに変換し、変換された3Dポイントを使用して照合が実行されることである。照合を実行する際、画像、写真のサイズおよび角度、ならびに3Dポイントの収集は、従来の方法を使用して調整される。一致が見つからない場合、ステップ1に戻って、端末のおおよその位置および方位を取得することができる。一致が見つからずに規定の時間が経過すると、プロセッサは一致が見つからないと判断することができる。さらに、照合が規定回数連続して失敗すると、プロセッサは一致が見つからないと判断することができる。
携帯型コンピュータ端末は、携帯型コンピュータ端末の新たな位置および方位へのオフセットにより、携帯型コンピュータ端末のおおよその位置(および/または方位)を調整する。たとえば、シーンの3次元モデルおよびカメラで撮影された写真を考慮して位置が調整される。
この手順は、端末の位置および方位が変わったときでも、時間の経過とともに位置および方位の推定精度を維持することであり、ステップ6を含む。
ステップ6は、ステップ5が成功した場合に、ナローベースラインパターン照合を実行し、推定されたデバイスの位置および方位を設定することに関する。携帯型コンピュータ端末は、携帯型コンピュータ端末の現在の位置および方位の情報を取得するために、第2のシーンの第2のカメラ写真と第2のシーンの画像との間の第2のパターン照合を実行し、カメラで撮影された第2のカメラ写真および第2のシーンの画像は、携帯型コンピュータ端末の新たな位置および方位を考慮して生成される。第2のパターン照合は、第2のシーンの建物に関して実行されることが好ましい。携帯型コンピュータ端末の新たな位置および方位は、GPSユニット、コンパス、およびIMUを使用せずに、新しいパターン照合を用いて計算される。一致が見つからずに規定の時間が経過すると、プロセッサは一致が見つからないと判断することができる。さらに、照合が規定回数連続して失敗すると、プロセッサは一致が見つからないと判断することができる。
この手順はAR画像を作成し、ステップ7を含む。
ステップ7
次いで、携帯型コンピュータ端末は、携帯型コンピュータ端末の現在の位置および方位を考慮して、拡張現実画像を生成する。
携帯型コンピュータ端末内のGPSユニット、コンパス、および慣性測定ユニットを用いて携帯型コンピュータ端末の位置および3次元方位を推定することにより、第1のシーンの第1の推定位置および第1の推定方位を取得するための手段と、
第1の推定位置および第1の推定方位を使用して、第1のシーンの第1の推定画像を生成するための手段と、
携帯型コンピュータ端末内のカメラを用いて第1のシーンの第1のカメラ写真を取得するための手段と、
携帯型コンピュータ端末のおおよその位置および方位を取得するために、第1の推定画像と第1のカメラ写真との間の第1のパターン照合を実行するための手段と、
携帯型コンピュータ端末の新たな位置および方位へのオフセットにより、携帯型コンピュータ端末のおおよその位置および/または方位を調整するための手段と、
携帯型コンピュータ端末の現在の位置および方位の情報を取得するために、第2のカメラ写真と第2のシーンの画像との間の第2のパターン照合を実行するための手段であって、カメラを用いて撮影された第2のカメラ写真および第2のシーンの画像が、携帯型コンピュータ端末の新たな位置および方位を考慮して生成される、手段と、
携帯型コンピュータ端末の現在の位置および方位を考慮して、拡張現実画像を生成するための手段と
を備える、拡張現実画像を生成するためのシステムをさらに提供する。各手段はデバイスまたは要素と置き換えられてよい。プログラムは、上記のシステムとしてコンピュータを機能させるための命令を有することができる。
開発およびテストに使用される建物は他の理由で選択されたが、それは現代の都市建築で発生するいくつかの挑戦的な属性を表す。いくつかのファサードセクションは主にレンガから構成されるが、建物の表面積の大部分は、様々な水平および垂直の角度で突き出ている不規則な窓のセットで出来ている。直射日光がない場合、建物のレンガ面の間のエッジは明確ではなく、窓の面は、それらが反射する空に対して均一なエッジまたは強いエッジがないことがある。建物の面は、垂直に配置された強い勾配をもついくつかのコンポーネントも有する。このため、Arthら(2015年)の方法は適切でないと見なされた。より一般的には、複数のファサードエッジが同時に見えるとは想定されないほど、ユーザが建物に十分近くにいる可能性があると考えられた。
衛星画像からの測定値を使用して対象の建物の3Dモデルが作成され、地上から撮影された写真を使用してテクスチャが付けられた。写真は、強い指向性の照明効果を回避し、空の反射の構造を簡略化するために、厚い雲で覆われた気候条件の間に撮影された。建物の近くに何本かの小さい木が残っていたが、テクスチャにはほとんど遮る物がなかった。モデル形状は、個々のレンガ間のレリーフおよび不規則な窓セグメント間の方位の下位レベルの違いを含まない少数の大きな面を使用して作成されたが、より高いレベルの建物の形状および寸法は保持された。標準的な拡散テクスチャに加えて、モデルの窓領域を表すバイナリテクスチャも作成された。これの目的は、単純な仮想照明効果が建物に正確にレンダリングされることを可能にすることであった。たとえば、仮想光は窓でのみ反射し、窓がない領域でのみ影を投影するべきである。このテクスチャは、この作業の範囲外であるが、反射が原因で対応関係が信頼できない領域用のマスクとしても役立つ場合がある。
システムの中核的な設計は、最初のカメラ姿勢から建物の3Dモデルの画像(および対応する深度マップ)をレンダリングすることを含む。この姿勢の位置はデバイスのGPSデータから生じる。ピッチおよびロールの方位は(ARcoreを介して)デバイスの加速度計から生じ、ヨーはデバイスのコンパスから生じる。次いで、BRISK機能を使用して、このレンダリングされた画像と現在のカメラフレームとの間の特徴の検出および照合が実行される。次いで、モデル上の特徴点が、深度テクスチャで符号化された深度を使用してカメラ空間内の3D点に変換され、画像間の平行移動および回転を見つけるためにRANSAC手法が使用される。この技法は特定の条件下では成功するが、いくつかの理由で失敗することがある。これらのうちのいくつかは建物の特性に関係する。レンガのコーナーを表す特徴は、通常の繰返しパターン内に特徴が不足する可能性があるので、照合にほとんど失敗した。パターン内のギャップのコーナーは、検出および照合ではるかに成功した。しかしながら、それらの3次元の性質は、3Dモデルの形状の単純さのために、鋭い視点から正確に表現されなかったことを意味した。
これら2つの方法の長所と短所のバランスを取るために、ハイブリッド手法が採用された。最初、システムは、GPSおよびコンパスの入力から導出されたカメラ姿勢の正確さを確認できない不確実な状態にあり、したがって仮想コンテンツをユーザに表示しない。それは初期位置誤差に対してより堅牢なので、カメラ姿勢を精緻化しようと試みるために特徴照合ルーチンが使用された。これが達成されると、登録されたカメラ姿勢とVIO姿勢との間の変換が計算され、VIOシステムの座標空間の原点を絶対世界座標に配置し方位付けるために使用される。この方式に基づくと、VIOシステムは、フレームごとに仮想形状を建物にロックし続けるのに十分スムーズかつ迅速に追跡する。しかしながら、VIOが位置合わせからゆっくりと横滑りする可能性もあるので、定期的に登録を実行し続ける必要がある。しかしながら、この時点で、システムはオプティカルフロー登録に切り替わる。それは十分に正確な姿勢推定を有し、このモードが、ユーザが窓ファサードをパンしたときに、より頻繁かつ確実に訂正が行われることを可能にするからである。このモードでは、姿勢変更は実行されない。それにもかかわらず、オプティカルフロー登録を失敗させる特定の状況が存在する。最も一般的な状況は、単にユーザが建物から電話を遠ざけることである。これが一時的なものにすぎない場合、システムは追跡を再開することができる。しかしながら、ユーザが十分に遠くを歩き回るか、またはVIOシステムが追跡を失った場合(たとえば、カメラが覆われているとき)、相対VIO姿勢の誤差が大きすぎて登録に成功しない可能性がある。これに対応するために、登録が一定の数の連続するフレームまたは秒の間失敗した場合、システムは特徴ベースの照合に戻る。VIO姿勢がまだ有効な場合、それはテストする余分の姿勢変更として保持される。システムは、パフォーマンスおよび堅牢性を向上させるために、いくつかの他の発見的方法も含んでいる。1つは、カメラのピッチが特定のしきい値を下回るときに、単に登録を試みないことである。これは、建物がユーザの視点からはほぼ完全に地平線より上にあり、低角度からの視覚情報が茂みおよび人々などの遮蔽物のために信頼性が低いからである。もう1つは、GPS予測から特定のしきい値の距離よりも遠い姿勢に帰着する登録を拒否することである。これにより、特定の低下したケースが原因で時々発生する大きな誤差が回避される。
上位レベルのシステムは、基礎となるVIO追跡にARCoreを使用するUnityで実装された。下位レベルの画像処理コンポーネントは、OpenCVを使用してC++で書き込まれた。
Claims (8)
- 拡張現実画像を生成するための方法であって、
携帯型コンピュータ端末内のGPSユニット、コンパス、および慣性測定ユニットを用いて前記携帯型コンピュータ端末の位置および3次元方位を推定することにより、第1のシーンの第1の推定位置および第1の推定方位を取得するステップと、
前記第1の推定位置および前記第1の推定方位を使用して、前記第1のシーンの第1の推定画像を生成するステップと、
前記携帯型コンピュータ端末内のカメラを用いて前記第1のシーンの第1のカメラ写真を取得するステップと、
前記携帯型コンピュータ端末のおおよその位置および方位を取得するために、前記第1の推定画像と前記第1のカメラ写真との間の第1のパターン照合を実行するステップと、
前記携帯型コンピュータ端末の新たな位置および方位へのオフセットにより、前記携帯型コンピュータ端末の前記おおよその位置および/または方位を調整するステップと、
前記携帯型コンピュータ端末の現在の位置および方位の情報を取得するために、第2のカメラ写真と第2のシーンの画像との間の第2のパターン照合を実行するステップであって、前記カメラを用いて撮影された前記第2のカメラ写真および前記第2のシーンの前記画像が、前記携帯型コンピュータ端末の前記新たな位置および方位を考慮して生成される、ステップと、
前記携帯型コンピュータ端末の前記現在の位置および方位を考慮して、拡張現実画像を生成するステップと
を含む、
方法であって、
前記第1のパターン照合を実行するステップにおいて、
一致が見つからずに規定の時間が経過した場合や、規定回数連続して照合に失敗した場合、前記第1の推定位置および第1の推定方位を取得するステップからやり直し、
前記第2のパターン照合を実行するステップにおいて、
一致が見つからずに規定の時間が経過した場合や、規定回数連続して照合に失敗した場合、前記第1の推定位置および第1の推定方位を取得するステップからやり直す、
方法。 - 請求項1に記載の方法であって、
前記3次元方位は、前記カメラのピッチを含み、
前記第1の推定位置および第1の推定方位を取得するステップにおいて、
前記カメラのピッチが特定のしきい値を下回る場合、前記第1の推定位置および第1の推定方位を取得するステップをやり直す方法。 - 請求項1に記載の方法であって、
前記第1の推定画像を生成するステップにおいて、
第1の推定画像内の建物と、前記第1の推定位置との距離が特定のしきい値の距離より遠い場合に、前記第1の推定位置および第1の推定方位を取得するステップからやり直す、 方法。 - 請求項1に記載の方法であって、
前記拡張現実画像を生成するステップは、
前記第2のシーンの前記画像における窓領域において仮想光が前記窓領域で反射し、前記窓領域以外の領域で影を投影するように前記拡張現実画像を生成する、方法。 - 前記第1のシーンの建物に関して前記第1のパターン照合が実行され、前記第2のシーンの建物に関して前記第2のパターン照合が実行される、
請求項1に記載の方法。 - 請求項1に記載の方法を実行するためにプロセッサによって実行される命令を有する、
プログラム。 - 請求項1に記載の前記方法を実行するためにプロセッサによって実行される命令を有する、
非一時的コンピュータ可読ストレージデバイス。 - 拡張現実画像を生成するための携帯型コンピュータ端末であって、
プロセッサ、GPSユニット、コンパス、慣性測定ユニット、カメラ、ディスプレイ、および請求項1に記載の前記方法に対して前記プロセッサが実行するためのプログラムを記憶したメモリデバイスを備える、
携帯型コンピュータ端末。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/745,274 US11315346B2 (en) | 2020-01-16 | 2020-01-16 | Method for producing augmented reality image |
US16/745274 | 2020-01-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021114286A JP2021114286A (ja) | 2021-08-05 |
JP7043583B2 true JP7043583B2 (ja) | 2022-03-29 |
Family
ID=76810052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020219377A Active JP7043583B2 (ja) | 2020-01-16 | 2020-12-28 | 拡張現実画像を生成するための方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11315346B2 (ja) |
JP (1) | JP7043583B2 (ja) |
CN (1) | CN113140045A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019205069A1 (en) * | 2018-04-27 | 2019-10-31 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for updating 3d model of building |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216982A (ja) | 2002-01-17 | 2003-07-31 | Sony Corp | 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム |
JP2014526174A (ja) | 2011-07-01 | 2014-10-02 | インテル コーポレイション | モバイル拡張現実システム |
US20170228878A1 (en) | 2014-05-28 | 2017-08-10 | Elbit Systems Land And C4I Ltd. | Method and system for image georegistration |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5538667B2 (ja) * | 2007-04-26 | 2014-07-02 | キヤノン株式会社 | 位置姿勢計測装置及びその制御方法 |
US8326281B2 (en) * | 2011-02-16 | 2012-12-04 | Research In Motion Limited | Mobile wireless communications device providing object reference data based upon near field communication (NFC) and related methods |
US9576183B2 (en) * | 2012-11-02 | 2017-02-21 | Qualcomm Incorporated | Fast initialization for monocular visual SLAM |
US10366511B2 (en) * | 2014-05-28 | 2019-07-30 | Elbit Systems Land And C4I Ltd. | Method and system for image georegistration |
JP2017129567A (ja) * | 2016-01-20 | 2017-07-27 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
-
2020
- 2020-01-16 US US16/745,274 patent/US11315346B2/en active Active
- 2020-12-28 JP JP2020219377A patent/JP7043583B2/ja active Active
-
2021
- 2021-01-11 CN CN202110029327.1A patent/CN113140045A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216982A (ja) | 2002-01-17 | 2003-07-31 | Sony Corp | 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム |
JP2014526174A (ja) | 2011-07-01 | 2014-10-02 | インテル コーポレイション | モバイル拡張現実システム |
US20170228878A1 (en) | 2014-05-28 | 2017-08-10 | Elbit Systems Land And C4I Ltd. | Method and system for image georegistration |
Also Published As
Publication number | Publication date |
---|---|
US11315346B2 (en) | 2022-04-26 |
CN113140045A (zh) | 2021-07-20 |
US20210224538A1 (en) | 2021-07-22 |
JP2021114286A (ja) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA3103844C (en) | Method for reconstructing three-dimensional space scene based on photographing | |
TWI494898B (zh) | 從地理參考影像擷取和映對三維特徵之技術 | |
Satoh et al. | A hybrid registration method for outdoor augmented reality | |
CN111126304A (zh) | 一种基于室内自然场景图像深度学习的增强现实导航方法 | |
TWI797715B (zh) | 用於使用從透視校正影像中所提取之特徵的特徵匹配之電腦實施方法、電腦系統及非暫時性電腦可讀記憶體 | |
KR20110068469A (ko) | 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법 | |
AU2011362799A1 (en) | 3D streets | |
US10235800B2 (en) | Smoothing 3D models of objects to mitigate artifacts | |
JP2016006589A (ja) | 表示装置、制御プログラム、および制御方法 | |
CN110335351A (zh) | 多模态ar处理方法、装置、系统、设备及可读存储介质 | |
US11783540B2 (en) | Method for generating roof outlines from lateral images | |
JP7043583B2 (ja) | 拡張現実画像を生成するための方法 | |
CN115601496A (zh) | Ar辅助三维地图尺度恢复的方法和系统 | |
CN113034347B (zh) | 倾斜摄影图像处理方法、装置、处理设备及存储介质 | |
CN107092348A (zh) | 一种沉浸式虚拟现实漫游系统中的视觉定位标识布局方法 | |
Liu et al. | Instant SLAM initialization for outdoor omnidirectional augmented reality | |
JP4896762B2 (ja) | 画像処理装置および画像処理プログラム | |
KR101189167B1 (ko) | 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법 | |
WO2020119572A1 (zh) | 形状推断装置、形状推断方法、程序以及记录介质 | |
WO2024095744A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20230186508A1 (en) | Modeling planar surfaces using direct plane fitting | |
CN117057086A (zh) | 基于目标识别与模型匹配的三维重建方法、装置及设备 | |
Wang | Toward automated façade texture generation for 3D photorealistic city modelling with smartphones or tablet PCS | |
Wang | Concept of semi-automated façade mapping for 3D building models with personal mobile computing devices | |
Sekii et al. | 6-DOF camera pose estimation using reference points on an aerial image without altitude information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7043583 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |