JP6823403B2 - 情報処理装置、情報処理装置の制御方法、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理装置の制御方法、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP6823403B2 JP6823403B2 JP2016166011A JP2016166011A JP6823403B2 JP 6823403 B2 JP6823403 B2 JP 6823403B2 JP 2016166011 A JP2016166011 A JP 2016166011A JP 2016166011 A JP2016166011 A JP 2016166011A JP 6823403 B2 JP6823403 B2 JP 6823403B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information processing
- captured image
- orientation
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
複数の位置姿勢で撮影部により撮影された撮影画像を取得する取得手段と、
規定状態の撮影画像と略同じ位置姿勢に対応する撮影画像を取得させるための誘導指示を生成する生成手段と、
前記誘導指示を出力する出力手段と、
前記誘導指示の出力後に前記取得手段により取得された1つの撮影画像が、前記規定状態の撮影画像と略同じ位置姿勢で撮影されたか否かを判定する判定手段と、
前記略同じ位置姿勢で撮影されたと判定された場合、前記複数の位置姿勢で撮影された前記1つの撮影画像を含む複数の撮影画像に基づいて、撮影画像に含まれる特徴の三次元座標から三次元地図を生成もしくは更新する地図生成手段と、
を備えることを特徴とする。
<概要>
本実施形態では、MR(またはAR)体験に先立ち、あらかじめ高精度な三次元地図を生成し用意しておく場合に適用できる情報処理装置に関して説明する。情報処理装置の使用者は、接続されたカメラを保持して移動しながら、三次元地図を生成するための画像列を撮影する。本発明の装置はループクローズが可能となるように使用者を誘導する。具体的には、使用者に経路の始点となる初期位置姿勢(規定位置姿勢)において撮影された画像を提示する。
図1は、第1実施形態に係るシステム構成を示す図である。図1における長方形の各枠は本実施形態の各処理を行う機能モジュールを、矢印はデータの流れを示している。第1実施形態に係るシステムは、情報処理装置200と、それに接続する撮影部101および表示部102を備えている。図1の構成は一例であり図示されるものに限定されない。
情報処理装置200は、画像取得部201、画像記憶部202、判定部203、誘導生成部204、誘導出力部205、及び三次元地図生成部206を備えている。
以上のような構成を備えた本実施形態に係る情報処理装置200の制御について、以下説明する。図4は、本実施形態に係る情報処理装置200が実施する処理の手順を示すフローチャートである。
ステップS1030において、判定部203は、初期位置姿勢登録からの経過時間に加えて、さらにステップS1050の判定処理で規定の回数以上失敗したことを条件に加えて、起動モードから閉経路判定モードに移行するようにしてもよい。このようにすることで、情報処理装置200の使用者が初期位置姿勢を維持したまま一定時間以上静止した場合に、閉経路判定モードに移行してしまうことを防止することができる。
ステップS1050において、判定部203は、BoWを用いるのではなく、初期位置姿勢画像20、現在の入力画像10の両方からSIFTなどを用いて特徴点の対応付けを行い、アフィン変換やホモグラフィー変換などの二画像間の変換を求めてもよい。この場合、一方の画像を他方の画像に変換し、これらの画像間の輝度差の総和の逆数を類似度として、これが閾値よりも大きいときに閉経路を検知したと判定してもよい。また、抽出された特徴点数と対応付けに成功した特徴点数との比を取り、これが閾値以上であれば閉経路を検知したと判定するようにしてもよい。
情報処理装置200の使用者が初期位置姿勢に近づいた場合には、重畳される入力画像10ないし誘導指示画像40の表示を変更するようにしてもよい。表示の変更については、使用者が初期位置姿勢に近づいたことを認識できればいかなる方法を用いてもよい。また、初期位置姿勢に近づいたか否かの判定には、いかなる方法を用いてもよい。
誘導出力部205は、ステップS1050の閉経路判定処理に成功した場合には、撮影を終了できる旨を使用者に通知するようにしてもよい。図3(b)は閉経路に到達したことを通知する表示形態30として「撮影終了」との文字列を表示している。これは、使用者に対して、これまでに撮影した複数の画像(入力画像10)の位置姿勢が閉経路を構成し、必要な画像がすべて取得できたため、撮影を終了することができるという情報を提示するものである。使用者への通知は、使用者が撮影を終了できることを認識できるものであれば、いかなるものでもよい。表示形態30の他に、音声や振動などを使用者に提示するようにしてもよい。
ステップS1010において、三次元地図を生成する対象となる空間が撮影部101の視野内に含まれるようになったことを確認してから、ステップS1020に進むようにしてもよい。このようにすることで、起動直後に撮影部101が本来三次元地図を生成しない環境を撮影していた場合に、三次元地図の精度が低下することを防止することができる。情報処理装置200の使用者に準備が完了したことをボタンやスイッチなどにより情報処理装置200へ通知させるようにしてもよいし、例えば撮影部101が環境中の特定の物体が観察できたことを条件として、情報処理装置200が自動で判定するようにしてもよい。
本実施形態における撮影部101は、デプスセンサやサーモグラフィ等、明るさ以外の情報を輝度値に変えて取得する装置を利用してもよく、装置の使用者が現在のおよび初期位置姿勢を画像によって区別できるものであれば、いかなるものを用いてもよい。また、これらの装置で構成される撮影部101から取得される画像あるいはデータ群を用いて閉経路判定処理を実行してもよい。
三次元地図生成部206が行うSLAM処理は、一連の入力画像10から各入力画像10を撮影した位置姿勢と、特徴点の三次元座標を算出できるものであれば、いかなる手法を用いてもよい。
<概要>
本実施形態では、MR(またはAR)体験に先立ち、あらかじめ高精度な三次元地図を生成し用意しておく場合に適用できる情報処理装置に関して説明する。情報処理装置の使用者は、接続されたカメラを保持して移動しながら、三次元地図を生成するための画像列を撮影する。本発明の情報処理装置は、推定される位置姿勢を用いて、ループクローズが可能となるように使用者を誘導する。具体的には、使用者に現在の位置姿勢から経路の始点となる初期位置姿勢に至る方向を示した画像を提示する。使用者はこの画像を見ながら、カメラの位置姿勢が初期位置姿勢と概ね一致するようにカメラを移動する。
図5は、第2実施形態に係るシステム構成を示す図である。図5における長方形の枠は本実施形態の各処理を行う機能モジュールを、矢印はデータの流れを示している。本実施形態に係るシステムは、情報処理装置200とそれに接続する撮影部101および表示部102を備えている。図5の構成は一例であり図示されるものに限定されない。また、第1実施形態と異なる部分について主に説明し、同じ部分については説明を省略する。
本実施形態においては、画像記憶部202に替えて状態記憶部207が備えられている。状態記憶部207は、入力画像10の撮影時における撮影部101の位置姿勢を入力画像10に対応づけて保持する。また、初期位置姿勢画像20の登録時には、状態記憶部207はその時点における位置姿勢も初期位置姿勢として同時に記憶する。すなわち、本実施形態では、状態記憶部207は、初期位置姿勢画像20、閉経路到達画像を含む入力画像10のすべてがその位置姿勢に対応づけた形で保持される。状態記憶部207の詳細な動作に関しては後述する。
誘導する方向はvtからdtへのなす角θtによって定めることができる。θtが正であれば誘導方向は左、負であれば誘導方向は右となる。すなわち、誘導生成部204は、このθtが正であれば左方向の矢印、負であれば右方向の矢印を誘導指示画像60として生成すればよい。
以上のような構成を備えた本実施形態に係る情報処理装置200の制御について、以下説明する。図8(a)は、本実施形態に係る情報処理装置200が実施する処理の手順を示すフローチャートである。第1実施形態と比較すると、ステップS1020の処理がステップS1025に変更されている。ステップS1025では、現在の入力画像10に対する位置姿勢の取得と、三次元地図の生成更新を行う。
本実施形態における位置姿勢取得部208は、SLAM処理によって入力画像10から位置姿勢を求めるのではなく、撮影部101に位置姿勢センサを設置して、直接的に位置姿勢を求めるようにしてもよい。あるいは、撮影部101にマーカなどの特徴を配置し、さらに外部に設けられた撮影装置によって撮影部101の画像を撮影して、その画像から特徴を抽出することによって、撮影部101の位置姿勢を求めるようにしてもよい。
本実施形態における撮影部101には、デプスセンサなど撮影部101視点からの奥行きを計測できるものを利用することが可能である。三次元地図生成部206および位置姿勢取得部208は、入力画像10に替えて奥行き画像を用いて位置姿勢の推定および三次元地図の生成を行ってもよい。
判定部203は、閉経路の判定において、入力画像10の位置姿勢の履歴(軌跡)を利用するようにしてもよい。ループクローズの最適化時には、位置姿勢の軌跡が広く分布していることが好ましいため、これを判定部203の判定条件として追加することができる。例えば、三次元地図を作成する空間(計測空間)において、位置姿勢の軌跡が十分な広がりを持っているかどうかを閉経路検出の判定条件に追加すればよい。
誘導生成部204は、変形例7で説明した位置姿勢の軌跡が十分な広がりを持つ方向(広がりが拡大する方向)を優先して誘導指示を生成するようにしてもよい。誘導生成部204は、図9の軌跡に対する外接長方形に対して、少なくとも1つの辺が大きくなる方向を経由させ、最終的に閉経路を構成する位置姿勢に至るように誘導指示画像60を生成するようにしてもよい。
判定部203は、閉経路判定処理において、状態記憶部207が保持する三次元地図を利用するようにしてもよい。三次元地図を構成する点群は計測空間内に均一に分布していることが望ましいため、三次元地図として生成された三次元点群の密度分布を判定条件に追加してもよい。例えば、三次元点群が疎である領域がまだ残っている場合には、判定部203は閉経路判定処理を失敗させ、誘導生成部204は情報処理装置200の使用者に対してその領域に至るように誘導指示画像60を生成するようにしてもよい。
判定部203は、閉経路の判定において、状態記憶部207が保持する入力画像10、位置姿勢、三次元地図を用いて、各入力画像における再投影誤差を利用するようにしてもよい。判定部203は状態記憶部207が保持する三次元地図を構成する三次元点群を、位置姿勢に基づいて入力画像10上に再投影し、画像処理によって抽出された特徴点と再投影された座標との差を算出する。この差が大きい場合には位置姿勢あるいは三次元地図の推定精度が良好でないことを意味する。そのため、この場合、判定部203は閉経路判定処理を失敗させ、誘導生成部204は情報処理装置200の使用者に対してその領域での入力画像10を再撮影させるべく誘導指示画像60を生成するようにしてもよい。
誘導生成部204は、情報処理装置200の使用者が閉経路を構成する目的の位置姿勢に近づく、あるいは遠ざかるにつれて、誘導指示画像60で表示される色を変更するようにしてもよい。例えば目的の位置姿勢に近づくにつれて図6(c)の塗りつぶしの色を薄くする、あるいは塗りつぶす領域を狭くすることによって、情報処理装置200の使用者は、目的の位置姿勢に近づいていることを容易に認識できる。
誘導生成部204および誘導出力部205は、画像以外の方法を用いて使用者が移動すべき方向を示してもよい。不図示の音響装置を用いて、声によって情報処理装置200の使用者が移動すべき方向を示してもよい。右あるいは左など、移動方向を直接指示することができる。あるいは立体音響によって、例えば仮想物体が移動すべき方向に去っていくような音声を与え、情報処理装置200の使用者を誘導するようにしてもよい。情報処理装置200の使用者は、仮想物体が去っていく方向を追うような動作を行うことで、目的の位置姿勢に近づくことが可能となる。
図6(a)には誘導指示画像60の例として、矢印と俯瞰図の両方を示しているが、いずれか片方のみで誘導指示画像60を構成してもよい。
<概要>
本実施形態では、MR(またはAR)体験に先立ち、あらかじめ高精度な三次元地図を生成し用意しておく場合に適用できる情報処理装置に関して説明する。情報処理装置200の使用者は、接続されたカメラを保持して移動しながら、三次元地図を生成するための画像列を撮影する。本発明の情報処理装置はまず、MR体験時の位置姿勢推定に好適な三次元地図が生成されるように使用者を誘導する。そのために情報処理装置は、あらかじめ指定された、MR体験時に仮想物体が配置されることが想定される領域を観測しつつ、使用者の移動軌跡が空間的に広がるような画像列を撮影するように使用者を誘導する。
本実施形態に係るシステムの全体構成は、図5に示す第2実施形態における構成と同じである。ただし、本実施形態においては、機能モジュールの動作について第2実施形態と異なる部分が存在する。以下、第2実施形態と異なる部分についてのみ説明し、同じ部分については説明を省略する。
判定部203は、MR体験を行うための三次元地図が生成されたか否かの三次元地図生成判定処理と、閉経路を検知するための閉経路判定処理とを行う。本実施形態においては、判定部203は起動モード、三次元地図生成モード、閉経路判定モードの少なくとも3つのモードを持つ。本実施形態において、判定部203は、初期位置姿勢が登録され、かつ後述の仮想物体提示領域が検知された場合に、起動モードから三次元地図生成モードに移行する。
このとき、誘導すべき方向はvtからmtへのなす角ρtによって定められる。ρtが正であれば誘導方向は左となり、負であれば誘導方向は右となる。すなわち、誘導生成部204は、このρtが正であれば左方向の矢印を、負であれば右方向の矢印を誘導指示画像80として生成すればよい。
以上のような構成を備えた本実施形態に係る情報処理装置200の制御について、以下説明する。本実施形態に係る情報処理装置200が実施する処理の手順を示すフローチャートは、図8に示した第2実施形態のフローチャートとほぼ同じであるが、処理の内容については第2実施形態と異なる部分が存在する。そのため、以下、第2実施形態と異なる部分について主に説明し、同じ部分については説明を省略する。
仮想物体提示領域は、空間中で仮想物体を提示することが想定される領域を指定できるものであれば、いかなる方法で指定してもよい。本実施形態ではあらかじめ数値を入力することとしたが、例えば形状あるいは模様が既知のマーカを空間に配置し、入力画像10に写るマーカ像から中心座標を自動で算出するようにしてもよい。
誘導生成部204は、装置の使用者への誘導生成時に三次元地図を参照し、障害物などの存在により移動できない方向を避けるように誘導してもよい。
<概要>
本実施形態では、高精度な三次元地図を生成しながらMR(またはAR)体験を行う場合に適用できる情報処理装置に関して説明する。情報処理装置200の使用者は、撮影部101および表示部102を内蔵したHMDを装着して移動しながら、MR体験を行うことができる。このとき、本発明の情報処理装置はカメラによって撮影された画像群を用いて三次元地図を生成しつつ、同時にこれまでに生成された三次元地図を利用してHMDの位置姿勢を算出する。情報処理装置は算出したHMDの位置姿勢から仮想画像をコンピュータグラフィックス(CG)によって使用者に提示する。情報処理装置は推定された位置姿勢を用いて、ループクローズが可能となるように使用者を誘導する。具体的には、使用者に現在の位置姿勢から経路の始点となる初期位置姿勢に至る方向を示した画像を提示する。使用者はこの画像を見ながら、装着したHMDの位置姿勢が初期位置姿勢と概ね一致するように移動する。
図12は、第4実施形態に係るシステム構成を示す図である。図12における長方形の枠は本実施形態の各処理を行う機能モジュールを、矢印はデータの流れを示している。本実施形態に係るシステムは、情報処理装置200とそれに接続する撮影部101、表示部102、仮想画像生成部103、仮想画像出力部104を備えている。図12の構成は一例であり図示されるものに限定されない。また、第2実施形態と異なる部分について主に説明し、同じ部分については説明を省略する。
本実施形態においては、情報処理装置200の外部に仮想画像生成部103が備えられている。仮想画像生成部103は、位置姿勢取得部208よりHMDの位置姿勢を受け取り、MR体験を行っている使用者に対して提示する仮想画像を生成する処理を行う。より具体的には、仮想画像生成部103は、位置姿勢取得部208において取得されたHMDの位置姿勢を視点としてコンピュータグラフィックスによって仮想の物体を描画し、仮想画像100を生成する。このようにして生成された仮想画像100は仮想画像出力部104へと送出される。
以上のような構成を備えた本実施形態に係る情報処理装置200の制御について、以下説明する。図14は、本実施形態に係る情報処理装置200が実施する処理の手順を示すフローチャートである。第2実施形態と比較すると、ステップS1030の処理がステップS1035に、ステップS1060の処理がステップS1065に変更されている。また、ステップS1070が追加されている。
第1実施形態によれば、装置の使用者に対して、ループクローズ処理を適用可能な閉経路を構成するための位置姿勢に誘導することが可能となる。また、取得した画像列に対してループクローズ処理を適用することによって高精度な三次元地図を生成することが可能となる。
本発明における画像取得部201は、撮影部101が撮影した画像を情報処理装置200に入力できるものであれば、いかなるものでもよい。また、入力する画像においても、RGBカラー画像、グレイスケール画像、白黒画像、奥行き画像など、いかなる種類の画像でもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (20)
- 複数の位置姿勢で撮影部により撮影された撮影画像を取得する取得手段と、
規定状態の撮影画像と略同じ位置姿勢に対応する撮影画像を取得させるための誘導指示を生成する生成手段と、
前記誘導指示を出力する出力手段と、
前記誘導指示の出力の後に前記取得手段により取得された1つの撮影画像が、前記規定状態の撮影画像と略同じ位置姿勢で撮影されたか否かを判定する判定手段と、
前記略同じ位置姿勢で撮影されたと判定された場合、前記複数の位置姿勢で撮影された前記1つの撮影画像を含む複数の撮影画像に基づいて、撮影画像に含まれる特徴の三次元座標から三次元地図を生成もしくは更新する地図生成手段と、
を備えることを特徴とする情報処理装置。 - 前記生成手段は、前記規定状態の撮影画像を含む画像を前記誘導指示として生成することを特徴とする請求項1に記載の情報処理装置。
- 前記判定手段は、前記1つの撮影画像と、前記規定状態の撮影画像との類似度に基づいて、前記略同じ位置姿勢で撮影されたか否かを判定することを特徴とする請求項1又は2に記載の情報処理装置。
- 前記判定手段は、前記1つの撮影画像に含まれる特徴と、前記規定状態の撮影画像に含まれる特徴とから取得される画像間の幾何変換パラメータに基づいて、前記略同じ位置姿勢で撮影されたか否かを判定することを特徴とする請求項1又は2に記載の情報処理装置。
- 前記規定状態の撮影画像を記憶する画像記憶手段をさらに備えることを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
- 前記取得手段により取得された撮影画像が撮影された位置姿勢を取得する位置姿勢取得手段と、
前記規定状態に対応する規定位置姿勢を記憶する状態記憶手段と、をさらに備え、
前記生成手段は、前記規定位置姿勢と略同じ位置姿勢に対応する撮影画像を取得させるための誘導指示を生成することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。 - 前記生成手段は、前記規定位置姿勢と前記位置姿勢取得手段により取得された複数の位置姿勢の軌跡とを含む計測空間の俯瞰図を含む誘導指示を生成することを特徴とする請求項6に記載の情報処理装置。
- 前記生成手段は、前記規定位置姿勢と、前記位置姿勢取得手段により取得された位置姿勢とに基づいて、前記位置姿勢取得手段により取得された位置姿勢から前記規定位置姿勢へと至る誘導方向を含む誘導指示を生成することを特徴とする請求項6又は7に記載の情報処理装置。
- 前記状態記憶手段は、前記取得手段により取得された複数の撮影画像に対応する複数の位置姿勢の軌跡をさらに記憶し、
前記生成手段は、前記位置姿勢の軌跡に基づいて、計測空間に対する前記位置姿勢の軌跡の空間的な広がりが拡大するように、前記誘導指示を生成することを特徴とする請求項6乃至8の何れか1項に記載の情報処理装置。 - 前記判定手段は、前記規定位置姿勢と、前記位置姿勢取得手段により取得された位置姿勢との間の各位置のユークリッド距離と、各姿勢ベクトルのなす角との少なくとも一方に基づいて、前記略同じ位置姿勢で撮影されたか否かの判定を行うことを特徴とする請求項6乃至9の何れか1項に記載の情報処理装置。
- 前記判定手段は、前記三次元地図の推定精度をさらに算出し、当該推定精度に基づいて、前記略同じ位置姿勢で撮影されたか否かの判定を行うことを特徴とする請求項1乃至10の何れか1項に記載の情報処理装置。
- 前記誘導指示の出力の後に前記取得手段により取得された1つの撮影画像が、前記規定状態の撮影画像と略同じ位置姿勢で撮影されたことが前記判定手段によって判定された場合、
前記出力手段は、前記取得手段による撮影画像の取得を終了可能であることを使用者に対して通知することを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。 - 前記出力手段は、音声によって前記誘導指示を出力することを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。
- 複数の位置姿勢で撮影部により撮影された撮影画像を取得する取得手段と、
前記複数の位置姿勢で撮影された少なくとも1つの撮影画像に基づいて、撮影画像に含まれる特徴の三次元座標から三次元地図を生成する地図生成手段と、
規定状態の撮影画像と略同じ位置姿勢に対応する撮影画像を取得させるための誘導指示を生成する生成手段と、
前記誘導指示を出力する出力手段と、
前記誘導指示の出力の後に前記取得手段により取得された1つの撮影画像が、前記規定状態の撮影画像と略同じ位置姿勢で撮影されたか否かを判定する判定手段と、
前記略同じ位置姿勢で撮影されたと判定された場合、前記三次元地図を修正する地図修正手段と
を備えることを特徴とする情報処理装置。 - 前記地図生成手段による三次元地図の生成の終了を判定する終了判定手段をさらに備えることを特徴とする請求項14に記載の情報処理装置。
- 複数の位置姿勢で撮影部により撮影された撮影画像を取得する取得手段と、
規定状態の撮影画像と略同じ位置姿勢に対応する撮影画像を取得させるための誘導指示を生成する生成手段と、
前記誘導指示を出力する出力手段と、
前記複数の位置姿勢で撮影された少なくとも1つの撮影画像に基づいて、撮影画像に含まれる特徴の三次元座標から三次元地図を生成もしくは更新する地図生成手段と、を備え、
前記誘導指示の出力の後に前記取得手段により取得された1つの撮影画像が、前記規定状態の撮影画像と略同じ位置姿勢で撮影された場合、前記地図生成手段は、前記複数の位置姿勢で撮影された前記1つの撮影画像を含む複数の撮影画像に基づいて、前記三次元地図を生成もしくは更新することを特徴とする情報処理装置。 - 情報処理装置の制御方法であって、
取得手段が、複数の位置姿勢で撮影部により撮影された撮影画像を取得する取得工程と、
生成手段が、規定状態の撮影画像と略同じ位置姿勢に対応する撮影画像を取得させるための誘導指示を生成する生成工程と、
出力手段が、前記誘導指示を出力する出力工程と、
判定手段が、前記誘導指示の出力の後に前記取得工程により取得された1つの撮影画像が、前記規定状態の撮影画像と略同じ位置姿勢で撮影されたか否かを判定する判定工程と、
地図生成手段が、前記略同じ位置姿勢で撮影されたと判定された場合、前記複数の位置姿勢で撮影された前記1つの撮影画像を含む複数の撮影画像に基づいて、撮影画像に含まれる特徴の三次元座標から三次元地図を生成する地図生成工程と、
を有することを特徴とする情報処理装置の制御方法。 - 情報処理装置の制御方法であって、
取得手段が、複数の位置姿勢で撮影部により撮影された撮影画像を取得する取得工程と、
地図生成手段が、前記複数の位置姿勢で撮影された少なくとも1つの撮影画像に基づいて、撮影画像に含まれる特徴の三次元座標から三次元地図を生成する地図生成工程と、
生成手段が、規定状態の撮影画像と略同じ位置姿勢に対応する撮影画像を取得させるための誘導指示を生成する生成工程と、
出力手段が、前記誘導指示を出力する出力工程と、
判定手段が、前記誘導指示の出力の後に前記取得工程により取得された1つの撮影画像が、前記規定状態の撮影画像と略同じ位置姿勢で撮影されたか否かを判定する判定工程と、
地図修正手段が、前記略同じ位置姿勢で撮影されたと判定された場合、前記三次元地図を修正する地図修正工程と
を有することを特徴とする情報処理装置の制御方法。 - 情報処理装置が備える取得手段が、複数の位置姿勢で撮影部により撮影された撮影画像を取得する取得工程と、
前記情報処理装置が備える生成手段が、規定状態の撮影画像と略同じ位置姿勢に対応する撮影画像を取得させるための誘導指示を生成する生成工程と、
前記情報処理装置が備える出力手段が、前記誘導指示を出力する出力工程と、
前記情報処理装置が備える地図生成手段が、前記複数の位置姿勢で撮影された少なくとも1つの撮影画像に基づいて、撮影画像に含まれる特徴の三次元座標から三次元地図を生成もしくは更新する地図生成工程と、を備え、
前記誘導指示の出力の後に前記取得工程により取得された1つの撮影画像が、前記規定状態の撮影画像と略同じ位置姿勢で撮影された場合、前記地図生成工程は、前記複数の位置姿勢で撮影された前記1つの撮影画像を含む複数の撮影画像に基づいて、前記三次元地図を生成もしくは更新することを特徴とする情報処理方法。 - コンピュータを、請求項1乃至16の何れか1項に記載の情報処理装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/415,048 US10171730B2 (en) | 2016-02-15 | 2017-01-25 | Information processing apparatus, method of controlling information processing apparatus, and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016026345 | 2016-02-15 | ||
JP2016026345 | 2016-02-15 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017146952A JP2017146952A (ja) | 2017-08-24 |
JP2017146952A5 JP2017146952A5 (ja) | 2019-09-26 |
JP6823403B2 true JP6823403B2 (ja) | 2021-02-03 |
Family
ID=59680848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016166011A Active JP6823403B2 (ja) | 2016-02-15 | 2016-08-26 | 情報処理装置、情報処理装置の制御方法、情報処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6823403B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537878B (zh) * | 2018-03-26 | 2020-04-21 | Oppo广东移动通信有限公司 | 环境模型生成方法、装置、存储介质及电子设备 |
US10991117B2 (en) * | 2018-12-23 | 2021-04-27 | Samsung Electronics Co., Ltd. | Performing a loop closure detection |
CN113747039B (zh) * | 2020-05-27 | 2023-03-24 | 杭州海康威视数字技术股份有限公司 | 图像采集方法及装置 |
JP7508288B2 (ja) | 2020-06-25 | 2024-07-01 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法なおよびプログラム |
WO2023026634A1 (ja) * | 2021-08-25 | 2023-03-02 | 株式会社Nttドコモ | 表示制御装置 |
CN115420275A (zh) * | 2022-08-22 | 2022-12-02 | 先临三维科技股份有限公司 | 回环路径的预测方法及装置、非易失性存储介质、处理器 |
WO2024106223A1 (ja) * | 2022-11-16 | 2024-05-23 | パナソニックIpマネジメント株式会社 | 撮影装置、撮影作業支援方法、および撮影作業支援プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4976756B2 (ja) * | 2006-06-23 | 2012-07-18 | キヤノン株式会社 | 情報処理方法および装置 |
KR101782057B1 (ko) * | 2010-05-03 | 2017-09-26 | 삼성전자주식회사 | 지도 생성 장치 및 방법 |
US8587583B2 (en) * | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
WO2013069048A1 (ja) * | 2011-11-07 | 2013-05-16 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成装置および画像生成方法 |
EP2992507B1 (en) * | 2013-05-02 | 2018-07-25 | Qualcomm Incorporated | Methods for facilitating computer vision application initialization |
-
2016
- 2016-08-26 JP JP2016166011A patent/JP6823403B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017146952A (ja) | 2017-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6823403B2 (ja) | 情報処理装置、情報処理装置の制御方法、情報処理方法およびプログラム | |
KR102136241B1 (ko) | 표정 검출 성능을 갖는 머리-장착형 디스플레이 | |
JP6934887B2 (ja) | 単眼カメラを用いたリアルタイム3d捕捉およびライブフィードバックのための方法およびシステム | |
JP4434890B2 (ja) | 画像合成方法及び装置 | |
CN103140879B (zh) | 信息呈现装置、数字照相机、头戴式显示器、投影仪、信息呈现方法和信息呈现程序 | |
US10360444B2 (en) | Image processing apparatus, method and storage medium | |
JP6789624B2 (ja) | 情報処理装置、情報処理方法 | |
JP2006249618A (ja) | 仮想試着装置 | |
JP4834424B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN113994396A (zh) | 基于增强现实和/或姿势检测技术的用户引导系统 | |
JP6946087B2 (ja) | 情報処理装置及びその制御方法、並びに、プログラム | |
JP2006285788A (ja) | 複合現実感情報生成装置および方法 | |
US10380758B2 (en) | Method for tracking subject head position from monocular-source image sequence | |
JP5526465B2 (ja) | 爪位置データ検出装置及び爪位置データ検出方法、並びに爪位置データ検出プログラム | |
JP2018081410A (ja) | コンピュータープログラム | |
JP2017187882A (ja) | 画像処理に用いられるコンピュータープログラム | |
JPWO2019171557A1 (ja) | 画像表示システム | |
KR101256046B1 (ko) | 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템 | |
WO2021130860A1 (ja) | 情報処理装置、制御方法及び記憶媒体 | |
TW201928761A (zh) | 影像擷取之設備及方法 | |
US12062137B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2018056924A (ja) | 画像表示装置、及びこれを用いた仮想現実インタフェースデバイス | |
JP2022183213A (ja) | ヘッドマウントディスプレイ | |
JP2021128592A (ja) | 画像処理装置、画像処理方法、学習済みモデルの生成方法、およびプログラム | |
JP6687510B2 (ja) | Ar情報表示装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190819 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190819 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200923 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201002 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210108 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6823403 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |